医療系対話AIにおける評価基準の策定と自動評価手法の比較検証

医療領域における対話AIの品質評価は重要だが,法規制や文化が異なるため海外製ベンチマークの適用は困難であり,本邦の医療事情に即した評価が求められる。本研究では,医師による独自の日本医療評価データセットを構築し,LLMによる自動評価（LLM-as-a-Judge）手法を評価した.具体的な評価手法として,詳細な基準を与える「総合評点方式」,簡易な指示のみの「総合評点方式（簡易版）」,および詳細な項目に基づく「項目別評価方式」を対象とした。評価手法の要件を「モデル識別能力」「一貫性」「説明可能性」と定義して実験した結果,モデル識別能力では簡易版が高い数値を示す一方で,個別評価の一貫性においては項目別評価方式が優れていることが確認された。