医療領域における対話AIの品質評価は重要だが,法規制や文化が異なるため海外製ベンチマークの適用は困難であり,本邦の医療事情に即した評価が求められる。本研究では,医師による独自の日本医療評価データセットを構築し,LLMによる自動評価（LLM-as-a-Judge）手法を評価した.具体的な評価手法として,詳細な基準を与える「総合評点方式」,簡易な指示のみの「総合評点方式（簡易版）」,および詳細な項目に基づく「項目別評価方式」を対象とした。評価手法の要件を「モデル識別能力」「一貫性」「説明可能性」と定義して実験した結果,モデル識別能力では簡易版が高い数値を示す一方で,個別評価の一貫性においては項目別評価方式が優れていることが確認された。

大規模言語モデル（LLM）の進化により，医療相談や問診支援など，医療領域におけるAIチャットボットの応用が急速に広がっている[1]．これらのシステムにおいて，回答の医学的妥当性や安全性は最優先事項であり，信頼できる評価手法の確立が不可欠である．しかし，医療分野における対話データセットは，法規制や医療制度，文化的な背景が国や地域によって大きく異なる.そのため，海外で構築されたベンチマーク（例えばMedQA[2]やUSMLEを用いた評価[3]など）を単純に翻訳して利用するだけでは不十分である．日本の医療現場の実情に即した評価を行うためには，国内の医師が作成・監修したデータセットが必要不可欠となる．従来，対話システムの評価にはBLEUやROUGEといったn-gramの一致に基づく自動評価指標が用データセット構築医師作成プロンプト×6モデル→60会話総合評点(簡易)シンプル指示→1-10点総合評点ガイドライン提示→1-10点項目別評価基準別T/F判定→加重スコア比較分析モデル識別能力・一貫性・説明可能性し,3種類の自動評価手法をモデル識別能力・一貫性・説明可能性の観点から比較した。いられてきた．しかし,正確性と安全性が最優先される医療領域においてはこれらの指標は不十分であり,医学的妥当性を担保するために医師による評価が不可欠である．ところが専門家による評価は時間的・金銭的コストが高く，継続的に実施することは困難である．そこで近年，LLM自身を評価者として用いる「LLM-as-a-Judge」アプローチが注目されている[4]．本研究では，日本の医療事情に即した評価用データセットを独自に開発し，以下の3つの自動評価手法を比較検討する．1.総合評点方式:詳細な評価基準を自然言語で与え，1～10のスコアを出力させる手法．