医療系対話AIにおける評価基準の策定と自動評価手法の比較検証

大規模言語モデル（LLM）の進化により，医療相談や問診支援など，医療領域におけるAIチャットボットの応用が急速に広がっている[1]．これらのシステムにおいて，回答の医学的妥当性や安全性は最優先事項であり，信頼できる評価手法の確立が不可欠である．しかし，医療分野における対話データセットは，法規制や医療制度，文化的な背景が国や地域によって大きく異なる.そのため，海外で構築されたベンチマーク（例えばMedQA[2]やUSMLEを用いた評価[3]など）を単純に翻訳して利用するだけでは不十分である．日本の医療現場の実情に即した評価を行うためには，国内の医師が作成・監修したデータセットが必要不可欠となる．従来，対話システムの評価にはBLEUやROUGEといったn-gramの一致に基づく自動評価指標が用データセット構築医師作成プロンプト×6モデル→60会話総合評点(簡易)シンプル指示→1-10点総合評点ガイドライン提示→1-10点項目別評価基準別T/F判定→加重スコア比較分析モデル識別能力・一貫性・説明可能性し,3種類の自動評価手法をモデル識別能力・一貫性・説明可能性の観点から比較した。いられてきた．しかし,正確性と安全性が最優先される医療領域においてはこれらの指標は不十分であり,医学的妥当性を担保するために医師による評価が不可欠である．ところが専門家による評価は時間的・金銭的コストが高く，継続的に実施することは困難である．そこで近年，LLM自身を評価者として用いる「LLM-as-a-Judge」アプローチが注目されている[4]．本研究では，日本の医療事情に即した評価用データセットを独自に開発し，以下の3つの自動評価手法を比較検討する．1.総合評点方式:詳細な評価基準を自然言語で与え，1～10のスコアを出力させる手法．