ChatGPTの過剰回答に対する自己フィードバック機構を組み込んだ医療面接試験向け仮想模擬患者

ChatGPTに診療シナリオと回答の仕方の指示を与え医療系学生が受験する共用試験の一つであることで，SPとして回答を行うVSPの実現を目指る客観的臨床能力試験(ObjectiveStructuredClinicalす．ChatGPTに基づくVSPは，人手でのルール設計Examination;OSCE)における医療面接課題では，特やラベル付き訓練データセットなどを必要とせず定の診療シナリオに沿って回答するように訓練されに，与えたシナリオに存在しない内容に関する質問た標準模擬患者(StandardizedPatient;SP)に対して受に対しても，文脈を考慮した自然な質問応答を行え検者が質問を行うプロセスを評価することで，臨床る利点を有する．一方で，受検者からの質問に直接技能と態度を測定する[1,2]．一方でこのような評的に関係しないシナリオまで参照し，過剰な回答を価では，SPや評価者が評価結果に影響を与えるバ返してしまうことがある．過剰な回答を返した際のイアス要因となりうる[3]．評価者に由来するバイ例を付録A.1に示す．このような回答は，質問を通アスの影響については，テスト理論の一つである項して模擬患者から適切な情報を引き出せたかどうか目反応理論の拡張モデル[4,5,6,7]を用いるなどのを測定するOSCEの試験目的において不適切な振る対応策が検討されている．一方で，SPに由来する舞いである．そこで本研究では，二つの事前学習さバイアスを取り除く方法論としては，十分に訓練されたBERT(BidirectionalEncoderRepresentationsfromれたSPを採用する方法が一般的である．しかし，Transformers)[17]を用いて，受検者の質問に対するSPの十分な訓練には膨大なコストがかかる．ChatGPTの過剰な回答を検出し，それらをChatGPTこのような問題を解決するために，人工知能技術にフィードバックして適切な回答を再出力させる手に基づく仮想模擬患者(VertualStandardizedPatient;法を提案する．具体的には，一つ目のBERTは受検VSP)を用いて，SPの標準化を行うアプローチが注者の質問文と個々のシナリオ文との関連度の予測目されている．VSPを実現する既存手法は，人手にを行い，二つ目のBERTは受検者の質問文に対する―1154―.ChatGPTの回答が個々のシナリオ文を含意しているかの予測を行う．そして，この二つのBERTの予測結果を比較することで，ChatGPTの回答が過剰なシナリオを含んでいるかを判定し，その判定結果をもとに過剰回答を抑制した回答を再出力させるフィードバックをChatGPTに与える．本研究では，提案手法を4つの症状に関するシナリオに適用する実験を通して，提案手法の有効性を評価する．