言語処理学会 第30回年次大会 発表論文集（2024年3月）

ChatGPT の過剰回答に対する自己フィードバック機構を組み込んだ医療面接試験向け仮想模擬患者
進藤尚希 1

宇都雅輝 1

1 電気通信大学大学院 情報理工学研究科{shindo naoki,uto}@ai.lab.uec.ac.jp

概要
近年，医療系学生が受験する客観的臨床能力試
験における医療面接を標準化する手法の一つとして，人工知能技術に基づく仮想模擬患者が多数提案されている．しかし既存手法の多くは，ルールベースのアプローチを採用しており，回答ルールの構築などに大きな負担を要する．そこで本研究では，ChatGPT を用いて人手によるルール構築を必要としない仮想模擬患者の実現を目指す．ただし，
ChatGPT は受検者の質問に対して過剰に回答する場合があるため，提案手法ではそのような過剰回答を抑制する機構を新たに導入し，試験目的に則した回答を出力させることを目指す．

1

はじめに医療系学生が受験する共用試験の一つである客観的臨床能力試験 (Objective Structured ClinicalExamination ; OSCE) における医療面接課題では，特定の診療シナリオに沿って回答するように訓練された標準模擬患者 (Standardized Patient ; SP) に対して受検者が質問を行うプロセスを評価することで，臨床技能と態度を測定する [1, 2]．一方でこのような評価では，SP や評価者が評価結果に影響を与えるバイアス要因となりうる [3]．評価者に由来するバイアスの影響については，テスト理論の一つである項目反応理論の拡張モデル [4, 5, 6, 7] を用いるなどの対応策が検討されている．一方で，SP に由来するバイアスを取り除く方法論としては，十分に訓練された SP を採用する方法が一般的である．しかし，SP の十分な訓練には膨大なコストがかかる．
このような問題を解決するために，人工知能技術に基づく仮想模擬患者 (Vertual Standardized Patient ;VSP) を用いて，SP の標準化を行うアプローチが注目されている．VSP を実現する既存手法は，人手により事前定義された回答のルール集合から，質問の内容に対応する回答文を選択することで対話を進行するルールベースを用いた手法が広く採用されてきた．一般に，質問と回答文とのマッチングの方法は，人手で設計された厳格なパターンマッチングによる手法 [8, 9, 10, 11] と，深層学習を用いた手法[12, 13, 14, 15, 16] に分類できる．深層学習を用いた手法では，質問の意図を推論することにより，パターンマッチングによる手法よりも柔軟な回答の選択を実現したが，モデルの訓練のための質問意図がラベル付けされた質問–回答の対のデータセットを必要とする．またいずれの手法も，回答を人手で設計したルール集合から選択する仕組みであるため，ルール作成のコストが大きいという問題を有する．
これらの問題を解決するために，本研究では，
ChatGPT に診療シナリオと回答の仕方の指示を与えることで，SP として回答を行う VSP の実現を目指す．ChatGPT に基づく VSP は，人手でのルール設計やラベル付き訓練データセットなどを必要とせずに，与えたシナリオに存在しない内容に関する質問に対しても，文脈を考慮した自然な質問応答を行える利点を有する．一方で，受検者からの質問に直接的に関係しないシナリオまで参照し，過剰な回答を返してしまうことがある．過剰な回答を返した際の例を付録 A.1 に示す．このような回答は，質問を通して模擬患者から適切な情報を引き出せたかどうかを測定する OSCE の試験目的において不適切な振る舞いである．そこで本研究では，二つの事前学習された BERT (Bidirectional Encoder Representations fromTransformers)[17] を用いて，受検者の質問に対するChatGPT の過剰な回答を検出し，それらを ChatGPTにフィードバックして適切な回答を再出力させる手法を提案する．具体的には，一つ目の BERT は受検者の質問文と個々のシナリオ文との関連度の予測を行い，二つ目の BERT は受検者の質問文に対する― 1154 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1: 提案手法の概略図
ChatGPT の回答が個々のシナリオ文を含意しているかの予測を行う．そして，この二つの BERT の予測結果を比較することで，ChatGPT の回答が過剰なシナリオを含んでいるかを判定し，その判定結果をもとに過剰回答を抑制した回答を再出力させるフィードバックを ChatGPT に与える．本研究では，提案手法を 4 つの症状に関するシナリオに適用する実験を通して，提案手法の有効性を評価する．

2

提案手法
上記の通り，提案手法では，受検者の質問に対する ChatGPT の過剰回答の検出を，二つの BERT を組み合わせることで実現する．一つ目の BERT は，OSCE 形式で実施された医療面接の対話データセッ

図 2: 質問-シナリオ間関連性予測モデルの概略図

ト [18] でファインチューニングを行なったモデル
応関係を予測する．二つ目のモデルは，一般言語理2.1 質問とシナリオの対応関係を予測する
BERT モデル

解評価ベンチマーク (General Language Understanding

質問とシナリオの対応関係を予測する BERT モであり，受検者の質問文と個々のシナリオ文との対Evalueation ; GLUE)[19] タスクの一つである含意判

デルでは，個々のシナリオが，受検者の質問と関定タスクでファインチューニングを行なったモデ係しているかを判定する．具体的には，BERT の事ルであり，受検者の質問に対する ChatGPT の回答文が，個々のシナリオ文を含意しているかを予測す

前学習タスクの一つである Next Sentence Prediction

る．これら二つの BERT の予測結果を比較し，質問係が隣接文として成り立つかどうかの 2 値分類を全に直接関係しないシナリオへの言及を含む回答を検出して，ChatGPT にフィードバックを行い，適切なてのシナリオに対して行うモデルを構築する．以降
では，この BERT モデルを「質問-シナリオ間関連性回答を再出力させる．提案手法の概略図を図 1 に示予測モデル」と呼ぶ．

す．以降では，提案手法の個々の手続きについて詳述する．

(NSP)[20] と同様に，質問とシナリオの二文間の関モデルの概念図を図 2 に示す．受検者の 𝑖 番目の質問の単語系列と， 𝑗 番目のシナリオの単語系列― 1155 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

てモデルに入力する．この入力の [𝐶 𝐿𝑆] トークン

過剰なシナリオの検出とそれらのフィードバック手法に対応する BERT の分散表現ベクトル 𝒙 𝑖 𝑗 ∈ ℝ768 に

2.1 節 と，2.2 節 で 説 明 し た 二 つ の 反 応 デ ー

対して，次式で与えられる Linear Layer with Sigmoid

タ 𝒛𝑖 ，𝒓 𝑖 を 用 い て，質 問 に は 直 接 関 係 な い が，Activation を適用する．

ChatGPT の 回 答 に は 含 ま れ て い る 過 剰 な シ ナ リを，[𝐶 𝐿𝑆] と [𝑆𝐸 𝑃] という特殊トークンを挿入し

𝑣 𝑖 𝑗 = 𝜎(𝑾𝒙 𝑖 𝑗 + 𝑏)(1)

ここで，𝜎 はシグモイド関数を，𝑾 と 𝑏 はそれぞれ重みパラメータとバイアスパラメータを表す．式(1) より得られた 𝑣 𝑖 𝑗 は，0 から 1 の間をとる連続値である．𝑣 𝑖 𝑗 に対して，閾値を 0.5 に設定し，𝑖 番目の質問に対する 𝑗 番目のシナリオが隣節文として成り立つか否かの 2 値分類を次式で計算する．
 1 𝑣 𝑖 𝑗 ≥ 0.5

𝑧𝑖 𝑗 =(2) 0 else
ここで，𝑧 𝑖 𝑗 は，𝑖 番目の質問に対して 𝑗 番目のシナリオが隣接関係にある場合に 1 を取り，隣接関係になければ 0 を取る変数である．このプロセスを全て2.3オを検出する．ここで，これらの反応データの要素は，0 と 1 の 2 値データを取るため， 𝑗 番目の要 素 同 士 を 比 較 す る と，考 え ら れ る 組 合 わ せ は(𝑧𝑖 𝑗 , 𝑟 𝑖 𝑗 ) ∈ {(0, 0), (0, 1), (1, 0)(1, 1)} の 4 通りである．
これらのうち (𝑧𝑖 𝑗 , 𝑟 𝑖 𝑗 ) = (0, 1) のケースは「受検者の質問に関連しないシナリオであるにも関わらず，ChatGPT の回答にはそのシナリオへの言及が認められる」ことを意味する．したがって，このケースを検出することで，ChatGPT の過剰回答を検出できると期待される．したがって，この比較を全てのシナ
リオ 𝑗 ∈ {1, ..., 𝐽} について行うことで，𝑖 番目の質問に対する ChatGPT の回答に含まれる過剰なシナリオを検出する．のシナリオに対して繰り返し，それぞれのシナリオ過剰なシナリオが検出された場合，それらを削が受検者の質問に関連しているかどうかを表す次式の隣接関係反応データ 𝒛 𝑖 を得る．

減して適切な回答を再出力するように，再帰的に

𝒛 𝑖 = {𝑧𝑖 𝑗 | 𝑗 ∈ 1, . . . , 𝐽}

(3)

ChatGPT にフィードバックを与える．フィードバッ
クのためのプロンプトへの入力は以下の通りである．

ChatGPT の回答とシナリオの対応関係を予測する BERT モデル“Please refrain from mentioning scenario of { 過剰ChatGPT の回答とシナリオの対応関係を予測する

ChatGPT はフィードバックを考慮した回答を再出力

BERT モデルでは，ChatGPT の回答がどのシナリオする．フィードバック後の回答に対し，上述の二つを参照しているかを判定する．具体的には，GLUEの含意判定タスクでファインチューニングされた，の反応データの比較を再度行い，フィードバック後の回答が過剰なシナリオを含んでいるか確認を行

2.2

なシナリオ } in this doctor’s question.”

図 2 と同様の構造を持つ BERT を用いる．以降でう．これらの手順を，過剰なシナリオが削減されるは，この BERT を「AI 回答-シナリオ間関連性予測まで再帰的に繰り返す．ただし，本研究では，5 回モデル」とする．

目のフィードバックでも過剰なシナリオを削減しき

ここで，AI 回答-シナリオ間関連性予測モデルへの入力が例えば，して回答する．

“[CLS] シナリオ A, B, C に言及した ChatGPT のれなかった場合は，5 回目の出力を最終的な出力と質問-シナリオ間関連性予測モデルのファインチューニング

2.4

回答文 [SEP] シナリオ A の文章”であるとすると，モデルは，シナリオ A の重複を提案手法では，2.1 節の質問-シナリオ間関連性予もって含意と判定するはずである．このプロセスを測モデルを，カナダ・ウェスタン大学研究チームが全てのシナリオに適用することで，𝑖 番目の質問に開発した医療面接データセット [18] を用いて，NSP対する ChatGPT の回答の含意関係反応データ 𝒓 𝑖 をタスクでファインチューニングを行った．このデー次のように得る．

タセットは，272 セットのシナリオに関する，OSCE(4)形式でシュミレートされた医療面接が収録されていここで，𝑟 𝑖 𝑗 は，𝑖 番目の質問に対する ChatGPT の回る．ただし，本データセットには，モデルの訓練精度に影響を与える可能性のある文脈を推測できない

𝒓 𝑖 = {𝑟 𝑖 𝑗 | 𝑗 ∈ 1 . . . , 𝐽}

答が 𝑗 番目のシナリオを含意しているとき 1，そうでないとき 0 を取る変数である．

短い回答が多く存在するため，それらを排除，また― 1156 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1: 4 つのシナリオに対する提案手法の性能評価
評価指標
RecallSpeciﬁcity

モデルw/ FTw/o FT
w/ FT
w/o FT

シナリオ 10.70
0.40
0.970.99

シナリオ２0.95
0.45
0.95
1.00

シナリオ 30.46
0.390.98
1.00

シナリオ 40.70
0.170.98
0.99

平均0.700.35
0.970.99† w/ FT はファインチューニングあり，w/o FT はファインチューニングなしを表す

表 2: フィードバック後の過剰回答の修正率
対話の基礎統計量 (合計)
過剰な回答の回数
モデルが過剰と予測した回数
過剰なシナリオを削減できた回数
過剰なシナリオを削減できた割合

シナリオ 12016160.80

シナリオ 21214
90.75

シナリオ 374
10.14

シナリオ 41613120.75

平均13.75
11.75
9.50
0.69

は修正した．モデルの学習は交差エントロピー誤差要である．Recall の結果から，ファインチューニンを最小化することで行った．

グを行ったモデルを用いた提案手法では，シナリオ3 を除く全てのシナリオで正確にそれらを検出でき評価実験3ていることが確認できる．

筆者らが作成した 4 つのシナリオに基づく実験を行

過剰回答のフィードバックによる改善の有無の評価

う．以降の 3.1 節，3.2 節で詳述する評価実験では，それぞれのシナリオ文を指定した ChatGPT に，受検

ここでは，過剰回答のフィードバックにより最終的な回答に改善が見られたかを評価する実験を行っ者の質問文を一文ずつ与え，その質問に対する回答た．具体的には，過剰回答を検出した場合に，実際を評価した．作成したシナリオの詳細や，実験の設に ChatGPT の回答に 2.3 節で説明したフィードバッ

定は付録 A.2 に詳述した．

クを適用し，その最終出力において，過剰なシナリ

本章では，提案手法の有効性を評価するために，3.1

3.2

オが削減されているかどうかを評価した．この実験

過剰回答の検出精度の評価

では，それぞれ 4 つのシナリオに基づく回答生成を

まず，提案手法により過剰回答を検出できるかを3 回ずつ行い，生成した計 297 回の対話で評価した．

評価する実験を行った．作成した 4 つのシナリオに過剰なシナリオを含んだ全体の回答の内，69%の割基づく回答生成をそれぞれ 5 回ずつ行い，計 495 回合で過剰なシナリオを削減した回答の再出力がでの対話を生成した．ただし，ここでは回答にフィーきている．これらの詳細を表 2 に示す．例として，ドバックは適用していない．生成した ChatGPT のフィードバックにより過剰な回答が改善された回答

各回答が過剰であるかを著者らが評価し，それらをを付録 A.1 に示す．

正解値として Recall と Speciﬁcity を用いて提案手法の精度評価を行った．また，質問-シナリオ間関連性予測モデルにおいて，2.4 節のファインチューニングを行わないモデルとの性能比較も行った．

4

まとめ

本研究では SP としての回答をする対話 AI を実現するために，質問-シナリオ間関連性予測モデルと，シナリオごとの 5 回の試行の平均精度を表 1 に示

AI 回答-シナリオ間関連性予測モデルと呼ぶ 2 種類

す．本研究において，Speciﬁcity は，実際は過剰なの BERT モデルを用いて ChatGPT の回答に含まれる回答でないにも関わらず，過剰と判断した割合に対過剰なシナリオを検出し，それらを抑制する手法を応する．表 1 より，提案手法では，シナリオやファ提案した．提案手法では，検出した過剰なシナリオインチューニングの有無に依らず総じて正確に過を抑制するフィードバックを経て，OSCE の場面に剰でない回答を識別できていることが確認できる．

おいて適切である必要なシナリオのみを参照した回

Recall は，実際は過剰な回答であるが，過剰でない答の再出力を可能にした．今後は，実際の被験者実と判断した割合に対応し，本研究の目的である過剰験を通して，提案手法の有効性を評価したい．

な回答に対するフィードバックを行うために特に重― 1157 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 19H05663, 21H00898 の助成[14]を受けたものです．

参考文献[1] R. M. Harden. What is an OSCE? Medical Teacher,Vol. 10, No. 1, pp. 19–22, 1988.
[2] 伴信太郎. 客観的臨床能力試験. 医学教育, Vol. 26,
No. 3, pp. 157–163, 1995.
[3] Iris Schleicher, Karsten Leitner, Jana Juenger, AndreasMoeltner, Miriam Ruesseler, Bernd Bender, Jasmina Sterz,
Karl-Friedrich Schuettler, Sarah Koenig, and Joachim Gerhard Kreuder. Examiner eﬀect on the objective structured
clinical exam –a study at ﬁve medical schools. BMC Medical Education, Vol. 17, No. 1, p. 71, 2017.
[4] Masaki Uto. A multidimensional generalized many-facet
Rasch model for rubric-based performance assessment.
Behaviormetrika, Vol. 48, No. 2, pp. 425–457, 2021.
[5] Masaki Uto. Accuracy of performance-test linking basedon a many-facet Rasch model. Behavior Research Methods, Vol. 53, No. 4, pp. 1440–1454, 2021.
[6] Masaki Uto and Maomi Ueno. A generalized many-facet
Rasch model and its Bayesian estimation using Hamiltonian Monte Carlo. Behaviormetrika, Vol. 47, No. 2, pp.
469–496, 2020.
[7] Masaki Uto, Itsuki Aomi, Emiko Tsutsumi, and Maomi
Ueno. Integration of Prediction Scores From Various Automated Essay Scoring Models Using Item Response Theory. IEEE Transactions on Learning Technologies,
Vol. 16, No. 6, pp. 983–1000, 2023.
[8] T Liu, J Luo, H He, J Zheng, J Zhao, and K Li. Historytaking instruction for baccalaureate nursing students by virtual patient training: A retrospective study. Nurse EducToday, Vol. 71, pp. 97–104, 2018.
[9] A.J. Kleinheksel. Transformative Learning through Virtual Patient Simulations: Predicting Critical Student Reﬂections. Clinical Simulation in Nursing, Vol. 10, pp.
301–308, 2014.
[10] R Dickerson, K Johnsen, A Raij, B Lok, J Hernandez,
A Stevens, and DS Lind. Evaluating a Script-Based Approach for Simulating Patient-Doctor Interaction. Proceedings of the International Conference of HumanComputer Interface Advances for Modeling and Simulation, Vol. 1, pp. 79–84, 2005.

[15]

[16]

[17]

[18]

[19]

and building OSCEBot ® for virtual OSCE - performance
evaluation. Med Educ Online, Vol. 28, No. 1, p. 16, 2023.
Kellen R Maicher, Adam Stiﬀ, Marisa Scholl, MichaelWhite, Eric Fosler-Lussier, William Schuler, PrashantSerai, Vishal Sunder, Hannah Forrestal, Lexi Mendella,Mahsa Adib, Camille Bratton, Kevin Lee, and Douglas R
Danforth. Artiﬁcial intelligence in virtual standardized
patients: Combining natural language understanding andrule based dialogue management to improve conversational
ﬁdelity. Med Teach, p. 7, 2022.
Roth Benjamin Fink Maximilian Rojowiec, Robin. IntentRecognition in Doctor-Patient Interviews. No. 702–709. European Language Resources Association, Marseille, France, 2020.
Han Wei Ng, Aiden Koh, Anthea Foong, and Jeremy Ong.
Real-Time Hybrid Language Model for Virtual PatientConversations. In Ning Wang, Genaro Rebolledo-Mendez,
Noboru Matsuda, Olga C. Santos, and Vania Dimitrova,editors, Artiﬁcial Intelligence in Education, pp. 780–785, Cham, 2023. Springer Nature Switzerland.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
arXiv:1810.04805, pp. 4171–4186, 2019.
Faiha Fareez, Tishya Parikh, Christopher Wavell, SabaShahab, Meghan Chevalier, Scott Good, Isabella De Blasi,Raﬁk Rhouma, Christopher McMahon, Jean-Paul Lam,Thomas Lo, and Christopher W. Smith. A dataset of simulated patient-physician medical interviews with a focus on
respiratory cases. Scientiﬁc Data, Vol. 9, No. 1, p. 313,2022.
Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill,Omer Levy, and Samuel Bowman. GLUE: A MultiTask Benchmark and Analysis Platform for Natural Language Understanding. Proceedings of the 2018 EMNLPWorkshop Blackbox(NLP): Analyzing and Interpreting Neural Networks for NLP, pp. 353–355, 2018.

[20] Yi Sun, Yu Zheng, Chao Hao, and Hangping Qiu. NSPBERT: A Prompt-based Few-Shot Learner Through an
Original Pre-training Task–Next Sentence Prediction. International Conference on Computational Linguistics, p. 18, 2022.

[21] 伴真太郎, 鈴木富雄, 青松棟吉, 西城拓也, 阿部恵子,桑畠愛. よくわかる医療面接と模擬患者. 名古屋大学出版会, 2015.

[11] Thomas Parsons, P Kenny, and Albert Rizzo. Virtual human patients for training of clinical interview and communication skills. International Conference on Disability, Virtual Reality and Associated Technologies,
p. 9, 2008.
[12] Julia El Zini, Yara Rizk, Mariette Awad, and Jumana Antoun. Towards A Deep Learning Question-Answering Specialized Chatbot for Objective Structured Clinical Examinations. In 2019 International Joint Conference on
Neural Networks (IJCNN), pp. 1–9, 2019.
[13] Daniela S M Pereira, Filipe Falcão, Andreia Nunes, Nuno
Santos, Patrı́cio Costa, and José Miguel Pêgo. Designing― 1158 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 4: ChatGPT に与えられるシナリオの例

付録A

1. I’m Yamaguchi Aoi.

A.1

ChatGPT の過剰回答

2. I’m 50 years old.

ChatGPT は受験者からの質問では言及されていな

3. I have a persistent cough and phlegm since catching acold three weeks ago.

いシナリオまで情報を参照し，過剰な回答をするこ

4. The color of the phlegm is transparent.とがある．過剰な回答の例と，それらの回答を提案

5. Two weeks ago, I visited a nearby hospital and was prescribed cold medicine, but it didn’t improve my conditioneven after taking it.

モデルによって検出し，フィードバックすることで改善された回答の例を表 3 に示す．
表 3: ChatGPT の過剰な応答をフィードバック (FB)

6. Yesterday, I revisited my regular doctor, and they took achest X-ray, but they couldn’t ﬁnd anything conclusive, sothey referred me here for further tests.

し，改善された対話サンプル

7. For the past week, I’ve been feeling a slight shortness ofbreath even just climbing stairs at school.

Doctor :In the back pain that you are having, does the pain radiate or moveto any other part of your body?

8. At night, when lying down, the symptoms worsen, making it diﬃcult to sleep, but sitting down provides somerelief.

Patient(Pre-FB) :Yes, the pain in my lower back radiates down my right leg. It startsfrom the lower back and travels all
the way down to my foot. The pain
can be quite intense and it feels
like a shooting or tingling sensation. Sometimes, I also experiencenumbness and reduced sensation
in my lower limbs. It’s quite uncomfortable and makes it diﬃcult
for me to move around or perform
certain activities.

9. Six months ago, when I went mountain climbing, I
had a similar experience. I felt short of breath and had acough, but I thought it was due to exhaustion and didn’t
seek medical attention.
10. My bowel movements haven’t changed, but I feel likemy urine ﬂow has decreased since catching the cold.
11. My feet are swollen, making it diﬃcult to put on shoes.

Patient(Post-FB) :Yes, the pain in my lower back radiates down my right leg.

Doctor :When did the symptom start?

Patient(Pre-FB) :The symptoms started three weeks
ago when I caught a cold. Initially, it was just a regular coughand phlegm, but it hasn’t improved
over time.

Patient(Post-FB) :The symptoms started three weeks
ago when I caught a cold.

A.2

実験設定

12. Until the age of 40, for 20 years, I smoked one cigarettea day.
13. I drink alcohol occasionally, only a small bottle onholidays.
14. My menstrual cycle has become irregular, and the ﬂow
has decreased.
15. I initially thought it was just a common cold, butsince the cough hasn’t improved and I feel slightly short ofbreath, I’m worried it might be something more serious,
like pneumonia.
16. My father passed away from colon cancer, and mymother from uterine cancer. My brother died suddenly lastyear at the age of 52 from a heart attack.
プトには以下のように指示した．

本研究では，文献 [21] の SP 用のシナリオを基に，“You’ll act a role of patient. The patient’s scenar-

呼吸器，心臓，2 つの筋骨格に関する症状をそれぞ

ios are described in detail. Note that the generated
response should always begin with an utterance.”

れの主訴とする 4 つのシナリオを作成した．作成したシナリオは，表 4 に示したような患者の年齢，家族背景などのペルソナ情報や，抱えている症状の詳細などのシナリオ文のリストと，医者の質問文のリストが用意されている．医者の質問文は文献 [18] での医療面接を基に作成した．
本研究では，指定したシナリオに沿って回答する ChatGPT として gpt-3.5-turbo を採用した．gpt-3.5turbo のパラメータの一つである temperature は 0.7 に設定した．ChatGPT には {“role”: “system”, “content”:“ 𝑗 番目のシナリオ文”} の形式でシナリオ文を一文ずつ指定し， 𝑗 = 1, 2, ..., 𝐽 まで入力した上でプロン― 1159 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).