C-4-2

大規模言語モデルを利用した認知行動療法に基づく対話システムの応答生成
奈良先端科学技術大学院大学
泉健太 田中 宏季 設樂 一碩 中村 哲
大阪大学足立 浩祥 金山 大祐 工藤 喬

12024/3/9

TAPAS SUPPORTED BY ANR-CREST精神疾患の罹患者数の増加
精神疾患の罹患者数は、2019年に全世界で9億7000万人と推定され、世界人口の増加ととも増加傾向にあり、日本でも増加している。[WHO, 2022][厚生労働省, 2019]
一方で精神科医などの治療者は不足傾向であり、メンタルヘルスケアサービスへのアクセスを容易にするために、さまざまなモバイルアプリが開発されている。その主役のひとつが会話エージェントである。[Abd-Alrazaq AA et al., 2021]

厚生労働省：平成30年版厚生労働白書―障害や病気などと向き合い、全ての人が活躍できる社会に―、図表1-2-9
2

TAPAS SUPPORTED BY ANR-CREST

2024/3/9認知行動療法（CBT） [Beck, 2020]
状況

自動思考

気分

「友達が返事をくれない。」①特定②修正「忙しいのかもしれない。」「嫌われているに違いない。」

不安改善

CBTの要点：自動思考を①特定し、②修正する。
3

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

メンタルヘルスケアのためのチャットボット
Woebot [Fitzpatrick KK et al., 2017]
認知行動療法（CBT）のカスタムテンプレートに基づいたチャットサービスを提供。
文脈と感情のテストに関する一般的な質問から始まり、ユーザーが選択できるいくつかのオプションを提供する。

Wysa [Inkster B et al., 2018]
主にCBT、動機づけ面接、弁証法的行動療法を用いる。
ユーザーの入力を分析し、あらかじめ設定されたルールに従って応答する。
4

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

シナリオベースの対話システム
CBTシナリオ[Shidara et al., 2022]
状況、気分、気分の強さについての質問
自動思考を特定するための質問

自らの自動思考について批判的に考え、より現実的な思考に至るよう促すための質問（ソクラテス質問）

実験では、システムとの対話によって被験者の気分が改善されることが確認された。
5

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

生成ベースの対話システムへの移行
ルールベースのチャット

ユーザー入力に対する乏しい理解
文脈によらない決まりきった応答「会話は浅い、混乱する、または短すぎる」[Abd-Alrazaq AA et al., 2021]

LLMによるチャット

ユーザー入力へのより良い理解より質の高い応答対話の質が向上する？
CBTの効果は向上する？

大規模言語モデル（LLM）から生成された応答を利用することで、対話の質とCBTの効果がどのように変化するかを調査する。
6

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

CBTに基づく対話シナリオ
発話順

7

発話の意図

発話

1

挨拶、状況に対する質問

これから私と一緒に、悩みと向き合うトレーニングをしましょう。今何か悩みを抱えていませんか？
ここ最近で、気がかりなことや、向き合うのが辛いことはありますか？
もし良ければ、あなたが辛いと思っている悩みを私に教えてください。

2

気分の特定

3

セッション前の気分の強さ

4

自動思考の候補

それを考えているとき、どのような考えが頭に浮かびましたか？

5

自動思考の候補

なるほど。ほかにも思い浮かびますか？思いつく限りのことを言ってください。

6

自動思考の特定

あなたの頭に浮かぶ最も強い考えは何ですか？

7

議題とする自動思考の決定

8~13

システムごとに変化

14

セッション後の気分の強さ

15

終わりの挨拶

それを考えているとき、どんな気分になりましたか？
まったくつらくない時を0、一番つらい時を100で表すと、その気分の強さはどれくらいですか？

そのような、ある出来事に直面した際に、頭に思い浮かぶ考えのことを自動思考といいます。
あなたが話してくれた自動思考について、もっと詳しく知りたいです。よろしいですか？
ソクラテス質問 or 生成された応答 or 生成された応答+ソクラテス質問なるほど、わかりました。はじめに感じていた気分の強さは、今はどのくらいになりましたか？まったくつらくない時を0、一番つらい時を100で表してください。
もし気分が変わっていたら、うまく考えを整理できた証です。これで対話は終了です。お疲れ様でした。

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

ソクラテス質問（SQ）
ソクラテス質問は、クライアントが自分の考えや信念を探求し、それについて批判的に考えて視野を広げ、より現実的で適応的な視点に到達するのを助ける質問技法である。[Vittorio et al., 2022][Overholser, 2010][Kazantzis et al., 2014]
発話順

8

発話

8

あなたの自動思考が正しいとしたら、その根拠にはどのようなものがありますか？

9

では、仮に自動思考が正しくないとしたら、どのような根拠が考えられますか？

10

あなたがつらいと思っている状況に対し、今の自動思考以外にも、何かほかの見方はできるでしょうか？

11

この先起こりうる最悪な結果はどのようなものでしょうか？

12

この先起こりうる最良な結果はどのようなものでしょうか？

13

では、この先起こりうる、最も現実的な結果はどのようなものでしょうか？

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

LLMが生成した応答の利用効果検証
研究目的
シナリオの中でLLMから生成された応答を使用することで、対話の質、認知や気分の変化にどのような影響があるのかを明らかにする。

2種類のLLMによる5つのシステムの比較
1. SQ
2. OsakaED3. OsakaED+SQ
4. GPT-4
5. GPT-4+SQ

シナリオ通りSQ を発話する。
大阪共感対話モデルで生成した応答を発話する。
大阪共感対話モデルで生成した応答とSQを発話する。
GPT-4で生成した応答を発話する。
GPT-4で生成した応答とSQを発話する。

生成された応答にソクラテスの質問を加えることで、CBTの文脈から外れず、さらにCBTとしての効果を維持または向上させることができると考えた。
9

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

大阪共感対話モデル
OsakaSNSカウンセリングデータセット
会話の総数
総発話数
文脈とセラピストの発話ペア総数:

2077
6206629062

訓練
訓練データ: 90% 検証データ: 10%ベースモデル
EmpatheticDialoguesデータセットでfinetuneされたNTT日本語版Transformer Encoder
Decoder対話モデル
Training perplexityが減少していることを確認し、Validation perplexityが最少のモデルを使用した。
毎ターン５つの応答候補を生成し、SQを付け足す場合は、できるだけ質問を選ばないようにした。
10

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

GPT-4
システムプロンプト[Kumar et al., 2022]らが設計し、GPT-3で検証したCBTプロンプトを採用した。
以下はコーチとの会話である。そのコーチは、彼らの考え、感情、行動が互いにどのように影響し合っているかを、人間が理解するのを助ける。もし人間が否定的な考えを示したら、コーチはそれをより現実的な信念に置き換える手助けをする。コーチは強力な対人関係スキルを持っている。

ソクラテス質問を組み合わせるとき、質問をしないよう促した。
以下はコーチとの会話である。コーチは質問をしない。そのコーチは、 （以下略）文脈すべての対話履歴は文脈長が許す限り入力される。文脈の長さが長すぎる場合、文脈の長さに収まるまで、履歴は最初の発話から削除される。

11

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

実験
被験者の募集クラウドソーシング・プラットフォーム「クラウドワークス」を通じて105人のワーカーが募集された。

対話開始前
被験者には、以下の項目を記入してもらう。

K6 (Depression Scale), 性別, 年齢, Crowd Sourcing ID

対話
被験者はLINEを使ってシステムと対話するよう求められる。
どのシステムと会話したかは知らされない。
Q3と14では、対話の最初と最後に否定的な気分の強さ（0~100で回答）が尋ねられ、以下の式で気分変化（Mood Change）が計算された。
𝑀𝑜𝑜𝑑 𝐶ℎ𝑎𝑛𝑔𝑒 = −12

𝑀𝑜𝑜𝑑 𝐼𝑛𝑡𝑒𝑛𝑠𝑖𝑡𝑦 𝑎𝑡 𝑡ℎ𝑒 𝑒𝑛𝑑 − (𝐼𝑛𝑖𝑡𝑖𝑎𝑙 𝑀𝑜𝑜𝑑 𝐼𝑛𝑡𝑒𝑛𝑠𝑖𝑡𝑦)
𝐼𝑛𝑖𝑡𝑖𝑎𝑙 𝑀𝑜𝑜𝑑 𝐼𝑛𝑡𝑒𝑛𝑠𝑖𝑡𝑦
TAPAS SUPPORTED BY ANR-CREST

2024/3/9

実験
対話終了後被験者には、以下の項目を記入してもらう。

Cognitive Change Immediate Scale （7段階のリッカート尺度による5つの質問）
15項目の対話の質を評価するための質問
対話システムの改善に関する自由記述

有効サンプル数
全部で85の有効なサンプルが集まった。(11人が作業を完了せず、9人のサンプルで対話中に問題が発生した。）
1. SQ:
24
2. OsakaED:14
3. OsakaED+SQ:
13
4. GPT-4:
17
5. GPT-4+SQ:
17
13

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

質問項目

*

評価項目

質問内容

Naturalness

Q1. システムの発話は人間らしく自然だった

Ease

Q2. 簡単に対話を続けることができた

Enjoyment

Q3. システムとの対話は楽しかった

User’s empathy

Q4. システムの発話に共感できた

AttentivenessQ5. システムはあなたに興味を持って積極的に話そうとしていた

Trust

Q6. システムの話したことは信頼できると感じた

Personality

Q7. システムの個性・人となりが感じられた

AgencyQ8. システムは自身の考えをもって話していると感じた

Topic

Q9. システムには話したい話題があると感じた

Emotion

Q10. システムは感情を持っていると感じた

Consistency

Q11. システムの発話は矛盾せず一貫していた

Engagement

Q12. この対話にのめりこめた

RespeakQ13. またこのシステムと話したい

System’s empathy

Q14. システムは共感を示した

initiative

Q15. 対話を主導することができた* [Sugiyama, et al. 2021]と同じ設問で、それに倣いすべての設問に11段階のリッカート尺度を用いている。
14

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

結果
GPT-4がmood change、CC-immediateおよびほぼすべての質問項目で最も高い評価を得た。

15

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

SQとLLMで生成した応答の比較
SQ vs. OsakaED
OsakaSNSで生成した応答を利用した場合、initiativeで増加、consistencyで減少が見られた。

SQ vs. GPT-4
GPT-4で生成した応答を利用したことで、
mood change、empathy、emotionなど多くの項目で有意な改善が見られた。

16

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

SQにLLMで生成した応答を付け加えることの効果
SQ vs. GPT-4+SQ
GPT-4で生成した応答を利用したことで、
mood change、empathy、emotionなど多くの項目で有意な改善が見られた。

SQ vs. OsakaED+SQ
OsakaSNSで生成した応答を利用した場合、consistencyに減少が見られた。

17

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

LLMで生成した応答にSQを付け加えることの効果
OsakaED vs. OsakaED+SQ, GPT-4 vs GPT-4+SQ

両方のLLMにおいて、SQ を付け加えることはmood change cognitive change及びすべての質問項目で有意な変化を生まなかった。

SQと比べるとLLMが生成した応答が十分に効果的で、SQを加えたとしても大きな変化は生まれないことが示唆された。

18

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

まとめ GPT-4は高いカウンセリング能力を持ち、シナリオベースのシステムを大幅に改善できることが示された。
 一方で、人間によるカウンセリングデータセットを学習に用いたLLMを応答生成に利用したとしても、シナリオベースのシステムを改善できるわけではないことが示唆された。
 システム応答に対する責任問題を考慮すると、応答を完全に制御できるシナリオやルールベースのシステムと比べて改善することができない場合、ＬＬＭを用いるメリットはない。
LLMによるメンタルヘルスケア対話システムを開発する場合、
 GPT-4のような十分に高い性能を持つLLMを使用することを検討する。
 ルールやシナリオベースのシステムと比べて改善することを確認する。

今後は、
 カウンセリングのためのGPT-4のシステムプロンプトの最適化
 GPT-4の生成する応答のどのような特徴がユーザーの気分や評価を改善しているかを分析
19

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

参考文献
厚生労働省, 平成30年版厚生労働白書―障害や病気などと向き合い、全ての人が活躍できる社会に―, 2019

Shidara K, Tanaka H, Adachi H, Kanayama D, Sakagami Y, Kudo T, and Nakamura S (2022) An Analysis of Questions to Evaluate an AutomaticThoughtin Cognitive Behavior Therapy with a Virtual Agent. The 36th Annual Conference of the Japanese Society for Artificial Intelligence, p.
2I6OS9b02
Inkster B, Sarda S, Subramanian V (2018) An Empathy-Driven, Conversational Artificial Intelligence Agent (Wysa) for Digital Mental Well-Being:
Real-World Data Evaluation Mixed-Methods Study, JMIR Mhealth Uhealth 2018;6(11):e12106
Institute for Health Metrics and Evaluation, “Gbd results tool.”, http://ghdx.healthdata.org/gbd-results-tool?params=gbd-api2019permalink/cb9c37d9454c80df77adaed394d7fc0f, accessed 14 October 2023.
Fitzpatrick KK, Darcy A, Vierhile M. (2017) Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety
Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial. JMIR Ment Health. 2017 Jun 6;4(2):e19. doi:
10.2196/mental.7785. PMID: 28588005; PMCID: PMC5478797.
Abd-Alrazaq AA, Alajlani M, Ali N, Denecke K, Bewick BM, Househ M (2021) Perceptions and Opinions of Patients About Mental Health Chatbots:
Scoping Review, J Med Internet Res 2021;23(1):e17828
Sugiyama H, Mizukami M, Arimoto T, Narimatsu H, Chiba Y, Nakajima H, Meguro T (2021) Empirical Analysis of Training Strategies of Transformerbased Japanese Chit-chat Systems, arXiv, cs.CL, preprint arXiv:2109.05217
World Health Organization. World mental health report: transforming mental health for all, 2022.
https://www.who.int/publications/i/item/9789240049338, Licence: CC BY-NC-SA 3.0 IGO
Harsh Kumar, Ilya Musabirov, Jiakai Shi, Adele Lauzon, Kwan Kiu Choy, Ofek Gross, Dana Kulzhabayeva, and Joseph Jay Williams. Exploring thedesign of prompts for applying gpt-3 based chatbots: A mental wellbeing case study on mechanical turk. arXiv preprint arXiv:2209.11344, 2022.

20

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

対話例
これから私と一緒に、悩みと向き合うトレーニングをしましょう。今何か悩みを抱えていませんか？ここ最近で、気がかりなことや、向き合うのが辛いことはありますか？もし良ければ、あなたが辛いと思っている悩みを私に教えてください。
肌荒れやニキビが長い間治らないです。
それを考えているとき、どんな気分になりましたか？
辛いです。早く治ってほしい。
まったくつらくない時をを0、一番つらい時を100で表すと、その気分の強さはどれくらいですか？
80

それを考えているとき、どのような考えが頭に浮かびましたか？

21

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

対話例
早く治ってほしい。どうして治らないんだろう。
なるほど。ほかにも思い浮かびますか？思いつく限りのことを言ってください。
そういう体質なんだろうか。
あなたの頭に浮かぶ最も強い考えは何ですか？
早く治したい。
そのような、ある出来事に直面した際に、頭に思い浮かぶ考えのことを自動思考といいます。あなたが話してくれた自動思考について、もっと詳しく知りたいです。
よろしいですか？
はい22

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

対話例（GPT-４）
ありがとうございます。その「早く治したい」という感情から生じる考えを深く掘り下げてみましょう。その思考があなたにどのような影響を与えていると感じますか？
それはあなたの行動や日常生活にどう影響を与えていますか？
鏡を見るときにチェックしたり、肌や食生活に気を使ったりします。
あなたの自動思考は、「早く治したい」という気持ちが強くあらわれていますね。
その思考があなたの行動を促し、より健康的な生活を心がけやすくなっています。
かつてあなたは「どうして治らないんだろう」と思っていましたが、実はその思考が現実と一致しない可能性があります。新しい見方を提案したいと思います。
「自分の肌状態を自分でコントロールすることができる」「肌荒れに対する適切なケアを行っていれば時間をかけて改善することができる」というように、現実的な視点から見直すことで、自分自身をもっと助けることができます。この新しい見方について、どう思いますか？

23

TAPAS SUPPORTED BY ANR-CREST

2024/3/9

対話例（OsakaED）
肌荒れやニキビが長く治らないのは、辛いですね...
そうです。辛いんです。
肌荒れやニキビがずっと治らないのは、どうしてでしょうか...

24

TAPAS SUPPORTED BY ANR-CREST

2024/3/9