2020年度 ⼈⼯知能学会全国⼤会（第34回）[4F3-OS-25b-05]

対話エージェントを⽤いた
認知⾏動療法の有効性検証設樂⼀碩＊1，⽥中宏季＊1，⾜⽴浩祥＊2，⾦⼭⼤祐＊2 ，阪上由⾹⼦＊2，⼯藤喬＊2 ，中村哲＊1＊1 奈良先端科学技術⼤学院⼤学＊2 ⼤阪⼤学

2020/06/12

キャンパスライフ健康⽀援センター

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

認知⾏動療法

背景

認知⾏動療法（CBT: Cognitive Behavior Therapy）
Ø 思考や⾏動が良好な状態かを検証し，必要に応じて修正を⾏う訓練法．
Ø 健康な⼈々にも，⼼の健康を保つための練習法として有効

状況

友達に話しかけたが無視された“私は嫌われている”（頭をよぎる思考） “聞こえなかっただけだろう”
⾃動思考

感情
2020/06/12

悲しみ悲しみの軽減
2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

2 / 21

構成要素

CBTの流れØ 本研究では，CBTの技法である認知再構成法を基本形とする7項⽬の問いかけに沿って，思考の偏りを検証する→適応的思考（バランスの取れた思考）を検討し，感情を改善する
問いかけの項目
状況[どのようなことが起こりましたか?]感情（感情の強さ）[どのような感情になりましたか？]

自動思考[どのような考えが頭に浮かびましたか？]

感情の変化

証拠
[その考えを裏付ける事実はありますか？]

反証[反対の事実はありますか？]

適応的思考[しなやかに考えると？]変化後の感情（感情の強さ）[感情は変わりましたか？]

2020/06/12

回答例
教室で友人のAさんに声をかけたが，無視されてしまった．
不安（９０％）

Aさんに嫌われてしまった．

何度か名前を読んだにもかかわらず，彼は返事をしなかった．

彼は夢中で他の人と話していた．

他の人との会話に夢中で気付かなかったのだろう．

不安（４０％）

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST3 / 21

背景

CBT（認知⾏動療法）の応⽤

対話エージェントによるCBTの⼿法の⾃動化
今，⾟いと思っていることはなんですか？
昨⽇，友達に無視されたことです．

利点• 医療機関に⽐べ，低いコストでCBTの提供ができる• 時間，場所にとらわれない頻回な⽀援ができる• ⼼理的な抵抗感を低くすることができる
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

4 / 21

⽬標

CBTの⾃動化の⽬標

ユーザの発話内容に合わせた応答の制御
今，⾟いと思っていることはなんですか？
昨⽇，友達に無視されたことです．
その時，どのような感情になりましたか？
悲しい気持ちになりました．
無視された時，どのような考えが浮かびましたか？
私は，友達に嫌われた
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

5 / 21

背景関連研究Ø テキストベースの対話を⾏うアプリサービス• Woebot [Fitzpatrick et al., 2017]• iCBT-AI [Mirai et al., 2016]
Ø 主に，抑うつ尺度の評点をもとに評価を⾏なっている
Woebot: ２週間の使⽤期間前後の⽐較 → 有意に改善
iCBT-AI: ７週間の使⽤期間前後の⽐較
Ø Fitzpatrick, Kathleen Kara, Alison Darcy, and Molly Vierhile. "Delivering cogniBve behavior therapy to young adults with symptoms ofdepression and anxiety using a fully automated conversaBonal agent (Woebot): a randomized controlled trial." JMIR mental
health 4.2 (2017): e19.
Ø MIRAI, So., et al. Can ArBﬁcial Intelligence Heal Human Hearts? A randomized controlled trial on the eﬀects of internet cogniBve
behavioral therapy with arBﬁcial intelligence on depression (Japanese). 2016.

2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

6 / 21

先⾏研究の課題

⽬的

⽬標: ユーザの発話内容に合わせた応答の制御
課題: 毎回の対話内容を評価することが困難

抑うつ尺度の評点（点）Ø 抑うつ尺度では習慣的な⼼⾝の状態について尋ねる質問が含まれるため
抑うつ傾向の変遷のイメージ図
16

従来の評価

14

毎回の評価

12
10
86
4

従来：毎回の対話内容による抑うつ傾向の変遷が明らかでない．

20
1

（開始）

2

3

4

5

使回回数（回⽬）

6（終了）

本研究：CBTに基づいた対話を⾏い，対話内容の評価を試みる
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

7 / 21

提案⼿法

⽬的

実験設計1: 対話構成の基本となるシナリオを作成する
実験設計2: シナリオを対話エージェントに実装し，実験を⾏う
分析1: 否定的な感情の強さが軽減されていることを検証する
Ø 対話前後の変化の評価
Ø 主観的評価

検証する項目状況

教室で友人のAさんに声をかけたが，無視されてしまった．

感情

不安（９０％）

自動思考(頭をよぎった思考)

感情の変化

回答例

Aさんに嫌われてしまった．

根拠

何度か名前を読んだにもかかわらず，彼は返事をしなかった．

反証

彼は夢中で他の人と話していた．

適応的思考(再考の結果)感情の変化

他の人との会話に夢中で気付かなかったのだろう．

不安（４０％）

分析2: 対話中の表情特徴と抑うつ傾向の相関関係を分析する
Ø 対話中の表情を動画収録し，特徴量を抽出
Ø 毎回の対話による抑うつ傾向改善の可視化
Ø 客観的評価
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

8 / 21

構成要素

定型対話のシナリオ

l 全部で14ターンの定型対話が⾏われる．
l 精神科医師の監修のもと作成した．
問いかけの項目

応答内容

状況

あなたが辛いと思っていることを私に教えてください．

感情

そのとき，どんな気分になりましたか．

感情の強さ

その気分の強さを0から100で表すとどれくらいですか．

自動思考

なぜその状況だとそのような気分になるのかを知りたいです．そのできごとに直面した
際，どのような考えが頭に浮かびましたか？

根拠なるほど…そのような，ある出来事に直面した時に頭に思い浮かぶ考えのことを，自動思考と呼びます．自動思考は無意識に浮かんでくるものなので，ついあたかも真実であるかのように感じてしまうことがあります．あなたのその自動思考が正しいとしたら，その根拠はなんだと思いますか？教えてください．

反証なるほど，では，その根拠に対して別の見方はできるでしょうか．例えば，その自動思考に反する事実はありませんか．

反証（確認）

2020/06/12

その調子です．他にも思い浮かびますか？なければこれで全部と言ってください．

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

続く9 / 21

構成要素

定型対話のシナリオの概要

続き問いかけの項目

応答内容

ソクラテス問答1 これまで考えた自動思考の根拠と，それに反する事実からバランスの取れた考え方を検(思考の偏りに気付 討しましょう．そのための質問をいくつか行います．今回の状況で，考えうる最悪の結末はどのようなものですか．
くための質問)ソクラテス問答2

逆に，思い通りに行った場合の結末はどのようなものですか．

ソクラテス問答3

では，今の二つの予想から，一番現実的なシナリオを考えて，教えてください

適応的思考

その答えから，新しい思考を作り出してみましょう．今回の出来事に対して，どのように考え直すことができますか．

気遣いの言葉1

いいですね．今回話してくれた話題について，身の回りに頼れる人はいますか．

気遣いの言葉2なるほど，なんとかやっていけそうですか．

変化後の感情そうですか，誰かと相談すると気持ちが軽くなることもあります．私でよければいつでも話してください．さて，はじめに感じていた気分の強さはどのくらいに変わりました
か．0から100の数値で表してください．

セッション終了

もし始めと変わっていたら，うまく考えを整理できた証です．今日はこれで終了です．
お疲れ様でした．またいつでも声をかけてくださいね．

2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

10 / 21

対話様式

構成要素

２種類のインターフェイスに，同じ対話シナリオを実装する

l ECA: Embodied Conversational Agent

ECAとの対話画⾯(バーチャルエージェント）[Lee, et. al., 2013]

Ø ディスプレイ上の対⾯対話，⾳声⼊⼒Ø ECAとの対⾯対話により，⾃然な表情を引き出す．
テキストベースの対話の画⾯

l テキストベースの対話Ø ECAによるCBTの効果の影響の検証のため，対照群とする．
Lee, Akinobu, Keiichiro Oura, and Keiichi Tokuda. "MMDAgent—A fully open-source toolkit for voice interacBonsystems." 2013 IEEE InternaBonal Conference on AcousBcs, Speech and Signal Processing. IEEE, 2013.
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

11 / 21

実験参加者

実験設計
l 参加者の条件
Ø ⼤学⽣・⼤学院⽣

l 実験参加者：合計28名
Ø テキスト対話グループ：13名（男性：7名，⼥性：6名）

Ø ECAグループ：15名（男性：6名，⼥性：9名）

l 抑うつ尺度（実験前に回答）使⽤した質問紙：K6（最⼩0点 / 最⼤24点）
K6の平均（標準偏差）と t 値

抑うつ傾向の有意な偏りはみられなかった

l 実験前に奈良先端⼤の倫理委員会で承認された書⾯による同意を得た
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

12 / 21

実験設計

実験の流れ

使⽤したリーフレット

対話の回数は，各ユーザ 1回のみ

表紙

1. 抑うつ尺度（K6）に回答する
2. リーフレットを読み，CBTの概要を教⽰する- ( A4 / 両⾯ / 1枚 / 監修：⼤野裕）

3. 対話エージェントと対話する

実験の様⼦- PCの内部カメラで動画を収録する- 対話ターン数は合計14ターン- 話者交替のタイミングは実験参加者に委ねる[合計で1時間程度]

2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

13 / 21

提案⼿法

⽬的分析1: 否定的な感情の強さが軽減されていることを検証する
Ø 対話前後の変化の評価
Ø 主観的評価

検証する項目状況

教室で友人のAさんに声をかけたが，無視されてしまった．

感情

不安（９０％）

自動思考(頭をよぎった思考)

感情の変化

Aさんに嫌われてしまった．

根拠

何度か名前を読んだにもかかわらず，彼は返事をしなかった．

反証

彼は夢中で他の人と話していた．

適応的思考(再考の結果)感情の変化

2020/06/12

回答例

他の人との会話に夢中で気付かなかったのだろう．

不安（４０％）

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST14 / 21

結果
対話形式の違い

対話中の感情の強さの変化
感情の強さの交互作⽤図

l 分析⽅法Ø 否定的な[感情]の種類は問わず，⼀律に否定的感情として扱った．
Ø ⼆元配置の分散分析を⾏った.
l 結果
Ø 事前事後で感情の変化が⾒られた

Ø 実験グループの違いによる影響は⾒られなかった
l 本実験において，
Ø 定型質問の対話エージェントは否定的感情を軽減することができたØ テキスト対話とECAの両⽅で同様の傾向が得られた
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

15 / 21

提案⼿法

⽬的

実験設計1: 対話構成の基本となるシナリオを作成する
実験設計2: シナリオを対話システムに実装し，実験を⾏う
分析1: 否定的な感情の強さが軽減されていることを検証する
Ø 対話前後の変化の評価
Ø 主観的評価

検証する項目状況

教室で友人のAさんに声をかけたが，無視されてしまった．

感情不安（９０％）

自動思考(頭をよぎった思考)

感情の変化

回答例

Aさんに嫌われてしまった．

根拠

何度か名前を読んだにもかかわらず，彼は返事をしなかった．

反証

彼は夢中で他の人と話していた．

適応的思考(再考の結果)感情の変化

他の人との会話に夢中で気付かなかったのだろう．

不安（４０％）

分析2: 対話中の表情特徴と抑うつ傾向の相関関係を分析する
Ø 対話中の表情を動画収録し，特徴量を抽出
Ø 毎回の対話による抑うつ傾向改善の可視化
Ø 客観的評価
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

16 / 21

分析⽅法

表情の特徴抽出

表情特徴の分析l 顔の動きを外観から分類する理論 ”FACS” [Ekman et. al., 1997] に基づいて分析→ Action Units (AUs)という単位で動きを数値化する
l AUsの検出ツール“OpenFace” [Baltrusaitis et. al., 2016] を使⽤• 今回は，各AUを個別に分析した解析したAction Unitsの⼀覧AU number

AUの内容

AU number

AUの内容

1

眉の内側を上げる

14

えくぼを作る

2

眉の外側を上げる

15

唇両端を下げる

4

眉を下げる

17

顎を上げる

5

上瞼を上げる20

唇両端を横に引く

6

頬を持ち上げる23

唇を固く閉じる

7

瞼を緊張させる25

顎を下げずに唇を開く

9

鼻にしわを寄せる

26

顎を下げて唇を開く

10

上唇を上げる

28

唇を吸い込む12

唇両端を引上げる45

まばたくØ Ekman, Rosenberg. What the face reveals: Basic and applied studies of spontaneous expression using the Facial AcEon Coding System(FACS). Oxford University Press, USA, 1997.
Ø BaltrušaiEs, Tadas, Peter Robinson, and Louis-Philippe Morency. "Openface: an open source facial behavior analysis toolkit." 2016
IEEE Winter Conference on ApplicaEons of Computer Vision (WACV). IEEE, 2016.
17 / 212020©Kazuhiro Shidara AHC-Lab, IS, NAIST
2020/06/12

分析⽅法
表情特徴の分析

動画からのAUsの解析⽅法

l ECAグループの収録動画を⽤いる（n＝15）

l 対話前の抑うつ傾向と，思考の修正前の表情の関係を分析する．
Ø 思考の修正を⽬的とした質問の前の表情を分析する．
Ø 収録動画の中から，対話の開始後3ターン分を使⽤する
l 各AUの，出現率（観測時間中に表出した割合）を算出した．
Ø 出現率＝(各AUが出現したフレーム数) / (動画全体のフレーム数）＊AUの出現の有無は2値で評価，動画は30fps
１ターン⽬：状況

2ターン⽬：状況

3ターン⽬：⾃動思考

4ターン⽬：証拠ECA 参加者

ECA 参加者

ECA 参加者

ECA 参加者

開始•••

開始から3ターン分の動画を使⽤
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

18 / 21

結果
表情特徴の分析

表情と抑うつ傾向の関係

l ⽬的 : 抑うつ傾向と相関のある表情特徴の調査
l 分析⽅法：Ø 各AUの出現率と抑うつ尺度K6との相関関係の分析
Ø 分析にはピアソンの無相関検定を⽤いた

l 結果：
Ø AU14（ えくぼを作る）とK6の評点に負の相関関係が⾒られた
Ø 相関係数 : -0.54

AU14とK6の散布図(p < .05)

l 本実験において，
AU14が抑うつ傾向の推定に有効なことが⽰唆された．

2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

19 / 21

まとめと今後の予定
⽬的：CBTに基づいた対話を⾏い，対話内容の評価を試みる
1．認知再構成法の定型質問で，どの程度のCBT効果があるかØ 対話の前後で，否定的な感情の強度が減少した
Ø 実験グループの違いによる影響は⾒られなかった→ 定型質問を⾏う対話エージェントによる否定的感情の軽減を確認できた．

2．抑うつ傾向と関係のある表情特徴の分析
Ø K6の評点とAU14（えくぼを作る）の出現率に相関関係が⾒られた→ 抑うつ傾向の推定に有効な⾏動特徴の検出が可能なことが⽰唆された．

今後はより詳細な調査を⾏う
l 継続使⽤による調査
l ユーザ発話の韻律やテキストを⽤いた分析
2020/06/12

2020©Kazuhiro Shidara AHC-Lab, IS, NAIST

20 / 21