TAPAS: 仮想エージェントに基づく個人に合わせたソー
シャルスキルの訓練システムの研究開発(2019.10-2025.3)
代 表者： 中村 哲
〇 中村哲，田中 宏季，加藤 博一，藤本 雄一郎，品川 政太朗（奈良先端科学技術大学院大学）〇 岩坂 英巳＊，松田 康裕，岡﨑 康輔，宮﨑 義博，金山 好美，石田 理緒，浦谷 光裕，
盛本 翼，澤井 創，竹田 奨 （奈良県立医科大学，＊ハートランドしぎさん）〇 工藤 喬，足立 浩祥，阪上 由香子（大阪大学）〇 Catherine Pelachaud, Donatella Simonetti (CNRS -ISIR, France)〇 Jean -Claude Martin, Laurence Bolot , Céline Clavel (CNRS-LIMSI, France)

12021/2/19

TAPAS SUPPORTED BY, ANR-CREST

研究の背景・目的
学校や職場における，社会的コミュニケーションが苦手な人・社交不安障害の増加（3-13%程度）日常的な状況での，会話・パブリックスピーキングのエージェントによる言語/非言語対話的自動訓練システムによる解決を目指す◦ 対象者：一般人、自閉症（ASD: Autism Spectrum Disorder) 、統合失調症（Schizophrenia）◦ 行動面の訓練：ソーシャルスキルトレーニング（SST）を適用◦ 認知面の訓練：認知行動療法（CBT）を応用

他人に悪い評価を受けることや注目をあびる行動への不安
緊張↓
赤面、こわばり、発汗、震え、
動悸、声が出ない、息苦しい、腹痛、尿意、ぎこちない行動
症状再現：予期不安

社交恐怖：回避行動

社交不安障害2

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

恥ずかしい組織体制

3

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

研究の構成Public speaking trainingNakamura G NAIST (WP2, WP3, WP4, WP5)
Satoshi Nakamura，Hiroki Tanaka, SeitaroShinagawa
Hirokazu Kato，Yuichiro Fujimoto

Situation & immersion
Teenagers, children with ASD

WP1Theories of social interaction

Through human-agent interaction(Image: the verge)

No stress, high self-efficacy
Learn appropriate behaviors

Technical approach

one to one one to multi-party VR/AR/Display

FranceJapan(NAIST)

Agents integration, translation

Virtual agent platform

Agent’s eye gaze, attitude (e.g. cooperative)

Speech recognition

WP3

Kudo G Osaka Univ. (WP1, WP4, WP5)
Takashi Kudo，Hiroyoshi Adachi
Yukako Sakagami

Language processing

Dialog modeling
Body movement

Chat-based(ISIR)

WP4

Facial expression

Online measuring& feedback

WP2

Multimodal behaviors (CNRS-LIMSI)

Evaluation

Cognitive
therapy

Behavioral
training(Nara Med. Univ.)(Osaka Univ.)
SSTCBT

WP5

qualitative

AttrakDiff questionnaire
Anxiety state inventory
quantitative
Physiological responses

Culture difference

WP4(Image: psychology toolbox)

Gathering therapy data

System improvement

New scenarios
Data collection
4

Iwasaka G Nara Med. Univ. (WP1, WP4,WP5)
Hidemi Iwasaka，Yasuhiro Matsuda, Kosuke
Okazaki

SATOSHI NAKAMURA, AHC, NAIST & RIKEN AIP

Pelachaud G （France CNRS-ISIR） (WP3)
Catherine Pelachaud
Donatella Simonetti
MARTIN G (France CNRS-LIMSI） (WP1, WP2,WP5)
Jean-Claude MARTIN
Laurence BOLOT
Céline CLAVEL

理論的枠組み奈良医大グループとで構築
SSTシナリオ◦ べラックモデル◦ 自己紹介、インストラクション、モデリング、ロールプレイ、フィードバック、宿題◦ 課題：話す、聞く、依頼する、断る、会話の割り込み

大阪大学グループとで構築
CBTシナリオ◦ アーロンベックのモデル◦ 認知再構成法、コラム法

基本的には、上記シナリオが土台カウンセラーが行う様に、仮想エージェントが動的に対話・動作変化
52020©HIROKI TANAKA AHC-LAB, IS, NAIST

2021/2/19

SST課題と対象者
SST

その他課題

SSTの基本４課題
話すパブリックスピーキング
聞く
会話の割り込み
依頼する
多人数会話断る
一般人

自閉スペクトラム・統合失調症

重症度CBT

認知行動療法**CBTは重症度にかかわらず、認知の修正に共通して有効

6

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

人間の行うSST
行動を訓練するための手法として医学的に確立
インストラクショナルなコンセプトの上に成り立った行動療法

流れ：状況設定-> モデリング->ロールプレイ->フィードバック->宿題
1クールの期間：1回1時間程度×10回

参加者

7

トレーナ

SATOSHI NAKAMURA, AHC, NAIST & RIKEN AIP

システムからの想定指導• 言葉の内容：一貫性、因果性、論理性、難易度• 言語随伴的な特徴：発声速度、明瞭性、発音、流暢性、めりはり、声の大きさ• 非言語的行動：聴衆への注意、表情、体の向き、視線、ジェスチャー

SSTのデータ収集
対照群（n=21）、自閉スペクトラム (n=16)、統合失調症（n=15）
アノテーション作業中、精神科医の対話・動作モデルの構築

2台キネクト2台表情用カメラ
1台全体カメラコロナ対策で、アクリル版で仕切
8

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

対人応答性の推定
対人応答性尺度（SRS2 65質問）の予測モデルの構築 [佐賀ら 2020]
BERTによる文間類似度や音声画像特徴を入力とした線形回帰モデルを構築（n=27）

9

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

仮想エージェントプラットフォーム
プラットフォーム: Greta Ogre3D
音声認識: Google ASR

音声合成: CereProc TTS、リップシンク
通信モジュール: Java ActiveMQ
キャラクター: 自作キャラクター（アニメ型とリアル型を用意）

10

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

Details
Thrift: connect to Greta Unity 3D
Greta Unity 3D• Lower body movement• Implement to Hololens

Speech recognition
Connection11TAPAS SUPPORTED BY ANR-CREST

2021/2/19

対話システム（シナリオベース）
奈良医大と共同で、SSTのシナリオに基づき構築 [Tanaka et al., under review]
こんにちは。私はタパスといいます。あなたのお名前はなんですか？
こんにちは、〇〇さん。最近は元気でしたか？
そうでしたか、今日は話すスキルを一緒に学びます。どうして話すスキルは大事だと思いますか？
ありがとうございます。困難なことがあると、自分のことばかりに目がいきがちです。他の人や、良いことに目を向け、それを適切に伝えることによって、他人との連帯感を高めることができます。
…
では、実際にロールプレイをやってみましょう。
最近あった楽しかった話を１分間で私に伝えてください。
では、どうぞ。
はい、ここまでで大丈夫です。ありがとうございました。
結果を計算しますので、少々お待ちください。
では、フィードバックです。
…
今日学んだスキルを日常生活で使ってみてください。
ありがとうございました。また会いましょう。

12

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

再掲：WP1: 理論的枠組み
分担研究グループと共同で構築
SSTシナリオ◦ べラックモデル◦ 自己紹介、インストラクション、モデリング、ロールプレイ、フィードバック、宿題◦ 課題：話す、聞く、依頼する、断る、会話の割り込み

CBTシナリオ◦ アーロンベックのモデル◦ 認知再構成法、コラム法

基本的には、上記シナリオが土台カウンセラーが行う様に、仮想エージェントが動的に対話・動作変化

132020©HIROKI TANAKA AHC-LAB, IS, NAIST

2021/2/19

人間の行うCBT
認知行動療法（CBT: Cognitive Behavior Therapy)◦ スキーマ（認知の傾向，信念）を変化させるための手法として医学的に確立◦ インストラクショナルなコンセプトによる精神療法◦ 種類：認知再構成法，行動活性化，状況分析，問題解決，漸進的弛緩法，アサーション，スキーマ修正

思考記録表（コラム）

システムからの指導

状況

プレゼンテーションで声が小さすぎる、論
状況のブレイクダウン
理的でないと同僚に指摘された。

気分

がっかり（８０点）、悲しい（９０点）

自動思考

感情の叙述を引き出す

私はやっぱり人前で話すのは無理なん
認知傾向を引き出すだ。この仕事に向いていない。

根拠

普段から私の声は小さい、即座に論理的に説明できない。

反証

声が小さくてもプレゼンが上手な人はい反証を誘導するためのる。しっかりと準備をすれば論理的に説情報を与える
明ができる。

適応的思考

声が小さくても、上手にプレゼンができる。
適応的思考を引き出す
次は、準備をして本番に臨もうと思う。

根拠を引き出す本研究では，認知再構成法をベースとする◦ 極小な情報のみに依存したスキーマを変化させる◦ 情報を与える◦ 認知再構成法の流れ：
状況設定->気分->自動思考->根拠->反証->適応的思考->気分の変化->課題分析（宿題）◦ 1クールの期間：30分以上（通常は4-50分）×16回

気分の変化 がっかり（２０点）、やる気（８０点）

14

SATOSHI NAKAMURA, AHC, NAIST & RIKEN AIP

気分の変化を認識させる

CBTのデータ [Beck and Beck, DVD]

15

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBTの基本対話
大阪大学と共同で、CBTのシナリオに基づき構築

16

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBTのデータ収集
仮想エージェント
◦ 思考記録表に基づいたシナリオで質問を行う◦ 対面での音声対話
実験参加者◦ 23名の大学生と大学院生

17

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

認知行動療法による改善効果の評価
バーチャルエージェントとの対話は，ユーザの気分を有意に改善* [Shidara et al., 2020]*否定的な気分（不安、悲しい、など）が減少

状況

100

Mood Score [%]気分スコアは平均35％減少

気分(0％〜100%)
⾃動思考●[どのような考えが頭に浮かびましたか︖]
証拠50[その考えを裏付ける事実はありますか︖]
●

気分の変化

25

beginning

endTurn18

不安（80%）[どのような気分ですか︖]

75

0

友⼈に送ったメールの返信がこない．

[どのようなことが起こりましたか?]

TAPAS SUPPORTED BY ANR-CREST

反証[反対の事実はありますか︖]

嫌われてしまった．
昨⽇送ったのにまだメールが返ってこない．
その友達は近頃忙しそうにしている．

適応的思考

彼はメールの着信を⾒落としているか，[しなやかに考えると︖]

忙しくて対応できていないのだろう．

気分の変化[気分は変わりましたか︖]

不安（30％）

2021/2/19

CBT中の気分の変化の自動認識
仮想エージェントとのCBT中における表情（アクションユニット：AU）の分析 [設樂ら 2020]
AU5（目を見開く）がCBT中の気分の変化と相関

19

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

VR/AR拡張
頭部装着型ディスプレイの使用を想定したプレゼンテーションVR環境の基礎構築 [Zhou et al., 2020]
環境内にて、カメラやデプスセンサにより取得した、あるいいは事前に作成した３次元の身体各部動作を入力することで、実時間で動作する仮想エージェント、アバターの制御システムを構築

20

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

WP5: 評価
各種検査
◦ 対人応答性尺度（SRS2）◦ K6◦ QIDS◦ トロントアレキサイミア尺度◦ 自己効力感◦ ADOS◦ Emotion Discrimination task

脳波からの感情測定・感情誘導 [Miyamoto et al., 2021]
社会感情的刺激視聴中の眼球運動計測

3ヶ月程度の中長期的評価（2021年度実施予定）
21

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

研究の全体計画
研究項目

2019
(6ヶ月)

2020

2021

2022

2023

１．WP1: Theoretical framework

・Theory of social psychology（ISIR, CNRS-LIMSIｸﾞﾙｰﾌﾟ）・SST modeling（奈良医大ｸﾞﾙｰﾌﾟ）・CBT modeling（阪大ｸﾞﾙｰﾌﾟ）
２．WP2: Analysis of user’s behavior
・Speech and image processing（NAISTｸﾞﾙｰﾌﾟ）・Feedback and measuring stress（CNRS-LIMSIｸﾞﾙｰﾌﾟ）
３．WP3: Virtual agent platform

・・Multimodal behaviors（ISIRｸﾞﾙｰﾌﾟ）
PC display and virtual reality（ISIR, NAISTｸﾞﾙｰﾌﾟ）

４．WP4: Dialog and pedagogical feedback
・Dialog modeling（NAISTｸﾞﾙｰﾌﾟ）・SST data collection（奈良医大ｸﾞﾙｰﾌﾟ）・CBT data collection（阪大ｸﾞﾙｰﾌﾟ）
5. WP:5 Evaluation
・Experiment and validation（全ｸﾞﾙｰﾌﾟ）・Scenarios（全ｸﾞﾙｰﾌﾟ）

22

TAPAS SUPPORTED BY ANR-CREST

2021/2/192024まとめ目標：日常的な状況での，会話・パブリックスピーキングのエージェントによる言語/非言語対話的自動訓練システム構築◦ 対象者：一般人、自閉症（ASD: Autism Spectrum Disorder) 、統合失調症（Schizophrenia）◦ ECA (Embodied Conversational Agent)の研究開発◦ 行動面の訓練：ソーシャルスキルトレーニング（SST）を適用◦ 認知面の訓練：認知行動療法（CBT）を応用◦ 対話型システム◦ トレーニング： システムがトレーニング対話を主導するSST,CBT◦ パブリックスピーキング： パブリックスピーキングにおけるオンライン，オフラインのフィードバックによるトレーニング◦ 日常生活：雑談対話の中で，SST,CBTを行い，毎日の継続的な観察とトレーニング◦ 実験と評価◦ 3か月の評価，評価尺度の検討（対人応答性尺度（SRS2），QIDS, ADOS,K6など）
23

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

Appendix

24

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

25

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

Appendix

26TAPAS SUPPORTED BY ANR-CREST

2021/2/19

ICMI workshop (SAMIH)
https://sites.google.com/view/wsamih/home

27

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

SSTの課題群
基本４課題
話す

断る

聞く

依頼する

多人数会話

会話の割り込み

交渉

就職面接

その他課題

パブリックスピーキン
グ

28

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

システムの詳細

音声認識結果通信

29

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

システムのブロック図
スキルの改善効果、キャラクターの好み、および効果的なフィードバックの調査

30

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

サマリーフィードバック
画面表示と口頭のフィードバックを構築

大きくする

31

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBTの対話理論: 出来事に対しての事実
EVENT
Fact 132TAPAS SUPPORTED BY ANR-CREST

2021/2/19

情報群と記憶EVENT
Fact 1
Fact 2
Fact 3
Fact 4Memories

33

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

認知の傾向EVENT
Fact 1THOUGHTS(Cognition)

Fact 2
Fact 3
Fact 4Memories

34

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

気分
EVENT
Fact 1THOUGHTS(Cognition)

FEELINGS

Fact 2
Fact 3
Fact 4Memories

35

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

極少化した事実
EVENT
Fact 1
Fact 2
Fact 3
Fact 4Memories

36

TAPAS SUPPORTED BY ANR-CREST

2021/2/19認知の歪みEVENT
Fact 1Unhelpful
THOUGHTS

Fact 2Fact 3
Fact 4Memories

37

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

気分EVENT
Fact 1Unhelpful
THOUGHTS

Aberrant
FEELINGS

Fact 2
Fact 3
Fact 4Memories

38

TAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBT: 事実を与え、気づかせる
EVENT
Fact 1Unhelpful
THOUGHTS

Aberrant
FEELINGS

Fact 2Fact 3
Fact 4Memories

39

CBTTAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBT: 事実を与え、気づかせる
EVENT
Fact 1Unhelpful
THOUGHTS

Aberrant
FEELINGS

Fact 2Fact 3
Fact 4Memories

40

CBTTAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBT: 事実を与え、気づかせる
EVENT
Fact 1Unhelpful
THOUGHTS

Aberrant
FEELINGS

Fact 2Fact 3
Fact 4Memories

41

CBTTAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBT: 事実を与え、気づかせる
EVENT
Fact 1Unhelpful
THOUGHTS

Aberrant
FEELINGS

Fact 2
Fact 3
Fact 4Memories

42

CBT
TAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBT: 事実を与え、気づかせる
EVENT
Fact 1
Fact 2Morerealistic &balanced
THOUGHTS

Aberrant
FEELINGS

Fact 3Fact 4Memories

43

CBTTAPAS SUPPORTED BY ANR-CREST

2021/2/19

CBT: 事実を与え、気づかせるEVENT
Fact 1
Fact 2Morerealistic &balanced
THOUGHTS

Calm
FEELINGS

Fact 3
Fact 4
Memories

44

CBTTAPAS SUPPORTED BY ANR-CREST

2021/2/19