自動ソーシャルスキルトレーニングに向けた
仮想エージェントの設計
田中 宏季, 中村 哲
奈良先端科学技術大学院大学 (NAIST)
HAIシンポジウム2021

1

2021/3/10

TAPAS SUPPORTED BY ANR-CREST

研究の背景・目的
学校や職場における，社会的コミュニケーションが苦手な人・社交不安障害の増加（3-13%程度）
日常的な状況での，会話・パブリックスピーキングのエージェントによる言語/非言語対話的自動訓練システムによる解決を目指す◦ 対象者：一般人、自閉症（ASD: Autism Spectrum Disorder) 、統合失調症（Schizophrenia）、社交不安障害（SAD: Social Anxiety Disorder）
他人に悪い評価を受けることや◦ 行動面の訓練：ソーシャルスキルトレーニング（SST）を適用
注目をあびる行動への不安緊◦ 認知面の訓練：認知行動療法（CBT）を応用

張↓
赤面、こわばり、発汗、震え、動機、話せない、声が出ない、息苦しい、腹痛、尿意、ぎこちない行動

症状再現：予期不安

社交恐怖：回避行動

社交不安障害2TAPAS SUPPORTED BY ANR-CREST

2021/3/10

恥ずかしい研究の全体体制
Public speaking training
Teenagers, children with ASD

Situation & immersion
WP1
Theories of social interaction

Through human-agent interaction(Image: the verge)

No stress, high self-efficacy
Learn appropriate behaviors

Technical approachFranceVirtual agent platform

Nakamura G NAIST (WP2, WP3, WP4, WP5)
Satoshi Nakamura，Hiroki Tanaka, Seitaro
ShinagawaHirokazu Kato，Yuichiro Fujimoto
Iwasaka G Nara Med. Univ. (WP1, WP4,WP5)
Hidemi Iwasaka，Yasuhiro Matsuda, KosukeOkazaki

one to one one to multi-party VR/AR/Display

Japan

Agents integration, translation

Agent’s eye gaze, attitude (e.g. cooperative)(NAIST)

Speech recognition

WP3

Kudo G Osaka Univ. (WP1, WP4, WP5)
Takashi Kudo，Hiroyoshi Adachi
Yukako Sakagami

Language processing

Dialog modeling
Body movement(ISIR)

WP2

Multimodal behaviors (CNRS-LIMSI)

Cognitive
Behavioral
therapytraining(Nara Med. Univ.)(Osaka Univ.)
SST

WP5

qualitative

AttrakDiff questionnairequantitative Anxiety state inventory
Physiological responses

Culture difference

WP4

Gathering therapy data

Data collection
TAPAS SUPPORTED BY ANR-CREST

Pelachaud G （France CNRS-ISIR） (WP1, WP3,WP5)
Catherine Pelachaud
Donatella Simonetti

CBT(Image: psychology toolbox)

System improvement

New scenarios
3

WP4

Facial expression

Online measuring& feedback
Evaluation

Chat-based

MARTIN G (France CNRS-LIMSI） (WP1, WP2,WP5)
Jean-Claude MARTIN
Laurence BOLOT
Céline CLAVEL
2021/3/10

ソーシャルスキルトレーニング（SST）と認知行動療法
SSTシナリオ◦ べラックモデル◦ 自己紹介、インストラクション、モデリング、ロールプレイ、フィードバック、宿題

SST

その他課題

基本４課題
話す

パブリックスピーキング
聞く
会話の割り込み
依頼する
多人数会話
断る
一般人自閉スペクトラム・統合失調症
重症度

CBT
4

認知行動療法*TAPAS SUPPORTED BY ANR-CREST

2021/3/10

仮想エージェント構築
プラットフォーム: Greta Ogre3D
音声認識: Google ASR
音声合成: CereProc TTS、リップシンク
通信モジュール: Java ActiveMQ
キャラクター: 自作キャラクター（アニメとリアルを用意）

5

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

仮想エージェント構築 [Tanaka+2021]
奈良医大と共同で、SSTのシナリオに基づき構築
こんにちは。私はタパスといいます。あなたのお名前はなんですか？
こんにちは、〇〇さん。最近は元気でしたか？
そうでしたか、今日は話すスキルを一緒に学びます。どうして話すスキルは大事だと思いますか？
ありがとうございます。困難なことがあると、自分のことばかりに目がいきがちです。他の人や、良いことに目を向け、それを適切に伝えることによって、他人との連帯感を高めることができます。
…
では、実際にロールプレイをやってみましょう。
最近あった楽しかった話を１分間で私に伝えてください。
では、どうぞ。
はい、ここまでで大丈夫です。ありがとうございました。
結果を計算しますので、少々お待ちください。
では、フィードバックです。
…
今日学んだスキルを日常生活で使ってみてください。
ありがとうございました。また会いましょう。

6

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

本研究の問題設定
これまで欧州向けに開発されたエージェントから外見を変更
しかし、仮想エージェントの設計に関して、どのような仮想エージェントがより好まれるのか、より受け入れられるかの調査がなされていない
自動SST が、本人に適応して受け入れられるためには、相性などを考慮した詳細な調査が必要
人間およびロボットではなく、仮想エージェントの中での設計の比較◦ 色々な設計を試しやすいという側面

7

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

先行研究
外見と動作、リアリズム、タスクの深刻度

Esposito et al., 2019abRing et al., 2014

McDonnell et al., 20128

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

調査項目
自動ソーシャルスキルトレーナの設計において、
1. どの仮想エージェントの設計が、好ましく、受け入れられるかを調査
2. 好ましさと関連している要素を調査
3. 性別、年齢、自閉症傾向による好ましさの関係性を調査

9

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

使用した画像
イラスト一枚絵、アニメーション専門のデザイン会社に依頼し設計
Google音声合成を埋め込み「こんにちは、一緒にコミュニケーションの練習をしましょう」

10

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

使用した仮想エージェントの動画
Cereproc音声合成「こんにちは、一緒にコミュニケーションの練習をしましょう」
動作、リップシンクを生成

11

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

実験参加者
クラウドソーシングで収集
18歳以上の日本国籍を有する方
3回に分けてデータ収集◦ データ1) n=305（右図参照）◦ データ2) n=305◦ データ3) n=302

年齢に関して45歳を高低の基準(高年齢: n=84, 低年齢: n=221)

データ1の特性12

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

自閉症傾向（SRS）および失感情症（TAS）
データ1に対して収集、総合得点のみ考慮
両者に高い相関を確認 (ρ=0.67, p<0.001)

7060
5040

rho=0.67***

30

Toronto Alexithymia Scale(高SRS: n=113, 低SRS: n=192)

80

81点のカットオフ値をSRS の高低の基準とした

050

100

Social Responsiveness Scale

13TAPAS SUPPORTED BY ANR-CREST

2021/3/10150

質問項目
Googleフォームを使用して回答◦ トレーナとして受け入れることができる◦ 話の聞き手として受け入れることができる◦ リアルだ◦ 不気味だ◦ 信頼できる◦ 顔が好みだ◦ 目が好みだ◦ 声が好みだ◦ 年齢が好みだ◦ 服装が好みだ◦ 好みだ◦ 親しみやすい

5段階のリッカート尺度（1: 全くそう思わない、5: とてもそう思う）
14

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

統計解析
質問項目の評定値に正規性を確認することができなかった為（コルモゴロフ・スミルノフ検定p < 0.05）、仮想エージェント毎の違いに関して、クラスカル・ウォリス検定を使用
画像と動画で、好ましさと親しみやすさに関して、対応なしのウィルコクソンの符号順位検定を実施
質問項目間の関係性を見るため、スピアマンの相関係数を算出
性別、年齢、SRS の群間毎の分析では、仮想エージェント・質問項目の全組み合わせにて効果量rを算出し、rの上位3個の組み合わせを算出

15

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

画像に対しての評定 (1)
好ましさ、親しみやすさ、リアルさ（クラスカル・ウォリス検定, p<0.05）
リアルさが(b) < (a) < (g) の順番となっている、(b)が最も好まれる

Likable16(b)(c)(d) (e) (f)Character

(g)

(h)

(i)

43
2
1(a)

11223344

5

Realism

55

Familiarity(a) (b) (c) (d) (e) (f)Character

TAPAS SUPPORTED BY ANR-CREST(g) (h)(i)(a) (b) (c) (d) (e) (f)Character

2021/3/10(g) (h)(i)

画像に対しての評定 (2)(i)

54(a) (b) (c) (d) (e) (f)Character

(i)

(i)

(i)

(g) (h)

(i)

12

34

54
2
1(g) (h)(g) (h)Realism34
3
2
1(a) (b) (c) (d) (e) (f)Character(a) (b) (c) (d) (e) (f)Character

Eeriness

5Trustworthiness(g) (h)5(g) (h)1234123432
1(a) (b) (c) (d) (e) (f)Character

17

Familiarity

5Likable5

Acceptability as a Trainer(a) (b) (c) (d) (e) (f)Character(g) (h)(i)(a) (b) (c) (d) (e) (f)Character

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

動画に対しての評定動画にすることにより、好ましさは有意に変化しない (p > 0.05)(h) の仮想エージェントでは親しみやすが有意に向上 (p < 0.05)

(i)

543
12345Familiarity

2(h)

(h)

(i)(h)(i)Trustworthiness

Eeriness

Realism(i)
Character

4123432112345Character

5Character

5Character

(h)

18

Likable112345

Acceptability as a Trainer

(h)

(i)
Character(h)(i)
Character

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

質問項目間の相関行列
顔と好ましさに高い相関（ρ=0.78, p < 0.05）
トレーナとして受け入れられるかと、聞き手として受け入れられるかについても高い相関（ρ =0.80, p < 0.05)
声の好ましさと他の質問項目に関しては、低めの相関

19

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

効果量の高い仮想エージェント・質問項目の組み合わせ

20

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

SRSの高低とキャラクター(g) の好ましさの関係

21

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

考察
仮想エージェントの設計◦ (b) は、元々10 代女性のアニメらしい絵として設計されたもの。日本人がこの様なアニメ動画の視聴に慣れていることもあると考えられ、親しみやすさも高い値を示している可能性

好ましさと関連している質問項目◦ 質問項目間で有意な相関を確認◦ トレーナとしての役割と聞き手としての役割で、継続したインタラクティブな対話をしていないことから差を確認することができなかったが、今後明示的に仮想エージェントの役割を与えた際の調査も必要となってくると考えられる

性別、年齢、自閉症傾向による関係性◦ (g)、(b) の女性仮想エージェントを男性の方がより好むと評定◦ (i) の仮想エージェントを高い年齢群の方で好む、子どもでの影響の必要性◦ 自閉症傾向が高い群は、(g)、(h) などの仮想エージェントに対して高い評定。この点については、今後、自閉スペクトラム症の顔の要素の認識特性など調べる必要性

22

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

まとめ
自動SSTの設計にあたって、仮想エージェントの受け入れやすさ、好ましさなど種々の尺度に関して調査
仮想エージェントの画像と動画を用意し、固定されたシナリオを用意
結果として、女性のアニメ型の仮想エージェントが最も好まれることを確認
性別、年齢、自閉症傾向に関係して有意に差のある仮想エージェントと質問項目の関係性を調査

今後の予定◦ リアリズムのみについて統制した際の影響を調査◦ インタラクティブな対話システムに組み込んだ際に、口調、声、対話戦略などが受け入れやすさに及ぼす影響について調査◦ 日本人以外での文化差などを考慮

23

TAPAS SUPPORTED BY ANR-CREST

2021/3/10

24

TAPAS SUPPORTED BY ANR-CREST

2021/3/10