仮想エージェントの心の理論の程度・
ソーシャルスキルトレーニングがユーザの信頼性に与える影響
田中 宏季、佐賀 健志、○岩内 厚大、中村 哲
奈良先端科学技術大学院大学
ヒューマン情報処理研究会（ HIP ）1

2022/7/8

TAPAS SUPPORTED BY ANR-CRESTソーシャルスキルトレーニング (SST)
社会的インタラクションにおけるルール・コツを学習し実践「体系的」に自分・他者のコミュニケーションを知る

SSTの様⼦、収集したデータ
22022©HIROKI TANAKA AHC-LAB, IS, NAIST

児童のSST [Iwasaka et al., 2010]
2022/7/8

精神科医師のSSTに基づいたシステム構築
2020.9からSSTデータ収集 [Saga+2021]

2*Kinect
2*Face1*wholeコロナ対策のパーティション

3

TAPAS SUPPORTED BY ANR-CREST

データ分析と行動測定
データ収集参加者:
成人: 統合失調症者 (N=16),自閉スペクトラム症者 (N=15), 健常者 (N=21)
小児: 自閉スペクトラム症児 (N=16), 健常児 (N=17) [Saga+2022]
4課題: 気持ちを伝える (TELL), 耳を傾ける (LISTEN), 依頼する (ASK), 断る (DECLINE)
第三者トレーナによるスキル評価: 7項目を1から5段階で評価 [SST普及協会 改訂版ロールプレイ尺度に基づく]
Prediction results indicating correlation coefficientfor third party evaluation scores

機械学習
マルチモーダル特徴（Praat: F0, Intensity,
Openface:Action Units,Openpose:Gesture,BERT based sequential similarity）
4

1-5の値を予測

LABEL

ASK

DECLINETELL

LISTENEye contact

0.04

0.53

0.16

0.48

Body direct. and dist.

0.16

0.14

0.33

0.30

Facial expression

0.29

0.440.63

0.33

Voice variation

0.36

0.42

0.44

0.31

Clarity

0.42

0.44

0.16

0.07

Fluency

0.17

0.36

0.19

0.36

Social Appropriateness

0.48

0.50

0.27

0.18

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

SSTシステム
ロールプレイ（RP）

行動測定

フィードバック（FB）
スコア

5

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

デモ動画

6

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

SSTにおけるエージェントの受容性・信頼性
受容性と見た目のリアリズムの関係調査

7

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

本研究の提案
仮想エージェントの設計に関して, 見た目についての評価は実施
しかし, どのような仮想エージェントの機能, SSTの内容が信頼性に影響を及ぼすかの調査は十分になされていない本研究では仮想エージェントの信頼性に影響を及ぼす一要因として, 心の理論に焦点

8

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

心の理論
Theory of Mind（ToM）：他者の感情や思考, 意図などの心的状態に対する推定, および他者は自己と異なる心的状態が存在していることを理解すること

心の理論の誤信念課題を失敗するケース

画像： http://ure.pia.co.jp/articles/-/280028
9

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

心の理論とエージェント
ロボットが心の理論をどの程度有しているかをユーザが知覚することで, ユーザのロボットに対する信頼性が変化することを報告 [Mou+2021]
具体的に, ロボットの誤信念課題に対する対話シナリオの動画をユーザが視聴した際, 心の理論の程度に応じてその後のロボットの推薦をユーザが信じるかが変化することを確認

10

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

本実験の調査項目
本実験では, 構築したSSTシステムを使用し, 以下の3点の調査項目を明らかにすることを目指す

調査項目１： 仮想エージェントの心の理論の程度がトレーナとしての受容性, 信頼性へ及ぼす影響
調査項目２： 仮想エージェントの心の理論の程度がトレーニング後のトレーナとしての受容性, 信頼性へ及ぼす影響
調査項目３： SSTがトレーナとしての受容性, 信頼性へ及ぼす影響

11

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

実験参加者と質問セット
本研究は奈良先端科学技術大学院大学の倫理承認を得て実施
本研究では, 22から35歳の29名のデータを収集
実験は奈良先端科学技術大学院大学にて対面にて実施

実験参加者を, エージェントの心の理論の程度に応じて人数が同比率になる様に, ランダムに群分け

受容性, 信頼性, 親しみやすさ, 好ましさの主観評価を取得 [Tanaka+2022]
仮想エージェントに対し, それぞれの質問項目を5段階のリッカート尺度（1: 全くそう思わない, 5: とてもそう思う）にて評価

12

TAPAS SUPPORTED BY ANR-CREST2022/7/8

心の理論の程度（Low-level ToM）

13

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

心の理論の程度（High-level ToM）

14

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

実験の流れ受容性・信頼性

1. Appearance

2. ToM video

受容性・信頼性

3. SST RP and FB

挨拶
2条件
A. High-level ToM
B. Low-level ToM
15

TAPAS SUPPORTED BY ANR-CREST

受容性・信頼性

2022/7/8

統計解析
3段階における群間およびトレーニング前後で統計的に比較

項目3

調査項目１： 質問回答の等分散性と正規性（コルモゴロフ・スミルノフ検定）を確認した後, 心の理論

項目2の程度に関してToM video段階での群間比較を, 対応のないt検定
調査項目２： 心の理論の程度がトレーニング後の評価に影響を及ぼすかについて, ToM video段階とSST段階で, 分散分析による交互作用の有無を調査
調査項目３： Appearance段階とSST段階で, 対応のある片側t検定

項目1

有意水準は全て5%
16

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

結果: 受容性
ToMの程度がトレーナとしての受容性へ影響を及ぼす, SSTにより受容性は変化なし, 交互作用なし            

17TAPAS SUPPORTED BY ANR-CREST

2022/7/8

結果: 信頼性
ToMの程度がトレーナとしての信頼性へ影響を及ぼす, SSTにより信頼性が向上 (Cohen’s d = 0.43),交互作用なし         18TAPAS SUPPORTED BY ANR-CREST

2022/7/8

結論
今回の実験では, 新たに構築したSSTシステムを使用し, 以下の3点の調査項目を明らかにすることを目指した
1) ToMの程度がトレーナとしての受容性, 信頼性へ及ぼす影響, 2) ToMの程度がトレーニング後のトレーナとしての受容性, 信頼性へ及ぼす影響, 3) SSTにより受容性, 信頼性が向上するか
実験結果として, 調査項目1および3の信頼性は確認されたが, 調査項目2である心の理論の程度がトレーニング後の信頼性に及ぼす影響がないとされた。これは, SSTと心の理論のビデオが実験参加者にとっては独立したものと知覚された可能性
SSTを行なっている際の仮想エージェントに心の理論の機能を組み込むなど, 心の理論の程度がSSTに及ぼす影響を調べる直接的な実験設計の工夫が必要
今後は, SSTシステムの各モジュールの改良, また事前にゲームをするなど, その他の信頼性を高め関係づくりをしていくためのSST設計が必要
SSTに心の理論の訓練を組み込む視点も重要

19

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

参考文献
W. Mou, M. Ruocco, D. Zanatto and A. Cangelosi, "When Would You Trust a Robot? A Study on Trust and Theory of Mind in
Human-Robot Interactions," 2020 29th IEEE International Conference on Robot and Human Interactive Communication (ROMAN), 2020, pp. 956-962, doi: 10.1109/RO-MAN47096.2020.9223551.
Hiroki Tanaka, Satoshi Nakamura, The Acceptability of Virtual Characters as Social Skills Trainers: Usability Study, JMIR
Human Factors, 9(1), 2022.
Hiroki Tanaka, Hidemi Iwasaka, Yasuhiro Matsuda, Kosuke Okazaki, Satoshi Nakamura, Analyzing Self-Efficacy and Summary
Feedback in Automated Social Skills Training, IEEE Open Journal of Engineering in Medicine and Biology, vol.2, pp.65-70, 2021.
Takeshi Saga, Hiroki Tanaka, Yasuhiro Matsuda, Tsubasa Morimoto, Mitsuhiro Uratani, Kosuke Okazaki, Yuichiro Fujimoto,
Satoshi Nakamura, Analysis of Feedback Contents and Estimation of Subjective Scores in Social Skills Training, 44th Annual
International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), July 2022.

20

TAPAS SUPPORTED BY ANR-CREST

2022/7/8

参考資料

21TAPAS SUPPORTED BY ANR-CREST2022/7/8

SSTの基本訓練モデルと自動化の試み[Bellack, A. S. 2004] [Tanaka+2017&2021]

222022©HIROKI TANAKA AHC-LAB, IS, NAIST

2022/7/8

キャラクターの違いによる信頼性

4

5

Trustworthiness

I

3H

1

2

Cohen’s d = 0.37

H

I
Character

23

TAPAS SUPPORTED BY ANR-CREST

2022/7/8