ソーシャルスキルトレーニングに基づく会話訓練システムの研究し、自閉スペクトラム症をはじめとして、会話訓練するためのシステムを構築していくことが目標である。
実際に精神科医が行う訓練のデータを収集しながら、訓練効果、対人間と対仮想エージェントの違いなどについてこれまで調査してきた。また、これまでの研究結果を踏まえ、本稿では新たに、（1）話を聞くスキルへの拡張、（2）適切なフィードバックの提示方法および社会的自己効力感、（3）受け入れやすい仮想エージ

田中 宏季 (Hiroki Tanaka Ph. D.)

ェントの設計、について新たに調査した結果について

奈良先端科学技術大学院大学 情報科学研究領域助教報告する。以下にその背景、方法、結果について述べ(Assistant Professor, Division of Information Science, Nara
Institute of Science and Technology, Japan)

る。

電子情報通信学会 SST 普及協会 他
受賞：電子情報通信学会 ヒューマンコミュニケーショングループ HC 賞
(2017 年). SST 普及協会 第 20 回学術集会 ベストプレゼンテーション賞 ( 2015 年). NAIST 最優秀学生賞 (2015 年). 他
研究専門分野：コミュニケーション支援, 自閉スペクトラム症, マルチモー
ダルインタラクション

2．研究の背景
自閉スペクトラム症（精神障害の診断と統計マニュア
ルより）は神経発達症の一つであり、脳機能の異常がこれまでに報告されている。2012 年の Centers for

あらましDisease Control and Prevention の調査では、68 人

これまでに我々は、仮想エージェントを用いた社会的に 1 人の罹患率となっている。自閉スペクトラム症のコミュニケーション訓練技術を構築し、その影響を調特徴として、対人コミュニケーションを苦手とするこ査してきた。この研究は、奈良先端大と奈良県立医大とが挙げられる。また実際には自閉スペクトラム症のの共同研究により実施されている。我々は、はじめに診断がなくとも、社会的な他者とのコミュニケーショ「自動ソーシャルスキルトレーナ」と名付け、精神科ンを苦手としている人は多数存在する。いずれの場合医が行うソーシャルスキルトレーニングを仮想エージもなるべく早く症状を発見し、心理社会的理論（心のェントで代替するためのシステムを構築した。そして、悩みに働きかけて脳の不調を回復するための療法）に平成３０年度 SCAT 研究助成の対象として採用してい基づいたソーシャルスキルトレーニング（SST）などで、ただき、研究を加速させることができた。本稿では、対人コミュニケーションの障害を早期に訓練すること新たに、（1）ソーシャルスキルの拡張としての話を聞が重要とされている。しかしながら、これらの訓練をくスキルへの展開、（2）仮想エージェントによるフィ受けるためには医師の診断の上、高い専門知識を有すードバックの提示方法および社会的自己効力感についるトレーナーからの指導が必要となり、実際に早くかての調査、（3）受け入れやすい仮想エージェントの設ら訓練を受けることのできる人は限られる。また、SST計、について取り組んだ結果を報告する。我々は、精を専門に実施することのできるトレーナーの数は不足

神科医が行う医学的訓練の過程を対話システムでどのしている。SST は、図 1 に示すように課題設定、目標程度実現できるかについての問いに挑戦している。今設定、モデリング、ロールプレイ、フィードバック（正後もこの研究を進めていくに当たって、将来の展望やの強化）、宿題から基本モデルが構成されている [1]。

方向性についても述べる。

我々は、これまで対話システムを用いて SST の訓練を自動化する方法を研究してきた。表情、音声、言語などを処理し、自動的に SST を行う仮想エージェント

1. 研究の目的
本研究では、精神科医が行う医学的訓練の過程を対システム「自動ソーシャルスキルトレーナー（自動話システムでどの程度実現できるかについて明らかにSST）」を開発し、自閉スペクトラム児童・青年に使っていただいた。ここで、10 名の自閉スペクトラム症者
1

TELECOM FRONTIER No.113 2021 AUTUMN

ソーシャルスキルトレーニングに基づく会話訓練システムの研究（年齢 7-19 歳，男性）が研究に実験参加者として参加在しており、特に自閉スペクトラム症への訓練は、コした。実験の過程としては、まず初めに、実験参加者

ミュニケーション支援を対話システムで置き換える研が面識のない大人 1 名に向かって話を行う様子を、PC究として注目されている [4,5]。我々の研究では、行の内蔵カメラにより収録した。その後、自動ソーシャ動特徴の測定のみならず、対話を用いながら医学的なルスキルトレーナーを使用し、訓練を進めた。最後に、SST の方法論に基づいて訓練することに独自性を有し初めと同様に面識のない人に向かって話を伝える様子ている。

を動画収録した。収録した動画に対しての臨床心理士
1 名による主観評価を行なった。話を伝えるスキルに3．話を聞くスキルへの拡張

関して、全ての実験参加者で事前と事後でスキルが不我々は、SST の課題拡張を狙いとし、話をするスキ変、もしくは向上している (不変 2 名、向上 8 名)ことルから、話を聞くスキルに焦点を当てた。話を聞くスを確認した。事前と事後の評価値において t 検定によキルに関しては、27 名の大学院生 (女性 6 名、男性 21り有意となった。これにより、話を伝えるスキルにお名, 年齢平均 25.1 歳 (SD: 2.13))が実験参加者としいて自閉スペクトラム症者での訓練の有効性を示した。て参加した。仮想エージェントが話している時の、実本研究では、世界で初めて自閉スペクトラム症の人々

験協力者の聞いている様子を収録し、臨床心理士 2 名に自動 SST を適用した [2]。また、緊張感、話しやすによる動画主観評価を行なった。収録の際、眼球運動さ、うまく話せる能力の観点から、人間と人間のイン計測装置により協力者の注視領域を記録した。また自タラクションと、人間と仮想エージェントのインタラ

閉症傾向 Social Responsiveness Scale と個性尺度クションを比較し、仮想エージェントとのインタラク

Ten Item Personality Inventory の取得も行った。

ションがより実験参加者の緊張感を減少させ、見知ら話を聞くスキルに関しては、うなずきの回数およびぬ他者との対話と比較して上手に話すことができるこ

発話の回数を合計した値と、聞くスキルの評価値に相とを示唆した [3]。

関係数 0.59 の関係性が見られた。また重回帰による聞くスキルの線形推定モデルを作成し、26 名でのモデル学習および 1 名の予測における交差検証を行い、実測値と予測値において相関係数 0.38 で予測が可能であることを示した。これにより、話を聞くスキルに関して調査を進め、仮想エージェントとの対話からの自動評価の可能性を示した [6]。これにより、精神科医が行うスキル群に沿った訓練が可能になった。

図１：SST の基本訓練モデル
一方国際的に見ると、近年は深層学習分野の発展もあり、自閉スペクトラム症で特異な行動特徴などは音声 の Interspeech,
International

マ ル チ モ ー ダ ル の ACM

Conferenceon

MultimodalInteraction (ICMI)、医工連携の IEEE Engineering in
Medicine and Biology Society（EMBS）など国際会議でコンペティションを含め多数の研究が出てきている。
また、仮想エージェントを利用した訓練のツールは存

2

TELECOM FRONTIER No.113 2021 AUTUMN

ソーシャルスキルトレーニングに基づく会話訓練システムの研究

4．適切なフィードバックの提示方法および社会的自関して調査を行った。仮想エージェントの画像と動画

己効力感を用意し、固定された SST のシナリオに対して、合計これまでの仮想エージェントを拡張するため、対話プ

912 名の日本人クラウドワーカーが評価を試みた。結ラットフォーム Greta を用いてエージェントの再構築果として、女性のアニメ型の仮想エージェント（図 3を行ない、精神科医が行っている SST プロセスに従うの(b),(i)）が有意に受け入れられることがわかった。

「自動ソーシャルスキルトレーナー+」を新たに構築した（図２）。

図３：仮想エージェントの設計
また参加者の性別、年齢、自閉症傾向に関係して有意
図２：自動 SSTに差のある仮想エージェントと質問項目の関係性も調査した。これらの知見は、個人に適応した仮想エージ

2 種類のフィードバックを実装し、その影響を調査しェントの設計で重要だと考えられる [8]。

た：1）画面表示されたフィードバックと、2）以前のトレーニングの結果に基づくフィードバック。

6．将来展望開発したシステムを実験的にユーザが使用して、自信

本稿では、仮想エージェントを用いた SST に基づくにつながる社会的自己効力感、フィードバック評価、会話訓練システムについてまとめた。今後もこのシストレーニング前後の精神科医による評価、を計測しそテムを改良・発展させていく予定である。これまで、の有効性を確認した。結果として、画面表示されたフ仮想エージェントと自閉スペクトラム症との信頼関係ィードバックと、人間が話す様な口頭でのフィードバやラポール構築といった様な、ユーザが安心し信頼しックに関して、その好みに有意な差はみられなかったながら、中長期的に訓練を成立させる方法についてはが、傾向としては画面表示されたフィードバックがよ検討されてこなかった。ラポールは、訓練を成功させり好ましいという結果を得た。加えて、以前のトレーるための重要な要素であり、精神科医が行う訓練でもニングの結果に基づくフィードバック提示が、それがラポールの形成が前提で進んでいる。よって、この要無いものよりも有意に好ましいと判定された。またシ素を加えた際の自動 SST における訓練効果の影響をステムを使用する前後で、社会的自己効力感尺度およ調査することは今後の課題である。また、長期的な訓び精神科医によるスキル評価が、有意に向上すること

練の効果判定方法、個人の訓練段階、自閉症傾向などが確認された [7]。これらの知見はよりシステムを詳に合わせた訓練方法を構築していくことが必要である。

細に作り込み、根拠を見出していくという点で重要で我々は、研究活動のみならず、これまでに iOS アプリあると考える。

として「自動 SST」を公開するなど、訓練システムを実際に医療現場、家庭でユーザに使ってもらう取り組5．受け入れやすい仮想エージェントの設計みも行なっている。今後も、研究活動およびシステム

自動 SST の設計にあたって、 仮想エージェントの種改良を進めていき、根拠をもちながらユーザに提供し類による受け入れやすさ、好ましさなど種々の尺度にていくことを目指している。
3

TELECOM FRONTIER No.113 2021 AUTUMN

ソーシャルスキルトレーニングに基づく会話訓練システムの研究

参考文献[1] Alan S. Bellack, Kim T. Mueser, Susan Gingerich, and

この研究は、平成２９年度ＳＣＡＴ研究助成の対象とJulie Agresta: Social Skills Training for Schizophrenia,

して採用され、平成３０～令和２年度に実施されたもSecond Edition: A Step-byte Guide. Guilfordのです。

Publications, 2013.
[2] Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka,Satoshi Nakamura, Embodied Conversational Agentsfor Multimodal Automated Social Skills Training inPeople with Autism Spectrum Disorders, PloS One,vol.12(8), pp.1-15, Aug. 2017.
[3] Hiroki Tanaka, Sakriani Sakti, Graham Neubig,
Tomoki Toda, Hideki Negoro, Hidemi Iwasaka,
Satoshi Nakamura, Teaching Social Communication
Skills through Human-Agent Interaction, ACM
Transactions on Interactive Intelligent Systems,vol.6(2), pp.1-26, 2016.
[4] Mohammed (Ehsan) Hoque, Matthieu Courgeon, JeanClaude Martin, Bilge Mutlu, and Rosalind W. Picard.
MACH: my automated conversation coach. ACM
international joint conference on Pervasive andubiquitous computing, pp.697–706, 2013.
[5] Mathieu Chollet, Pranav Ghate, Catherine Neubauer,
and Stefan Scherer, Influence of Individual Differences
when Training Public Speaking with Virtual Audiences,
Intelligent Virtual Agents, pp.1-7, 2018.
[6] Hiroki Tanaka, Hidemi Iwasaka, Hideki Negoro,
Satoshi Nakamura, Analysis of Conversational
Listening Skills toward Agent-based Social Skills
Training, Journal on Multimodal User Interfaces,volume 14, issue 1, pp.73-82, 2020.
[7] Hiroki Tanaka, Hidemi Iwasaka, Yasuhiro Matsuda,Kosuke Okazaki, Satoshi Nakamura, Analyzing SelfEfficacy and Summary Feedback in Automated SocialSkills Training, IEEE Open Journal of Engineering inMedicine and Biology, vol.2, pp.65-70, 2021.
[8] Hiroki Tanaka, Satoshi Nakamura, Virtual Agent
Design for Social Skills Training Considering AutisticTraits, 42nd Annual International Conference of theIEEE Engineering in Medicine and Biology Society(EMBC), Oct. 2021.
4TELECOM FRONTIER No.113 2021 AUTUMN