社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

ソーシャルスキルトレーニングの自動化
田中 宏季†

サクリアニサクティ†

グラムニュービッグ†

岩坂 英巳††

中村戸田智基†根來 秀樹††

哲†† 奈良先端科学技術大学院大学 情報科学研究科 〒 630–0101 奈良県生駒市高山町 8916–5†† 奈良教育大学 特別支援教育研究センター 〒 565–0456 奈良県奈良市高畑町
E-mail: †{hiroki-tan,ssakti,neubig,tomoki,s-nakamura}@is.naist.jp, ††{gorosan,hiwasaka}@nara-edu.ac.jp
あらましソーシャルスキルトレーニングは自閉症等のコミュニケーション障害を有する人々の社会的な不安を減らし、適切なスキルを身につけるトレーニング手法として確立されている．我々は，「自動ソーシャルスキルトレーナ」と題して，ソーシャルスキルトレーニングの過程を人間とコンピュータのインタラクションによって自動化する研究を進めている．システムは，音声および言語情報を認識し，ユーザにフィードバックを行う．システムの設計は，従来のソーシャルスキルトレーニングの枠組みに沿っており，課題設定，モデリング，ロールプレイ，フィードバック，正の強化，宿題を含んでいる．システムとユーザが対話を行う評価実験によって，ソーシャルスキルと音声言語情報および自閉症傾向との関連性が確認された．また異なる評価実験により，50 分間システムを使用するトレーニングを行った際，有意にソーシャルスキルの改善が見られた．
キーワード ソーシャルスキルトレーニング（SST），行動検出，対話システム，対話エージェント，コンピュータ・ベース・トレーニング

Automating Social Skills Training
Hiroki TANAKA† , Sakriani SAKTI† , Graham NEUBIG† , Tomoki TODA† , Hideki NEGORO†† ,Hidemi IWASAKA†† , and Satoshi NAKAMURA†† Department of Information Science, Nara Institute of Science and Technology Takayama-cho 8916–5,Ikoma-shi, Nara, 630–0101 Japan†† Center for Special Needs Education, Nara University of Education Takabatake-cho, Nara-shi, Nara,630–8528 Japan
E-mail: †{hiroki-tan,ssakti,neubig,tomoki,s-nakamura}@is.naist.jp, ††{gorosan,hiwasaka}@nara-edu.ac.jp
Abstract Social skills training is a well-established method to decrease human anxiety and discomfort in social
interaction, and get appropriate skills. In this paper, we attempt to automate the process of social skills training
by developing a dialogue system named ”automated social skills trainer,” which provides the social skills training
through human-computer interaction. The system includes a virtual avatar that recognizes user speech and language
information and gives feedback to users to improve their social skills. Its design is based on conventional individual
social skills training performed by human participants including defining target skills, modeling, role-play, feedback,reinforcement, and homework. Experiments measuring the relationship between social skill and speech and language
features shows that these features have a relationship with autistic traits. Additional experiments measuring theeﬀect of performing social skills training with the proposed application show participants significantly improve theirskill by using the system for 50 minutes.
Key words Social skills training (SST); behavior detection; dialogue system; embodied conversational avatar;computer-based training.

—1—1. ま え が き
多くの人々が面接やプレゼンテーションなどの社会的インタラクションに対して不安や困難を抱えている．社会的インタラ
クションを苦手とする例として自閉スペクトラム症（ASD）は特に顕著である [1]．ソーシャルスキルトレーニング（SST）とは認知行動療法の一種であり，ASD をもつ人のみではなく，幅広く社会的インタラクションを苦手としている人々に適用されている [2]．しかしながら，SST を行うには高度なスキルを持つトレーナが要求され，結果として訓練されたトレーナによる

図 1 自動ソーシャルスキルトレーナによる SST．

SST を受ける機会が少ないことが課題である．
SST の全体もしくは一部分を自動化することができると，希•モデリング: 参加者がインタラクションを行う前に，ト望者がいつでもどこでも、SST を受けることができると考えら

レーナがモデルとして対象行動の見本を示す．参加者はそれをれる．加えて，コンピュータを利用することは，社会的インタ観察することによって，対象のスキルについてどのように行動

ラクションに困難を抱える人にとって，人間と直接関わるよりすれば良いのかを学習する．例としては，トレーナが適切な言も不安が少ないというメリットがある [3]．これまでに，面接の語および非言語情報を使用して上手に話をする見本を見せるこ

スキルトレーニングを自動化した研究が存在し，その有効性がとなどが挙げられる．

示されている [6]．この研究では，1) 現実的な状況において実•

ロールプレイ: 参加者が課題のロールプレイを行う．例

ユーザのスキルトレーニングを目指した，2) 改善すべき行動

えば参加者がトレーナに向かって，経験を話すロールプレイをについて視覚的にフィードバックを行った，3) システム自身が行う．その際，トレーナは参加者のスキルを主観的に観察する．

ユーザの発話や行動を認識し，フィードバックや頷きを行った，多くの場合，声の大きさ，表情，視線などに着目する．ロールと報告されている．しかしながら，従来の SST の枠組みにはプレイは SST の重要な要素である．

従っておらず，SST の各過程が省略されている [5]．

•フィードバック: ロールプレイの後にトレーナは参加者

我々はコンピュータを用いた従来の SST を模倣した「自動にフィードバックを行う．集団 SST だとトレーナ以外にも他のソーシャルスキルトレーナ」を提案する（図 1）．提案システム

参加者からフィードバックをもらうこともある．フィードバッ

は人間の行動のビデオモデリング，リアルタイム行動認識およクは参加者が自身の強みと弱みを知るのに有用だと言える．例

びフィードバックを含んでいる．実験により，提案システムがえば，トレーナは参加者に，適切な声の大きさでとても良い話社会的インタラクションに困難を抱える人にとって，ソーシャでした，と伝える．

ルスキルの学習に有効かどうかを調査する．

•正の強化: フィードバックの際，トレーナは参加者に正2. 従来のソーシャルスキルトレーニングの強化を与える必要がある．ASD などの発達障害をもつ人々はSST とは元々，統合失調症の患者が対人不安を減らす目的でということは重要である．

開発されたトレーニング法である [9]．SST は通常複数のセッ

社会的インタラクションに対する自信が少ないため，
「ほめる」

•

宿題: トレーナは参加者に対して，学んだスキルを実環ションにまたがって行われ，１つのセッションでは１つのスキ境で使うことを宿題として与える．例えば，今日学んだスキルルに焦点を当ててトレーニングを行う．また，SST には個別で友達や親に話を伝えてください，と宿題を出す．宿題の確認

SST（1 対 1）および集団 SST（1 対複数または複数対複数）とは次回のセッションのはじめに行われることが一般的である．

いう 2 種類がある．個別 SST のメリットとしては，集団と比これらの過程によって，SST は適切なソーシャルスキルを獲較して，よりリラックスした環境で行うことができ，参加者の得するのに有用なプログラムとなる．しかしながら，トレーナニーズに合わせた課題設定ができるという点がある．のロールプレイに負うところが多く，よく訓練されたトレーナ

SST は，課題設定，モデリング，ロールプレイ，フィードバッが必要となる．現状では，よく訓練されたトレーナが少なく，ク，正の強化，宿題により構成される．それぞれの説明を以下問題となっている．SST のトレーナは不足しており，結果としにまとめる．

•

課題設定: 社会的インタラクションにおいて必要となる課題を設定する．課題を決めるために，トレーナと参加者がボて SST を受ける人々の数に制限があり，申し込みもより競争的になっている．

トムアップ式で話し合う場合と，トレーナが決定する場合があ

3. 自動ソーシャルスキルトレーナ

る．課題が決まると，それに伴うゴールがトレーナによって設

本節では，個別 SST の枠組みに従った自動ソーシャルスキル定される．この過程において，関連する本を読み全体的な課題トレーナの概要について述べる．我々は自動ソーシャルスキルの理解を深めるということも行われる．課題の例としては，プトレーナを音声対話システムを用いて実現する．個別 SST のレゼンテーション，ナラティブ，自己紹介，要求の断り方，な

欠点の１つとして，他の参加者をモデルとすることができないどが挙げられる．

—2—

という点が挙げられるが，我々は他者のビデオモデリングを代替案として提案する．提案手法における SST の枠組みを以下で述べる．

•

課題設定: 本研究では１つの課題に焦点を当て，実装が比較的容易であるナラティブ（ストーリーテリング）を設定する（注 1）．ナラティブはプレゼンテーションや面接などの際に役立つスキルである [4]．またナラティブ課題は ASD 児と定型発達児を特定することにも役立つことが知られている [8]．課題のゴールとしては，システムが「このアプリケーションは，上手にお話する練習をするものです．トレーニングをした後には，他の人に自分の体験を伝えるのがもっと楽しくなります」と伝える．

•

モデリング: ユーザがモデリングを選択すると，ユーザは収録されたビデオモデルを見ることができる．モデルになる

図 2 自動ソーシャルスキルトレーナの枠組み．

人物は，他者と比較して良いナラティブのスキルがある人物としている．ユーザは動画を視聴し，それを見本とする．

•ロールプレイ: システムの技術的な部分は主にロールプ用する言語は日本語であり，データ収集および実験での参加者は全て日本人である．

レイに用いられている．ロールプレイはユーザとアバターとの4. 1 対話エージェントインタラクションによって行われる．インタラクションは 1 分

自動ソーシャルスキルトレーナは音声認識，対話制御，音声間行われ，ユーザはシステムに向かって「最近あった印象的な出合成および行動生成を行う MMDAgent（注 2） を用いる．ユーザ来事」を伝える．アバターはユーザの発話に対して頷き，言語がより実環境への汎化をし易いように，実際の人間に近いキャ特徴量および音声の韻律特徴量を抽出する．本研究では，ASDラクターをエージェントとして選択した．エージェントの背景児と定型発達児で差が生じた以下の特徴量を抽出する： F0 のには障害になる物などがないようにしている．ユーザは音声の変動係数，パワー，声質，ポーズ，1 分間の単語数（WPM），みでアバターとインタラクションしていくことが可能である．

6 文字以上の単語の割合，フィラーの割合．

加えて，アバターはユーザの興味を持続させるために人間ら

フィードバック: ロールプレイが終わると，システムはしい振る舞いをする．アバターは 3 秒毎にまばたきを行い，ま抽出した特徴量に従って要約したフィードバックを表示する．

たユーザの発話を認識した数秒後，頷きの動作を行う．これら

フィードバックは，コメント，ユーザのビデオ，モデルとの対の行動は MikuMikuDance（注 3） で作成した．

•比，総合スコアという 4 つの項目を含む．これによりユーザは

4. 2 センシングと解析客観的に自身の強みと弱みを確認することができる．

言語に関連する特徴量を計算するため，Julius（注 4）ディクテー

正の強化: フィードバックは単純にスコアを出すだけでションキットによる音声認識を使用した．日本語の品詞解析にはなく，インタラクションで良かった点およびそのコメントをは，Mecab（注 5） を使用した．音声に関連する特徴量に関しては，提示する．

Snack sound toolkit（注 6） を用いて抽出した．

•

宿題: システムはユーザに「まわりの人にお話を伝えて特徴量の詳細について以下にまとめる：1) F0 の変動係数：みてください．それで，どうだったか教えてくださいね」と伝100Hz 以上の F0 に関する変動係数を抽出した．個人差や性別える．本研究では，複数セッションの SST を実施していないがあるため F0 に関しての最大値，最小値，平均値などの統計ため，宿題の確認に関しては今後の研究となる．

量の抽出は行わなかった，2) パワー：パワー値の平均を抽出し•提案システムは従来の SST を，上記を組み込んだ音声対話システムで模倣する．

4. システムの詳細

た，3) 声質：スペクトル傾斜について，第一倍音と第三フォルマントの差の特徴量を抽出した，4) ポーズ：アバターの発話終了からユーザの発話開始までの時間を抽出した，5) WPM：ユーザが 1 分間発話をするため，その間の単語数を抽出した，自動ソーシャルスキルトレーナは Windows ベースのノート

6) 6 文字以上の単語割合：全発話から 6 文字以上の単語を使用

PC で動作する．システムはロールプレイ中にユーザの言語としていた割合を抽出した，7) フィラーの割合：Mecab の出力音声を認識し，相槌の生成，フィードバックの生成を行う．図 2

により，「えー」や「ああ」などのフィラーの割合を抽出した．に示す通り，本研究で技術的な軸となるロールプレイ，フィードバックに関しては以下の 3 つの要素から成り立つ：行動生成，センシングと解析，要約フィードバック．なお，システムで使（注 2）：http://www.mmdagent.jp/（注 3）：http://www.geocities.jp/higuchuu4/（注 4）：http://julius.sourceforge.jp/index.php（注 1）：本来であれば，課題設定はボトムアップ式で決定すべきであるが，これ（注 5）：https://code.google.com/p/mecab/に関しては今後の研究で取り扱うこととする．

（注 6）：http://www.speech.kth.se/snack—3—

図 3 自動ソーシャルスキルトレーナによる要約フィードバック．

4. 3 要約フィードバック

関係があるか？

抽出した特長量により，ユーザのナラティブスキルに関して

2) ナラティブにおいて，ユーザが人間に向かって話すフィードバックを行う（図 3）．要約フィードバックは以下のも（Human-human interaction: HHI）のと，コンピュータに向のを含んでいる．

かって話す（Human-computer interaction: HCI）のでは違い•

ユーザの動画: ユーザは録画された自身の動画と音声をがあるか？

視聴することができる．これにより，提案システムにおいて現

3) ナラティブスキルは自閉的傾向と関連があるか？

段階で自動抽出されていない発話内容，表情，姿勢などの情報

4) 抽出した特徴量はナラティブスキルを予測するのに有を確認することができる．

•効か？

総合スコア: システムは予測した総合スコアを表示する．

本実験の結果は，自動ソーシャルスキルトレーナにおけるモ

これはユーザがより高得点を目指す動機付けとなる．総合スコ

デルデータの選定と，要約フィードバックの生成に利用された．

アは 0 から 100 の間の値で，特徴量から重回帰モデルで予測

5. 1 手 続 きする．

我々は 19 名の大学院生（男性 16 名，女性 3 名）を募集して•

F0 の変動: ユーザは自身のピッチの変動を視覚的に確実験を行った．全被験者はシステムを使用し，ウェブカメラと認することができる．同時に，どのくらいの頻度で発話していヘッドセットにより動画と音声をそれぞれ収録した．我々は，るかも確認できる．

HCI のみならず，HHI のデータも収録した．HHI においては•モデルとの比較: Z 値によって，現在のナラティブによ第一著者が被験者の発話を聞き，頷くという設定で収録した．

り抽出された特徴量が，モデルの平均的な値と，どの程度ずれ

全被験者は収録後，自閉症スペクトラム指数（AQ）（注 7）の質ているのかを表示する．ユーザはモデルを模倣してナラティブ問に回答した．我々は，AQ の下位項目である社会性とコミュを行うように指示される．

ニケーションについてスコアの総和を算出した．

•良かった点: ユーザの動機付けとなるように，システム次に，評価者を選定し，被験者のナラティブスキルについては正のコメントを生成する．コメントはモデルと最も近い値の評価を行った．評価者には高いソーシャルスキルが要求される特徴量を元に生成される．と予想されることから，事前に AQ を測定し，ソーシャルスキ•改善点: 次回のロールプレイの為に，システムは改善点ルの高い 2 名（男性と女性）を選定した．2 名の評価者は，実を提示する．改善点はモデルと最も離れた値の特徴量を元に生験の参加者について知らないものとする．評価者は，HHI お成される．

よび HCI のナラティブの動画を見て，[6] に基づく質問（注 8） に•スクリーンショット: ユーザはボタンをクリックするこ答えた．質問は以下にまとめており，全体的なナラティブスキとによって，フィードバック画面のスクリーンショットを撮る

ル，関連要因，および音声言語情報について尋ねる項目で構成ことができる．これは時間的な改善を見る為に有効である．

されている．1（良くない，適切でない，小さい（低い））から

5. 実験 1：モデルの選定
自動ソーシャルスキルトレーナの有効性を確認するため，我々

7（良い，適切，大きい（高い））までの範囲で評価される．
Q1. 全体的なスキル
Q2. 集中は 2 つの実験を行った．実験 1 においては，以下の質問について調査した．

1) ナラティブスキルは，音声，言語，および他の要因と（注 7）：http://www.autism-communication.com/ hiroki-tan/AQsub.html（注 8）：https://docs.google.com/forms/d/1AQRc1sAQQooEt7zY89H7aJ

QzKFf8zqGH4u-nCCVwnGs/viewform?c=0&w=1&usp=mail form link—4—

図 5 HHI と HCI に対する全体的なスキルの評価値．エラーバーは
図 4 質問毎のピアソンの r 値．色により相関の強さを表している．

標準誤差を表している．

Q3. 友好Q4. 魅力Q5. 発話頻度
Q6. フィラーの使用
Q7. イントネーション
Q8. 声質Q9. パワー
Q10. 簡単な語彙の使用
5. 2 一 致 率
2 名の評価者が計 10 問の質問に回答した．我々は，それぞれの評価者に対して，対象被験者の評価値が全体評価の平均以上であるかどうかを 2 クラスに分類した．Cohen のカッパ係数を2 名の評価者のクラス分類した結果に対して算出したところ，0.58 となった．
5. 3 質問毎の関係性
図 4 は質問毎の相関行列を表している．Q.6 に関してはナラ
ティブスキルと逆の関係にあることから，値を反転させて表示

図6

モデルとモデル以外の被験者における AQ 下位項目の範囲．0 は高いソーシャルコミュニケーションスキル，20 は低いソーシャルコミュニケーションスキルを表している．

している．これより言語および音声に関しての質問が，全体的なスキルと相関関係にあることがわかる．集中しているかどて，モデル以外の被験者では AQ の中央値が 13 となった．こうかは，全体的なスキルに影響しないことも確認できる．またれは AQ のスコアとナラティブスキルが強く関係していること

Q.5 を除く音声と言語に関する質問は互いに相関関係にあるこを示している．とがわかる．

5. 4 人間とコンピュータのインタラクションの違い

5. 6 回帰モデル
我々は，モデルとモデル以外の被験者において有意な差があ

2 名の評価者の HHI と HCI の平均値を図 5 に示す．これよる特徴量を Student の t 検定により分析した．結果として，パり HHI と HCI で評価に差があり，HHI の方が多少高い値を示

ワー，WPM，6 文字以上の単語割合について有意差が見られしている．しかしながら，Student の t 検定によっては有意差た (p < .05)．よって我々はこれらの特徴量を用いて，全体的なが確認されなかった（p > .05）．これより，全体的なスキルにスコアを予測する重回帰モデルを作成した．回帰モデルによる関しては，実際の人間によるインタラクションと，アバターと予測値と実際の観測値との相関係数は 0.51（p < .05）となっのインタラクションでは，差が小さいことがわかる．

た．回帰モデルはフィードバックの総合スコアに組み込まれた．

5. 5 モデルの選定と自閉的傾向我々は，評価値から上位 5 名を選びモデルとした．図 6 に示
す通り，モデルの被験者では AQ の中央値が 1 であるのに対し

6. 実験 2：ソーシャルスキルトレーニング
実験 2 において，自動ソーシャルスキルトレーナはナラティ—5—ブスキルを改善するのにどの程度有効か調査を行った．

6. 1 手 続 き
30 名の大学院生（男性 22 名，女性 8 名）を被験者として募集した．提案システムを使用し，全被験者に対し，ウェブカメラとヘッドセットにより動画と音声をそれぞれ収録した．被験者は 3 グループ：本（the reading book）グループ, ビデオ（thevideo modeling）グループ, フィードバック（the feedback）グループに分けられた．本グループはコントロール群であり，SSTのナラティブスキルに関する 2 冊の読書をトレーニングとして行うグループである．ビデオとフィードバックは自動ソーシャ
ルスキルトレーナを使用するグループであり，フィードバックがモデリング，ロールプレイ，フィードバックを受けるのに対して，ビデオはモデリングのみを視聴する．全被験者は，エージェントにナラティブを伝える（Pre），50 分間のトレーニン
グを受ける，エージェントにナラティブを伝える（Post），の

図 7 各トレーニンググループのスコア改善．エラーバーは標準誤差を表している（*: p < .05）．

流れを行う．
実験 1 と同様の評価者 2 名が全体的なスキルを評価した．評
価者は被験者を知らないものとする．また偏りを失くすため，被験者および Pre と Post を評価する順番をランダムとした．我々は 2 名の評価者の平均値を算出し，スコア改善（P ost − P re）を算出した．
トレーニンググループについて差の分析は ANOVA を用いて行った．多重比較については，Bonferroni の方法 [7] によって計算した．

6. 2 一 致 率
実験 1 と同様の手順で 2 名の評価者の一致率が算出した．
カッパ係数は 0.64 となり，良く一致していることが確認できる．また一致率は実験 1 とほぼ同じ値であることもわかる．

6. 3 トレーニングの効果
図 7 はそれぞれのトレーニンググループにおけるスコア改善のグラフである．ANOVA により，トレーニンググループに関して有意差が生じることがわかった（F[2,25]=4.67, p < .05）．
多重比較により，フィードバックグループが本グループに比べて有意にスコアが改善していることがわかった（p < .05）．ビデオグループとその他のグループについては有意差が確認されなかった（p > .05）．

7. ま と め
我々は対話システムによって従来の SST を模倣する「自動ソーシャルスキルトレーナ」を開発した．自動ソーシャルスキ
ルトレーナは課題設定，モデリング，ロールプレイ，フィードバック，正の強化，宿題を含んでいる．本研究では，課題設定の一例としてナラティブスキルを選択した．我々は 2 つの実験を通して，ナラティブスキルと音声言語情報および自閉的傾向との関連性を確認した．また，HCI でのシステムを使用したトレーニングにより，コントロール群より有意にナラティブスキルが改善することを確認した．

やすい量かどうかも検討が必要である．また，実際の SST のデータから課題設定のニーズを探っていくことも必要である．

8. 謝

辞

本研究は，JSPS 科研費 26540117，および奈良先端科学技術大学院大学支援財団の助成を受けて行われたものである．
文

献[1] American Psychiatric Association. Diagnostic and statistical manual of mental disorders (5th ed.). Washington, DC,
2013.
[2] Bauminger, N. The facilitation of social-emotional understanding and social interaction in high-functioning children
with autism: Intervention outcomes. J. Autism and Developmental Disorders 32, 283–298, 2002.
[3] Bishop, J. The Internet for educating individuals with socialimpairments. J. of Computer Assisted Learning 19, 546–556, 2003.
[4] Davis, M., Dautenhahn, K., Nehaniv, C., Powell, S. Towards an Interactive System Facilitating Therapeutic Narrative Elicitation. Proc. 3rd Conf. on NILE, 2004.
[5] Essau, C. A., Olaya, B., Sasagawa, S., Pithia, J., Bray, D.,
Ollendick, T. H. Integrating video-feedback and cognitive
preparation, social skills training and behavioural activation in a cognitive behavioural therapy in the treatment ofchildhood anxiety. J. Aﬀect Disorders 167, 261-267, 2014.
[6] Hoque, E., Courgeon, M., Mutlu, B., Martin, C., PicardW. MACH: my automated conversation coach. Proc. 15thConf. on UbiComp, 697-706, 2013.
[7] Olive, D., Multiple Comparisons Among Means, J. theAmerican Statistical Association, 1961
[8] Tanaka, H., Sakriani, S., Neubig, G., Toda, T., Nakamura,
S. Linguistic and Acoustic Features for Automatic Identification of Autism Spectrum Disorders in Children’s Narrative. ACL2014 Workshop on Computational Linguistics
and Clinical Psychology, 88-96, 2014.
[9] Wallace, C. J., Nelson, C. J., Liberman, R. P., Aitchison,R. A., Lukoﬀ, D., Elder, J. P., Ferris, C. A review and critique of social skills training with schizophrenic patients.
Schizophr Bull 6, 42-63, 1980.

今後は，より長い期間でのトレーニング効果，宿題を含めた複数のセッションでの実施，人ベースの SST との比較を進めていく予定である．フィードバックする特徴量が被験者にわかり—6—