言語処理学会 第25回年次大会 発表論文集 (2019年3月)

社会的コミュニケーション支援を目指した
ソーシャルスキルトレーニングの自動化
田中 宏季 1
1

岩坂 英巳 2

根來 秀樹 3

中村 哲 1奈良先端科学技術大学院大学
2
ハートランドしぎさん
3
奈良教育大学

hiroki-tan@is.naist.jp

はじめに

1

設定、モデリング、ロールプレイ、フィードバック、正の強化、宿題、を含んでいる。この流れにより、安心し自閉スペクトラム症（Autism Spectrum Disorders,た環境の中で社会的コミュニケーションのコツ（ルー以下 ASD）とは、脳の機能障害が主たる原因となっル）を獲得、自己効力感を向上、日常生活など実環境て起こる神経発達症である [1]。ASD の代表的な特徴へ汎化、することを目指す。

としては、社会的コミュニケーション領域における認知、行動面に独特な点が生じることである。我々は、観測が可能である点から、認知・行動に着目した社会2.1.1

的コミュニケーションの評価方法、支援方法の研究を進めている。

課題スキルの設定

ベラック方式は、社会的コミュニケーションにおける基本的な 4 つのスキルとして、うれしい気持ちを伝これまでに、社会的コミュニケーションを苦手としえる、相手の言う事に耳を傾ける、不快な気持ちを伝ている人は、物・機械など非社会的な事柄への興味がえる、頼み事をする、を提案している [2]。その他の高く、理解能力が優れていることが、明らかとなってスキルとしては、例えば、質問をして会話を続ける、いる [3]。この特性を活用し、コンピュータエージェほめる、などがある。

ントやバーチャルリアリティにより、不安の少ない社会状況の機会を提供する研究が存在する [6, 5, 11, 8]。
我々は、これらの研究を発展し、医療識者が行うソー2.1.2

シャルスキルトレーニング（SST） [2] を自動化する試みを進めている。

ロールプレイとフィードバック

SST は、参加者のロールプレイ、および医療識者のフィードバック、を通してスキルのコツを獲得してい本稿では、医療識者が行う SST の説明とその自動く。医療識者がロールプレイ中のどの項目を見るか、化、人に話を伝えるスキル・人の話を聞くスキルを SST

フィードバックとして伝えるかに関しては、経験的もの課題とした研究について報告する。

しくは医学・心理学的根拠に基づいて決定される [12]。
フィードバックする項目は少ない方が、人間の認知負

2

SST の説明と自動化

2.1

医療識者が行う SST荷を軽減するという研究 [7] もあるため、項目が多くなり過ぎないよう、直感的にもわかりやすいよう、注意をする必要がある。

SST とは心理社会的療法であり、ロバート・リバーマンによって提案され、現在までに確立された手法である。その訓練効果に関しては、レビュー報告がなされている [9, 13]。SST には幾つかの拡張、発展があるが、基本的なパッケージとしてベラック方式（ステップ方式）が用いられている [2]。これは、課題のスキル

2.2

SST の自動化

我々は、社会的コミュニケーションが困難である児・成人を対象に「自動 SST」1 と題して、SST の過程の一― 1213 ―1 iPad 用アプリ名：自動 SST

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図 1: コンピュータエージェントによる自動 SST部を人間とコンピュータエージェントの対話によって自動化する研究を提案した。これは全体的に SST の枠組みに従っているという点が、これまでの研究より発展している点である。自動 SST により、どこにいても SST の基本部分を受けることが可能になる。システムは、音声・言語・画像情報を認識し、ユーザに即時のフィードバックを行う。システムの設計は、従来のベラック方式の枠組みに沿っている。図 1、2 にインタラクションの様子およびフィードバックの様子を示す。

図 2: フィードバックの画面。ユーザの動画（左上）、正のコメント（左下）、修正のコメント（左下）、重回帰モデルによる予測値（右上）、モデルとの違い（右下）。
が面識のない大人 1 名に向かって話を伝える様子を、カメラにより撮影した。その後、自動 SST を使用し、訓練を進めた。ここで、フィードバック項目は、下を向く回数、笑顔の回数、難しい語彙、言葉の数、声の大きさ、とした。最後に、初めと同様に面識のない人に向かって話を伝える様子を収録した。収録した動画をランダムに並べ替え、臨床心理士 1 名による評価（1（最も悪い）to 7（最も良い））を付与した。

2.3

対話に対する不安度

我々はこれまでに、面識のある人、面識のない人、3.2

エージェントに対して、大学院生 15 名が話を伝えている様子を収録した。その後、大学院生に不安度に関して 7 段階尺度で質問し、回答を得た。結果として、面識のない人に対する対話が有意に不安度が高く、面識のある人とエージェントでは有意な差はなしとなった [11]。これは、最初の段階としてエージェントによ

結果

話を伝えるスキルに関して、全ての研究験協力者で事前と事後でスキルが不変 ，もしくは向上している(不変 2 名、向上 8 名) ことを確認した（表 1）。事前と事後の評価値において、対応のある t 検定を行うと、p=0.002 で有意となった。

る不安が少ない対話支援の可能性を示している。

研究 2: 聞くスキルの分析

4
研究 1: 話すスキルの訓練

3

試みの 2 つめとして、相手の言う事に話に耳を傾け

以下の節では、自動 SST を評価した、2 つの研究にるにはどの特徴項目が重要で、自動フィードバックについて述べる。1 つめは、うれしい気持ちを伝えるス繋げることができるのか、について分析を行った [10]。

キルについて、自動 SST の訓練効果があるのかを検証した。

3.1

4.1

方法

27 名の大学院生 (女性 6 名、男性 21 名、年齢平均

方法

25.1 歳) が研究協力者として参加した。コンピュータ

10 名の ASD 児・青年 （年齢 7-19 歳、男性）が本研エージェントが話している際の、研究協力者の聞いて究に研究協力者として参加した。初めに、研究協力者いる様子を収録した。ここでは 2 種類の話のシナリオ― 1214 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 各研究協力者における訓練の事前事後の評価値
ID 年齢 事前 事後 事後 - 事前

表 2: 5 つの関係する特徴: 括弧はスピアマンの相関係数を示す (**: p < 0.01, *: p < 0.05, †: p < 0.10)
順位
Listening 1
Listening 217143273521

頷き (0.51**)

相槌 (0.55**)

3

91

54

2

質問 (0.42*)

発話中の相槌 (0.48*)

4

1156

1

3

発話中の相槌 (0.36†)

頷き (0.42*)

5124

62

4

繰り返し発話 (0.25)

発話外の相槌 (0.25)

61266

05

その他 (0.22)

繰り返し発話 (0.23)

712660813462

9165611019451

表 3: 聞くスキルの重回帰分析結果 (**: p < 0.01)
相関係数 二乗平均平方根誤差

Listening 10.504**

1.52

Listening 20.511**

1.26

SRS

報量基準による特徴選択および、重線形回帰モデルを-0.05-0.50.3

Opn0.18-0.46

構築し、その性能を 1 名抜き交差検証により評価した。
Ext-0.11
0.31-0.03-0.34.2

表 2 では、話を聞くスキルにとって頷きの回数およ

0.23
0.15
-0.47

Nrt

結果

0び相槌の回数が重要であることを確認した。特にエーAg.

ジェントの発話中の相槌が重要であることがわかった。

-0.28

-0.16

これは、Listening 1 でも 3 番目に重要な特徴となってCn.

いる。表 3 では、重線形回帰モデルによる予測値と正解値において、ピアソンの相関係数が 0.50 (p<0.01)
図 3: SRS と個性の関係（各ノードは、SRS: 対人応答性尺度、Ext: 外向性、Ag.: 協調性、Cn.: 真面目であることを示した。これは、先行研究 [11] のスキル自動評価と比較しても、同程度の予測性能である。

さ、Nrt: 精神的安定性、Opn: 開放性）を用意している。Listening 1: ストーリーテリング、

5

全体のまとめListening 2: 就労訓練を想定した電話のかけ方、収録

我々は SST を自動化する研究を進めており、話を伝した動画に対して、臨床心理士 2 名による動画評価をえるスキルにおいて ASD 児・青年での社会的コミュ行なった（1（最も悪い）to 7（最も良い））。

ニケーション支援の有効性を示した。また、話を聞く

ELAN による動画のアノテーションから特徴量（頷スキルに関しても調査を進め、エージェントの話に耳き、相槌、エージェント発話中の相槌、発話外の相槌、を傾けることから、スキルの自動評価の可能性を示し質問、繰り返し発話、その他、など）を抽出した。また。今後は、人間の SST のデータ収集およびそのモた眼球運動計測装置により研究協力者の注視領域（顔、デル化、ランダム化比較試験による脳計測も含めた効目、口、など）を抽出した。また対人応答性尺度（SRS、果測定、を実施していく予定である。

高い値は自閉的傾向が高い）と Ten Item Personality

Inventory (TIPI、個性) [4] も取得した。SRS と個性の関係性は図 3 に示している。SRS と外向性に弱い相6関（相関係数: -0.5）があることがわかる。

謝辞
本 研 究 は 、JSPS 科 研 費 18K11437、17H06101、臨床心理士の評価を正解値とし、相関分析、赤池情16K04830 の支援を受けて行われている。

― 1215 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

参考文献

ACM International Conference on MultimodalInteraction, pp. 504–505. ACM, 2017.

[1] American Psychiatric Association.

Diagnos-tic and Statistical Manual of Mental Disorders:Dsm-5. Diagnostic and Statistical Manual of[9] Patricia A Rao, Deborah C Beidel, andMental Disorders. Amer Psychiatric Pub Incor-

for children with asperger s syndrome or high-porated, 2013.

functioning autism: A review and recommen-

Michael J Murray. Social skills interventions

dations. Journal of autism and developmental[2] A.S. Bellack,

K.T. Mueser,

and J. Agresta.

S. Gingerich,disorders, Vol. 38, No. 2, pp. 353–361, 2008.

Social Skills Training for

Schizophrenia, Second Edition: A Step-by-Step[10] Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka,
and Satoshi Nakamura. Listening skills assess-Guide. Guilford Publications, 2013.

ment through computer agents. In Proceedings[3] Ofer Golan and Simon Baron-Cohen.

Sys-of the 20th ACM International Conference on

temizing empathy: Teaching adults with as-

Multimodal Interaction, ICMI ’18, pp. 492–496,

perger syndrome or high-functioning autism toNew York, NY, USA, 2018. ACM.

recognize complex emotions using interactive
multimedia. Development and psychopathology,[11] Hiroki Tanaka, Sakti Sakriani, Graham Neubig,
Tomoki Toda, Hideki Negoro, Hidemi Iwasaka,Vol. 18, No. 2, pp. 591–617, 2006.
[4] Samuel D Gosling, Peter J Rentfrow, andand Satoshi Nakamura. Teaching social communication skills through human-agent interac-William B Swann Jr. A very brief measure oftion. ACM Transactions on Interactive Intelli-

the big-five personality domains. Journal of Re-

gent Systems (TiiS), Vol. 6, No. 2, p. 18, 2016.

search in personality, Vol. 37, No. 6, pp. 504–
[12] Hiroki Tanaka, Sakriani Sakti, Graham Neubig,

528, 2003.

Tomoki Toda, and Satoshi Nakamura. Linguis[5] Mohammed Ehsan Hoque, Matthieu Courgeon,

tic and acoustic features for automatic identi-

Jean-Claude Martin, Bilge Mutlu, and Ros-

fication of autism spectrum disorders in chil-alind W Picard. Mach: My automated conver-dren’s narrative. In Proceedings of the Work-sation coach. In Proceedings of the 2013 ACM

shop on Computational Linguistics and Clinicalinternational joint conference on Pervasive andPsychology: From Linguistic Signal to Clinicalubiquitous computing, pp. 697–706. ACM, 2013.

Reality, pp. 88–96, 2014.

[6] David Moore,and John

[13] Connie Wong, Samuel L Odom, Kara A Hume,

Computer-aided learning for people

Ann W Cox, Angel Fettig, Suzanne Kucharczyk,with autism–a framework for research and de-Matthew E Brock, Joshua B Plavnick, Veron-velopment. Innovations in Education and Train-ica P Fleury, and Tia R Schultz.

ing International, Vol. 37, No. 3, pp. 218–228,

based practices for children, youth, and young

2000.

adults with autism spectrum disorder: A com-Thorpe.

Paul McGrath,Evidence-[7] Harold Pashler. Dual-task interference in simpleprehensive review. Journal of autism and de-tasks: data and theory. Psychological bulletin,velopmental disorders, Vol. 45, No. 7, pp. 1951–Vol. 116, No. 2, p. 220, 1994.

1966, 2015.

[8] Matthieu Poyade, Glyn Morris, Ian Taylor, andVictor Portela. Using mobile virtual reality toempower people with hidden disabilities to overcome their barriers. In Proceedings of the 19th

― 1216 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.