社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

非言語情報読み取りスキルを用いた自閉症スペクトラム指数の測定
田中宏季†

サクリアニ

サクティ†

グラムニュービック†

戸田智基†

中村 哲†

† 〒 630-0192 奈良県生駒市高山町 8916-5 奈良先端科学技術大学院大学 情報科学研究科
E-mail: †{hiroki-tan,ssakti,neubig,tomoki,s-nakamura}@is.naist.jp
あらまし

本稿では，社会的コミュニケーションの実環境での支援に向け，動画を新たに組み込んだ iPad アプリケー

ション NOCOA+について述べる．自閉症スペクトラム指数の因子分析を行い社会性・コミュニケーションに寄与している非言語情報を決定し，次に NOCOA+の開発に向けた動画の収録を行った．最後に，NOCOA+の実験的評価を行い，社会性・コミュニケーションスコアと非言語コミュニケーションスキルに有意な相関関係があることを確認した．
キーワード 非言語コミュニケーション，社会性，コンピュータ・ベースド・トレーニング，自閉症スペクトラム指数

Measurement of Autistic Traits using Non-verbal Communication Skills
Hiroki TANAKA† , Sakriani SAKTI† , Graham NEUBIG† , Tomoki TODA† , and Satoshi
NAKAMURA†† Graduate School of Information Science Nara Institute of Science and Technology 8916-5 Takayama-cho,Ikoma, Nara 630-0192, Japan
E-mail: †{hiroki-tan,ssakti,neubig,tomoki,s-nakamura}@is.naist.jp
Abstract In this paper, iPad application NOCOA+ which includes movie data to enhance human communicationand socialization in real world is proposed. Factor analysis of autism spectrum quotient to determine non-verbal
information contributing communication and socialization is implemented, and movie data towards the development of NOCOA+ is recorded. An experiment confirmed a significant relationship between communication andsocialization scores and non-verbal communication skills.
Key words Non-verbal Communication, Socialization, Computer-Based Training, Autism-Spectrum Quotient

1. は じ め にと感情の組み合わせであり [6]，社交的な世界を理解するためには必要不可欠なものである．共感の認知要素に関しては心の理

社会性，コミュニケーションスキルは我々の生活に欠かすこ論 [7], [8] や，感情などの非言語情報読み取り [9] が知られておとのできない重要な要素である．様々な理由によりこれらの能り，これらは ASD 患者の中心的な課題である. 感情読み取り力に困難のある人が増えてきており，これにより就職活動やの訓練はソーシャルスキルトレーニン グ (SST) にも取り入れ対人関係において問題が生じるという報告がある [1]．さらにられ，トレーニング前と後での感情読み取り能力の改善が報告

この極端な例を自閉症スペクトラム障害と考えることができされている [8], [10], [11]．

る [2], [4]．自閉症スペクトラム障害 (ASD) とは，先天的な脳著者らは，これまで社会性・コミュニケーションに困難のある機能の障害であり，ASD 患者は 3 つ組と呼ばれる社会性の特人が感情読み取りのみならず，幅広く非言語コミュニケーショ

異性，コミュニケーションの障害，こだわりと想像力の障害をンスキルを学習するためのコミュニケーション支援アプリケー有している [3]．ASD の重症度を定量的に測るスクリーニング

ションとして NOCOA を開発した [12]．NOCOA では音声情テストとして，自閉症スペクトラム指数 (AQ) が提案されてい報しか考慮していなかったことから，本研究では動画情報までる [5]．AQ は健常者にも使用することができ，ASD の重症度含めた、より実環境に近いコミュニケーション支援アプリケーを簡易的に測るために用いられる．これまでの研究により，健ション NOCOA+を提案する．本稿では，まず AQ の因子分析常者でも AQ スコアが広く分布することがわかっており，ASDを行い社会性・コミュニケーションに寄与している非言語情報と診断されていなくとも，ASD 患者より高い ASD の重症度をを決定し，次に NOCOA+の開発に向けた動画の収録と非言語示す者もいる [5]．

情報のアノテーションを行った．最後に，NOCOA+の実験的ASD の心理学的な中心主題は，共感である．共感とは認知評価を行い，AQ スコアと非言語コミュニケーションスキルに—1—有意な相関関係があることを確認した．

2. 社会性・コミュニケーションの評価
本研究では，非言語コミュニケーションスキルに着目している．しかし非言語情報には，性別，年齢，感情，意図など多くの情報が含まれている [13]．本章の目的は，社会性・コミュニケーションに寄与している非言語情報を決定することにある．
我々は，２１名の日本人学生が英語版 AQ の内，そのサブエリア（AQ の下位尺度である，社会性，コミュニケーション，注意の切り替え，細部への注意，想像力，の各１０個の質問群）である社会性とコミュニケーションに関しての質問（全２０質問）に解答した結果を因子分析した（表 1 参照）．因子分析では，主成分分析とカイ二乗値により因子数を５と定めた．５因子の累積寄与率は６５%となり，第１因子では，相手の意図や
図 1 NOCOA+テストモードのスクリーンショット．

冗談がわからないなど意図に関する項目，また何に興味があるかなど興味に関する項目が挙げられる．第２因子では，新しい友達を作る，行間を読むこと，初対面，会話を進めることに関り，さらに Snack Tcl/Tk [15] により音声のパワー値に条件をする項目が挙げられが，これら全体に主に寄与している質問項設定し，発話区間の自動検出を行った．検出された発話区間かとして項目７の礼儀正しさが挙げられる．この手順により，各らそれぞれ，音声のみ，動画のみ，音声＋動画を自動的に切り因子を代表する呼び名を以下にまとめた．

出した．またコンテキスト情報を含んだ発話（５秒前と１０秒（ 1 ） 第１因子：意図や興味前）も同時に切り出した．

（ 2 ） 第２因子：礼儀正しさ

3. 2 発話の分類（ 3 ） 第３因子：社交的な場や状況

前小節で切り出したデータ約１２００発話の音声＋動画にア（ 4 ） 第４因子：雑談や気持ちノテーター３名によるラベリング作業を実施した．アノテー（ 5 ） 第５因子：その他

ター３名の AQ スコアは 16 以下であり，またそのサブエリア以上より，本研究で使用する非言語情報として，第１因子のである社交性とコミュニケーションスコアの和（最高２０点）“意図や興味”，第２因子の “礼儀正しさ”を非言語情報としてそは３名それぞれ {1, 1, 1} であることから，社会性とコミュニれぞれ決定した．これらの非言語情報の内，先行研究より，“意ケーションに対して高いスキルを持つと見なすことができる．

図や興味”として，１：“冷笑，無関心”，２：“社交”，３：“友アノテーション結果として，３名全員が全てのカテゴリで一致好，興味”，の３カテゴリを，“礼儀正しさ”として，１：“友達した発話として１０９発話が残り，今後これを使用する．またに話す”，２：“目上の人に話す”，の２カテゴリを定義した [12]．

アノテーターがコンテキスト付き動画を視聴し，３名のうち２名以上が同じ別カテゴリへラベル付けをした際に，コンテキス

3. データ収集
NOCOA+では音声情報のみならず，新たに動画を導入する．
本節ではその過程について述べる．

トを含めた際のラベル変更を行った．

4. 非言語コミュニケーション測定・教育システ
ムの開発

3. 1 動画の収録
前節で定めた非言語情報のカテゴリが表出されやすく，なお我々は社会的コミュニケーションの実環境での支援に向け，かつ実環境に近い収録を実現することをデータ収集の目的とし新たに動画を組み込んだ iPad アプリケーション NOCOA+にた．本研究では，自閉症の重症度が意図表出に影響を及ぼすとついて提案する．NOCOA+にはテストモード（図 1）とトレー考え，AQ スコアが ASD の閾値である 32 以下の４名の日本人ニングモードが存在し，それぞれ非言語コミュニケーションス大学院生（平均年齢２３．７歳，全員男性）を収録した．意図やキルの理解度を測り，学習するためのモードである．本稿では興味が表出し易いように，スポーツ欄と社会欄の新聞記事を予テストモードについて述べる．テストモードの問題はランダム

めそれぞれ読み，その内容について１０分間ずつ話す設定としで１０問出題され，さらに以下の２種類の汎化レベルが存在た．また礼儀正しさが表出し易いように，特に仲の良い友人と，する．

先生の立場に当たる人物とそれぞれ１対１で会話を行う設定•とした．収録機器には，ビデオカメラ（SONY HDR-CX560）を用いて，被験者の胸部より上を正面から撮影し，ピンマイク(Olympus ME52W) を襟に装着して被験者のみの音声を録音

汎化レベル 1 (Closed): トレーニングモードで取り扱った発話をテストモードでも使用．

•

汎化レベル 2 (Open): トレーニングモードで取り扱っていない発話をテストモードで使用．

した（収録された動画は図 1 を参照）．収録されたデータは，前節でのアノテーションの妥当性を検証するために，アノWindows ムービーメーカーを使用して動画と音声の同期をとテーター３名による NOCOA+を用いたテストモードのスコア—2—

表 1 プロマックス法による因子分析の結果 [14]. カラム１−５は，１因子から５因子までの，因子負荷量と累積寄与率をそれぞれ表している．因子負荷量欄の余白は十分小さな値を表している．

AQ no.

StatementFactor loadings
12

3

45

[ intention, interest ]45

I ﬁnd it diﬃcult to work out people’s intentions.

1.308

35

I am often the last to understand the point of a joke.

0.687-0.12-0.294

15

I ﬁnd myself drawn more strongly to people than to things.

0.613

0.263

1

I prefer to do things with others rather than on my own.

0.571

0.436

0.138

22

I ﬁnd it hard to make new friends.

0.869

0.114

-0.191
0.143-0.109-0.117

0.112[ polite ]
0.187

7

Other people frequently tell me that what I’ve said is impolite, even though I think ...

27

I ﬁnd it easy to ”read between the lines” when someone is talking to me.

0.159-0.722-0.701

0.282

47

I enjoy meeting new people.

0.161

0.524

26

I frequently ﬁnd that I don’t know how to keep a conversation going.

13

I would rather go to a library than a party.

-0.19

0.159

1.079

48

I am a good diplomat.

-0.117 -0.225

18

When I talk, it isn’t always easy for others to get a word in edgeways.

0.364

11

I ﬁnd social situations easy.

0.281

31

I know how to tell if someone listening to me is getting bored.

17

I enjoy social chit-chat.

38

I am good at social chit-chat.

-0.21244

I enjoy social occasions.

36

I ﬁnd it easy to work out what someone is thinking or feeling just by looking at ...

33

When I talk on the phone, I’m not sure when it’s my turn to speak.

-0.3780.365

39People often tell me that I keep going on and on about the same thing.

0.358

SS loadings

3.125

3.085

2.591

2.283

2.097

Cumulative var.

0.156

0.31

0.44

0.554

0.659

0.124
-0.147-0.129

0.124

0.153

0.189

-0.243

0.734

0.201

0.768

0.314

0.396

-0.179

-0.29

0.372

0.515

[ social place and situation ][ chit-chat, feeling ]-0.325

0.833

0.366

0.735

0.108

0.309

0.531

-0.248

0.384

0.175

0.492

0.282

-0.213

0.475

0.219

0.135

0.851

-0.283 -0.144 -0.317

0.552

0.128

[ others ]100

検証を行った．これはアノテーター３名が音声+動画に加え，音声のみ，動画のみ，言語情報（原稿を作成した上，その読みスコアが高いほど非言語コミュニケーションスキルの理解度があることを表している．
これより動画＋音声では，95%以上正解しているに対し，音80

Test mode score

2 に示しており，ここでテストモードは１００点が最高であり，70問解答したスコアの平均をとることにより検証した．結果を図90上げ）のみの４モダリティに対し，汎化レベル１の問題を１０していることが確認できる．特に動画のみと言語情報のみでは

60

声のみ，動画のみ，言語情報のみでは，それぞれ正解率が減少
spe.+mov.

る．動画のみでは “礼儀正しさ”のカテゴリに誤りが多く見られ，言語情報のみでは “意図や興味” のカテゴリを全て社交的と

spe.

mov.

verbalModality

音声＋動画と比較して有意な差をもってスコアの減少が見られ

図 2 アノテーターにおける各モダリティによるスコア変動．標準誤差をエラーバーで示している．

する傾向が見られた．以上より，今後は最もアノテーション結果が反映される音声＋動画をテストモードのスコアとして採用

EASY: ８１ー１００%，NORMAL：５１−８０%，HARD：する．またアノテーター以外の健常者８名がテストモードを使０−５０%．難易度毎に発話が分類され，今後テストモードの用し，汎化レベル１での間違いの多い問題と，間違いの少ない結果数が増える際，難易度毎の発話も正解率に基づき定期的に問題から難易度の設定を行い，EASY-NORMAL-HARD の３更新される．

種類の難易度を設定した．各難易度での正解率は以下となった，—3—ミュニケーションスキルの有意な相関関係を確認した．今後は
5

非言語コミュニケーションスキルに困難のある人が，NOCOA+を用いたコンピュータ・ベースド・トレーニング (CBT) により10

汎化レベル１と汎化レベル２の両方でスコアの改善が見られるか，またどういった間違いの傾向があるかを知り，個人への支15

援方法を検討していくことが必要である．また発話データ量を増やすため，さらなるデータ収集の枠組みについても検討する．
文

20

Social and Communication Skills

0

た．実験により，健常者における AQ のサブエリアと非言語コ

70

75

80

85

90

95

100

Test mode score

図3

社会性・コミュニケーションスコアの和とテストモードスコアとの関係．

5. 実験的評価
5. 1 実 験 方 法
本実験の目的は，健常者における AQ スコアと NOCOA+を用いた非言語コミュニケーションスキルの関係性を明らかにすることにある．実験は９名の日本人大学院生（平均年齢：２３，全員男性）が，指定した部屋に一人ずつ入り，実験の説明を受け，実験で使用する顔画像の概念が理解できているかを確認した．次に NOCOA+テストモードの汎化レベル１に属する難易度 EASY から HARD をそれぞれ１回ずつ実施し，前章での８名による出題の傾向からスコアの加重平均を求めた．最後に AQ の日本語版 [16] (以下で利用可能 http://www.autism-communication.com/%7Ehiroki-tan/AQsub.html ) を測定し，AQ スコアとそのサブエリアである社会性とコミュニケーションスコアの和を算出した．

5. 2 実 験 結 果
図 3 は社会性・コミュニケーションスコアの和と NOCOA+のテストモードスコアとの関係性を示している．テストモー
ドは１００点が最高であり，スコアが高いほど非言語コミュニケーションスキルの理解度があることを表している．また社会性とコミュニケーションスコアはそれぞれ１０点が最高で，スコアが高いほど自閉傾向が高いことを表している．これより健常者の間でも非言語コミュニケーションスキルが広く分布していることが確認できる．両者間でのピアソンの r 値は 0.92(p<.01) となり，有意に相関があることがわかる．この結果を先行研究 [12] と比較した際，相関の改善が確認される．またAQ のトータルスコアと社会性・コミュニケーションカテゴリの和の相関係数は 0.91 (p<.01) である．

6. ま と め
本研究は ASD の重症度を測るスクリーニング手法として使献[1] GOLEMAN D. 2007. Social intelligence. Arrow Books.
[2] BARON-COHEN S. 2008. Autism and Asperger syndrome.
Oxford University Press, USA.
[3] KANNER L. 1943. Autistic disturbances of aﬀective contact. Nervous Child 2: 217-250.
[4] WING L. 1996. Autistic spectrum disorders. Bmj 312: 327.
[5] BARON-COHENS., WHEELWRIGHTS., SKINNERR.,MARTINJ. & CLUBLEY E. 2001. The Autism-Spectrum
Quotient (AQ): evidence from Asperger syndrome/highfunctioning autism, malesand females, scientists and mathematicians. Journal of Autism and Developmental Disorders
31: 5-17.
[6] DAVIS M.H. 1983. Measuring individual diﬀerences in empathy: Evidence for a multidimensional approach. Journalof Personality and Social Psychology; Journal of Personality
and Social Psychology 44: 113.
[7] PREMACK D. & WOODRUFF G. 1978. Does the chimpanzee have a theory of mind? Behavioral and brain sciences 1: 515-526.
[8] OZONOFF S. & MILLER J.N. 1995. Teaching theory ofmind: A new approach to social skills training for individuals with autism. Journal of Autism and Developmental
Disorders 25: 415-433.
[9] GOLAN O., BARON-COHEN S. & HILL J. 2006. The
Cambridge Mindreading (CAM) Face-Voice Battery: Testing complex emotion recognition in adults with and without
Asperger syndrome. Journal of autism and developmental
disorders 36: 169-183.
[10] BAUMINGER N. 2002. The facilitation of social-emotional
understanding and social interaction in high-functioning
children with autism: Intervention outcomes. Journal ofautism and developmental disorders 32: 283-298.
[11] GOLAN O. & BARON-COHEN S. 2006. Systemizing empathy: Teaching adults with Asperger syndrome or highfunctioning autism to recognize complex emotions using interactive multimedia. Develop. Psychopatholgy.
[12] TANAKA H. SAKTI S. NEUBIG G., TODA T. & NAKAMURA S., 2012. Non-verbal cognitive skills and autistic
conditions: An analysis and training tool, In Proc IEEE
CogInfoCom.
[13] FUJISAKI H. 1997. Prosody, models, and spontaneousspeech. Computing Prosody.
[14] TANAKA Y. & WAKIMOTO K. 1983. Methods of multivariate statistical analysis. Gendai Sugoku, Tokyo.
[15] The Snack Sound Toolkit. http://www.speech.kth.se/snack/[16] WAKABAYASHI A., BARON-COHEN S., WHEELWRIGHT S. & TOJO Y. 2006. The Autism-Spectrum Quotient (AQ) in Japan: a cross-cultural comparison. Journalof Autism and Developmental Disorders 36: 263-270.

用される AQ と，共感の認知要素である非言語コミュニケーションスキルの関係性に着目した．AQ と非言語コミュニケーションスキルの関係について，動画を組み込んだコミュニケーション支援アプリケーション NOCOA+を開発して調査を行っ—4—