The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

4J1-OS-23-4

Computer-Based Training による非言語コミュニケーションスキルの改善に関する検討
Non-verbal Communication skills training by Computer-Based Training
田中 宏季∗1

Sakriani Sakti∗1

Graham Neubig∗1

戸田 智基∗1

中村 哲∗1

Hiroki Tanaka

Sakriani Sakti

Graham Neubig

Tomoki Toda

Satoshi Nakamura

奈良先端科学技術大学院大学

情報科学研究科∗1

Graduate School of Information Science, Nara Institute of Science and Technology

Non-verbal behaviors incorporating movie, speech and contextual information are important to make sense ofand navigate the social world. Each modality movie, speech and context is recorded according to a factor analysis ofAutism Spectrum Quotient. iPad application NOCOA+ includes above each modality, and is proposed to enhance
human communication and socialization in real world. Two experiments were implemented with total seventeen
Japanese adults. Experiment 1 conﬁrmed that a signiﬁcant relationship between communication and socialization
scores and non-verbal communication skills. Experiment 2 showed eﬃcacy of systematic computer-based training.

1.

はじめに

2.1

社会性，コミュニケーションスキルは我々の生活に欠かすことのできない重要な要素である．様々な理由によりこれらの能力に困難のある人が増えてきており，これにより就職活動や対人関係において問題が生じるという報告がある [Goleman 07]．
さらにこの極端な例を自閉症スペクトラム障害と考えることができる [Baron-Cohen 08, Wing 96]．自閉症スペクトラム障害 (ASD) とは，先天的な脳機能の障害であり，ASD 患者は 3 つ組と呼ばれる社会性の特異性，コミュニケーションの障害，こだわりと想像力の障害を有している [Kanner 43]．
ASD の心理学的な中心主題は共感であり，社交的な世界を理解するためには必要不可欠なものである．共感に関しては，感情など非言語情報読み取り実験が知られている [Golan 06]．
先行研究で，感情などの非言語情報読み取りの困難は，視覚と聴覚の両方で確認されている [Golan 08]．
著者らは，これまで社会性・コミュニケーションに困難のある人が感情読み取りのみならず，幅広く非言語コミュニケーショ
ンスキルを学習するためのコミュニケーション支援アプリケーションとして NOCOA を開発した [Tanaka 12]．NOCOA では音声情報しか考慮していなかったことから，本研究では動画情報まで含めた、より実環境に近いコミュニケーション支援ア
プリケーション NOCOA+を提案する．本稿では，NOCOA+の開発に向けた動画の収録と非言語情報のアノテーションについて述べる．最後に，NOCOA+の実験的評価を行い，非言語コミュニケーションスキルと Autim spectrum Qotient (AQ)
[Baron-Cohen 01] のサブエリアとの関係を確認し，非言語情報におけるコンピュータ・ベースド・トレーニングの有効性についても確認した．

1. 第１因子：意図や興味
2. 第２因子：礼儀正しさ
3. 第３因子：社交的な場や状況
4. 第４因子：雑談や気持ち
5. 第５因子：その他
以上より，本研究で使用する非言語情報として，第１因子の“意図や興味”，第２因子の “礼儀正しさ”をそれぞれ決定した．
これらの非言語情報の内，先行研究より，“意図や興味”として，１：“冷笑，無関心”，２：“社交”，３：“友好，興味”，の３カテゴリを，“礼儀正しさ”として，１：“友達に話す”，２：“目上の人に話す”，の２カテゴリを定義した [Tanaka 12]．

2.2

2.

コミュニケーションと社会性の評価

非言語性言動とは様々な要因を含んでいる（例：感情，状況，年齢など）．我々の先行研究の目的は，AQ により測ることのできるコミュニケーションスキルに寄与する非言語情報を決定することである．このため，心理テストにおいてスコアに寄与する因子を解明するために用いられる因子分析を使用した．
我々は，２１名の日本人学生が英語版 AQ の内，そのサブエリア（AQ の下位尺度である，社会性，コミュニケーション，注意の切り替え，細部への注意，想像力，の各１０個の質問群）である社会性とコミュニケーションに関しての質問（全２０質問）に解答した結果を因子分析した．因子分析では，主成分分析とプロマックス法により因子数を５と定めた．５因子を代表する呼び名を以下にまとめた．

NOCOA

構成

NOCOA にはテストモードとトレーニングモードが 存在しており，音声情報より，それぞれ非言語コミュニケーションスキルの理解度を測り，学習をするためのモードである．なお，テストモードには以下の 3 種類の汎化レベルを用意している．
汎化レベル 1 (Closed-Short): トレーニングモードで取り扱った音声発話をテストモードでも使用．顔画像においてはトレーニングモードとテストモードで異なるものを使用．汎化レベル
2 (Open-Short): 音声発話，顔画像がトレ ーニングモードに含まれていないものを使用．発話内容はトレーニングモードに

本節では、これまでに開発された NOCOA の枠組みについて述べる．

連絡先: 田中 宏季，奈良先端科学技術大学院大学 情報科学研
究科，生駒市高山町 8916-5，hiroki-tan@is.naist.jp

1

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013
使用したものと同様． 汎化レベル 3 (Open-Long): 音声発話，顔画像，発話内容がトレーニングモードに含まれておらず，コンテキストを考慮した発話長の長い発話を使用．

3.と “ポイントを見る”である．前者はユーザーが統計ベースで学習できる方法であり，後者はルールによる学習モジュールである．ユーザーはトレーニングメニューから好みの手法を選ぶことができる．

動画データ

4.2

前節で述べたように，NOCOA では音声情報のみ使用しており，これでは実環境では視覚と聴覚の両方が重要であるという観点から，限界がある．NOCOA+では音声情報のみならず動画情報も使用する．本節では，動画データ収集の過程とアノテーションについて述べる．

3.1• Closed: トレーニングモードで取り扱った発話をテストモードでも使用．

動画の収録

前節で定めた非言語情報のカテゴリが表出されやすく，なおかつ実環境に近い収録を実現することをデータ収集の目的とした．本研究では，自閉症の重症度が意図表出に影響を及ぼすと考え，AQ スコアが ASD の閾値である 32 以下の４名の日本人大学院生（平均年齢２３．７歳，全員男性）を収録した．
意図や興味が表出し易いように，スポーツ欄と社会欄の新聞記事を予めそれぞれ読み，その内容について１０分間ずつ話す設定とした．また礼儀正しさが表出し易いように，特に仲の良い友人と，先生の立場に当たる人物とそれぞれ１対１で会話を行う設定とした．収録機器には，ビデオカメラ（SONYHDR-CX560）を用いて，被験者の胸部より上を正面から撮影し，ピンマイク (Olympus ME52W) を襟に装着して被験者のみの音声を録音した．収録されたデータは，Windows ムービーメーカーを使用して動画と音声の同期をとり，さらに Snack
Tcl/Tk (http://www.speech.kth.se/snack/) により音声のパワー値に条件を設定し，発話区間の自動検出を行った．検出された発話区間からそれぞれ，音声のみ，動画のみ，音声＋動画を自動的に切り出した．またコンテキスト情報を含んだ発話（５秒前と１０秒前）も同時に切り出した．

3.2• Open: トレーニングモードで取り扱っていない発話をテストモードで使用．
前節でのアノテーションの妥当性を検証するために，アノテーター３名による NOCOA+を用いたテストモードのスコア検証を行った．これはアノテーター３名が音声+動画に加え，音声のみ，動画のみ，言語情報（第一著者が原稿を作成した上，平坦なピッチで感情なしの読み上げ）のみの４モダリティに対し，汎化レベル１の問題を１０問解答したスコアの平均をとることにより検証した．結果を図 1 に示しており，ここでテストモードは１００点が最高であり，スコアが高いほど非言語コミュニケーションスキルの理解度があることを表している．
これより動画＋音声では，95%以上正解しているに対し，音声のみ，動画のみ，言語情報のみでは，それぞれ正解率が減少していることが確認できる．特に動画のみと言語情報のみでは音声＋動画と比較して有意な差をもってスコアの減少が見られる．動画のみでは “礼儀正しさ”のカテゴリに誤りが多く見られ，言語情報のみでは “意図や興味” のカテゴリを全て社交的とする傾向が見られた．以上より，今後は最もアノテーション結果が反映される音声＋動画をテストモードのスコアとして採用する．またアノテーター以外の健常者１０名がテストモードを使用し，汎化レベル１での間違いの多い問題と，間違いの少ない問題から難易度の設定を行い，easy-normal-hard の３種類の難易度を設定した．各難易度での正解率は以下となった，
easy: ８１ー１００%，normal：５１−８０%，hard：０−５０%．難易度毎に発話が分類され，今後テストモードの結果数が増える際，難易度毎の発話も正解率に基づき定期的に更新される．以下の実験では，easy と normal のみ使用される．

発話の分類

前小節で切り出したデータ約１２００発話の音声＋動画にアノテーター３名によるラベリング作業を実施した．アノテー
ター３名の AQ スコアは 16 以下であり，またそのサブエリアである社交性とコミュニケーションスコアの和（最高２０点）は３名それぞれ {1, 1, 1} であることから，社会性とコミュニケーションに対して高いスキルを持つと見なすことができる．
アノテーション結果として，３名全員が全てのカテゴリで一致した発話として１０９発話が残り，今後これを使用する．

4.

NOCOA+の設計変更点

iPad アプリケーション NOCOA+は実環境での社会性・コミュニケーション支援を目指して開発された．NOCOA と同様に，NOCOA+にはトレーニングモードとテストモードが存在する．本節では NOCOA から NOCOA+への中心となる変更点について述べる．

4.1

テストモードテストモードの問題はランダムで１０問出題され，ユーザーの非言語コミュニケーションスキルを測定するために使用される．テストモードには以下の２種類の汎化のレベルが存在する．

5.

実験１：非言語コミュニケーションスキルの測定

5.1

実験方法

実験１の目的は，健常者における AQ スコアと NOCOA+を用いた非言語コミュニケーションスキルの関係性を明らかにすることにある．実験では１１名の日本人大学院生（平均年齢：２３．３，男性１０名と女性１名）が，外部刺激の少ない指定した部屋に一人ずつ入り，実験の説明を受けた．次にNOCOA+テストモードの汎化レベル１に属する難易度 easyと normal をそれぞれ１回ずつ実施し，スコアの平均を求めた．最後に AQ の日本語版 [Wakabayashi 06] (以下で利用
可 能 http://www.autism-communication.com/%7Ehirokitan/AQsub.html) を測定し，AQ のサブエリアである社会性とコミュニケーションスコアの和を算出した．

トレーニングモード

トレーニングモードはユーザーの社会性・コミュニケーショ
ンスキルを高めるために設計された．先行研究では自閉症の極端男性脳説（自閉症者がよりシステマティックなものを好む傾向）が提唱されている [Baron-Cohen 03]．ここでのシステムとは，ルールによって制御される，インプット，様々な操作，それによる異なるアウトプットを伴うものを示している．我々
はトレーニングモードを拡張し，２つのシステマティックなトレーニング手法を用意した．それぞれ，“たくさん聞いてみる”

2

60

51020

158070

Test mode score90

Social and Communication Skills

0100

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

VerbalVisualAudio

Audiovisual

70

Modality

実験結果

実験２：コンピュータ・ベースド・トレー
ニングの有効性

6.1

実験方法

90

95100

ンググループでのスコア改善は，7.66 であり，トレーニングなしグループでは，-2.33 であった．t 検定により両者の有意差を確認した（p 値 < 0.1）．オープンデータのスコア改善（トレーニング前の closed data とトレーニング後の open data のスコア）は，トレーニンググループでは 9.66 であり，トレーニングなしグループでは，-1.33 であった．t 検定により両者の有意差を確認した（p 値 < 0.1）．
難易度 noraml（図 6.1 の右側）に関して，トレーニンググループでのスコア改善は，12.00 であり，トレーニングなしグループでは，-3.00 であった．t 検定により両者の有意差を確認した（p 値 < 0.1）．オープンデータのスコア改善は，トレーニンググループでは 7.33 であり，トレーニングなしグループ
では，5.66 であった．t 検定による両者の有意差は確認できなかった（p 値 > 0.1）．
実験結果として，難易度 easy に関しては２０分間のトレーニングにより，closed と open の両方でのスコア改善を確認している．これにより音声と動画でのシステマティックトレーニングの有効性を示している．しかし，難易度 noramal では，トレーニングに含まれていない問題の困難を示している．これに関しては，自閉症者が学んだスキルを汎化させることに困難があると報告されていることから [Bolte 02, Shilver 01, Bernard-Optiz 01]，個人の自閉傾向についても考慮する必要がある．

本実験の目的は，健常者におけるトレーニングモードの有効性について調査することにある．オープンデータにおけるスコアの維持についても同様に調査した．実験では６名の日本人大学院生（平均年齢：２３．５，男性５名と女性１名）が，指定した部屋に一人ずつ入り，実験の説明を受けた．次に NOCOA+
テストモードの汎化レベル１に属する難易度 easy と hard のclosed data をそれぞれ１回ずつ実施した．その後，ランダムで選ばれた半分のグループがトレーニングモードを２０分間使用し，残りの半分のグループは同様の２０分間を待機した．トレーニンググループは，まずルールベースのトレーニングを，その後統計ベースのトレーニングを行うよう指示を受けた．ほぼ全員が２０分間で全てのトレーニングを完了させることができた．２０分後，両グループはテストモードの closed dataと open data をそれぞれ行い，スコアを算出した．トレーニ
ングと待機グループのスコア改善差はスチューデントの t 検定により検証された．

6.285

図 2: 社会性・コミュニケーションスコアの和とテストモードスコアとの関係．

図 2 は社会性・コミュニケーションスコアの和と NOCOA+のテストモードスコアとの関係性を示している．テストモー
ドは１００点が最高であり，スコアが高いほど非言語コミュニケーションスキルの理解度があることを表している．また社
会性とコミュニケーションスコアはそれぞれ１０点が最高で，スコアが高いほど自閉傾向が高いことを表している．これより健常者の間でも非言語コミュニケーションスキルが広く分布していることが確認できる．両者間でのピアソンの r 値は0.85 (p<.01) となり，有意に相関があることがわかる．この結果を先行研究 [Tanaka 12] と比較した際，相関の改善が確認される．

6.

80

Test mode score

図 1: アノテーターにおける各モダリティによるスコア変動．
標準誤差をエラーバーで示している．

5.2

75

7.

まとめ

先行研究では，社会性・コミュニケーションの困難は，視覚と聴覚の両方で見られることが確認されている．我々は NOCOA の枠組みを音声だけでなく，動画にも拡張した．本稿では，NOCOA+を用いた非言語コミュニケーションスキルと AQサブエリアの関係を確認し，非言語コミュニケーションスキルトレーニングの有効性も確認した．
今後取り組むべき課題としては，問題の間違いの傾向と自閉傾向の関係など，個人による違いである．また自閉症者の感情認
識トレーニングに関して長期的な療育が必要であり [Golan 06]，今後の実験では，自閉症者での長期的なフォローアップを含めたデザインを考える．

実験結果

図 6.1 は２０分前と２０分後のテストモードのスコア改善を示している．難易度 easy（図 6.1 の左側）に関して，トレーニ

3

90
60

60

70

80

Test mode score

8070

Test mode score90100100

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

Before 20min

After 20min

Open

Before 20min

After 20minOpen

図 3: 左図は難易度 easy を表しており，右図は難易度 normal を表している．点線はトレーニングなしグループで，実線はトレーニンググループを示している．２０分前と後の closed data，２０分後の open data のスコアをプロットしている．

参考文献[Golan 08] GOLAN O., BARON-COHEN S., & GOLAN
Y., 2008. The Reading the Mind in Films task [childversion]: Complex emotion and mental state recognition in children with and without autism spectrum
conditions. Journal of Autism and Developmental Disorders 38: 1534-1541.

[Baron-Cohen 03] BARON-COHEN S., RICHLER J., BISARYA D., GURUNATHAN N., WHEELWRIGHT S.,
BARON-COHEN S., RICHLER J., BISARYA D., GURUNATHAN N. & WHEELWRIGHT S. 2003. The
systemizing quotient: an investigation of adults withAsperger syndrome or high―functioning autism, andnormal sex diﬀerences. Philosophical Transactions ofthe Royal Society of London. Series B: Biological Sciences 358: 361-374.

[Golan 06] GOLAN O., & BARON-COHEN S., 2006. Systemizing empathy: Teaching adults with Asperger syndrome or high-functioning autism to recognize complexemotions using interactive multimedia. Develop. Psychopatholgy.

[Baron-Cohen 01] BARON-COHEN S., WHEELWRIGHTS., SKINNER R., MARTIN J., & CLUBLEY E., 2001.
The Autism-Spectrum Quotient (AQ): evidence fromAsperger syndrome/high-functioning autism, malesand females, scientists and mathematicians. Journalof Autism and Developmental Disorders 31: 5-17.

[Kanner 43] KANNER L., 1943. Autistic disturbances ofaﬀective contact. Nervous Child 2: 217-250.
[Shilver 01] SILVER M., & OAKES P., 2001. Evaluationof a new computer intervention to teach people withautism or Asperger syndrome to recognize and predict
emotions in others. Autism 5: 299-316.

[Baron-Cohen 08] BARON-COHEN S., 2008. Autism andAsperger syndrome. Oxford University Press, USA.

[Tanaka 83] TANAKA Y., & WAKIMOTO K., 1983.
Methods of multivariate statistical analysis. Gendai
Sugoku, Tokyo.

[Bernard-Optiz 01] BERNARD-OPITZ V., SRIRAM N.,& NAKHODA-SAPUAN S., 2001. Enhancing social
problem solving in children with autism and normalchildren through computer-assisted instruction. Journal of Autism and Developmental Disorders 31: 377384.

[Tanaka 12] TANAKA H., SAKTI S., NEUBIG G., TODA
T., & NAKAMURA S., 2012. Non-verbal cognitive
skills and autistic conditions: An analysis and training
tool, In Proc IEEE CogInfoCom.

[Bolte 02] BLTE S., FEINEIS-MATTHEWS S., LEBER
S., DIERKS T., HUBL D., & POUSTKA F., 2002.
The development and evaluation of a computer-based
program to test and to teach the recognition of facial
aﬀect. International Journal of Circumpolar Health 61:[Wing 96] WING L., 1996. Autistic spectrum disorders.
Bmj 312: 327.
[Wakabayashi 06] WAKABAYASHI A., BARON-COHEN
S., WHEELWRIGHT S., & TOJO Y., 2006. The
Autism-Spectrum Quotient (AQ) in Japan: a crosscultural comparison. Journal of Autism and Developmental Disorders 36: 263-270.

[Goleman 07] GOLEMAN D. 2007. Social intelligence. Arrow Books.

4