The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

4J1-OS-23-4

Computer-Based Training による非言語コミュニケーションスキルの改善に関する検討
Improvement of Non-verbal Communication Skills by Computer-based Training
田中 宏季

Sakriani Sakti

Graham Neubig

戸田 智基

中村 哲

Hiroki Tanaka

Sakriani Sakti

Graham Neubig

Tomoki Toda

Satoshi Nakamura

奈良先端科学技術大学院大学

情報科学研究科

Graduate School of Information Science, Nara Institute of Science and Technology

Non-verbal behaviors incorporating visual, speech, and contextual information are important to make sense of andnavigate the social world. We record utterances using the visual, speech, and context modalities according to a factor
analysis of the autism spectrum quotient. We further propose an iPad application NOCOA+ that uses utterancesin these modalities to enhance human communication and socialization in real world. Two experiments wereconducted with a total of seventeen Japanese adults. Experiment 1 conﬁrmed that a that a signiﬁcant relationshipexists between scores of communication and socialization and non-verbal communication skills. Experiment 2
showed the eﬃcacy of systematic computer-based training.

1.

はじめに

2.1

社会性，コミュニケーションスキルは我々の生活に欠かすことのできない重要な要素である．様々な理由によりこれらの能力に困難のある人が増えてきており，これにより就職活動や対人関係において問題が生じるという報告がある [Goleman 07]．
さらにこの極端な例を自閉症スペクトラム障害 (ASD) と言える [Baron-Cohen 08, Wing 96]．ASD とは，先天的な脳機能の障害であり，ASD 患者は 3 つ組と呼ばれる社会性の特異性，コミュニケーションの障害，想像力の障害を有している[Kanner 43]．
ASD の心理学的な主題は共感であり，社交的な世界を理解するためには必要不可欠なものである．共感に関しては，感情など非言語情報読み取り実験が知られている [Golan 06]．先行研究で，感情などの非言語情報読み取りの困難は，視覚と聴覚の両方で確認されている [Golan 08]．
著者らは，これまで社会性・コミュニケーションに困難のある人が感情読み取りのみならず，幅広く非言語コミュニケーショ
ンスキルを学習するためのコミュニケーション支援アプリケーションとして NOCOA を開発した [Tanaka 12]．NOCOA では音声情報しか考慮していなかったことから，本研究では動画情報まで含めた、より実環境に近いコミュニケーション支援ア
プリケーション NOCOA+を提案する．本稿では，NOCOA+の開発に向けた動画の収録と非言語情報のアノテーションについて述べる．最後に，NOCOA+の実験的評価を行い，非言語コミュニケーションスキルと自閉症スペクトラム指数 (AutismSpectrum Quotient: AQ) [Baron-Cohen 01] のサブエリアとの関係を確認し，非言語情報におけるコンピュータ・ベース・トレーニングの有効性についても確認した．

2.

コミュニケーションと社会性の評価

非言語情報とは様々な要因を含んでいる（例：感情，状況，年齢など）．我々が [Tanaka 12] で行った研究は，AQ により測られるコミュニケーションスキルに寄与する非言語情報を決定することであった．このため，心理テストにおいてスコアに寄与する因子を解明するために用いられる因子分析を使用した．我々は，21 名の日本人学生が英語版 AQ の内，そのサブエリア∗1 である社会性とコミュニケーションに関しての質問（全 20 質問）に回答した結果を因子分析した．因子分析では，主成分分析とプロマックス法により因子数を 5 と定めた．5 因子を代表する呼び名を以下にまとめた．

1. 第 1 因子：意図や興味
2. 第 2 因子：礼儀正しさ
3. 第 3 因子：社交的な場や状況
4. 第 4 因子：雑談や気持ち
5. 第 5 因子：その他
以上より，本研究で使用する非言語情報として，第 1 因子の「意図や興味」，第 2 因子の「礼儀正しさ」をそれぞれ決定した．これらの非言語情報の内，先行研究より，「意図や興味」
として，1: 「冷笑，無関心」，2: 「社交」，3: 「友好，興味」，の 3 カテゴリを，「礼儀正しさ」として，1: 「友達に話す」，2:「目上の人に話す」，の 2 カテゴリを定義した [Tanaka 12]．

2.2

構成

NOCOA にはテストモードとトレーニングモードが 存在しており，音声情報より，それぞれ非言語コミュニケーションスキルの理解度を測り，学習をするためのモードである．なお，テストモードには以下の 3 種類の汎化レベルを用意している．

NOCOA

本節では、これまでに開発された NOCOA の枠組みについて述べる．

• 汎化レベル 1 (Closed-Short): トレーニングモードで取り扱った音声発話をテストモードでも使用．顔画像においてはトレーニングモードとテストモードで異なるものを使用．

連絡先: 田中 宏季，奈良先端科学技術大学院大学 情報科学研究科，生駒市高山町 8916-5，hiroki-tan@is.naist.jp∗1 AQ の下位尺度である，社会性，コミュニケーション，注意の切り替え，細部への注意，想像力，の各 10 個の質問群．

1

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013
• 汎化レベル 2 (Open-Short): 音声発話，顔画像がトレ ー
ニングモードに含まれていないものを使用．発話内容はトレーニングモードに使用したものと同様．とは，ルールによって制御される，インプット，様々な操作，それによる異なるアウトプットを伴うものを示している．我々
はトレーニングモードを拡張し，２つのシステマティックなトレーニング手法を用意した．それぞれ，「たくさん聞いてみる」と「ポイントを見る」である．前者はユーザーが統計ベースで学習できる方法であり，後者はルールによる学習モジュールである．ユーザーはトレーニングメニューから好みの手法を選ぶことができる．

• 汎化レベル 3 (Open-Long): 音声発話，顔画像，発話内
容がトレーニングモードに含まれておらず，コンテキストを考慮した発話長の長い発話を使用．

3.

動画データ

4.2

3.1

• Closed: トレーニングモードで取り扱った発話をテストモードでも使用．

動画の収録

前節で定めた非言語情報のカテゴリが表出され易く，なおかつ実環境に近い収録を実現することをデータ収集の目的とした．自閉症の重症度が意図表出に影響を及ぼすと考え，AQスコアが ASD の閾値である 32 以下の 4 名の日本人大学院生（平均年齢 23.7 歳，全員男性）を収録した．意図や興味が表出し易いように，スポーツ欄と社会欄の新聞記事を予めそれぞれ読み，その内容について 10 分間ずつ話す設定とした．また
礼儀正しさが表出し易いように，特に仲の良い友人と，先生の立場に当たる人物とそれぞれ 1 対 1 で会話を行う設定とした．収録機器には，ビデオカメラ（SONY HDR-CX560）を用いて，被験者の胸部より上を正面から撮影し，ピンマイク(Olympus ME52W) を襟に装着して被験者のみの音声を録音した．収録されたデータは，Windows ムービーメーカーを使用して動画と音声の同期をとり，さらに Snack Tcl/Tk∗2 により音声のパワー値に条件を設定し，発話区間の自動検出を行った．検出された発話区間からそれぞれ，音声のみ，動画のみ，音声＋動画を自動的に切り出した．またコンテキスト情報を含んだ発話（5 秒前と 10 秒前）も同時に切り出した．

3.2• Open: トレーニングモードで取り扱っていない発話をテストモードで使用．
前節でのアノテーションの妥当性を検証するために，アノテーター 3 名による NOCOA+を用いたテストモードのスコア検証を行った．これはアノテーター 3 名が音声+動画に加え，音声のみ，動画のみ，言語情報（第一著者が原稿を作成した上，平坦なピッチで感情なしの読み上げ）のみの 4 モダリティに対し，汎化レベル 1 の問題を 10 問解答したスコアの平均をとることにより検証した．結果を図 1 に示しており，ここでテストモードは 100 点が最高であり，スコアが高いほど非言語コミュニケーションスキルの理解度があることを表している．
これより動画＋音声では，95%以上正解しているに対し，音声のみ，動画のみ，言語情報のみでは，それぞれ正解率が減少していることが確認できる．特に動画のみと言語情報のみでは音声＋動画と比較して有意な差をもってスコアの減少が見られる．動画のみでは「礼儀正しさ」のカテゴリに誤りが多く見られ，言語情報のみでは「意図や興味」のカテゴリを全て社交的とする傾向が見られた．以上より，今後は最もアノテーション結果が反映される音声＋動画をテストモードのスコアとして採用する．またアノテーター以外の健常者 10 名がテストモードを使用し，汎化レベル 1 での間違いの多い問題と，間違いの少ない問題から難易度の設定を行い，easy-normal-hard の3 種類の難易度を設定した．各難易度での正解率は以下となった，easy: 81-100%，normal: 51-80%，hard: 0-50%．難易度
毎に発話が分類され，今後テストモードの結果数が増える際，難易度毎の発話も正解率に基づき定期的に更新される．以下の実験では，easy と normal のみ使用される．

発話の分類

前小節で切り出したデータ約 1200 発話の音声＋動画にアノテーター 3 名によるラベリング作業を実施した．アノテーター
3 名の AQ スコアは 16 以下であり，またそのサブエリアである社交性とコミュニケーションスコアの和（最高 20 点）は 3
名それぞれ {1, 1, 1} であることから，社会性とコミュニケーションに対して高いスキルを持つと見なすことができる．アノテーション結果として，3 名全員が全てのカテゴリで一致した発話として 109 発話が残り，今後これを正解として使用する．

4.

テストモードテストモードの問題はランダムで 10 問出題され，ユーザーの非言語コミュニケーションスキルを測定するために使用される．テストモードには以下の 2 種類の汎化のレベルが存在する．

前節で述べたように，実環境では視覚と聴覚の両方が重要であるにも関わらず、NOCOA では音声情報のみ使用している．NOCOA+では音声情報のみならず動画情報も使用する．
本節では，動画データの収集とアノテーションの過程について述べる．

NOCOA+の設計

iPad アプリケーション NOCOA+は実環境での社会性・コミュニケーション支援を目指して開発された．NOCOA と同様に，NOCOA+にはトレーニングモードとテストモードが存在する．本節では NOCOA から NOCOA+への中心となる変更点について述べる．

5.

実験 1: 非言語コミュニケーションスキルの測定

5.1

実験方法

トレーニングモードはユーザーの社会性・コミュニケーションスキルを高めるために設計された．先行研究では自閉症の極端男性脳説（自閉症者がよりシステマティックなものを好む傾向）が提唱されている [Baron-Cohen 03]．ここでのシステム

実験 1 の目的は，健常者における AQ スコアと NOCOA+を用いた非言語コミュニケーションスキルの関係性を明らかにすることにある．実験では 11 名の日本人大学院生（平均年齢:23.3，男性 10 名と女性 1 名）が，外部刺激の少ない指定した部屋に 1 人ずつ入り，実験の説明を受けた．次に NOCOA+テ
ストモードの汎化レベル 1 に属する難易度 easy と normal をそれぞれ 1 回ずつ実施し，スコアの平均を求めた．最後に AQの日本語版 [Wakabayashi 06]∗3 を測定し，AQ のサブエリア∗2 http://www.speech.kth.se/snack/∗3 http://www.autism-communication.com/%7Ehirokitan/AQsub.html

4.1

トレーニングモード

2

60

510
20

1580
70

Test mode score90

Social and Communication Skills

0100

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013Verbal

VisualAudio

Audiovisual

70

Modality

7580859095100

Test mode score

図 1: アノテーターにおける各モダリティによるスコア変動．
標準誤差をエラーバーで示している．

図 2: 社会性・コミュニケーションスコアの和とテストモード
スコアとの関係．

である社会性とコミュニケーションスコアの和を算出した．

グループでのスコア改善は 7.66 であり，トレーニングなしグループでは-2.33 であった．オープンデータのスコア改善（トレーニング前の closed data とトレーニング後の open data のスコア）は，トレーニンググループでは 9.66 であり，トレーニングなしグループでは-1.33 であった．両方の実験においてt 検定により両グループの有意差を確認した (p 値 < 0.1)．
難易度 normal（図 3 の右側）に関して，トレーニンググルー
プでのスコア改善は 12.00 であり，トレーニングなしグループでは-3.00 であった．t 検定により両者の有意差を確認した（p 値 < 0.1）．オープンデータのスコア改善はトレーニンググループでは 7.33 であり，トレーニングなしグループでは 5.66であった．t 検定による両者の有意差は確認できなかった（p値 > 0.1）．
実験結果として，難易度 easy に関しては 20 分間のトレーニングにより，closed と open の両方でのスコア改善を確認している．これにより音声と動画でのシステマティクトレーニングの有効性を示している．しかし，難易度 normal では，トレーニングに含まれていない問題の困難を示している．これに関しては，自閉症者が学んだスキルを汎化させることに困難があると報告されていることから [Bolte 02, Shilver 01, Bernard-Optiz 01]，個人の自閉傾向についても考慮する必要がある．

5.2

実験結果

図 2 は社会性・コミュニケーションスコアの和と NOCOA+のテストモードスコアとの関係性を示している．テストモードは 100 点が最高であり，スコアが高いほど非言語コミュニケーションの理解能力があることを表している．また社会性とコミュニケーションスコアはそれぞれ 10 点が最高で，スコアが高いほど自閉傾向が高いことを表している．これより健常者の間でも非言語コミュニケーションスキルが広く分布していることが確認できる．両者間でのピアソンの r 値は 0.85 (p<.01)となり，有意に相関があることがわかる．この結果を先行研究[Tanaka 12]（ピアソンの r 値 0.71）と比較した際，相関の改善が確認される．

6.

実験 2: コンピュータ・ベース・トレーニ
ングの有効性6.1

実験方法

実験 2 の目的は，健常者におけるトレーニングモードの有効性について調査することにある．オープンデータにおけるスコアの維持についても調査した．実験では 6 名の日本人大学院生（平均年齢: 23.5，男性 5 名と女性 1 名）が，指定した部屋に 1 人ずつ入り，実験の説明を受けた．次にテストモー
ドの closed data の問題を実施した．その後，ランダムで選ばれた 3 名のグループがトレーニングモードを 20 分間使用し，残りの 3 名のグループは同様の 20 分間を待機した．トレーニングを行ったグループは，初めにルールベースのトレーニングを，その後統計ベースのトレーニングを行うよう指示を受けた．3 人中 2 人が 20 分間で全てのトレーニングを完了させることができた．20 分後，両グループはテストモードの closed
data と open data の問題をそれぞれ回答した．トレーニング
グループと待機グループの 20 分前後におけるスコア改善差は，スチューデントの t 検定により検証した．

6.2

7.

まとめ

先行研究では，社会性・コミュニケーションの困難は，視覚と聴覚の両方で見られることが確認されている．我々は NOCOA の枠組みを音声だけでなく，動画にも拡張した．本稿では，NOCOA+を用いた非言語コミュニケーションスキルと AQサブエリアの関係を確認し，非言語コミュニケーションスキルトレーニングの有効性も確認した．
今後取り組むべき課題としては，問題の間違いの傾向と自閉傾向の関係など，個人による違いである．また自閉症者の感情認
識トレーニングに関して長期的な療育が必要であり [Golan 06]，今後の実験では，自閉症者での長期的なフォローアップを含めたデザインを考える．

実験結果図 3 は 20 分前と 20 分後のテストモードのスコア改善を示している．難易度 easy（図 3 の左側）に関して，トレーニング

3After 20min

80

90

100
Before 20min70

Test Mode Score (Normal)

90
80
70

Training GroupNon−Training Group60

Training GroupNon−Training Group

60

Test Mode Score (Easy)100

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

Open

Before 20min

After 20minOpen

図 3: 左図は難易度 easy を表しており，右図は難易度 normal を表している．20 分前と後の closed data，20 分後の open data のスコアをプロットしている．

参考文献

version]: Complex emotion and mental state recognition in children with and without autism spectrumconditions. Journal of Autism and Developmental Disorders 38: 1534-1541.

[Baron-Cohen 03] BARON-COHEN S., RICHLER J., BISARYA D., GURUNATHAN N., WHEELWRIGHT S.,
BARON-COHEN S., RICHLER J., BISARYA D., GURUNATHAN N. & WHEELWRIGHT S. 2003. The
systemizing quotient: an investigation of adults withAsperger syndrome or high―functioning autism, andnormal sex diﬀerences. Philosophical Transactions ofthe Royal Society of London. Series B: Biological Sciences 358: 361-374.

[Golan 06] GOLAN O., & BARON-COHEN S., 2006. Systemizing empathy: Teaching adults with Asperger syndrome or high-functioning autism to recognize complex
emotions using interactive multimedia. Develop. Psychopatholgy.
[Kanner 43] KANNER L., 1943. Autistic disturbances ofaﬀective contact. Nervous Child 2: 217-250.

[Baron-Cohen 01] BARON-COHEN S., WHEELWRIGHTS., SKINNER R., MARTIN J., & CLUBLEY E., 2001.
The Autism-Spectrum Quotient (AQ): evidence from
Asperger syndrome/high-functioning autism, malesand females, scientists and mathematicians. Journalof Autism and Developmental Disorders 31: 5-17.

[Shilver 01] SILVER M., & OAKES P., 2001. Evaluationof a new computer intervention to teach people withautism or Asperger syndrome to recognize and predict
emotions in others. Autism 5: 299-316.

[Baron-Cohen 08] BARON-COHEN S., 2008. Autism andAsperger syndrome. Oxford University Press, USA.

[Tanaka 83] TANAKA Y., & WAKIMOTO K., 1983.
Methods of multivariate statistical analysis. Gendai
Sugoku, Tokyo.

[Bernard-Optiz 01] BERNARD-OPITZ V., SRIRAM N.,& NAKHODA-SAPUAN S., 2001. Enhancing social
problem solving in children with autism and normalchildren through computer-assisted instruction. Journal of Autism and Developmental Disorders 31: 377384.

[Tanaka 12] TANAKA H., SAKTI S., NEUBIG G., TODA
T., & NAKAMURA S., 2012. Non-verbal cognitive
skills and autistic conditions: An analysis and training
tool, In Proc IEEE CogInfoCom.
[Wing 96] WING L., 1996. Autistic spectrum disorders.
Bmj 312: 327.

[Bolte 02] BLTE S., FEINEIS-MATTHEWS S., LEBER
S., DIERKS T., HUBL D., & POUSTKA F., 2002.
The development and evaluation of a computer-based
program to test and to teach the recognition of facial
aﬀect. International Journal of Circumpolar Health 61:[Wakabayashi 06] WAKABAYASHI A., BARON-COHEN
S., WHEELWRIGHT S., & TOJO Y., 2006. TheAutism-Spectrum Quotient (AQ) in Japan: a crosscultural comparison. Journal of Autism and Developmental Disorders 36: 263-270.

[Goleman 07] GOLEMAN D. 2007. Social intelligence. Arrow Books.
[Golan 08] GOLAN O., BARON-COHEN S., & GOLAN
Y., 2008. The Reading the Mind in Films task [child4