1-2-12

スペシャル・セッション〔音声、言語などの障害とその支援〕

物語発話からの自閉症スペクトラム障害児と定型発達児の語彙と韻律の特性分析∗☆ 田中 宏季，サクリアニ サクティ，グラム ニュービッグ，戸田 智基，中村 哲（奈良先端大）1はじめに体験の発話を題材に，ASD と TD の語彙と韻律につ自閉症スペクトラム障害 (ASD) とは先天的な脳機能の発達障害であり，1946 年にレオカナーにより初めて報告された [1]．アメリカ精神医学会の定める ASDの特性として，1) 定性的な社会性の障害とコミュニケーションの障害，2) こだわりと想像力の障害，の2 つをあげており，3 歳から診断が可能であると言われている [2]．特に 1) 社会性とコミュニケーションの障害に関しては、ASD の中心となる特性であると言われている．社会性とコミュニケーションの障害の度合いを定量的に測定する事により，ASD の特性の理解，スクリーニングへの応用，また治療法・教育法のいて特性分析を行う．

データ説明2

本研究では子どもと保護者の間のインタラクションデータを使用する．データは，粘土を使用した自由なごっこ遊び，ゲーム（ジェンガ），物語発話，自然対話の 4 つのセッションで区切られており，それぞれ10 分の計 40 分である．インタラクション中は，ピンマイクとビデオカメラにより，子どもと母親の音声と動画をそれぞれ記録している．本研究では，パイロット実験として ASD 児 4 名（男児：３名，女児：１名）方向性策定が可能になると考えられる [3]．と TD 児 2 名（男児：１名，女児：１名）の物語発

ASD と定型発達 (TD) 者の違いを明らかにする研究は数多く行われており，社会性とコミュニケーショカットオフ値以上である．被験者の情報を Table 1 にンにおいては，ジェスチャーに関するもの [4]，アイコンタクトや笑顔の頻度に関するもの [5]，韻律に関するもの [6]，声質に関するもの [7]，予期せぬ語彙に関するもの [8] などがあげられる．この中でも本研究では，韻律と語彙に関して ASD の特異性について明らかにすることを目的とする．

話のデータを使用する．知能指数 (IQ) は全員 70 の示す．物語発話は，「これまで印象に残っている体験」
について，子どもが，母親がそれぞれ 5 分主導で話し，聞き手がそれに対して質問するという内容となっている．5 分時間が経過すると，データ収録者によりターン交代の合図がなされ，主導者と聞き手の役割が交代する．

ASD の韻律に関しては，レオカナーも報告している通り，モノトニック（単調）な，あるいはロボットの様な韻律になるという表現がこれまで使用されている [1, 9]．また語彙に関しては，Linguistic Inquiry

and Word Count (LIWC) [10] を使用し，ASD と TDの成人におけるブログを解析した結果として，ASD

Table 1

被験者の情報Subject

S1

S2

S3

S4

S5S6Age101010131012Outcome

ASD

ASD

ASD

ASD

TD

TD

者では TD 者と比較して社交的な語彙を使用する頻度に個人差が多い事が報告されている [11]．しかしながら，これらの情報について包括的に分析し，スクリーニングへの応用に向けたシステム開発についてはこれまで言及されていない．個人の性格を表す内向性・外交性という尺度において，LIWC と韻律をまとめて特性分析と自動識別を行った報告 [12] があることから，本研究ではその枠組みを ASD と TD との特性分析に応用する．
本研究では小児の 9 歳から 13 歳までを対象として行う．使用するデータに関しては，小児において物語発話（ナラティブ）を使用する有効性が報告されていその内，子どもが主導者，母親が聞き手である 5 分間分のデータを使用した．子どもと母親の発話は USC

Rachel Corpus [14] の定義に従い，書き起こしがなされた．ここでは，1 秒以上発話間のポーズがあった際に 1 発話として区切る．5 分間における子どもの発話数は，S1 から S6 までそれぞれ，30，56，32，57，59，

57 である．ASD のグループ内では個人差が見られるが，ASD と TD において有意差は存在しない．ASDと TD での発話を 116 ずつグループ内でランダムに抽出し使用した．

る [13]．本研究では小児における自らの印象に残った∗

Using Linguistic and Prosodic Cues for Understanding Nature of Autism Spectrum Disorders and Typical
Development in Narrative. by Hiroki Tanaka, Sakriani Sakti, Graham Neubig, Tomoki Toda, SatoshiNakamura

日本音響学会講演論文集- 1487 -2014年3月

特徴量抽出3

特性分析

4

本研究は先行研究 [12] に基づき発話毎に言語特徴正規化後の特徴量に関して，t 検定，主成分分析，量と音声特徴量をそれぞれ抽出した．抽出した特徴

因子分析，決定木による特性分析を行った結果を報告

量は Table 2 にまとめている．さらに LIWC の辞書する．統計処理には R4 を使用した．

情報に加えて，1 発話中の笑いの頻度を新たな特徴量

Table 3 は，各特徴量において t 検定による有意な差が見られた平均値の大きいグループを表している．
これより，ASD は TD と比較して，6 文字以上の単として加えている．

Table 2語（6 let.），同意語（assent: 「うん」等），フィラー

語彙および韻律特徴量の情報

カテゴリ

説明

一般記述

1 発話中の単語数 (WPS)
6 文字以上の単語，笑いの頻度

文構造

代名詞，接続詞，否定（filler: 「ええ」等）の使用が有意な差をもって多い事がわかる．さらに TD は ASD と比較して，社交語（social: 「友だち」等），感情語（aﬀect: 「楽しかった」等），認知語（cognitive: 「わかった」等）の使数量詞，数値の割合
心理プロセス語

社交語，感情語，認知語，知覚プロセス

個人的関心

仕事，達成，レジャー，家庭について述べる割合

パラ言語情報同意，言いよどみ，フィラーの割合

基本周波数

標準偏差，変動係数

パワー

標準偏差，変動係数

発話速度

発話時間当たりの単語数

生理プロセス，関係について述べる割合

用が有意な差をもって多い，加えて f0 に関しての標準偏差が大きいことも確認できる．その他の特徴量に関しては，p 値 0.01 以下での有意差は確認されなかった．
次に分散が大きく全体に寄与する特徴量を調査するため，主成分分析と因子分析を行った，主成分分析の結果として，第一主成分と第二主成分のバイプロッ
トを Fig. 1 に示している．第二主成分までの全体へ3.1の寄与率は 18%となっている．これより特に f0 に関

言語特徴量

語彙を抽象化してカテゴリ化するためのツールである LIWC [10] を使用して言語特徴量を抽出した．日本語 LIWC は現在のところ開発されていない為，次のような手順で書き起こし文と LIWC の対応をとった．発話に対して MeCab1 による形態素解析を行った
後，形態素毎で日本語 Wordnet2 を用いて検索をかけ英語に対応付けし，その結果に対して LIWC 辞書との対応をとった．また LIWC において英語のみ表れる情報および，サブカテゴリの情報においては特徴量として使用していない．

3.2

音声特徴量

標準偏差 (fsd, psd) と変動係数 (fcov, pcov) の 2 つの尺度を抽出した．単語数を発話時間で割った，発話速度 (SR) も同様に抽出した．基本周波数とパワーの抽出に関しては，Snack Sound Toolkit を使用した．
3

射影正規化

ここで，特徴量を値レンジ [0, 1] に正規化を行った．

0 は 1 話者中の最小値であり，1 は最大値である．i を発話とし，j を特徴量とした際，正規化前の値 vij は，ij
jpij = max
により正規化される．
j −minj

1 https://code.google.com/p/mecab/

しても第二主成分で大きな値となっている．主成分
分析の軸を回転させた結果を得るため因子分析を行った．回転にはバリマックス法を使用した．因子分析の結果でも（Fig. 2 参照），基本周波数とパワーが大きな値となったが，その他の言語特徴量（WPS，同意語など）も大きな値を示している事が確認できる．ここで，値の近い基本周波数の fsd と fcov および，パワーの psd と pcov の相関係数を調べると、それぞれ量に関しては，次節の識別において標準偏差に関すどの統計量は抽出せず，基本周波数とパワーにおけるv −minをもっていることが確認できる．さらにフィラーに関80% (p < 0.01) 以上の相関があった．これらの特徴

音声特徴量に関しては，個人差が表出される平均な3.3してのものと，パワーに関しての成分で大きな分散るもののみを使用した．
また決定木で IF-THEN ルールによる ASD と TDを分類するための重要な特徴量についても分析を行った．Fig. 3 に葉数を 10 とした際の結果を示す．これ
より全体としては韻律特徴量が多数をしめているが，語彙に関しては WPS がより分類に重要な特徴量だと確認できる．

ASD と TD の自動識別

5

ここで，ASD のスクリーニングに向けた自動識別に取り組む．前節での両グループの特性分析により，特徴量について次のセットを用意した: 1) 言語特徴量のみ，2) 音声特徴量のみ，3) 全ての特徴量，4) t 検定，

2 http://www.omomimi.com/wnjpn/
3 http://www.speech.kth.se/snack/日本音響学会講演論文集

4 http://www.r-project.org- 1488 -2014年3月

Table 3

それぞれの特徴量で有意差をもって大きい平均値のグループを表している．(*: p < 0.01，**: p < 0.005)
WPS-

6 let.
ASD*

laughter-adverb-pronoun-conjunctions-

negations-quantifiers-

numbers-social
TD**

aﬀect
TD*

cognitiveTD**

perceptual-

biological-

relativity-

work-

achievement-

leisure-home

assentnonfluentfillers

fsd

fcov

psdpcov

speech rate-

ASD**-ASD*

TD**

TD*---

主成分分析，因子分析，決定木で有意差あるいは重要な特徴量として表れた特徴量 (Feature selection)，5)
−1.0

−0.5

0.00.5aaa−4−200.0

した．Naive Bayes (NB) と線形カーネルの SVM を−0.5

Leave-one-speaker-out 交差検定も行い，正解率を算出した．
結果として，Feature selection (t-test + cor.) と2Comp.1

Fig. 1

6 let.，social，aﬀect，cognitive，fillers，assent，fsdである．ベースライン (BASE) をチャンスレートと使用した交差検定 (cross=10) で識別を行い，さらに−1.00−4−2Comp.22

ataWPSa asix.let
aa t taaffecttt aleisureaatat arelativity
t aa tconjunctionsatanonfluent
t ta tatat
ta
t ta
aa
cognitiveaasocialttat a aatatachivement
ata
ta
fcov
ttapronoun
tat taata
atperceptual
attahotmeatt
aaaat
a at a negationst atttttttt att
laughternumbersawork
tta
aaata t aaaa a atttt
fsdttaattatttttat t
ttbiologicaltt atttta
a a aadverbaaa aaaat aat ttttttt ttttt t t
a aat aaquantifiertataaassenttataa
SR a a tt
aa ta a atattaaaa tafillera
psdpcov
aaa0.5tt 検定で有意差が出たもののうち，互いに相関関係が見られない特徴量 (Feature selection (t-test + cor.))．
Feature selection (t-test + cor.) の特徴量セットは，主成分分析の結果．第一と第二主成分を表示．

(a: ASD，t: TD)

SVM による分類が Leave-one-speaker-out において66.7%で最も良い正解率を得た．しかしながら，話者毎の正解率においては，S1 から S6 でそれぞれ，78%，60%，53%，51%，82%，78%となり，個人差があることも確認された．
Table 4 Naive Bayes と SVM による ASD と TD の識別正解率．ベースラインと比較した際の有意差を表示している．(†: p < 0.1，*: p < 0.01)
Feature set

1.0
0.8

fcov

0.6

fsd

NB

SVM

LIWC

62.2 †

70.3*

ProsodyAll

57.6
65.0 †

67.6*
68.8*

67.4*
67.8 †

71.9*
68.1 †

65.5 †

66.7 †

50.0

Feature selection
Feature selection (t-test + cor.)

0.4

Factor2

0.2
0.0
−0.2
−0.4

Unweighted Accuracy [%]BASE

Leave-one-sepeaker-out

50.0

WPS
psdpcov

pronounrelativity
six.letconjunctions
cognitive
biologicalquantifier
affectnumbers
laughterhotme
negations
nonfluentachivementsocialperceptual
adverbwork
leisure

本研究は，物語発話による ASD と TD の特性の違

filler

SRいに関して分析を行った．言語情報および韻律情報

assent
0.0

おわりに

60.2

0.4

0.6

0.8

1.0

Factor1

Fig. 2 バリマックス法を使用した因子分析の結果．
第一と第二因子を表示．

に関する特徴量を抽出し，その両方において ASD とTD での有意差が確認された．ASD では，6 文字以上の難解な語彙を使用する傾向，同意語やフィラーなどの使用の頻度が多くなる，またモノトニックなイントネーションになるという傾向が表れた．さらに社
交語，感情語，認知語が比較的少ないことも明らか

日本音響学会講演論文集- 1489 -2014年3月

fsd < 0.366375|

psd < 0.306304

fcov < 0.308899

pcov < 0.46429

WPS < 0.0543478
aafcov < 0.204553

fsd < 0.513756
atperceptual < 0.07att
pcov < 0.230634
aaFig. 3

葉数が 10 の決定木による重要な特徴量の選定．(a: ASD，t: TD)となった．これらの特徴により，ASD の社会性とコミュニケーションにおける特異性が表出されているのだと予想することができる．これらの特徴を用いた

ASD と TD の識別では，6 割以上の正解率を得る事ができた．しかしながら，大きく個人差が確認され，識別の確信度あるいは定量的な数値との関連を検討する必要がある．今後は，本パイロット実験を被験者を増やし発展させることに加え，母親の質問に対する応答や，予期しない単語の使用に関しても特性を分析し，ASD のスクリーニングおよび治療の方向性策定に応用していく．
謝辞t

本研究に参加してくれた子どもと保護者に感謝を申し上げる．奈良教育大学の岩坂英巳先生には貴重なご意見とご協力をいただき，ここに感謝を申し上げる．本研究は Signal Analysis and Interpretation

Laboratory (SAIL), USC のインターンシップで行われた結果をまとめたものである．本研究の一部は JSPS
科研費 24240032 の助成を受け実施したものである．

参考文献[5] Dawson, G., Hill, D., Spencer, A., Galpert, L. & Watson,
L. Aﬀective exchanges between young autistic children
and their mothers. Journal of Abnormal Child Psychology 18, 335-345 (1990).
[6] McCann, J. & Peppe, S. Prosody in autism spectrumdisorders: a critical review. International Journal of Language & Communication Disorders (2003).
[7] Asgari, M., Bayestehtashk, A. & Shafran, I. Robust andAccurate Featuers for Detecting and Diagnosing Autism
Spectrum Disorders. (2013).
[8] Rouhizadeh, M., Prud hommeaux, E., Roark, B. & vanSanten, J. Distributional semantic models for the evaluation of disordered language. Proceedings of NAACLHLT, 709-714 (2013).
[9] Paul, R., Augustyn, A., Klin, A. & Volkmar, F. R.
Perception and production of prosody by speakers withautism spectrum disorders. Journal of Autism and Developmental Disorders 35, 205-220 (2005).
[10] Pennebaker, J. W., Francis, M. E. & Booth, R. J. Linguistic inquiry and word count: LIWC [Computer software]. Austin, TX: liwc. net (2007).
[11] Newton, A. T., Kramer, A. D. I. & McIntosh, D. N.
Autism online: a comparison of word usage in bloggers
with and without autism spectrum disorders. Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems, 463-466 (2009).
[12] Mairesse, F., Walker, M. A., Mehl, M. R. & Moore, R.
K. Using Linguistic Cues for the Automatic Recognitionof Personality in Conversation and Text. J. Artif. Intell.
Res.(JAIR) 30, 457-500 (2007).

[1] Kanner L. Autistic disturbances of aﬀective contact.
Nervous Child 2, 217-250 (1946).

[13] Davis, M., Dautenhahn, K., Nehaniv, C. L. & Powell,
S. D. Towards an Interactive System Facilitating Therapeutic Narrative Elicitation in Autism. (2004).

[2] American Psychiatric Association. The diagnostic andstatistical manual of mental disorders, 5. Washington,D.C. (2013).

[14] Mower, E., Black, M. P., Flores, E., Williams, M. &Narayanan, S. Rachel: Design of an emotionally targetedinteractive agent for children with autism. Multimediaand Expo (ICME), 2011 IEEE International Conference
on, 1-6 (2011).

[3] Heeman, P. A., Lunsford, R., Selfridge, E., Black, L.
& Van Santen, J. Autism and interactional aspects ofdialogue. Proceedings of the 11th Annual Meeting of theSpecial Interest Group on Discourse and Dialogue, 249252 (2010).
[4] de Marchena, A. & Eigsti, I. Conversational gesturesin autism spectrum disorders: asynchrony but not decreased frequency. Autism Research 3, 311-322 (2010).

日本音響学会講演論文集- 1490 -2014年3月