社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

表情認知課題と視点取り課題を用いた自閉傾向の予測
岩内厚大†

田中 宏季†

中村哲†† 奈良先端科学技術大学院大学 情報科学領域
E-mail: †{iwauchi.kota.ig9,hiroki-tan}@is.naist.jp
あらまし

自閉スペクトラム症は，精神科医が診断基準に基づき，診断を行なっている．臨床診断の精度を向上させるために，自閉特有の行動指標は必要とされている．我々はこれまで，表情認知時の眼球運動を用いて自閉スペクトラム症の鑑別を試みる研究を行ってきた．自閉傾向の高い方は心の理論の程度が低いことが知られており，またこれによって社会的視点取得を苦手としている．本研究では，そこに焦点を当てた課題として，空間的視点取得
課題の眼球運動を用い，表情認知時の眼球運動と合わせることで，さらに高精度で自閉傾向を予測できることを提案する．22-35 歳の 27 名のデータを収集し，自閉傾向の指標である対人応答性尺度 (SRS-2) を予測した．結果として，二つの課題から得た眼球運動を用いることで RMSE が 24.40 で予測を行うことができ，表情認知時のみの眼球運動を用いるときに比べ，RMSE で 0.92 上回る性能で予測可能であることを確認し，予測値と真値との無相間検定において p<0.05 で有意であることを確認した．
キーワード

自閉スペクトラム，眼球運動，機械学習

Predicting Autism Using Facial Emotion Identiﬁcation Test and Visual
Perspective Taking
Kota IWAUCHI† , Hiroki TANAKA† , and Satoshi NAKAMURA†† Division of Information Science, Nara Institute of Science and Technology
E-mail: †{iwauchi.kota.ig9,hiroki-tan}@is.naist.jpKey words

1.

Autism, Eye-movements, Machine Learning

まえがき

認識と空間的な視点認識の関連も知られている [5]．
以上の点を考慮し，我々は表情認知課題時の眼球運動と視自閉スペクトラム症は，精神科医が診断基準に基づき，診断点取り課題時の眼球運動を用いて，複合的に認知活動を測定を行なっている [1]．臨床診断の精度を向上させるために，自することにより，より高精度に自閉傾向を予測できる手法を閉特有の行動指標は必要とされている．自閉群は表情認知の提案する．具体的には自閉傾向の簡易指標である対人性応答際に，健常群と違う視線走査を行うことが知られており，我々尺度 (SRS-2) を予測対象とし，表情認知課題時の眼球運動にはこれまで，表情認知時の眼球運動を用いて自閉スペクトラムよる予測，視点取り課題時の眼球運動による予測，表情認知症の評価を試みる研究を行ってきた [2]．我々はこれまでそこ課題，視点取り課題時の眼球運動を複合的に用いたときの予に焦点をあてて調査を行ってきた．また，表情認知課題時の眼測結果を比較した．結果として，複合的に眼球運動を用いた球運動を用いて自閉傾向を予測できることが知られている [3]．

ときの予測結果が決定係数で 0.121，スピアマンの相関係数でしかしながら，自閉傾向と関係がある能力はこれだけではな

0.414 であり，表情認知課題時のみの眼球運動による予測結果

い．そのうちの一つとして我々は心の理論に焦点をあてる．

を RMSE で 0.92 上回る結果となった．本稿ではその詳細につ心の理論とは，他者の感情や思考，意図などの心的状態に対する推定，および他者は自己と異なる心的状態が存在していることを理解することを指す．自閉スペクトラム症の方は他いてまとめる．

2.

実験方法

者の心的状態を予測することが苦手なことが知られている [4]．

本研究での調査項目は，表情認知課題時の眼球運動を用い心の理論と社会的な視点認識は関連があり，また，社会的視点る時のみと比べて，視点取り課題を行ったときの眼球運動を—1—同時に用いることによる，自閉傾向の予測精度の向上である．
SRS-2 を自閉傾向の評価尺度として用い，スコアの予測精度によって評価する．
実験参加者

2. 1

本研究は奈良先端科学技術大学院大学の倫理承認を得て行われた．本研究では 22 から 35 歳の 28 名 (男性 11 名，女性 17名) のデータを収集した．全実験参加者に対して，書面及び口頭で説明を行い参加の同意を得た．また，全実験参加者に対して，本研究の予測対象となる，SRS-2 [6]，Kikuchi’s scale ofsocial skills-18 [7]，新版 STAI 状態-特性不安 [8] を取得した．本
研究では，SRS-2 に関してのみ報告対象とする．また，本実験
では，バーチャルエージェントの心の理論の程度による信頼性の評価 [9]，ソーシャルスキルトレーニングシステムのフィードバック評価に関してのデータも取得しているが，本報告では対象としない．本研究により取得した眼球運動データなど

図 1 表情認知課題の流れ．5 秒間，またはクリック操作により選択は第 2 著者の田中に連絡の上，提供が可能である．

肢が現れ，次の問題へと移る．全部で 21 問ある．また，著作権の関係により，ここで示している画像は実際に使った画像では対人性応答尺度 (SRS-2)

2. 2なく模式図となっている．

SRS-2 は，65 問の質問を含む客観的な評価指標である．SRS-2
は本来、自閉スペクトラム患者を評価するために設計されているが，様々な精神疾患を鑑別することも可能である．さら休止の後，「あなた」，もしくは「かれ」と表示され，500 ミに，その有効性は疾患群だけでなく，健常者についても調べら

リ秒の休止の後，赤いドットの数を指定するための数字が示れている [6]．したがって，健常者に対しても自閉傾向を測るされる．最後に中心に人，左右の壁に赤いドットがある画像ことができる指標となっている．SRS-2 は• Social Awarenessが表示され，2000 ミリ秒経過するか，教示内容と状況が一致している場合 (Matching) は左クリック，一致していない場合•

Social Cognition(Mismatching) は右クリックすることが求められた．自己視点•

Social Communication(Self)，他者視点 (Other) を答える場合と，視点間で見え方が一•Social Motivation

致している場合 (Consistent) としていない場合 (Inconsistent) で•

Restricted Interests and Repetitive Behaviorの 4 条件が存在する．今回はこの課題を Self-Consistent 条件の 5 つの下位尺度によって自閉傾向を測っている．点数が高11 課題，Other-Consistent 条件 14 課題，Self-Inconsitent 条件 13

いほど自閉傾向が弱いとされる．本実験参加者 28 名の SRS-2課題，Other-Inconsistent 条件 10 課題，ドットが表示されないの平均と分散は 56.46 と 26.03 であった．

フィラー条件 4 課題の合わせて 52 課題を行った．課題は無作

2. 3使用した課題

本研究では，表情認知課題と視点取り課題を用いた．表情認知課題は成人版表情認知検査 (FEIT) [10]，視点取り課題はSamson らの Level-1 Visual Perspective Task (VPT) [11] を用いた．
2. 3. 1

FEIT

為に出題された．また，分析には Matching の場合のみを使うことが推奨されており [11]，本研究においても Matching の場合のみのデータを用いて分析を行った．
2. 4

眼球運動と特徴量の取得手順

これらの課題を行っている際の眼球運動を取得した．使用しFEIT の眼球運動取得時の実験の流れを図 1 に示す．答えをた機器は Tobii Pro Fusion で，サンプリングレートは 120Hz で声に出してもらう旨の教示を行った後，視線を中心に誘導するあった．課題を表示するために使用したディスプレイのサイために，十字を 1 秒間提示した．その後に，5 秒経過するか，ズは 1920 × 1080 であった．眼球運動の分析には Tobii Pro Lab

または表情がわかったタイミングでマウスでクリックするこ(Version 1.145) を使用した [13]．眼球運動を取得する際に Areasとによって 7 つの選択肢 (喜び，悲しみ，恐怖，怒り，驚き，of Interest (AOI) を設定する必要があり，本研究では，FEIT の嫌悪，感情なし) が表示され，その中から選択してもらった，

画像においては，目，口，顔に設定し，VPT においては中心に課題は全部で 7 つの表情に対して 3 枚ずつを無作為に出題し，立っている人，赤いドットが表示される右側，左側の壁に設定21 問行った．

した．取得した眼球特徴は Fixation の回数 (Number of ﬁxation)

VPTと，Saccade の回数 (Number of Saccade) である．Fixation とは特2. 3. 2

次に，VPT の実験の流れを図 2 に示す．この課題と自閉群定の位置を見つめるような眼球運動であり，Saccade とは，両との関係は調査されており [12]，自己視点，もしくは他者視方の目が同時に同じ方向に素早く動くような眼球運動のことで点で赤いドットが何個見えるかを確認し，教示と実際の画像ある．FEIT においては 7 つの表情ごとの平均を算出し，VPTの内容が合っているかを答える課題である．最初に 750 ミリ

においては，4 条件で Number of Fixation と Number of Saccade

秒視線を中心に誘導するための十字が表示される．500ms のを取得し，条件ごとに平均を算出した．また，課題に対する応—2—

表 2 SRS を予測した各モデルの結果．各指標で最良の結果を太字にしている．
モデル

特徴セット

𝑅2RMSEρPLS Regression

FEIT

0.053

25.32

0.400

VPT

-1.11

37.83

-0.319

FEIT+VPT

0.121

24.40

0.414

FEIT-0.009

26.130.321

VPT-2.56

49.11-0.440

FEIT+VPT

0.077

25.00

0.400

Linear Regression

表 3 PLS Regression の上位 5 つの特徴量とその回帰係数．
特徴セット

図2特徴量

回帰係数

Number of saccades Sadness-13.17

Number of saccades Surprise-6.39

Number of ﬁxation at face Sadness

5.43

トの個数を指示するための数字が表示され，課題の画像が表示

Number of saccades Anger-4.62

される．被験者は教示と最後に表示される画像の状況が合ってReaction time Surprise

3.68

いる場合は左クリック，合っていない場合は右クリックをする

Number of saccades Sadness-13.17

VPT の流れ．
「あなた」，もしくは「かれ」の教示の後，赤いドッFEITことが求められた．

Number of saccades Surprise-6.19

Number of ﬁxation at face Sadness

5.41

各課題ごとに取得した特徴量の一覧．合計で 55 個の特徴量を

Number of saccades Self Inconsistent

4.85

取得した．

Number of ﬁxation at human Self Consistent -4.68

FEIT+VPT
表1課題FEIT

特徴量

条件

Number of Fixation at eyes

Happiness

Number of Fixation at mouth

Sadness

Number of Fixation at face

Fear

Number of Saccades

Anger

Response TIme

Surprise

one out cross validation を行った．入力特徴は標準化を行っていDisgust

る．モデルに入力する特徴を FEIT のみの場合，FEIT と VPT のNeutral

特徴を同時に入力した場合の 2 条件で比較した．出力は SRS ス

Self-Consistentコアである．評価指標には決定係数 𝑅 2 ，RMSE，Spearman の相

Number of Fixation at human

合計特徴量

順に 8 つの特徴を入力することとした．また，今回は LinearRegression と Partial Least Square Regression (PLS) を用いてモデ35

Number of Fixation at right wall Self-Inconsistent
VPT

Number of Fixation at left wall

Other-Consistent

Number of Saccades

Other-Inconsitent

20ルを構築し，パラメータ調整と評価を行うために Nested Leave

間係数ρを用いる．また，実装には Scikit-learn を用いた [14]．

3.

結果

Response TIme

PLS Regression, Linear Regression を用いて予測した結果を表
答速度 (Response Time) も取得し，合計 55 個の特徴量を取得した．抽出した特徴について整理したものを表 1 に示す．
2. 5

予測手法

次に，予測手法について説明する．今回 28 名のデータを取得したが，そのうち 1 名のデータの眼球運動を取得できていなかった．そのため 27 名のデータを用いて機械学習モデルを構築した．サンプルサイズ (n=27) に対して特徴量 (k=55) が極端に多い場合，次元の呪いに対処する必要がある．そこで本研究では，相互情報量による次元削減を入力の前に行なった．
相互情報量は一つの特徴量を 𝑥，目的変数を 𝑦，それぞれの確率を 𝑝(𝑥)，𝑝(𝑦)，同時確率を 𝑝(𝑥, 𝑦) として以下のように計算2 に示す．PLS に FEIT，VPT の眼球特徴を両方用いた場合のモデルの評価指標が決定係数 0.121，RMSE24.40，相関係数 0.414と最も高い値を示した．今回最良の相関を得た PLS Regressionに，全ての特徴を用いた場合のモデルの予測値と真値の相関係数ρに対して，無相関検定を行った結果，p=0.0317 となりp<0.05 の水準で有意な結果が得られた．また，FEIT のみの特徴，すべての特徴を用いて SRS を予測した際の真値と予測値の散布図を図 3，4 に示す．また，PLS Regression は線形モデ
ルのため，回帰式の係数を算出することができ，Leave one outcross validation によって得られた，各モデルの回帰係数を平均した値の絶対値が大きかった特徴量を表 3 に示す．

4.

できる．
𝐼 (𝑥, 𝑦) =∑𝑥,𝑦𝑝(𝑥, 𝑦) [ln 𝑝(𝑥, 𝑦) − ln 𝑝(𝑥) 𝑝(𝑦)]本研究では，過学習を防ぐために Training score と Cross validation score によって入力特徴の数を調整し，相互情報量が高い

考察

今回の実験では，FEIT のみの特徴を用いた場合に比べ，FEITと VPT の眼球運動を用いた場合のモデルがいずれの評価指標においても上回る結果となった．また，VPT のみの眼球運動を用いた場合は予測することができなかった．これは，表 3 の—3—ることによって，自閉傾向の予測精度を改善できることを示した．このことから，異なる認知活動を測る課題によって，複合的に自閉傾向を評価することができ，結果として予測精度が改善されたことが示唆される．また，VPT を追加した場合としていない場合での回帰係数の値を比較したところ，上位 3つは同じであったが，下位二つは VPT 課題のものであった．
この結果から，SRS スコアが高い人は，altercentric eﬀect が起きにくいことが示唆された．今後の課題として，サンプルサイズが 27 と非常に小さいことが挙げられる．より多くのデータを集めての検証が必要である．また，課題が増えることによる被験者への影響も考慮する必要があり，FEIT，VPT ともに出題数による影響を調査する必要がある．また，今回 VPT に
図3

FEIT のみの特徴を用いて SRS を予測した際の真値と予測値のよって，自閉傾向のさまざまな側面のうち，どの側面を FEIT

散布図．真値と予測値が近いほど青い線に近づく．

のみの時と比べて評価できるようになったのかを詳細に分析していく必要がある．
謝辞

本研究は CREST(グラント番号: JPMJCR19A5) の支援によって行われた。
文
[1]

[2]

[3]

図 4 すべての特徴を用いて SRS を予測した際の真値と予測値の散布[4]

図．真値と予測値が近いほど青い線に近づく．
[5]回帰係数を見ると，FEIT から得られる特徴に対して，特に大きい回帰係数が乗っているからだと考える．上位 3 つの予測に[6]寄与している特徴は FEIT のものであり，FEIT のみの特徴を使[7]用した場合のモデルと変わらないが，下位の 2 つに関しては，FEIT のものではなく，VPT のものが影響している．このことから，SRS 予測に対して，大きな影響を与えているものは FEIT

[8][9]の特徴であり，VPT のものは FEIT に比べて影響が小さいことがわかる．また，自己視点を問われた際の Saccade 回数には正の係数が，自己視点を問われた際の Fixation 回数には負の係数[10][11]がかかっている．これは，自己視点を問われた際に，Saccade
回数が多くなると SRS スコアが大きく，Fixation 回数が増えると SRS スコアが低く予測されることを意味する．この課題を[12]解く際，健常群では自己視点を問われていても無意識的に他者視点からのドットの数を数えてしまう，altercentric eﬀect が起こることが知られている [11]， [15]．このことから，SRS ス
コアが高い人，つまり自閉傾向が高い人ほど，altercentric eﬀectが起きづらいことが示唆される．

5.

まとめ

[13]
[14]
[15]

献

K. Ochi, N. Ono, K. Owada, M. Kojima, M. Kuroda, S. Sagayama et al.
“Quantiﬁcation of speech and synchrony in the conversation of adults
with autism spectrum disorder.”, PLOS ONE, 2019.
K. Iwauchi, H. Tanaka, K. Okaazaki, H. Iwasaka, Y. Matsuda, M.
Uratani, T. Morimoto, S. Nakamura, “Detecting of Psychiatric Disorders from Eye Movement Considering the Types of Emotional andCognitive Stimuli.”, HCG Symposium , 2021.
M. Jiang et al.,“Predicting Core Characteristics of ASD Through Facial Emotion Recognition and Eye Tracking in Youth.”, 2020 42nd
Annual International Conference of the IEEE Engineering in Medicine
Biology Society (EMBC), 2020.
S. Baron-Cohen,“Theory of mind and autism: A review.”, International review of research in mental retardation, vol.23, pp.169 ‒ 184,
2000.
P. Michelon and J.M. Zacks, “Two kinds of visual perspective taking.”,
Perception Psychophysics 68, pp.327 ‒ 337, 2006.
John N. Constantino, “Social Responsiveness Scale, Second Edition(SRS-2).”, Back. Western Psychological Services. 2012.
K. Kikuchi, “Shakaiteki-sukiru-wo-hakaru-kiss-18 handbook.”, The
social skills are measured, The handbook of Kiss-18, Tokyo, Japan,
Kawashima, 2007.
C.D. Spielberger, “State-trait anxiety inventory for adults.”, 1983.
H. Tanaka, T. Saga, K. Iwauchi, and S. Nakamura, “Trustworthinessof Virtual Agents in terms of Theory of Mind Levels and Social Skills
Training.” ，HIP, 2022
成人版表情認知検査，http://www.saccess55.co.jp/untitled406.html
D. Samson, IA. Apperly, JJ. Braithwaite, BJ. Andrews, SE. Bodley
Scott. ”Seeing it their way: evidence for rapid and involuntary computation of what other people see.“, J Exp Psychol Hum Percept Perform.
2010 Oct;36(5):1255-66. doi: 10.1037/a0018729. PMID: 20731512.
H. Doi, C. Kanai, N. Tsumura, K. Shinohara, and N. Kato, “Lack ofimplicit visual perspective taking in adult males with autism spectrum
disorders.”, Res Dev Disabil, 2020.
Tobii Pro AB. Tobii pro lab (Version 1.145), Computer software, 2014.
P. Fabian et al., “Scikit-Learn: Machine Leraning in Python”, Jounalof Machine Learning Research, 2011.
H.J. Ferguson,I. Apperly, and J.E. Cane. “Eye tracking reveals the costof switching between self and other perspectives in a visual perspectivetaking task.”, Q J Exp Psychol (Hove), pp. 1646-1660, 2017.

本論文では表情認知課題に加え，VPT 時の眼球運動を用い—4—