表情認知課題と視点取り課題を⽤いた⾃閉傾向の予測
岩内 厚⼤, ⽥中 宏季, 中村 哲
奈良先端科学技術⼤学院⼤学

2022/8/25

TAPAS SUPPORTED BY ANR-CREST

1

⾃閉スペクトラム症について
⾃閉スペクトラム症はコミュニケーションや社会⽣活に難を抱えている[DSM-5]

⾃閉スペクトラム症の主な症状
社会的コミュニケーションの障害
l話が噛み合わないl興味や感情の共有が難しい
l⽪⾁や冗談が理解できない
l⼈の気持ちを察することが難しい
限局的反復的な⾏動パターン
l物事の⼿順に強いこだわりがあるl些細なことが気になる

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

2

バイオマーカの必要性
⽣理指標によるアセスメントが必要である

現状の診断⽅法
精神科医が診断基準に基づき、問診や⼼理検査を⾏ない診断

バイオマーカの利⽤例
診断精度を向上させるための診断補助
治療の効果判定TAPAS SUPPORTED BY ANR-CREST

2022/8/25

3

⾃閉と眼球運動の関係
健常群と表情認知において眼球運動が異なる例
表情認知の際に⽬を⾒ない[Iwauchi+ 2021]

この差を利⽤して⾃閉群と健常群を予測する研究が盛んに⾏われている

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

4眼球運動による⾃閉症の予測
機械学習を⽤いることである程度予測できることが知られている
これまでの研究)
表情認知課題を⽤いることによって71%の精度で健常群と⾃閉群を分類[Iwauchi+ 2021]

Convolution
NeuralNetwork

健常

RandomForest

⾃閉症

Input:
Task image + Eye-movement‘sheat map in 2ch.

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

5問題点
⾃閉は症状の重さが個別に違い、それにより治療内容も変わるため重症度に対応した⽣理指標が必要
これまでの研究の多くはASDか健常かの2値分類によって⾏われてきた
⾃閉傾向の重症度を予測するような研究はあまり⾏われていない
関連研究
症状の重さを表情認知時の眼球運動を⽤いることで予測[Jiang+ 2020]
表情認知時の眼球運動

Random Forest

TAPAS SUPPORTED BY ANR-CREST

⾃閉傾向(SRSスコア)

2022/8/25

6⼼の理論と⾃閉の関係
⾃閉は⼼の理論の程度が低いことが知られている[Baron-Cohen 2000]
⼼の理論
他者の感情や思考、意図などの⼼的状態に対する推定、および他者は⾃⼰と異なる⼼的状態が存在していることを理解すること
⼼の理論の⼀つとして他者視点の取得(perspective taking)がある例)

画像
https://www.blendspace.com/lessons/fJ02jxEIZL3yxg/mindfulness-attribute-linking-perspectivetaking
TAPAS SUPPORTED BY ANR-CREST

2022/8/25

7本研究の提案
⼼の理論を測る課題(perspective taking)の眼球運動を⽤い、表情認知と合わ
せより多⾯的に⾃閉傾向を測ることにより⾼精度な予測を⽬指す
関連研究[Jiang+ 2020]

表情認知提案法

他者視点表情認知取得

⾃閉傾向の⾃閉傾向の予測

予測

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

8データの取得⼿順
表情認知検査(FEIT)と視点取り課題(VPT)を使⽤

lTobii pro fusionを⽤いて眼球運動を取得 (サンプリングレート120Hz)l奈良先端⼤の倫理承認を得て28名の22-35歳の健常の⽅が参加
l⼼理検査値として対⼈応答性尺度(SRS-2)を取得
l今回は使⽤していないがKikuchiʼs scale of social skills, State trait anxiety inventoryも取得した

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

9対⼈応答性尺度 (SRS-2)
⾃閉傾向を測るための⾃記式尺度、5つの下位尺度によって構成されている
1.

社会的気づき: 社会的な⼿がかりを拾い上げる能⼒

2.

社会的認知: 社会的な⼿がかりを解釈する能⼒

3.

社会的コミュニケーション: 表出的なコミュニケーション能⼒例) 気持ちを⼈に伝えられる、視線を合わせない4.

社会的動機付け: 社会不安、共感の⽅向づけなどを測る

5.

興味の限局と反復⾏動: 常同的な⾏動、限局的な⾏動を測る

65項⽬0〜3点のリッカート尺度
点数が⾼いほど⾃閉傾向が⾼くなる
今回の参加者の平均と標準偏差: 56.46±26.03

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

10表情認知課題 (FEIT)提⽰された画像が7つの表情のうちどれかを答える課題
各感情ごとに3課題をランダマイズして出題①Happiness②Sadness③Fear④Anger⑤Surprise⑥Disgust⑦Neutral

1000ms

5000ms orclickTime

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

11視点取り課題
⾃⼰視点、あるいは他者視点から指定された数の⾚いドットが⾒えるか⾒えないかを答える課題 [Samson+2010]
Self-Consistent
11課題
Other-Consistent
14課題
Self-Inconsistent
13課題
Other-Inconsistent
10課題
フィラー(ドットなし)
4課題
TAPAS SUPPORTED BY ANR-CREST

2022/8/25

12特徴量の抽出
FEITから35個、VPTから20個の特徴を取得
課題

FEIT

VPT

特徴
Number of Fixation at eyes
Number of Fixation at mouth
Number of Fixation at face
Number of Saccades
Response Time

Number of Fixation at human
Number of Fixation at right wall
Number of Fixation at left wall
Number of Saccades
Response Time条件
合計特徴量
喜び悲しみ
恐怖怒り
35
驚き
嫌悪感情なしSelf-ConsistentSelf-Inconsistent
Other-Consistent20
Other-InconsistentFixation: 特定領域に⼀定時間⽌まっていた回数
Saccade: 素早く⽬を動かした回数
Response time: 課題に答えた時間
TAPAS SUPPORTED BY ANR-CREST

Tobii Pro labにて算出

2022/8/25

13

予測⼿法
線形回帰と部分最⼩⼆乗回帰(PLS)を使⽤し1), 2), 3)のモデルの精度を⽐較
⼊⼒: 各課題から得られた特徴
出⼒: SRS-2の総合スコア
評価⼿法: Leave-one out cross validation
評価指標:決定係数R2 , RMSE, スピアマンの相関係数ρ

1)FEIT
2)VPT
3)FEIT+VPT

相互情報量による特徴選択

TAPAS SUPPORTED BY ANR-CREST

線形回帰
PLS

SRSスコア2022/8/25

14

予測結果
FEIT+VPTの特徴セットを使⽤した場合最良の結果が得られた

Model
PLS Regression
Linear Regression

Feature Set
FEIT
VPT
FEIT+VPT
FEIT
VPT
FEIT+VPTTAPAS SUPPORTED BY ANR-CREST

R2RMSE
ρ
0.053
25.32
0.400
-1.1137.83-0.319
0.121
24.40
0.414
-0.00926.13 0.3212-2.56
49.11-0.440
0.077
25.00
0.400

2022/8/25

15

考察
わずかではあるが、VPTの特徴は精度向上に寄与している

上位3つは同じ

VPTの特徴TAPAS SUPPORTED BY ANR-CREST

2022/8/25

16

SRSとNumber of saccadesの散布図
回帰係数の絶対値が最も⼤きかった特徴は強い逆相関の関係にある

Number of saccades sadness

3.532.5

r=-0.6121.5

10.5

0020406080

100120SRSTAPAS SUPPORTED BY ANR-CREST

2022/8/25

17誤差分析
特に予測値から外れていた3名はNumber of saccadesがSRSの近い⼈(ID:4)に⽐べて少なかった

ID 年齢
性別 SRS Number of saccades
122⼥
121222男
281323⼥
310.67424⼥
292.67
530⼥
820

Predicted SRS

PLS using FEIT+VPT
15234

Actual SRSTAPAS SUPPORTED BY ANR-CREST

2022/8/25

18

まとめ
本研究は表情認知と視点取得を⽤いて多⾯的な⾃閉傾向の⾼精度な予測を⽬指した
背景
⾃閉傾向の予測に対する⽣理指標の探索の必要性
提案
表情認知と他者視点取得時の眼球運動による多⾯的な予測
結果
表情認知時のみと⽐較して微⼩な改善が確認された
今後の課題
サンプルサイズを⼤きくしての検証
実際の疾患群による検証予測値が上に⼤きく外れる理由の検討
更なる精度向上アルゴリズムの検討
TAPAS SUPPORTED BY ANR-CREST

2022/8/25

19

参考⽂献
[DSM-5]
American Psychiatric Association. 2013. Diagnostic and statistical manual of mental disorders : DSM-5 (5 thed.). American Psychiatric Association Arlington, VA.
[Iwauchi+ 2021]
K. Iwauchi, H. Tanaka, K. Okaazaki, H. Iwasaka, Y. Matsuda, M. Uratani, T. Morimoto, S. Nakamura,“Detecting of Psychiatric Dis- orders from Eye Movement Considering the Types of Emotional and CognitiveStimuli.”, HCG Symposium , 2021.
[Baron-Cohen 2000]
S. Baron-Cohen,“Theory of mind and autism: A review.”, International review of research in mental
retardation, vol.23, pp.169 - 184, 2000.
[Jiang+ 2020]
M. Jiang et al., “Predicting Core Characteristics of ASD Through Facial Emotion Recognition and Eye
Tracking in Youth.”, 2020 42nd Annual International Conference of the IEEE Engineering in Medicine
Biology Society (EMBC), 2020.
[Samson+ 2010]
D. Samson, IA. Apperly, JJ. Braithwaite, BJ. Andrews, SE. Bodley Scott. ”Seeing it their way: evidence forrapid and involuntary computation of what other people see.“, J Exp Psychol Hum Percept Perform. 2010
Oct;36(5):1255-66. doi: 10.1037/a0018729. PMID: 20731512.

TAPAS SUPPORTED BY ANR-CREST

2022/8/25

20