2021年度日本認知科学会第38回大会

P1-34

隠れマルコフモデルを用いた眼球運動による性格特性の推定
Predicting observers' personality traits by eye movement data withHidden Markov Models
徐 貺哲†，長田典子，松香敏彦‡
Kuangzhe Xu, Noriko Nagata, Toshihiko Matsuka†

関西学院大学，‡千葉大学
Kwansei Gakuin University, Chiba University
kyoutetsu.jo@kwansei.ac.jp

概要
人の顔を観察する際に，観察者の眼球運動と性格特性間に相関があることは既に先行研究で知られている．
一方で，その逆の関係である，眼球運動による性格特性の推定に関する研究はほとんど行われていない．本研
究では，眼球運動の推移過程をモデル化することにより，眼球運動による観察者の性格特性の推定を試みた．
その結果，Big-Five 性格特性における協調性，外交性，開放性，神経質性と勤勉性の全てを隠れ状態数や着目部位への転移確率によって有意に推定可能であることが示された．

2.

キーワード：HMM, 隠れ状態数，笑顔，Big-Five

見せたときに写真を撮影した．撮影後，写真を協力者に実験

実験参加者：千葉大学の学生23名が実験に参加した．

男性 12 名，女性 11 名（平均年齢=21.35，sd=1.229）．
刺激画像：20 名（男性 13 名，女性 7 名）の協力者に，それぞれの友人と共に撮影現場に来てもらうよう依頼した．まず，協力者の作り笑顔を撮影した．次に，協力とその友人に会話をしてもらい，笑顔や笑い声を見せ，作り笑いの画像と本当の笑いの画像をそれぞれ1.

はじめに選出してもらった．写真はすべて正面から撮影した．
実験手続き：実験は合計 40 セッションから成り，本他者の顔を観察する際の眼球運動には、観察者の性当の笑いの画像を用いたセッション 20 回と，作り笑い格特性が強く関係することが確認されている [1]．このの画像を用いたセッション 20 回をランダムに行った．

知見に基づき，観察者の性格特性から眼球運動を推定

各セッションの冒頭に，「これから見る画像が本当の笑することも可能である [2]．同時に，その逆である眼球いと作り笑いのどちらであるか」の質問文を設けた．参運動から性格特性を推定する可能性も示唆されている

加者がスペースキーを押すと，モニターの中央に画像が，その実現は容易ではない．特に先行研究のような眼呈示信号が 500 ミリ秒間表示され，その後笑顔の画像球運動の注意区間（AOI）への着目頻度を用いてモデル構築した場合．眼球運動のパターンが多様すぎるため，膨大なデータセットがなければ適切な解析が困難であ（作り笑い・本当の笑い）がランダムに表示された．観察時間は無制限であった．参加者が笑顔の真偽判断を下す（本当の笑いは Yes，作り笑いは No）と，画像がると考えられる．一方，眼球運動の「動的状態（どの順消え，次のセッションが始まった．判断課題終了後，参番で何を見たか）」を隠れ状態に次元圧縮する方法を用加者には 10 項目性格検査（TIPI）の日本語版を回答しいることで，少量のデータでも視線情報の解析ができてもらい，5 つの性格特性（協調性 (A)，勤勉性 (C)，ることが示唆された[3]．すなわち，眼球運動の動的状外向性 (E)，神経質性 (N)，開放性 (O)）を測定した．

態（軌跡）を用いれば，眼球運動を用いた性格特性の推定が実現可能であると考えられる．そこで本研究では，ベイズ的に構築した隠れマルコフモデル（HMM）[4]を分析方法：観察行動間の転移確率，および観察行動と笑顔真偽判断の関係を，隠れマルコフモデル（HMM）を構築し，分析した．モデルの式は下記式 1-2 である．

用い，眼球運動の推移過程を分析し，得られた隠れ状態{#}

数と観察行動の転移確率による観察者の性格特性の推#𝑝(𝑧!:# , 𝑦!:# ) = (𝑝(𝑧! ) ) 𝑝(𝑧! |𝑧$%! )+ ,) 𝑝(𝑦$ |𝑧$ )-定を試みた．本研究の実験課題には先行研究で用いた{$()}顔の印象評価課題ではなく、笑顔の真偽判断課題を用$(!

𝑝(𝑦$ |𝑧$ = 𝑘, 𝜃) = 𝐶𝑎𝑡𝑒𝑔𝑜𝑟𝑖𝑐𝑎𝑙(𝑦$ |𝜃* )HMM で推定された試行ごとの最適な隠れ状態数といた．その理由は印象評定課題に比べて課題が明確であり，より個人内で一貫した観察行動が期待されるか隠れ状態から顔の各部位への転移確率を用い，観察者らである．の性格特性を推定する 4 種類の多項ロジステックモデ
262

2021年度日本認知科学会第38回大会

P1-34

4.

ルを構築した（M1:隠れ状態数（以降 No. HS と略す）
のみ; M2:眼球運動のみ;M3: No. HS＋眼球運動; M4:

本研究は，先行研究[1][2][3]の知見に基づき，眼球運

M3+ No. HS×眼球運動）．最適な推定モデルを選出する動の軌跡による観察者の性格特性を推定するモデルをため，Leave-one-out cross-validation を用いてモデルの精構築した．その結果，HMM で推定された最適隠れ状態度を比較した．性格特性は 3 つのレベル（高中低）に数と眼球運動の転移確率を同時に用いたモデルが最も分けた．

3.

考察

高い推定力を示した．今後は個人差を考慮したモデルを構築し，推定精度をより向上させたいと考えている．

結果

表 1. 性格特性に有意に影響する観察行動

図１はWAIC によって選出された各HMM モデル（試行ごとに構築した合計 685 モデル）の最適な隠れ状態

性格特性数である．2 が最も多く，また 3 から 10 まで徐々に増加していく傾向を示した．

比較レベル

0.028

口角

-4.832

0.038

No. HS×口角

4.910

0.044

No. HS

0.083<0.001目

0.086<0.001口2.012<0.001その他-1.8880.003

No. HS

7.359

0.002

眉

7.766

0.001

口角6.894

0.008

その他

5.617

0.048

低：中

No. HS-0.123<0.001

高：中No. HS-0.035

0.026

No. HS-0.044

0.021

口-0.073<0.001

口角-1.487

0.001

No. HS-1.688

0.015

目-3.086

0.004

頬5.0170.016

眉-8.316

0.018

その他

4.717

0.035

勤勉性 (C)低：中外向性 (E)高：中図 1. HMM で推定した最適隠れ状態数．

図 2 は観察者の性格特性の推定結果である．推定結ク 1，2 番目に高い時はランク 2，3 番目に高い時はランク 3 と名付けた．その結果，協調性(A)，外交性(E)と開放性(O)の推定には M3，神経質性(N)の推定には M1，低：中勤勉性(C)の推定には M4 が最も高い推定精度を示した．
表１に各最適モデルによる性格特性との有意相関を開放性 (O)示す．参照基準は各性格特性の中レベルとした．例えば，口角を多く見るが口はあまりみない人は協調性(A)高：中が中レベルと推定され，口角も口も多く見る人は開放性が中レベル，口角をあまり見ない人は外向性(E)が高レベルであると推定される．

文献[1] 徐貺哲, 松香敏彦, (2016) “視線追跡を用いた顔への注意と対人印象の関係の検討”, 日本顔学会誌 16 (2), 45-53.
[2] 徐貺哲, 松香敏彦, 川端良子, 長田典子, (2020) “顔の印象
評定における観察者の性格特性と視線の軌跡の関係:状態空間モデルを用いた分析”, 日本顔学会第 25 回大会.
[3] 徐貺哲, 松香敏彦, (2018) “性格特性を用いた顔の観察行動の予測モデル”, 日本認知科学会第 35 回大会.
[4] Luis, D., Brian, P., (2017) “ A Tutorial on Hidden Markov
Models using Stan”, https://github.com/luisdamiano/stancon18/.
図 2. 性格特性に対する各モデル（M1-M4）の推定結果

263

P値

1.153

高：中神経質性 (N)

相関係数

口協調性 (A)低：中果と性格特性が一致し，かつ確率が最も高い時はラン

推定項目