情報理工学特別研究報告書

題目
動画解析を用いた
視覚と心理の関係に関する研究

学生証番号 053732
氏名 千原愛未

提出日 令和 6 年 1 月 26 日
指導教員 蚊野 浩

京都産業大学
情報理工学部

要約
⼈の⼼理状態や健康状態を計測する⼿段として視線計測の有効性が⽰されている．
しかし，視線だけを使って「嘘を発⾒する」ということは⼀般化していない.視線は，意思的に動かすことが容易であるため，視線に関する情報だけから⼈間の⼼理状態を正確に推定することは困難である.しかし，意識を向けても⼗分にコントロールすることが難しい瞬⽬の動きにも注⽬し,視線計測と瞬⽬測定の⼆つを組み合わせた虚偽検査装置を開発した.
顔認証で有名でオープンソースライブラリである Dlib を⽤いて，顔に 68 個のランドマークポイントを設定する.その中から，⽬の周りに設定されたランドマークポイン
トの座標値を取得し，EAR（Eye Aspect Ratio）という評価基準に従って座標値を演算する．その結果から⼈が⽬を閉じているかどうかを推定する.また,先ほど得た⽬の周りのランドマークを使⽤し，⽬の領域を上下左右に分割した⼩領域を作成する.その中で⿊⽬のピクセル数を数え上げ,⿊⽬ピクセル数の割合が多い⼩領域の⽅向が視線⽅向であると推定した.
7 名の被験者に対して硬貨当てゲームを⾏い，虚偽検査装置が正常に働いていることと,瞬⽬や視線がどれほど虚偽検査において有効性を⽰すのかを確認した.結果として7 名中 5 名の嘘を⾒破ることに成功した.また嘘をついた被験者の共通点として,嘘を考えている最中に右上を向くこと,嘘をついた後に連続した瞬きをするということがわかった.そのため視線や瞬⽬が虚偽検査において有効な⼿段であることを，ある程度証明できた.しかし瞬⽬の回数にかなりの個⼈差があるため，多くの⼈で実験を⾏うと，虚偽判定の精度が低下する可能性がある.また笑顔などで⽬が細くなる場合にも，瞬⽬であると判定してしまうため,機能を拡張し笑顔であるかどうかの判定をすることや,瞬⽬の計測の仕⽅を改善する必要があると考えた.

2目次
1章序論

・・・1

2 章 研究で用いたツールや関連研究について
2.1 従来研究について
2.2 Dlib について
2.3 EAR(Eye Aspect Ratio)について・・・2・・・2・・・2・・・3

3 章 研究方法
3.1 瞬きの検出方法
3.2 黒目の検出方法
3.3 視線測定の精度
3.4 視線と心理の関係
3.5 虚偽判定アルゴリズム
3.6 実験内容

・・・5・・・5・・・5・・・7・・・9・・・10・・・11

4章

結果

・・・13

5章

結論

・・・15

参考文献
謝辞
付録

・・・16・・・16・・・171 章 序論
目は口ほどにものを言うという言葉があるように，目は人の心理状態と深い関係がある.従来研究[1](対人認知における瞬目の影響)では，対人認知において，視線と瞳孔の変化および瞬目が特に印象に影響を与える要因として示されている．医学の分野でも，パーキンソン病の患者は瞬目率が低いといった瞬目と関係があるとの研究がなされている[2]( Blinkrates in parkinson- ism).嘘を見抜くという 1 点において，視線の動きを有用な手段として研究しているものもあるが[3](眼球運動の変化に基づく心理状態の推定),一般の嘘発見器で利用される生理学的指標は，心拍・脈拍や血圧，呼吸，皮膚電気活動などである．
ここで，視線が心理状態を推定する有用な手段であるにもかかわらず，視線計測に基づく嘘発見器が，なぜ開発されないのかという疑問が生まれる.これに対する答えは，視線は意識的に動かすことが容易であるから，というものである.嘘発見器にかけられた被験者は，嘘をついているにもかかわらず，視線の動きについては自然に振る舞いができてしまう可能性がある.
本研究では，虚偽検出をする際に，視線の動きだけではなく瞬き（瞬目）の回数をもう 1 つの指標として用いる方法を提案する.瞬目は随意的にも不随的にも出現し，その発出を完全にコントールすることができないからである.瞬目が嘘を発見する際の有力な指標であるという研究を見つけることはできなかったが,瞬目の多さが不安や緊張の増加を示す指標になるということは従来研究で判明している[4](他者接近に対する生理・認知反応一生理指標・心理評定の多次元解析).そのため嘘ついている時の緊張感などを瞬目の回数で判断し,虚偽検出におけるもう 1 つの有力な根拠として利用する.以上のことから，本研究では視線測定と瞬目測定の両方を用いた虚偽検出装置を開発した．そして，虚偽検出における精度を高めるとともに，瞬目が虚偽検出において有用な根拠として成立するかどうかの検証を行った.

1２章 研究で用いたツールや関連研究について
2.1 従来研究視線や瞬きが心理に及ぼす影響に関する従来研究と書籍を調査した.選定した文献は主に「対人認知における瞬目の影響」[1],「脳と心」（現代心理学シリーズ） [5],「虚偽検出検査における眼球運動の非接触的測定」[6]である.ここでいう眼球運動とは，視界に捉えた対象物を注視する視線の動きのことである．従来研究において，眼球運動が虚偽検出検査の指標として有効である可能性が 1978 年ごろから,また脳の認知機能と眼球運動との間に密接な関係があるということが 1999 年ごろに示唆されていた.一方,嘘発見機として世間的に話題になったのは装置に手を置くだけで判定ができるというものであった.これは警察などで利用されているポリグラフ検査に用いられる道具をオマージュしたものであり,心拍数を計測して嘘をついているかどうかを測定する装置である.かなり簡易的なものであったがテレビのバラエティなどで利用されているのを度々見かけることがあった.
「なぜ視線を利用して嘘を発見する装置がないのか？」という疑問に対する答えとして，まず利便性の低さに問題がある.従来研究での眼球運動測定には，接触的測定法である眼球電位法（EOG 法）かアイカメラ法が用いられてきた.これは眼窩周辺に電極を貼り付け,メガネのような形状の装置を身につける接触型の方法である.そのため，視線の情報を取られているという意識がはたらくことにより正解な意識の推定を行うことが難しい.なぜなら視線の動きは大部分が随意性をもっており，意識でコントロールすることが可能だからである.しかし，ビデオカメラなどの非接触型の装置で視線を測定するとしても，装置そのものの存在を隠さなければ装置自体に視線が集まってしまい，正確な視線の検出ができないなどの問題点がある.そのため虚偽検出の場で視線を利用したものが普及していないという事態になったと考えられる.
従来研究において，接触型だけではなく非接触型の眼球運動の測定も虚偽検出の場で有効であるということは示されているが,先ほど挙げた視線を意識してしまうという行動が問題視されている.一方，対人関係における不安や緊張の有力な指標として瞬目を利用する研究はあるが，虚偽検出検査における瞬目の利用はほとんど見られない.なぜなら瞬目は眼に涙を行き渡らせたり眼に付着したゴミを拭うなどの生理現象の一環とし起こるものだからである.しかしこの不随性が意図的な操作を不可能にし，虚偽検出検査における重要な役割を果たすのではないかと考えた.本研究では視線測定と瞬目測定の両方を利用した虚偽検出検査装置を開発する.視線測定にはカメラを用いた非接触型の手法を用いる.装置としてはパソコンに内蔵されているカメラを用いることによってカメラの存在感を限りなく減らす.これにより瞬目が虚偽検出において優位性をもち,非接触型の問題点でもある視線を意識的に集めてしまうということを解決することが期待される.

2.2 Dlib について
動画解析にオープンソースライブラリである Dlib を用いた.Dlib は，2002 年に Davis King によって開発が始められ，現在も GitHub で開発が続けられている.Dlib は特に顔認証の分野で2

よく知られているが,それ以外にも画像処理,機械学習,数値最適化といった多様な分野に対応している.
Dlib の機能の一つに顔のランドマーク検出があり，これについて説明する.Dlib が検出する
顔のランドマークを図 1 に示す. 67 個の点が顔の特徴的な位置ごとに配置される.例えば Left
jaw line（左顎の輪郭）にはランドマークポイントが 0-7 つまり 8 個のポイントが取られる.本研究で使うのは left eye と Right eye のランドマークポイントである.これらのランドマークポイントの画像中での座標値を用いて演算する.例えば顔認識に用いる場合，基準となる顔のランドマークポイントと実際に認識された顔のランドマークポイントとのユークリッド距離を計算し,その値が閾値よりも小さいと同じ顔であると認識する.これは Google Photo などでも使われている顔認識アルゴリズムである.本実験では shape_predictor_68_face_landmarks.dat を用いてランドマーク学習済みデータを使用する.

図 1 Dlib における顔の LandMark Point(https://mdfarragher.medium.com/detect-facial-landmark-points-with-c-and-dlib-in-only50-lines-of-code-71ab59f8873f[7]から引⽤)

2.3 EAR(Eye Aspect Ratio)について
本実験では，EAR という評価基準を用いて，人が瞬きをしているかどうかを判定する.EAR とは目のアスペクト比率であり下の数式(1)によって計算される.これは 2016 年にプラハのチェコ工科大学電気工学部の Tereza Soukupova と Jan Cech によって開発されたアルゴリズムである[8]( Real-Time Eye Blink Detection using Facial Landmarks).

3

EAR =||"#$"%|| ' ||"($")||#||"*$"+||

・・・(1)

図 2 瞳のランドマーク

図 2 のように，瞳のランドマークに番号を与える.P1 から P4 を繋いだ横線の長さと P2 と P3を結んだ線分の中点と P5 と P6 を結んだ線分の中点同士を結んだ縦線の長さを計算し，この2 線分の長さの比率を用いて瞬きを検出するこ.この比率をグラフ化したものが図 3 である.目が開いている時は 0.3 から 0.35 の間でほぼ一定であり,目を閉じている時は 0.1 から 0.15 付
近の値になる.

図 3 目を開けているときと閉じている時の EAR の推移

4３章

研究方法

3.1 瞬きの検出方法
本研究では２章で説明した EAR を用いて瞬きの測定をする.EAR の値が 0 に近いほど，目を閉じており，ある閾値よりも大きければ開眼，小さければ閉眼と判定する．最適な閾値を決定するために，目の大きさや形が異なる 5 人が計 10 回の瞬きを行う映像を準備し，0.35 から0.50 の閾値で瞬きの回数をカウントした．その結果を表 1 に示す．
表 1 閾値変更に対する瞬きカウントの精度
閾値平均結果

誤差

0.35

2-80.38

7-30.39

8-20.40

12+20.41

16+60.50

33+23

閾値の値が 0.39,0.40 の時に，最も誤差が小さくなった.瞬目の判定では，伏目になってしまった時にそれを瞬きとしてカウントをしてしまうという問題点があるため,厳しい方の閾値である 0.39 を採用した.
3.2 黒目の検出方法
本研究では黒目の位置を検出することによって,視線の方向を推定する.そのため黒目の検出方法を 2 通り試行し,精度の良い方を採用した.
1 つ目の方法は，まず瞳全体を縦横三等分に分割する.この時の分割方法は dlib で得られたランドマークポイントを基準に設定した.（図 4）縦の分割は目の両端にマークされているポイントを用いて単純に 3 で割ったものである.横の分割は瞳の上の部分である p2,p3 の y 座標の比較をし,その二つの平均の座標値を新しく y1’と置き,下の部分である p5,p6 も同様の作業を行い新しく y2’と置く.新しく得た y1’,y2’の間を 3 等分した.これにより瞳の全体を 9 つのエリアに分けることができる.次に目の周辺のみをトリミングする（図 5）.そしてその画像を２値化し,白ピクセル数を数える(図 6).これは２値化する前の黒目の部分に相当する場所のピクセルを数えていることになる.トリミングした画像の総ピクセル数を数え,先ほど得た白ピクセル数の割合を求めパーセント表記に変換する.これで得たピクセル数は正面を向いた時に下の図 7 のように数え上げられる.

5

図 4 瞳全体を縦横 3 等分したイメージ図

図 5 実際に目の周りをトリンミングした画像

図 6 トリミングした目の画像に 2 値化処理を施した画像

6

図 7 黒目部分のピクセル数の割合をターミナル上で示した

図 7 では図 5 の画像を用いて 2 値化し白ピクセル数の割合を表示したものである.今回の方法では 9 つに分けたエリアのうち白ピクセルの割合が 80 を超えていたエリアの方向を向いているという判定を行う.しかし真ん中のエリアつまり正面を向いている時はどのエリアも白ピクセルの割合は 80 以下である.つまり図 5 のように正面を向いている際は図 7 のようなピクセル数の割合になり値が 50 程度になっている.
2 つ目の方法は，瞳の領域を２値化した画像における黒画素の重心を利用するものである.Cv2.moment という画像のモーメントを用いて重心を求める関数を瞳に適用させ黒画素の重心を得る.黒目の重心が 9 つのエリアのどこに位置しているかで視線方向を推定する.この方法のデメリットは急な目の動きを検出することができないということである.視線を右から左に急に振った時に黒目の重心の動きが捉えられず,白目の部分に黒目の重心部分が置いて行かれてような状態になってしまい，少しテンポが遅れてからの検出となってしまう.メリットは人の目の形によらず,正確な目の動きを検出できるということである.
二つの方法に共通するデメリットとして,瞳の下 3 分の 1 のエリアはほとんど白目の部分がないため，瞳の移動を確認することができず，下を向く動きを検出することがほとんどできなかった.しかし,本研究では下を向いた時の心理状態を測定することはないのでこのデメリットは問題にならなかった.
これらの 2 つの方法を比較し,本研究では 2 つ目の黒目の重心を利用するものを用いることにした.この方法を採用することによって,概ね自然な状態での目の動きを検出することができる.デメリットは視線検出のスピードが遅いことであったが,本研究の映像解析はリアルタイムで行うものではないので，このデメリットは大きな問題ではない.
3.3 視線検出の精度

視線検出の精度を，表 2 左列の 6 項目について評価した．例えば，第一の項目は視線を右方向に 10 秒向けたあと，左方向に 10 秒向ける，という視線動作の確認である．これを 5 人の被験者でテストした．その結果，下向きの視線は検出できる時と全くできていない時があり，被験者ごとに大きくばらつきがある結果となった.それ以外のほとんどの方向は正しく追跡できた.また,被験者に光が当たらないことによって瞳全体が暗く写ってしまい 2 値化がうまくいかず測定ができなくなってしまう時があった.このことから動画を撮影する際の注意点として被験者7に当たる光がとても大事であるということもわかった.また,瞳を 9 分割したエリアの大きさは均一ではないために上下隅(特に下 1/3 エリアの両隅)の 4 エリアには黒目の重心が行くことが少なくしっかりとた目の動きが見られなければ判定することが難しいことがわかった.
表 2 視線測定の精度
精度チェック

チェック欄

視線右（10秒間）・左（10秒間）◎

視線上（10秒間）・下（10秒間）◯(下は×)

視線右上（10秒間）・左上（10秒間）◯

視線右下（10秒間）・左下（10秒間）△

まっすぐ前を向く（10秒間）◎

視線をゆっくり時計回りに⼀周させる◎

上下だではなく視線を軽く左右を向けた程度の時判定が曖昧になることがあった.視線を向ける方向を 6 分割し，判定が曖昧になる境界を調べた.実際に分割した様子は図 6 の通りであり，①から⑥に視線を向けたときの瞳の画像を図 7 から図 12 に示す.実験の結果，②と⑤に視線を向けた時が，視線検出が曖昧になってしまう境界であることがわかった.②と⑤の方向に視線を向けると，正面判定と左右どちらかの判定の 2 つが交互に現れることが多く，はっきりとした結果が得られなかった.そのため②あるいは⑤の方向に視線を向ける動きは，虚偽検出装置の有意な判断材料としては用いないこととする.

8図 6 パソコンの画面を分割した様子

図 7 ①の方向を向いた瞳

図8

図 9 ③の方向を向いた瞳

図 10④の方向を向いた瞳

図 11

図 12⑥の方向を向いた瞳⑤の方向を向いた瞳
9②の方向を向いた瞳3.4 視線と心理の関係

視線と心理状態の関係を示したものを表 3 に示す.これは「最高の結果を得る「戦略的」交渉の全技術」[9]を参考に作成した表である.表に記載した目の動きは被験者本人から見ての方向である.このような，目の動きを参考にした心理状態の推測は国内外問わず交渉の場面やFBI でも有効なテクニックとして使用されている.本研究で開発する被験者が嘘をついているかどうかを判定をする装置において重要になってくる目の動きは右上を向く動きと瞬きである.右上を向くのは，物事を想像する動きのため,事実ではなく虚偽の説明を捏造しているということを指す.また,人は 1 分間に 20 回ほどの瞬きをするが，緊張した状態になると短時間で 20 回
以上の瞬きをする.つまり,嘘をつくなどの後ろめたい行動をとった際にそれに対しての質問をされると緊張し瞬きが多くなるということが考えられる.逆に左上や右下を向くといった過去のもの物事を想起する動きは真実を述べている可能性が高いということが考えられるために嘘をついている可能性は低いということが考えられる.
表 3 目の動きと心理状態の関係

3.5 虚偽判定アルゴリズム
本研究で用いる虚偽判定アルゴリズムは瞬目の数を数えるものと視線検出で構成されている.
まず,瞬目は閾値 0.39 より小さければ瞬きをしていると数える.その回数を用意した瞬きカウント変数に保存していく.そのカウント数が一定の値より大きければ,嘘をついている可能性があるとターミナルに出力をする.本研究で分析する動画は 10 秒以内のものとしており,人の 1 分間の瞬きの回数が平均して 20 回程度であることが「脳の情報処理とまばたきの関係を見る」[10]からわかっている.よって動画時間 X 秒における瞬目の回数を Y とすると X 秒に平均して X/3 回瞬目が見られるということがわかる.また今回 EAR の閾値による瞬目判定の誤差が-2 回であり,この誤差を補填するために X/3 回に+2 を足した.結果動画時間 X あたりの瞬目の回数の平均はX/3+2 回となりこの値よりも多い瞬目が見られるとき嘘をついていると判定する.
次に視線検出では右上,左上,右下,左下と 4 方向を検出できるが,重要視する動きは右上の方向とする. 嘘をつくということはない事実を捏造することであり,物事を想像する動きであり,何10かを思い出すという動きではない.表 3 から右上を向いている心理が物事を想像する動きである一方,他の 3 方向は思い出す動きであることがわかる.そのため虚偽判定アルゴリズムでは右上方向への視線を検出できた場合,右上を向いたとターミナルに出力しその動画で撮影された被験者への答えが虚偽である可能性を示す.
結果として瞬目回数が閾値を上回り,右上方向への視線が検出されたと場合嘘をついていると判定をする.勿論どちらかのみの検出であっても嘘をついている可能性がある.しかし瞬目の回数はかなり個人差がある.そのため右上方向の視線の動きは検出されなかったが,瞬目の回数が閾値より上回っていた場合,瞬目の回数が設定した閾値の 1.5 倍の数であった時のみ嘘をついていると判定する.この時の新しい閾値は元の閾値の 1.5 倍をし切り上げたものを採用する.

3.6 実験内容
本研究で行う実験は硬貨当てゲームである.被験者は男性 3 名女性 5 名の計 8 名に参加をしてもらった.これは被験者の手の中に入っている硬貨の種類を，質問をしながら考えていくというものである.用意する硬貨は 1 円玉,5 円玉,10 円玉,50 円玉,100 円玉,500 円玉の 6 種類である.形や大きさが大きく異なる 6 種類の硬貨を用意することによって発言のごまかしが効かないようにした.プログラムの処理の関係で長時間の動画を撮影して分析することが難しいため，1 つの質問あたり 10 秒以内の動画を撮影する.今回の実験では計 4 問の質問をし被験者は質問に対して嘘をついてもいいものとし,最後に自分が選択した硬貨をいい当てられなければ被験者の勝ちという設定にする.実際の実験での質問事項は以下の通りである.
1. 硬貨の真ん中に穴は空いていますか
2. 硬貨の色はシルバーのような色ですか
3. 硬貨の側面の手触りはざらざらしていますか
4. 今までの質問で私に嘘をつきました

まず 1 の質問では持っている硬貨が 50 円玉か 5 円玉であるかどうかの質問をしている.今回 6 種類の硬貨の中で穴が空いているのは 50 円玉か 5 円玉であり複雑な質問をしているわ
けではないため,視線が右上に向くと嘘をついている可能性が高まる.
2 の質問では持っている硬貨が 1 円玉,50 円玉,100 円玉以外の硬貨であるかどうかの質問をしている.今回用意した硬貨の中でシルバーのような色は 3 種類しかなく硬貨の色は自明であるためこれもまた視線が右上に向きつつ答えていると嘘をついている可能性があるということがわかる.
3 つ目の質問では持っている硬貨が 50 円玉か 100 円玉か 500 円玉かであるかどうかの質問をしている.今回用意した硬貨の中で側面がざらざらしていないのは 3 種類だけであり,これは実際に触ってみないとわからないことから感覚を思い出す右下を向く動きや過去を思い出11

す左上を向く動きが見られるとし真実を述べている可能性があるということがわかる.反対に右上を向いていると物事を想像しているため嘘をついている可能性が高いということがわかる.最後の質問では直接的に嘘をついたかどうかを聞くことによって緊張感が高まるのではないのかと推測し嘘をついている際の瞬きの回数が特に多くなる質問であると考えた.
このことから終始瞬きの回数と視線の動きでは物事を想像する右上の方向が嘘を見抜く重要な指標であることがわかる.
また,質問ではそれは 500 円玉ですかと言ったような直接的な質問をせず,間接的に硬貨を明示するような質問をしている.これは直接的な質問は嘘をつける範囲が狭くなると考えたからである.
実際に硬貨の種類を直接的に尋ねる質問で予備実験をしたところあまり嘘を見抜くことができなかった.予備実験の際には硬貨の種類を尋ねるという旨を伝え実験を行ったが,実験終了
後被験者から”初めから全ていいえで答えようと思っていたため何も考えていなかった”というコメントが得られた.本実験での硬貨当てゲームにおける１番の重要なポイントは，嘘をついて質問に答えてもいいということであるため，間接的な質問をし嘘をつける範囲を広げるという工夫を施した.被験者には，虚偽の硬貨を考えるときに必ず一貫した硬貨を想像してもらうように説明をした.これは毎回の質問に対して違う硬貨を思い浮かべて回答をされると，どの硬貨にも当てはまらない架空の硬貨が生まれてしまいゲームとして成立しないためである.また上記の3 つの質問（4 問目は直接硬貨の種類を特定するものではない）は最終的に硬貨を必ず決定できるように設定されている.

12

４章 実験結果
被験者 8 名を対象に虚偽検査を行った．その結果，検査に成功したかどうかと,実際に手に取った硬貨と虚偽の応答をする際に頭の中で考えていた虚偽の硬貨の種類を表 4 に示す.
表 4 実験結果
被験者

実際に選択した硬貨

虚偽の硬貨

硬貨を当てることができたか

男性 A

100 円玉500 円玉◯男性 B500 円玉

虚偽なし

◯

男性 C

100 円玉

50 円玉

×

女性 D

1 円玉

100 円玉×

女性 E

100 円玉

1 円玉

◯女性 F

50 円玉

100 円玉

◯

女性 G

1 円玉

50 円玉

◯

結果として 7 名中 5 名の硬貨を当てることに成功した.硬貨を当てることができなかった男性
C と女性 D に対しては虚偽の硬貨の方を答えとして回答してしまい嘘を見破ることができなかった.嘘を見破れなかった 2 名に共通した特徴は目の動きが全くなかったことである.視線がずっと正面を向いていおり,瞬きの回数も 1 つの質問につき 5 回程度と閾値以下の回数であった.また,質問に対する回答のスピードもかなりスムーズであり違和感のない質疑応答であった.
反対に虚偽を見破ることができた被験者たちに共通する点として虚偽の発言をしている最中ではなく，発言が終わった後に必ず連続した瞬きをすることである.もちろん発言中にも瞬きをしているのだが，特に多くなるのが発言後である.嘘をついていないときの応答での瞬きの回数は全て閾値以下であり嘘をついた時のみ瞬きの回数が増えた.そのため虚偽検査における瞬きの有用性はかなり高いのではないかと考えられる.しかし今回の実験で閾値を計算する際の瞬きの回数はあくまでの平均値のためかなり個人差があると考えられる.そのため,初めから瞬きの回数が少ない人にとっては今回設定した閾値の値は適切ではなく,瞬きが多い人にも同様のことが言える.
しかし今回の実験をする際に被験者個人の瞬きの回数の平均値を求めるような予備実験をしなかったのは,目の動きを観察されているということにあまり気づかれたくなかったからである.
２章において従来研究について述べたように，虚偽検出において重要なことは自然体であることである.意識の介入により視線の動きは大きく変わるため瞬きの回数を取ると言った目の動きを観察していることがわかるような実験をすることは避けた.そのため被験者ごとに適切な閾値の設定ができたわけではないため日常的な瞬きの回数がわかるようなデバイスが開発されればさらに精度を上げることが可能であると考えられる.また,今回の実験では物事を想像するときに動く視線方向として右上を見ると言った動きに注目して虚偽検出を行ったが,被験者は嘘の回答をする際に右上を見る確率が高いという結果を得ることができた.特に視線移動があ13

った被験者で今回行った質問において複数回虚偽を述べた被験者は必ず 1 回目の嘘の回答の際に右上を見ていた.これはどの硬貨を仮定して質問に答えようかと考えていると推測される.限定的な視線の移動にのみ注目して実験を行ったがかなりいい精度で嘘を発見できたことから虚偽検出においては右上を見ると言った視線の動きはかなり有用性が高いのではないかと考えられる.
しかし笑顔になられると測定がうまくできずに実験をやり直したことがあった.笑顔になり目が細まることによって瞬目判定の仕様においてずっと瞬きをしているかのような結果が出てしまうためである.そのため嘘をついているわけではないが不自然にずっと瞬きをしているかのような行動に判定されてしまった.

14

5 章 結論
本研究では,虚偽検出においての瞬目の回数と視線検出において右上を見るという特定の動きに対する有用性を確認することができた.また,撮影した動画を観察すると,被験者は嘘をついた際に連続した瞬きの動きが観察された.そのため連続して行われる瞬目も虚偽検査をするにあたり重要な要素として取り入れることが可能ではないかと考えられる.
しかし本研究で用いた虚偽検査のプログラムでは被験者が下を向き伏目になる場合や笑顔になり目が細まってしまった場合などを区別することができなかった.これらの表情や動きは全て瞬きをしている動きとして処理されてしまう.そのため被験者のより細かな表情の動きを見極めることができるようになればもっと精度の良い虚偽検出プログラムができると考えられる.

15

参考文献
[1] 大森 慈子,山田富 美雄,宮田 洋,対人認知における瞬目の影響,
社会心理学研究 第 12 巻第 3 号 1997 年 p183-189,(1997)[2] Karson, C.N., Lewitt, P.A., Clane, D.B., & Wyatt, R.J., 1982,
Blink rates in parkinson- ism. Annalsof Neurology, l2,580-583.
[3] 平山雄介, 眼球運動の変化に基づく心理状態の推定,
電気通大学大学院情報システム学研究科修士論文(2002)[4] 八重澤敏男 ・ 吉田富二雄, 1981,
他者接近に対する生理・認知反応一生理指標・心理評定の多次元解析,心理学研究, 52, l66- l72.
[5] 宮田 洋, 脳と心, 培風館（1996）[6] 谷口 泰富, 小野 洋平, 虚偽検出検査における眼球運動の非接触的測定,
心理学研究 2013 年 第 84 巻 第 1 号 pp10-19,(2013)[7] Mark Farragher,
Detect Facial Landmark Points With C# And Dlib In Only 50 Lines Of Codehttps://mdfarragher.medium.com/detect-facial-landmark-points-with-c-and-dlib-in-only50-lines-of-code-71ab59f8873f[8] Real-Time Eye Blink Detection using Facial Landmarks,
Cˇehovin, Rok Mandeljc, Vitomir Sˇtruc (eds.) Rimske Toplice, Slovenia,
21st Computer Vision Winter WorkshopLuka February 3–5, 2016[9]石井通明, 最高の結果を得る「戦略的」交渉の全技術, 日本実業出版社,(2019)[10]中野 珠実, 脳の情報処理とまばたきの関係を見る,季刊「生命誌」82 号
謝辞
本論⽂を作成にあたり,丁寧な御指導を賜りました蚊野浩教授に感謝いたします.

16

付録 開発したプログラム[ファイル名]Eyetrack_blink.py[内容]
視線がどの方向に向いているかを出力し瞬目の回数をかぞえる.
[関数]
表5関数

内容

get_center

瞳の重心を求める

get_eye_center

目の重心に丸を描写

get_eye_parts

Dlib で得たランドマークから瞳の座標を求める

get_eye_image

目の周りのみをトリミングして拡大表示させる

get_pupil_location

瞳の中心座標を得て丸を描画

calculate_relative_pupil_position

目の中心座標と瞳の座標を引き算しその距離を出力する

calculate_direction

目全体を上下三等分しどの方向に視線が向いているかを判断する.

calc_ear

EAR の計算式

eye_marker

瞬きをしているかどうかの判断

17