人物内部状態推定のための瞬目度自動認識の研究
知能情報工学講座
学籍番号 2504860250
水戸
研究背景及び目的
例えば運転中のドライバーの疲労度認識など，安全確保のために人物の内部状態を自動認識する必要性は非常に高い．これを非拘束に行うために，画像認識技術を用いて人物の動作，顔の表情などを解析することが有効であると考えられる．筆者らは目の状態に注目し，瞬目の回数変化検出及び半閉目状態の出現検知により，人物の集中度・疲労度の状態の認識を行う手法の研究を行っている．本稿では，自動検出した目領域に含まれる瞳部分の面積・まぶたの形状変化を連続計測することにより求めた瞬目回数の変化と半閉目状態との推移を，目視検出結果と生理的指標である脳波解析結果との比較を行った．

大輔

探索し目領域を抽出していく．目領域の検出処理の流れ
図を図 2 に示す．

顔領域のフレーム間差分変化量の累積
しきい値処理瞬目動作による動きの多い最頻度点抽出
抽出された最頻度点につながりあう黒画素抽出

目の状態認識による内部状態の推定
心理的な動揺や怒り，疲労など人物の内部状態が外面に顕れる仕草・部位として，顔の局所的変形・表情変化，目線の動き，瞬目回数の変化，頭・手など身体一部の動き，貧乏揺すりなど身体全体の動き・姿勢変化，等が挙げられる．特に視線，目の状態，瞬目など，目に関する仕草は，非常に多くの情報量を有している．
今回，人物内部状態推定の一環として，画像計測により求めた瞬目の回数・間隔に基づいて疲労度の推定を行う研究を開始した．完全に目を閉じた状態となる通常の瞬目（以下，「全瞬目」）に加え，眠気を生じ目がとろんとした状態（以下，「うつろ目」）も同時に測定するための画像処理手法を新たに開発した．

処理の流れ

眼領域設定
図２

・瞳部分検出方法
目領域から瞳位置を検出する．瞳は個人差によらずほぼ円形である事に注目し，二次元ハフ変換による手法を用いた．先に抽出されている眼領域にエッジ処理を加え，二次元ハフ変換を行う事によって瞳の円を検出する．同時に瞳の半径ｒ，及び瞳の中心座標(Xcenter,Ycenter)の情報を得ることができる．
図 3 に二次元ハフ変換により瞳の円検出を行う処理手順を示す．

・全体の流れ
目の状態認識のための手順を説明する．
先ず撮影された顔画像に対して目の領域を検出する．次に円の二次元ハフ変換により瞳部分の検出を行う．最後に抽出した瞳領域の面積から目の状態認識を行う．処理の流れを図１に示す．

エッジ抽出
二次元ハフ変換
半径ｒ
中心座標(Xcenter,Ycenter)の決定

顔画像撮影
連続フレーム間差分によるフレーム間目領域検出
二次元ハフ変換による瞳部分検出
瞳部分面積による目の状態認識
図１

処理の流れ図・目領域検出
顔面のグレイスケール画像の連続フレーム間差分により，顔面内部において瞬目等による明度変化が大きくなる点を累積し，最も変化量が大きくかつ画素が黒領域である点を瞳の一部分とし，隣接しあう画素の黒画素を目領域設定処理の流れ図

図３

瞳部分検出の流れ・閉目・半閉目の判断検出された瞳より，開眼状態・半閉目状態・閉眼状態の目状態認識を行う．二次元ハフ変換により得られた円の中心座標(Xcenter,Ycenter)より Xcenter 座標上における黒画素数をカウントする事で求めた瞳縦幅と，瞳の最大幅との比率により瞳の３状態(開眼・半閉目・閉眼)の判断を行った．
・全瞬目・うつろ目の判断
半閉目状態の判断については通常の瞬目による瞬時的な半閉目状態と眠気が生じていると推定される連続的な半閉目状態(うつろ目)との区別をつけるために，0.5 秒以上(５フレーム以上)半閉目状態が続いた際にうつろ目とした．

評価実験
・脳波計測実験機器
生理的指標を得るために脳波の検出を行った．脳波にはEOG等のノイズが重畳するが生理的指標として利用できると考えられるため採用した．脳波変化脳波計測システム
としてAD変換装置(CEDmicro1401)日本光電社製脳波計(EEG-4418) PC(PowerMacintosh8100AV)を用いる．
・ＣＶ実験機器提案手法をVisual C++ 6にてソフトウエア化し評価実験を行った．PC(CPU Intel Xeon 3.6GHz メモリ2G)にキャプチャボードMatrox社製Meteor2を取り付け、実験を行った．
・脳波計測実験結果
心的操作に伴って発生する電位変化である事象関連電位の計測実験を行った．被験者に対するタスクとしてオドボール課題(１秒毎に発生する音を低音と高音かに聞き分け，出現頻度の低い高音の出現回数を記憶する課題)を 30分の事前練習の後，15 分を 3 セット・13 分を１セット課した． 各セットの高音時(以下, ｢target｣)及び低音時(以下,「non-target」)の反応に対する脳波を比較することで，生理的指標として用いる．結果をタスクの最初の 15 分間の結果を図 4-1 表 4 に、最後の 13 分間の結果を図 4-2 に示
す．
0.6target

non-target

0.5
0.4
0.3μV

0.20.100100200300400500600700800900

1000-0.1-0.2-0.3

表 1 タスク最初 15 分間における結果
Framex1

y1z1

r10-3000

250

235

15118

3001-6000

244

232

1298

6001-end

255

235

20

108

Sum

749

702

47324

表 2 タスク最後 13 分間における結果
Framex1

y1

z1

r1

0-3000

287

174

113

43

3001-6000

243

115

128

44

6001-end

108

52

56

22

sum

638

341

297

109

認識率(y1/x1)は最初 15 分間が 93.72％，最後 13 分が53.44％となった．またそれぞれの FRR， FAR は最初 15分間が 6.27％，43.25％，最後 13 分が 46.55％，17.08％となった．
・うつろ目認識評価
瞬目と同様にうつろ目に対する認識評価を行った．タスクの最初の 15 分間の結果を表 3 に，最後 13 分間の結果を表 4 に示す．
ここで表の x2 は目視によるうつろ目のイベント数，y2は CV および目視両方でうつろ目と判断されたイベント数，
z2 は目視でうつろ目だったが CV では認識されなかった
イベント数，r2 は目視で開眼・半閉目状態だったが CV において誤認識でうつろ眼とされたイベント数を示す．
表 3 タスク最初 15 分間における結果

差分

Frame

-0.4

x2

y2z2r2msec

図 4-1 タスク最初 15 分間における脳波解析結果
0.60-3000

91843001-6000

143

11136001-end

71

65sum

30

525

220.5

non-target

0.4

表 4 タスク最後 13 分間における結果

0.3

Frame

μV

0.2

target

0.1

00100

200

300

400500

600

700

800

900

1000

x2y2z2r20-3000

954133001-6000

302512156001-end

30

15152sum69453130

-0.1

-0.2

差分-0.3-0.4msec

図 4-2 タスク最後 13 分間における脳波解析結果

・4.3.1 全瞬目認識評価
閉眼に対する性能の評価を行った．タスクの最初の 15 分
間の結果を表 1 に，最後の 13 分間の結果を表 2 に示す．
ここで表の x1 は目視による瞬目のイベント数，y1 は CVおよび目視両方で瞬目と判断されたイベント数，z1 は目視で閉眼だったが CV では認識されなかったイベント数，
r1 は目視では瞬目・半閉目状態だったが，CV において誤認識で瞬目とされたイベント数を示す．

認識率(y2/x2)は最初 15 分間が 16.66％、最後 13 分が65.22％となった．またそれぞれの FRR ，FAR は最初15 分間が 83.33％，73.33％，最後 13 分が 44.92％，43.47％となった．

まとめ
疲労状態・覚醒低下状態の推定のために，目の状態に注目し，自動検出した目領域に含まれる瞳部分の面積・まぶたの形状変化を連続計測することにより求めた瞬目の検出に半閉目状態の推移的な情報の認識を加え，瞬目回数の変化と半閉目状態との推移を目視検出結果と生理的指標である脳波解析結果との比較を行う事で，疲労状態・覚醒低下状態の推定に半閉目・生理的指標の導入の有効性を確認した．