Inside-Out カメラを用いた注視点推定に関する研究西尾 和晃

指導教授：藤吉 弘亘

3. 注視点の 3 次元位置推定

1. はじめに
Scan Path とは眼球が特定の順序で注視経路を辿る視覚メカニズムのことであり．Scan Path の取得は Computer
Vision 分野への貢献が期待できる．しかし，従来の視線計測装置は，実際の視界と同じ映像を撮影することができないため，3 次元 Scan Path を取得することができない．そこで，本研究では，両眼の視界と同じ映像を撮影することができるゴーグル型視線計測装置 Inside-Out カメラと両眼視線から奥行き方向を含めた注視点の 3 次元位置を推定する手法を提案する．

注視点の 3 次元位置取得の流れを図 3 に示す．

2.Inside-Out カメラ

図 3 : 提案手法の流れ提案する Inside-Out カメラの概要について述べる．

2.1 装置構成
これまでに試作した装置は，図 1 に示すように，ゴーグル上部に配置した眼球を撮影する Eye カメラ 2 台と，下部に配置した視界を撮影する Scene カメラ 2 台で構成されたゴーグル型の視線計測装置である．

人は視界の物体を常に一点で注視しているわけではないため，左右の視線が交差していないパターンも存在する．そのようなシーンにおいて両眼視線から注視点を正確に推定することは困難である．そこで，Eye カメラ画像中における瞳孔中心とプルキニエ像から算出した 3 次元視線ベク
トルを Scene カメラ座標系に変換する．その後，左右のScene カメラの関係を利用して左右の視線同士が交差するように補正し，ステレオ視を用いて注視点の 3 次元位置を取得する．

3.1 瞳孔抽出
画像に投影された瞳孔を楕円と見立て，文献 [1] の手法を用いて楕円パラメータを算出する．

3.2 瞳孔角膜反射法による視線値算出

図 1 : Inside-Out カメラの機構

Eye カメラは，IR ミラーを介して，人物の眼球を目の前から撮影した近赤外画像を取得する．Scene カメラはハーフミラーを介すことで，透明なカメラで光学的に人物視点とほぼ同一の位置からの映像を撮影することができる．また，ステレオカメラであるため，視界内の 3 次元位置を推定することが可能である．Inside-Out カメラより取得した画像を図 2 に示す．

視線値の算出には瞳孔と眼球回転中心の位置関係を利用した手法が一般的であるが画像から得た情報のみで実空間における両者の関係を推定することは困難である．そこで，両者の関係を用いず視線値を算出できる瞳孔角膜反射法を用いる．瞳孔角膜反射法は，視線を傾けたときに瞳孔中心とプルキニエ像の符号距離が大きくなる相関関係を利用した視線推定法である．予め視線値の真値が既知のデータから画像中における瞳孔中心とプルキニエ像の位置を取得し，両者間の符号付き距離を計算する．次に，2 つ以上視線値と符号付き距離のデータから変換式を計算する．最後に視線値が未知のデータから瞳孔中心とプルキニエ像位置を推定，距離を算出し変換式から視線値を計算する．

3.3 3 次元視線ベクトルの座標変換パラメータ推定
3 次元視線ベクトル VE は Eye カメラ座標系である．VEを Scene カメラ座標系のベクトル VS に変換するため，眼球の正面遠方に注視点 T を用意する．T を注視した状態
で Eye カメラから求められる視線単位ベクトルを VTE とする．眼球 E，注視点 T，視線ベクトル V の関係を図 4に示す．一方，T は眼球の正面遠方であるため，その視線方向は Scene カメラ座標系では，Z 軸に平行であり，(xs , y s , z s )T=(0, 0, 1)T(1)となる．したがって，Eye カメラ座標系の視線ベクトルからScene カメラ座標系へ変換されたベクトル VC (xc , y c , z c )Tは，

(xc , y c , z c )T
図 2 : Inside-Out カメラにより得られる映像
既存の視線計測装置と比較した結果を表 1 に示す．

=

(xs , y s , z s )T − (xe , y e , z e )T(2)となる．
上記の手順により，左右のカメラそれぞれの VC を求め，VE に加算することで，VS を求めることができる．

3.4 注視点の最適補正
表 1 : 既存の視線計測装置との比較結果
両眼視界との視差 3 次元計測
既存装置
Inside-Out カメラ

有無不可
可Inside-Out カメラは注視点の 3 次元位置を取得できるため，注視位置の経路を算出することで 3 次元 Scan Pathの取得が可能となる．

左の Scene カメラ画像中の点 ml と右の Scene カメラ
画像中の点 mr が対応しているとき，2 つの画像における投影点の座標関係は基礎行列 F で表すことができる．しかし，取得した視線ベクトルには誤差を含むため，Scene 画像上の注視点にもずれが生じる．そこで，文献 [3] にて提案されている最適補正を用いて，図 5 に示すように，Scene画像上の注視点同士が対応するように位置の補正を行う．

図 6 : 3 次元位置推定誤差

図 4 : 眼球と注視点の位置関係

図 5 : 注視点の最適補正
最適補正では，視線同士が交差するように，Scene カメラ画像上の注視点を移動させ，その移動量が最小となるように定める．左側 Scene カメラの最適補正後の Scene カメラ画像座標 m̂l と，右側 Scene カメラの m̂r は式 (3) を用いて算出する．

m̂l=ml −(uξ)Pk Fmr(uV0 [ξ]u)m̂r=mr −(uξ)Pk FT ml(uV0 [ξ]u)(3)

ここで，Pk は第 3 成分を 0 にする投影行列であり，u とξ は，それぞれ基礎行列 F とデータ m = (u/f0 , v/f0 , 1)Tを 9 次元ベクトルに書き直したものである．

u = (F11 , F12 , F13 , F21 , F22 , F23 , F31 , F32 , F33 ) (4)ξ = (ul ur , ul vr , f0 ul , vl ur , vl vr , f0 vl , f0 ur , f0 vr , f02 )T
ここで，f0 は任意のスケール定数である．さらに行列 V0 [ξ]
は文献 [3] にて提案されている式である．求めた m̂ を mに代入し，式 (3) を再度適用し，収束するまで繰り返す．

4. 評価実験
Inside-Out カメラを用いて注視点の 3 次元位置を推定し，精度の評価を行う．

図 7 : 3 次元 Scan Path 推定例

5. まとめ本研究では，注視点の 3 次元位置を推定する Inside-Outカメラを提案した．今後は，取得した 3 次元 Scan Pathから人の視覚メカニズムの解析，意図の分析を行う予定である．

4.1 注視点の 3 次元位置推定精度

参考文献

実験では，対象までの距離 Z を 500mm〜5000mm と500mm 間隔で変化させたときのランドマーク点を注視して，提案手法により 3 次元位置を取得する．平均誤差 と標準偏差を図 6 に示す．グラフ中のステレオ分解能は，ある奥行き Z において Scene カメラ画像中の 0.5pixel に対応する実空間の幅である最適補正後の結果は，誤差値が分解能を下回っていることから，サブピクセル推定と同等の精度であることが確認できる．これは，左右の Scene カメラの関係を利用して左右の視線同士が交差するように補正したことで精度が向上したためである．

[1] 坂下, 藤吉, 平田, 角膜における屈折を考慮した３次
元眼球運動計測 , 第 13 回画像センシングシンポジウ
ム SSII07, IN2-25, 2007.

4.2 3 次元 ScanPath 推定
被験者に直方体の輪郭を注視してもらい，提案手法により取得した注視点位置の履歴から 3 次元 Scan Path を推定する．3 次元 Scan Path を推定した結果を図 7 に示す．
図 7 から，Scan Path は直方体の輪郭をなぞっていることが分かる．また，既存システムでは取得が困難であった注視点の 3 次元位置情報を高精度かつリアルタイムに取得することができる．

[2] 竹上, 後藤, 大山玄 視線方向検出におけるセルフキャリブレーションに関する研究 , 電子情報通信学会論文
誌, Vol. J84-D-II, pp.1580-1588, 2001
[3] 金谷, 菅谷, 新妻, 2 画像からの三角測量: Hartley vs.
最適補正 , 情報処理学会研究報告, No.2007-CVIM162-54, pp.335-342, 2007.

研究業績[1] 西尾, 木村, 藤吉, 平田, 自由空間における注視点の 3次元位置を取得する Inside-Out カメラの提案 , 第 15
回画像センシングシンポジウム SSII’09, IN1-13.
[2] K. Nishio, M. Kimura, H. Fujiyoshi, Y. Hirata,
Proposal of Inside-Out Camera for Measuring 3D
Gaze Position in Free Space , CVPR2009 Video
review, 2009.