水平・垂直・回旋眼球運動のリアルタイム画像計測に関する研究
画像認識講座

坂下 祐輔

指導教授

藤吉 弘亘

1. はじめに眼球運動には水平，垂直，回旋 (Yaw, Pitch, Roll) の 3次元運動がある．通常，カメラで捉えた瞳孔は実際の瞳孔の角膜屈折による虚像であるため，カメラ映像から眼球運動を計測すると誤差が生じる．このような誤差を防ぐため，水平・垂直運動の結果を校正する手法 [1] が提案されている．しかし，回旋運動への対応は未だできていないという問題がある．そこで，本研究では，角膜における屈折を考慮し，本来の瞳孔絞画像を求め，高精度な 3 次元眼球運動の計測法を提案し，その有効性を示す．

2. 角膜における屈折を考慮した 3 次元眼球運動計測
カメラから捉えた瞳孔は，実際の瞳孔の角膜屈折による虚像であるため，解剖学的な瞳孔位置よりも約 0.5 mm 角膜側に浮き上がり，13 ∼ 15 % ほど拡大された虚像として観測される．このように，カメラから取得した瞳孔中心から回転運動を算出すると誤差が生じることになる．また，視線を傾けた場合は，屈折の影響をより多く受けるため虹彩パターンに歪みが生じ，正面を向いている時の虹彩パターンとの類似性が低くなる．従って，正しい回旋角度の算出も困難になる．
このような回転角の誤差を防ぐためには，角膜における屈折の補正を行い，本来の虹彩画像を用いる必要がある．
図 1 に，角膜屈折を補正した眼球運動計測の例を示す．

図 3 : 楕円検出過程

Step3. アウトライア除去後の輪郭点に対して式 (1) に最小二乗法を適用し，パラメータの推定を行う．
Ax2 + Bxy + Cy 2 + Dx + Ey + F = 0

2.2. 瞳孔抽出に基づく眼球回旋計測
瞳孔抽出の応用として虹彩パターンを用いた眼球解析である眼球回旋運動について示す．以下に眼球回旋計測手順を示す．

Step1. 予め，回旋運動が生じていないときの虹彩パターンを参照用虹彩パターンとして取得．
Step2. 提案手法による瞳孔抽出を行い，瞳孔中心 (x0 , y0 )，瞳孔径 a, b，傾き φ を算出．
Step3. 図 4 に示すように瞳孔画像の (x, y) 空間から (θ, r)空間に虹彩パターンを投影．このとき，瞳孔輪郭点(xs , ys ) と 瞳孔外側の楕円軌道上の点 (xe , ye ) 間に対応する (θ, r) 座標を求め，補間を用いて画素値を内挿する．
Step4. 取得した虹彩パターン T と 0.5 度ずつずらした
参照用虹彩パターン R との類似度を式 (2) により算出し，最も類似した角度を眼球回旋角 θ̂s として出力．
360 X
X

図 1 : 角膜屈折を補正した眼球運動計測
本研究では，図 2 の流れにより，3 次元眼球運動計測を行う．まず，カメラから取得した虹彩画像から瞳孔抽出を行い，水平・垂直回転角を算出する．次に，求めた回転角を基に角膜における屈折補正をし，補正後の虹彩画像を取得する．ここで再度瞳孔抽出を行い，水平・垂直回転角を算出する．しかし，1 回目の推定した回転角は，屈折補正前の瞳孔から求めているため誤差が含まれている．従って，この処理を推定した回転角の変化が少なくなるまで繰り返す．最後に，歪みを取り除いた虹彩パターンを用いて回旋角度を取得する．

図 2 : 3 次元眼球運動計測の流れ

2.1. 高速楕円検出に基づく瞳孔抽出
瞳孔は視線の向きによって楕円形になる場合があり，瞳孔検出は円ではなく，楕円として検出する必要がある．また，まつ毛や照明入射光の影響により欠損する場合もある
ため，瞳孔を求める際はアウトライアの除去も必要である．
そこで本手法では，屈折による歪みを取り除いた画像から，瞳孔を楕円として捉え，アウトライアを除去し，楕円パラメータを推定する (図 3)．以下に，楕円検出手順を示す．
Step1. 楕円に内接する平行四辺形の成立条件より楕円の中心を算出する．

Step2. 楕円中心からの距離が等しい輪郭のみを残し，アウトライアの除去を行う．

(1)θ̂s = arg minθs ∈(0,···,360)|T (θ, rt ) − R(θ + θs , rref )|(2)θ=0 r=0

図 4 : 虹彩パターンの取得
瞳孔映像を撮影する際，瞳孔の高速な動きにより虹彩パターンにブレが生じる場合があり，正しい回旋角度を求めることができない場合がある．そこで，時系列情報を用いて回旋検出精度の低下を防ぐ．初期フレームである参照パ
ターンと現フレームの推定回旋角 θ̂st,0 ，参照パターンと 1
フレーム前の推定回旋角 θ̂st−1,0 ，1 フレーム前と現フレームの推定回旋角 θ̂st,t−1 をそれぞれ算出し，現フレームの結果を式 (3) により判定する．

½0θ̂s =

θ̂st,0reject, (|θ̂st,0 − θ̂st−1,0 − θ̂st,t−1 | ≤ 1 deg)
, (|θ̂st,0 − θ̂st−1,0 − θ̂st,t−1 | > 1 deg)(3)

2.3. 角膜における光線の屈折
角膜における屈折を考慮するには，3 次元空間における光の屈折を求める必要がある．本研究では，角膜を球と仮定し，直線と球の屈折原理を基に屈折計算を行う．なお，角膜の屈折率や角膜曲率半径，および角膜から虹彩までの距離はヒト眼球の平均モデルを用いる．図 5 に，光線と球における屈折原理を示す．

3.2. 視線を傾けた場合の眼球回旋運動計測実験
本実験では，視線を任意に動かした際の回旋運動を対象とする．評価として，屈折を考慮しない従来法と提案手法によって得られた回旋角度を，目視により求めた真値と比較する．それぞれの比較結果を図 7 と表 1 に示す．

図 5 : 光線と球の屈折原理
カメラ視点を P E ，光線の単位方向ベクトルを Ê ，角膜曲率中心を S(xs , ys , zs )，角膜曲率半径を r，光線上の点を P (x, y, z) とすると，パラメータ t を用いて視点を通る光線の方程式は式 (4) で表される．

P = Êt + P E(4)パラメータ t を求めることにより，交点 P が算出される．また，P での単位法線ベクトル N̂ は式 (5) によって求められる．
P −SN̂ =(5)r
次に，角膜での屈折を考える．通常，空気中から角膜，角膜から前房というように，光線が虹彩へ到達するまでには2 度の屈折を要するが，角膜の厚さはおよそ 0.1 mm であり，本システムでは，その影響を無視できる．そこで，空気中から前房の屈折計算を行う．空気と前房の屈折率をそれぞれ n1 (= 1.000), n2 (= 1.336) としたとき，屈折方向ベクトル T は式 (6) で表される．なお，次式では n = n2 /n1の相対屈折率を用いる．
0N̂ + V− N̂(6)
T = p00n2 ||V ||2 − ||N̂ + V ||2
これらの屈折計算により，視点 P E ，光線と球の交点 P ，屈折方向ベクトル T が求められるため，角膜における屈折補正後の虹彩画像の取得が可能となる．

3.

3 次元眼球運動計測実験

評価実験として，水平・垂直眼球運動計測と，視線を傾けた場合の眼球回旋計測の実験を行う．角膜における屈折を考慮しない従来法と，屈折を考慮した提案手法の計測結果を比較する．

3.1. 水平・垂直眼球運動計測実験
本実験では，眼球回転中心と瞳孔中心を結ぶ直線上を視線方向と仮定し，視線の動きを眼球の水平・垂直運動とする．真値には，20 点の注目点を用意し，被験者の眼中心を原点として各注目点までの角度を算出した結果を用いた．
図 6 に，従来法で得られた眼球回転角度と，提案手法によって得られた眼球回転角度から注目点を逆算した結果を示す．なお，図の赤色の楕円はカメラから得られた瞳孔を抽出した結果であり，緑色の楕円は屈折補正後の瞳孔抽出結果である．

図 7 : 3 次元眼球運動計測の例
表 1 : 屈折を補正した眼球回旋計測の平均誤差 [deg]
水平回転角
提案手法
従来法

±10.0±20.0±30.0±40.0

0.490.74
1.97
5.350.52
1.254.468.43

実験の結果，眼球の水平運動回転角が ±10 度以下の場合は，どちらの手法も平均誤差が小さい．しかし，視線を傾けるにつれ，提案手法がより精度が良いことがわかる．水平方向の回転角度が ±35 度以上の虹彩パターンは，カメラのピントの影響を受け，ブレが生じている．そのため，回転角度が 35 度以上の回旋角度の計測は不可能である．このような，35 度以上視線を傾けるという状況は，我々が故意に視線を動かさないかぎりほとんど起こらない．通常，ヒトが対象物を眼で追う際，視線と同時に頭部も動かすため，眼球の回転運動は最大でも ±25 度程度である．本手法は眼球回転角度が ±25 度以内であれば，真値との平均誤差は 1.5 度以下で計測できるため，眼球回旋計測システムとして有効である．

4. まとめ本研究では，角膜における屈折の補正と，高速な楕円検出法を用いてリアルタイムによって左右同時に 3 次元眼球運動を計測をする手法を提案し，評価実験により，その有効性と実用性を示した．
今後の課題として，虹彩パターンが少ない被験者でも計測可能になるようにシステムを改良し，個人パラメータを精度良く決定することを目的としていく．

参考文献[1] 竹上健, 後藤敏行, 大山玄 : “視線方向検出におけるセルフキャリブレーションに関する研究”, 信学論, Vol.J84-D-II, No.8,pp.1580-1588, 2001.

研究業績
図 6 : 視線方向推定結果
図 6 より，カメラから得られた瞳孔によって視線方向を推定した場合，初期位置から離れるにつれて誤差が大きくなることがわかる．一方，提案手法は角膜における屈折を考慮するため，初期位置から離れた場合でも真値とほぼ同じ結果が得られていることがわかる．

[1] 坂下祐輔, 藤吉弘亘, 平田豊, 高丸尚教, 深谷直樹 : “高速楕円検出に基づく眼球回旋運動のリアルタイム計測システム”, 電気学会論文誌 C, Vol.127, No.4, 2007 (掲載予定).
[2] 特願 2005-360645 “図形中心検出方法”[3] 特願 2005-360646 “楕円検出方法”(他 解説論文 1 件, 研究会技術報告 3 件, 学会口頭発表 3 件)