(57)【要約】【課題】使用者の視線を検出する視線検出装置において、検出精度の向上と処理手続きの簡素化を可能にする。【解決手段】撮像デバイスの撮像方向を奥行方向としレンズ中心を含む平面上において２つの光源をレンズ中心の縦方向と横方向にそれぞれ設置し、撮像デバイスで使用者の瞳孔像と２つの光源の反射像ｐ１i、ｐ２iを含んだ眼球像５を取得する。そして、レンズ中心と角膜曲率中心とを結んだ直線の撮像デバイス上の交点を基準点ｒiとし、撮像デバイスの横方向に設置した光源の反射像の縦座標、縦方向に設置した光源の反射像の横座標をこの基準点のそれぞれ縦座標、横座標とし、瞳孔像と基準点の位置関係から視線方向を検出する。つまり、光源の反射像の座標を求めるだけで基準点の座標が決まるので、基準点計算に伴う計算誤差が発生せず、処理手続きも簡素である。また、２つの光源の反射像間の距離Ｄｐから眼球と撮像デバイスとの距離も計算できる。【選択図】図１
2007029126.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスの撮像方向を奥行方向としレンズ中心を含む平面上において２つの光源をレンズ中心の縦方向と横方向にそれぞれ設置し、撮像デバイスで使用者の瞳孔像と２つの光源の反射像を含んだ眼球像を取得する画像取得手段と、レンズ中心と角膜曲率中心とを結んだ直線の撮像デバイス上の交点を基準点とし、前記撮像デバイスの横方向に設置した光源の反射像の縦座標および縦方向に設置した光源の反射像の横座標をそのまま該基準点の縦座標および横座標とし、前記瞳孔像と該基準点との位置関係から視線を検出する視線検出手法と、前記２つの反射像間の距離から前記使用者の眼球と前記撮像デバイス間の距離を計算する距離測定手段とを備えていることを特徴とする視線算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の視線の検出装置に関し、特に、光源をカメラ等の撮像デバイスの周辺に配置し、撮像デバイスで取得した使用者の眼球像と眼球上の光源の反射像を利用した視線の検出装置に関する。
【背景技術】
【０００２】
カメラ等の撮像デバイスから得た使用者の目の画像情報から使用者の眼球の回転角を算出し視線の方向を検出する手法及び装置は既に様々に提案されている。
【０００３】
視線検出の基本的な手法を図２、３、４を用いて説明する。図２にカメラ等の撮像デバイス１の座標系を定義する。
左図のように撮像デバイスの撮像方向を奥行方向の軸としてｚ軸をとり、レンズ中心を含む平面上の横軸をｘ軸、縦軸をｙ軸とする。
それぞれの軸は垂直に交わる。右図は撮像デバイスを正面から見た図である。図３は視線検出手法の原理を説明する図である。
撮像デバイス１と使用者の眼球３を上（ｙ軸正方向）側から見たものである。
撮像デバイスのレンズ２のレンズ中心ｏから撮像デバイス１および眼球３までの距離をそれぞれＦ０、Ｆ１、角膜曲率半径をＲｃと表す。
図３において使用者の視線４と角膜表面との交点をｅとすると、使用者の視線方向はベクトル＜ｃｅ＞（以下、視線ベクトルと呼ぶ）で表され、視線はこれらの点を結んだ直線ｃｅ（以下、視線ｃｅと呼ぶ）で表される。
（ここで、本文では点ａから点ｂへのベクトルの表記を＜ａｂ＞とする。）
使用者の視線と角膜表面との交点ｅを表す対象は色々提案されているが、代表的なものは角膜表面の瞳孔や虹彩の中心位置である。
また、瞳孔は角膜より内部にあり角膜表面には屈折した像が現れるので、屈折を考慮した瞳孔中心を交点ｅとする手法もある（非特許文献１）。
以下の説明では、瞳孔中心を視線と角膜表面との交点ｅとして説明する。視線検出では、この視線ベクトル＜ｃｅ＞
および視線ｃｅを導出することが目的となる。
【０００４】
視線ベクトル＜ｃｅ＞は、レンズ中心ｏを基点に、＜ｃｅ＞＝＜ｏｅ＞−＜ｏｃ＞              ・・・（１）
と、レンズ中心ｏから瞳孔中心ｅへのベクトル＜ｏｅ＞および角膜曲率中心ｃへのベクトル＜ｏｃ＞で表せる。
ここで、レンズ中心ｏと角膜曲率中心ｃを結ぶ線分ｏｃと角膜表面の交点を基準点ｒとし、
レンズ系を通して撮像デバイスに映し出された画像における瞳孔中心および基準点に対応する点をそれぞれ、
ｅｉ＝（Ｅｉｘ，Ｅｉｙ，Ｅｉｚ）
ｒｉ＝（Ｒｉｘ，Ｒｉｙ，Ｒｉｚ）
と表す。ここで、Ｅｉｚ＝Ｒｉｚ＝−Ｆ０である。
角膜曲率中心ｃと撮像デバイス上の基準点ｒｉは、レンズ中心ｏを通る同一直線上にあるので、ベクトル＜ｏｃ＞は、幾何学的条件から、
＜ｏｃ＞＝｛（Ｆ１＋Ｒｃ）／Ｆ０｝×＜ｒｉｏ＞
と表せる。
また、角膜表面の瞳孔中心ｅと撮像デバイス上の瞳孔中心ｅｉも、レンズ中心ｏを通る同一直線上にある。
ここで、レンズ中心からｚ座標方向に伸ばした直線と角膜曲率中心間が大きく離れていない場合、あるいはレンズ中心から眼球までの距離Ｆ１が十分長い場合は、角膜表面の瞳孔中心のｚ座標をＦ１に近似できる。
このとき、ベクトル＜ｏｅ＞は、幾何学的条件から、
＜ｏｅ＞＝（Ｆ１／Ｆ０）×＜ｅｉｏ＞
と表せる。
（近似を使わない場合は、直線ｏｅｉと角膜表面の交点により求める。）
ゆえに視線ベクトル＜ｃｅ＞は、式（１）から、
＜ｃｅ＞＝｛（Ｆ１＋Ｒｃ）／Ｆ０｝×＜ｏｒｉ＞−（Ｆ１／Ｆ０）×＜ｏｅｉ＞  ・・・（２）
と表せる。
【０００５】
式（２）内の各パラメータを以下で検証する。
レンズ中心と撮像デバイス間の距離Ｆ０は既定である。
レンズ中心と眼球像間の距離Ｆ１は使用者の頭部を固定するなどして規定値に使用者を拘束するか、撮像デバイスや測定装置等を使ってＦ１を直接測定することで決まる。
角膜曲率半径Ｒｃは解剖学的に人間の平均的な値が知られているので利用できる。
撮像デバイス上での瞳孔中心ｅｉは、撮像デバイスで取得した眼球像から検出する。
図４のように、レンズを通して撮像デバイスに使用者の眼球像５が映し出される。
映し出された画像はレンズにより反転されるので、図４ではｚ軸を中心に座標系を１８０度反転させている。
この眼球像中の瞳孔６や虹彩７の画像情報から点ｅｉが検出できる。
そして、最後に残った視線ベクトル導出に必要なパラメータが撮像デバイス上での基準点ｒｉである。
したがって、視線を検出するには撮像デバイス上での基準点ｒｉをどのように求めるかが問題となる。
【０００６】
基準点の導出に広く用いられているのが角膜反射法と呼ばれる手法である。
これは、撮像デバイス側に光源を設置し、撮像デバイスで眼球の画像と一緒に光源の角膜上の反射像（プルキニエ像）を取得し、この反射像から視線算出のための基準点を導出する手法である。
【０００７】
最も直接的な手法は、特許文献１に示されているハーフミラーを用いたものである。
図５を用いて手法を説明する。
撮像デバイス１と使用者の眼球３を側面（ｘ軸負方向）から見たものである。
眼球とレンズ２の間にハーフミラー８を４５度の角度で挿入し、その上部に光源９を設置する。光源からの光はハーフミラーで反射して角膜上にプルキニエ像ｐが形成される。このとき、プルキニエ像は基準点に一致する。
したがって、撮像デバイス上に映し出されたプルキニエ像ｐｉを基準点ｒｉとして
式（２）に代入することで視線ベクトルが導出できる。
ただし、この手法の場合は光源からの光が瞳孔の中心付近に照射されることになる。
通常、光源には赤外光を用いる。
理論上、赤外光は撮像デバイスでは検知できるが、人間には知覚できない。
しかし、赤外光のパワーが強いと人間にはストレスに感じられることが知られている。
ゆえに、瞳孔の中心付近に光源からの光が照射されるのは問題である。
【０００８】
そこで、光源からの光が瞳孔付近に入射しないように光源の位置を調整しているのが非特許文献１のような手法である。
非特許文献１では図６のように撮像デバイスの下側（ｙ軸負方向）に光源９を設置することで基準点とプルキニエ像の位置をあえてずらしている。
図７、８を用いて手法を説明する。
図７の下図は、撮像デバイス１と使用者の眼球３を側面（ｘ軸負方向）から見たものである。
図７の上図は、撮像デバイス１と使用者の眼球３を上（ｙ軸正方向）側から見たものである。
上下の図においてｚ軸方向を合わせている。
図８は、撮像デバイスに映し出された使用者の眼球像５およびプルキニエ像ｐｉを表している。
図７の下図のように、レンズ中心ｏからｙ軸負方向に光源９を設置しているので、
プルキニエ像ｐは基準点ｒから下方向にずれる。
このずれΔｐは、レンズ中心と光源間の距離Ｈ、角膜曲率半径Ｒｃ、レンズ中心から眼球までの距離Ｆ１から、Ｆ１がＲｃより十分大きい場合、近似的に、
Δｐ≒（Ｒｃ×Ｈ）／２Ｆ１
のように導出できる。
ゆえに、撮像デバイス上の基準点のｙ座標Ｒｉｙは、撮像デバイス上のプルキニエ像のｙ座標Ｐｉｙから、
Ｒｉｙ≒Ｐｉｙ−（Ｆ０／Ｆ１）Δｐ
と近似的に導出できる。
一方、ｘ軸方向については、図７の上図のように、レンズ中心からｙ軸負方向に光源９を設置している場合は、ｘｚ平面において、レンズ中心から角膜曲率中心への線分と
光源から角膜曲率中心への線分が一致する。
これは眼球の位置が移動しても常に成り立つ。
ゆえに、撮像デバイス上での基準点のｘ座標Ｒｉｘは、撮像デバイス上でのプルキニエ像のｘ座標Ｐｉｘに等しい。
したがって図８のように、撮像デバイス上のプルキニエ像ｐｉの真上（ｙ軸負方向）に
基準点ｒｉが存在する。
【０００９】
また、特許文献２のように２つの光源を用いる手法も考えられている。
特許文献２では図９のように撮像デバイス１の両脇（ｘ軸方向）に光源９を設置している。
図１０、１１を用いて手法を説明する。
図１０は、撮像デバイス１と使用者の眼球３を上（ｙ軸正方向）側から見たものである。
図１１は、撮像デバイスに映し出された使用者の眼球像５および２つのプルキニエ像ｐ１ｉ、ｐ２ｉを表している。
レンズ中心ｏの左右に同じ距離Ｇで光源９を設置すると、プルキニエ像は基準点ｒを挟んだ左右ｐ１、ｐ２に形成される。
そして、基準点のｘ座標Ｒｘは、２つのプルキニエ像のｘ座標Ｐ１ｘ、Ｐ２ｘの中点に近似的に一致する。
このとき、角膜上の基準点と同様に、撮像デバイス上の基準点のｘ座標Ｒｉｘも
Ｒｉｘ≒（Ｐ１ｉｘ＋Ｐ２ｉｘ）／２
と表され、撮像デバイス上の２つのプルキニエ像Ｐ１ｉｘ、Ｐ２ｉｘの中点に近似的に一致する。
一方、ｙ軸方向については、図７の上図においてｘ軸とｙ軸とを入れ替えた状況に等しい。
つまり、光源がレンズ中心の通るｘ軸上に配置されている場合、撮像デバイス上での基準点のｙ座標Ｒｉｙは、撮像デバイス上での２つのプルキニエ像Ｐ１ｉｙ、Ｐ２ｉｙと等しい。
ゆえに図１１のように、撮像デバイス上の２つのプルキニエ像ｐ１ｉ、ｐ２ｉはｘ軸と平行に並び、その中点が基準点ｒｉとなる。
【００１０】
さらに、特許文献２の手法では、
レンズ中心から眼球（正確にはプルキニエ像の発生位置）までの距離Ｆ１は、
Ｆ１×（Ｆ１＋Ｒｃ）≒Ｆ０×Ｇ×Ｒｃ／｜Ｐ１ｉｘ−Ｐ２ｉｘ｜            ・・・（３）
の関係を満足する。
すなわち、撮像デバイス上の２つのプルキニエ像の間隔｜Ｐ１ｉｘ−Ｐ２ｉｘ｜
から、レンズ中心ｏと眼球間の距離Ｆ１を導出できる。
【非特許文献１】大野健彦、武川直樹、吉川厚、‘‘２点補正による簡易キャリブレーションを実現した視線測定システム’’、情報処理学会論文誌、Ｖｏｌ．４４、Ｎｏ．４、ｐｐ．１１３６−１１４９、２００３．
【特許文献１】特開Ｓ６１−１７２５５２号公報
【特許文献２】特開Ｈ０２−２６４６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
背景技術において説明した非特許文献１や特許文献２の手法では測定誤差や計算誤差の影響を受けやすい。
【００１２】
非特許文献１の手法の場合、
プルキニエ像から基準点を導出する際に、ｙ座標に関しては光源やレンズ中心から眼球までの距離情報が必要である。
距離情報の測定手段によるが、この情報には測定誤差が発生しやすい。
また、近似式を使っているので計算誤差も発生してしまう。
【００１３】
特許文献２の手法の場合、非特許文献１の手法に比べると、光源やレンズ中心から眼球までの距離情報が必要ではないので測定誤差の影響は小さいと考えられる。
しかし厳密には、２つのプルキニエ像の中点が基準点と等しくなるのは、レンズ中心を通るｚ軸に平行な直線上に角膜曲率中心ｃが存在する場合に限定される。
したがって、角膜曲率中心すなわち眼球位置がその直線から離れるほど導出する基準点のｘ座標に近似誤差を生じることになる。
もちろん上記のような中点による近似を使わない方法も考えられるが、光源やレンズ中心から眼球までの距離情報が必要となり、かつ計算コストが高くなる問題が新たに生じる。
【課題を解決するための手段】
【００１４】
非特許文献１における撮像デバイス上の基準点のｘ座標Ｒｉｘ、特許文献２における撮像デバイス上の基準点のｙ座標Ｒｉｙの導出方法に着目した。
すなわち、非特許文献１では、図７の上図のように、レンズ中心ｏからｙ軸方向にずらして光源９を設置している場合は、ｘｚ平面において、レンズ中心から角膜曲率中心への線分と光源から角膜曲率中心への線分が幾何学的に一致する。
ゆえに、撮像デバイス１上での基準点のｘ座標Ｒｉｘは、撮像デバイス上でのプルキニエ像のｘ座標Ｐｉｘに等しい。
同様に、特許文献２では、
レンズ中心からｘ軸方向にずらして光源を設置している場合は、ｙｚ平面において、レンズ中心から角膜曲率中心への線分と光源から角膜曲率中心への線分が幾何学的に一致する。ゆえに、撮像デバイス上での基準点のｙ座標Ｒｉｙは、撮像デバイス上でのプルキニエ像のｘ座標Ｐｉｙに等しい。
つまり、レンズ中心からｙ軸方向に光源を設置している場合は撮像デバイス上の基準点のｘ座標が、レンズ中心からｘ軸方向に光源を設置している場合は
撮像デバイス上の基準点のｙ座標が、それぞれプルキニエ像を検出するだけで近似無しで正しく導出できる。
【００１５】
そこで本発明では、
２つの光源をレンズ中心からｘ軸方向とｙ軸方向にそれぞれずらして配置し、それぞれの光源に対応する撮像デバイス上のプルキニエ像の座標値を検出する。
そして、ｘ軸方向にずらした光源に対応するプルキニエ像のｙ座標を撮像デバイス上の基準点のｙ座標とし、ｙ軸方向にずらした光源に対応するプルキニエ像のｘ座標を
撮像デバイス上の基準点のｘ座標とする。
【発明の効果】
【００１６】
本発明では、
撮像デバイス上でのプルキニエ像の座標値がそのまま撮像デバイス上の基準点の座標値となるので、基準点を導出するための数値演算を必要としない。
ゆえに、基準点の検出手順が簡潔で検出速度も速い。
また、近時計算を使用しないので計算誤差が発生しない。
ゆえに、基準点の検出精度が高い。
【発明を実施するための最良の形態】
【００１７】
図１２は、本発明を実施するための形態例の撮像デバイスと光源の位置関係を表したものである。
例えば、図のように、撮像デバイス１のレンズ中心ｏの真横（ｘ軸負方向）と真下（ｙ軸負方向）に
光源９をそれぞれ配置する。
光源には使用者に不快感を与えない赤外線が照射可能な発光ダイオード等の投光器を用いる。
撮像デバイスには赤外光領域に応答可能なものを使用する。
さらに、赤外光以外の応答を抑制するようなフィルタを撮像デバイスのレンズに装着することで、投光器以外の照明（自然光など）の影響を抑えることができる。
【００１８】
撮像デバイスを使用者の眼球へ向けると、撮像デバイスには図１のように使用者の眼球像５およびｘ軸方向とｙ軸方向の光源に対応する２つのプルキニエ像ｐ１ｉ、ｐ２ｉが映し出される。
「課題を解決するための手段」で説明したように、撮像デバイス上の基準点のｙ座標Ｒｉｙはｘ軸方向の光源に対応するプルキニエ像ｐ１ｉのｙ座標Ｐ１ｉｙに等しい。
また、撮像デバイス上の基準点のｘ座標Ｒｉｘもｙ軸方向の光源に対応するプルキニエ像ｐ２ｉのｘ座標Ｐ２ｉｘに等しい。
ゆえに、撮像デバイス上の２つのプルキニエ像の座標値Ｐ２ｉｘ、Ｐ１ｉｙがそのまま撮像デバイス上の基準点ｒｉの座標値になる。
【００１９】
また、２つの光源の間隔をＤ０とし、撮像デバイス上の２つのプルキニエ像の間隔をＤｐとすると、レンズ中心から眼球までの距離Ｆ１は、特許文献２の式（３）の場合と同様に、
Ｆ１×（Ｆ１＋Ｒｃ）≒Ｆ０×Ｄ０×Ｒｃ／Ｄｐ      ・・・（４）
の関係を満足する。
すなわち、２つの光源の間隔Ｄ０と２つのプルキニエ像の間隔Ｄｐよりレンズ中ｏ心から眼球までの距離Ｆ１を導出できる。
ここで、２つの光源の間隔Ｄ０は、レンズ中心ｏからｘ軸方向の光源９までの距離をＧ、
レンズ中心ｏからｙ軸方向の光源９までの距離をＨをすると、
Ｄ０＝√（Ｇ２＋Ｈ２）
と計算され、２つのプルキニエ像の間隔Ｄｐは、
Ｄｐ＝√｛（Ｐ１ｉｘ−Ｐ２ｉｘ）２＋（Ｐ１ｉｙ−Ｐ２ｉｙ）２｝
と計算される。
また、２つのプルキニエ像のｘ座標間の距離やｙ座標間の距離でも同様にＦ１を導出できる。
【実施例】
【００２０】
図１３は、本発明に係る視線検出装置を視線入力によるポインティングデバイスに
適用した際の実施例を表したものである。
この図を参照しながらこの実施例について説明する。
【００２１】
本発明に係る視線検出装置は、図１３に示すように、カメラ等の撮像デバイス１、２つの光源９、演算装置１０から構成され、本発明を視線入力によるポインティングデバイスに適用した場合は、さらにコンピュータ１１、ディスプレー１２から構成される。
使用者は撮像デバイスの正面から撮像デバイスへ顔を向ける。
まず、上記「最良の形態」で示したように設置した撮像デバイスの横側および下側の２つの光源から使用者の目３に向けて赤外光を照射する。
撮像デバイスには、使用者の眼球像５および２つのプルキニエ像ｐ１ｉ、ｐ２ｉが映し出される。
演算装置では、瞳孔領域や虹彩領域を抽出し、それらの情報から瞳孔中心ｅｉを特定する。
また、プルキニエ像の領域を抽出し位置を特定する。
この際、重心計算などの画像処理を利用することで撮像デバイスの解像度を超えた精度（サブピクセル）でプルキニエ像の位置を特定できる。
そして、撮像デバイス上の２つのプルキニエ像の座標値をそのまま撮像デバイス上の基準値の座標値ｒｉに当てはめる。
そして、式（２）に従い視線ベクトルを導出する。
この際、レンズ中心と眼球間の距離Ｆ１を式（６）で導出しても良いし、使用者の頭部を固定しても良いし、別の測定装置によりＦ１を直接測定しても良い。
そして、視線ベクトルから視線を表す直線４が求められる。
この視線４とディスプレー１２を表す平面の交点が使用者の注視している位置１３となる。
この注視している位置をコンピュータ上の座標値に変換し、ディスプレー上で入力可能な位置を示すカーソル１４の座標値とすることで、視線入力によるカーソルの位置制御を行うことができる。
このカーソル座標値をコンピュータ１１に送り、コンピュータはディスプレー１２にカーソル１４を表示させる。
【産業上の利用可能性】
【００２２】
実施例の視線入力によるポインティングデバイスのように、視線方向に基づいた対象物の操作への応用や、特許文献２にも挙げられている、カメラのファインダーに内蔵して使用者の視線方向に基づいた撮影のように、視線方向に基づいた画像や装置などの処理への応用が考えられる。
【図面の簡単な説明】
【００２３】
【図１】本発明を実施するための形態例の撮像デバイスに映し出された眼球像とプルキニエ像を表した図である。
【図２】視線検出に用いる撮像デバイスとその座標系の立体図（左）と正面図（右）である。
【図３】基本的な視線検出手法の原理を説明するための装置系を上面から見た図である。
【図４】基本的な視線算出手法での撮像デバイスに映し出された眼球像を表した図である。
【図５】特許文献１の視線検出手法を説明するための装置系を側面から図である。
【図６】非特許文献１の撮像デバイスと光源の位置関係を表した立体図（左）と正面図（右）である。
【図７】非特許文献１の視線検出手法を説明するための装置系を側面から見た図（下）と上面から見た図（上）である。
【図８】非特許文献１の撮像デバイスに映し出された眼球像とプルキニエ像を表した図である。
【図９】特許文献２の撮像デバイスと光源の位置関係を表した立体図（左）と正面図（右）である。
【図１０】特許文献２の視線検出手法を説明するための装置系を上面から見た図である。
【図１１】特許文献２の撮像デバイスに映し出された眼球像とプルキニエ像を表した図である。
【図１２】本発明を実施するための形態例の撮像デバイスと光源の位置関係を表した図である。
【図１３】本発明に係る視線検出装置を視線入力によるポインティングデバイスに適用した際の実施例を表した図である。
【符号の説明】
【００２４】
１    撮像デバイス
２    撮像デバイスのレンズ
３    使用者の眼球
４    使用者の視線
５    撮像デバイスに映し出された使用者の眼球像
６    撮像デバイスに映し出された使用者の瞳孔画像
７    撮像デバイスに映し出された使用者の虹彩画像
８    ハーフミラー
９    光源
１０    視線方向の演算装置
１１    コンピュータ
１２    コンピュータのディスプレー
１３    使用者の注視位置
１４    カーソル位置
【図１】
2007029126.tif 000003
【図２】
2007029126.tif 000004
【図３】
2007029126.tif 000005
【図４】
2007029126.tif 000006
【図５】
2007029126.tif 000007
【図６】
2007029126.tif 000008
【図７】
2007029126.tif 000009
【図８】
2007029126.tif 000010
【図９】
2007029126.tif 000011
【図１０】
2007029126.tif 000012
【図１１】
2007029126.tif 000013
【図１２】
2007029126.tif 000014
【図１３】
2007029126.tif 000015