(57)【要約】【課題】使用環境が限定されず、比較的安価な視線検出装置を提供する。【解決手段】（１）黒目を中心とする目の部分を撮影するカラー画像の撮影部、（２）得られた画像を彩度、明度、色相の３要素に分解して数値化し、（３）得られた数値を一定の範囲に収まるようフィルタリングして、（４）得た値を１つの色相からなる黒目の画像に戻すことよりなる画像処理部、（５）黒目の中心を求め、視線の方向を推定する視線推定部とからなる視線検出システム。【選択図】なし【特許請求の範囲】
【請求項１】
（１）黒目を中心とする目の部分を撮影するカラー画像の撮影部、
（２）得られた画像を彩度、明度、色相の３要素に分解して数値化し、
（３）得られた数値を一定の範囲に収まるようフィルタリングして、
（４）得た値を１つの色相からなる黒目の画像に戻すことよりなる画像処理部、
（５）黒目の中心を求め、視線の方向を推定する視線推定部とからなる
視線検出システム。
【請求項２】
画像処理部に更に高速追跡処理部が設けられていることを特徴とする請求項１記載の視線検出システム。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明はカラー画像による視線検出システムに関する。
【０００２】
【従来の技術】
眼球運動の測定は、医学的、あるいは心理学的な観点から非常に重要であり、古くから研究されてきた。眼球運動を測定するシステムとして、角膜と網膜との間のわずかな電位差を利用したＥＯＧ法や、コンタクトレンズにコイルを組込み、磁界中でコイルの電位を測定するサーチコイル法、赤外線で目を照射し、その角膜反射像を赤外線センサーで計測する方法などが提案されてきたが、それらのシステムは特殊な装置を必要とするため、機器が高価で大規模となるか、使用環境が限定されるシステムであった。
【０００３】
また、眼球運動の測定を視線、即ち注視位置の測定に拡張することで、医学的、心理学的用途に加えて、視線入力インターフェースや、自動車等の運転者の視線測定、スポーツ等の特殊技能保持者の視線測定、インターネット上に配置した遠隔ウエブカメラをコントロールするためのインターフェース、視線制御カメラシステムを相互に配置した新たなコミュニケーションツールとして等、様々な応用システムが考えられる。
【０００４】
【発明が解決しようとする課題】
視線検出を利用した様々な応用システムへの利用では、使用環境が限定されず、比較的安価な装置であることが望ましい。そこで本発明者らは小型カメラのカラー映像を画像処理することで視線を実時間で測定するシステムについて検討し、本発明に到達した。
【０００５】
【課題を解決するための手段】
すなわち本発明は、
（１）黒目を中心とする目の部分を撮影するカラー画像の撮影部、
（２）得られた画像を彩度、明度、色相の３要素に分解して数値化し、
（３）得られた数値を一定の範囲に収まるようフィルタリングして、
（４）得た値を１つの色相からなる黒目の画像に戻す画像処理部、
（５）黒目の中心を求め、視線の方向を推定する視線推定部とからなる
視線検出システムである。
【０００６】
画像処理部には更に高速追跡処理部が設けられていることが好ましい。
【０００７】
【発明の実施の形態】
本発明につき詳しく説明する。
本発明の視線検出システムは、撮影部、画像処理部、視線推定部の３つの部分からなる。
【０００８】
図１に本発明の視線検出システムのフローチャートを示す。まず撮影部について説明する。本発明のシステムでは撮影部で黒目を中心とする目の部分を撮影する。図２に示したように目は虹彩と瞳孔とからなる角膜の部分とそれ以外の白目と称される強膜の部分とからなっている。本来視線の検出のためには角膜、すなわち黒目の部分のみを検出、測定することが望ましい。しかし、瞳孔は撮影持の照明の明るさによって大きさが変化してしまうため、次工程の画像処理において、瞳孔の半径を一定として処理することができなくなる。そこで、本発明では、虹彩までを含めた角膜全体を撮影の対象とした。
【０００９】
次ぎに画像処理部について説明する。本発明の視線検出システムでは、画像処理部は、得られた画像をカラーの３要素（彩度、明度、色相）に分解して数値化し、得られた数値を一定の範囲に収まるようフィルタリングして、得た値を１つの色相からなる画像に再構築する工程からなっている。
【００１０】
画像処理部ではまず全工程で撮影された黒目を中心とする目の画像を彩度、明度、色相の３要素に分解して数値化する。通常、カラー画像の画素はＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３色のパラメータの値によって表される。しかし、本発明においてはＨＳＩ色空間で表示することが好ましい。
【００１１】
ＨＳＩにおけるＨ（Ｈｕｅ）は色相であり、色そのものを表す。Ｓ（Ｓａｔｕｒａｔｉｏｎ）は彩度で、色の鮮やかさを示す。Ｉ（Ｉｎｔｅｎｓｉｔｙ）は明度で明るさを示す。撮影画像の一例を図３に、色相画像の一例を図４に、彩度画像の一例を図５に、明度画像を図６に示す。
【００１２】
本発明の視線検出システムの画像処理部では次ぎに上記ＨＳＩで表示することにより得られた数値を一定の範囲に収まるよう色空間フィルタリングする。この処理は様々な照明条件の基で撮影された黒目の数値を処理することにより均一な数値に変更させるための手法である。図７にＨＳＩ色空間上に表した色空間フイルタの様子を示す。
【００１３】
様々な照明条件で撮影された黒目領域の色相、彩度、明度のフィルタリング閾値調査結果を表１に示す。
【００１４】
【表１】
2004167051.tif 000002
【００１５】
次ぎに上記方法でフィルタリングして得た値を１つの色相図からなる黒目の画像に戻すことを行う。このようにして処理された様々な照明条件で撮影された黒目領域を赤で表示した写真を図８、９、１０に示す。どの写真も同様に黒目の部分のみ赤く染まっており、画像処理によって、均一化されたと考えてよい。
【００１６】
本発明の視線検出システムには実時間で視線の検出が可能なように、高速追跡処理部が組込まれていることが好ましい。このように高速追跡処理するには、画像を頻繁に撮影し、それを迅速に画像処理するソフト、ハードのシステムが具備されている必要がある。具体的には、処理能力の優れているパソコンで上記経時変化のない画像処理をするシステムを確立しておくことが好ましい。
【００１７】
本発明の視線検出方法では、上記フィルタリング処理後の画像から視線推定部で視線を推定する。フィルタリング処理後の画像から黒目部分の輪郭を抽出するが、まつ毛の影響が現れる場合が多い。安定した黒目部分の円形パターンを検出するためにまつ毛の影響を軽減することが望ましい。図１１に説明の対象とする目の画像、図１２に色空間フィルタリングした後、閾値処理して得た黒目部とまつ毛の２値画像をそれぞれ示す。
【００１８】
図１３を用いてまつ毛部の影響の軽減の方法を説明する。図１２の２値画像において、上部から下部に向かって走査し、最初に出合うまつ毛輪郭（上縁）と２番目に出合うまつ毛部輪郭（下縁）の間隔がある値の範囲内の場合、この部位はまつ毛部と判断し、輪郭を除去する。図１４にまつ毛部の影響を軽減し、黒目の一部と推定される輪郭画像を示す。
【００１９】
黒目部分の輪郭画像に対して、円の半径と中心を変化させ、最適な円形パターンを求め、この時の円の中心を目の中心とする。図１５に近似円を、図１６に目の画像（図１１）に円形パターンを重畳した画像をそれぞれ示す。
【００２０】
基準フレームで黒目半径を求めた後は黒目の大きさ（半径）はほぼ一定とし、円の中心座標のみを変化させて黒目中心を追跡する。
【００２１】
また別の簡便な方法としては、黒目を球の一部とみなして、画像の目における黒目の中心部の角度を算出して視線の方向を推定する方法を推定する方法をとることが出来る。
【００２２】
【発明の効果】
本発明の視線検出方法は安価でかつ迅速に視線を検出することができる。本発明の視線検出方法は、医学的、心理学的用途に加えて、視線入力インターフェースや、自動車等の運転者の視線測定、スポーツ等の特殊技能保持者の視線測定、インターネット上に配置した遠隔ウエブカメラをコントロールするためのインターフェース、視線制御カメラシステムを相互に配置した新たなコミュニケーションツール等として、様々な応用システムに採用することが可能であると考えられる。
【図面の簡単な説明】
【図１】図１は、本発明の視線検出システムのフローチャートである。
【図２】図２は、目の外観を示した概略図である。
【図３】図３は、本発明の方法の１実施例における撮影画像である。
【図４】図４は、本発明の方法の１実施例における色相画像である。
【図５】図５は、本発明の方法の１実施例における彩度画像である。
【図６】図６は、本発明の方法の１実施例における明度画像である。
【図７】図７は、本発明の方法の１実施例におけるＨＳＩ色空間上に表した色空間フイルタの様子を示した図である。
【図８】図８は、本発明の方法の１実施例において、ある照明条件で撮影された黒目領域を赤で表示した写真である。
【図９】図９は、本発明の方法の１実施例において、ある照明条件で撮影された黒目領域を赤で表示した写真である。
【図１０】図１０は、本発明の方法の１実施例において、ある照明条件で撮影された黒目領域を赤で表示した写真である。
【図１１】図１１は、本発明の方法の１実施例において、目の１例を示した画像である。
【図１２】図１２は、本発明の方法の１実施例において、色空間フィルタリングした後、閾値処理して得た黒目部とまつ毛の２値を示した画像である。
【図１３】図１３は、本発明の方法の１実施例において、まつげ部の影響を軽減せる方法を説明するための図である。
【図１４】図１４は、本発明の方法の１実施例において、まつげ部の影響を軽減せた図である。
【図１５】図１５は、本発明の方法の１実施例において、視線方向を検出する方法を示した図である。
【図１６】図１６は、本発明の方法の１実施例において、視線方向を検出する方法を示した図である。
【図１】
2004167051.tif 000003
【図２】
2004167051.tif 000004
【図３】
2004167051.tif 000005
【図４】
2004167051.tif 000006
【図５】
2004167051.tif 000007
【図６】
2004167051.tif 000008
【図７】
2004167051.tif 000009
【図８】
2004167051.tif 000010
【図９】
2004167051.tif 000011
【図１０】
2004167051.tif 000012
【図１１】
2004167051.tif 000013
【図１２】
2004167051.tif 000014
【図１３】
2004167051.tif 000015
【図１４】
2004167051.tif 000016
【図１５】
2004167051.tif 000017
【図１６】
2004167051.tif 000018