(57)【特許請求の範囲】
【請求項１】
頭部が固定された被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測する手段と、反射光重心位置を求める際に、瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、前記ｘ方向の距離及びｙ方向の距離（α、β）、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）から反射光重心位置(rx,ry)を予測し、その近傍のみを探す手段とから成る反射光重心位置を計測するシステム。
【請求項２】
被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段と、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測する手段とを備え、前記ｘ方向の距離及びｙ方向の距離（α、β）及び眼球回転中心と角膜曲率中心の距離の校正時に、反射光の幅、高さを記録し、以後の反射点計測の際に、幅高さの値を比較することによって、不正な反射光を取り除くシステム。
【請求項３】
被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段と、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測し、計測された値と反射光重心と瞳孔中心位置を用いて視線位置計測する手段と計測された値と瞳孔中心位置を用いて視線位置計測する手段を自動的に切り替えることから成る視線位置計測を行うシステム。
【請求項４】
被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段と、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測する手段と、瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、前記ｘ方向の距離及びｙ方向の距離（α、β）、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）から眼球回転中心(xo,yo)を計算する手段とを備え、頭部の動きを検出し、新たな眼球回転中心を設定することにより、瞳孔中心位置を用いて視線位置計測を行う際に、頭部の動きのズレを補正するシステム。
【請求項５】
被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状および瞳孔形状を計測して、反射光重心位置（Xr,Yr）、及び瞳孔を楕円近似する事により短軸の傾き、短軸長軸比、及び瞳孔中心(Xp,Yp)を計算する手段と、反射光重心位置（Xr,Yr）と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離（alpha,beta）、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）、眼球が回転する際の不動点である眼球回転中心(Xo,Yo)を計測する手段を備え、複数の走査線で構成される各画像が偶数フィールドと奇数フィールドから成り立っているNTSCにおける入力の際は、前述の計測値（alpha、beta、r、rr、Xo、Yo）は、フィールド毎に独立に計測し、その値と各画像より得られる値（Xr,Yr,Xp,Yp）を用いて視線位置計測を行うシステム。
【請求項６】
請求項１〜５のいずれかに記載のシステムにおいて、被験者の眼球が撮影された画像から、瞳孔の縁を検出し、瞳孔を楕円近似する際に、瞳孔の輪郭を検出するのに必要な閾値を下げることで周辺ノイズを低減させた画像処理をするシステム。
【請求項７】
請求項１〜５のいずれかに記載のシステムにおいて、瞳孔の縁を楕円で近似する際に、検出した楕円の軌跡との距離を用いて、瞳孔の縁を再度検出し、その値を組み込んで再度楕円で近似することにより、高精度で瞳孔を楕円で近似するシステム。
【請求項８】
請求項１〜５のいずれかに記載のシステムにおいて、瞳孔の縁を検出し、瞳孔を楕円で近似した後、検出した瞳孔の縁の範囲と、楕円で近似した際の瞳孔の範囲を比較し、どの程度目蓋が開いていたかを計測するシステム。
【請求項９】
請求項１〜５のいずれかに記載のシステムにおいて、瞳孔の縁を検出し、瞳孔を楕円で近似した後、検出した瞳孔の範囲に対する、検出した縁の割り合いを計算し、どのくらいの精度で検出できているかを計測するシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラに対する視線ベクトルを求める視線検出方法及びシステムに関する。特に、本発明は、反射光重心位置検出、反射光検出、視線検出方法の自動切り替え、頭部のズレの自動補正、NTSC信号による画像の処理、瞳孔検出、瞳孔を楕円で近似する際の精度向上、目蓋のかかり具合の検出、検出の精度の計測に関する。
【０００２】
【従来の技術】
従来より、視線位置を計測する簡便な視線位置計測システムが求められている。このようなシステムを、より低価格で提供することができるならば、例えば、以下のような分野に使用できると考えられる。
1)視覚に関する心理学的研究
2)医療検査
3)マンマシンインターフェース（視線入力装置）
4)3)と重なるが障害者に対する補助装置。
5)ヘッドマウントディスプレーに内蔵し、視線入力装置として用いる。
6)装置を２台用い、カメラの位置を厳密に設定することにより、両眼の視差を受動的な校正（視標を提示して、凝視してもらうのでは無く、だだ、眼を動かすだけ）で計測することができる。医療検査、心理実験、行動実験などに用いることができる。
【０００３】
先に、本出願人は、視線検出方法及びシステムについての提案をした（特願２０００−２２８１６３）。この提案について、図１〜図８を参照して説明する。  CCDカメラにより、人もしくはサルの眼球を撮影する。瞳孔を暗く撮影するため、赤外線LEDにて照明を行う。カメラ、光源、及び眼球の位置関係を、図１に示す。カメラは、眼球の略水平方向の前方に位置するよう図示しているが、カメラの位置は、瞳孔が撮影できる範囲で任意の場所に設定することができる。光源も、反射位置が角膜上になる場所ならば、任意の場所に配置させることができる。CCDカメラには、図２のような映像が撮影される。
【０００４】
図１を簡略化して、瞳孔中心、角膜曲率中心、眼球回転中心を書き入れた図を図３に示す。簡略化した図３において、反射点が生ずる場所を図４に示す。反射点は、光源、角膜曲率中心、カメラを結ぶ角の２等分線と角膜の交わる位置に生じる。角膜曲率中心と反射点を結ぶベクトルとを反射光ベクトルと名付ける。（光源は、無限遠にあると仮定する。カメラには、平行投影されると仮定する。）
【０００５】
眼球が動いた時、反射点と角膜曲率中心の位置関係を図５に記する。光源が、十分遠くにあれば、角膜曲率中心への反射光ベクトルの角度は、眼球が回転しても同一になる。そのため、眼球が回転しても、角膜曲率中心と反射点の距離が一定に保たれる。図５は、x方向の距離のみを表している。図６に、カメラ方向から撮影された時の、角膜曲率中心と、反射点の位置関係を表示する。
反射点、角膜曲率中心、瞳孔中心、眼球回転中心の位置関係は図７で表される。この図を、簡略化すると図８になる。
【０００６】
カメラにより複数の画像を取り込み、それぞれの画像について、反射光形状、瞳孔形状を計測して、反射光重心位置、瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、瞳孔中心を計算することができる。
このような視線検出方法及びシステムには以下のような問題点があった。
i)反射光重心位置計測について
１）瞳孔中心を領域の中心とする120x90 pixelの画像を3pixel置きに取り出し40x30の画像を生成する。
２）ある閾値以上の点を取り出し、それを塊毎にラベルをつけてゆく。
３）一定以上の大きさがあり、かつ瞳孔中心に最も近い塊の重心を測定する。
という方法で行っていた。
しかし、この反射光重心位置計測方法には、以下の問題点があった。
１）反射点の大きさが小さいと、取りこぼされてしまう。
２）反射点が複数ある場合、間違った反射点を選んでしまう（角膜上には、n次プルキニエ反射が存在する。注目しているのは、１次反射である）。
【０００７】
ii)反射光選別について
上述の方法では、検出したものを全て用いていたため、選別は行っていなかった。
そのため、図９にあるように、角膜上ではなく、強膜上で反射した場合の反射光を検出して計算を行ってしまう。このような場合は、反射点が角膜上にあるという前提がなくなり、計算結果が正確でなくなってしまう。このような場合は、計算不能とする必要がある。
【０００８】
iii)自動方式切り替えについて。
先に提案した方法は、校正の後、被験者の瞳孔中心位置と反射光重心から視線位置を求めることが可能である。しかし、この方法は、頭部が動いても計測が可能という利点があるが、反射点が角膜上から外れてしまうと計測できなくなることになる。瞳孔中心のみから測定する場合に比べ測定範囲が狭い。
【０００９】
iv)瞳孔中心-眼球回転中心方法の自動補正
上述の提案した方法は、頭部が動いてしまうと正確な計測ができなかった。頭部を固定して計測している場合でも、断続的なずれが生じる場合があり、その場合は再校正を行わないといけなかった。
【００１０】
v)６０Hzで計測を行う場合
NTSC信号を用いて計測する際に、フレーム単位で無く、フィールドにわけて計算する場合、偶数フィールドと奇数フィールドは、上下方向に互い違いになっている。先に提案した方法のようにして、眼球回転中心-角膜曲率中心距離を計測したり、或いは、カメラに対する視線ベクトルを求める場合に値（眼球回転中心位置、反射光重心位置-角膜曲率中心位置関係、瞳孔中心位置、反射点位置等）をフィールドの区別なく計算した場合、フィールド毎に上下に振動した計測値を得ることになる。
【００１１】
vi)瞳孔を検出する際の閾値の複数使用について。
瞳孔の検出方法は、つぎの二段階で検出を行っている。
１）8pixelごとに画像をサンプルし、瞳孔のおおまかな位置を検出する。
２）おおまかな楕円をもとめその近傍を探査し、瞳孔の縁を検出する。
先に提案した方法は、この二段階共に同一の閾値を用いていた。ノイズが多い場合（瞳孔と同じくらい暗い場所が多い場合）第一段階でおおまかな検出に失敗する場合があった。そのような場合は、閾値を下げることによりノイズを減らすことが可能であるが、そのような処理を行うと、瞳孔の縁を正確に検出できなくなってしまうことがあった。
【００１２】
vii)瞳孔の縁の検出方法について
楕円の幾何学的な性質を利用し、瞳孔の縁以外を除去する。楕円には、次のような幾何学的な性質がある。図１０に示すように、楕円と交わる３本の平行な直線l、m、n を考える。l、n はm から等距離にあるとする。楕円と直線l との交点をa、b 、直線n の交点をc、d とする。楕円と直線m の交点の中点をo とする。a、b の中点とc、d の中点を結ぶ線の中点をo'とすると、o'はo と重なるという性質がある。瞳孔の画像について瞳孔画像のほぼ中央に引いた直線m から等距離にあるN 個の平行線の組のo'i （i=1‐N）に当たる点を求める。求められた点は、直線m の上に分布する。誤って検出された縁が十分少ないときは、最も多くの点o'が集まった位置がo の位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する。
どのくらい離れていたら、除外するかは、プログラムで指定することにより、許容範囲の設定が可能になる。４点が相補的に誤差を含んでしまった場合には、除外されなくなるが、確率的にそのようなことは起こりにくい。o に十分近いo'i を持つ点a i ,b i ,c i ,d i は、楕円の軌跡上の点なので、これらの点の座標を［数１］に代入し正確な楕円近似を行うことができる。（電子情報通信学会技術研究報告書  vol.100 no.47 「視線位置計測システムの開発」 ISSN0913-5685、TL2000-1-6「思考と言語」2000年５月１２日  より抜粋）
【数１】
0003726122.tif 000002
上記の連立方程式を解くことにより、最小自乗法により以下の楕円の方程式［数２］の係数を求めることができる。
【数２】
0003726122.tif 000003
【００１３】
ix)瞳孔の検出の精度について（横方向に入ったノイズの割り合い）。
反射光が瞳孔の縁に掛かる、ピントがずれているため瞳孔の縁が明確に捕らえられていないなどの場合の、定量的な評価が無かった。
【００１４】
【発明が解決しようとする課題】
そこで、本発明は、係る問題点を解決して、反射点の大きさが小さい場合、或いは反射点が複数ある場合にも、誤り無く反射光重心位置を計測することを目的としている。
また、本発明は、校正時に、反射点の幅と高さの平均を求め、かつ、計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことを目的としている。
また、本発明は、瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことを目的としている。
また、本発明は、反射点が計測できない場合であっても、再校正なしに、瞳孔中心のみで視線方向を計算することを目的としている。
また、本発明は、計測に用いる値をフィールド毎に求めて、フィールド毎のばらつきをなくすることを目的としている。
また、本発明は、瞳孔の縁を正確に検出することを目的としている。
また、本発明は、高精度に、楕円を求めることを目的としている。
また、本発明は、どの程度目蓋がおりてきていたら、計測を中断するかの定量的な評価を行うことを目的としている。
また、本発明は、反射光が瞳孔の縁に掛かる、ピントがずれているため瞳孔の縁が明確に捕らえられていないなどの場合に、定量的な評価をすることを目的としている。
【００１５】
【課題を解決するための手段】
本発明の視線検出方法及びシステムは、頭部が固定された被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する。反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、その後、反射位置を求める際に、瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）から反射光重心位置(rx,ry)を予測し、その近傍のみを探すことにより反射光重心位置を計測する。
【００１６】
また、本発明は、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、その校正時に、反射光の幅、高さを記録し、以後の反射点計測の際に、幅高さの値を比較することによって、不正な反射光を取り除く。
また、本発明は、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、計測された値と反射光重心と瞳孔中心位置を用いて視線位置計測する方法と計測された値と瞳孔中心位置を用いて視線位置計測する方法を自動的に切り替えて視線位置計測を行う。
【００１７】
また、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)から眼球回転中心(xo,yo)を計算し、頭部の動きを検出し、新たな眼球回転中心を設定することにより、瞳孔中心位置を用いて視線位置計測を行う際に、頭部の動きのズレを補正する。
【００１８】
また、本発明は、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、NTSCにおける入力の際は、前述の計測値は、フィールド毎に独立に計測し、その値を用いて視線位置計測を行う。
【００１９】
【発明の実施の形態】
以下、本発明の視線検出方法及びシステムを例示に基づき説明する。
i)反射光重心位置計測について
１）図１１は、反射光重心位置計測を説明するための図であり、眼球をカメラ方向から見た図であり、また、図１２は、その眼球を横方向から見た図である。
瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)が分かっている場合には、以下の式より反射光重心位置(rx,ry)を予測することができる。
rx=(xp-xo)*rr/r+xo+alpha
ry=(yp-yo)*rr/r+yo+beta
２）予測点を中心とした、40x30pixelの画像を生成する。
３）ある閾値以上の点を取り出し、それを塊毎にラベルをつけてゆく。
４）一定以上の大きさがあり、かつ予測に最も近い塊の重心を測定する。
【００２０】
図１３に示す画像から、反射光重心を計測する例を考える。画面の十字は、瞳孔中心位置を表している。十字の上の白い点が、第１プルキニエ像、右下の白い点が第２プルキニエ像である。いずれも照明光の反射であるが、眼球内の反射する場所が異なるため複数の反射像が出現する。
１）瞳孔中心位置（xp,yp）、眼球回転中心位置（xo,yo）、角膜曲率中心（α、β）、瞳孔中心回転半径r、角膜曲率中心回転半径rrがすでにわかっている際、反射光重心位置(rx,ry)を上記の式より予測する。
２）予測位置は図１４のXの位置になる。Xを中心とした四角で示した40x30pixelの画像より反射光重心を求める。
３）ある閾値以上の点を取り出だしラベリングをおこない、一定以上の大きさがあり、重心が予測値に最も近いものを選ぶ。図１５において反射光重心を十字で表した。
【００２１】
ii)反射光選別について
校正時に反射点の幅と高さの平均を求める。計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことが可能となる。図１６に示された反射点の大きさは、縦６pixel 横７pixelである。これは、平均値からの差が十分に小さい。どの程度の誤差を許容するかはプログラムによって設定可能である。
図１７に示すように、反射光が強膜に存在するときは、大きさが大きく異なる（縦１９pixel横５０pixel）。この場合は、反射点を用いた計測は断念する。
【００２２】
iii)自動方式切り替えについて。
瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことができる。
反射点が強膜上に存在すると、反射点を用いた視線計測ができない。しかし、この状態でも、瞳孔中心座標の計測は可能である。瞳孔中心-眼球回転中心法により、視線方向を求めることが可能である。眼球回転中心の動きについては、自動補正により、修正を行うことにより対応する。
【００２３】
iv)瞳孔中心-眼球回転中心方法の自動補正
視線方向を瞳孔中心位置（xp,yp）、眼球回転中心（xo,yo）瞳孔中心回転半径ｒより求めることができる。カメラに対する視線方向は、以下の［数３］で表すことができる。
【数３】
0003726122.tif 000004
頭部が動かないときは、瞳孔回転中心(xo,yo)は、一定値である。しかし、どのように頭部を固定しても、動いてしまう場合がある。従来は、頭部が動いてしまった場合は、再度校正を行っていたが、これを、反射点を用いて自動的に校正を行う方法を提案する。
瞳孔中心位置と反射光重心から眼球回転中心を求めることができる。瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)から眼球回転中心(xo,yo)とすると以下の式で求められる。
xo=(rx-alpha-xp*rr/r)/(1-rr/r)
yo=(ry-beta-yp*rr/r)/(1-rr/r)
反射点は、計測できない場合がある、また、断続的なズレを想定しているので、計測時以前の何秒間（設定により変更可能、20秒程度を規定値に想定）の眼球回転中心（xo,yo）の平均値をその時点の眼球回転中心とする。この値を用いることにより、再校正なしに、瞳孔中心のみで視線方向を計算することができるようになる。また、十分に短い時間ならば、頭部は動いていないと仮定できるので、瞳孔中心-反射点法が使えない場合の、補助として使用することが可能である。
【００２４】
v)６０Hzで計測を行う場合
それぞれ、計測に用いる値をフィールド毎に求める。具体的には、偶数フィールドと奇数フィールド毎に、瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）、眼球回転中心(xo,yo)を校正により計測する。視線を計算する場合には、奇数フィールドの画像については、奇数フィールドの画像から求めた値、偶数フィールドの画像については、偶数フィールドの画像から求めた値を用いて計算する。これにより、フィールド毎に値が振動する現象を排除できる。
【００２５】
vi)瞳孔を検出する際の閾値の複数使用について。
第一段階と第二段階で異なる閾値を用いることにより、その問題を解決する。明るさが変わらない場合は、それぞれ、独立な固定値設定し、自動的に閾値を変化させている場合は、第一段階の閾値(th1)と第二段階の閾値(th2)の比率(a),（th1=a*th2という関係）を設定することにより、連続的な変化にも対応できるようにする。
図１８に示すように、輪郭を検出するのに必要な閾値(th2)の場合は、周辺ノイズが多い。
図１９に示すように、閾値（th1）を下げることにより、周辺ノイズを低減することができる。
【００２６】
vii)瞳孔の縁の検出方法について
１）従来の方法で楕円を求める。
楕円の幾何学的な性質を利用し、瞳孔の縁以外を除去する。楕円には、次のような幾何学的な性質がある。楕円と交わる３本の平行な直線l、m、n を考える。l、n はm から等距離にあるとする。楕円と直線l との交点をa、b 、直線n の交点をc、d とする。楕円と直線m の交点の中点をo とする。a、b の中点とc、d の中点を結ぶ線の中点をo'とすると、o'はo と重なるという性質がある（図１０）。瞳孔の画像について瞳孔画像のほぼ中央に引いた直線m から等距離にあるN 個の平行線の組のo'i （i=1‐N）に当たる点を求める。求められた点は、直線m の上に分布する。誤って検出された縁が十分少ないときは、最も多くの点o'が集まった位置がo の位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する。どのくらい離れていたら、除外するかは、プログラムで指定することにより、許容範囲の設定が可能になる。４点が相補的に誤差を含んでしまった場合には、除外されなくなるが、確率的にそのようなことは起こりにくい。o に十分近いo'i を持つ点a i ,b i ,c i ,d i は、楕円の軌跡上の点なので、これらの点の座標を［数１］に代入し正確な楕円近似を行うことができる。
【００２７】
２）上記の場合、例えば、a12のみが、何らかの理由により楕円の軌跡上に無かったとする。すると、b12,c12,d12が楕円の軌跡上に存在するにもかかわらず、楕円の軌跡を計算するのに用いられないことになる。そこで従来方法で楕円の軌跡を求めた後、再度検出された瞳孔の縁の点について、求めた楕円軌跡との距離を計算し、その距離が一定以下であれば、瞳孔の縁とする。
３）新たな点を加えて、最小自乗法により楕円を算出する。
これにより、従来よりも高精度に、楕円を求めることが可能になる。
【００２８】
viii)目蓋の掛かり具合の計測法について
１）図２０に示すように、検出した瞳孔の縁から、楕円を近似し楕円の上下方向の距離（eh）を得る。
２）検出した瞳孔の縁（楕円近似に用いたもの）の、上下方向の最大値と最小値の差（ph)を得る。
３）ph/eh＊１００を瞳孔検出率（％）とする。
瞳孔検出率を用いることにより、どの程度目蓋がおりた時に計測を中断するか？といった定量的な評価を行うことが可能になる。
【００２９】
ix)瞳孔の検出の精度について（横方向に入ったノイズの割合）。
1）楕円近似に用いた瞳孔の縁の上下方向の最大値と最小値の差（ph）を得る。
2）楕円近似に用いた瞳孔の縁の数を得る（en）。
3)（en/2）/ph*100を縁検出率（％）とする。
enは、検出の際に左右の縁を検出しているので、二等分する必要がある。
縁検出率を用いることにより、どの程度正確に縁を検出できているかを定量的に評価することができる。比較的ノイズが少ない図２１は、縁検出率７０％である。また、ノイズが多い場合の図２２は、縁検出率４０％である。
【００３０】
【発明の効果】
本発明は、反射点の大きさが小さい場合、或いは反射点が複数ある場合にも、誤り無く反射光重心位置を計測することができる。
また、本発明は、校正時に、反射点の幅と高さの平均を求め、かつ、計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことができる。
また、本発明は、瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことができる。
また、本発明は、反射点が計測できない場合であっても、再校正なしに、瞳孔中心のみで視線方向を計算することができる。
また、本発明は、計測に用いる値をフィールド毎に求めて、フィールド毎のばらつきをなくすることができる。
また、本発明は、瞳孔の縁を正確に検出することができる。
また、本発明は、高精度に、楕円を求めることができる。
また、本発明は、どの程度目蓋がおりてきていたら、計測を中断するかの定量的な評価を行うことができる。
また、本発明は、反射光が瞳孔の縁に掛かる、ピントがずれているため瞳孔の縁が明確に捕らえられていないなどの場合に、定量的な評価をすることができる。
【図面の簡単な説明】
【図１】カメラと目の位置関係を示す図である。
【図２】撮影された眼球を示す図である。
【図３】図１を簡略化した図である。
【図４】反射点出現位置を示す図である。
【図５】眼球が回転した時の角膜反射光重心と角膜曲率中心の位置関係を示す図である。
【図６】眼球が回転しても角膜反射光重心と角膜曲率中心の位置関係が変化しないことを説明するための図である。
【図７】瞳孔中心、角膜曲率中心、眼球回転中心が瞳孔の短軸の延長線上に存在することを説明するための図である。
【図８】図７を簡略化した図であり、角膜反射光重心、瞳孔中心、角膜曲率中心、眼球回転中心の位置関係を表す図である。
【図９】角膜上ではなく、強膜上で反射した場合の反射光の検出を説明するための図である。
【図１０】瞳孔の縁の検出方法を説明するための図である。
【図１１】反射光重心位置計測を説明するための図であり、眼球をカメラ方向から見た図である。
【図１２】図１１に示す眼球を、横方向から見た図である。
【図１３】反射光重心の計測を説明するための画像である。
【図１４】反射光重心を求める方法を説明するための図である。
【図１５】重心が予測値に最も近いものを選ぶ方法を説明するための図である。
【図１６】反射点の大きさを説明するための図である。
【図１７】強膜に存在する反射光を説明するための図である。
【図１８】輪郭を検出する際の周辺ノイズを説明するための図である。
【図１９】閾値（th1）を下げることにより、周辺ノイズを低減する方法を説明するための図である。
【図２０】目蓋の掛かり具合の計測法を説明するための図である。
【図２１】比較的ノイズが少ない場合の縁検出率を例示する図である。
【図２２】ノイズが多い場合の縁検出率を例示する図である。
【図１】
0003726122.tif 000005
【図２】
0003726122.tif 000006
【図３】
0003726122.tif 000007
【図４】
0003726122.tif 000008
【図５】
0003726122.tif 000009
【図６】
0003726122.tif 000010
【図７】
0003726122.tif 000011
【図８】
0003726122.tif 000012
【図９】
0003726122.tif 000013
【図１０】
0003726122.tif 000014
【図１１】
0003726122.tif 000015
【図１２】
0003726122.tif 000016
【図１３】
0003726122.tif 000017
【図１４】
0003726122.tif 000018
【図１５】
0003726122.tif 000019
【図１６】
0003726122.tif 000020
【図１７】
0003726122.tif 000021
【図１８】
0003726122.tif 000022
【図１９】
0003726122.tif 000023
【図２０】
0003726122.tif 000024
【図２１】
0003726122.tif 000025
【図２２】
0003726122.tif 000026