(57)【特許請求の範囲】
【請求項１】
利用者の眼球を撮影する眼球撮影手段と、
上記眼球撮影手段の撮影した画像から、見かけの瞳孔位置を検出する瞳孔位置検出手段と、
上記瞳孔位置検出手段の検出した見かけの瞳孔位置から、角膜における屈折を考慮することで、実際の瞳孔位置を推定する瞳孔位置推定手段と、
上記眼球撮影手段の撮影した画像から、角膜表面における外部光の反射像を検出する反射像検出手段と、
上記瞳孔位置推定手段の推定した瞳孔位置と、上記反射像検出手段の検出した反射像とから、利用者の視線を算出する視線算出手段と、
上記視線算出手段の算出した視線を、その視線の算出対象となった利用者に合わせて補正する視線補正手段とを備えることを、
特徴とする視線測定装置。
【請求項２】
請求項１記載の視線測定装置において、
上記眼球撮影手段は、
眼球の外部から近赤外線を照射する近赤外線照射手段と、
瞳孔を撮影するための近赤外線カメラとを備えることを、
特徴とする視線測定装置。
【請求項３】
請求項１又は２記載の視線測定装置において、
上記瞳孔位置推定手段は、上記眼球撮影手段から上記見かけの瞳孔位置へ向かう光の屈折方向を算出して、その屈折方向上に位置し、かつ、角膜曲率中心から規定の距離の所に位置する輪郭座標を求めることで、実際の瞳孔位置を推定することを、
特徴とする視線測定装置。
【請求項４】
請求項３記載の視線測定装置において、
上記瞳孔位置推定手段は、予め与えられる瞳孔半径と、予め与えられる角膜曲率中心と瞳孔中心との間の距離とを使って、角膜曲率中心と瞳孔輪郭との間の距離を算出して、その算出した距離と、上記反射像と予め与えられる角膜曲率半径とから算出される角膜曲率中心の位置とを用いて、実際の瞳孔位置を推定することを、
特徴とする視線測定装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の視線測定装置において、
複数の基準点の座標と、それを利用者が注視したときに上記視線算出手段により算出される視線とから、その利用者に適用される視線の変換規約を算出する個人別パラメータ算出手段を備え、
上記視線補正手段は、上記変換規約を使って、上記視線算出手段の算出した視線を補正することを、
特徴とする視線測定装置。
【請求項６】
請求項５記載の視線測定装置において、
上記個人別パラメータ算出手段の算出した変換規約を外部記憶装置に保存し、次に同じ利用者が測定対象となるときに、その変換規約をその外部記憶装置から読み出す個人別パラメータ保存手段を備えることを、
特徴とする視線測定装置。
【請求項７】
眼球撮影手段と瞳孔位置検出手段と瞳孔位置推定手段と反射像検出手段と視線算出手段と視線補正手段とを備える視線測定装置で実行される視線測定方法であって、
上記眼球撮影手段は、利用者の眼球を撮影し、
上記瞳孔位置検出手段は、上記眼球撮影手段の撮影した画像から、見かけの瞳孔位置を検出し、
上記瞳孔位置推定手段は、上記瞳孔位置検出手段の検出した見かけの瞳孔位置から、角膜における屈折を考慮することで、実際の瞳孔位置を推定し、
上記反射像検出手段は、上記眼球撮影手段の撮影した画像から、角膜表面における外部光の反射像を検出し、
上記視線算出手段は、上記瞳孔位置推定手段の推定した瞳孔位置と、上記反射像検出手段の検出した反射像とから、利用者の視線を算出し、
上記視線補正手段は、上記視線算出手段の算出した視線を、その視線の算出対象となった利用者に合わせて補正することを、
特徴とする視線測定方法。
【請求項８】
請求項７記載の視線測定方法において、
上記瞳孔位置推定手段は、上記眼球撮影手段から上記見かけの瞳孔位置へ向かう光の屈折方向を算出して、その屈折方向上に位置し、かつ、角膜曲率中心から規定の距離の所に位置する輪郭座標を求めることで、実際の瞳孔位置を推定することを、
特徴とする視線測定方法。
【請求項９】
請求項８記載の視線測定方法において、
上記瞳孔位置推定手段は、予め与えられる瞳孔半径と、予め与えられる角膜曲率中心と瞳孔中心との間の距離とを使って、角膜曲率中心と瞳孔輪郭との間の距離を算出して、その算出した距離と、上記反射像と予め与えられる角膜曲率半径とから算出される角膜曲率中心の位置とを用いて、実際の瞳孔位置を推定することを、
特徴とする視線測定方法。
【請求項１０】
請求項７ないし９のいずれか１項に記載の視線測定方法において、
上記視線測定装置がさらに個人別パラメータ算出手段を備えるときにあって、該個人別パラメータ算出手段は、複数の基準点の座標と、それを利用者が注視したときに上記視線算出手段により算出される視線とから、その利用者に適用される視線の変換規約を算出し、
上記視線補正手段は、上記変換規約を使って、上記視線算出手段の算出した視線を補正することを、
特徴とする視線測定方法。
【請求項１１】
請求項１０記載の視線測定方法において、
上記視線測定装置がさらに個人別パラメータ保存手段を備えるときにあって、該個人別パラメータ保存手段は、上記個人別パラメータ算出手段の算出した変換規約を外部記憶装置に保存し、次に同じ利用者が測定対象となるときに、その変換規約をその外部記憶装置から読み出すことを、
特徴とする視線測定方法。
【請求項１２】
請求項７ないし１１のいずれか１項に記載の視線測定方法の実現に用いられる処理をコンピュータに実行させるための視線測定プログラム。
【請求項１３】
請求項７ないし１１のいずれか１項に記載の視線測定方法の実現に用いられる処理をコンピュータに実行させるためのプログラムを記録した視線測定プログラムの記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、利用者の注視方向を測定する視線測定装置及びその方法と、その視線測定方法の実現に用いられる視線測定プログラム及びそのプログラムを記録した記録媒体とに関し、特に、利用者に負担をかけずに、かつ、頭部に特別な装置を装着することなく利用者の注視方向を測定できるようにする視線測定装置及びその方法と、その視線測定方法の実現に用いられる視線測定プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
身体にハンディキャップを持つ人がコンピュータを利用できるようにするためなどの理由から、視線を用いてコンピュータを操作する視線インタフェースに関する研究が進められている。この視線インタフェースでは、例えばコンピュータの画面上にメニューやボタンやアイコンなどを表示し、視線でそれを選択・操作することにより、コンピュータを利用できるようにしている。
【０００３】
このような視線インタフェースを実用的なものとするためには、利用者に負担をかけずに、かつ、頭部に特別な装置を装着することなく利用者の視線方向を測定できるようにする技術の構築が叫ばれている。
【０００４】
【従来の技術】
従来の技術では、利用者からある程度離れた距離（50cm〜100cm 程度）の位置に近赤外線光源およびカメラを設置して、角膜表面における近赤外線光源の反射光（プルキニエ像）および瞳孔を撮影し、その方向から利用者の視線方向を算出するようにしていた。
【０００５】
視線方向を算出するためには、３次元空間上における視線ベクトルおよび視線ベクトルの始点（以下、基準点と称する）を得る必要がある。
【０００６】
従来の技術では、基準点については、プルキニエ像の位置から算出したり、あるいは利用者の頭部や眼鏡にマーカーを装着し、マーカーからの相対位置を与えることにより算出する技術が用いられてきた。また視線ベクトルについては、例えば３次元空間における瞳孔とプルキニエ像を求め、それらの位置から算出するという技術が用いられてきた。
【０００７】
なお、以下の説明では、視線測定装置において視線補正手段を用いずにシステムが算出した視線方向を「システム算出視線方向」と呼び、利用者が実際に見ている方向を「注視方向」と呼ぶ。
【０００８】
システム算出視線方向はそのままでは注視方向とのずれが大きいため、個人キャリブレーションによってシステム算出視線方向を注視方向に一致させるための処理をおこなっている。以下の説明では、個人キャリブレーション後の視線方向を「システム補正視線方向」と呼ぶ。
【０００９】
【発明が解決しようとする課題】
システム補正視線方向は、利用者が眼球を上下左右に動かしてあちこちを見る場合のいずれの場合においても、注視方向と一致している必要がある。しかしながら、従来の技術では以下の問題があった。
【００１０】
（１）システム算出視線方向が注視方向と大きくずれている場合、想定した補正処理では十分に補正することができず、特定の方向に対しては正しく補正できるものの、別の方向に対しては十分な補正がおこなわれず、大きな測定誤差が発生する場合があった。
【００１１】
（２）測定開始直後は正しく補正されるものの、利用者の眼球位置が変化した場合に十分な補正がおこなわれず、測定誤差が拡大する場合があった。
【００１２】
これら測定誤差に関する問題は、精度の高い視線測定をおこなう上で大きな問題となっていた。
【００１３】
これらの測定誤差の大きな原因の一つとして、利用者の角膜表面における屈折がある。この屈折を考慮しないと、外界から観測した瞳孔の位置が実際の瞳孔の位置に対してずれを生じる。
【００１４】
従来の技術では、この屈折を考慮していないことから、外界から観測した瞳孔の位置を利用して視線を算出した場合、システム算出視線方向に必ず測定誤差が発生した。
【００１５】
特に、カメラの光軸方向に対して利用者の眼球方向が変化した場合、角膜表面における光の入射角が変化するため、瞳孔の位置のずれの割合が変化し、ずれが一定でなくなる。このずれを補正するためには２次関数以上の高次関数を利用した個人キャリブレーションをおこなう必要があるが、そのとき、利用者によっては想定した関数でずれを正しく近似できず、上記の問題（１）および（２）が発生した。
【００１６】
従来技術における異なるアプローチとして、「Sheng-Wen Shih,Yu-Te Wu and Jin Liu:"A Calibration-Free Gaze Tracking Technique", Proceedings of the International Conference on Pattern Recognition (ICPR'00),2000 」で報告されているように、外界から複数のカメラおよび光源を用いて眼球の形状を計測し、屈折補正を考慮した上で、キャリブレーションをおこなわずに視線計測をおこなう手法が提案されている。
【００１７】
この手法は、外部からの眼球形状の測定にたよるため、視線方向を角膜曲率中心と瞳孔中心とを結ぶベクトルと仮定することになっている。しかしながら真の視線ベクトルは、網膜上の中心窩と外部の視点とを結ぶベクトルであり、従ってこれを測定する方法は知られていない。
【００１８】
本発明はかかる事情に鑑みてなされたものであって、利用者に負担をかけずに、かつ、頭部に特別な装置を装着することなく利用者の注視方向を測定できるようにする新たな視線測定技術の構築を目的とする。
【００１９】
【課題を解決するための手段】
この目的を達成するために、本発明の視線測定装置では、▲１▼利用者の眼球を撮影する眼球撮影手段と、▲２▼眼球撮影手段の撮影した画像から、見かけの瞳孔位置を検出する瞳孔位置検出手段と、▲３▼瞳孔位置検出手段の検出した見かけの瞳孔位置から、角膜における屈折を考慮することで、実際の瞳孔位置を推定（補正）する瞳孔位置推定手段と、▲４▼眼球撮影手段の撮影した画像から、角膜表面における外部光の反射像を検出する反射像検出手段と、▲５▼瞳孔位置推定手段の推定した瞳孔位置と、反射像検出手段の検出した反射像とから、利用者の視線を算出する視線算出手段と、▲６▼複数の基準点の座標と、それを利用者が注視したときに視線算出手段により算出される視線とから、その利用者に適用される視線の変換規約を算出する個人別パラメータ算出手段と、▲７▼視線算出手段の算出した視線を、個人別パラメータ算出手段の算出した変換規約を使って利用者に合わせて補正する視線補正手段と、▲８▼個人別パラメータ算出手段の算出した変換規約を外部記憶装置に保存し、次に同じ利用者が測定対象となるときに、その変換規約をその外部記憶装置から読み出す個人別パラメータ保存手段とを備えるように構成する。
【００２０】
このように構成される本発明の視線測定装置では、瞳孔位置検出手段により見かけの瞳孔位置が検出されると、瞳孔位置推定手段は、眼球撮影手段からその見かけの瞳孔位置へ向かう光の屈折方向を算出して、その屈折方向上に位置し、かつ、角膜曲率中心から規定の距離の所に位置する輪郭座標を求めることで、実際の瞳孔位置を推定する。
【００２１】
一方、反射像検出手段は、角膜表面における外部光の反射像を検出し、これにより、眼球撮影手段の中心とその反射像とを通る直線上で、かつ、その反射像よりも角膜曲率半径だけ先に位置する角膜曲率中心の位置が検出されることになる。
【００２２】
これから、視線算出手段は、その検出された実際の瞳孔位置から瞳孔中心を検出して、その検出した瞳孔中心とその検出された角膜曲率中心とを結ぶ直線に従って、利用者の視線を算出する。
【００２３】
この視線の算出を受けて、個人別パラメータ算出手段は、複数の基準点の座標と、それを利用者が注視したときに算出される視線とから、その利用者に適用される視線の変換規約を算出するので、視線補正手段は、算出された視線を、この算出された変換規約を使って利用者に合わせて補正する。
【００２４】
このようにして、本発明の視線測定装置では、外界から観察した瞳孔位置から実際の瞳孔を推定し、その推定した瞳孔位置から視線方向を算出する。そして、その算出した視線方向に対して、眼球の中心窩と外部の視点とが一致するように個人別に補正をおこなう。
【００２５】
その結果、本発明の視線測定装置によれば、外界から観測した瞳孔の位置が実際の瞳孔の位置に対してずれていることにより発生する測定誤差が解消され、測定誤差の発生しにくい視線測定が可能となる。
【００２６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。
【００２７】
図１に、本発明の視線測定装置の一実施形態例を図示する。
【００２８】
この図に示すように、本発明の視線測定装置は、眼球撮影手段１２を構成する近赤外線照射手段１と、眼球撮影手段１２を構成する眼球撮影用カメラ２と、瞳孔輪郭検出手段３と、瞳孔輪郭補正手段４と、プルキニエ像検出手段５と、瞳孔中心算出手段６と、視線ベクトル算出手段７と、視線補正手段８と、個人別パラメータ算出手段９と、個人別パラメータ保存手段１０と、外部記憶装置１１とを備える。
【００２９】
ここで、図中に示すように、利用者の眼球は眼球撮影用カメラ２の前方に位置するものとする。
【００３０】
近赤外線照射手段１では、人の目に感じにくい７５０ｎｍ程度の近赤外線の点光源あるいは一定面積を持つ面光源から、近赤外線を人の眼球方向に向けて照射する。
【００３１】
眼球撮影用カメラ２では、近赤外線が照射された眼球を撮影するために、近赤外光を撮影可能なＣＣＤ等を内蔵する。
【００３２】
この眼球撮影用カメラ２で撮影される眼球像には、図２に示すように、瞳孔輪郭２１およびプルキニエ像２２が含まれる。
【００３３】
瞳孔輪郭検出手段３では、眼球撮影用カメラ２で撮影された画像から瞳孔を検出し、その輪郭を求める。
【００３４】
瞳孔輪郭補正手段４では、瞳孔輪郭検出手段３によって検出された瞳孔輪郭について、角膜表面における瞳孔の屈折を補正し、実際の瞳孔輪郭位置を推定する。
【００３５】
プルキニエ像検出手段５では、眼球撮影用カメラ２によって撮影された眼球像からプルキニエ像２２を検出する。それと同時に、プルキニエ像検出手段５では、検出されたプルキニエ像２２から、３次元空間中のプルキニエ像座標および角膜曲率中心座標を求める。
【００３６】
瞳孔中心算出手段６では、瞳孔輪郭補正手段４によって得られた瞳孔輪郭座標から、瞳孔中心を算出（検出）する。
【００３７】
視線ベクトル算出手段７では、プルキニエ像検出手段５で検出した角膜曲率中心座標と、瞳孔中心算出手段６で検出した瞳孔中心とを用いて、視線方向を算出する。
【００３８】
視線補正手段８では、視線ベクトル算出手段７によって算出された視線方向に対して、個人パラメータを用いて視線補正をおこなう。
【００３９】
個人別パラメータ算出手段９では、視線補正手段８で利用する個人パラメータの算出をおこなう。
【００４０】
個人別パラメータ保存手段１０では、算出された個人パラメータを外部記憶装置１１（ハードディスク、メモリなど）に記録し、必要に応じて外部記憶装置１１から読み出す。
【００４１】
以上に説明した各処理手段（近赤外線照射手段１および眼球撮影用カメラ２を除く）は、具体的にはコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００４２】
次に、これらの各処理手段について説明することで、本発明について詳細に説明する。
【００４３】
（イ）瞳孔輪郭検出手段３における瞳孔輪郭の検出処理
図３に、瞳孔輪郭検出手段３における瞳孔輪郭の検出処理の流れ図を示す。
【００４４】
瞳孔輪郭検出手段３は、図３に示すように、まず最初に、眼球撮影用カメラ２で撮影した画像から、周辺より暗い領域を連結することでセグメント化をおこなう（３０１の状態）。
【００４５】
続いて、セグメント化された各領域において各領域の形状を調べ、瞳孔に類似した形状の領域を候補として列挙する（３０２の状態）。
【００４６】
続いて、列挙された候補領域から、瞳孔の形状にもっとも近い領域を選択して瞳孔領域とする（３０３の状態）。
【００４７】
続いて、得られた瞳孔領域に対してエッジ検出をおこない、瞳孔の輪郭座標ｐi （ｉ＝１〜ｎ）を求める（３０４の状態）。このとき求める瞳孔輪郭の個数ｎは多いほど精度が高くなるが、５から４０点ほど求めればよい。
【００４８】
このようにして、瞳孔輪郭検出手段３は、瞳孔輪郭を検出するように処理するのである。
【００４９】
（ロ）プルキニエ像検出手段５におけるプルキニエ像の検出処理
図４に、プルキニエ像検出手段５におけるプルキニエ像の検出処理の流れ図を示す。
【００５０】
プルキニエ像検出手段５は、図４に示すように、まず最初に、あらかじめ定めた、人の角膜曲率半径Ｌ、瞳孔半径Ｒ、角膜曲率中心から瞳孔中心までの距離Ｍを取得する（５０１の状態）。
【００５１】
すなわち、あらかじめ、図５中に示す角膜曲率半径Ｌと、瞳孔半径Ｒと、角膜曲率中心から瞳孔中心までの距離Ｍとが得られているので、それらを取得するのである。
【００５２】
ここで、後述する個人別キャリブレーションによって、最終的に視線ベクトルが補正されることになるので、このとき取得するＬ，Ｒ，Ｍについては、視線を測定する本人のものである必要はなく、例えば日本人の平均値とか、男性の平均値とか、女性の平均値といったような平均的な値を取得すれば足りる。
【００５３】
続いて、眼球撮影用カメラ２で撮影した画像について、瞳孔輪郭検出手段３で求めた瞳孔位置付近に分布する輝度の高い領域を、プルキニエ像の候補領域として列挙する（５０２の状態）。
【００５４】
続いて、列挙された候補領域の中から、あらかじめ定めた形状および大きさにもっとも近い領域をプルキニエ像であると定める（５０３の状態）。
【００５５】
続いて、３次元空間におけるプルキニエ像の座標を求める（５０４の状態）。画像上のプルキニエ像位置から３次元空間におけるプルキニエ像の座標Ｕを求めるには、２台以上の眼球撮影用カメラ２を利用してステレオ計測する方法や、１台の眼球撮影用カメラ２を使って焦点位置から距離を算出する方法などを用いることになる。
【００５６】
続いて、３次元空間上の角膜曲率中心Ｅを算出する（５０５の状態）。眼球撮影用カメラ２のレンズ中心からプルキニエ像を通る直線を考えたとき、プルキニエ像の位置Ｕより角膜曲率半径Ｌだけ先の位置が３次元空間中の角膜曲率中心座標Ｅとなるので、その関係に従って角膜曲率中心Ｅを算出するのである。
【００５７】
このようにして、プルキニエ像検出手段５は、プルキニエ像を検出して、それを使って、角膜曲率中心Ｅの座標を算出するように処理するのである。
【００５８】
（ハ）瞳孔輪郭補正手段４における瞳孔輪郭の補正処理
瞳孔輪郭補正手段４では、瞳孔輪郭検出手段３で検出された瞳孔輪郭座標ｐi から正しい瞳孔輪郭座標ｐ’i を推定する処理を行う。
【００５９】
人の角膜表面では光の屈折が発生するため、眼球撮影用カメラ２で撮影した瞳孔像は実際の瞳孔像位置とずれた位置にある。そのため、眼球撮影用カメラ２でで撮影した瞳孔像から視線方向を算出すると、実際の視線方向とはずれた方向に視線が算出される。
【００６０】
そこで、瞳孔輪郭補正手段４では、角膜表面での屈折を考慮した補正をおこなうことで、正しい瞳孔輪郭座標を推定する処理を行う。
【００６１】
図６に、瞳孔輪郭補正手段４における瞳孔輪郭の補正処理の流れ図を示す。また、図７に、角膜表面における屈折の模式図を示し、図８に、瞳孔断面の模式図を示す。
【００６２】
この瞳孔輪郭の補正処理では、眼球撮影用カメラ２で撮影されたプルキニエ像と瞳孔輪郭像とが同一平面上に含まれていることを利用する。
【００６３】
瞳孔輪郭補正手段４では、図６に示すように、まず最初に、３次元空間におけるプルキニエ像の座標Ｕから、プルキニエ像および瞳孔輪郭像が含まれる平面Ｓを求める（４０１の状態）。すなわち、図７及び図８に示す平面Ｓを求めるのである。
【００６４】
続いて、眼球撮影用カメラ２から平面Ｓに含まれる瞳孔輪郭像へ向けた直線と、角膜表面との交点Ｑを求める（４０２の状態）。
【００６５】
この直線の方向ベクトルを＜ｑ＞と表すならば、図８に示すように、ベクトル＜ｑ＞と角膜表面との交点Ｑを求めるのである。このとき、主に屈折が発生するのはこのＱの位置である。
【００６６】
続いて、角膜曲率中心ＥからＱまでの方向ベクトル＜ｅ＞を求める（４０３の状態）。すなわち、図７に示すように、角膜曲率中心ＥからＱまでの方向ベクトル＜ｅ＞を求めるのである。
【００６７】
Ｑにおける屈折は、ベクトル＜ｅ＞が法線ベクトルとなる平面に光が入射して発生した屈折であると考えることができる。
【００６８】
そこで、続いて、角膜外にある空気の屈折率ｎ1 と角膜内の房水における屈折率ｎ2 とを使って、ベクトル＜ｅ＞およびベクトル＜ｑ＞から、屈折後の方向ベクトル＜ｑ’＞を求める（４０４の状態）。すなわち、図８に示すように、屈折後の方向ベクトル＜ｑ’＞を求めるのである。
【００６９】
続いて、角膜曲率中心Ｅから瞳孔輪郭までの距離Ｎを、瞳孔半径Ｒと角膜曲率中心Ｅから瞳孔中心までの距離Ｍとを使って、
Ｎ＝（Ｍ2 ＋Ｒ2 ）1/2 
に従って算出して、図８に示すように、屈折後の方向ベクトル＜ｑ’＞上にあって、角膜曲率中心Ｅからの距離がこの距離Ｎである点を屈折補正後の瞳孔輪郭座標ｐ’i として算出する（４０５の状態）。
【００７０】
このようにして、瞳孔輪郭補正手段４は、正しい瞳孔輪郭座標ｐ’i を推定するように処理するのである。
【００７１】
（ニ）視線ベクトル算出手段７における視線ベクトルの算出処理
視線ベクトル算出手段７では、３次元座標における角膜曲率中心Ｅの位置（プルキニエ像の位置と角膜曲率半径とから求められる）と、瞳孔輪郭補正手段４で得られた補正済みの瞳孔輪郭座標の集合｛ｐ’i ｝とから、視線ベクトルを算出する処理を行う。
【００７２】
図９に、視線ベクトル算出手段７における視線ベクトルの算出処理の流れ図を示す。
【００７３】
視線ベクトル算出手段７では、図９に示すように、まず最初に、補正済みの瞳孔輪郭座標の集合｛ｐ’i ｝から、３次元空間における瞳孔中心Ｐを、例えば楕円近似などの手法によって求める（７０１の状態）。
【００７４】
続いて、３次元空間において、瞳孔中心Ｐおよび角膜曲率中心Ｅを通る方向ベクトル＜ｇ＞を求める（７０２の状態）。
【００７５】
瞳孔中心Ｐの位置ベクトルを＜Ｐ＞、角膜曲率中心Ｅの位置ベクトルを＜Ｅ＞で表すならば、ベクトル＜ｇ＞は、
＜ｇ＞＝＜Ｐ＞−＜Ｅ＞
で得られる。この手順で得られた方向ベクトル＜ｇ＞を、視線ベクトルと定める。
【００７６】
さらに、プルキニエ像Ｕの位置ベクトルを＜Ｕ＞で表すならば、視線方向を表す直線Ｈは、
＜Ｕ＞＋ｍ・＜ｇ＞
と定められる。但し、ｍはパラメータ（ｍ＞０）であり、ｍを指定することで、直線Ｈ上の任意の点が得られる。
【００７７】
このようにして、視線ベクトル算出手段７は、補正済みの瞳孔輪郭座標から得られる瞳孔中心と角膜曲率中心Ｅとを通る方向ベクトルに従って、視線方向Ｈを算出するように処理するのである。
【００７８】
（ホ）視線補正手段８における視線ベクトルの補正処理
視線補正手段８では、視線ベクトル算出手段７で得られた視線方向Ｈから視線を求め、さらに個人パラメータによる補正をおこなう。
【００７９】
利用者が見ている先の平面Ｔと、視線方向Ｈの交点を視線Ｖ（ｘ，ｙ，ｚ）と定める。このとき、例えば前方のディスプレイを見ているときの視線Ｖを求める場合には、ディスプレイ表面を含む平面をＴで表し、ＴとＨとの交点におけるパラメータｍを求めればよい。
【００８０】
以下、このように得られた視線Ｖに対して、補正後の視線Ｗを求める一実施形態例を示す。
【００８１】
補正後の視線Ｗは、例えば元の視線Ｖを移動および縦横のスケーリングすることによって得られる。
【００８２】
そこで、
【００８３】
【数１】
0003711053.tif 000002
【００８４】
で定義される視線Ｖの位置ベクトルの斉次ベクトルを、
【００８５】
【数２】
0003711053.tif 000003
【００８６】
で表し、
【００８７】
【数３】
0003711053.tif 000004
【００８８】
で定義される補正後の視線Ｗの位置ベクトルの斉次ベクトルを、
【００８９】
【数４】
0003711053.tif 000005
【００９０】
で表す。
【００９１】
このとき、個人別パラメータを斉次行列Ｈで表すと、補正後の視線Ｗの位置ベクトルの斉次ベクトルは、
【００９２】
【数５】
0003711053.tif 000006
【００９３】
で求められる。
【００９４】
ただし、補正後の視線Ｗが元の視線Ｖを移動および縦横のスケーリングすることによって得られることから、斉次行列Ｈは、
【００９５】
【数６】
0003711053.tif 000007
【００９６】
となる。
【００９７】
このようにして得られた〔数５〕式から、補正後の視線Ｗが求められることになる。
【００９８】
個人別パラメータＨは、利用者が最初に本発明を利用する時点で、個人別パラメータ算出手段９によって求められて、個人別パラメータ保存手段１０によってディスクやメモリなどの外部記憶装置１１に保存される。
【００９９】
そして、次に同一の人が本発明を利用するときに、外部記憶装置１１に保存された個人別パラメータＨが読み出されることで、新たに個人別パラメータを求めることなく視線測定が可能になる。
【０１００】
個人別パラメータＨは、利用者が複数の基準点を順次注視するときに、そのときに見ていた基準点の座標と、実際に得られた視線データとを用いて算出することができる。例えば２点以上の基準点を見たときにおける基準点の座標と、基準点を見たときの視線とから最小２乗法などによって個人別パラメータＨを求めればよい。
【０１０１】
図１０に、個人パラメータＨの算出方法の一例を示す。
【０１０２】
利用者８０５がディスプレイ８０２上に配置された２点以上のｎ個の基準点８０１を注視したときに、そのとき得られた視線データを注視点８０４とする。このとき、ｉ番目の基準点の座標をＭi （ｘ，ｙ）、そのときの視線データをＧi （ｘ，ｙ）とおく。
【０１０３】
このとき、視線データのＸ座標のみに注目すると、
Ｍ1 （ｘ）＝Ｇ1 （ｘ）・ａ1 ＋ａ3 ＋Ｅ1 （ｘ）
Ｍ2 （ｘ）＝Ｇ2 （ｘ）・ａ1 ＋ａ3 ＋Ｅ2 （ｘ）
・
・
・
Ｍn （ｘ）＝Ｇn （ｘ）・ａ1 ＋ａ3 ＋Ｅn （ｘ）
と示せる。ただし、Ｅi （ｘ）はｉ番目の基準点を見た時のＸ方向の誤差成分である。
【０１０４】
このとき、誤差成分Ｅi （ｘ）の二乗和
【０１０５】
【数７】
0003711053.tif 000008
【０１０６】
が最小となるようなａ1 およびａ3 を最小二乗法によって求める。
【０１０７】
Ｙ座標についても同様に算出することで、ａ2 およびａ4 が得られる。
【０１０８】
このようにして、個人別パラメータ算出手段９は、個人別パラメータＨを算出し、これを受けて、視線補正手段８は、〔数５〕式に従って、視線ベクトル算出手段７で得られた視線方向に対して個人別パラメータＨによる補正をおこなうように処理するのである。
【０１０９】
【発明の効果】
以上説明したように、本発明では、人の瞳孔およびプルキニエ像を検出し、屈折の補正をおこない視線方向を算出する。さらに、個人別キャリブレーションをおこない視線方向を個人毎に補正する。
【０１１０】
その結果、高い精度で視線測定が可能となり、例えば、画面上に各点間の距離が均等な格子状に配置した複数の点を注視した場合に、測定して得られたシステム算出視線方向も各点間の距離が均等な格子状となる。従って、補正処理においては注視方向の一次変換をおこなうだけで、精度の高い視線位置が得られる。
【０１１１】
そして、視線の測定精度に関して、画面上の特定の位置では測定精度が高いものの、別の点では測定精度が低くなるという問題も回避される。
【０１１２】
また、個人別パラメータは一度算出しておけば、同一の利用者において再利用可能であるため、毎回、視線測定前にキャリブレーションをする手間を省略することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態例である。
【図２】眼球撮影用カメラで撮影した眼球の模式図である。
【図３】瞳孔輪郭検出手段の処理の流れ図である。
【図４】プルキニエ像検出手段の処理の流れ図である。
【図５】眼球の模式図である。
【図６】瞳孔輪郭補正手段の処理の流れ図である。
【図７】角膜表面における屈折の模式図である。
【図８】瞳孔断面の模式図である。
【図９】視線ベクトル算出手段の処理の流れ図である。
【図１０】個人別パラメータの算出処理の説明図である。
【符号の説明】
１    近赤外線照射手段
２    眼球撮影用カメラ
３    瞳孔輪郭検出手段
４    瞳孔輪郭補正手段
５    プルキニエ像検出手段
６    瞳孔中心算出手段
７    視線ベクトル算出手段
８    視線補正手段
９    個人別パラメータ算出手段
１０  個人別パラメータ保存手段
１１  外部記憶装置
１２  眼球撮影手段
【図１】
0003711053.tif 000009
【図２】
0003711053.tif 000010
【図３】
0003711053.tif 000011
【図４】
0003711053.tif 000012
【図５】
0003711053.tif 000013
【図６】
0003711053.tif 000014
【図７】
0003711053.tif 000015
【図８】
0003711053.tif 000016
【図９】
0003711053.tif 000017
【図１０】
0003711053.tif 000018