(57)【特許請求の範囲】
【請求項１】
予め被験者の回転前後の眼球を１台の撮像装置で撮影し、撮像した画像から眼球表面上の任意の特徴点を３点以上抽出し、眼球の回転前後の前記特徴点の３次元位置に基づいて前記特徴点と眼球回転中心との位置関係を求めておき、
被験者に各点間の視角が既知である任意の３点の注視点を一巡するように順に注視させ、２点の前記注視点間をそれぞれ移動する際に眼球表面上の所定の１点が眼球回転軸回りに移動する第１の軌跡円、第２の軌跡円、及び、第３の軌跡円を求め、前記第１の軌跡円、前記第２の軌跡円、及び、前記第３の軌跡円の交点を視線ベクトル先端として求め、前記眼球回転中心と前記視線ベクトル先端とを結ぶ視線ベクトルを被験者の視線方向として求めておき、
前記視線ベクトルと前記特徴点の位置関係を求めておき、
前記撮像装置で眼球を撮像し、撮像した画像上の前記特徴点の位置に基づいて、前記視線ベクトルを求めることで被験者の視線方向を計測する、
ことを特徴とする視線計測方法。
【請求項２】
前記特徴点として血管の分岐点を抽出する、ことを特徴とする請求項１に記載の視線計測方法。
【請求項３】
被験者の眼球を撮像する１台の撮像装置と、
前記撮像装置で撮像された画像に基づいて被験者の視線方向を計測する演算装置と、を備え、
前記演算装置は、
予め被験者の回転前後の眼球を撮像した画像から眼球表面上の任意の特徴点を３点以上抽出して眼球の回転前後の前記特徴点の３次元位置に基づいて前記特徴点と眼球回転中心との位置関係を求め、被験者が各点間の視角が既知である任意の３点の注視点を一巡するように順に注視して２点の前記注視点間をそれぞれ移動する際に眼球表面上の所定の１点が眼球回転軸回りに移動する第１の軌跡円、第２の軌跡円、及び、第３の軌跡円を求め、前記第１の軌跡円、前記第２の軌跡円、及び、前記第３の軌跡円の交点を視線ベクトル先端として求め、前記眼球回転中心と前記視線ベクトル先端とを結ぶ視線ベクトルを被験者の視線方向として求め、前記視線ベクトルと前記特徴点の位置関係を求める手段と、
前記撮像装置で眼球を撮像した画像上の前記特徴点の位置に基づいて前記視線ベクトルを求めて被験者の視線方向を計測する手段とを有する、
ことを特徴とする視線計測装置。
【請求項４】
被験者に視角が既知である３点を注視させ、各点についてそれぞれ、第１の光源から被験者の角膜に光を照射し、角膜で反射しレンズの光学中心を通過した反射光を第１の反射像として撮像領域に投影し、前記第１の光源、前記レンズの光学中心、及び、前記第１の反射像を含む第１の平面を求め、第２の光源から角膜に光を照射し、角膜で反射しレンズの光学中心を通過した反射光を第２の反射像として撮像領域に投影し、前記第２の光源、前記レンズの光学中心、及び、前記第２の反射像を含む第２の平面を求め、前記第１の平面と前記第２の平面との交線が角膜曲率中心を通過する直線として求める工程と、
眼球回転中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第１の三角錐を仮定し、レンズの光学中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第２の三角錐を仮定し、眼球回転中心から角膜曲率中心までの距離を正規化することよって同一の前記三角形を底面とする前記第１の三角錐と前記第２の三角錐との幾何学的解析を行って前記眼球回転中心の位置を求める工程と、
被験者に任意の点を注視させ、前記角膜曲率中心を通過する直線を求める工程を行って、角膜曲率中心を通過する直線を求める工程と、
求めた直線と眼球回転中心から角膜曲率中心までの距離を眼球半径で正規化した眼球回転中心を中心とする球との交点と眼球回転中心とを結ぶ直線を求め、被験者の視線方向を計測する工程と、を備える、
ことを特徴とする視線計測方法。
【請求項５】
被験者の角膜に光を照射する第１の光源及び第２の光源と、
前記第１の光源及び前記第２の光源から照射された光が角膜で反射してレンズの光学中心を通過する反射光をそれぞれ第１の反射像及び第２の反射像として撮像領域内に投影する撮影装置と、
被験者が視角が既知である３点を注視し、各点についてそれぞれ、前記第１の光源、前記レンズの光学中心、及び、前記第１の反射像を含む第１の平面と、前記第２の光源、前記レンズの光学中心、及び、前記第２の反射像を含む第２の平面とを求め、前記第１の平面と前記第２の平面との交線を角膜曲率中心を通過する直線として求める手段と、眼球回転中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第１の三角錐を仮定し、レンズの光学中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第２の三角錐を仮定し、眼球回転中心から角膜曲率中心までの距離を正規化することよって同一の前記三角形を底面とする前記第１の三角錐と前記第２の三角錐との幾何学的解析を行って前記眼球回転中心の位置を求める手段と、被験者が任意の点を注視した場合に、前記第１の平面と前記第２の平面を求めて角膜曲率中心を通る直線を求め、求めた直線と眼球回転中心から角膜曲率中心までの距離を眼球半径で正規化した眼球回転中心を中心とする球との交点と眼球回転中心とを結ぶ直線を求め、被験者の視線方向を計測する手段と、を有する演算装置と、を備える、
ことを特徴とする視線計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線計測方法及び視線計測装置に関する。
【背景技術】
【０００２】
視線情報は、神経科学における基礎研究、注意や関心といった心理状態の評価、ＰＣ機器への入力インターフェイスとしてなど幅広い分野で利用されている。今後、視線情報の取得が求められる機会は上記に留まらず、日常生活においても増加していくことが想定される。
【０００３】
このような背景から、視線計測には位置精度だけでなく、被験者への負担が軽く、また、キャリブレーションの容易な視線計測方法が求められている。
【０００４】
カメラを用いた従来の視線計測法では、視線方向の検出に瞳孔中心が利用されてきた（例えば、特許文献１〜２）。また、角膜曲率中心位置を計測することによって視線を計測する方法がある（非特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１６７１５２号公報
【特許文献２】特開２００５−１８５４３１号公報
【非特許文献】
【０００６】
【非特許文献１】「二光源を用いた角膜曲率中心位置計測による視線検出法」田中  宏明、疋田  真一、笠井  健、竹田  仰；社団法人  電子情報通信学会；信学技報ＭＢＥ２００８−１２８（２００９−０３）；ｐ．１７７〜ｐ．１８０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１及び２に開示されているように、視線方向の検出に瞳孔中心を利用すると以下の問題がある。瞳孔の大きさは明るさの変化や遠近方向における注視点の移動によって時々刻々と変化しており、瞳孔伸縮の際に同心円を保つという保証はない。これは、検出される視線位置精度が低下する大きな原因となっている。また、視線位置精度向上のためにキャリブレーションを行う際には、既知の位置にある多くの指標を注視する過程が必要となり、簡便な計測ができない。
【０００８】
また、非特許文献１では、角膜曲率中心から眼球回転中心までの距離を与えることで視線計測を行っており、与える角膜曲率中心から眼球回転中心までの距離によって計測結果が異なることとなるので計測精度に問題がある。
【０００９】
本発明は、上記事項に鑑みてなされたものであり、その目的とするところは、被験者の負担が軽く、キャリブレーションの容易な視線計測方法及び視線計測装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点に係る視線計測方法は、
予め被験者の回転前後の眼球を１台の撮像装置で撮影し、撮像した画像から眼球表面上の任意の特徴点を３点以上抽出し、眼球の回転前後の前記特徴点の３次元位置に基づいて前記特徴点と眼球回転中心との位置関係を求めておき、
被験者に各点間の視角が既知である任意の３点の注視点を一巡するように順に注視させ、２点の前記注視点間をそれぞれ移動する際に眼球表面上の所定の１点が眼球回転軸回りに移動する第１の軌跡円、第２の軌跡円、及び、第３の軌跡円を求め、前記第１の軌跡円、前記第２の軌跡円、及び、前記第３の軌跡円の交点を視線ベクトル先端として求め、前記眼球回転中心と前記視線ベクトル先端とを結ぶ視線ベクトルを被験者の視線方向として求めておき、
前記視線ベクトルと前記特徴点の位置関係を求めておき、
前記撮像装置で眼球を撮像し、撮像した画像上の前記特徴点の位置に基づいて、前記視線ベクトルを求めることで被験者の視線方向を計測する、
ことを特徴とする。
【００１１】
また、前記特徴点として血管の分岐点を抽出してもよい。
【００１３】
本発明の第２の観点に係る視線計測装置は、
被験者の眼球を撮像する１台の撮像装置と、
前記撮像装置で撮像された画像に基づいて被験者の視線方向を計測する演算装置と、を備え、
前記演算装置は、
予め被験者の回転前後の眼球を撮像した画像から眼球表面上の任意の特徴点を３点以上抽出して眼球の回転前後の前記特徴点の３次元位置に基づいて前記特徴点と眼球回転中心との位置関係を求め、被験者が各点間の視角が既知である任意の３点の注視点を一巡するように順に注視して２点の前記注視点間をそれぞれ移動する際に眼球表面上の所定の１点が眼球回転軸回りに移動する第１の軌跡円、第２の軌跡円、及び、第３の軌跡円を求め、前記第１の軌跡円、前記第２の軌跡円、及び、前記第３の軌跡円の交点を視線ベクトル先端として求め、前記眼球回転中心と前記視線ベクトル先端とを結ぶ視線ベクトルを被験者の視線方向として求め、前記視線ベクトルと前記特徴点の位置関係を求める手段と、
前記撮像装置で眼球を撮像した画像上の前記特徴点の位置に基づいて前記視線ベクトルを求めて被験者の視線方向を計測する手段とを有する、
ことを特徴とする。
【００１５】
本発明の第３の観点に係る視線計測方法は、
被験者に視角が既知である３点を注視させ、各点についてそれぞれ、第１の光源から被験者の角膜に光を照射し、角膜で反射しレンズの光学中心を通過した反射光を第１の反射像として撮像領域に投影し、前記第１の光源、前記レンズの光学中心、及び、前記第１の反射像を含む第１の平面を求め、第２の光源から角膜に光を照射し、角膜で反射しレンズの光学中心を通過した反射光を第２の反射像として撮像領域に投影し、前記第２の光源、前記レンズの光学中心、及び、前記第２の反射像を含む第２の平面を求め、前記第１の平面と前記第２の平面との交線が角膜曲率中心を通過する直線として求める工程と、
眼球回転中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第１の三角錐を仮定し、レンズの光学中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第２の三角錐を仮定し、眼球回転中心から角膜曲率中心までの距離を正規化することよって同一の前記三角形を底面とする前記第１の三角錐と前記第２の三角錐との幾何学的解析を行って前記眼球回転中心の位置を求める工程と、
被験者に任意の点を注視させ、前記角膜曲率中心を通過する直線を求める工程を行って、角膜曲率中心を通過する直線を求める工程と、
求めた直線と眼球回転中心から角膜曲率中心までの距離を眼球半径で正規化した眼球回転中心を中心とする球との交点と眼球回転中心とを結ぶ直線を求め、被験者の視線方向を計測する工程と、を備える、ことを特徴とする。
【００１６】
本発明の第４の観点に係る視線計測装置は、
被験者の角膜に光を照射する第１の光源及び第２の光源と、
前記第１の光源及び前記第２の光源から照射された光が角膜で反射してレンズの光学中心を通過する反射光をそれぞれ第１の反射像及び第２の反射像として撮像領域内に投影する撮影装置と、
被験者が視角が既知である３点を注視し、各点についてそれぞれ、前記第１の光源、前記レンズの光学中心、及び、前記第１の反射像を含む第１の平面と、前記第２の光源、前記レンズの光学中心、及び、前記第２の反射像を含む第２の平面とを求め、前記第１の平面と前記第２の平面との交線を角膜曲率中心を通過する直線として求める手段と、眼球回転中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第１の三角錐を仮定し、レンズの光学中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第２の三角錐を仮定し、眼球回転中心から角膜曲率中心までの距離を正規化することよって同一の前記三角形を底面とする前記第１の三角錐と前記第２の三角錐との幾何学的解析を行って前記眼球回転中心の位置を求める手段と、被験者が任意の点を注視した場合に、前記第１の平面と前記第２の平面を求めて角膜曲率中心を通る直線を求め、求めた直線と眼球回転中心から角膜曲率中心までの距離を眼球半径で正規化した眼球回転中心を中心とする球との交点と眼球回転中心とを結ぶ直線を求め、被験者の視線方向を計測する手段と、を有する演算装置と、を備える、
ことを特徴とする。
【発明の効果】
【００１７】
本発明に係る視線計測方法では、被験者に３点を注視させるだけで容易にキャリブレーションをとることができる。また、２つの光源と１台のカメラ、或いは、１台のカメラのみで、被験者の視線を計測することができるので、小型の視線計測装置も実現できる。このため被験者への負担も軽減できる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１に係る視線計測装置を示す斜視図である。
【図２】実施の形態１におけるカメラ座標系を示す模式図である。
【図３】眼球の回転に伴う特徴点の移動を示す模式図である。
【図４】注視点Ａから注視点Ｂへ視線を移動させた際の視線ベクトルの先端が移動する軌跡円を示す模式図である。
【図５】回転角度の計測結果を示す図である。
【図６】実施の形態２に係る視線計測装置を示す斜視図である。
【図７】撮像装置及び光源を眼鏡レンズ上面に設置した例を示す斜視図である。
【図８】実施の形態２におけるカメラ座標系を示す模式図である。
【図９】角膜曲率中心を通る直線を示す模式図である。
【図１０】３点の指標を注視したときの角膜曲率中心位置からなる三角形と眼球回転中心を示す模式図である。
【図１１】水平回転時の視線角度の結果を示す図である。
【図１２】視線位置精度の結果を示す図である。
【発明を実施するための形態】
【００１９】
（実施の形態１）
実施の形態１に係る視線計測方法及び視線計測装置について説明する。図１に、一例として、視線計測方法を実現するために用いられ得る視線計測装置１を示している。視線計測装置１は、ＣＣＤカメラ等、被験者の眼球を撮像可能な撮像装置１０と、撮像した画像情報から被験者の視線方向を演算する演算装置１１と、撮像した画像情報を演算装置１１に送信する送信ライン１２とを備える。本例は、撮像装置１０が眼鏡１３に設置された眼鏡タイプであり、被験者の眼球と撮像装置１０との位置関係が計測中に変動し難いことから好適に利用され得る。
【００２０】
また、眼鏡レンズ１３ａは、外界の像と表示素子からの情報像を重ね合わせて同時に観察できるよう、透過型ディスプレイが組み込まれた構成とすることもできる。
【００２１】
上記の視線計測装置１における視線の計測については、以下の視線計測方法を参照する。
【００２２】
実施の形態１に係る視線計測方法は、予め被験者の眼球表面上の任意の特徴点を３点以上抽出し、視線方向と眼球との交点と特徴点との位置関係を求めておき、撮像装置で眼球を撮像し、撮像した画像上の特徴点の位置に基づいて、被験者の視線方向を計測する方法である。
【００２３】
図を参照しつつ、視線計測の原理について説明する。図２にレンズの光学中心を原点とするカメラ座標系を示す。眼球は真球であり、ある一点（眼球回転中心Ｏｃ）を中心に回転するものとする。また、使用するカメラの内部パラメータ（画像中心、焦点距離、画素サイズ）は事前のキャリブレーションにより既知とし、撮像面上、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）面上に投影された特徴点の３次元位置が画像座標から求まるとする。
【００２４】
眼球の撮影画像に含まれる毛細血管のパターンなどから、画像処理により眼球表面上の３点の特徴点を抽出する。そして、これらの特徴点の位置から眼球回転中心Ｏｃ、及び、注視線（注視点と眼球回転中心Ｏｃを結ぶ直線）と眼球表面の交点（視線ベクトルの先端）の位置を計測する。カメラに対する視線の水平・垂直方向は、眼球回転中心Ｏｃと上記の交点を結ぶ視線ベクトルから計算される。視線まわりの回転角（ｔｏｒｓｉｏｎ）は、視線ベクトルに対する特徴点の位置から計算される、
【００２５】
カメラ座標系における眼球表面上の特徴点の位置ベクトルＰｉ（ｉ＝１，２，３）は、ＣＣＤ面上に投影された特徴点に向かうベクトルｐｉ＝（ｘｉ，ｙｉ，ｚ）と未知パラメータＫｉ（レンズ光学中心ＯとＰｉとの距離が、レンズ光学中心Ｏとｐｉとの距離のＫｉ倍と定義）、及び、眼球回転中心のベクトルＯｃからそれぞれの特徴点に向かうベクトルｒｉを用いて式（１）で表わすことができる
ベクトルＰｉ＝Ｋｉ・ベクトルｐｉ＝ベクトルＯｃ＋ベクトルｒｉ    （１）
【００２６】
次に、眼球の回転運動が生じると、図３に示すように、回転前の特徴点ベクトルＰｉは回転後の特徴点ベクトルＱｉに、ＣＣＤ面上に投影された特徴点ベクトルｐｉはベクトルｑｉに移動する。このとき、特徴点ベクトルＱｉはベクトルｑｉと未知パラメータＪｉ（レンズ光学中心ＯとベクトルＱｉとの距離が、レンズ光学中心Ｏとベクトルｑｉとの距離のＪｉ倍と定義）、回転中心ベクトルＯｃからベクトルｑｉに向かうベクトルｔｉ、及び、回転行列Ａを用いて式（２）で表わされる。
ベクトルＱｉ＝Ｊｉ・ベクトルｑｉ＝ベクトルＯｃ＋ベクトルｔｉ
＝ベクトルＯｃ＋回転行列Ａ・ベクトルｒｉ      （２）
【００２７】
眼球回転中心のベクトルＯｃ、未知パラメータＫｉ及びＪｉを眼球半径を１として正規化したものをそれぞれベクトルＯｎ、Ｋ’ｉ、Ｊ’ｉとする。そして、眼球の回転前後で眼球の半径は変わらないから、式（１）、（２）より、式（３）、（４）が導かれる。
｜Ｋ’ｉ・ベクトルｐｉ−ベクトルＯｎ｜２＝１      （３）
｜Ｊ’ｉ・ベクトルｑｉ−ベクトルＯｎ｜２＝１      （４）
【００２８】
式３及び式４をそれぞれについて解くことで、未知パラメータＫ’ｉ、Ｊ’ｉは、ベクトルＯｎを用いて次式（５）、（６）で表わされる。
【数１】
0005590487.tif 000002
【００２９】
各特徴点の相互の位置関係は、眼球の回転前後によっても不変であるため、眼球の半径を１として正規化された３つの特徴点のそれぞれの距離の関係から次式（７）、（８）、（）９が得られる。
｜Ｋ’１・ベクトルｐ１−Ｋ’２・ベクトルｐ２｜２
＝｜Ｊ’１・ベクトルｑ１−Ｊ’２・ベクトルｑ２｜２      （７）
｜Ｋ’２・ベクトルｐ２−Ｋ’３・ベクトルｐ３｜２
＝｜Ｊ’２・ベクトルｑ２−Ｊ’３・ベクトルｑ３｜２      （８）
｜Ｋ’３・ベクトルｐ３−Ｋ’１・ベクトルｐ１｜２
＝｜Ｊ’３・ベクトルｑ３−Ｊ’１・ベクトルｑ１｜２      （９）
【００３０】
式（５）〜（９）から、９個のスカラー方程式が得られるので、これらを解くことで、眼球の回転中心ベクトルＯｎが求められる。更に、未知パラメータＫ１’〜Ｋ３’、Ｊ１’〜Ｊ３’も求められる。
【００３１】
上記のように、眼球半径で正規化された特徴点の回転前後の位置ベクトルＰ’ｉ、ベクトルＱ’ｉは、Ｋ’ｉ、Ｊ’ｉが決定されたため、Ｋ’ｉ、Ｊ’ｉを用い、式（１０）、（１１）により求めることができる。
ベクトルＰ’ｉ＝Ｋ’ｉ・ベクトルｐｉ      （１０）
ベクトルＱ’ｉ＝Ｊ’ｉ・ベクトルｑｉ      （１１）
【００３２】
したがって、眼球の回転前後の特徴点の正規化後の位置がすべて決定される。
【００３３】
眼球回転中心の位置ベクトルＯｎに対する回転前後の正規化された特徴点の位置ベクトルｒ’ｉ、ｔ’ｉについても、上記の未知パラメータが定まったため、式（１）、（２）より求められる。
【００３４】
また、回転前の特徴点の位置ベクトルＲ＝（ｒ’１，ｒ’２，ｒ’３）Ｔ、回転後の位置ベクトルＴ＝（ｔ’１，ｔ’２，ｔ’３）Ｔとおくと、眼球回転前後の特徴点は回転行列Ａを用いて次式（１２）で表わされる。
Ｔ＝ＡＲ    （１２）
【００３５】
上式より、回転行列Ａが求まった結果、眼球の回転軸の方向ベクトルｎおよび回転角φが決まる。
【００３６】
続いて、視線方向ベクトルと特徴点との関係を求める。
【００３７】
これまでに眼球の姿勢Ｐと姿勢Ｑにおける眼球表面上の３点の特徴点の位置をそれぞれカメラで計測することによって、眼球の半径を１として正規化した座標系における眼球回転中心のベクトルＯｎ、眼球表面の特徴点の位置ベクトルｒ’ｉ及び姿勢Ｐ’からＱ’への回転行列Ａが決定できることを示した。
【００３８】
しかし、回転行列Ａが与えられても、視線の回転角が与えられるわけではない。なぜならば、３つの特徴点の位置と視線方向の関係が与えられていないからである。ここでは、３つの注視点（各視標間の視角は既知）を選ぶことにより、各注視点に対する特徴点位置の計測結果から、視線方向と特徴点の位置関係を求めることが可能であることを示す。
【００３９】
まず、任意の３つの注視点Ａ，Ｂ，ＣをＡ→Ｂ→Ｃ→Ａの順番に注視したときの視線回転角を、それぞれθｉ（ｉ＝１，２，３）とする。なお、その際に対応する回転行列、軌跡円の中心ベクトル、軌跡円の半径、視線回転角、眼球回転軸、眼球回転角をそれぞれ表１に示している。
【表１】
0005590487.tif 000003
【００４０】
視線を注視点ＡからＢに移すとき、視線ベクトルの先端は、図４に示すように、ベクトルＦ１からベクトルＦ２に移動する。このとき視線回転角∠Ｆ１ＯｎＦ２＝θ１、眼球回転角∠Ｆ１Ｏ１Ｆ２＝φ１となる。視線ベクトルの先端が移動する軌跡円は半径がＲ’１で、眼球回転軸の方向ベクトルｎ１を法線ベクトルとする円（軌跡円の中心ベクトルＯ１）である。
【００４１】
同様に、視線をＢ→Ｃに移すときにも視線ベクトルの先端が移動する軌跡円（軌跡円の中心ベクトルＯ２）が存在する。また、同様に、視線をＣ→Ａに移すときにも視線ベクトルの先端が移動する軌跡円（軌跡円の中心ベクトルＯ３）が存在する。
【００４２】
このように、視線を注視点ＡからＢ、ＢからＣ、ＣからＡに移すことにより、合計３つの視線ベクトルの先端が移動する軌跡円が求められ、３つの軌跡円の交点が１点求められる。したがって、眼球回転中心Ｏｎからこの３つの軌跡円の交点へのベクトルが視線ベクトルとなる。
【００４３】
３つの軌跡円の中心ベクトルＯｉは回転軸の方向ベクトルｎｉと半径Ｒ’ｉを用いて次式で表わされる。
ベクトルＯｉ＝ベクトルＯｎ＋Ｌ’ｉ・ベクトルｎｉ    （１３）
｜ベクトルＯｉ−ベクトルＯｎ｜２＝１−Ｒ’ｉ２    （１４）
【００４４】
ここでＬ’ｉは未知パラメータであり、軌跡円の半径Ｒ’ｉがわかれば、３つの軌跡円の中心ベクトルＯｉを決定できる。そして、軌跡円の中心ベクトルＯｉの半径Ｒ’ｉは、視線ベクトルの回転角θｉと眼球回転角φｉの関係から求まる。
【数２】
0005590487.tif 000004
ここで、正規化座標系において、眼球半径Ｒ＝１、視線ベクトルの回転角θｉは既知であり、眼球回転角φｉは回転前後の特徴点の位置から与えられる。
【００４５】
そして、３つの注視点をＡ→Ｂ→Ｃ→Ａの順番に注視した後の３つの軌跡円の中心ベクトルＯ’ｉは次式（１６）、（１７）、（１８）で表わされる。
Ｏ’１＝Ａ３Ａ２Ｏ１    （１６）
Ｏ’２＝Ａ３Ｏ２    （１７）
Ｏ’３＝Ｏ３    （１８）
ここで、回転行列Ａ１、Ａ２、Ａ３は、表１に示したように、それぞれＡ→Ｂ、Ｂ→Ｃ、Ｃ→Ａの視線移動に対応している。
【００４６】
そして、視線ベクトルの先端Ｆは３つの軌跡円の交点として次式により求まる。
｜ベクトルＦ−ベクトルＯ’１｜２＝Ｒ’１２    （１９）
｜ベクトルＦ−ベクトルＯ’２｜２＝Ｒ’２２    （２０）
｜ベクトルＦ−ベクトルＯ’３｜２＝Ｒ’３２    （２１）
｜ベクトルＦ−Ｏｎ｜２＝１    （２２）
【００４７】
以上より、視線の方向ベクトルＧは次式で与えられる。
ベクトルＦ＝ベクトルＰ’＋ベクトルΔＦ      （２３）
ベクトルＧ＝ベクトルＦ−ベクトルＯｎ        （２４）
ここで、ベクトルΔＦは注視点Ａを注視しているときの特徴点ベクトルＰ’から見たベクトルＦへの方向ベクトルであり、視線方向と特徴点の位置関係を表わす。
【００４８】
したがって、最初にベクトルΔＦを求めさえすれば、以降は特徴点の計測結果から視線ベクトルを計算することができる。視線ベクトルが求まったことによって、視線まわりの回転角（ｔｏｒｓｉｏｎ）は視線ベクトルに対する特徴点の位置から容易に求まる。
【００４９】
このように、本実施の形態に係る視線計測方法では、眼球表面上の特徴点３点と視線の方向ベクトルとの関係が求められるため、カメラで３点の特徴点を撮像することにより、視線の方向を計測することができる。また、被験者に３点の注視点を順に注視させるだけで、眼球表面上の特徴点３点と視線の方向ベクトルとの関係が求められるので、キャリブレーションが容易である。また、カメラ１台だけで視線計測ができるので、これを用いた計測システムの小型化を実現し得る。このため、被験者に掛かる負担も小さくなる。
【００５０】
（検証実験）
本実施の形態に係る視線計測方法の有用性を検証するために、特徴点として３点の印をつけたガラス球（直径１５ｍｍ）を用いて計測実験を行った。ガラス球の回転中心と光学ステージの中心が一致するように光学系を設置し、ガラス球を水平、垂直角度ともに±２０ｄｅｇの範囲で１０ｄｅｇごとに回転させたときの特徴点座標からガラス球の回転角度の計測を行った。
【００５１】
図５に、光学ステージを水平方向、垂直方向それぞれ−２０ｄｅｇから２０ｄｅｇまで手動で回転させたときの測定した回転角度の計測結果を示す。２５点のターゲットに対する眼球回転角φに基づくガラス球の回転角度計測の結果、位置誤差は０．１〜１．１ｄｅｇと小さく、十分実用可能であることを立証した。
【００５２】
（実施の形態２）
実施の形態２に係る視線計測方法及び視線計測装置について説明する。図６に、一例として、実施の形態２に係る視線計測方法を実現するために用いられ得る視線計測装置２を示している。視線計測装置１は、被験者の角膜に光を照射するＬＥＤ等の２つの光源１４、１５と、角膜で反射したそれぞれの反射光を反射像として撮像するＣＣＤカメラ等の撮像装置１０と、撮像した画像情報から被験者の視線方向を演算する演算装置１１と、撮像した画像情報を演算装置１１に送信する送信ライン１２とを備える。本例は、撮像装置１０、２つの光源１４、１５が眼鏡１３に設置された眼鏡タイプでる。被験者の眼球と撮像装置１０との位置関係が視線の計測中に変動し難いことから好適に利用され得る。
【００５３】
また、図７に示すように、眼鏡レンズ１３ａとして外界からの可視光を透過させる波長選択性のある反射鏡（例えば、ＨＯＥ：Ｈｏｌｏｇｒａｐｈｉｃ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）を用い、撮像装置１０及び光源１４、１５を眼鏡レンズ１３ａ上面に設置してもよい。矢印に示すように、光源１４、１５から光は、眼鏡レンズ１３ａで反射して角膜に照射され、角膜反射像の眼球運動に伴う位置変化を、同じ眼鏡レンズ１３ａを介して撮像装置１０で撮像することができる。装置の小型軽量化が達成できるとともに、被験者の視界を遮らないようにできるので、被計測者の心理状態や行動を妨げることなく視線位置を客観的に知ることが可能となる。
【００５４】
また、眼鏡レンズ１３ａは、外界の像と表示素子からの情報像を重ね合わせて同時に観察できるよう、透過型ディスプレイが組み込まれた構成とすることもできる。
【００５５】
更に、被験者の注視点が外界のどこに位置しているのかを３次元的に計測することもできる。上述のように、眼鏡レンズ１３ａ内に作成された約４５度の傾きの反射鏡（例えば、ＨＯＥ）を介し、眼鏡レンズ１３ａから投射された光源による角膜反射像の眼球運動に伴う位置変化を、眼鏡レンズ１３ａ上面に取り付けた撮像装置１０で２次元的に計測することにより、瞬時の視線方向を計測することができる。そして、上記のセットを眼鏡１３の両レンズに設置し、各眼の水平・垂直視線方向の同時測定値から両眼視線の交点（注視点位置）を計測することもできる。なお、光学系の構成によっては１セットのみで両眼の視線を計測することも可能である。そして、外界の像は、眼鏡１３の両眼中点に別途撮像装置を設置して撮像し、また、計測された視線方向と外界の位置を関連付ける（計測値の較正）ため、眼鏡レンズ１３ａ内に設置したＨＯＥによるディスプレイに計測した視線位置を光点として表示し、被験者が注視した位置と一致するようフィードバックをかけて、計測値と真値の対応付けを行うこともできる。
【００５６】
視線計測装置２における視線の計測については、以下の視線計測方法を参照する。
【００５７】
実施の形態２に係る視線計測方法は、被験者に視角が既知である３点を注視させ、各点についてそれぞれ、第１の光源から被験者の角膜に光を照射し、角膜で反射した反射光がレンズの光学中心を通過させて撮像領域に第１の反射像を投影し、第１の光源、レンズの光学中心、及び、第１の反射像を含む第１の平面を求め、また、第２の光源から角膜に光を照射し、角膜で反射した反射光がレンズの光学中心を通過させて撮像領域に第２の反射像を投影し、第２の光源、レンズの光学中心、及び、第２の反射像を含む第２の平面を求め、第１の平面と第２の平面との交線を角膜曲率中心を通過する直線として求める工程と、眼球回転中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第１の三角錐を仮定し、また、レンズの光学中心を頂点とし３点の角膜曲率中心からなる三角形を底面とする第２の三角錐を仮定し、眼球回転中心から角膜曲率中心までの距離を正規化することよって同一の三角形を底面とする第１の三角錐と第２の三角錐との幾何学的解析を行って眼球回転中心の位置を求める工程と、被験者に任意の点を注視させ、上記の角膜曲率中心を通過する直線を求める工程を行って、角膜曲率中心を通過する直線を求める工程と、求めた直線と眼球回転中心から角膜曲率中心までの距離を眼球半径で正規化した眼球回転中心を中心とする球との交点と眼球回転中心とを結ぶ直線を求め、被験者の視線方向を計測する工程と、から構成される。
【００５８】
図を参照しつつ、視線計測方法の原理について説明する。図８にカメラレンズの光学中心Ｏを原点とするカメラ座標系を示している。２つの異なる位置にある点光源ＬＥＤ１、ＬＥＤ２から、角膜へ向けて赤外光を発すると、２つの正立の虚像（プルキニエ・サンソン像）が角膜後方にできる。カメラでこれら２つの角膜反射像Ｐ１，Ｐ２を撮影することにより、角膜曲率中心及び眼球回転中心の位置を計測し、これら２点を結ぶ直線として視線方向を算出する。なお、角膜は完全な球の一部とし、眼球はある一点を中心に回転するものとする。
【００５９】
まず、角膜反射像位置の算出について説明する。最初に撮影画像から各光源ＬＥＤ１，ＬＥＤ２に対応する角膜反射像の領域を抽出する。次に撮影画像上における角膜反射像Ｐの位置（ｘｐ、ｙｐ）は、式１及び式２に示すように、各画素の輝度値を用いて反射像領域の重心を計算することにより決定される。なお、式１及び式２中、反射像領域の左下の座標を（ｘｌ，ｙｌ）、右上の座標を（ｘｒ，ｘｒ）とし、ｆ（ｘ，ｙ）を画像上の座標（ｘ，ｙ）における輝度値としている。
【数３】
0005590487.tif 000005
【００６０】
次に、カメラ座標系における光源の角膜反射像位置Ｐ（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は次式で表すことができる。
ｘ’ｐ＝μｘ（ｘｐ−ｘｃ）    （３）
ｙ’ｐ＝μｘ（ｙｐ−ｙｃ）    （４）
ｚ’ｐ＝Ｄ    （５）
ここで、μｘ，μｙは、変換係数であり、画素サイズに相当する。ｘｃ，ｙｃはレンズの光軸と撮像面（例えば、ＣＣＤ面）との交点であり、画像中心の位置である。Ｄは画像中心から光学中心までの距離である。これらはいずれもカメラ固有の既知の定数である。
【００６１】
続いて、図９を参照しつつ、角膜曲率中心を通る直線の算出を行う。
【００６２】
眼球に近赤外光を照射したとき、光源位置、レンズ光学中心、ＣＣＤ面上に投影された角膜反射像の位置及び角膜曲率中心の４点は、同一平面上に位置する。光源１点につき、角膜反射像、レンズ光学中心、光源の３点からなる平面が１つ定まる。位置の異なる２個の光源Ｌ１，Ｌ２を用いると、それぞれ上記３点が含まれる平面が２つ定まる。
【００６３】
この２つの平面の交線は、レンズ光学中心を通って角膜曲率中心ベクトルＱ（ｑ）に向かう直線となる。
【００６４】
光学中心をＯ、２つの光源Ｌ１（ベクトルｌ１）、Ｌ２（ベクトルｌ２）それぞれの光源反射像位置をＰ１（ベクトルｐ１）、Ｐ２（ベクトルｐ２）とする。そして、Ｌ１、Ｏ、Ｐ１でなす平面に垂直なベクトルｎ１と、Ｌ２、Ｏ、Ｐ２でなす平面に垂直な法線ベクトルｎ２を式（６）、（７）よりそれぞれ求める。
ベクトルｎ１＝（ベクトルｐ１−ベクトルｏ）×（ベクトルｌ１−ベクトルｏ）    （６）
ベクトルｎ２＝（ベクトルｐ２−ベクトルｏ）×（ベクトルｌ２−ベクトルｏ）    （７）
【００６５】
式（８）に示すように、ベクトルｎ１とベクトルｎ２の外積から、交線の方向ベクトルｖが求まる。
ベクトルｖ＝ベクトルｎ１×ベクトルｎ２    （８）
【００６６】
交線ｍは、光学中心ベクトルＯ（ｏ）とパラメータＫを用いることにより、式（９）で表される。
ベクトルｍ＝ベクトルｏ＋Ｋ・ベクトルｖ    （９）
【００６７】
続いて、眼球回転中心位置の算出を行う。眼球回転中心は、図１０に示すように、視角が既知である３点の注視点と角膜曲率中心を通る３本の直線から求めることができる。
【００６８】
３点の視覚目標を順番に注視したときの角膜曲率中心の位置をＱ１，Ｑ２，Ｑ３とすると、それらの位置は、式９より、３つの未知のパラメータＫ１，Ｋ２，Ｋ３を用いることで次式（１０）〜（１２）のように表すことができる。
ベクトルｑ１＝ベクトルｏ＋Ｋ１・ベクトルｖ１    （１０）
ベクトルｑ２＝ベクトルｏ＋Ｋ２・ベクトルｖ２    （１１）
ベクトルｑ３＝ベクトルｏ＋Ｋ３・ベクトルｖ３    （１２）
【００６９】
ここで、３つの角膜曲率中心位置Ｑ１，Ｑ２，Ｑ３と、眼球回転中心位置ベクトルＥ（ｅ）を結ぶ直線同士がなす角をそれぞれφ１，φ２，φ３とし、眼球回転中心と角膜曲率中心との距離をＲとすると、三角形Ｑ１，Ｑ２，Ｑ３における各辺の長さについて式（１０）〜（１２）を用い、次式（１３）〜（１５）で表すことができる。（１３）〜（１５）式中の左辺はそれぞれ眼球回転中心と２つ角膜曲率中心位置からなる三角形から算出される三角形Ｑ１，Ｑ２，Ｑ３における各辺の長さであり、右辺はそれぞれレンズの光学中心と２つ角膜曲率中心位置からなる三角形から算出される三角形Ｑ１，Ｑ２，Ｑ３における各辺の長さである。
【数４】
0005590487.tif 000006
【００７０】
式（１３）〜（１５）には、４つの未知パラメータ（Ｒ，Ｋ１，Ｋ２，Ｋ３）が含まれているため、このままでは解くことができない。そこで、上式の両辺をそれぞれＲ２で割り、
Ｋ１／Ｒ＝Ｋ’１，Ｋ２／Ｒ＝Ｋ’２，Ｋ３／Ｒ＝Ｋ’３とそれぞれおくと、（１３）〜（１５）はそれぞれ、（１６）〜（１８）と表すことができる。
【数５】
0005590487.tif 000007
【００７１】
これをＫ’１，Ｋ’２，Ｋ’３について解くことで、眼球回転中心から角膜曲率中心までの距離Ｒで正規化された角膜曲率中心位置Ｑ’１（ベクトルｑ’１），Ｑ’２（ベクトルｑ’２），Ｑ’３（ベクトルｑ’３）をそれぞれ求めることができる。
【００７２】
正規化された角膜曲率中心Ｅ’（ベクトルｅ’）は、Ｑ’１，Ｑ’２，Ｑ’３から等距離にあるので、以下の式より、Ｅ’（ベクトルｅ’）が定まる。なお、算出される２点のうちカメラからより遠い点をＥ’とする。
｜ベクトルｅ’−ベクトルｑ’１｜２＝｜ベクトルｅ’−ベクトルｑ’２｜２
＝｜ベクトルｅ’−ベクトルｑ’３｜２＝１    （１９）
【００７３】
視線方向を求めるにはＥ’（ベクトルｅ’）がわかれば十分であるが、もし半径Ｒが与えられるならば、実際の眼球回転中心位置Ｅ（ベクトルｅ’）も、次式より求めることもかのうである。
ｅ＝Ｒ・ｅ’    （２０）
【００７４】
続いて、角膜曲率中心位置の算出を行う。任意の視線位置における正規化された角膜曲率中心位置Ｑ’（ベクトルｑ’）は、正規化された眼球回転中心位置を中心とする半径１の球と、反射像２点から求まる直線ｍとの交点であることから、Ｋ’が求まることにより、Ｑ’（ベクトルｑ’）が定まる。
｜ベクトルｑ’−ベクトルｅ’｜２＝１    （２１）
ベクトルｑ’＝Ｋ’・ベクトルｖ    （２２）
なお、算出される２つの交点のうちカメラにより近い点をＱ’とする。
【００７５】
以上より、視線の方向ベクトルｇ’は、式２３より求まる。
ベクトルｇ’＝ベクトルｑ’−ベクトルｅ’    （２３）
【００７６】
したがって、被験者が任意の点を見ている場合、上述した手法によって角膜曲率中心を通過する直線を求めることで、この直線と眼球回転中心から角膜曲率中心までの距離を眼球半径で正規化した球との交点が得られ、この交点と眼球回転中心とを結ぶ直線が得られるので、被験者の視線方向を計測することができる。
【００７７】
なお、眼球半径Ｒが与えられるならば、角膜曲率中心と眼球回転中心を結ぶ視線ベクトルｇは、ベクトルｇ’を用いて、式２４により求めることもできる。
ベクトルｇ＝Ｒ・ベクトルｇ’    （２４）
【００７８】
本実施の形態に係る視線計測方法では、視線の算出に必要な眼球回転中心位置は、視角が既知である３点の指標を注視することで得られるので、キャリブレーションが容易である。
【００７９】
また、２つの角膜反射像の位置さえ検出できれば視線を計測できるため、画像処理の負担が軽減される結果、高速化及び低コスト化が期待できる。
【００８０】
また、本実施の形態に係る視線計測方法では、１台のカメラと２つの光源があればよく、計測システムの小型化が容易であり、これらを眼鏡やＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）と一体化させることで、頭部運動時にも視線位置精度を劣化させることなく視線検出を行うことが可能となる。
【００８１】
（検証実験）
実験環境を以下に示す。ＣＣＤカメラ（ＳＯＮＹ株式会社製、ＸＣ−ＥＩ５０）にマクロレンズ（ＶＳ  Ｔｅｃｈｎｏｌｏｇｙ，ＶＳ−ＬＤ２５）を装着し、角膜模型（直径１５．４ｍｍの光学ガラス球）を撮影した。
【００８２】
眼球の水平及び垂直回転を再現するため、光学ステージとして水平回転ステージ（シグマ光機株式会社製、水平方向に±１８０ｄｅｇ回転可能）とゴニオステージ（シグマ光機株式会社製、垂直方向に±３０ｄｅｇ回転可能）を用いた。
【００８３】
両ステージの回転軸が一致した点を眼球の回転中心とし、生理学的知見に基づき眼球回転中心から５．３ｍｍ前方にガラス球を設置した。
【００８４】
水平回転ステージの正面０ｄｅｇ方向はカメラの光軸方向とし、回転面はカメラの水平面と一致させた。
【００８５】
また、カメラの上部と側部にそれぞれ近赤外線ＬＥＤ（浜松ホトニクス株式会社製、波長８８０ｎｍ、発光径１６０μｍ）を設置し、可視光領域をカットするフィルタを通してガラス球からの反射光を撮影した。
【００８６】
毎秒３０フレームで撮影された画像（解像度６４０×４８０ｐｉｘｅｌ）をキャプチャボード（株式会社バッファロー、ＣＢＰ−ＡＶ）を介して画像処理用コンピュータに取り込み、反射像の位置を計算した。
【００８７】
そして、光学ガラス球を水平及び垂直回転させたときの反射像の位置から視線回転角を計算し、位置精度を検証した。
【００８８】
続いて、検証方法について以下に示す。回転ステージ及びゴニオステージにより、水平±４０ｄｅｇ、垂直±３０ｄｅｇの範囲で角膜模型を回転させて、視線位置の計測を行った。それぞれのステージを水平方向、垂直方向に１０ｄｅｇ刻みで回転させ、合計６３点の視線位置における光源反射像位置を計測し、それぞれについて視線方向を求めた。
【００８９】
なお、本検証では光学ステージを用いて水平角度と垂直角度で視線方向を与えたため、視線位置精度の評価を角度で行った。水平角度は、ステージの水平回転面に計測した視線ベクトルを投影したベクトルと基準ベクトル（正面０ｄｅｇ方向のベクトル）とのなす角とし、垂直角度は水平回転面と計測したベクトルのなす角とした。
【００９０】
図１１に、光学ステージを水平方向、垂直方向それぞれ−１０ｄｅｇから１０ｄｅｇまで手動で回転させたときの視線角度を示す。回転後の定常状態における１秒間（フレーム番号２４０２〜２４３０の３０フレーム）の視線角度の平均値と標準偏差は、水平方向については１０．００１±０．００８ｄｅｇであった。また、垂直方向については０．０４８±０．００８ｄｅｇであった。
【００９１】
このようにして、水平±４０ｄｅｇ、垂直±３０ｄｅｇの範囲について調べた視線角度を図１２に示す。なお、光学ステージの水平方向への回転角度を水平角度と、光学ステージの垂直方向への回転角度を垂直角度と記す。
【００９２】
図１２のグリッド格子点が光学ステージの回転角である。検出した視線角度をプロットしている。検出した視線角度は水平角度、垂直角度ともにほぼ光学ステージの回転角と一致していた。
【００９３】
表２に視線角度の最大誤差、平均誤差、標準偏差を示す。
【表２】
0005590487.tif 000008
【００９４】
視線角度が水平角度±２０ｄｅｇ、垂直角度±２０ｄｅｇの範囲における平均誤差は水平方向で０．１８７ｄｅｇであり、垂直方向で０．２００ｄｅｇであった。また、視線角度を水平角度±４０ｄｅｇ、垂直角度±３０ｄｅｇに範囲を拡大した場合でも、平均誤差は水平方向及び垂直方向で０．３ｄｅｇ未満であり、大きな誤差の増加は見られなかった。このことから、本実施の形態に係る視線計測方法で得られる視線位置精度は高いことがわかる。
【産業上の利用可能性】
【００９５】
キャリブレーションが容易で、被験者に負担の小さい視線計測方法であるので、神経科学における基礎研究、心理状態の評価、ＰＣ機器への入力インターフェイスなど幅広い分野に利用可能である。
【符号の説明】
【００９６】
１    視線計測装置
２    視線計測装置
１０    撮像装置
１１    演算装置
１２    送信ライン
１３    眼鏡
１３ａ  眼鏡レンズ
１４    光源
１５    光源
【図１】
0005590487.tif 000009
【図２】
0005590487.tif 000010
【図３】
0005590487.tif 000011
【図４】
0005590487.tif 000012
【図５】
0005590487.tif 000013
【図６】
0005590487.tif 000014
【図７】
0005590487.tif 000015
【図８】
0005590487.tif 000016
【図９】
0005590487.tif 000017
【図１０】
0005590487.tif 000018
【図１１】
0005590487.tif 000019
【図１２】
0005590487.tif 000020