(57)【要約】【課題】ユーザの視線を精度よく計測できる視線計測装置、方法及びプログラムを提供する。【解決手段】この視線計測装置１は、光源７，７からユーザの眼球に向けて照射された光の反射光をカメラ２，２で撮像する撮像手段と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する視線計測手段とを備え、眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴としている。【選択図】図１
2011172853.tif 000002
【特許請求の範囲】
【請求項１】
光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する撮像手段と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する視線計測手段とを備えた装置であって、
前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とする視線計測装置。
【請求項２】
前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する光軸決定手段と、
空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定するパラメータ推定手段と、
前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する視軸推定手段とを備えたことを特徴とする請求項１記載の視線計測装置。
【請求項３】
前記光源は２個、前記カメラは２台で構成できることを特徴とする請求項１又は２記載の視線計測装置。
【請求項４】
光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置することを特徴とする請求項３記載の視線計測装置。
【請求項５】
光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像し、これらの撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する方法であって、
前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とする視線計測方法。
【請求項６】
光軸決定手段は、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定し、
パラメータ推定手段は、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定し、
視軸推定手段は、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定することを特徴とする請求項５記載の視線計測方法。
【請求項７】
前記光源は２個、前記カメラは２台で構成できる条件下であることを特徴とする請求項５又は６記載の視線計測方法。
【請求項８】
光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることを特徴とする請求項７記載の視線計測方法。
【請求項９】
光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する機能と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する機能とをコンピュータに実現させる視線計測プログラムであって、
前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とする視線計測プログラム。
【請求項１０】
前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する機能と、
空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定する機能と、
前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する機能とをコンピュータにさらに実現させることを特徴とする請求項９記載の視線計測プログラム。
【請求項１１】
前記光源は２個、前記カメラは２台で構成できる条件下であることを特徴とする請求項９又は１０記載の視線計測プログラム。
【請求項１２】
光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることを特徴とする請求項１１記載の視線計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線を精度よく計測できる視線計測装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
人間の視線は、操作対象や関心、意図などを反映する。両手が使えないような環境等、視線で操作できるインタフェースがあれば、このような環境でも機器を利用することができる。近年、かかるインタフェースの実現を目指したさまざまな研究・開発がなされている。特に、ユーザによるキャリブレーションを簡素化するために、角膜の球面モデルを用いた手法がいくつか研究・開発されている。
【０００３】
たとえば特許文献１では、ユーザの眼球に赤外線を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線の反射光と瞳孔との位置から算出される方向データからユーザの推定視線データを検出するが、その際に角膜の球面モデルのみを用いており、２つのカメラと３つの光源とで実装した視線計測装置を記載している。
【０００４】
非特許文献１では、角膜の球面モデルのみを用いて、光源２つ（カメラと光源とは別の位置）での視線計測手法を初めて示している。当該手法を適用した装置には、２つのカメラと３つの光源とで実装している。非特許文献２では、角膜の球面モデルのみを用いており、かつ光源を取り付けたカメラを２つ使っているが、各カメラの中心点に光源の中心を一致させている。非特許文献３では、角膜の球面モデルのみを用いており、２つのカメラと２つ以上の光源（実装例は４つの光源である。）を用いているが、基本的には上記非特許文献１と同じ手法である。非特許文献４，５では、角膜の球面モデルのみを用いており、かつ光軸を求める手法は上記非特許文献１と同じ手法であるが、視軸を用いる時にリスティングの法則を利用している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１０は角膜の球面モデルを示す図である。たとえば特許文献１では、注視点（Ｐｏｉｎｔ  ｏｆ  Ｇａｚｅ：ＰＯＧ）を推定してコンピュータのディスプレイに表示するシステムを提案しているが、これは図１０に示されるような角膜の球面モデルに基づくものであった。他の文献についても同様であった。角膜の球面モデルに基づく手法では、ディスプレイ全体で高い精度を実現するためには、光源を増やす、カメラを増やすなどして多重化することが必要であった。
【０００６】
図１１は角膜の球面モデルに基づく推定手法により、２個のカメラと２つの光源を使用したシステムの被験者３名（ａ，ｂ，ｃ）がコンピュータのディスプレイを見た場合の評価結果を示す図である。図１１に示すように、ディスプレイの下半分を見た場合の評価結果は良好である。ところが、ディスプレイの左上と右上の周りでＰＯＧを推定する精度が低下するものであった。かかる評価結果は、実際の角膜がモデルと異なり球面でない、あるいは、光源（ＬＥＤ）からの光がモデル化されていない強膜（白目）から反射されたことに起因するものであると推察される。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、ユーザの視線を精度よく計測できる視線計測装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明（装置）は、光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する撮像手段と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する視線計測手段とを備えた装置であって、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とするものである。
【０００９】
本発明（方法）は、光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像し、これらの撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する方法であって、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とするものである。
【００１０】
本発明（プログラム）は、光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する機能と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する機能とをコンピュータに実現させる視線計測プログラムであって、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とするものである。
【００１１】
本発明によれば、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであるので、実際の角膜形状との差異が少なくなる。また、強膜（白目）もモデル化している。したがって、従来例におけるような、ディスプレイの左上と右上の周りで注視点を推定する精度の低下現象がほとんど生じなくなる。その結果、ユーザの視線を精度よく計測できるようになる。
【００１２】
請求項２記載の発明のように、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する光軸決定手段と、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定するパラメータ推定手段と、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する視軸推定手段とを備えることが好ましい。
【００１３】
また、請求項６記載の発明のように、光軸決定手段は、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定し、パラメータ推定手段は、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定し、視軸推定手段は、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定することが好ましい。
【００１４】
さらに、請求項１０記載の発明のように、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する機能と、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定する機能と、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する機能とをコンピュータに実現させることが好ましい。
【００１５】
請求項２，６，１０記載の発明によれば、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸が決定され、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータが推定され、前記決定された光軸と、前記推定したパラメータとに基づいて、眼球の視軸が推定されるとともに、前記推定された眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標が推定されるので、実際の角膜形状との差異が少なくなる。したがって、従来例におけるような、ディスプレイの左上と右上の周りで注視点を推定する精度の低下現象がほとんど生じなくなる。その結果、ユーザの視線を精度よく計測できるようになる。
【００１６】
ところで、光源を３個以上設けたときには、ユーザの手などで光源からの光線をさえぎってしまうことがあり不具合である。そこで、請求項３記載の発明のように、前記光源は２個、前記カメラは２台で構成できることが好ましい。
【００１７】
また、請求項７記載の発明のように、前記光源は２個、前記カメラは２台で構成できる条件下であることが好ましい。
【００１８】
さらに、請求項１１記載の発明のように、前記光源は２個、前記カメラは２台で構成できる条件下であることが好ましい。
【００１９】
請求項３，７，１１記載の発明によれば、前記光源を２個、前記カメラを２台で構成できるので、光源を３個以上設けたときのように、ユーザの手などで光源からの光線をさえぎってしまうおそれが少ない。その結果、ユーザの視線を常に精度よく計測できるようになる。
【００２０】
請求項４記載の発明のように、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置することが好ましい。
【００２１】
また、請求項８記載の発明のように、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることが好ましい。
【００２２】
さらに、請求項１２記載の発明のように、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることが好ましい。
【００２３】
請求項４，８，１２記載の発明によれば、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置するので、ユーザの手などで光源からの光線をさえぎってしまうおそれがさらに少なくなる。
【発明の効果】
【００２４】
本発明によれば、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであるので、実際の角膜形状との差異が少なくなる。また、強膜（白目）もモデル化している。したがって、従来例におけるような、ディスプレイの左上と右上の周りで注視点を推定する精度の低下現象がほとんど生じなくなる。その結果、ユーザの視線を精度よく計測できるようになる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る視線計測装置の全体構成を示すブロック図である。
【図２】眼球の非球面回転体モデルを示す図である。
【図３】ディスプレイ上の注視点を計測している場合に、カメラに取り付けられた光源から赤外線を眼球に照射し、カメラで撮影した画像を示す図であって、（ａ）は中央付近を注視した場合、（ｂ）は左上を注視した場合である。
【図４】眼球の部分断面を示す図である。
【図５】角膜曲率の中心、２個の光源の位置、２台のカメラの中心位置を含む角膜の断面を示す図である。
【図６】角膜での屈折を示す図である。
【図７】本装置の動作を示すフローチャートであって、（ａ）はメインフローチャート、（ｂ）はステップＳ２のサブフローチャートである。
【図８】本装置の動作を示すフローチャートであって、（ａ）はステップＳ３のサブフローチャート、（ｂ）はステップＳ３ａのさらなるサブフローチャートである。
【図９】本方法とチェンらの方法との比較による評価結果を示す図である。
【図１０】角膜の球面モデルを示す図である。
【図１１】従来の球面の角膜モデルを利用して２個のカメラと２つの光源を使用したときの評価結果を示す図である。
【発明を実施するための最良の形態】
【００２６】
図１は本発明の一実施形態に係る視線計測装置（以下、本装置という。）１の全体構成を示すブロック図である。本装置１は、図１に示すように、２台の同期しているカメラ（撮像手段に相当する。）２，２と、ディスプレイ（注視対象に相当する。）３と、キーボード４と、マウス５と、コンピュータ（視線測定手段に相当する。）６とからなっている。
【００２７】
各カメラ２，２は、イメージセンサを備えており、その解像度は７５２×４８０ピクセルである。３５ｍｍのレンズとＩＲフィルタとが、各カメラ２，２に取り付けられている。光源（たとえば赤外線ＬＥＤである。）７，７が、カメラの中心点と一致するように、各カメラ２，２に取り付けられている。これらのカメラ２，２はディスプレイ３の下に配置されている。本装置１をセットアップする前に、カメラ２，２の固有パラメータは決定されている。
【００２８】
コンピュータ６は、メモリ６ａと、ハードディスク６ｂと、ＣＰＵ６ｃと、光学式ドライブ６ｄといったハードウエアで構成されている。メモリ６ａは、データを一時的に記憶するものであり、ハードディスク６ｂは、本発明方法を記述したプログラムを含む各種プログラムや各種データを記憶するものである。この本発明方法を記述したプログラムを呼び出して実行することにより、ＣＰＵ６ｃには、光軸決定手段６１と、パラメータ推定手段６２（曲率半径推定手段６３、中心間距離推定手段６４及びオフセット推定手段６５を含む。）と、視軸推定手段６６（曲率中心推定手段６７及びＰＯＧ（注視点）推定手段６８を含む。）とが構築される。なお、光学式ドライブ６ｄは、たとえばＣＤドライブやＤＶＤドライブであって、上記プログラムのバージョンアップ版をインストールするときなどに用いられる。
【００２９】
光軸決定手段６１は、眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定するものである。
【００３０】
図２は眼球の非球面回転体モデルを示す図である。図２に示すように、眼球の非球面回転体モデルは眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなるモデルであって、このモデルによりスムーズに角膜と強膜との間の境界を与えることができる。実際の眼球の形状には個人差があるが、光軸まわりの回転面であればどのような曲面でもかまわない。
【００３１】
光軸決定手段６１は、眼球の非球面回転体モデルに基づく眼球の光軸の決定を行うために、２台のカメラ２，２と、各カメラに取り付けられる光源７，７とを使用する。それぞれの光源の位置は、カメラの中心点と同じであるとする。かかる対応関係を説明するために、以下では、向かって右側のカメラをカメラ０と記述し、向かって左側のカメラをカメラ１と記述し、向かって右側の光源を光源０と記述し、向かって左側の光源を光源１と記述するとともに、各ポイント（位置ベクトル）についても、必要な場合それらの添字を付して記述することとする。０，１どちらにも適用可能な場合は添え字をｊとして記述することとする。
【００３２】
図３はカメラｊに取り付けられた光源から赤外線を眼球に照射し、カメラｊで撮影した画像を示す図であって、（ａ）は中央付近を注視した場合、（ｂ）は左上を注視した場合である。図３（ａ）（ｂ）において、周囲の白目部分を強膜、その内側の円環領域を虹彩、さらに内側の楕円領域を瞳孔とし、瞳孔中心から最も近い輝点２つをプルキニエ像と推定する。このうち、カメラｊに取り付けられてある光源ｊによるプルキニエ像は、向かって左側のカメラの場合は右側、向かって右側のカメラの場合は左側である。このプルキニエ像をカメラのイメージセンサ上の３次元位置に変換した点がポイントＰ’ｊとなる。
【００３３】
図４は、カメラｊの中心と眼球の光軸を通る眼球の部分断面を示す図である。図４において、ポイントＡは光軸の近くの角膜曲率の中心である。ポイントＬｊとポイントＣｊとは、それぞれ光源ｊの位置とカメラｊの中心点とを示している。ＣｊはＬｊと同じ位置であるとする。Ｃｊ（＝Ｌｊ）の値は、あらかじめカメラｊをキャリブレーションすることによって決定される。瞳孔中心位置のポイントＢからの光線は、ポイントＢ”ｊで屈折して、Ｃｊを通り抜けて、ポイントＢ’ｊでイメージセンサと交差する。
【００３４】
Ｌｊからの光線は、角膜表面のポイントＰｊで反射され、元の経路を戻り、この反射された光線は、Ｃｊを通り抜けて、ポイントＰ’ｊでイメージセンサと交差する。もし、角膜が完全に球面であるならば、光源ｊの位置ＬｊとポイントＰｊとを接続する線はＡを通るので、Ａは２個のカメラを使用することによって決定できる。しかしながら、角膜の縁付近などの非球面の眼球の表面から反射するとき、正確にＡの位置を推定することができない。この不正確なＡの位置を用いて光軸の推定を行うと視軸（視線）や注視点の推定には大きな誤差が含まれてしまう。
【００３５】
そこで、眼球の光軸周りの回転面からなる非球面回転体モデルを使用することとする。このモデルによれば、Ｌｊからの光線は、眼球の表面において、眼球の光軸を含む平面内で反射し、カメラｊで撮影される。それゆえ、Ａ，Ｂ，Ｂ’ｊ，Ｂ”ｊ，Ｃｊ，Ｌｊ，Ｐｊ，Ｐ’ｊ，および眼球の光軸とは同一平面上にある（ｃｏｐｌａｎａｒ）。
【００３６】
眼球の光軸を含んでいる平面の法線ベクトルは、｛（Ｃｊ−Ｂ’ｊ）×（Ｐ’ｊ−Ｃｊ）｝であり、その平面は（１）式で表現される。
｛（Ｃｊ−Ｂ’ｊ）×（Ｐ’ｊ−Ｃｊ）｝・（Ｘ−Ｃｊ）＝０      ・・・（１）
ここに、Ｘ（＝（ｘ，ｙ，ｚ）Ｔ）が平面上のポイントである。２個のカメラ（ｊ＝０，１）を使用するときは、２つの平面が得られる。眼球の光軸は２平面の交線から決定できる。
【００３７】
この眼球の光軸を中心とした回転モデルを用いた計算手法では、任意の回転面で眼球の光軸を計算できるので、眼球の表面で光が反射する場所（角膜表面の中央部の領域、角膜の境界領域、強膜領域など）に関係なく、眼球の光軸は数学的に決定できる。強膜（白目）で反射する場合も反射の位置が特定できれば計算可能である。
【００３８】
一般に眼球の視軸と光軸とはＡで交差するとされているので、眼球の視軸を決定するためには、Ａを決定することが必要である。眼球の視軸は、ｔをパラメータとして、Ｘ＝Ａ＋ｔｃと記述できる。ここで、ｃは、眼球の視軸の単位方向ベクトルである。
【００３９】
２本の直線（Ｘ＝Ｃｊ＋ｔｊ（Ｃｊ−Ｂ’ｊ），ｊ＝０，１）の交点は、Ａの近似位置を与えるが、その近似誤差は、約７．８ｍｍ（角膜の半径の平均値）未満である。Ａの推定誤差は、眼球の視軸の平行移動を生じる。したがって、ユーザとその注視対象であるオブジェクトとの間の距離の増大につれて、視野角としてのオブジェクト上のＰＯＧの推定誤差は減少する。オブジェクトが十分遠くにある場合は、この計算で十分な精度が得られる。
【００４０】
しかしながら、ユーザとオブジェクトとの間の距離が近いときに、Ａの推定誤差に起因するＰＯＧの推定誤差は視野角では無視できなくなる場合があると考えられる。この問題を解決するためには、正確なＡの推定方法と眼球の視軸の決定とが必要である。
【００４１】
パラメータ推定手段６２は、この正確なＡの推定方法と眼球の視軸の決定のために、ユーザに依存するパラメ−タの推定（ユーザキャリブレーション）を行うものである。ここで、ユーザに依存するパラメ−タとは、眼球の光軸近くの角膜曲率の半径Ｒ、角膜曲率と瞳孔との中心間の距離Ｋ、そして、光軸と視軸との間のオフセットα，βである。
【００４２】
これらのユーザに依存するパラメ−タを推定するために、ユーザは、位置がわかっている１点（キャリブレーションポイント）を凝視するよう指示される。キャリブレーションポイントの位置は、眼球の光軸付近で球として近似できる角膜表面で、光源からの光線が反射するように選択される。この時、球として近似できる角膜表面を通して瞳孔を観察できる。したがって、角膜表面での屈折は、角膜の球面モデルに基づいて決定される。
【００４３】
曲率半径推定手段６３は、角膜の球面モデルに基づいた角膜曲率の半径の推定を行うものである。上記キャリブレーションプロセスにおいて、ユーザがカメラの近くでキャリブレーションポイントを凝視するとき、光は、それを球面と近似しても問題がない角膜の表面から反射する。この場合には、角膜の球面モデルを使用できる。
【００４４】
この曲率半径推定手段６３は、角膜曲率の中心の位置Ａを推定する。図５は角膜曲率の中心Ａ、光源１の位置であるポイントＬ１、光源０の位置であるポイントＬ０、カメラ１の中心位置であるポイントＣ１、およびカメラ０の中心位置であるポイントＣ０を含む角膜の断面を示す図である。Ｃ１（＝Ｌ１）と、Ｃ０（＝Ｌ０）との各位置はカメラキャリブレーションにより事前に求めてあるものとする。図５に示すように、角膜表面で反射したＬ１からの光線は、角膜表面で反射してＣ１へ戻り、それからポイントＰ’１１に到達するといった経路を辿る。角膜表面は球とみなされるので、この経路の延長線上にＡがある。同様に、Ｃ０とポイントＰ’００とを結ぶ直線はＡを含む。したがって、以下の２本の線の交点からＡを推定することができる。
Ｘ＝Ｃ１＋ｔ１１（Ｃ１−Ｐ’１１）                  ・・・（２）
Ｘ＝Ｃ０＋ｔ００（Ｃ０−Ｐ’００）                  ・・・（３）
ここに、ｔ１１とｔ００とはパラメータである。
【００４５】
Ｌ１からの光線は、角膜表面のポイントＰ０１で反射され、その反射光線がＣ０を通り、ポイントＰ’０１でカメラ０のイメージセンサと交差する。同様に、Ｌ０からの光線は、角膜表面においてポイントＰ１０で反射され、その反射光線がＣ１を通り、ポイントＰ’１０でカメラ１のイメージセンサと交差する。角膜の半径を推定するために、反射点Ｐ０１（＝Ｐ１０）、すなわち、以下の線の交点を推定する。
Ｘ＝Ｃ１＋ｔ１０（Ｃ１−Ｐ’１０）                  ・・・（４）
Ｘ＝Ｃ０＋ｔ０１（Ｃ０−Ｐ’０１）                  ・・・（５）
ここに、ｔ１０とｔ０１とはパラメータである。したがって、角膜曲率の半径Ｒは、Ｒ＝||Ｐ０１−Ａ||として、決定される。
【００４６】
中心間距離推定手段６４は、角膜曲率と瞳孔の中心間の距離の推定を行うものである。図６はカメラｊと眼球の光軸とを含む面での屈折を示す図である。図６に示すように、瞳孔中心Ｂからの光は、ポイントＢ”ｊで屈折し、カメラｊの中心点Ｃｊを通り、ポイントＢ’ｊでイメージセンサと交差する。Ｂ”ｊは、以下に与えられた方程式を解くことにより決定できる。
Ｘ＝Ｃｊ＋ｔｊ（Ｃｊ−Ｂ’ｊ）                      ・・・（６）
Ｒ＝||Ｘ−Ａ||                                      ・・・（７）
これらの方程式には、２つの解がありうる。そこで、Ｃｊにより近いものを選択する。
【００４７】
以下のスネルの法則を用いて、ベクトルｔｊ（図６において、Ｂ”ｊで屈折してＢに向かうベクトルである。）の方程式が得られる。
ｔｊ＝（−ρｎｊ・ｖｊ−√（１−ρ２（１−（ｎｊ・ｖｊ）２））ｎｊ＋ρｖｊ 
・・・（８）
ここで、屈折のポイントにおける入射ベクトルｖｊ＝（Ｃｊ−Ｂ’ｊ）／||Ｃｊ−Ｂ’||、法線ベクトルｎｊ＝（Ｂ”ｊ−Ａ）／||Ｂ”ｊ−Ａ||、そして、ρ＝ｎ１／ｎ２  （ｎ１は空気の屈折率≒１、ｎ２は実効屈折率≒１．３３７５）である。
【００４８】
瞳孔中心Ｂは２台のカメラからの２本の角膜内の光線
Ｘ＝Ｂ”ｊ＋ｓｊ・ｔｊ  （ｊ＝０，１）              ・・・（９）
の交点として決定できる。ここに、ｓｊはパラメータである。したがって、角膜曲率と瞳孔の各中心間の距離Ｋは、Ｋ＝||Ｂ−Ａ||として決定される。
【００４９】
オフセット推定手段６５は、光軸と視軸との間のオフセットの推定を行うものである。光軸と視軸との間のオフセットは２つのパラメータによって表現される。たとえば、水平角と垂直角である。光軸と視軸との間のオフセットは、上記光軸決定手段６１で計算された光軸と、空間座標がわかっている１点をユーザが注視することにより求めた視軸との位置関係から計算されるが、たとえば、非特許文献５に記述された方法ではリスティングの法則に基づき計算できる。
【００５０】
視軸推定手段６６は、ユーザキャリブレーション後の眼球の視軸の推定を行うものである。ユーザキャリブレーション後に、ユーザは自由にその人の眼球を動かす。眼球の光軸については、上記光軸決定手段６１で計算できる。Ｒ，Ｋ、および眼球の光軸と視軸との間のオフセットは、ユーザキャリブレーションからわかっている。角膜曲率の中心の位置Ａ、および眼球の視軸に沿った単位方向ベクトルｃは、眼球の視軸の計算に必要である。
【００５１】
曲率中心推定手段６７は、角膜曲率の中心の推定を行うものである。光源からの光が反射する眼球表面は非球面であるが、瞳孔が観察される角膜表面は球面に近似できるとする。Ａの位置を捜すためのアルゴリズムは以下の通りである。
【００５２】
１）光軸の上にＡの位置を設定する。２本の線、Ｘ＝Ｃｊ＋ｔｊ（Ｃｊ−Ｂ’ｊ）  （ｊ＝０，１）の交点に最も近い位置を選択する。
２）方程式（６）、（７）および（８）を用いて、Ｂ”ｊを計算する。Ｒはユーザキャリブレーションから既にわかっている。
３）方程式（９）を用いて、２本の線の交点から、瞳孔中心の位置Ｂを計算する。
４）ＢとＡとの間の距離を計算し、その計算した距離とユーザキャリブレーションの間に推定されたＫとを比較する。
５）眼球の光軸に沿って、眼球の回転中心の方に向かってＡの位置を移行させ、そして、Ａの正確な位置を決定するために１）〜４）を繰り返す。角膜の平均した半径が約７．８ｍｍであるので、１０ｍｍの長さの間でＡの位置を捜すことで十分である。この探索は、||Ｂ−Ａ||＝Ｋとなったときに終了する。
【００５３】
ＰＯＧ推定手段６８は、眼球の視軸とＰＯＧとの推定を行うものである。眼球の視軸の単位方向ベクトルｃは、たとえば、リスティングの法則に基づいて、眼球の光軸の単位方向ベクトルｄ、および眼球の光軸と視軸とのオフセットから決定される。これは、非特許文献５に記述された方法によって計算できる。これにより、眼球の視軸（Ｘ＝Ａ＋ｔｃ）とオブジェクトとの交点としてＰＯＧを与えることができる。ここで、リスティングの法則とは、第一眼位と呼ばれる眼球の位置があって、どのような眼球の位置でも第一眼位からのただ一つの回転で達することができ、どの向きへの回転軸も、ある平面（リスティング平面）内にあるというものである。
【００５４】
以下、本装置１の動作について説明する。図７および図８は本装置１の動作を示すフローチャートである。かかる動作を通じて本方法の各ステップやプログラムの各機能が具現化される。実験室における評価では、ディスプレイから眼球までの距離を約５００ｍｍとし、ディスプレイに表示されるマーカ２５点を注視して、データを記録した。
【００５５】
本装置１では、図７（ａ）に示すように、光軸決定手段６１は、２台のカメラ２，２と、各カメラに取り付けられる光源７，７とを使用して、角膜の非球面回転体モデルに基づく眼球の光軸の決定を行う（ステップＳ１）。パラメータ推定手段６２は、ユーザに依存するパラメータの推定を行う（ステップＳ２）。ここでは、図７（ｂ）に示すように、曲率半径推定手段６３は、角膜曲率の半径の推定を行う（ステップＳ２１）。中心間距離推定手段６４は、角膜曲率と瞳孔との中心間距離の推定を行う（ステップＳ２２）。オフセット推定手段６５は、光軸と視軸との間のオフセットの推定を行う（ステップＳ２３）。そして、図７（ａ）に戻り、視軸推定手段６６は、ユーザキャリブレーション後の眼球の視軸の推定を行う（ステップＳ３）。ここでは、図８（ａ）に示すように、曲率中心推定手段６７は、角膜曲率の中心の推定を行う（ステップＳ３ａ）。
【００５６】
具体的には、図８（ｂ）に示すように、光軸にＡ位置を設定する（ステップＳ３１）。ポイントＢ”ｊを計算する（ステップＳ３２）。瞳孔中心位置Ｂを計算する（ステップＳ３３）。ＡとＢの距離を計算する（ステップＳ３４）。ＡとＢの距離がＫとなるまで、上記ステップＳ３１〜Ｓ３４を繰り返し、Ａ位置を徐々に移行していく。そして、ＡとＢの距離がＫとなると、図８（ａ）のステップＳ３ａの直後にリターンする。ＰＯＧ推定手段６８は、眼球の視軸とＰＯＧとの推定を行い（ステップＳ３ｂ）、図７（ａ）のステップ３の直後に戻って、すべてのプロセスを終了する。
【００５７】
本装置１の動作で具現化された本方法の有効性を確認するために、非特許文献２のチェンらの方法と比較した。この方法では、角膜の球面モデルに基づき視軸が決定された。図９は、その評価結果を示す図である。図中の×字形は本方法、三角形はチェンの方法でそれぞれ推定されたＰＯＧを示した。本方法によって推定されたＰＯＧは、図９に示すように、ディスプレイの左上と右上とでＰＯＧを決定する場合において、チェンの方法で推定されたＰＯＧより正確なものであった。ＲとＫとは、それぞれ８．０４ｍｍと４．４３ｍｍと推定された。なお、左上を注視した時の様子を図３(ｂ)に示す。眼球が大きく傾くと、プルキニエ像が虹彩と強膜との境に達し、球面モデルでは実際の眼球形状から乖離し、計算に大きなずれが生じるため、誤差が大きくなっている。
【００５８】
以上説明したように、本発明は、注視点（ＰＯＧ）を追跡するために眼球の新しい物理的なモデルを提案するものである。このモデルは眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルである。かかるモデルに基づいてＰＯＧを推定するための数式を決定するとともに、本発明に基づいて開発された装置などを評価することによって、コンピュータのディスプレイの全範囲についてＰＯＧを正確に推定できることがわかった。
【００５９】
なお、上記実施形態における装置１は、実験室での評価に用いたプロトタイプ（原型）として位置付けられるものである。したがって、実機においては、ハードウエア及びソフトウエアの両方において、さらなる改良が加えられる。
【符号の説明】
【００６０】
１  視線計測装置（本装置という。）
２  カメラ（撮像手段に相当する。）
３  ディスプレイ（注視対象に相当する。）
４  キーボード
５  マウス
６  コンピュータ（視線計測手段に相当する。）
６１  光軸決定手段
６２  パラメータ推定手段
６３  曲率半径推定手段
６４  中心間距離推定手段
６５  オフセット推定手段
６６  視軸推定手段
６７  曲率中心推定手段
６８  ＰＯＧ（注視点）推定手段
７  赤外線ＬＥＤ（光源）
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開２００９−２９７３２３号公報
【非特許文献】
【００６２】
【非特許文献１】ＳＨＩＨ，Ｓ．Ｗ．，ＡＮＤ  ＬＩＵ，Ｊ．２００４．Ａ  Ｎｏｖｅｌ  Ａｐｐｒｏａｃｈ  ｔｏ  ３−Ｄ  Ｇａｚｅ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  Ｓｔｅｒｅｏ  Ｃａｍｅｒａｓ．ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｙｓｔｅｍｓ，Ｍａｎ  ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ，Ｐａｒｔ  Ｂ３４，１，２３４−２３５．
【非特許文献２】ＣＨＥＮ，Ｊ．，ＴＯＮＧ，Ｙ．，ＧＲＡＹ，Ｗ．，ＡＮＤ  ＪＩ，Ｑ．２００８．Ａ  Ｒｏｂｕｓｔ  ３Ｄ  Ｅｙｅ  Ｇａｚｅ  Ｔｒａｃｋｉｎｇ  Ｓｙｓｔｅｍ  ｕｓｉｎｇ  Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００８  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｅｙｅ  Ｔｒａｃｋｉｎｇ  Ｒｅｓｅａｒｃｈ  ＆  Ａｐｐｌｉｃａｔｉｏｎｓ，１８９−１９６．
【非特許文献３】ＧＵＥＳＴＲＩＮ，Ｅ．Ｄ．，ＡＮＤ  ＥＩＺＥＮＭＡＮ，Ｍ．２００７．Ｒｅｍｏｔｅ  Ｐｏｉｎｔ−ｏｆ−Ｇａｚｅ  Ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈ  Ｆｒｅｅ  Ｈｅａｄ  Ｍｏｖｅｍｅｎｔｓ  Ｒｅｑｕｉｒｉｎｇ  ａ  Ｓｉｎｇｌｅ−Ｐｏｉｎｔ  Ｃａｌｉｂｒａｔｉｏｎ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２９ｔｈ  Ａｎｎｕａｌ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  ＩＥＥＥ  ＥＭＢＳ，４５５６−４５６０．
【非特許文献４】ＮＡＧＡＭＡＴＳＵ，Ｔ．，ＫＡＭＡＨＡＲＡ，Ｊ．，ＩＫＯ，Ｔ．，ＴＡＮＡＫＡ，Ｎ．２００８．Ｏｎｅ−ｐｏｉｎｔ  Ｃａｌｉｂｒａｔｉｏｎ  Ｇａｚｅ  Ｔｒａｃｋｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｅｙｅｂａｌｌ  Ｋｉｎｅｍａｔｉｃｓ  Ｕｓｉｎｇ  Ｓｔｅｒｅｏ  Ｃａｍｅｒａｓ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００８  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｅｙｅ  Ｔｒａｃｋｉｎｇ  Ｒｅｓｅａｒｃｈ  ＆  Ａｐｐｌｉｃａｔｉｏｎｓ，９５−９８．
【非特許文献５】ＮＡＧＡＭＡＴＳＵ，Ｔ．，ＫＡＭＡＨＡＲＡ，Ｊ．，ＴＡＮＡＫＡ，Ｎ．２００８．３Ｄ  Ｇａｚｅ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｅａｓｙ  Ｃａｌｉｂｒａｔｉｏｎ  Ｕｓｉｎｇ  Ｓｔｅｒｅｏ  Ｃａｍｅｒａｓ  ｆｏｒ  Ｒｏｂｏｔ  ａｎｄ  Ｈｕｍａｎ  Ｃｏｍｍｕｎｉｃａｔｏｎ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  ＲＯ−ＭＡＮ  ２００８，５９−６４．
【図１】
2011172853.tif 000003
【図２】
2011172853.tif 000004
【図３】
2011172853.tif 000005
【図４】
2011172853.tif 000006
【図５】
2011172853.tif 000007
【図６】
2011172853.tif 000008
【図７】
2011172853.tif 000009
【図８】
2011172853.tif 000010
【図９】
2011172853.tif 000011
【図１０】
2011172853.tif 000012
【図１１】
2011172853.tif 000013