(57)【特許請求の範囲】
【請求項１】
発光体の位置を検出する位置検出装置であって、
前記発光体に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、
前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
を備える位置検出装置。
【請求項２】
前記第１及び第２の光源は、それぞれ、前記反射体上の反射点が前記第１及び第２のカメラのピンホールと前記反射体とを結ぶ直線上に現れる程度において、前記第１及び第２のカメラの近傍に位置するように配置されている、
請求項１記載の位置検出装置。
【請求項３】
前記情報処理部は、前記発光体の三次元位置と第１の画像における前記傾きとを基に、前記第１の光源と前記反射体と前記発光体とを通る第１の平面を特定し、前記発光体の三次元位置と第２の画像における前記傾きとを基に、前記第２の光源と前記反射体と前記発光体とを通る第２の平面を特定した後に、前記第１及び第２の平面の交線を基に前記発光体の位置を計算する、
請求項１又は２記載の位置検出装置。
【請求項４】
前記第１及び第２のカメラは、位置が変更された１つ以上の前記反射体を連続的に２回以上撮像する方法、位置の異なる２つ以上の前記反射体を撮像する方法のいずれかの方法を用いるように動作し、
前記情報処理部は、前記第１及び第２のカメラによって撮像された画像を基に、前記第１の光源と前記反射体と前記発光体とを通る第３の平面を特定し、前記第２の光源と前記反射体と前記発光体とを通る第４の平面を特定した後に、前記第１及び第２の平面の交線と前記第３及び第４の平面の交線とを基に前記発光体の位置を計算する、
請求項３記載の位置検出装置。
【請求項５】
前記第１及び第２の光源は、それぞれ、前記第１及び第２のカメラの開口部近傍に設けられ、
前記情報処理部は、前記第１及び第２の画像における前記第１及び第２の光源の反射点の位置を基に前記反射体の三次元位置をステレオマッチングにより計算する、
請求項１〜４のいずれか１項に記載の位置検出装置。
【請求項６】
前記反射体は球面体であり、前記反射体の三次元位置は前記球面体の中心である、
請求項１〜５のいずれか１項に記載の位置検出装置。
【請求項７】
前記反射体は、人間の角膜である、
請求項１〜６のいずれか１項に記載の位置検出装置。
【請求項８】
発光体の位置を検出する位置検出方法であって、
第１及び第２のカメラが、前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源を点灯させた状態で、前記発光体に向けて配置された凸面を有する反射体を撮像するステップと、
情報処理部が、前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算するステップと、
を備える位置検出方法。
【請求項９】
発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、
前記対象者の角膜球を撮像する第１及び第２のカメラと、
前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記角膜球の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記角膜球の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記注視点を検出する注視点計算部と、
を備える注視点検出装置。
【請求項１０】
発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、
前記表示画面に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、
前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記表示画面上に画像を表示させる画像生成部と、
を備える画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出対象の位置を検出する位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ等の情報処理装置において、画像処理によって物体の位置を特定する技術が利用されている。下記の非特許文献１には、パーソナルコンピュータのディスプレイ装置の四隅にマーカーを取り付けて、カメラを用いて使用者を撮像し、得られた画像を基にして、使用者の角膜に映るそれらのマーカーの位置関係と虹彩輪郭と眼球モデルとからカメラに対する対象者の目の位置を求める技術が記載されている。さらに、この技術では、得られた画像におけるマーカーの位置の情報を基にして、ディスプレイの位置と方向を決定している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】C. Nitschke et al., “Display-cameracalibration using eye reflections and geometry constraints”; ComputerVision and Image Understanding, Vol.115, No.6, pp.835-853, Jun. 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の非特許文献１に記載の技術では、カメラで撮像されたマーカーの位置関係と眼球モデルとを用いているため、対象物であるディスプレイの位置計算の精度が使用者によってばらつく傾向にある。また、位置計算の処理が複雑化し計算時間が長くなりがちである。
【０００５】
本発明は、上記課題に鑑みて為されたものであり、簡易な計算処理により対象物の位置計算の精度を高めることが可能な位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一形態にかかる位置検出装置は、発光体の位置を検出する位置検出装置であって、発光体に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、を備える。
【０００７】
或いは、本発明の他の形態にかかる位置検出方法は、発光体の位置を検出する位置検出方法であって、第１及び第２のカメラが、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源を点灯させた状態で、発光体に向けて配置された凸面を有する反射体を撮像するステップと、情報処理部が、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算するステップと、を備える。
【０００８】
上記形態の位置検出装置或いは位置検出方法によれば、第１及び第２のカメラによって検出対象に向く凸面を有する反射体が撮像される。そして、情報処理部によって、得られた画像における第１及び第２の光源の反射点を基に、反射体の三次元位置が計算されるとともに、得られた画像における検出対象に取り付けられた発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きが特定される。さらに、情報処理部によって反射体の三次元位置と線の傾きとを使って発光体の位置が計算される。このように、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って検出対象の位置が計算されるので、高精度の位置検出結果を簡易な計算で得ることができる。
【０００９】
ここで、第１及び第２の光源は、それぞれ、反射体上の反射点が第１及び第２のカメラのピンホールと反射体とを結ぶ直線上に現れる程度において、第１及び第２のカメラの近傍に位置するように配置されている、こうすれば、位置検出結果の精度をさらに向上させることができる。
【００１０】
また、情報処理部は、発光体の三次元位置と第１の画像における傾きとを基に、第１の光源と反射体と発光体とを通る第１の平面を特定し、発光体の三次元位置と第２の画像における傾きとを基に、第２の光源と反射体と発光体とを通る第２の平面を特定した後に、第１及び第２の平面の交線を基に発光体の位置を計算することとしてもよい。この場合には、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って２つの平面が特定され、その２つの平面の交線によって検出対象の位置が計算されるので、反射体の形状に関係なく高精度の位置検出結果を簡易な計算で得ることができる。
【００１１】
また、第１及び第２のカメラは、位置が変更された１つ以上の反射体を連続的に２回以上撮像する方法、位置の異なる２つ以上の反射体を撮像する方法のいずれかの方法を用いるように動作し、情報処理部は、第１及び第２のカメラによって撮像された画像を基に、第１の光源と反射体と発光体とを通る第３の平面を特定し、第２の光源と反射体と発光体とを通る第４の平面を特定した後に、第１及び第２の平面の交線と第３及び第４の平面の交線とを基に発光体の位置を計算することとしてもよい。この場合には、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って４つの平面が特定され、それらから得られた２つの交線によって検出対象の位置が計算されるので、検出対象の三次元位置を高精度に得ることができる。
【００１２】
また、第１及び第２の光源は、それぞれ、第１及び第２のカメラの開口部近傍に設けられ、情報処理部は、第１及び第２の画像における第１及び第２の光源の反射点の位置を基に反射体の三次元位置をステレオマッチングにより計算することとしてもよい。この場合には、反射体の三次元位置をより単純な計算で得ることができるので、その結果、検出対象の位置をより簡易に得ることができる。
【００１３】
或いは、本発明の他の形態にかかる注視点検出装置は、発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、対象者の角膜球を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、角膜球の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、角膜球の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、情報処理部によって計算された発光体の位置を基に表示画面の位置を特定し、表示画面の位置を用いて注視点を検出する注視点計算部と、を備える。
【００１４】
上記形態の注視点検出装置によれば、表示画面の位置を高精度かつ簡易に得ることができ、その結果、その表示画面上の注視点を正確に得ることができる。
【００１５】
或いは、本発明の他の形態にかかる画像生成装置は、発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、表示画面に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、情報処理部によって計算された発光体の位置を基に表示画面の位置を特定し、表示画面の位置を用いて表示画面上に画像を表示させる画像生成部と、を備える。
【００１６】
上記形態の画像生成装置によれば、表示画面の位置を高精度かつ簡易に得ることができ、その結果、その表示画面の位置に応じて表示画面上に適切な画像を表示させることができる。
【発明の効果】
【００１７】
本発明によれば、簡易な計算処理により対象物の位置計算の精度を高めることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の好適な一実施形態に係る注視点検出装置を示す斜視図である。
【図２】図１のカメラ１０のレンズ部分を示す平面図である。
【図３】図１の情報処理装置２０のハードウェア構成を示す図である。
【図４】図１の情報処理装置２０の機能構成を示すブロック図である。
【図５】図４の画像取得部２１によって制御された動作タイミングを示す図であり、（ａ）は、左カメラ１０Ｌの光源１３Ｌの点灯タイミングを示すタイミングチャート、（ｂ）は、右カメラ１０Ｒの光源１３Ｒの点灯タイミングを示すタイミングチャート、（ｃ）は、発光素子４０の点灯タイミングを示すタイミングチャート、（ｄ）は、左カメラ１０Ｌの１フレームの撮像タイミングを示すタイミングチャート、（ｅ）は、右カメラ１０Ｒの１フレームの撮像タイミングを示すタイミングチャートをそれぞれ示す図である。
【図６】（ａ）は、カメラ１０と対象者Ａの角膜球Ｃと発光素子４０との位置関係を示す図、（ｂ）は、右カメラ１０Ｒによって得られた画像データのイメージを示す図、（ｃ）は、左カメラ１０Ｌによって得られた画像データのイメージを示す図である。
【図７】図１の注視点検出装置で設定される座標系の位置関係を示す図である。
【図８】図１のカメラ１０によって得られる画像データのイメージを示す図である。
【図９】図４の位置計算部２２によって設定される仮想平面のイメージを示す図である。
【図１０】本発明の変形例において、カメラ１０と対象者Ａの左右の角膜球ＣＲ，ＣＬと発光素子４０との位置関係を示す図である。
【図１１】本発明の変形例にかかる情報処理装置２０Ａの機能構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しつつ本発明に係る位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００２０】
図１は、本発明の好適な一実施形態に係る注視点検出装置１の斜視図である。注視点検出装置１は、ディスプレイ装置の表示画面上の対象者の注視点を検出するコンピュータシステムであり、このシステムにより、本実施形態にかかる位置検出装置及び位置検出方法が実現される。対象者とは、注視点を検出する対象となる人であり、被験者ともいうことができる。注視点検出装置１の利用目的は様々なものが想定され、例えば、コンピュータシステムへのデータ入力、商品の興味の度合いの調査、運転者（対象者）の眠気の検出、及びよそ見運転の検出等が挙げられる。
【００２１】
同図に示すように、注視点検出装置１は、ステレオカメラとして機能する一対のカメラ（第１のカメラおよび第２のカメラ）１０と、情報処理装置２０と、情報処理装置２０から出力された情報を表示させるディスプレイ装置３０とを含んで構成される。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ１０Ｌと、対象者Ａの右側にある右カメラ１０Ｒとに区別する。本実施形態では、注視点検出装置１は、その利用目的が上記のように想定されるので、対象者Ａの視線の先にあるものはディスプレイ装置３０には限定されず、例えば自動車のフロントガラス等であってもよい。従って、ディスプレイ装置３０は注視点検出装置１の必須の要素ではない。それぞれのカメラ１０は、情報処理装置２０と有線または無線により接続され、カメラ１０と情報処理装置２０との間で各種のデータ又は命令が送受信される。
【００２２】
カメラ１０は、対象者Ａの瞳孔Ｂ、角膜球Ｃ、及びそれらの周辺を撮像するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配置され、かつ、対象者Ａが確実に撮像できるように対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラの仰角は、瞳孔Ｂ及び角膜球Ｃの確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０〜３０度の範囲に設定される。各カメラ１０に対しては予めＴｓａｉのカメラ較正手法等によりカメラ較正が行われ、カメラ１０の内部パラメータが決定される。さらに、予め規定された空間上の位置を決定するための世界座標系における外部パラメータ（位置、方向）が予め決定されている。
【００２３】
本実施形態では、カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドとから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮像されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。なお、１つのフレームが奇数フィールドおよび偶数フィールドの両方を含むすべての水平画素ラインから構成されていてもよい。カメラ１０は、情報処理装置２０からの命令に応じて対象者Ａを撮像し、その結果生成した画像データを情報処理装置２０に出力する。
【００２４】
各カメラ１０の開口部周辺のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２近傍の外側に光源１３が設けられる。この光源１３は、カメラ１０の開口部１２に対する位置が既知であり、具体的には、リング状を構成する光源１３全体の中心と開口部１２の中心が一致するように設けられている。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、対象者Ａの角膜球Ｃの位置を特定するためのものでもある。光源１３は、複数の発光素子１３ａと複数の発光素子１３ｂとからなる。発光素子１３ａは、出力光の波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の波長が９４０ｎｍの半導体発光素子（ＬＥＤ）であり、発光素子１３ａの外側に等間隔でリング状に配される。従って、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は、図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。以下では、必要に応じて、左カメラ１０Ｌの開口部近傍に設けられる光源１３Ｌと、右カメラ１０Ｒの開口部近傍に設けられる光源１３Ｒとに区別する。
【００２５】
図１に戻って、情報処理装置２０による位置検出の対象であるディスプレイ装置３０には、その表示画面３０ａの周辺に対象者Ａに向けて光を照射する１以上の発光素子（発光体）４０が取り付けられている。発光素子４０のディスプレイ装置３０に対する取り付け位置および個数は、任意の位置、任意の個数でよく、例えば、矩形の表示画面３０ａの周辺の四隅に４つ取り付けられる。発光素子４０の出力光の波長はカメラ１０で検出できる波長であれば任意の波長が選択されるが、対象者Ａに対する影響（まぶしさ等）を軽減させるという点で近赤外領域の波長が選択される。この１以上の発光素子４０は、情報処理装置２０によって発光タイミングが個別に制御可能に構成される。なお、本実施形態の発光体は、ディスプレイ装置３０と別個の素子である発光素子４０によって実現されているが、表示画面３０ａ上の所定位置に情報処理装置２０の制御によって発光点を表示させ、その発光点を発光体として機能させてもよい。
【００２６】
情報処理装置２０は、カメラ１０の制御と、ディスプレイ装置３０の位置の検出と、検出したディスプレイ装置３０の位置を基にした対象者Ａの注視点の検出とを実行するコンピュータである。情報処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、情報処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
【００２７】
情報処理装置２０の一般的なハードウェア構成を図３に示す。情報処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイ装置３０やプリンタなどの出力装置１０６とを備える。
【００２８】
後述する情報処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
【００２９】
図４に示すように、情報処理装置２０は機能的構成要素として画像取得部２１、位置計算部（情報処理部）２２、および注視点計算部２３を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとディスプレイ装置３０の発光素子４０の発光タイミングとを制御することで、カメラ１０から画像データを取得する機能要素である。位置計算部２２は、画像データを参照して各種計算処理を実行することにより、ディスプレイ装置３０の発光素子４０の位置を計算する機能要素である。注視点計算部２３は、画像データを参照して各種計算処理を実行することにより、対象者Ａの視線方向を検出し、位置計算部２２によって計算された発光素子４０の位置及び視線方向を基に、対象者Ａの表示画面３０ａ上の注視点を計算する機能要素である。視線とは、対象者Ａの瞳孔Ｂの中心と該対象者Ａの注視点（対象者が見ている点）とを結ぶ線である。情報処理装置２０による計算結果の出力先は何ら限定されない。例えば、情報処理装置２０は、計算結果を画像、図形、またはテキストで表示画面３０ａ上に表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
【００３０】
以下、情報処理装置２０による、発光素子４０の位置計算処理及び注視点計算処理の詳細について説明する。
【００３１】
［発光素子４０の位置計算処理］
【００３２】
情報処理装置２０の画像取得部２１の制御により、各カメラ１０の撮影タイミングと当該カメラ１０の光源１３の発光タイミングとを同期させることによって、対象者Ａの瞳孔Ｂの周辺の画像が明瞳孔画像及び暗瞳孔画像として取得される。具体的には、各カメラの１フレームの撮影タイミング内で発光素子１３ａと発光素子１３ｂとが交互に点灯させることにより、奇数フィールドと偶数フィールドとに明瞳孔画像及び暗瞳孔画像が得られる。明瞳孔画像及び暗瞳孔画像の検出は、本発明者による国際公開２０１２／０７７７１３号公報に記載のメカニズムを利用している。
【００３３】
さらに、情報処理装置２０の画像取得部２１の制御により、左カメラ１０Ｌと右カメラ１０Ｒとにおいて交互に１フレームの画像が撮像されると同時に、ディスプレイ装置３０に取り付けられた発光素子４０が点灯される。図５には、画像取得部２１によって制御された動作タイミングを示しており、（ａ）は、左カメラ１０Ｌの光源１３Ｌの点灯タイミングを示すタイミングチャート、（ｂ）は、右カメラ１０Ｒの光源１３Ｒの点灯タイミングを示すタイミングチャート、（ｃ）は、発光素子４０の点灯タイミングを示すタイミングチャート、（ｄ）は、左カメラ１０Ｌの１フレームの撮像タイミングを示すタイミングチャート、（ｅ）は、右カメラ１０Ｒの１フレームの撮像タイミングを示すタイミングチャートをそれぞれ示している。このように、左カメラ１０Ｌの光源１３Ｌの点灯タイミングに合わせて左カメラ１０Ｌで画像が取得され、右カメラ１０Ｒの光源１３Ｒの点灯タイミングに合わせて右カメラ１０Ｒで画像が取得され、２つのカメラ１０Ｌ，１０Ｒの撮像時には、発光素子４０が点灯される。図５（ｃ）では、２つのカメラ１０Ｌ，１０Ｒの撮像タイミングに重なるように発光素子４０の点灯タイミングが設定されているが、それぞれのカメラ１０Ｌ，１０Ｒの撮像タイミングの一部に重なるように発光素子４０の点灯タイミングが設定されてもよい。なお、詳細には、それぞれのカメラ１０Ｌ，１０Ｒにおいては、１フレーム内において明瞳孔画像及び暗瞳孔画像が１つずつ得られる。
【００３４】
上記のタイミング制御の結果、画像取得部２１によってそれぞれのカメラ１０Ｌ，１０Ｒによって生成された画像データが取得される。そして、それぞれのカメラ１０によって生成された暗瞳孔画像の画像データを基に、位置計算部２２により、発光素子４０の位置計算処理が実行される。なお、位置計算処理は、明瞳孔画像の画像データを基に実行されてもよい。図６（ａ）には、カメラ１０と対象者Ａの角膜球Ｃと発光素子４０との位置関係を示しており、図６（ｂ）には、右カメラ１０Ｒによって得られた画像データのイメージを示しており、図６（ｃ）には、左カメラ１０Ｌによって得られた画像データのイメージを示している。このように、カメラ１０の前面には人間の角膜球Ｃが球面（凸面）を有する反射体として位置することになり、この角膜球Ｃを含む画像には、カメラ１０の光源１３の反射点と発光素子４０の反射点とが映ることになる。ここで、光源１３はリング状に配列されているが、角膜球Ｃ上では点状の反射点として映る。そして、角膜球Ｃ等の反射体の凸面の形状が（球面には限定されず）既知であれば、光の反射の法則から凸面に映る発光体の位置から反射体の中心から見た発光体の方向が分かる。なお、ここで角膜球Ｃは、角膜を一部とした球体として想定しているモデルであり、実際にカメラ１０の光源１３の反射点と発光素子４０の反射点とが映るのは角膜（凸面）であるが、本明細書ではこのモデルのことを、以後角膜球と記す。
【００３５】
すなわち、画像取得部２１によって取得された画像データ上には、図６（ｂ）又は図６（ｃ）に示すように、対象者Ａの角膜球Ｃの表面上に光源１３の反射点Ｒ１と発光素子４０の反射点Ｒ２とが現れる。ここで、左カメラ１０Ｌに対する左カメラ１０Ｌの光源１３Ｌの位置、および右カメラ１０Ｒに対する右カメラ１０Ｒの光源１３Ｒの位置は既知であり、左カメラ１０Ｌの光源１３Ｌと右カメラ１０Ｒの光源１３Ｒとは、それぞれ、左カメラ１０Ｌと右カメラ１０Ｒの位置に対して図６（ａ）に示す関係とみなせる程度において十分に近傍に位置するように配置されている。このため、これらの反射点Ｒ１は、図６（ａ）に示すように、カメラ１０をピンホールモデルで考えた場合、カメラ１０Ｒ，１０ＬのピンホールＯＲ，ＯＬのそれぞれと、角膜球Ｃの中心Ｃ１とを結ぶ直線ＬＣ１，ＬＣ２上に現れる。
【００３６】
そこで、位置計算部２２は、２つのカメラ１０Ｒ，１０Ｌから得られた画像データを用いて、対象者Ａの角膜球Ｃの中心Ｃ１の三次元位置をステレオマッチングによって計算する。ステレオマッチングとは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。
【００３７】
位置計算部２２がステレオマッチングを用いて角膜球Ｃの中心Ｃ１の三次元座標を計算する際には、図７に示すような座標系を用いる。同図に示す世界座標系（ＸＷ，ＹＷ，ＺＷ）は、２台のカメラ１０が共有する原点ＯＷが例えばディスプレイ装置３０の画面中央に位置する座標系である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点ＯＣが各カメラ１０の光学中心（ピンホール）とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系である。画像座標系（ＸＧ，ＹＧ）は、カメラ１０の撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点である角膜球Ｃの中心Ｃ１の座標とすると、カメラ１０を用いた際の画像座標系への投影点（Ｘｄ，Ｙｄ）は、画像のゆがみにより理想的な投影点（Ｘｕ，Ｙｕ）からずれることになる。したがって、ステレオ法を用いた三次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標との対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトルおよび世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等がキャリブレーションデータとして予め取得され、位置計算部２２に記憶される。
【００３８】
位置計算部２２は、２台のカメラ１０からの画像データを基に検出した画像座標系における光源１３の反射点Ｒ１の座標と、世界座標系における角膜球Ｃの中心Ｃ１の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、位置計算部２２は、２つの関係式から世界座標系における対象者Ａの角膜球Ｃの中心Ｃ１の三次元座標を計算する。
【００３９】
さらに、位置計算部２２は、計算した角膜球Ｃの中心Ｃ１の三次元座標と、各カメラ１０から取得した画像データを基に検出した画像座標系における発光素子４０の反射点Ｒ２の座標とを基に、各カメラ１０のピンホール（光源１３の中心）と角膜球Ｃの中心Ｃ１と発光素子４０とを通る平面を、各カメラ１０ごとに特定する。具体的には、位置計算部２２は、右カメラ１０Ｒから、図８に示すような画像データが得られた際に、画像座標系における反射点Ｒ１と反射点Ｒ２とを結ぶ直線ＬＲ１の水平線（Ｘ軸）からの傾きε１を計算により特定する。そして、位置計算部２２は、図９に示すように、角膜球Ｃの中心Ｃ１の三次元位置に基づいて、カメラ１０ＲのピンホールＯＲを原点とし、その原点と中心Ｃ１とを結ぶ基準線ＯＲＣ１を法線とする仮想平面Ｘ’−Ｙ’を設定する。そして、位置計算部２２は、仮想平面Ｘ’−Ｙ’上で原点ＯＲを通り水平軸Ｘ’との傾きがε１となるような直線ＬＲ２を決定する。このようにして決定した直線ＬＲ２は、カメラ１０ＲのピンホールＯＲと、角膜球Ｃの中心Ｃ１と、発光素子４０とを通る平面上に位置することになる。このような性質を利用して、位置計算部２２は、決定した直線ＬＲ２と角膜球Ｃの中心Ｃ１とを通る平面ＰＬ１の位置及び傾きを特定する。同様にして、位置計算部２２は、左カメラ１０Ｌから得られた画像データを基に、カメラ１０ＬのピンホールＯＬと、角膜球Ｃの中心Ｃ１と、発光素子４０とを通る平面ＰＬ２を特定する。
【００４０】
次に、位置計算部２２は、特定した平面ＰＬ１と平面ＰＬ２との交線ＬＩ１を求め（図６（ａ））、この交線ＬＩ１の位置及び傾きを基に、発光素子４０の位置を計算する。これは、交線ＬＩ１が角膜球Ｃの中心Ｃ１と発光素子４０とを通るという性質を利用している。例えば、発光素子４０の世界座標系におけるＺＷ座標の値が既知の場合には、発光素子４０の三次元位置を計算することができる。
【００４１】
さらに、位置計算部２２は、画像取得部２１によって連続したフレームで複数の発光素子４０を順次点灯させることによって得られた画像データを用いて、上述した位置計算処理を繰り返すこともできる。これにより、複数の発光素子４０の位置を連続的に計算することができる。
【００４２】
また、画像取得部２１によって１つのフレームで複数の発光素子４０を同時に点灯させることによって得られた画像データを用いて、複数の発光素子４０の反射点Ｒ２毎に上述した位置計算処理を繰り返してもよい。ただし、複数の発光素子４０を同時に点灯させた場合には、発光素子４０の反射点Ｒ２とカメラ１０の光源１３の反射点Ｒ１との判別が難しくなる。そのような場合は、位置計算部２２は、テンプレートマッチング等の画像処理により反射点Ｒ２と反射点Ｒ１とを区別する。また、位置計算部２２は、幾何学的方法により反射点Ｒ２と反射点Ｒ１とを区別してもよい。例えば、位置計算部２２は、注視点計算部２３により計算された画像データ上の対象者Ａの瞳孔の中心座標を用いて、画像データ上の全ての反射点から計算された角膜球Ｃの中心Ｃ１と瞳孔の中心座標とを通る候補ベクトルを計算する。そして、位置計算部２２は、候補ベクトルの方向及び長さが所定の範囲内である候補ベクトルを判別する。その結果、判別された候補ベクトルの計算に用いられた反射点をカメラ１０の光源１３の反射点Ｒ１と判別し、それ以外の反射点を発光素子４０の反射点Ｒ２と判別する。
【００４３】
［注視点計算処理］
【００４４】
情報処理装置２０の注視点計算部２３は、画像取得部２１によって取得される画像データと、位置計算部２２によって計算された発光素子４０の位置とを基に、対象者Ａの表示画面３０ａ上の注視点を計算する。すなわち、注視点計算部２３は、各カメラから得られた画像データを参照して、対象者Ａの瞳孔像を検出する。この瞳孔像の検出は明瞳孔画像と暗瞳孔画像の差分画像を用いて検出される。さらに、注視点計算部２３は、検出した瞳孔像の位置と画像データ上の光源１３の反射点Ｒ１との位置とを利用して、対象者Ａの視線ベクトル（視線方向）を計算する。この視線方向の計算には、本発明者による国際公開２０１２／０７７７１３号公報に記載の注視点検出方法が用いられる。その後、注視点計算部２３は、発光素子４０の位置によって特定される表示画面３０ａの位置と、計算した視線ベクトルとの交点を対象者Ａの注視点として計算する。
【００４５】
以上説明した注視点検出装置１によれば、カメラ１０によって対象者Ａの角膜球Ｃが撮像され、位置計算部２２によって、得られた画像におけるカメラ１０に取り付けられた光源１３の反射点を基に、角膜球Ｃの三次元位置が計算される。それとともに、位置計算部２２によって、得られた画像における発光素子４０の反射点と光源１３の反射点とを結ぶ線の傾きが特定される。さらに、位置計算部２２によって角膜球Ｃの三次元位置と線の傾きとを使って発光素子４０の位置が計算される。このように、カメラ１０によって得られた画像における２つの反射点を結ぶ線の傾きを使って検出対象の位置が計算されるので、高精度の位置検出結果を簡易な計算で得ることができる。その結果、その表示画面上の注視点を正確に得ることができる。
【００４６】
また、カメラ１０によって得られた画像における２つの反射点を結ぶ線の傾きを使って２つの平面が特定され、その２つの平面の交線によって検出対象の位置が計算されるので、対象者Ａの角膜球Ｃの形状に関係なく高精度の位置検出結果を簡易な計算で得ることができる。さらに、光源１３がカメラ１０の開口部近傍に設けられており、位置計算部２２は、カメラ１０から得られた画像における光源１３の反射点の位置を基に角膜球Ｃの三次元位置を計算する。このような構成によって、角膜球Ｃの三次元位置をより単純な計算で得ることができるので、その結果、検出対象の位置をより簡易に得ることができる。
【００４７】
次に、本発明の実施形態の変形例について説明する。上記実施形態に係る注視点検出装置１では、撮像対象の反射体として１つの角膜球Ｃのみとしていたが、複数の反射体を撮像対象としてもよい。例えば、対象者Ａの左右の眼の角膜球ＣＲ，ＣＬを同時或いは連続的に撮像し、その結果得られた画像データを基に発光素子４０の三次元位置を計算してもよい。
【００４８】
すなわち、図１０に示すように、情報処理装置２０の画像取得部２１は、各カメラ１０Ｒ，１０Ｌから、対象者Ａの右の角膜球ＣＲの周辺の画像データと左の角膜球ＣＬの周辺の画像データとを取得する。そして、情報処理装置２０の位置計算部２２は、上述した実施形態と同様にして、右の角膜球ＣＲの周辺の画像データを基に、カメラ１０の光源１３と右の角膜球ＣＲの中心ＣＲ１と発光素子４０とを通る２つの平面ＰＬ１，ＰＬ２とを特定し、２つの平面ＰＬ１，ＰＬ２の交線ＬＩ１を求める。さらに、位置計算部２２は、左の角膜球ＣＬの周辺の画像データを基に、カメラ１０の光源１３と左の角膜球ＣＬの中心ＣＬ１と発光素子４０とを通る２つの平面ＰＬ３，ＰＬ４とを特定し、２つの平面ＰＬ３，ＰＬ４の交線ＬＩ２を求める。そして、位置計算部２２は、求めた２つの交線ＬＩ１，ＬＩ２の交点或いは最接近点を発光素子４０の三次元位置として計算する。このような変形例によれば、発光素子４０の位置が未知の場合であっても確実に三次元座標を導き出すことができる。
【００４９】
ここで、注視点検出装置１では、撮像対象の１つの角膜球Ｃ等の１つの反射体のみとし、その反射体の位置を変更させながら異なる位置に配置させた反射体を連続的に撮像するように機能してもよい。このように動作する注視点検出装置１によっても、各カメラ１０Ｒ，１０Ｌかにおいて連続的に得られた画像データを基に、上記と同様にして発光素子４０の三次元位置を計算することができる。
【００５０】
また、注視点検出装置１では、カメラ１０と光源１３の組み合わせがもう一組設けられていてもよい。この場合、情報処理装置２０において新たに設けられた光源１３と発光素子４０とを通る平面がさらに特定され、これらの平面から求められる交線を基にして交点や最接近点を求めることでさらに位置計算の精度を高めることができる。
【００５１】
また、注視点検出装置１の前面に位置する反射体としては対象者Ａの角膜球Ｃには限定されず、注視点検出装置１に向かい合う凸面を有する反射体であれば、球面ミラー、鉄球等であってもよい。この場合、平板上に複数の球面ミラーを配置された部材を用意し、その部材を注視点検出装置１に向けて配置させれば、発光素子４０の位置を精度よく計算することができる。ここで、複数の球面ミラーの間隔が既知であれば、それを拘束条件として、ステレオマッチングにより求めた各々の球面ミラーの３次元位置を補正することができ、ステレオマッチングで求めた球面ミラーの３次元位置を基にした光源位置推定の精度を上げることができる。
【００５２】
また、球面ミラー或いは対象者Ａの角膜球Ｃを注視点検出装置１の前面で移動させながら連続して画像データを取得するように注視点検出装置１を動作させてもよい。このような構成によれば、短時間で反射体から発光素子４０に向かう直線を多く求めることができるので、それらの総当たりの最接近点の平均値もしくは中間値を計算することにより、位置計算精度を向上させることができる。
【００５３】
さらに、注視点検出装置１の前面に配置される反射体は３つ以上であってもよい。例えば、３つの球面ミラーが注視点検出装置１の前面に配置された場合には、各球面ミラーの中心から発光素子４０までの直線が３本求まることになるので、情報処理装置２０の位置計算部２２は、それらの直線の最接近点を３組求め、それらの中点を発光素子４０の位置として求める。このように動作すれば、反射体の個数が増加するほど位置検出精度を向上させることができる。
【００５４】
図１１は、本発明の変形例に係る情報処理装置２０Ａの機能構成を示す図である。同図に示す情報処理装置２０Ａは、情報処理装置２０における注視点計算機能の代わりに（又はそれに加えて）、検出した発光素子４０の位置を基にして表示画面３０ａ上に表示される画像の位置を制御する機能を有する。具体的には、同図に示す画像生成部２３Ａは、検出された発光素子４０の位置を基に表示画面３０ａの位置を特定し、その位置に対応した画像を表示画面上３０ａ上に表示させるようにディスプレイ装置３０を制御する。例えば、ディスプレイの表示画面３０ａ上の対象者Ａに近い位置に特定の画像を表示させるように制御する。さらに、表示画面３０ａ上の対象者Ａの注視点の検出機能を有する場合には、その注視点上に特定の画像を表示させるように制御してもよい。
【００５５】
上記のような変形例では、ディスプレイ装置３０の代わりにプロジェクタ装置用のスクリーンや任意の立体物を位置検出の対象としてもよい。このような場合には、情報処理装置２０Ａは、計算した発光素子４０の位置を基にその対象物の位置を特定し、その位置に対応した画像を対象物に向けて投影する。これにより、対象物の位置に応じて対象物上に適切な画像を表示させることができる。
【符号の説明】
【００５６】
１…注視点検出装置、１０，１０Ｌ，１０Ｒ…カメラ、１３，１３Ｌ，１３Ｒ…光源、１３ａ，１３ｂ…発光素子、２０，２０Ａ…情報処理装置、２２…位置計算部（情報処理部）、２３…注視点計算部、２３Ａ…画像生成部、３０…ディスプレイ装置、３０ａ…表示画面、４０…発光素子（発光体）、Ａ…対象者、Ｃ，ＣＲ，ＣＬ…角膜球、ＬＣ１，ＬＣ２…直線、ＬＩ１，ＬＩ２…交線、ＰＬ１，ＰＬ２，ＰＬ３，ＰＬ４…平面、Ｒ１，Ｒ２…反射点。
【図１】
0006430813.tif 000002
【図２】
0006430813.tif 000003
【図３】
0006430813.tif 000004
【図４】
0006430813.tif 000005
【図５】
0006430813.tif 000006
【図６】
0006430813.tif 000007
【図７】
0006430813.tif 000008
【図８】
0006430813.tif 000009
【図９】
0006430813.tif 000010
【図１０】
0006430813.tif 000011
【図１１】
0006430813.tif 000012