(57)【特許請求の範囲】
【請求項１】
ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出装置であって、
前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、
前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、
前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、
前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、
前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備え、
前記較正物体検出部は、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力する
視線検出装置。
【請求項２】
前記較正物体検出部は、前記物体が含まれていると判定した場合に、さらに、較正物体の検出が完了したことを示す完了信号を出力し、
前記較正パラメータ計算部は、前記完了信号を受けた場合に、前記眼球運動情報と前記較正物体の位置座標とを用いて前記較正パラメータを算出する
請求項１記載の視線検出装置。
【請求項３】
前記較正物体検出部は、前記領域が存在すると判定した場合、さらに、抽出した画像特徴量を前記指示部に出力し、
前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体を見るように、前記ユーザに指示する
請求項１記載の視線検出装置。
【請求項４】
前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体の情報を示す案内情報を生成し、生成した案内情報を音声又は骨伝導を用いて前記ユーザに指示する
請求項３記載の視線検出装置。
【請求項５】
前記較正物体検出部は、前記入力画像の画像特徴量として、エッジ情報、色情報、輝度レベル情報及び動き情報の少なくとも１つを抽出する
請求項１記載の視線検出装置。
【請求項６】
前記較正物体検出部は、前記較正物体として利用可能な物体として、人の顔、前記ユーザの身体の一部、又は、前記ユーザが装着若しくは保持している物体が前記入力画像に含まれているか否かを判定する
請求項２記載の視線検出装置。
【請求項７】
前記視線検出装置は、さらに、
前記較正物体を出力する較正物体出力部を備え、
前記指示部は、前記較正物体出力部によって出力された較正物体を見るように、前記ユーザに指示する
請求項２記載の視線検出装置。
【請求項８】
前記視線検出装置は、さらに、
前記較正物体までの距離を計測する較正物体距離計測部を備え、
前記較正パラメータ計算部は、前記較正物体距離計測部によって計測された距離をさらに用いて、前記較正パラメータを算出する
請求項２記載の視線検出装置。
【請求項９】
前記眼球運動検出部は、前記眼球運動情報として、前記ユーザの眼電位又は眼球の移動量を示す情報を取得する
請求項２記載の視線検出装置。
【請求項１０】
前記較正パラメータは、前記ユーザの眼球運動情報と前記視線座標とを対応付けたテーブルであり、
前記較正パラメータ計算部は、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記テーブルを更新し、
前記較正部は、前記較正パラメータ計算部によって更新されたテーブルを参照することによって、前記眼球運動情報を前記視線座標に較正する
請求項２記載の視線検出装置。
【請求項１１】
ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出方法であって、
前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出ステップと、
前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出ステップと、
前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示ステップと、
前記指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算ステップと、
前記較正パラメータ計算ステップで算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正ステップとを含み、
前記較正物体検出ステップでは、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力する
視線検出方法。
【請求項１２】
請求項１１記載の視線検出方法をコンピュータに実行させるためのプログラム。
【請求項１３】
ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する集積回路であって、
前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、
前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、
前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、
前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、
前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備え、
前記較正物体検出部は、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影者の頭部に装着された撮像手段からの入力画像における撮影者の視線座標を求める視線検出装置及び視線検出方法に関するものである。
【背景技術】
【０００２】
例えば、特許文献１に開示されているように、撮像手段を頭部に装着することによって、撮影時に両手が自由になり、他の作業を行いながら撮影することができるという利点を持つ、頭部装着型カメラが従来から提案されている。さらに、特許文献２では、撮像手段の撮影位置を、撮影者の視線位置に応じて移動させることによって、撮影者が撮影中に頭部を動かしても撮像位置が変化しない安定した撮影ができることを提案している。
【０００３】
実際に視線位置によって撮影位置を正しく移動させる方法の１つとして、実空間における撮影者の視線位置が、撮像手段から取得した入力画像上のどの位置に相当するのかを検出し、検出した位置が中心となるように撮影位置を制御することが考えられる。実空間における撮影者の視線位置と入力画像上の視線位置との較正方法の例として、以下の特許文献３、特許文献４等がある。
【０００４】
特許文献３には、較正時に、ディスプレイに複数の点からなる任意の較正パターンを表示させ、被験者がこれらの点を見たときの水平方向及び垂直方向の眼球運動データを取得し、これらのデータに基づいて較正パラメータを求めるという技術が記載されている。眼球運動データを取得する方法としては、角膜反射法による方法、角膜と強膜との反射率の違いを利用する方法、コンタクトレンズを用いる方法、あるいは角膜と網膜との間の発生電位を用いるＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏｇｒａｐｈｙ）法等を挙げている。
【０００５】
特許文献４に記載の技術では、計測の準備として、周囲空間に視野画像において特徴点となるような目標を複数個用意し、被測定者はアイカメラを頭部にセットして、これらの目標を順次注視する。注視された目標の視野画像内における特徴点としての座標と、注視時のアイマーク信号の座標とがそれぞれ対応付けられ、テーブル記憶手段に順次記憶される。計測時には、この記憶された補正テーブルを用いて、アイカメラから送られてきたアイマーク信号を補正する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特公平３−６２３５６号公報
【特許文献２】特開平８−８４２８０号公報
【特許文献３】特許第２６１５８３１号明細書
【特許文献４】特開昭６２−１７６４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、以下に示すような課題がある。
【０００８】
特許文献３では、較正パターンをディスプレイに表示するため、頭部装着型カメラのようなディスプレイのない状態では、較正パターンを撮影者に提示することができず、較正パラメータを求めることができない。
【０００９】
また、特許文献４では、撮影者は予め特徴点となるような目標を設置する必要があり、かつ、その目標が頭部に装着された撮像手段に映るようにしなければならず、すぐに撮影に入れないばかりか、ある程度の慣れが必要となる。
【００１０】
このように、上記従来技術では、較正パラメータを決定するための前準備が必要かつ複雑で、撮影者に負担になるだけでなく、撮影者が操作に慣れていないと較正パラメータを容易に算出することは困難である。
【００１１】
そこで、本発明は、上記課題を解決するためになされたもので、撮影者に装着された撮像手段からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出する視線検出装置及び視線検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の視線検出装置は、ユーザに装着された撮像部からの入力画像における前記ユーザの視線座標を検出する視線検出装置であって、前記ユーザの眼球運動を検出することによって、当該眼球運動を示す眼球運動情報を取得する眼球運動検出部と、前記入力画像を取得し、取得した入力画像に較正物体として利用可能な物体が含まれているか否かを判定し、含まれていると判定した場合に、当該物体の位置を示す位置座標を出力する較正物体検出部と、前記位置座標によって示される較正物体を見るように、前記ユーザに指示する指示部と、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記眼球運動情報を前記視線座標に較正する際に用いる較正パラメータを算出する較正パラメータ計算部と、前記較正パラメータ計算部によって算出された較正パラメータを用いて前記眼球運動情報を前記視線座標に較正する較正部とを備え、前記較正物体検出部は、前記入力画像の画像特徴量を抽出し、抽出した画像特徴量が所定の閾値に達している領域が存在するか否かを判定し、存在すると判定した場合、前記較正物体として利用可能な物体の位置座標として、当該領域の位置座標を出力する。
【００１３】
これにより、ユーザは指示部からの指示に従って指示された較正物体を見るだけで、本発明の視線検出装置が較正パラメータを短時間で的確に算出する。このため、ユーザに高度な知識を必要とせず、誰でも容易に本発明の視線検出装置を利用することができる。さらに、画像特徴量が所定の閾値に達している領域が、較正物体が含まれる領域であると判定することができるので、容易に較正物体の位置座標と特徴量とを検出することができる。
【００１４】
また、前記較正物体検出部は、前記物体が含まれていると判定した場合に、さらに、較正物体の検出が完了したことを示す完了信号を出力し、前記較正パラメータ計算部は、前記完了信号を受けた場合に、前記眼球運動情報と前記較正物体の位置座標とを用いて前記較正パラメータを算出してもよい。
【００１５】
これにより、較正パラメータ計算部は完了信号を受けた後で較正パラメータの更新を行うので、ユーザが較正物体を見る前に更新処理を開始することを防ぐことができる。このため、より的確に較正パラメータを算出することができる。
【００１８】
また、前記較正物体検出部は、前記領域が存在すると判定した場合、さらに、抽出した画像特徴量を前記指示部に出力し、前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体を見るように、前記ユーザに指示してもよい。
【００１９】
これにより、位置座標だけでなく特徴量も用いて較正物体をユーザに指示することができるので、指示を受けたユーザはより簡単に較正物体を見つけることができる。したがって、本発明の視線検出装置は、より短時間でより的確に較正パラメータを算出することができる。
【００２０】
また、前記指示部は、前記位置座標及び前記画像特徴量によって示される較正物体の情報を示す案内情報を生成し、生成した案内情報を音声又は骨伝導を用いて前記ユーザに指示してもよい。
【００２１】
これにより、音声又は骨伝導を利用してユーザに指示するので、指示を受けたユーザはより簡単に較正物体を見つけることができる。さらに、骨伝導を利用することによって、周囲が騒がしい状況、若しくは音声が出せない状況であっても、又は音声が聞き取れない聴覚障害者に対しても較正物体を見るように指示することができる。
【００２２】
また、前記較正物体検出部は、前記入力画像の画像特徴量として、エッジ情報、色情報、輝度レベル情報及び動き情報の少なくとも１つを抽出してもよい。
【００２３】
これにより、例えば、輝度レベル情報を抽出することによって、視覚的に目立つ領域、例えば、周囲よりも輝度レベルが高い領域を較正物体が含まれる領域として検出することができる。したがって、ユーザはより簡単に較正物体を見つけることができる。他の情報を用いた場合も同様である。
【００２４】
また、前記較正物体検出部は、前記較正物体として利用可能な物体として、人の顔、前記ユーザの身体の一部、又は、前記ユーザが装着若しくは保持している物体が前記入力画像に含まれているか否かを判定してもよい。
【００２５】
また、前記視線検出装置は、さらに、前記較正物体を出力する較正物体出力部を備え、前記指示部は、前記較正物体出力部によって出力された較正物体を見るように、前記ユーザに指示してもよい。
【００２６】
これにより、例えば、較正物体が検出できなかった場合などに較正物体を出力することによって、出力した較正物体を用いて確実に較正パラメータを更新することができる。
【００２７】
また、前記視線検出装置は、さらに、前記較正物体までの距離を計測する較正物体距離計測部を備え、前記較正パラメータ計算部は、前記較正物体距離計測部によって計測された距離をさらに用いて、前記更新パラメータを算出する。
【００２８】
これにより、撮影者の眼球位置から撮像部までの距離が大きい場合でも、眼球運動情報から視線座標を正確に算出することができる。
【００２９】
また、前記眼球運動検出部は、前記眼球運動情報として、前記ユーザの眼電位又は眼球の移動量を示す情報を取得してもよい。
【００３０】
これにより、例えば、眼電位を用いた場合には、ユーザの目の形状、及び撮影環境などに依存せずに眼球運動情報を取得することができる。また、眼球の移動量を用いた場合には、より精度の高い眼球運動情報を取得することができる。
【００３１】
また、前記較正パラメータは、前記ユーザの眼球運動情報と前記視線座標とを対応付けたテーブルであり、前記較正パラメータ計算部は、前記指示部による指示を受けた前記ユーザの眼球運動情報と前記較正物体の位置座標とを用いて、前記テーブルを更新し、前記較正部は、前記較正パラメータ計算部によって更新されたテーブルを参照することによって、前記眼球運動情報を前記視線座標に較正してもよい。
【００３２】
これにより、眼球運動情報と視線座標とを対応付けたテーブルを保持することによって、較正にかかる時間を短縮することができる。
【００３３】
なお、本発明は、このような視線検出装置として実現することができるだけでなく、このような視線検出装置が備える特徴的な手段をステップとする視線検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３４】
以上のように、本発明の視線検出装置によれば、撮影者に装着した撮像手段からの入力画像における撮影者の視線座標を検出するための較正パラメータを短時間で的確に算出することができる。
【図面の簡単な説明】
【００３５】
【図１】図１は、本実施の形態の視線検出装置の構成の一例を示すブロック図である。
【図２】図２は、本実施の形態の視線検出装置の使用例を示す図である。
【図３】図３は、ＥＯＧ法を用いた眼電位の計測方法を説明するための図である。
【図４Ａ】図４Ａは、眼電位と眼球移動角とを対応付けたテーブルを示す図である。
【図４Ｂ】図４Ｂは、眼電位と視線座標とを対応付けたテーブルを示す図である。
【図４Ｃ】図４Ｃは、眼球の移動量と眼球移動角とを対応付けたテーブルを示す図である。
【図４Ｄ】図４Ｄは、眼球の移動量と視線座標とを対応付けたテーブルを示す図である。
【図５】図５は、本実施の形態の視線検出装置の動作の一例を示すフローチャートである。
【図６】図６は、本実施の形態の較正物体の検出処理の詳細を示すフローチャートである。
【図７】図７は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。
【図８】図８は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。
【図９】図９は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。
【図１０Ａ】図１０Ａは、眼電位と眼球移動角及び距離情報とを対応付けたテーブルを示す図である。
【図１０Ｂ】図１０Ｂは、眼球の移動量と眼球移動角及び距離情報とを対応付けたテーブルを示す図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００３７】
図１は、本実施の形態の視線検出装置１００の構成の一例を表すブロック図である。同図に示す視線検出装置１００は、眼球運動検出部１０１と、較正部１０２と、較正パラメータ更新指示部１０３と、撮像部１０４と、較正物体検出部１０５と、較正パラメータ計算部１０６と、スイッチ１０７と、音声指示部１０８とを備える。
【００３８】
なお、本実施の形態の視線検出装置１００は、例えば、図２に示すように、撮影者の頭部に装着され、撮影者の視線方向を撮影する。
【００３９】
眼球運動検出部１０１は、ユーザ（撮影者）の眼球運動を検出することによって、眼球運動情報を取得する。例えば、眼球運動検出部１０１は、撮影者の眼球運動情報を、角膜と網膜との間の発生電位を利用するＥＯＧ法、スポットライトを眼球に入射することによって角膜内部に生じる虚像の動きを検出する角膜反射法、角膜と強膜との反射率の違いを利用する強膜反射法、及びコンタクトレンズを用いる方法等を用いることによって取得する。
【００４０】
眼球運動情報は、ＥＯＧ法であれば眼電位、その他の方法であれば眼球の移動量等を含む、撮影者の眼球運動を示す情報である。本実施の形態では、眼球運動検出部１０１がＥＯＧ法を用いた場合を一例として挙げる。
【００４１】
ＥＯＧ法とは、人間の角膜が網膜に対して正に帯電していることを利用した眼球運動検出方法である。具体的には、人間の眼球付近に少なくとも１つの電極を貼り付けし、その電極を用いて計測される電位の変化に基づいて眼球運動を検出する。
【００４２】
図３に、ＥＯＧ法を用いた眼球運動検出方法の例を示す。図３は、撮影者の右目の外側と内側とに、眼球の中心から等距離離して２つの電極を貼り付けた場合の例であり、外側を電極Ａ、内側を電極Ｂで示している。
【００４３】
電極Ａに発生する眼電位をＶａ、電極Ｂに発生する眼電位をＶｂとすると、図３（ａ）のように、撮影者の眼球が真中位置にある場合は、ＶａとＶｂとが等しくなり、計測される眼電位Ｖａ−ｂ（＝Ｖａ−Ｖｂ）は０Ｖとなる。
【００４４】
図３（ｂ）のように、撮影者が右を見た場合は、電極Ａの方が右目の角膜に近くなるため、Ｖａ＞Ｖｂとなり、計測眼電位Ｖａ−ｂは正の値を示す。逆に、撮影者が左を見た場合は、Ｖａ＜Ｖｂとなり、計測眼電位Ｖａ−ｂは負の値を示す。つまり、計測眼電位Ｖａ−ｂが正の値を示すならば、撮影者は右に目を動かしたことが分かり、負の値を示すならば、左に目を動かしたことが分かる。
【００４５】
ＥＯＧ法では、このような計測眼電位Ｖａ−ｂの変化を利用することにより、撮影者の眼球運動を検出する。一般的に計測眼電位Ｖａ−ｂは、眼球の移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Ｖａ−ｂは、定数ａと眼球の移動角θを用いて（式１）によって近似することができる。
【００４６】
Ｖａ−ｂ＝ａ×θ（式１）
本実施の形態では、定数ａのことを、較正係数と呼ぶ。
【００４７】
図１に戻ると、較正部１０２は、較正パラメータ計算部１０６によって算出された較正パラメータと撮像部１０４からの撮像部情報とを用いて、眼球運動情報を視線座標に較正する。すなわち、較正部１０２は、眼球運動検出部１０１によって取得された眼球運動情報に基づいて、較正パラメータ及び撮像部情報を用いて、撮像部１０４からの入力画像中における撮影者の視線座標を算出する。
【００４８】
ここで、較正パラメータとは、眼球運動情報を眼球の移動角に変換するためのパラメータである。すなわち、較正パラメータは、眼球運動情報と視線座標との対応関係を示すパラメータである。較正パラメータの一例として、（式１）で用いた較正係数ａが挙げられる。また、撮像部情報とは、入力画像の画角、解像度、レンズ特性等の撮像部１０４から取得される情報である。
【００４９】
ＥＯＧ法を用いた場合の較正部１０２の動作の一例は、次の通りである。眼球運動情報として眼電位Ｖｅ（＝Ｖａ−ｂ）が較正部１０２に入力された場合、（式１）を用いて眼球の移動角θｅ（＝θ）を算出する。そして、移動角θｅから撮像部情報を用いて視線座標を求める。以上の手順により、眼球運動情報から視線座標を算出することができる。
【００５０】
なお、本実施の形態では、（式１）を用いた較正方法について説明したが、これに限らない。例えば、図４Ａ〜図４Ｄに示すような、眼球運動情報と視線座標とを対応付けたテーブルを用いてもよい。図４Ａは、眼電位と眼球移動角とを対応付けたテーブルを示す図である。図４Ｂは、眼電位と視線座標とを対応付けたテーブルを示す図である。図４Ｃは、眼球の移動量と眼球移動角とを対応付けたテーブルを示す図である。図４Ｄは、眼球の移動量と視線座標とを対応付けたテーブルを示す図である。なお、ここでは簡単のため、眼球移動角及び視線座標ともに、水平又は垂直の一方向についてのみ示す。
【００５１】
眼球の移動量は、例えば、正面を向いているときの瞳孔の中心を基準位置としたときの瞳孔の中心の移動量を示す。眼球の移動量は、例えば、アイカメラなどを用いて撮影者の目を撮影することによって、取得される。また、視線座標は、例えば、入力画像の右上端を基準座標（０，０）としたときの水平方向又は垂直方向の位置を示す。なお、基準位置及び基準座標は、どこを基準としてもよい。
【００５２】
較正部１０２は、例えば、眼球運動検出部１０１によって取得された眼電位から図４Ａのテーブルを参照することによって、眼球移動角を取得する。そして、眼球移動角に基づいて撮像部情報を用いて視線座標を算出する。
【００５３】
較正パラメータ更新指示部１０３は、撮影開始時、撮影者の指示等の予め定められたイベントが発生した場合に、較正物体検出部１０５、較正パラメータ計算部１０６及びスイッチ１０７に較正パラメータ更新指示を出力する。
【００５４】
撮像部１０４は、撮影者の頭部に装着され、撮影者の周囲を撮影する。撮影された入力画像は、較正物体検出部１０５に出力される。また、撮像部１０４は、撮像部情報を較正部１０２及び較正パラメータ計算部１０６に出力する。
【００５５】
較正物体検出部１０５は、較正パラメータ更新指示を受けた場合、撮像部１０４からの入力画像中に、較正物体として利用可能な物体が含まれるかどうかを判定する。具体的な判定の詳細については、図面を用いて後で説明する。ここで、較正物体とは、撮影者の周囲の実空間上に存在する立体又は平面の物体であって、撮影者が容易に見つけることができ、かつ、画像処理により容易に入力画像から抽出されるように、特徴的な形状、色、明るさ等を有する物体である。
【００５６】
較正物体として利用可能な物体が含まれると判定した場合、較正物体検出部１０５は、較正物体座標と較正物体特徴量とを、音声指示部１０８と較正パラメータ計算部１０６とに出力する。また、較正物体検出部１０５は、較正物体の検出が完了したことを示す検出完了信号を較正パラメータ計算部１０６に出力する。
【００５７】
なお、較正物体座標は、入力画像内における、較正物体として利用可能であると判定された物体の位置を示す情報、例えば、当該物体の位置座標を示す。また、較正物体特徴量は、較正物体として利用可能であると判定された物体の画像特徴量を示す情報である。画像特徴量は、例えば、エッジ、色情報、輝度レベル等である。なお、以下では、較正物体座標と較正物体特徴量とを含めて、較正物体情報とも記載する。
【００５８】
較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受信した場合、音声指示部１０８による指示を受けた撮影者の眼球運動情報、較正物体座標及び撮像部情報を用いて、較正パラメータを更新する。具体的には、較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受け取った場合に、較正パラメータの更新を開始する。ここで、ＥＯＧ法を用いた場合の較正パラメータの１つである較正係数ａの計算例を示す。
【００５９】
まずは、較正物体座標から、入力画像の画角、解像度、レンズ特性等の撮像部情報を用いて、較正物体を見た場合の撮影者の眼球移動角θｃを求める。そして、眼球運動情報として入力された眼電位Ｖｃ、及び眼球移動角θｃを（式１）に代入することにより、較正係数ａを算出する。
【００６０】
なお、較正部１０２が、図４Ａ〜図４Ｄに示すようなテーブルを用いて眼球運動情報から視線座標を算出する場合、較正パラメータ計算部１０６は、図４Ａ〜図４Ｄに示すテーブルの値を更新する。例えば、図４Ａの例では、較正時に得られる眼電位と眼球移動角とをテーブルに書き込むことによって、テーブルの値を更新する。
【００６１】
スイッチ１０７は、較正パラメータ更新指示に従って、眼球運動検出部１０１によって取得された眼球運動情報を、較正部１０２及び較正パラメータ計算部１０６のどちらに送信するかを切り替える。具体的には、スイッチ１０７は、較正パラメータ更新指示が出力された場合に、較正パラメータ計算部１０６に眼球運動情報を送信する。そして、スイッチ１０７は、較正パラメータ更新指示が出力されていない場合、較正部１０２に眼球運動情報を送信する。
【００６２】
音声指示部１０８は、較正物体検出部１０５から較正物体座標と較正物体特徴量とを受け取った場合、較正物体検出部１０５によって検出された物体、つまり、較正物体座標と較正物体特徴量とによって示される物体を見るように、音声などを利用して撮影者に指示する。例えば、較正物体検出部１０５が入力画像内の右側にある人の顔を較正物体として検出した場合、音声指示部１０８は、「右側に見える人の顔を見てください」等の音声案内を出力する。
【００６３】
続いて、本実施の形態の視線検出装置１００の動作について説明する。
【００６４】
図５は、本実施の形態の視線検出装置１００の動作を示すフローチャートである。
【００６５】
較正パラメータ更新指示部１０３は、予め定められたイベントが発生したか否かを判定する（ステップＳ１０１）。イベントとは、撮影開始の指示、較正パラメータの更新を行う旨の撮影者からの指示などである。
【００６６】
イベントが発生していない場合（ステップＳ１０１でＮｏ）、視線検出装置１００は、較正パラメータの更新処理を行わず、通常の視線座標の検出処理を行う。このとき、較正パラメータ更新指示部１０３は、イベントが発生するまで待機する。また、スイッチ１０７は、眼球運動情報を較正部１０２に送信する。
【００６７】
イベントが発生した場合（ステップＳ１０１でＹｅｓ）、較正パラメータ更新指示部１０３は、較正パラメータ更新指示をスイッチ１０７、及び較正物体検出部１０５に出力する（ステップＳ１０２）。スイッチ１０７は、較正パラメータ更新指示を受け取り、眼球運動検出部１０１と較正パラメータ計算部１０６とを接続することによって、眼球運動情報を較正パラメータ計算部１０６に送信する。
【００６８】
較正物体検出部１０５は、較正パラメータ更新指示を受け取り、撮像部１０４から取得した入力画像内の較正物体を検出する（ステップＳ１０３）。較正物体検出部１０５は、較正物体を検出した場合に、較正物体情報を音声指示部１０８と較正パラメータ計算部１０６とに出力する。さらに、検出完了信号を較正パラメータ計算部１０６に出力する。較正物体の検出処理の詳細は、図６を用いて後で説明する。
【００６９】
音声指示部１０８は、較正物体検出部１０５から較正物体情報を受け取り、受け取った較正物体情報が示す較正物体を撮影者が見るように、撮影者に音声で指示する（ステップＳ１０４）。
【００７０】
較正パラメータ計算部１０６は、較正物体検出部１０５から検出完了信号を受け取った場合、眼球運動情報、較正物体座標、及び撮像部情報を用いて較正パラメータを算出する（ステップＳ１０５）。
【００７１】
以上のようにして、本実施の形態の視線検出装置１００は、較正時には、較正パラメータを算出し、通常時には、算出した較正パラメータを用いて、眼球運動情報と視線座標との較正を行う。
【００７２】
次に、較正物体検出部１０５が行う較正物体の検出処理の詳細について、図６を用いて説明する。図６は、本実施の形態の較正物体の検出処理の詳細を示すフローチャートである。なお、以下では一例として、入力画像の画像特徴量を抽出することにより、較正物体を検出するときの動作について説明する。
【００７３】
まず、較正物体検出部１０５は、較正パラメータ更新指示があったかどうかを判定し、なければ処理を終了する。較正パラメータ更新指示があれば、撮像部１０４からの入力画像から画像特徴量を抽出する（ステップＳ２０１）。画像特徴量としては、エッジ、色情報、輝度レベル及び動き量等の情報を用いる。
【００７４】
そして、較正物体検出部１０５は、抽出した画像特徴量の中から、較正物体として利用可能な画像特徴量を探索することにより、較正物体として利用可能な特徴量が入力画像中に存在するか否かを判定する（ステップＳ２０２）。例えば、エッジ情報を用いた場合では、円形、又は三角形、四角形などの多角形といった所定の形状が存在するか否かを判定する。色情報を用いた場合では、赤や青の視覚的に目立ちやすい色、例えば、彩度が所定の値以上となる色が存在するか否かを判定する。輝度レベル情報を用いた場合では、周りよりも明るくなっている場所、すなわち、周囲の領域より輝度値が高くなっている領域が存在するか否かを判定する。動き量情報を用いた場合では、動き量が所定の値以下である物体、例えば、静止している物体が存在するか否かを判定する。さらに、人の顔や動物等を用いてもよい。このように、較正物体検出部１０５は、これらの画像特徴量が所定の閾値に達している領域が、入力画像中に存在するかどうかを判定する。
【００７５】
以上のような画像特徴量が入力画像内に検出されなければ（ステップＳ２０２でＮｏ）、較正物体検出部１０５は、次の入力画像から画像特徴量を求めることによって較正物体として利用可能な物体検出を繰り返す（ステップＳ２０１に戻る）。
【００７６】
較正物体として利用可能な特徴量が検出されれば（ステップＳ２０２でＹｅｓ）、較正物体検出部１０５は、検出された特徴量を持つ物体（領域）の位置座標を較正物体座標として、較正パラメータ計算部１０６及び音声指示部１０８に出力する（ステップＳ２０３）。さらに、検出された特徴量から得られる情報を較正物体特徴量として、音声指示部１０８に出力する（ステップＳ２０４）。さらに、較正物体検出部１０５は、較正物体の検出が完了したことを示す検出完了信号を較正パラメータ計算部１０６に出力する（ステップＳ２０５）。
【００７７】
以上のようにして、本実施の形態の視線検出装置１００では、入力画像内の較正物体を検出し、検出した較正物体の特徴及び実空間上の位置などを撮影者に指示する。そして、指示に従って撮影者が較正物体を見ているときの眼球運動情報、較正物体座標、及び撮像部情報などを用いて較正パラメータを算出する。
【００７８】
これにより、較正パラメータの更新時には、撮影者が、本実施の形態の視線検出装置１００の音声案内に従って目を動かすだけで、視線検出装置１００は、自動的に短時間で的確に較正パラメータを更新することができる。
【００７９】
また、本実施の形態の視線検出装置１００では、較正物体検出部１０５は、撮影者が実空間上で見つけやすい物体を入力画像から検出するため、撮影者の負担を軽減することができる。具体的には、較正物体検出部１０５は、周囲の領域より輝度値が高くなっている領域に含まれる物体、円形又は多角形などの特定の形状の物体、人の顔などを較正物体として検出する。
【００８０】
また、本実施の形態の視線検出装置１００では、実空間上に存在する物体を撮像部１０４によって撮像することにより取得された入力画像から較正物体を検出する。すなわち、従来のように、較正物体を表示させるためのディスプレイ等は必要ではなく、いつでもどこでも容易に較正パラメータを更新することができる。
【００８１】
以上、本発明の視線検出装置及び視線検出方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
【００８２】
例えば、音声指示部１０８は、音声案内を生成して出力することによって、撮影者に指示したが、音声以外の案内情報を生成することにより撮影者に指示してもよい。例えば、本実施の形態の視線検出装置１００は、撮影者の頭部に装着されることを想定されているので、骨伝導を利用して撮影者に指示してもよい。あるいは、撮影者の聴覚を利用するのではなく、撮影者の視覚を利用してもよい。一例として、検出した較正物体にレーザポインタなどを当てることによって、撮影者が見るべき較正物体を指示してもよい。
【００８３】
また、撮影者の周囲に較正物体となり得る物体が存在しない場合に備えて、本発明の視線検出装置は、較正物体を出力する機能を備えていてもよい。図７は、本実施の形態の視線検出装置の構成の変形例を示すブロック図である。同図に示す視線検出装置２００は、図１に示す視線検出装置１００と比較して、さらに、較正物体出力部２０９を備える点が異なっている。
【００８４】
較正物体出力部２０９は、較正パラメータ更新指示部１０３から較正パラメータ更新指示を受けた場合、実空間上に較正物体を出力する。較正物体は、例えば、レーザポインタ、プロジェクタ等を使用して出力されたマークである。
【００８５】
これにより、撮影者が、較正物体出力部２０９から出力された較正物体を見るだけで、視線検出装置１００は、自動的に短時間で的確に較正パラメータを更新することができる。
【００８６】
なお、較正物体出力部２０９は、較正物体検出部１０５によって較正物体として利用可能な特徴量が存在しなかった場合に（ステップＳ２０２でＮｏ）、較正物体を出力してもよい。これにより、仮に周囲に較正物体として利用可能な物体が存在しない場合であっても、視線検出装置２００は、較正パラメータを更新することができる。また、較正物体として利用可能な物体が存在する場合は、較正物体出力部２０９は較正物体を出力しないので、視線検出装置２００は較正物体の出力に必要な消費電力を抑制することができる。
【００８７】
なお、音声指示部１０８は、較正物体出力部２０９が較正物体を出力した場合は、出力された較正物体の方向を撮影者に指示してもよい。これにより、撮影者は、より容易に較正物体を見ることが可能になる。
【００８８】
また、較正物体検出部１０５の動作として、画像の特徴量を用いた例を示したが、予め登録した較正物体との画素値の比較を行うテンプレートマッチング等を用いても構わない。
【００８９】
また、較正物体検出部１０５は、予め登録しておいた特徴量に一致する特徴量の存在する領域を入力画像から検出してもよい。図８は、本実施の形態の視線検出装置１００の構成の変形例を示すブロック図である。同図に示す視線検出装置３００は、図１に示す視線検出装置１００と比較して、較正物体検出部１０５の代わりに較正物体検出部３０５を備える点と、新たに、較正物体登録部３１０を備える点とが異なっている。
【００９０】
較正物体登録部３１０は、バッファを備え、当該バッファに、較正物体となり得る物体を撮像部１０４が撮像したときの画像特徴量を記憶しておく。例えば、較正物体登録部３１０は、撮影者の身体の一部、装着若しくは保持している指輪やリモコン等を撮像部１０４が撮像したときの画像特徴量を、較正物体として予め登録する。
【００９１】
また、音声指示部１０８は、検出完了信号を受け、較正物体検出部１０５によって較正物体が検出されたことを撮影者に通知してもよい。このときの通知は、音声で行う必要はなく、例えば、アラームなどの音、又はバイブレーションなどの振動でもよい。
【００９２】
また、較正物体検出部１０５は、較正物体座標として、撮像部１０４からの入力画像中における較正物体の位置座標と、実空間における較正物体までの距離情報とを出力してもよい。図９は、本実施の形態の視線検出装置１００の構成の変形例を示すブロック図である。同図に示す視線検出装置４００は、図１に示す視線検出装置１００と比較して、較正物体検出部１０５、較正パラメータ計算部１０６、較正部１０２の代わりに、較正物体検出部４０５、較正パラメータ計算部４０６、較正部４０２を備える点と、新たに、較正物体距離計測部４１０を備える点とが異なっている。
【００９３】
較正物体距離計測部４１０は、赤外線センサー等により、本視線検出装置４００から、較正物体検出部４０５によって検出された較正物体までの距離を計測する。
【００９４】
較正物体検出部４０５は、検出した較正物体の入力画像中における位置座標と、較正物体距離計測部４１０から出力された距離情報ＤＩＳとを較正物体座標として較正パラメータ計算部４０６に出力する。
【００９５】
較正パラメータ計算部４０６は、較正物体の位置座標と入力画像の画角、解像度、レンズ特性等の撮像部情報とを用いて、撮像部１０４の光線を基準とした較正物体の角度θｃａｍを求める。そして、較正物体の距離情報ＤＩＳを用いて、以下の（式２）により、較正物体を見た場合の撮影者の眼球移動角θｅを求める。
【００９６】
ｔａｎθｅ  ＝  ｔａｎθｃａｍ  ＋  Ｌ  ／  ＤＩＳ  （式２）
ここで、Ｌは、撮影者の眼球位置から撮像部１０４までの距離を表す。
【００９７】
そして、較正パラメータ計算部４０６は、図１０Ａ又は図１０Ｂに示すテーブルの値を更新する。例えば、図１０Ａの例では、較正時に得られる眼電位と、較正物体を見た際の眼球移動角と、較正物体までの距離情報とをテーブルに書き込むことによって、テーブルの値を更新する。
【００９８】
また、較正部４０２は、眼球運動情報として眼電位Ｖｅ（＝Ｖａ−ｂ）が較正部４０２に入力された場合、図１０Ａのテーブルを用いて眼球の移動角θｅと距離情報ＤＩＳとを求める。そして、移動角θｅと距離情報ＤＩＳを（式２）に代入することにより、較正物体の角度θｃａｍを求め、さらに撮像部情報を用いて視線座標を求める。以上の手順により、撮影者の眼球位置から撮像部１０４までの距離Ｌが大きい場合でも、眼球運動情報から視線座標を正確に算出することができる。
【００９９】
なお、本実施の形態の視線検出装置１００は、図１に示すように撮像部１０４を備えていなくてもよい。このとき、較正物体検出部１０５は、例えば、外部の撮像装置から得られる入力画像を取得する。また、較正部１０２及び較正パラメータ計算部１０６は、外部の撮像装置から撮像部情報を取得する。
【０１００】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１０１】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１０２】
（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１０３】
例えば、図１に示す視線検出装置１００を構成する構成要素のうち、撮像部１０４と、音声指示部１０８の音声出力機能とを除いた構成要素を１個のシステムＬＳＩから構成してもよい。
【０１０４】
（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【０１０５】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１０６】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１０７】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１０８】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０１０９】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１１０】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１１１】
本発明は、放送や通信及び蓄積の分野において、映像や音声を記録再生する機器等として有用である。また、静止画像記録再生機器等としても適用が可能である。さらに、健康医療機器としても適用が可能である。
【符号の説明】
【０１１２】
１００、２００、３００、４００  視線検出装置
１０１  眼球運動検出部
１０２、４０２  較正部
１０３  較正パラメータ更新指示部
１０４  撮像部
１０５、３０５、４０５  較正物体検出部
１０６、４０６  較正パラメータ計算部
１０７  スイッチ
１０８  音声指示部
２０９  較正物体出力部
３１０  較正物体登録部
４１０  較正物体距離計測部
【図１】
0005415948.tif 000002
【図２】
0005415948.tif 000003
【図３】
0005415948.tif 000004
【図４Ａ】
0005415948.tif 000005
【図４Ｂ】
0005415948.tif 000006
【図４Ｃ】
0005415948.tif 000007
【図４Ｄ】
0005415948.tif 000008
【図５】
0005415948.tif 000009
【図６】
0005415948.tif 000010
【図７】
0005415948.tif 000011
【図８】
0005415948.tif 000012
【図９】
0005415948.tif 000013
【図１０Ａ】
0005415948.tif 000014
【図１０Ｂ】
0005415948.tif 000015