(57)【要約】【課題】視線方向認識において、観察者の負担を軽減して視線の較正を行うことである。【解決手段】視線方向認識装置は、観察者の視野の範囲の対象物を検出する対象物検出手段と、観察者の眼球を観察しその光軸方向すなわち計算上の視線方向を検出するための眼球方向検出手段と、これらから得られるデータを処理して、視線方向を較正する視線方向認識コンピュータを含む。例えば、観察者の視野の範囲を画面６０で表すとする。画面６０において、計算上の視野の動きを矢印６６で示すと、矢印６４で示されるように、それと同じ方向、同じ量移動する自動車６２がその視線近傍にあるときは、自動車６２を経験上視線候補となる可能性が高い視線候補対象物とし、その位置と計算上の視線の位置との不一致Δ２を較正し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向とする。【選択図】図２
2005261728.tif 000002
【特許請求の範囲】
【請求項１】
観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において、
通常の観察状態のままで視線の方向を較正する較正手段を備えることを特徴とする視線方向認識装置。
【請求項２】
観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において、
観察者の視野の範囲にある視線候補対象物の位置検出手段であって、経験上視線候補となる可能性の高い視線候補対象物の位置を検出する対象物検出手段と、
観察者の眼球の光軸方向を検出する眼球方向検出手段と、
検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正手段と、
を備え、通常の観察状態のままで視線の方向を較正することを特徴とする視線方向認識装置。
【請求項３】
請求項２に記載の視線方向認識装置において、
視線候補対象物は、観察者の眼球の動きと相関のある動きを有する対象物を含むことを特徴とする視線方向認識装置。
【請求項４】
請求項２に記載の視線方向認識装置において、
視線候補対象物は、観察者が見ている表示手段の中の移動マークを含むことを特徴とする視線方向認識装置。
【請求項５】
請求項４に記載の視線方向認識装置において、
視線候補対象物は、観察者の眼球の動きと相関のある表示手段の中の移動マークとともに、観察者の注視する可能性の高い対象物を併せ用いることを特徴とする視線方向認識装置。
【請求項６】
請求項２に記載の視線方向認識装置において、
視線候補対象物は、観察者の筆記しているペン先を含むことを特徴とする視線方向認識装置。
【請求項７】
請求項６に記載の視線方向認識装置において、
視線候補対象物は、観察者の眼球の動きと相関のあるペン先とともに、観察者の注視する可能性の高い対象物を併せ用いることを特徴とする視線方向認識装置。
【請求項８】
請求項２に記載の視線方向認識装置において、
視線候補対象物は、観察者の視野の範囲にある対象物の大きさと、眼球方向検出手段により検出される観察者の眼球の光軸方向の滞留点の分布の広さとの照合に基づいて検出されることを特徴とする視線方向認識装置。
【請求項９】
請求項２に記載の視線方向認識装置において、
視線候補対象物は、観察者の視野の範囲にある人の肌色の領域の大きさと、眼球方向検出手段により検出される観察者の眼球の光軸方向の滞留点の分布の広さとの照合に基づいて検出される人の顔であることを特徴とする視線方向認識装置。
【請求項１０】
請求項２に記載の視線方向認識装置において、
眼球光軸方向に対し視線方向が較正された後に、観察者の視線方向が頻繁に滞留してよく眼が向く頻繁対象物の特徴を学習により取得する学習手段と、
頻繁対象物の学習結果に基づいて、視線候補対象物の位置を更新する更新手段と、
を備えることを特徴とする視線方向認識装置。
【請求項１１】
観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において、
観察者の視野の範囲にある視線候補対象物の位置特定手段であって、観察者の視野の範囲の中で指定される視線候補対象物の位置を特定する対象物検出手段と、
観察者の眼球の光軸方向を検出する眼球方向検出手段と、
検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正手段と、
を備え、通常の観察状態のままで視線の方向を較正することを特徴とする視線方向認識装置。
【請求項１２】
請求項１１に記載の視線方向認識装置において、
指定される視線候補対象物は、観察者の顔の向いている先の最も近い人の顔であることを特徴とする視線方向認識装置。
【請求項１３】
請求項１１に記載の視線方向認識装置において、
指定される視線候補対象物は、観察者の顔の向いている先の表示手段であることを特徴とする視線方向認識装置。
【請求項１４】
観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において実行される視線方向認識プログラムであって、
観察者の視野の範囲にある視線候補対象物の位置を検出する工程であって、経験上視線候補となる可能性の高い視線候補対象物の位置を検出する対象物検出工程と、
観察者の眼球の光軸方向を検出する眼球方向検出工程と、
検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正工程と、
を実行し、通常の観察状態のままで視線の方向を較正することを特徴とする視線方向認識プログラム。
【請求項１５】
観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において実行される視線方向認識プログラムであって、
観察者の視野の範囲にある視線候補対象物の位置を特定する工程であって、観察者の視野の中で指定される視線候補対象物の位置を特定する対象物検出工程と、
観察者の眼球の光軸方向を検出する眼球方向検出工程と、
検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正工程と、
を実行し、通常の観察状態のままで視線の方向を較正することを特徴とする視線方向認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の眼球の光軸方向を検出し、これを較正して観察者の視線の方向を求める視線方向認識装置及び視線方向認識プログラムに関する。
【背景技術】
【０００２】
従来から観察者が観察面上のどの位置を観察しているかを検出する、いわゆる視線（視軸）を検出する装置として例えばアイカメラが種々提供されている。検出された視線は、観察者の関心の対象であるので、これを利用してカメラの合焦対象を特定するのに用い、あるいは画像処理の対象を特定するのに利用することができる。
【０００３】
特許文献１には、カメラのファインダー系を介して撮影者（観察者）が観察している注視店方向の軸、いわゆる視線（視軸）を、観察者の眼球上を照明したときに得られる眼球の反射像を利用して検出する技術が開示されている。さらに、観察者の個人差により眼球の前眼部の角膜からの反射光の光軸が必ずしも瞳孔の中心位置と一致せず、眼球の反射像から求めた視線（視軸）と、実際に観察者が注視している視線（視軸）との間に誤差が生ずるのを補正する方法を開示している。
【０００４】
すなわち、視線の個人差を補正するために、観察者に位置の異なる２つの視標を見てもらい、そのときに算出される観察者の眼球の回転角に基づいて、視線を補正する。例えば、ファインダー中に２つの視標を設け、観察者が「キャリブレーションモード」を選択すると、この２つの視標が順次点滅する。観察者は、第１の視標が点滅するときはそれを注視し、第２の第１の視標が点滅するときはそちらに視線を移して注視する。このようにして、観察者に位置の異なる２つの視標を見てもらうことができ、そのときの眼球の回転角を求めることができ、視線の補正を行うことが可能になる。
【０００５】
【特許文献１】特開平６−３４８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のようにキャリブレーションモードを実行することで、観察者の視線を補正することができるが、このことは観察者に負担をかけることになる。すなわち、観察者は通常の観察状態または撮影状態等に入る前に、予めキャリブレーション作業を行う必要があり、その作業の中では、特許文献１にあるように、点滅する視標等を指示に従って注視しなければならない。また。キャリブレーションがうまくいかないときや、前のキャリブレーションにおける値と異なるときは、さらに念入りにキャリブレーションを行うことになる。
【０００７】
このように従来技術においては、視線の補正、較正につき、観察者に特別のキャリブレーション作業を行わせるので、観察者にとり負担をかけ、不便である。
【０００８】
本発明の目的は、かかる従来技術の課題を解決し、観察者の負担を軽減して視線の較正を行うことを可能とする視線方向認識装置及び視線方向認識プログラムを提供することである。
【課題を解決するための手段】
【０００９】
１．本発明の原理
本発明は、キャリブレーション工程をより簡単に行えるようにし、観察者にキャリブレーションが行われていることをほとんど意識させることなくすることを目指している。そして、観察者の視線がどこを向いているかは、観察者の顔や目の動きと、その顔や目がどちらを向いているかを見れば判断できる、という経験的な事実を利用しようというものである。例えば、観察者の顔が右から左に動き、その視線の先を追ってゆくと、ちょうど車が右から左へ動いているところである、とすれば、経験上、観察者はその車を見ている。すなわち、観察者の視線方向は、その車にあることがわかる。また、ある人がペンで筆記をしていれば、その人の視線はペン先にあることは経験上ほとんど間違いのないことである。すなわち、このとき観察者の視線方向はペン先にある。
【００１０】
このように、観察者が何を見ようとしているかは、観察者を取り巻く観察環境を考慮することで、経験上判断がつくことが多い。そして、経験上の視線候補対象物の近傍に観察者の視線が行っていれば、その視線候補対象物に向かって観察者の視線があるものとし、観察者の実際の眼球の反射像を観察することで得られる視線方向がこれと異なっているときに、これを較正することができる。このようにすることで、観察者に対し、通常の観察状態のままで視線の較正を行うことができ、特別なキャリブレーション作業を観察者に要求しなくてもすむ。本発明は、上記の考えに基づくことを特徴とする。
【００１１】
２．課題解決手段
上記目的を達成するため、本発明に係る視線方向認識装置は、観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において、通常の観察状態のままで視線の方向を較正する較正手段を備えることを特徴とする。
【００１２】
また、本発明に係る視線方向認識装置は、観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において、観察者の視野の範囲にある視線候補対象物の位置検出手段であって、経験上視線候補となる可能性の高い視線候補対象物の位置を検出する対象物検出手段と、観察者の眼球の光軸方向を検出する眼球方向検出手段と、検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正手段と、を備え、通常の観察状態のままで視線の方向を較正することを特徴とする。
【００１３】
また、視線候補対象物は、観察者の眼球の動きと相関のある動きを有する対象物を含むことが好ましい。また、視線候補対象物は、観察者が見ている表示手段の中の移動マークを含むことが好ましい。また、視線候補対象物は、観察者の眼球の動きと相関のある表示手段の中の移動マークとともに、観察者の注視する可能性の高い対象物を併せ用いることが好ましい。また、視線候補対象物は、観察者の筆記しているペン先を含むことが好ましい。また、視線候補対象物は、観察者の眼球の動きと相関のあるペン先とともに、観察者の注視する可能性の高い対象物を併せ用いることが好ましい。
【００１４】
また、視線候補対象物は、観察者の視野の範囲にある対象物の大きさと、眼球方向検出手段により検出される観察者の眼球の光軸方向の滞留点の分布の広さとの照合に基づいて検出されることが好ましい。
【００１５】
また、視線候補対象物は、観察者の視野の範囲にある人の肌色の領域の大きさと、眼球方向検出手段により検出される観察者の眼球の光軸方向の滞留点の分布の広さとの照合に基づいて検出される人の顔であることが好ましい。
【００１６】
また、本発明に係る視線方向認識装置において、眼球光軸方向に対し視線方向が較正された後に、観察者の視線方向が頻繁に滞留してよく眼が向く頻繁対象物の特徴を学習により取得する学習手段と、頻繁対象物の学習結果に基づいて、視線候補対象物の位置を更新する更新手段と、を備えることが好ましい。
【００１７】
また、本発明に係る視線方向認識装置は、観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において、観察者の視野の範囲にある視線候補対象物の位置特定手段であって、観察者の視野の範囲の中で指定される視線候補対象物の位置を特定する対象物検出手段と、観察者の眼球の光軸方向を検出する眼球方向検出手段と、検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正手段と、を備え、通常の観察状態のままで視線の方向を較正することを特徴とする。
【００１８】
また、指定される視線候補対象物は、観察者の顔の向いている先の最も近い人の顔であることが好ましい。また、指定される視線候補対象物は、観察者の顔の向いている先の表示手段であることが好ましい。
【００１９】
また、本発明に係る視線方向認識プログラムは、観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において実行される視線方向認識プログラムであって、観察者の視野の範囲にある視線候補対象物の位置を検出する工程であって、経験上視線候補となる可能性の高い視線候補対象物の位置を検出する対象物検出工程と、観察者の眼球の光軸方向を検出する眼球方向検出工程と、検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正工程と、を実行し、通常の観察状態のままで視線の方向を較正することを特徴とする。
【００２０】
また、本発明に係る視線方向認識プログラムは、観察者の眼球の光軸方向を検出して観察者の視線の方向を求める視線方向認識装置において実行される視線方向認識プログラムであって、観察者の視野の範囲にある視線候補対象物の位置を特定する工程であって、観察者の視野の中で指定される視線候補対象物の位置を特定する対象物検出工程と、観察者の眼球の光軸方向を検出する眼球方向検出工程と、検出された眼球光軸方向に対し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正を行う較正工程と、を実行し、通常の観察状態のままで視線の方向を較正することを特徴とする。
【発明の効果】
【００２１】
上記構成の少なくとも１つにより、観察者の視野の範囲で、経験上視線候補となる可能性の高い視線候補対象物の位置を検出し、観察者の眼球の光軸方向と比較し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正し、通常の観察状態のままで視線較正が行われる。ここで、観察者の眼球の光軸方向とは、光源から平行光束を眼球の前眼部に投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置から求まる計算上の視線（視軸）方向である。したがって、観察者の通常の観察状態を利用し、観察者の視野の範囲に、経験上視線候補となる可能性の高い視線候補物があるときは、観察者はそれを見ているものとして視線の較正を行うことができる。このように、キャリブレーションが行われていることを観察者にほとんど意識させることがなく、観察者の負担が少ない。
【００２２】
上記構成の少なくとも１つにより、視線候補対象物を、観察者の眼球の動きと相関のある動きをするものとできる。例えば、観察者の筆記しているペン先である。例えば、観察者が見ている表示手段中の移動マークである。また、これらとともに他の対象物、例えば動きのないものでも観察者の注視している可能性の高い対象物を併せて用いることができる。視線候補対象物を、観察者の注視している可能性のあるものの中で複数用いることで、視線方向の較正をより正確に行うことができる。
【００２３】
上記構成の少なくとも１つにより、観察者の視野の範囲にある対象物の大きさと観察者の眼球の光軸方向、すなわち計算上の視線（視軸）の滞留点の分布の広さとの照合に基づいて視線候補対象物を検出する。観察者の視線は、対象物の大きさの範囲で分布を有するものであるから、その視線方向の分布の大きさに対応する対象物が観察者の視野の範囲にあるときは、観察者はそれを見ているものとして視線の較正を行うことができる。この場合には、動きのない対象物でも視線候補対象物としてその位置を検出できる。
【００２４】
上記構成の少なくとも１つにより、観察者の視野の範囲にある人の肌色の領域の大きさと、観察者の計算上の視線（視軸）の滞留点の分布の広さとの照合に基づいて視線候補対象物を検出する。例えば、観察者が相手の人の顔を見ているとしても、人の顔の特徴は千差万別であるので、その特徴を手がかりとして視線候補対象物の位置を検出するのは困難が多い。そこで、人の肌色を検出することにすれば、容易に人の顔の位置を検出することが可能となる。つまり、人の肌色の領域が観察者の視野の範囲にあるときは、観察者はそれを見ているものとして視線の較正を行うことができる。この場合には、動きのない人の顔でも視線候補対象物としてその位置を検出できる。
【００２５】
上記構成の少なくとも１つにより、視線方向が較正され、視線方向の精度が確保されている状態で、観察者のよく目が向く頻繁対象物についてその特徴を学習する。そして、その学習の結果に基づき、視線候補対象物の位置を更新する。このように頻繁対象物を利用することで、視線方向の較正の精度の経時変化を補正することができ、視線方向の較正をより正確に行うことができる。
【００２６】
また、上記構成の少なくとも１つにより、観察者の視野の範囲で指定される視線候補対象物の位置を検出し、観察者の眼球の光軸方向と比較し、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として較正し、通常の観察状態のままで視線較正が行われる。指定は、観察者を取り巻く観察環境から予め定めておいてもよく、事後的に画面の分析から観察者が見ている可能性の高い対象物を特定して指定してもよい。したがって、観察者の通常の観察状態を利用し、観察者の視野の範囲に、経験上視線候補となる可能性の高い視線候補物があるときは、観察者はそれを見ているものとして視線の較正を行うことができる。このように、キャリブレーションが行われていることを観察者にほとんど意識させることがなく、観察者の負担が少ない。
【００２７】
上記構成の少なくとも１つにより、視線候補対象物を、観察者の顔の向いている先の最も近い人の顔とできる。また、視線候補対象物を、観察者の顔の向いている先の表示手段とできる。
【００２８】
以上のように、本発明に係る視線方向認識装置及び視線方向認識プログラムによれば、観察者の通常の観察状態を利用して視線の較正を行うので、観察者の負担を軽減することができる。
【発明を実施するための最良の形態】
【００２９】
以下に図面を用い、本発明に係る実施の形態につき詳細に説明する。以下において、眼球の光軸方向を検出する眼球カメラと、観察者の視野を撮像する撮像カメラについては、ともに所定の位置関係の下で観察者の頭部に取り付けられるものとし、あるいは全方位カメラにより実現されるものとして説明するが、それ以外の構成、配置であってもよい。例えば、カメラのファインダー系のように、それ自体で観察者の視野を示し、これに眼球の光軸方向を検出するシステムを組み合わせてもよい。また、眼球カメラと撮像カメラとは、相互位置関係が予め明確であれば、別々の場所に設置されてもよい。
【００３０】
図１は、視線方向認識装置１０を用いて、観察者２の視線方向の較正を行うときの様子を示すもので、視線方向認識装置１０のブロック図が示されている。視線方向認識装置１０は、観察者２の頭部に所定の位置関係で取り付けられる眼球カメラ１２と撮像カメラ１４、および視線方向認識コンピュータ２０とを含んで構成される。図１において、観察者２は頭部に眼球カメラ１２、撮像カメラ１４を乗せているが、それ以外は通常の観察状態におかれ、自由に自分の意志で行動できる。図１の例では、目の前にある掲示板６にある展示物を見ている。
【００３１】
眼球カメラ１２は、眼球を３次元的に観察し、眼球の光軸方向を求めるための光学装置である。かかる眼球カメラ１２としては、例えば特許文献１に開示されているものを用いることができる。すなわち、眼球の前眼部に平行光束を投射する光源と、角膜からの反射光による角膜反射像及び瞳孔の結像位置を捉える光学系を有する。眼球カメラ１２により検出された角膜反射像及び瞳孔の結像位置のデータは、視線方向認識コンピュータ２０に送られ、眼球の光軸方向、すなわち計算上の視線方向が求められる。図１では、観察者２の眼球４から掲示板６上の位置に向かう計算上の視線方向１６が示されている。
【００３２】
撮像カメラ１４は、観察者の視野を撮像するカメラで、例えば、市販のＣＣＤカメラ等で構成することができる。観察者２の視野は、観察者２が頭部を動かすことで変化するので、頭部に固定されるのが望ましいが、観察者２の頭部、特に眼球４の位置の変化を検出し、それに応じて撮像範囲を変えることができれば、必ずしも頭部に固定されなくてもよい。また、眼球カメラ１２による計算上の視線方向１６を観察者の視野と対応付けるため、撮像カメラ１４と眼球カメラ１２との相対的な位置関係が予め明らかにされている必要がある。図１では、撮像カメラ１４と眼球カメラ１２とが所定の位置関係に固定されて配置される。また、撮像カメラ１４の撮像方向および範囲が、観察者の視野の範囲と大体一致するように、撮像カメラ１４を調整することが望ましい。調整は、撮像カメラ１４内部の電気的操作で行うことができ、また頭部への取り付け位置を変えてもよい。図１には、撮像カメラ１４により撮像される範囲を観察者２の視野の範囲１８として示してある。
【００３３】
視線方向認識コンピュータ２０は、ＣＰＵ２２と、眼球カメラ１２と信号の交信を行う眼球カメラＩ／Ｆ（２４）と、撮像カメラ１４と信号の交信を行う撮像カメラＩ／Ｆ（２６）と、キーボード等の入力部２８、ディスプレイ等の出力部３０、プログラム等を格納する記憶装置３２を含み、これらは内部バスで相互に接続される。また、外部のネットワークに接続する通信制御機能を有してもよい。かかる視線方向認識コンピュータ２０は、記憶装置を有する一般的なコンピュータ等で構成することができる。
【００３４】
ＣＰＵ２２は、眼球カメラ１２より受け取るデータに基づき眼球の光軸方向、つまり計算上の視線方向１６を求める機能を有する眼球方向検出部４０、撮像カメラ１４から受け取るデータに基づき、観察者２の視野の範囲１８において視線候補対象物の位置を求める機能を有する対象物検出部４２、計算上の視線方向と視線候補対象物の位置とが一致していないときに視線方向を構成する機能を有する較正部４８を含む。これらの機能はソフトウエアによって実現することができ、具体的には、対応する視線方向に認識プログラムを実行することで実現できる。また、各機能の一部をハードウエアで実現するように構成してもよい。
【００３５】
眼球カメラＩ／Ｆ（２４）は、眼球カメラと信号の交信を行うためのインタフェース回路である。例えばデータのシリアル受送信又はパラレル送受信を行うための回路で構成することができる。同様に、撮像カメラＩ／Ｆ（２６）は、撮像カメラ１４と信号の交信を行うためのインタフェース回路である。
【００３６】
視線方向認識コンピュータ２０の作用、特にＣＰＵ２２の各機能につき、以下に具体的な視線方向認識の手順に基づいて説明する。なお、符号は図１に示すものを用いる。最初に、観察者２は、眼球カメラ１２と撮像カメラ１４とを頭部にセットする。セットは、眼球カメラ１２の光源が前眼部を照射するようにし、撮像カメラ１４の撮像範囲が観察者の視野の範囲と大体一致するようにする。観察者２の行うことはここまでで、以後は、視線方向認識装置１０が自動的に手順を進める。
【００３７】
まず、ＣＰＵ２２の眼球方向検出部４０の機能により、観察者２の眼球４の光軸方向、すなわち計算上の視線方向を求める（眼球方向検出工程）。具体的には、眼球方向検出部４０が眼球カメラ１２に指示し、上記のように、眼球カメラ１２に内蔵される光源から平行光束を眼球４の前眼部に照射し、光学系により角膜反射像と瞳孔結像位置とを撮像させる。撮像されたデータは、眼球カメラＩ／Ｆ（２４）を介して送信される。眼球方向検出部４０は、送信された撮像データを処理して公知の眼球方向算出演算により、眼球４の形状の向いている方向からその光軸方向を算出し、これを計算上の視線方向とする。
【００３８】
また、対象物検出部４２の視野撮像モジュール４４の機能により、観察者２の視野を撮像する（視野撮像工程）。具体的には、視野撮像モジュール４４が撮像カメラ１４にその視野を撮像するように指示する。撮像されたデータは、撮像カメラＩ／Ｆ（２６）を介して送信される。視野撮像モジュール４４は、これを観察者２の視野の範囲１８として取得する。
【００３９】
そして、観察者２の視野の範囲１８において、視線候補対象物の位置を検出する（対象物検出工程）。ここで視線候補対象物とは、観察者２の視野の範囲１８の中にある対象物で、かつ、予め定められ経験上視線候補となる可能性の高い対象物のことである。
【００４０】
視線候補対象物としては、観察者の眼球の動きと相関のある動きを有する対象物が上げられる。図２は、自動車６２が視線候補対象物となることを説明する図である。図２では、観察者の視野の範囲を撮像した画面６０が示され、その視野の中で、いま１台の自動車６２が坂を登ってゆく。その自動車６２の動きを矢印６４で示す。一方、眼球カメラ１２を用いて求められる眼球の計算上の視線についてその動きを矢印６６で示す。この例では、眼球の計算上の視線の位置は、自動車６２の上にない。しかし、矢印６６の動きの方向もその量も、矢印６４の動きの方向とその量とほぼ一致している。このような場合、経験上から、観察者２は、自動車６２の動きを目で追っている、とすることができる。
【００４１】
なお、図２では、視野の範囲は静止しているように記載されている。観察者の顔向きが動いた場合には、必ずしも静止画とならない場合も想定されるが、計算上の視線方向と、視線候補対象物の相対的な動きは不変であるため、静止画を用いて説明する。以下の図４−図１０においても同様である。
【００４２】
このように、観察者２の視野の範囲１８に、観察者２の眼球４の動きと相関のある動きを有する物があるときは、それを視線候補対象物とすることができる。具体的に、眼球の動きと相関のある対象物を抽出するには、任意の時間間隔を置いた２つの画像データを減算する方法を用いることができる。すなわち、動きがあれば、位置が変化し、２画像データ間の減算によって消去されずに残るからである。例えば、眼球の動きが画面６０上で換算して５ｃｍ／ｓｅｃとして、１秒の間隔をおいて撮像した２画像データを減算し、消去されずに残った像の中で、眼球の動きと最も相関が高い物体を検出すればよい。いまの場合、５ｃｍの距離移動した物体を検出すればよい。こうして、自動車６２が視線候補対象物として特定でき、画面６０の上でその位置が求められる。
【００４３】
観察者の眼球の動きと相関のある動きを有する視線候補対象物としては、他に観察者の筆記しているペン先、観察者が見ているディスプレイ画面上で移動するカーソル、観察者が見ている表示手段の移動マーク等があげられる。
【００４４】
図３は、観察者２がペン７０を用いて、ペン先７２でシート上に筆記している様子を示す図である。図１と同様の要素には同一の符号を付してある。図４は、この場合における観察者の視野の範囲を撮像した画面８０が示されている。その視野の中で、ペン先７２の動きを矢印８４で示す。眼球４の計算上の視線についての動きは矢印８６で示される。この場合でも、眼球の計算上の視線の位置は、ペン先７２の上にない。しかし、矢印８６の動きの方向もその量も、矢印８４の動きの方向とその量とほぼ一致している。このような場合、経験上から、観察者２は、ペン先７２の動きを目で追っている、とすることができる。こうして、ペン先７２が視線候補対象物として特定でき、画面６０の上でその位置が求められる。
【００４５】
再び視線方向認識の手順にもどり、眼球方向が検出され、視線候補対象物の位置が検出されると、較正部４８の機能により、視線の較正が行われる（視線較正工程）。なお、視線較正工程の前であれば、眼球位置検出工程と対象物検出工程の順序はいずれが先であってもよい。較正工程においては、較正部４８により、観察者の視野の範囲についての画面において、眼球４の計算上の視線の位置と、視線候補対象物の位置とが重畳され、その間の一致、不一致が判断される。画像データ上の一致不一致は、データの減算等の方法で判断することができる。
【００４６】
そして、不一致があるときは、観察者の眼球から視線候補対象物の位置に向かう方向を視線方向として、計算上の視線方向を較正する。図２では、画面６０の上で視線の位置の差はΔ２だけある。このΔ２に相当する眼球４の回転角が較正量となる。同様に、図４において、Δ４に相当する眼球４の回転角が較正量となる。こうして、観察者２の通常の観察状態のまま、視線方向の較正を行うことができる。なお、プログラム上の処理としては、一致不一致を判断することなく、単にΔ＝０とする演算を行うものとして簡単化することができる。
【００４７】
図５、図６は、視線方向の較正が行われる様子を模式的に示す図である。図５は視線方向の較正が行われる前の画面９０，１００を示し、図６は視線方向の較正が行われた後の画面９１，１０１を示す。それぞれの図で、（ａ）は時刻ｔのときの画像、（ｂ）は時刻ｔ＋Δｔのときの画像である。それぞれの画面において、観察者の視野の範囲に、自動車と、２本の木があることが示されている。ここで、観察者の眼球の光軸方向、すなわち計算上の視線がどこにあるかを同じ画面上に示すと、時刻ｔのときに視線範囲９４にあり、時刻ｔ＋Δｔのときに視線範囲１０４にある。この視線範囲９４から視線範囲１０４への動きは、自動車について、時刻ｔのときの像の範囲９２が、時刻ｔ＋Δｔのときに像の範囲１０２に動くのと対応している。これに対し、２本の木は、動きがなく、視線範囲９２，１０２の動きと対応していない。
【００４８】
視線範囲９４，１０４は、自動車の像の範囲９２，１０２と一致していないが、その動きと相関が高い。すなわち、自動車の像の範囲９２，１０２は、視野の中で動きがあり、視線の動きと相関の高いものである。また、観察者の視野の範囲にある他の対象物である２本の木との間にはこのような相関がない。したがって、上記のように、自動車を視線候補対象物とすることができる。図６は、自動車の像の範囲９２，１０２と、視線範囲９４，１０４との相関を求め、それに基づき視線方向を較正した後の視線範囲９５，１０５を示す図である。このように、視線方向の較正を行うことで、視線範囲９５，１０５を自動車の像の範囲９２，１０２とほぼ一致させることができる。
【００４９】
上記の例は、視線候補対象物は、観察者の眼球の動きと相関のあるものである。つまり、視線候補対象物は動くものである。動かない対象物であっても、以下のようにすることで、観察者の注視する可能性の高いものを視線候補対象物とすることができる。
【００５０】
図５、図６で説明したように、対象物がある大きさを有するときは、観察者の視線の方向も一点ではなくて一定の広がりをもって滞留し、分布を有することが多い。そこで、観察者の視野の範囲にある対象物の大きさと、観察者の計算上の視線における滞留点の分布の広さとを照合し、それに基づいて視線候補対象物を特定し、その位置を検出することができる。すなわち、視線分布の広さに対応する対象物が観察者の視野の範囲にあるときは、観察者はそれを見ているものとして、これを視線候補対象物とする。以下では、観察者の計算上の視線における滞留点の分布を視線範囲として説明する。
【００５１】
図７は、視線範囲の分布の広がりと対象物の大きさとの照合により視線対象物を特定し、その位置を検出し、視線方向の較正を行う様子を説明する図である。図７（ａ）は較正前の観察者の視野を示す図で、４人の人１１０，１１２，１１４，１１６が、それぞれカード１２０，１２２，１２４，１２６を右手に掲げている様子が示される。このときの観察者の計算上の視線における分布である視線範囲１３０は、８箇所にある。ここで、例えば一番左側の視線範囲に注目して、その分布の広さに対応する大きさを有する対象物を画像処理により自動照合すると、いくつかの候補が出る。それらについてそれぞれ視線方向を較正したときに、残りの７つの視線範囲が、その分布の広がりに対応する大きさの対象物と対応付けられるか判定する。８つの視線範囲１３０が、それぞれの分布の広がりに対応する大きさの対象物に対応付けられれば、観察者はそれらを見ているものとすることができる。
【００５２】
図７（ｂ）は、そのようにして、図７に示す矢印のように視線方向を較正した場合の視線範囲１３１を示す図である。このように、８つの視線範囲の分布の広がりは、それぞれ、４人の人１１０，１１２，１１４，１１６の顔と、４枚のカード１２０，１２２，１２４，１２６の大きさに対応付けられている。したがって、視線候補対象物はこれら４人の人の顔と、４枚のカードであり、視線方向の較正は、図７の矢印で示すものとなる。
【００５３】
このように、視線範囲の分布の広がりと対象物の大きさとの照合により視線対象物を特定し、その位置を検出し、視線方向の較正を行うことができる。視線範囲の分布を求めるにはある程度の時間が必要であるが、図２、図４、図５−６で説明した動きのある対象物に比べ、はるかに短い時間で行うことも可能である。したがって、動かない対象物であっても、視線候補対象物として特定し、その位置を検出することができる。また、視線範囲の分布の広がりと対象物の大きさとの照合には、視線範囲の面積と対象物の面積の照合のように量的な照合のほかに、それぞれの形状の間の照合を用いることができる。量の照合と形状の照合とを組み合わせることもできる。
【００５４】
また、観察者の視野の範囲にある人の肌色の領域の大きさと、観察者の計算上の視線の滞留点の分布の広さとの照合に基づいて人の顔を視線候補対象物として特定できる。一般的に、人の顔の特徴は千差万別であるので、その特徴を手がかりとして画像処理により自動的に人の顔の位置を検出するのは困難が多い。そこで、人の肌色を検出することにすれば、容易に人の顔の位置を検出することが可能となる。
【００５５】
図８は、人の肌色の領域の大きさと、観察者の視線範囲の分布の広がりとの照合により人の顔を視線候補対象物として特定する様子を示す図である。図８では、観察者の視野の範囲における人の肌色の領域１４０，１４２，１４４が模式的に示されている。また、観察者の視線範囲１５０，１５２，１５４は、このように３つあり、いずれも人の肌色の領域１４０，１４２，１４４と一致していないが、その近傍にあり、しかもその分布の広がりは、人の肌色の領域１４０，１４２，１４４に相関がある。したがって、人の肌色の領域１４０，１４２，１４４を視線候補対象物として、それらと視線範囲１５０，１５２，１５４との相関を求めることで、視線方向の較正を行うことができる。
【００５６】
このように、視線範囲の分布の広がりと人の肌色の領域の大きさとの照合により視線対象物を特定し、その位置を検出し、視線方向の較正を行うことができる。人の肌色の領域の検出は、画像処理により自動的に行うことができ、しかも時間経過を必要とせず瞬時に検出等を行うことができる。したがって、動かない人の顔であっても、視線候補対象物として特定し、その位置を検出することができる。
【００５７】
この他に、観察者の視野の範囲において視覚的な特徴点が検出できるときは、これを視線候補対象物とすることができる。例えば、パターンの特徴的な縁、エッジ、角等の形状の特徴点や、コントラスト、明度差、色相差等が大きいところ等を検出し、これを観察者の注視する可能性の高いものとして視線候補対象物とすることができる。
【００５８】
また、視線候補対象物の特定、その位置の検出及びそれに引き続く視線方向の較正は、複数の視線候補対象物に基づいて行うことができる。例えば、図７、図８の例では、複数の視線候補対象物を用い、それらと、複数の視線範囲との総合的な相関を用いて視線方向の較正を行っている。また、視線候補対象物の特定の方法も複数の異なる方法を併用することができる。例えば、図２、図４、図５−６で説明した動きのある対象物についての視線候補対象物の検出方法と、図７、図８等で説明した動きを伴わなくても検出できる視線候補対象物の検出方法とを併用して用いることができる。このように、複数の視線候補対象物、複数の検出方法を適宜組み合わせることで、視線方向の較正の精度をより一層向上させることができる。
【００５９】
また、視線方向の較正の経時変化に対応するため、学習手段を用いることができる。経時変化が問題になる程度の時間経過の間では、観察者が頻繁に見る、すなわち、よく目の向くものがある場合が多い。この頻繁に視線が滞留する頻繁対象物の特徴を認識し、視線候補対象物の位置を更新する。この場合、頻繁対象物を正確に捕らえなくては視線方向の較正を行うことができないので、何らかの方法で、視線方向の精度が確保されている間に、頻繁対象物の特徴を学習し、これに基づいて経時変化の補正を行う。視線方向の精度を確保する何らかの方法としては、上記で説明した実施の形態における視線方向の較正を用いることができ、また、他の方法で視線方向の較正を行ってもよい。いずれにせよ、視線方向が較正された後に、頻繁対象物の特徴を学習により取得し、その学習結果に基づいて視線候補対象物の位置を適宜更新することができる。
【００６０】
上記においては、観察者の眼球の動きの方向や量、視線範囲の大きさや形状、対象物の色等に基づき、画像処理技術等を用いて、自動的に視線候補対象物を特定し、視線方向の較正も自動で行うことが可能である。また、これらに含まれない静的な対象物についても、観察環境によって視線候補対象物を経験上特定できるときは、これを画面上で指定することで、その位置を検出し、それに基づいて視線方向の較正を行うことができる。
【００６１】
このような観察環境によって視線候補対象物を特定できるものとしては、例えば観察者の顔の向いている先の最も近い人の顔、観察者の顔の向いている先の掲示板、表示手段等があげられる。
【００６２】
図９は、観察者が会議室等にいる場合において、その視野の範囲を撮像した画面１６０を示すものである。観察者の視野には、壁にかかった絵画１６２や、観察者の顔の先にある相手の顔１６４等がある。観察者の眼球の計算上の視野の位置１６６は絵画１６２からは遠く離れ、また、相手の顔１６４とも一致していない。しかし、観察者の眼球の計算上の視線の近傍１６８の中には相手の顔１６４が一部含まれる。ここで視線の近傍とは、例えば視野角を３０度として、その範囲なら観察者は見ているといえる可能性が高いと見られる範囲である。このように、画面１６０からは、観察者は、絵画１６２よりは相手の顔１６４を見ている可能性が高い。そこで、画面１６０の上で、相手の顔１６４を視線候補対象物として指定し、その位置と計算上の視線の位置１６６との不一致を較正することができる。なお、視線候補対象物の指定を画像上で行うことができるが、画像上でなくても、観察者の視野の範囲の中であれば、他の特定手段等によって指定してもよい。
【００６３】
このように、観察者の視野の範囲の中で、観察者の眼球の計算上の視線の位置を求め、そこに経験上視線候補になる対象物がないときは、視線近傍の領域を順次拡大し、視線近傍領域に最初に入ってくる視線候補になる対象物を視線候補対象物とできる。視線近傍領域の拡大は、例えば視野角を０度から５度刻みに順次大きくしてゆくこと等で実現できる。
【００６４】
図１０は、観察者の視野の範囲を撮像した画面１７０において、掲示板１７２と、説明に用いるサンプル１７４と２つの視線候補となる対象物がある場合である。この例では、観察者の眼球の計算上の視線の位置１７６は、掲示板１７２にもサンプル１７４にも一致していない。しかし、視線の近傍１７８を順次拡大してゆくと、先にサンプル１７４がその範囲に含まれる。したがって、サンプル１７４を視線候補対象として指定し、これに基づき視線の較正を行うことができる。このように、観察者の視野の範囲に、視線候補が複数あるときに、視線の近傍を順次拡大し、先に視線近傍に含まれるものを視線候補対象物として指定することができる。
【００６５】
視線候補対象物の指定は、観察環境により予め少数に絞れるときは、これを対象物検出部４２に与え、上記のように視線近傍順次拡大の方法で自動的に視線候補対象物を指定できる。例えば、（最も近いところの人物の顔、掲示板、サンプル）を候補として与える等である。また、予め視線候補となるものを絞れないときは、事後的に画面をユーザが見て、経験上視線候補対象物と判断できるものを指定することもできる。こうして視線候補対象物が指定されると、それを対象物検出部４２が取得し、その位置が検出され、それに基づいて視線方向の較正が自動的に行われる。
【００６６】
なお、上記の視線候補対象物の指定に関して、観察者の視線の位置は１点であるとして説明したが、上述のように、観察者の視線は分布の広がりを有する視線範囲であるとして、視線範囲の照合を用いることができる。また、視線候補対象物を自動で検出する方法と、視線候補対象物を指定する方法とを組み合わせて、視線方向の較正を行うこともできる。
【００６７】
上記において、眼球カメラと撮像カメラは、観察者の頭部に取り付けられるものとして説明した。観察者の眼球の光軸の検出及び観察者の視野の範囲の撮像は、図１１に示すように、全方位カメラ１８０を用いて行うこともできる。図１１は、観察者２とその眼球４、掲示板６、全方位カメラ１８０の位置関係を平面図で示したものである。全方位カメラ１８０は、所定の撮像範囲角度を有し、図１１に示す矢印方向に３６０度回転走査する。すなわち撮像範囲１８２において、観察者２の頭部および眼球４を撮像し、そのデータから図示されていない画像処理解析手段により、観察者２の視野方向と、眼球４の光軸方向、すなわち計算上の視線方向１６を算出する。そして、観察者２の視野方向にある掲示板６を撮像範囲１８４等で撮像し、これを観察者２の視野の範囲のデータとすることができる。全方位カメラ１８０を用いることで、観察者２の負荷をさらに少なくすることができる。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態における視線方向認識装置のブロック図である。
【図２】本発明の実施の形態において、視線候補対象物と、視線方向の較正の説明のための図である。
【図３】本発明の実施の形態において、観察者がペンでシート上に筆記しているときの視線候補対象物について説明する図である。
【図４】図３の場合における視線候補対象物と、視線方向の較正の説明のための図である。
【図５】本発明の実施の形態において、視線方向の較正が行われる様子を模式的に示す図である。
【図６】本発明の実施の形態において、視線方向の較正が行われる様子を模式的に示す図である。
【図７】本発明の実施の形態において、視線範囲の分布の広がりと対象物の大きさとの照合に基づいて視線方向の較正を行う様子を説明する図である。
【図８】本発明の実施の形態において、人の肌色の領域の大きさと、観察者の視線範囲の分布の広がりとの照合により人の顔を視線候補対象物として特定する様子を示す図である。
【図９】本発明の実施の形態において、観察者が会議室等にいる場合のその視野の範囲の画像についての視線候補対象物の説明のための図である。
【図１０】本発明の実施の形態において、２つの視線候補となる対象物がある場合の説明図である。
【図１１】本発明の実施の形態において、全方位カメラを用いるときの平面図である。
【符号の説明】
【００６９】
２  観察者、４  眼球、６，１７２  掲示板、１０  視線方向認識装置、１２  眼球カメラ、１４  撮像カメラ、１６  計算上の視線方向（眼球光軸方向）、１８  視野の範囲、２０  視線方向認識コンピュータ、２２  ＣＰＵ、４０  眼球方向検出部、４２  対象物検出部、４４  視野撮像モジュール、４６  視線候補対象物特定モジュール、４８  較正部、６０，８０，９０，９１，１００，１０１，１６０，１７０  視野の範囲の画面、６４，６６，８４，８６  動きを示す矢印、９２，１０２  像の範囲、９４，９５，１０４，１０５，１３０，１５０，１５２，１５４  視線範囲、１１０，１１２，１１４，１１６  人、１２０，１２２，１２４，１２６  カード、１４０，１４２，１４４  人の肌色の領域、１６６，１７６  視線の位置、１６８，１７８  視線の近傍、１８０  全方位カメラ。
【図１】
2005261728.tif 000003
【図２】
2005261728.tif 000004
【図３】
2005261728.tif 000005
【図４】
2005261728.tif 000006
【図５】
2005261728.tif 000007
【図６】
2005261728.tif 000008
【図７】
2005261728.tif 000009
【図８】
2005261728.tif 000010
【図９】
2005261728.tif 000011
【図１０】
2005261728.tif 000012
【図１１】
2005261728.tif 000013