(57)【要約】【課題】１つのカメラより撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の推定装置を提供する。【解決手段】視線方向の検出装置において、相対関係特定部５６１４は、人間が単眼カメラ３０を見ている状態で単眼カメラ３０により撮影された校正用画像を予め取得し、顔領域内の複数の特徴点間の相対的な３次元の位置関係を特定する。眼球中心推定部５６１６は、単眼カメラ３０により撮影された対象画像領域内において複数の特徴点の投影位置を検出し、特定された相対的な３次元の位置関係に基づいて、人間の眼球中心の投影位置を推定する。視線方向推定部５６１８は、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線方向を推定する。【選択図】図４
2011090702.tif 000002
【特許請求の範囲】
【請求項１】
人間の顔領域を含む画像を獲得するための撮影手段と、
前記撮影手段により撮影された前記人間の顔領域を含む画像から顔の位置・姿勢の基準位置・姿勢に対する相対的な変化を特定する相対関係特定手段と、
特定された前記顔の位置・姿勢の相対的な変化に基づいて、前記人間の眼球中心位置を推定する眼球中心推定手段と、
前記画像領域内において、虹彩を抽出し虹彩中心位置を抽出する虹彩中心抽出手段と、
抽出された前記虹彩中心位置と推定された前記眼球中心位置とに基づいて、視線方向を推定する視線推定手段とを備える、視線方向の推定装置。
【請求項２】
前記撮影手段は、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための単眼の撮影手段である、請求項１に記載の視線方向の推定装置。
【請求項３】
前記相対関係特定手段は、前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された校正用画像を予め取得し、前記顔領域内の複数の特徴点間の相対的な３次元の位置関係として顔の位置・姿勢の相対的な変化を特定し、
前記眼球中心推定手段は、前記撮影手段により撮影された前記人間の顔領域を含む対象画像領域内において前記複数の特徴点の投影位置を検出し、特定された前記相対的な３次元の位置関係に基づいて、前記人間の眼球中心の投影位置を推定する、請求項１記載の視線方向の推定装置。
【請求項４】
前記相対関係特定手段は、
複数の前記校正用画像内の前記複数の特徴点の投影位置を抽出し、前記複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、
前記計測行列を因子分解により、前記撮影手段の姿勢に関する情報を要素とする撮影姿勢行列と、前記複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む、請求項３記載の視線方向の推定装置。
【請求項５】
前記眼球中心推定手段は、
撮影された画像フレーム内において観測された前記特徴点と前記校正用画像における特徴点との対応付けを行なう特徴点特定手段と、
前記撮影された画像フレーム内において観測された前記特徴点についての前記相対位置関係行列の部分行列と、前記観測された特徴点とから前記眼球中心の投影位置を推定する、請求項４記載の視線方向の推定装置。
【請求項６】
前記相対関係特定手段は、前記撮影手段により撮影された校正用画像を予め取得し、前記校正用画像を正規化した上で、前記顔領域内の複数の特徴点間の相対的な３次元の位置関係として顔の位置・姿勢の相対的な変化を特定し、
前記眼球中心推定手段は、前記撮影手段により撮影された前記人間の顔領域を含む対象画像領域内において、撮影された画像内の虹彩の領域と、顔座標系内で仮定した眼球中心位置および眼球半径を用いて算出され投影された虹彩のモデル領域と照合することで、前記人間の眼球中心の投影位置を推定する、請求項１記載の視線方向の推定装置。
【請求項７】
前記相対関係特定手段は、前記撮影手段により撮影された画像を正規化した上で、前記顔領域内の複数の特徴点間の相対的な３次元の位置関係として顔の位置・姿勢の相対的な変化を特定し、
前記眼球中心推定手段は、前記撮影手段により撮影された前記人間の顔領域を含む対象画像領域内において、撮影された画像内の虹彩の領域と、顔座標系内で仮定した眼球中心位置および眼球半径を用いて算出され投影された虹彩のモデル領域と照合することで、前記人間の眼球中心の投影位置を推定する、請求項１記載の視線方向の推定装置。
【請求項８】
前記虹彩中心抽出手段は、前記撮影手段により撮影された前記人間の顔領域を含む対象画像領域内において、撮影された画像内の虹彩の領域と、顔座標内で仮定した眼球中心位置および眼球半径を用いて算出され投影された構成のモデル領域とを照合することで、前記虹彩中心位置を抽出する、請求項１記載の視線方向の推定装置。
【請求項９】
人間の顔領域を含む対象画像領域内の各画素に対応する画像データを単眼の撮影手段により撮影して獲得するステップと、
前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された校正用画像を予め取得し、前記顔領域内の複数の特徴点間の相対的な３次元の位置関係を特定するステップと、
前記撮影手段により撮影された前記対象画像領域内において前記複数の特徴点の投影位置を検出し、特定された前記相対的な３次元の位置関係に基づいて、前記人間の眼球中心の投影位置を推定するステップと、
前記対象画像領域内において、虹彩を抽出し虹彩中心位置を抽出するステップと、
抽出された前記虹彩中心位置と推定された前記眼球中心の投影位置とに基づいて、視線方向を推定するステップとを備える、視線方向の推定方法。
【請求項１０】
演算処理手段を有するコンピュータに、対象となる画像領域内の顔について視線方向の推定処理を実行させるためのプログラムであって、前記プログラムは、
単眼の撮影手段により撮影することにより、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを前記演算処理手段により獲得するステップと、
前記演算処理手段により、前記人間が前記撮影手段を見ている状態で前記撮影手段により撮影された校正用画像を予め取得し、前記顔領域内の複数の特徴点間の相対的な３次元の位置関係を特定するステップと、
前記演算処理手段により、前記撮影手段により撮影された前記対象画像領域内において前記複数の特徴点の投影位置を検出し、特定された前記相対的な３次元の位置関係に基づいて、前記人間の眼球中心の投影位置を推定するステップと、
前記演算処理手段により、前記対象画像領域内において、虹彩を抽出し虹彩中心位置を抽出するステップと、
前記演算処理手段により、抽出された前記虹彩中心位置と推定された前記眼球中心の投影位置とに基づいて、視線方向を推定するステップとをコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
人物の視線方向の推定は、たとえば、マンマシンインタフェースの１つの方法として従来研究されてきた。
【背景技術】
【０００２】
視線計測について、従来のカメラを利用した手法では、カメラの設置位置によって「頭部装着型」と「非装着型」に分類できる。一般的に「頭部装着型」は精度は高いが、ユーザの負担が大きい。またカメラの座標系が頭部の動きに連動するため、注視対象を判別するためには、外界の座標系と結び付ける工夫が必要となる。
【０００３】
具体的な手法としては、近赤外の点光源（Light Emitting Diode:LED）を目に照射し、角膜で反射された光源像と瞳孔の位置から視線を推定する瞳孔角膜反射法が良く知られており、「頭部装着型」または「非装着型」の両方に利用されている。赤外照明によって瞳孔と虹彩のコントラストは可視光照明より高くなり、瞳孔を検出しやすくなるが、その直径は数ミリで、また赤外光源の反射像もごく小さなスポットとして映るため、解像度の高い画像が要求される。そのため、片目をできるだけ大きく撮像することになる。その結果、「非装着型」の場合、顔が少し動くと目がカメラ視界から外れるという問題がある。
【０００４】
角膜反射を利用しない「非装着型」による視線推定手法については、ステレオカメラ方式と単眼カメラ方式の大きく２種類に分けられる。
【０００５】
ステレオカメラ方式では、まず顔の特徴点（人為的に貼付したマーカや目尻などの自然特徴点など）の３次元位置を２眼ステレオにより推定し、それをもとに眼球中心位置を推定する手法である。視線方向は、求まった眼球中心位置と画像中の瞳孔位置・虹彩位置を結ぶ直線として推定される。しかし、事前にカメラ間のキャリブレーションが必要であるため、カメラの観測範囲の変更は容易ではないという問題がある。
【０００６】
一方、単眼カメラによる方式では、カメラと顔の距離が離れても、ズームなどにより必要な画像解像度が得られれば視線が推定できる。
【０００７】
単眼カメラによる方式では、眼の画像パターンから視線を推定するニューラルネットワークによる手法や、観測時の虹彩の楕円形状から視線方向（虹彩の法線方向）を推定する手法、ステレオカメラ方式と同じように特徴点を抽出して虹彩位置との幾何学的関係から視線を推定する手法がある。
【０００８】
これらのうち、顔の上の特徴点と虹彩との相対的位置関係から視線を推定する方法は直感的に理解しやすいことから、早くから検討されてきた。
【０００９】
青山らは顔の向きの変化にも対応するため、左右の目尻と口の両端（口角）から形成される台形を利用して顔の向きを推定すると同時に、両目尻の中点と左右の虹彩の中点の差から正面視からの目の片寄り量を推定し、両方合わせて視線方向を推定する原理を示した（たとえば、非特許文献１を参照）。
【００１０】
伊藤らは目の近くに指標点となるサージカルテープなどを貼付し、その指標マークと虹彩の相対位置変化から視線方向を推定するシステムを肢体不自由者のコミュニケーションの手段として検討している（たとえば、非特許文献２を参照）。この場合、顔をキャリブレーション時と同じ姿勢に保つ必要がある。
【００１１】
三宅らは眼球の幾何学的モデルから、２つの眼球の中心を結ぶ直線が顔表面と交差する左右の点を参照点とすれば、画像上のその中点と左右の虹彩の中点から、顔の向きに関係なく視線方向が計算できることを示した（たとえば、非特許文献３を参照）。
【００１２】
川戸らは、４つの参照点を利用する顔の向きに影響されない視線方向推定方法を提案した（たとえば、非特許文献４を参照）。４つの参照点は原理的には同一平面上でなければ位置的な制限はなく、４つの参照点から眼球中心を推定し、眼球中心と虹彩中心を結ぶ直線として視線方向を推定するものである。
【００１３】
なお、以下に説明する本発明の視線方向の推定方法においては、画像中からまず人物の顔を検出する。そこで、従来の画像中からの顔の検出手法の従来技術については、以下のようなものがある。
【００１４】
つまり、これまでに、肌色情報を用いた顔検出システムや、色情報を用いない（濃淡情報を用いる）顔検出手法では、テンプレートマッチングやニューラルネットワーク等の学習的手法を利用した手法については報告が数多くなされている。
【００１５】
たとえば、安定性が高く、かつ実時間での顔の追跡が可能な手法として、安定した顔の特徴点として両目の間の点（以下では眉間（Ｂｅｔｗｅｅｎ−ｔｈｅ−Ｅｙｅｓ）と呼ぶ）に着目し、眉間の周囲は、額部と鼻筋は相対的に明るく、両サイドの目と眉の部分は暗いパターンになっており、それを検出するリング周波数フィルタを用いるとの手法が提案されている（たとえば、非特許文献５、特許文献１を参照）。
【００１６】
さらに、他の手法として、たとえば、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する、というような顔を検出する方法も提案されている（たとえば、特許文献２を参照）。
【００１７】
さらに、顔画像中から鼻位置をリアルタイムで追跡する手法についても報告されている（たとえば、非特許文献６を参照）。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００１−５２１７６号公報明細書
【特許文献２】特開２００４−１８５６１１号公報明細書
【非特許文献】
【００１９】
【非特許文献１】青山宏、河越正弘：「顔の面対称性を利用した視線感知法」情処研報89−CV−61、pp.1-8（1989）。
【非特許文献２】伊藤，数藤：「画像センサを用いた眼球運動による意思伝達システム」信学技報WIT99−39（２０００）。
【非特許文献３】三宅哲夫、春田誠司、堀畑聡：「顔の向きに依存しない特徴量を用いた注視判定法」信学論（Ｄ−ＩＩ）、Vol．J86−D-II、No．12、  pp．1737−1744（2003）。
【非特許文献４】川戸、内海、安部：「４つの参照点と３枚のキャリブレーション画像に基づく単眼カメラからの視線推定」画像の認識・理解シンポジウム（MIRU2005），pp．1337−1342（2005）。
【非特許文献５】川戸慎二郎、鉄谷信二、”リング周波数フィルタを利用した眉間の実時間検出”信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，ｎｏ１２，ｐｐ．２５７７−２５８４，Ｄｅｃ．２００１。
【非特許文献６】川戸慎二郎、鉄谷信二：鼻位置の検出とリアルタイム追跡：信学技報IE2002−263、pp．25−29（2003）。
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来の単眼カメラによる方式の視線検出のための手法では、参照点として人為的なマークが必要であるという問題があった。
【００２１】
それゆえに本発明の目的は、カメラにより撮影された画像情報に基づいて、人為的なマーカを用いることなく、リアルタイムに視線を追跡する視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラムを提供することである。
【００２２】
この発明のさらに他の目的は、１つのカメラ（単眼カメラ）により撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラムを提供することである。
【課題を解決するための手段】
【００２３】
この発明のある局面に従うと、視線方向の推定装置であって、人間の顔領域を含む画像を獲得するための撮影手段と、撮影手段により撮影された人間の顔領域を含む画像から顔の位置・姿勢の基準位置・姿勢に対する相対的な変化を特定する相対関係特定手段と、特定された顔の位置・姿勢の相対的な変化に基づいて、人間の眼球中心位置を推定する眼球中心推定手段と、画像領域内において、虹彩を抽出し虹彩中心位置を抽出する虹彩中心抽出手段と、抽出された虹彩中心位置と推定された眼球中心位置とに基づいて、視線方向を推定する視線推定手段とを備える。
【００２４】
好ましくは、撮影手段は、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための単眼の撮影手段である。
【００２５】
好ましくは、相対関係特定手段は、人間が撮影手段を見ている状態で撮影手段により撮影された較正用画像を予め取得し、顔領域内の複数の特徴点間の相対的な３次元の位置関係として顔の位置・姿勢の相対的な変化を特定し、眼球中心推定手段は、撮影手段により撮影された人間の顔領域を含む対象画像領域内において複数の特徴点の投影位置を検出し、特定された相対的な３次元の位置関係に基づいて、人間の眼球中心の投影位置を推定する。
【００２６】
好ましくは、相対関係特定手段は、複数の較正用画像内の複数の特徴点の投影位置を抽出し、複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、計測行列を因子分解により、撮影手段の姿勢に関する情報を要素とする撮影姿勢行列と、複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む。
【００２７】
好ましくは、眼球中心推定手段は、撮影された画像フレーム内において観測された特徴点と較正用画像における特徴点との対応付けを行なう特徴点特定手段と、撮影された画像フレーム内において観測された特徴点についての相対位置関係行列の部分行列と、観測された特徴点とから眼球中心の投影位置を推定する。
【００２８】
好ましくは、相対関係特定手段は、撮影手段により撮影された較正用画像を予め取得し、校正用画像を正規化した上で、顔領域内の複数の特徴点間の相対的な３次元の位置関係として顔の位置・姿勢の相対的な変化を特定し、眼球中心推定手段は、撮影手段により撮影された人間の顔領域を含む対象画像領域内において、撮影された画像内の虹彩の領域と、顔座標系内で仮定した眼球中心および位置眼球半径を用いて算出され投影された虹彩のモデル領域と照合することで、人間の眼球中心の投影位置を推定する。
【００２９】
好ましくは、相対関係特定手段は、撮影手段により撮影された画像を正規化した上で、顔領域内の複数の特徴点間の相対的な３次元の位置関係として顔の位置・姿勢の相対的な変化を特定し、眼球中心推定手段は、撮影手段により撮影された人間の顔領域を含む対象画像領域内において、撮影された画像内の虹彩の領域と、顔座標系内で仮定した眼球中心位置および眼球半径を用いて算出され投影された虹彩のモデル領域と照合することで、人間の眼球中心の投影位置を推定する。
【００３０】
好ましくは、虹彩中心抽出手段は、撮影手段により撮影された人間の顔領域を含む対象画像領域内において、撮影された画像内の虹彩の領域と、顔座標内で仮定した眼球中心位置および眼球半径を用いて算出され投影された構成のモデル領域とを照合することで、虹彩中心位置を抽出する。
【００３１】
この発明の他の局面に従うと、視線方向の推定方法であって、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを単眼の撮影手段により撮影して獲得するステップと、人間が撮影手段を見ている状態で撮影手段により撮影された較正用画像を予め取得し、顔領域内の複数の特徴点間の相対的な３次元の位置関係を特定するステップと、撮影手段により撮影された対象画像領域内において複数の特徴点の投影位置を検出し、特定された相対的な３次元の位置関係に基づいて、人間の眼球中心の投影位置を推定するステップと、対象画像領域内において、虹彩を抽出し虹彩中心位置を抽出するステップと、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線方向を推定するステップとを備える。
【００３２】
この発明のさらに他の局面に従うと、演算処理手段を有するコンピュータに、対象となる画像領域内の顔について視線方向の推定処理を実行させるためのプログラムであって、プログラムは、単眼の撮影手段により撮影することにより、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを演算処理手段により獲得するステップと、演算処理手段により、人間が撮影手段を見ている状態で撮影手段により撮影された較正用画像を予め取得し、顔領域内の複数の特徴点間の相対的な３次元の位置関係を特定するステップと、演算処理手段により、撮影手段により撮影された対象画像領域内において複数の特徴点の投影位置を検出し、特定された相対的な３次元の位置関係に基づいて、人間の眼球中心の投影位置を推定するステップと、演算処理手段により、対象画像領域内において、虹彩を抽出し虹彩中心位置を抽出するステップと、演算処理手段により、抽出された虹彩中心位置と推定された眼球中心の投影位置とに基づいて、視線方向を推定するステップとをコンピュータに実行させる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態にかかるシステムの外観図である。
【図２】視線検出装置の外観を示す図である。
【図３】本発明の実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。
【図４】ＣＰＵ５６が、視線方向推定のプログラムに基づいて行なうソフトウェア処理を示す機能ブロック図である。
【図５】眉間候補領域を検出するためのフィルタを説明するための概念図である。
【図６】６分割矩形フィルタの他の構成を示す概念図である。
【図７】眉間を中心とした画像領域を利用してＳＶＭによるモデル化を説明する図である。
【図８】顔検出結果の例を示す図である。
【図９】視線方向を決定するためのモデルを説明する概念図である。
【図１０】ユーザがカメラを注視する状態に移行した後の虹彩中心、眼球中心および投影点の関係を示す概念図である。
【図１１】視線方向の推定装置の初期設定の処理のフローを説明するためのフローチャートである。
【図１２】キャリブレーションにおいて撮影された４枚の画像フレームを示す図である。
【図１３】視線方向の推定装置が実行するリアルタイム視線検出の処理のフローを説明するためのフローチャートである。
【図１４】右上方注視の状態での視線推定結果を示す図である。
【図１５】上方注視の状態での視線推定結果を示す図である。
【図１６】左下方向注視の状態での視線推定結果を示す図である。
【図１７】実施の形態２の視線方向の推定装置の初期設定として行なうキャリブレーションを説明するためのフローチャートである。
【図１８】眼球モデルパラメータの推定処理の手続きを示す図である。
【図１９】再投影とずれの関係を示す概念図である。
【図２０】ラベリング処理例を示す図である。
【図２１】虹彩とモデルとの照合処理の概念を示す図である。
【図２２】キャリブレーションにより得られた顔モデルを用いて、視線推定を行なった結果を示す図である。
【図２３】眼球モデルパラメータの推定における「非線形最適化処理」を説明するための概念図である。
【図２４】視線推定のために虹彩中位置を決定する処理を示す概念図である。
【図２５】眼球モデルパラメータの推定処理を「逐次型眼球モデル推定」の処理に置き換えた場合の処理の流れを説明する概念図である。
【発明を実施するための形態】
【００３４】
［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態１にかかる「視線方向の推定装置」について説明する。この視線方向の推定装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。図１に、この視線方向の推定装置の外観を示す。
【００３５】
ただし、以下に説明する「視線方向の推定装置」の各機能の一部または全部は、ハードウェアにより実現されてもよい。
【００３６】
図１を参照して、この視線方向の推定装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）５０、あるいはＦＤ（Flexible Disk ）ドライブ５２のような記録媒体からデータを読み取るためのドライブ装置を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むための単眼カメラ３０とを含む。この実施の形態の装置では、単眼カメラ３０としてはＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含むカメラを用い、カメラ３０の前にいてこのシステム２０を操作する人物の顔の位置および視線を推定・検出する処理を行なうものとする。
【００３７】
すなわち、カメラ３０により、人間の顔領域を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。
【００３８】
なお、カメラ３０は、必ずしも単眼カメラに限定される訳ではなく、複数の視点からの画像に基づいて、以下に説明するような視線方向の推定を行なうことも可能であるが、以下の説明でも明らかとなるように、本発明の視線方向の推定装置では、単眼カメラからの画像情報のみに基づいた場合でも、視線の推定を行なうことが可能である。
【００３９】
図２は、カメラ３０により撮影された画像に基づいて、コンピュータ本体４０の処理結果がディスプレイ４２に表示される一例を示す図である。
【００４０】
図２に示すように、カメラ３０で撮影された画像は、ディスプレイ４２の撮影画像表示領域２００にリアルタイムに動画として表示される。特に限定されないが、たとえば、撮影画像表示領域２００上に、視線方向を示す指標として、眉間から視線方向に延びる線分を表示してもよい。
【００４１】
図３に、このシステム２０の構成をブロック図形式で示す。図３に示されるようにこのシステム２０を構成するコンピュータ本体４０は、光学ディスクドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。光学ディスクドライブ５０にはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。
【００４２】
既に述べたようにこの視線方向の推定装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４等の記憶媒体に格納されて流通し、光学ドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。
【００４３】
図１および図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。
【００４４】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該視線方向の推定装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて視線方向の推定装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００４５】
［システムの機能ブロック］
以下に説明するとおり、本発明の視線方向の推定装置では、顔特徴点を検出・追跡することにより、単眼カメラで視線方向を推定する。
【００４６】
本発明の視線方向の推定装置では、眼球中心と虹彩中心を結ぶ３次元直線を視線方向として推定する。眼球中心は画像からは直接観測することはできないが、カメラを注視している場合には眼球中心と虹彩中心が同じ位置に観測されることを利用し、眼球中心と顔特徴点との相対関係をモデル化することにより、眼球中心の投影位置を推定する。
【００４７】
初期校正（キャリブレーション）では、ユーザがカメラを注視しながら顔の向きが異なる、２枚以上の画像フレーム列を取得し、顔特徴点と虹彩中心を抽出・追跡することにより、顔特徴点と眼球中心との相対関係をモデル化する。
【００４８】
視線推定時には、撮影画像から顔特徴点を追跡することで、眼球中心の投影位置を推定し、その点と虹彩中心とを結ぶ３次元ベクトルを視線方向として推定する。
【００４９】
以下では、本発明による視線の検知のための構成の概略について説明する。
図４は、図３に示したＣＰＵ５６が、ハードディスク５４等に格納されたプログラムに基づいて行なうソフトウェア処理を示す機能ブロック図である。なお、上述のとおり、この機能ブロックの全部または一部は、専用のハードウェアにより実行される構成としてもよい。
【００５０】
視線方向の推定装置のシステム２０の処理は、単眼カメラ３０をベースとしており、顔位置の検出が可能で光学的に十分なズーム比が得られれば観測距離の制約を受けない。
【００５１】
以下では、何らかの手続き、たとえば、ユーザによるカメラの調整等によりあらかじめ大まかな人物顔位置が与えられることを仮定している。
【００５２】
カメラ３０により撮像された動画に対応する映像信号は、フレームごとに画像キャプチャ処理部５６０２により制御されてデジタルデータとしてキャプチャされ、画像データ記録処理部５６０４により、たとえば、ハードディスク５４のような記憶装置に格納される。
【００５３】
顔検出部５６０６では、キャプチャされたフレーム画像列に対して６分割矩形フィルタによる顔候補探索（眉間の候補位置の探索）と、探索された眉間の候補位置のうちから、左右の目についてのテンプレートマッチングなどの処理を用いた識別処理を適用することにより画像中の顔位置（両目位置）を検出する。
【００５４】
次に、顔領域抽出部５６０８は、求まった両目位置から虹彩中心、鼻位置を抽出する。
さらに、特徴点抽出部５６１０は、抽出された顔や鼻、目（虹彩）の位置を利用し、複数の特徴点の抽出および追跡を行なって、顔領域内の画像特徴点を検出する。なお、画像特徴点周辺のテクスチャは、キャリブレーション時において追跡のためのテンプレートとして保持しておき、さらに適宜更新して、フレーム間の特徴点の対応づけに利用する。一方、虹彩中心抽出部５６１２は、後に説明するように、目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩の中心の投影位置を検出する。相対関係特定部５６１４は、キャリブレーション時に、眼球中心および特徴点の３次元的な相対位置関係を後に説明するようにモデルとして特定する。眼球中心推定部５６１６は、特徴点の投影位置と相対位置関係のモデルとを用いて、眼球の中心位置を推定する。
【００５５】
視線方向推定部５６１８は、抽出された虹彩の中心の投影位置と推定された眼球の中心位置とに基づいて、視線方向を推定する。
【００５６】
また、表示制御部５６３０は、以上のようにして推定された視線の方向を、取得された画像フレーム上に表示するための処理を行なう。
【００５７】
すなわち、視線方向の推定装置のシステム２０では、特徴点の追跡処理の安定性を確保するため、同一特徴点に関して異なるフレームにおける複数の観測テクスチャを保持している。初期校正過程では、これらの特徴点と虹彩中心の関係から顔特徴点と眼球中心の相対関係を求める。視線推定過程では、校正過程で得られた関係を元に現フレームで得られている特徴点群から眼球中心位置を推定し、その位置と虹彩中心位置から視線方向を決定する。
【００５８】
［視線方向の推定処理の動作］
（顔検出処理）
以下では、まず、視線方向の推定の前提として行なわれる顔検出処理について説明する。
【００５９】
（６分割矩形フィルタによる顔検出処理）
視線方向の推定装置のシステム２０では、特に限定されないが、たとえば、顔を連続撮影したビデオ画像を処理するにあたり、横が顔幅、縦がその半分程度の大きさの矩形フィルターで画面を走査する。矩形は、たとえば、３×２に６分割されていて、各分割領域の平均明るさが計算され、それらの相対的な明暗関係がある条件を満たすとき、その矩形の中心を眉間候補とする。
【００６０】
連続した画素が眉間候補となるときは、それを取囲む枠の中心候補のみを眉間候補として残す。残った眉間候補を標準パターンと比較してテンプレートマッチング等を行なうことで、上述した手続きで得られた眉間候補のうちから、偽の眉間候補を捨て、真の眉間を抽出する。
【００６１】
以下、本発明の顔検出の手続きについて、さらに詳しく説明する。
（６分割矩形フィルタ）
図５は、眉間候補領域を検出するためのフィルタを説明するための概念図である。
【００６２】
図５（ａ）は、上述した３×２に６分割された矩形フィルタ（以下、「６分割矩形フィルタ」と呼ぶ）を示す図である。
【００６３】
６分割矩形フィルタは、１）鼻筋は両目領域よりも明るい、２）目領域は頬部よりも暗い、という顔の特徴を抽出し、顔の眉間位置を求めるフィルタである。点（ｘ、ｙ）を中心として、横ｉ画素、縦ｊ画素（ｉ，ｊ：自然数）の矩形の枠を設ける。
【００６４】
図５（ａ）のように、この矩形の枠を、横に３等分、縦に２等分して、６個のブロックＳ１〜Ｓ６に分割する。
【００６５】
図５（ｂ）は、このような６分割矩形フィルタを顔画像の両目領域および頬部に当てはめた状態を示す。
【００６６】
図６は、６分割矩形フィルタの他の構成を示す概念図である。
鼻筋の部分が目の領域よりも通常は狭いことを考慮すると、ブロックＳ２およびＳ５の横幅ｗ２は、ブロックＳ１，Ｓ３，Ｓ４およびＳ６の横幅ｗ１よりも狭い方がより望ましい。好ましくは、幅ｗ２は幅ｗ１の半分とすることができる。図６は、このような場合の６分割矩形フィルタの構成を示す。また、ブロックＳ１、Ｓ２およびＳ３の縦幅ｈ１と、ブロックＳ４、Ｓ５およびＳ６の縦幅ｈ２とは、必ずしも同一である必要もない。
【００６７】
図６に示す６分割矩形フィルタにおいて、それぞれのブロックＳｉ（１≦ｉ≦６）について、画素の輝度の平均値「バーＳｉ」（Ｓｉに上付きの“−”をつける）を求める。
【００６８】
ブロックＳ１に１つの目と眉が存在し、ブロックＳ３に他の目と眉が存在するものとすると、以下の関係式（１）が成り立つ。
【００６９】
【数１】
2011090702.tif 000003
【００７０】
そこで、これらの関係を満たす点を眉間候補（顔候補）として抽出する。
矩形枠内の画素の総和を求める処理について、公知の文献（P. Viola and M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Proc. Of IEEE Conf. CVPR,1,pp.511-518, 2001）において開示されている、インテグラルイメージ（Ｉｎｔｅｇｒａｌ  Ｉｍａｇｅ）を利用した計算の高速化手法を取り入れることができる。インテグラルイメージを利用することでフィルタの大きさに依らず高速に実行することができる。多重解像度画像に本手法を適用することにより、画像上の顔の大きさが変化した場合にも顔候補の抽出が可能となる。
【００７１】
このようにして得られた眉間候補（顔候補）に対しては、両目の標準パターンとのテンプレートマッチングにより、真の眉間位置（真の顔領域）を特定することができる。
【００７２】
なお、得られた顔候補に対して、サポートベクトルマシン（ＳＶＭ）による顔モデルによる検証処理を適用し顔領域を決定することもできる。髪型の違いや髭の有無、表情変化による認識率の低下を避けるため、たとえば、図７に示すように、眉間を中心とした画像領域を利用してＳＶＭによるモデル化を行なうことができる。なお、このようなＳＶＭによる真の顔領域の決定については、文献：S．Kawato，N．Tetsutani and K．Hosaka：“Scale-adaptive face detection and tracking in real time with ssr fi1ters and support vector machine”，IEICE Trans．on Info．and Sys., E88−D，12，pp．2857−2863（2005）に開示されている。６分割矩形フィルタによる高速候補抽出とＳＶＭによる処理とを組合わせることで実時間の顔検出が可能である。
【００７３】
（目・鼻の検出処理）
続いて、目、鼻や虹彩中心の位置を、上述した非特許文献４や非特許文献６の手法を用いて抽出する
両目の位置については、前節の顔領域検出で眉間のパターンを探索しているため、眉間の両側の暗い領域を再探索することにより、大まかな両目の位置を推定することができる。しかし、視線方向の推定のためには、虹彩中心をより正確に抽出する必要がある。ここでは、上で求まった目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩および虹彩の中心の投影位置を検出する。
【００７４】
鼻の位置は、鼻先が凸曲面であるため周囲に対し明るい点として観測されやすいことと、両目の位置から鼻の存在範囲が限定できることを利用して抽出する。また、両目、鼻の位置を用いて、大体の顔の向きも推定できる。
【００７５】
図８は、顔検出結果の例を示す図である。検出された顔において、虹彩中心や鼻先や口なども検出されている。たとえば、特徴点としては、鼻先や、左右の目の目尻や目頭、口の両端、鼻腔中心などを用いることができる。
【００７６】
（視線推定）
（視線推定の原理）
本発明では、視線方向は眼球中心と虹彩中心を結ぶ３次元直線として与えられるとする。
【００７７】
図９は、視線方向を決定するためのモデルを説明する概念図である。
画像上での眼球半径をｌ、画像上での眼球中心と虹彩中心とのｘ軸方向、ｙ軸方向の距離をｄx、ｄyとすると、視線方向とカメラ光軸とのなす角、つまり、視線方向を向くベクトルがｘ軸およびｙ軸との成す角ψx、ψyは次式で表される。
【００７８】
【数２】
2011090702.tif 000004
【００７９】
式（３）により、視線方向を推定するためには、画像上での眼球半径と眼球中心・虹彩中心の投影位置が必要となる。ここで、虹彩中心の投影位置については、上述したとおり、ハフ変換を用いた手法により求めることができる。画像上での眼球直径ｒは、解剖学的なモデル（標準的な人の眼球直径）を用いてもよいし、別途キャリブレーションにより求めてもよい。
【００８０】
図１０は、図９に示した状態から、ユーザがカメラを注視する状態に移行した後の虹彩中心、眼球中心および投影点の関係を示す概念図である。
【００８１】
眼球中心の投影位置については、一般には、画像から直接観測することはできない。しかし、ユーザがカメラを注視した場合について考えると、図１０に示すとおり、カメラ、虹彩中心、眼球中心の３点が１直線上に並ぶため、画像では虹彩中心と眼球中心は同一点に投影されることがわかる。
【００８２】
そこで、本発明では、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影し、これらの画像列から虹彩位置と顔特徴点を抽出・追跡することにより、眼球中心と顔特徴点間の相対幾何関係を推定する。
【００８３】
後により詳しく説明するように、本発明の視線方向の推定装置では、眼球中心と顔特徴点間の相対関係の推定処理と眼球中心の投影位置推定とを行なう。
【００８４】
（顔特徴点の追跡による視線推定）
図１１は、視線方向の推定装置の初期設定として行なうキャリブレーションを説明するためのフローチャートである。
【００８５】
まず、キャリブレーション用の画像列として、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影する（ステップＳ１０２）。
【００８６】
図１２は、このようにしてキャリブレーションにおいて撮影された４枚の画像フレームを示す。
【００８７】
ここでは、より一般に、Ｎ（Ｎ≧２）枚の画像列が得られたとする。各画像フレームを、フレームＩ1，…ＩＮとする。
【００８８】
次に、得られた各画像フレーム列に対して、上述したような方法によって顔検出部５６０６が顔検出処理を行ない（ステップＳ１０４）、続いて、顔領域抽出部５６０８が、目や鼻の検出処理を行なう（ステップＳ１０６）。
【００８９】
さらに、特徴点抽出部５６１０が特徴点の抽出・追跡を行なう（ステップＳ１０８）。なお、特徴点の抽出方法としては、上述したような方法の他に、たとえば、文献：J．Shiand C．Tomasi：“Good features to track”，Proc. CVPR94，pp．593−600（1994）で提案された手法を用いることもできる。
【００９０】
ここで、各画像フレームＩｉ（ｉ＝１，…，Ｎ）においてＭ（Ｍ≧４）点の特徴点ｐｊ（ｊ＝１，…，Ｍ）が検出・追跡できたとする。画像フレームＩｉにおける特徴点ｐｊの２次元観測位置をｘｊ（ｉ）（太字）＝［ｘｊ（ｉ），ｙｊ（ｉ）］ｔ（ｉ＝１，…，Ｎ，ｊ＝１，…，Ｍ）とし、両目の虹彩中心の２次元観測位置をそれぞれｘｒ（ｉ）（太字）＝［ｘｒ（ｉ），ｙｒ（ｉ）］ｔ，ｘｌ（ｉ）（太字）＝［ｘｌ（ｉ），ｙｌ（ｉ）］ｔ（ｉ＝１，…，Ｎ）とする。ここで、行列Ｗを以下のように定義する。
【００９１】
【数３】
2011090702.tif 000005
【００９２】
因子分解法により、特徴点の各フレームでの２次元観測位置を縦に並べた行列Ｗ（計測行列）は以下のように分解できる。
【００９３】
【数４】
2011090702.tif 000006
【００９４】
ここで、行列Ｍ（「撮影姿勢行列）と呼ぶ）にはカメラの姿勢に関する情報のみが、行列Ｓ（「相対位置関係行列」と呼ぶ）には観測対象物の形状に関する情報のみが含まれており、顔特徴点と眼球中心との３次元的な位置の相対関係は行列Ｓとして求まる（ステップＳ１１０）。すなわち、正射影を仮定すると、行列Ｍの各要素が画像フレームでのカメラの姿勢を表す単位ベクトルであって、それぞれの大きさが１であり相互には直交するとの拘束条件のもとで、行列Ｗは、特異値分解により一義的に行列Ｍと行列Ｓの積に分解できることが知られている。なお、このような計測行列Ｗを、因子分解により、カメラの運動の情報を表す行列と対象物の形状情報を表す行列へ分解する点については、文献：金出，ポールマン，森田：因子分解法による物体形状とカメラ運動の復元”，電子通信学会論文誌Ｄ−ＩＩ，Ｊ７６−Ｄ−ＩＩ，８，ｐｐ．１４９７−１５０５（１９９３）に開示がある。
【００９５】
（視線方向推定処理）
図１３は、リアルタイムの視線方向の推定処理のフローチャートを示す。
【００９６】
次に、以上で得られた結果を用いて、視線方向を推定する手順について説明する。
まず、カメラ３０から画像フレームを取得すると（ステップＳ２００）、キャリブレーション時と同様にして、顔の検出および目鼻の検出が行なわれ（ステップＳ２０２）、取得された画像フレーム中の特徴点が抽出される（ステップＳ２０４）。
【００９７】
画像フレームＩｋが得られたとする。ここで、眼球中心以外の特徴点のうちｍ点ｐｊ（ｊ＝ｊ１，…，ｊｍ）が、それぞれ、ｘｊ（ｋ）（太字）＝［ｘｊ（ｋ），ｙｊ（ｋ）］ｔに観測されたとする。このとき、観測された特徴点について、上述したように特徴点近傍のテンプレートを用いたテンプレートマッチングを実施することで、キャリブレーション時に特定された特徴点と現画像フレーム中で観測された特徴点との対応付けが行なわれて、現画像フレーム中の特徴点が特定される（ステップＳ２０６）。
【００９８】
なお、上述のとおり、特徴点を特定するためのテンプレートは、キャリブレーションの時のものに限定されず、たとえば、最近の画像フレームの所定枚数について検出された特徴点の近傍の所定の大きさの領域内の画像を所定個数だけ保持しておき、これら所定枚数のテンプレートについてマッチングをした結果、もっとも一致度の高い特徴点に特定することとしてもよい。
【００９９】
顔特徴点ｐｊの２次元観測位置ｘｊ（ｋ）（太字）＝［ｘｊ（ｋ），ｙｊ（ｋ）］ｔとキャリブレーションより求まった３次元位置ｓｊ（太字）＝［Ｘｊ，Ｙｊ，Ｚｊ］ｔ（ｊ＝１，…，Ｍ）の間には、Ｍ個の特徴点のうち観測されたｍ個の特徴点について注目すると、次式の関係が得られる。
【０１００】
【数５】
2011090702.tif 000007
【０１０１】
ただし、行列Ｐ（ｋ）は２×３の行列である。右辺の第２項の行列Ｓ（ｋ）は行列Ｓのうち、観測された特徴点に対応する要素のみからなる部分行列である。上述の通り、カメラと顔は十分に離れているとし正射影を仮定している。ここで、４点以上の特徴点が観測されれば、行列Ｐ（ｋ）は以下のように計算できる（ステップＳ２０８）。
【０１０２】
【数６】
2011090702.tif 000008
【０１０３】
画像フレームＩｋにおける眼球中心の投影位置ｘｒ（ｉ）（太字），ｘｌ（ｉ）（太字）は、行列Ｐ（ｋ）を用いて以下のように計算できる（ステップＳ２１０）。
【０１０４】
【数７】
2011090702.tif 000009
【０１０５】
したがって、画像フレームＩｋにおいて特徴点として抽出した虹彩中心の投影位置とこの眼球中心の投影位置を用いると、視線の推定を行なうことができる（ステップＳ２１２）。
【０１０６】
なお、行列ＰをＱＲ分解により分解することで、顔の姿勢Ｒが、以下のように計算できる。
【０１０７】
【数８】
2011090702.tif 000010
【０１０８】
ただしｒ１、ｒ２はそれぞれ１×３のベクトルである。このような顔の姿勢Ｒの検出については、文献：L．Quan：“Self-calibration of an affine camera from multiple views”，Int’l Journal of Computer Vision，19，pp．93−105（1996）に開示がある。
【０１０９】
ユーザ等の指示により追跡が終了していると判断されれば（ステップＳ２１４）、処理は終了し、終了が指示されていなければ、処理はステップＳ２０２に復帰する。
【０１１０】
（実  験）
以上説明した視線方向の推定装置の有効性を確認するため、実画像を用いた実験を行なった結果について以下に説明する。
【０１１１】
カメラはElmo社製PTC−400Cを用い、被験者から約１５０［cm］の位置に設置した。
まず、５０フレームの画像列を用いて、眼球中心と顔特徴点のキャリブレーションを行なった。キャリブレーション用の画像フレーム列と抽出した特徴点の例は、図１２に示したとおりである。
【０１１２】
キャリブレーション用画像フレーム列の撮影に要した時間は約３秒であった。（＋印は抽出された虹彩中心（眼球中心））、×印は追跡した顔特徴点）。
【０１１３】
次に、キャリブレーションにより求まった顔モデル（行列Ｓ）を用いて、視線推定を行なった。ここで、被験者はそれぞれ右上、上、左下の方向を注視しながら、顔の位置・向きを変化させた。
【０１１４】
図１４〜図１６は、視線推定結果を示す。図１４は、右上方注視の状態であり、図１５は、上方注視の状態であり、図１６は、左下方向注視の状態である。ここで、視線方向は両目それぞれで計算された視線方向の平均値としている。結果より、顔の位置・向きの変化とは関係なく、視線方向が推定できていることがわかる。
【０１１５】
以上説明したとおり、実施の形態１の視線方向の推定装置では、単眼カメラの観測に基づいて顔特徴点を検出・追跡することにより視線方向を推定する。本発明の視線方向の推定装置では、まずキャリブレーションとして視線がカメラ方向を向いたまま顔の向きのみが異なる画像列から得られる虹彩位置と顔特徴点を利用することで、眼球中心と顔特徴点の関係をモデル化し（行列Ｓを特定し）、その後、その関係に基づいて推定された入力画像中の眼球中心位置と虹彩位置の関係から視線方向を決定する。
【０１１６】
実施の形態１の視線方向の推定装置は、単眼カメラによるパッシブな観測画像から視線方向を推定するため、顔位置が検出可能で光学的に十分なズーム比を得ることができれば、推定処理は観測距離の制約を受けない。これにより従来の視線推定装置では実現が難しかった遠方にいる人物に対する視線方向推定が可能になる。
【０１１７】
［実施の形態２］
実施の形態１の視線方向の推定装置においては、図１１において説明したとおり、まず、キャリブレーション用の画像列として、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影していた。
【０１１８】
実施の形態２の視線方向の推定装置においては、以下に説明するとおり、ユーザが必ずしもカメラを注視していない状態の画像列を用いて、キャリブレーションを行なうことが可能である。したがって、視線方向推定の被験者（被推定者）の、自然な状態での画像の撮影のみで、視線方向の推定を開始でき、被推定者への負担を低減できる。
【０１１９】
なお、キャリブレーション後の視線方向の推定処理自体は、実施の形態２の視線方向の推定装置の動作は、実施の形態１の視線方向の推定装置の動作と同様である。
【０１２０】
（キャリブレーション処理）
図１７は、実施の形態２の視線方向の推定装置の初期設定として行なうキャリブレーションを説明するためのフローチャートである。
【０１２１】
まず、キャリブレーション用の画像列として、ユーザが自由な方向を向き、顔の姿勢を変化させて画像列を取得する（ステップＳ３０２）。
【０１２２】
（顔３次元モデルの生成）
以下の手続きにより、顔３次元モデルを生成する。
【０１２３】
ここでは、Ｎ（Ｎ≧２）枚の画像列が得られたとする。各画像フレームを、フレームＩ1，…ＩＮとする。
【０１２４】
次に、得られた各画像フレーム列に対して、実施の形態１と同様な方法によって顔検出部５６０６が顔検出処理を行ない（ステップＳ３０４）、続いて、顔領域抽出部５６０８が、目や鼻、虹彩の検出処理を行なう（ステップＳ３０６）。
【０１２５】
さらに、特徴点抽出部５６１０が特徴点の抽出・追跡を行なう（ステップＳ３０８）。なお、特徴点の抽出方法も、実施の形態１と同様とする。
【０１２６】
ここで、各画像フレームＩｉ（ｉ＝１，…，Ｎ）においてＭ（Ｍ≧４）点の特徴点ｐｊ（ｊ＝１，…，Ｍ）が検出・追跡できたとする。画像フレームＩｉにおける特徴点ｐｊの２次元観測位置をｘｊ（ｉ）（太字）＝［ｘｊ（ｉ），ｙｊ（ｉ）］ｔ（ｉ＝１，…，Ｎ，ｊ＝１，…，Ｍ）とする。
【０１２７】
画像Ｉｉにおける特徴点ｐｊの２次元観測位置を以下のとおりとする。
【０１２８】
【数９】
2011090702.tif 000011
【０１２９】
画像Ｉｉにおける特徴点の重心を以下の記号（１２）で表す。
【０１３０】
【数１０】
2011090702.tif 000012
【０１３１】
同様にして、各観測位置を重心からの相対位置として、以下の記号（１３）で表す。
【０１３２】
【数１１】
2011090702.tif 000013
【０１３３】
したがって、以下の式（１４）および式（１５）の関係が成り立つ。
【０１３４】
【数１２】
2011090702.tif 000014
【０１３５】
このとき、相対観測位を並べた行列Ｗは、実施の形態１と同様にして、因子分解法により以下の式（１６）（１７）のように分解できる。ここで、カメラと顔は十分に離れているとし、弱透視変換を仮定している。
【０１３６】
【数１３】
2011090702.tif 000015
【０１３７】
実施の形態１と同様に、行列Ｍ（「撮影姿勢行列」）にはカメラの姿勢変化に関する情報が、行列Ｓ（「相対位置関係行列」）には観測対象物の形状に関する情報が含まれており、顔特徴点間の相対関係は行列Ｓとして求められる（ステップＳ３１０）。
【０１３８】
次に、画像Ｉｋが得られ、Ｍ個の特徴点のうちp個がそれぞれ以下のように観測されたとする。
【０１３９】
【数１４】
2011090702.tif 000016
【０１４０】
ここで、特徴点の重心位置を以下の記号（１８）で表す。
【０１４１】
【数１５】
2011090702.tif 000017
【０１４２】
このとき、カメラの姿勢変化を表す行列ｍｋおよび式（１８）で表される特徴点の重心位置は、以下の式（１９）のようにして求められる。
【０１４３】
【数１６】
2011090702.tif 000018
【０１４４】
ただし、行列ｍｋは２×３の行列、［］＊は疑似逆行列を示す。
さらに、行列ｍｋを式（２０）のようにＱＲ分解することで、画像Ｉｋにおける顔の姿勢Ｒｋ、位置ｔｋが以下の式（２１）のように計算できる。
【０１４５】
【数１７】
2011090702.tif 000019
【０１４６】
ただし、以下の式（２２）のｓｋはスケールファクタを表す。
【０１４７】
【数１８】
2011090702.tif 000020
【０１４８】
なお、上記の式（２０）に含まれるａｋは画像面の傾きを表わし、通常は０（ゼロ）とみなされる。
【０１４９】
したがって、以下では、被験者の顔は、正規化された大きさを有するものとして扱うことができ、被験者とカメラの距離による画像中の顔の大きさの変化を考慮する必要がない。
【０１５０】
さらに、後に詳しく説明する手順により、眼球モデルパラメータ（眼球中心位置、眼球半径、虹彩半径、画像上における虹彩位置）の推定を行なう（ステップＳ３１２）。
【０１５１】
（眼球モデルパラメータの推定）
以下では、眼球モデルパラメータの推定処理について、さらに詳しく説明する。なお、以下の処理は、眼球中心推定部５６１６が行なうものである。
【０１５２】
視線方向を推定するには、前節で求められた顔座標系における眼球中心位置Ｘ｛ＬＲ｝（なお、以下では、下付文字｛ＬＲ｝は、左を意味するｌ、右を意味するｒを総称するものとして使用する）、および眼球半径ｌ、画像上における虹彩位置ｘ｛ＬＲ｝，ｋを求める必要がある。
【０１５３】
入力画像において虹彩位置を効率的に決定するためには、さらに予め虹彩半径ｒを得ておくことが望ましい。
【０１５４】
（眼球３次元モデルの生成）
図１８は、眼球モデルパラメータの推定処理の手続きを示す図である。
【０１５５】
以下では、図１８を用いて、上述したキャリブレーションで用いたＮフレームの画像列を用いてこれらのパラメータを推定する処理について説明する。
【０１５６】
（ステップ１：眼球中心位置初期値の算出）
まず、各フレームの顔位置・姿勢ｔｋ，Ｒｋ、位置ｔｋ、スケールファクタｓｋおよびステップＳ３０６で求めた虹彩位置から、ＲＡＮＳＡＣを利用して大まかな眼球中心位置を推定する。
【０１５７】
（ＲＡＮＳＡＣ：Random sample consensus）
以下で説明するＲＡＮＳＡＣ処理は、外れ値を含むデータから安定にモデルパラメータを定めるための処理であり、これについては、たとえば、以下の文献に記載されているので、その処理の概略を説明するにとどめる。
【０１５８】
文献：M.A.Fischler and R.C.Bolles:” Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,”Comm. Of the ACM, Vol.24, pp.381-395,1981
文献：大江統子、佐藤智和、横矢直和：“画像徳著点によるランドマークデータベースに基づくカメラ位置・姿勢推定”、画像の認識・理解シンポジウム（MIRU2005）２００５年７月
ＲＡＮＳＡＣにより観測データから眼球中心位置ＸＬ，ＸＲ（初期値）を計算する手順  式（１９）より、フレームｋにおけるカメラ幾何を表す行列ｍｋおよび式（１８）で表される特徴点の重心位置を得る。
【０１５９】
ここで行列ｍｋには、式（２０），（２１）で示したように、フレームｋにおけるカメラの位置・姿勢および撮影像のスケールファクタの情報が含まれる。
【０１６０】
画像から観測されるｉフレーム目の画像における虹彩中心位置を以下の式（２３）とする。
【０１６１】
【数１９】
2011090702.tif 000021
【０１６２】
ランダムにｑ個のフレームｆ１，ｆ２，…，ｆｑが選択されたとすると、それらの観測データから眼球中心位置は次式（２４）により計算できる。
【０１６３】
【数２０】
2011090702.tif 000022
【０１６４】
得られた眼球中心位置を入力画像ｉ（ｉ＝１，…，Ｎ）上に再投影し、以下の式（２５）で表される虹彩中心とのずれｅｉを評価する。
【０１６５】
【数２１】
2011090702.tif 000023
【０１６６】
図１９は、このような再投影とずれの関係を示す概念図である。
眼球中心の再投影位置と虹彩中心位置は、眼球の回転によって最大でｓｉｌのずれが生じ得るため、ずれ|ｅｉ|がｓｉｌ以下であれば、以下の式（２６）のとおり誤差ゼロとみなす（ｌは眼球半径、ｓｉはスケールファクタ）。
【０１６７】
【数２２】
2011090702.tif 000024
【０１６８】
誤差ｅｉが一定値以下となるフレームが既定数以上あれば、それらのデータを利用して式（２４）により眼球中心位置を再度計算し、式（２６）により利用したフレームのデータに関する誤差を評価する。
【０１６９】
以上の処理を複数回行ない、誤差の総計がもっとも小さくなるときの眼球中心位置を出力値とする。
【０１７０】
（ステップ２：眼球モデルパラメータの推定）
得られた眼球中心位置を初期値として、入力画像群に対して眼球モデルを当てはめ最適なモデルパラメータを推定する。ここで、入力画像から目の周辺領域を切り出し、色および輝度情報をもとに、以下の式（２７）に従って、虹彩（黒目）、白目、肌領域の３種類にラベル付けを行なう。
【０１７１】
【数２３】
2011090702.tif 000025
【０１７２】
ここで、ｈｓ,ｋは、肌領域のｋ番目の画素の色相（hue）の値を表わす。ｈｉ，ｊは、入力画像中の画素ｉ，ｊの色相の値を表わす。ｖｓ,ｋは、入力画像中の画素ｉ，ｊの明度の値を表わす。
【０１７３】
図２０は、このようなラベリング処理例を示す図である。
続いて各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する（非線形最適化）。
【０１７４】
図２１は、このような虹彩とモデルとの照合処理の概念を示す図である。
このような非線形最適化処理を行なうにあたり、以下の距離ｄ｛LR｝,i,jを導入する。
【０１７５】
【数２４】
2011090702.tif 000026
【０１７６】
一方、ｒ｛LR｝,i,jは虹彩中心から画素ｉ，ｊ（フレームｉのｊ番目の画素）方向の虹彩半径を示すとすると、図２１に示すとおり、画素ｉ，ｊが虹彩の外側にあれば、ｄ｛LR｝,i,jは、ｒ｛LR｝,i,jよりも大きな値を示す。
【０１７７】
ｒ｛LR｝,i,jは、以下の式（２９）に示すように、眼球中心位置、虹彩位置、眼球半径、虹彩半径の関数となる。
【０１７８】
【数２５】
2011090702.tif 000027
【０１７９】
なお、顔の相対座標を正規化して考えているので、本来は、眼球中心位置は、フレームに拘わらず、一定の位置に存在するはずである。
【０１８０】
最後に、眼周辺の全画素についてｄ｛LR｝,i,jの評価を行ない、入力画像群に尤もよく当てはまる以下の式（３０）のモデルパラメータθを、式（３１）に従って決定する。
【０１８１】
【数２６】
2011090702.tif 000028
【０１８２】
ここで、ｇi,j｛LR｝は、フレームi、画素jにおけるｄ｛LR｝,i,jの評価値であり、対象画素が虹彩領域か白目領域かによって、以下の式に従い、符合を反転させる。
【０１８３】
【数２７】
2011090702.tif 000029
【０１８４】
ラベリングｕijが撮影された画像内の虹彩領域を反映し、関数Ｇi,j｛LR｝は、眼球モデルから算出される虹彩領域を反映している。
【０１８５】
以上の処理により、ユーザが自由な方向を向いた状態の画像でキャリブレーションを行なうことができ、かつ、眼球モデルパラメータも決定できることになる。
【０１８６】
以下、視線方向の推定処理の手続きについては、実施の形態１と同様である。
（視線方向の推定）
すなわち、視線方向は眼球中心と虹彩中心を結ぶ３次元直線として与えられるものとしてモデル化する。画像上での眼球半径をｌ、画像上での眼球中心と虹彩中心とのｘ軸方向、ｙ軸方向の距離をｄx、ｄyとすると、視線方向とカメラ光軸とのなす角、つまり、視線方向を向くベクトルがｘ軸およびｙ軸との成す角ψx、ψyは次式で表される。
【０１８７】
【数２８】
2011090702.tif 000030
【０１８８】
以上のような実施の形態２の視線方向の推定装置、推定方法によっても、視線方向の推定について実施の形態１と同様の効果を奏することが可能である。
【０１８９】
（実験結果）
以上説明した手法の有効性を確認するため、実画像を用いた実験を行なった。まず、５０フレームの画像列を用いて、顔の位置・姿勢変化および眼球モデルパラメータのキャリブレーションを行なった。キャリブレーション用画像列の撮影に要した時間は約２秒であり、このときに得られた眼球半径および虹彩半径はそれぞれ１１．２１画素、６．２７画素であった。
【０１９０】
図２２は、キャリブレーションにより得られた顔モデルを用いて、視線推定を行なった結果を示す図である。ここで、被験者はそれぞれ右、正面、左の方向を注視しながら、顔の位置・向きを変化させている（白×印は眼球中心の投影位置推定値）。ここで、視線方向は両目それぞれで計算された視線方向の平均値としている。結果より、顔の位置・向き変化がある場合でも提案手法により視線方向が推定できていることがわかる。
【０１９１】
［実施の形態３]
実施の形態１および実施の形態２においては、まず、眼球モデルパラメータの推定処理を、たとえば、Ｎフレームの画像列を用いて行なってから、視線方向の推定処理に移っていた。このとき、視線方向の推定処理においては、虹彩中心を求めるために、たとえば、ハフ変換を用いた処理を行なうこととしていた。
【０１９２】
たとえば、実施の形態２においては、図１８において説明したとおり、眼球モデルパラメータの推定処理において、まず、ステップ１として、「眼球中心の初期値の算出」を行ない、次に、ステップ２として、「眼球モデルパラメータの推定」を非線形最適化処理により行なっていた。
【０１９３】
実施の形態３においては、さらに、視線方向の推定処理においても、虹彩中心位置を求めるために、「非線形最適化処理」を行なう例について説明する。
【０１９４】
そこで、視線方向の推定処理での非線形最適化処理について説明する前提として、まずは、眼球モデルパラメータの推定における「非線形最適化処理」について、もう一度簡単にまとめる。
【０１９５】
図２３は、このような眼球モデルパラメータの推定における「非線形最適化処理」を説明するための概念図である。
【０１９６】
図２３を参照して、Ｎフレームの画像列を用いて、たとえば、実施の形態２と同様にして、ステップ１として、ＲＡＮＳＡＣを用いて、「眼球中心位置初期値の算出」を行なう。なお、眼球中心位置初期値としては、このようにして求めた値を用いることに限定されず、たとえば、解剖学的な知見から得られた平均的な値を用いることも可能である。
【０１９７】
続いて、ステップ２として、得られた眼球中心位置を初期値として、入力画像群に対して眼球モデルを当てはめ最適なモデルパラメータを、逐次推定する。
【０１９８】
フレーム１〜フレームＮについて、目の周辺領域を切り出し、色および輝度情報をもとに、前述した式（２７）に従って、虹彩（黒目）、白目、肌領域の３種類にラベル付けを行なう。
【０１９９】
続いて、各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する（非線形最適化）。
【０２００】
すなわち、現時点のステップでのモデルパラメータに対応する、虹彩中心から画素ｉ，ｊ（フレームｉのｊ番目の画素）方向の虹彩半径ｒ｛LR｝,i,jを用いて、式（２８）で表される距離ｄ｛LR｝,i,jを評価する。
【０２０１】
この評価では、上述した式（３０）（３１）を用いて、眼球モデルパラメータ（眼球半径、虹彩半径、眼球中心位置）を更新しつつ、眼球中心を再投影した画像とラベル付けされたフレームとを照合する処理を繰り返すことで、式（３１）を満たすようにモデルパラメータθを決定する。
【０２０２】
（非線形最適化を用いた視線方向推定）
以上のようにして、モデルパラメータが決定された後に、新たに観測される入力画像について、ここまでで得られた顔・眼球の３次元モデルを利用して、視線方向を推定する。
【０２０３】
図２４は、このような視線推定のために虹彩中位置を決定する処理を示す概念図である。ここで、このような虹彩中心位置の決定は、図１３で説明される視線方向推定処理のうち、ステップＳ２１２で行なわれる処理に対応する。
【０２０４】
時刻tにおける画像It（フレームｔ）に対し、まず顔特徴点の追跡を行なう。顔特徴点がｘ１（ｔ）（太字），…，ｘＭ（ｔ）（太字）の位置にそれぞれ観測されたとする。
【０２０５】
ここで、上述した式（８）（９）の行列Ｐ（ｋ）（太字）は４点以上の顔特徴点が観測されれば計算できる。よって画像Itにおける行列Ｐ（ｔ）（太字）と眼球中心の３次元位置Ｘ｛ＬＲ｝（太字）を用いて、画像Itにおける両目の眼球中心位置（２次元）ｘｅ｛ＬＲ｝（太字）は、以下のようにして計算できる。
【０２０６】
【数２９】
2011090702.tif 000031
【０２０７】
続いて、虹彩中心位置を推定する。上で求まった眼球中心位置をもとに目周辺領域を切り出し、眼球モデルパラメータの推定時と同様に、図２０で説明したように以下の式にしたがって、色および輝度情報をもとに虹彩(黒目)、白目、肌領域の３種類にラベル付けを行なう。
【０２０８】
【数３０】
2011090702.tif 000032
【０２０９】
続いて、やはり、図２１で説明した眼球モデルパラメータの推定時と同様に、以下の距離ｄ｛LR｝,i,jを用いて、各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する。
【０２１０】
【数３１】
2011090702.tif 000033
【０２１１】
ここで、ｒ｛LR｝,ｔ,jは、虹彩中心から画像Itの画素ｊ方向の虹彩半径を示しており、画像Itにおいて画素ｊが虹彩の外側にあれば、ｄ｛LR｝,ｔ,jは正の値を示す。
【０２１２】
ｒ｛LR｝,ｔ,jは、眼球中心位置、虹彩位置、眼球半径、虹彩半径の関数となるが、眼球中心位置、眼球半径、虹彩半径は、眼球モデルパラメータとして既に得られている。
【０２１３】
したがって、ｒ｛LR｝,ｔ,jは、虹彩位置ｘ｛ＬＲ｝，ｔ（太字）の関数と見なすことができるので、以下のように表現できる。
【０２１４】
【数３２】
2011090702.tif 000034
【０２１５】
よって、眼周辺の全画素についてｄ｛LR｝,ｔ,jの評価を行ない、画像Itに尤もよく当てはまるパラメータθ＝［ｘＬ，ｔ（太字），ｘＲ，ｔ（太字）］を、非線形最適化の手続きで決定することで、虹彩中心位置が計算できる。この非線形最適化の手続きにあたっては、以下の式について最適化を行なう。
【０２１６】
【数３３】
2011090702.tif 000035
【０２１７】
ここで、ｇｔ,j｛LR｝は、画像It、画素jにおけるｄ｛LR｝,ｔ,jの評価値であり、対象画素が虹彩領域か白目領域かによって、以下の式に従い、符合を反転させる。
【０２１８】
【数３４】
2011090702.tif 000036
【０２１９】
最後に、以上で求まった眼球中心位置と虹彩中心位置より視線方向を計算する。画像上での眼球半径をｌ、画像上での眼球中心と虹彩中心とのｘ軸方向、ｙ軸方向の距離をｄx、ｄyとすると、視線方向とカメラ光軸とのなす角、つまり、視線方向を向くベクトルがｘ軸およびｙ軸との成す角ψx、ψyは次式で表される。
【０２２０】
【数３５】
2011090702.tif 000037
【０２２１】
ただし、画像上での眼球半径ｌは３次元眼球半径と行列Ｐ（ｔ）から計算できる。
以上のような処理により、視線方向の推定処理において、虹彩位置を各フレームにおいて、非線形最適化により求めることとしたので、より高精度に視線方向の推定を行なうことが可能となる。
【０２２２】
[実施の形態４]
実施の形態２および実施の形態３においては、眼球モデルパラメータの推定処理については、既に述べた複数フレーム画像を入力としたＲＡＮＳＡＣによる初期値推定と非線形最適化の組合せを用いていた。
【０２２３】
しかし、実施の形態４では、実施の形態２または実施の形態３の構成において、「眼球モデルパラメータの推定処理」を、以下に説明するような「逐次型眼球モデル推定」の処理に置き換える。
【０２２４】
図２５は、このような眼球モデルパラメータの推定処理を「逐次型眼球モデル推定」の処理に置き換えた場合の処理の流れを説明する概念図である。なお、実施の形態４でも、キャリブレーション処理において、顔３次元モデルの生成処理が、複数枚の画像に基づいてなされているものとする。
【０２２５】
すなわち、実施の形態４の眼球モデルパラメータの推定処理については、既に述べた複数フレーム画像を入力としたＲＡＮＳＡＣによる初期値推定と非線形最適化の組合せではなく、平均的なモデルパラメータを初期値とした逐次型のアルゴリズムを用いることもできる。
【０２２６】
図２５を参照して、このアルゴリズムの実装例について説明している。まずアルゴリズムの開始時点では、被験者実験により対象ユーザの平均値を求めておく等の方法で得た眼球位置Ｘ０Ｌ（太字）、Ｘ０Ｒ（太字）、大きさ眼球半径ｌ０、虹彩半径ｒ０を初期パラメータとして、眼球モデルパラメータをたとえばハードディスク５４に保持している。
【０２２７】
ＣＰＵ５６は、第１フレームに対するラベリング結果および顔姿勢を入力として、初期パラメータを出発点として、実施の形態３で説明した視線方向推定の処理と同様の非線形最適化処理によって眼球モデルパラメータＸ１Ｌ（太字）、Ｘ１Ｒ（太字）、大きさ眼球半径ｌ１、虹彩半径ｒ１および第１フレームにおける虹彩中心位置ｘＬ，１（太字），ｘｒ，１（太字）を得て、たとえば、ハードディスク５４に格納する。得られた虹彩中心位置および眼球中心位置から第１フレームにおける視線方向を計算することができる。
【０２２８】
次フレーム以降の処理においては、前フレームで得られたモデルパラメータを初期値とし、新たに得られる入力データを加えて非線形最適化処理を行なうことでモデルパラメータの更新および当該フレームにおける虹彩中心位置の推定を行なうことができる。
【０２２９】
このような処理を行なうと、Ｎフレームの画像を取得して、キャリブレーション処理により、顔３次元モデルの生成した後、さらに、眼球モデルパラメータの推定処理の終了を待ってから、視線の推定処理を開始する場合に比べて、視線方向の推定処理を短時間で開始できるという利点がある。
【０２３０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２３１】
２０  視線方向の推定装置、３０  カメラ、４０  コンピュータ本体、４２  モニタ、５６０２  画像キャプチャ処理部、５６０４  画像データ記録処理部、５６０６  顔検出部、５６０８  顔領域抽出部、５６１０  特徴点抽出部、５６１２  虹彩中心抽出部、５６１４  相対関係特定部、５６１６  眼球中心推定部、５６１８  視線方向推定部、５６３０  表示制御部。
【図１】
2011090702.tif 000038
【図３】
2011090702.tif 000039
【図４】
2011090702.tif 000040
【図６】
2011090702.tif 000041
【図９】
2011090702.tif 000042
【図１０】
2011090702.tif 000043
【図１１】
2011090702.tif 000044
【図１３】
2011090702.tif 000045
【図１７】
2011090702.tif 000046
【図１８】
2011090702.tif 000047
【図１９】
2011090702.tif 000048
【図２１】
2011090702.tif 000049
【図２】
2011090702.tif 000050
【図５】
2011090702.tif 000051
【図７】
2011090702.tif 000052
【図８】
2011090702.tif 000053
【図１２】
2011090702.tif 000054
【図１４】
2011090702.tif 000055
【図１５】
2011090702.tif 000056
【図１６】
2011090702.tif 000057
【図２０】
2011090702.tif 000058
【図２２】
2011090702.tif 000059
【図２３】
2011090702.tif 000060
【図２４】
2011090702.tif 000061
【図２５】
2011090702.tif 000062
【手続補正書】
【提出日】平成23年1月11日(2011.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人間の顔領域を含む画像を獲得するための撮影手段と、
前記撮影手段により撮影された前記人間の顔領域を含む画像から顔の位置・姿勢の基準位置・姿勢に対する相対的な変化を特定する相対関係特定手段と、
特定された前記顔の位置・姿勢の相対的な変化に基づいて、前記人間の眼球中心位置を推定する眼球中心推定手段と、
前記画像領域内において、虹彩を抽出し虹彩中心位置を抽出する虹彩中心抽出手段と、
抽出された前記虹彩中心位置と推定された前記眼球中心位置とに基づいて、視線方向を推定する視線推定手段とを備える、視線方向の推定装置。
【手続補正書】
【提出日】平成23年2月24日(2011.2.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
この発明のある局面に従うと、視線方向の推定装置であって、視線推定の対象となる人間の顔領域を含む対象画像領域内の各画素に対応する画像を、時間軸で連続する複数の画像フレームとして撮影して獲得するための単眼の撮像手段と、前記撮像手段により撮影された前記複数の画像フレームに基づき、前記顔領域内の複数の特徴点を抽出する特徴点抽出手段と、前記複数の画像フレームのうち前記対象となる人間についての視線の推定を行う推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記人間の眼球中心の３次元の位置である眼球中心位置を、前記推定処理の対象の画像フレームにおける推定初期位置として使用するために事前に特定する推定初期位置特定手段とを備え、前記推定初期位置特定手段は、前記推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記対象となる人間の顔３次元モデルに基づいて、前記抽出された特徴点間の相対的な３次元の位置関係を特定し、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、前記相対的な３次元の位置関係において前記推定初期位置を特定し、前記推定処理の対象の画像フレームにおいて、予め特定された前記相対的な３次元の位置関係を用いて、前記推定初期位置に基づき、前記眼球中心位置の推定処理を実行する眼球中心推定手段と、前記推定処理の対象の前記画像フレームの画像領域内において、虹彩の領域と前記虹彩の形状のモデルとを照合することで、虹彩中心が前記画像に投影される虹彩中心位置を抽出する虹彩中心抽出手段と、前記推定処理の対象の前記画像フレームの画像において抽出された前記虹彩中心位置と前記眼球中心の位置とに基づき、前記眼球中心と前記虹彩中心とを結ぶ３次元直線の方向として、視線方向を推定する視線推定手段とをさらに備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
好ましくは、前記推定初期位置特定手段は、前記視線推定の対象となる人間が、前記撮像手段を注視していない状態の画像フレームに基づき、前記顔３次元モデルを生成する顔モデル生成手段を含み、前記顔モデル生成手段は、前記特徴点抽出手段により抽出された眼球中心以外の特徴点間の相対的な位置関係を特定し、複数の画像フレームの各々における虹彩中心位置と前記撮像手段の姿勢情報とから、正規化された顔座標における眼球中心位置の初期位置を特定して、校正用画像の目の周辺領域から、虹彩、白目、肌領域を判別して、眼球中心位置、虹彩位置、眼球半径、虹彩半径が、判別結果にフィットするように特定することで、前記顔３次元モデルを生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
好ましくは、前記虹彩中心抽出手段は、前記特徴点抽出手段により特定された前記特徴点に対して、校正時に特定されている眼球３次元モデルに基づき、前記特徴点から求まる射影行列により、前記眼球中心位置の画像への投影位置を求め、前記眼球３次元モデルにより、前記虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように虹彩中心位置を特定し、前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
好ましくは、前記推定初期位置特定手段は、前記視線推定の対象となる人間以外の複数の被験者について、事前に、前記顔３次元モデルの生成を行い、予め複数の前記被験者について求めた平均値として、顔座標における眼球中心位置の初期位置を特定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
好ましくは、前記虹彩中心抽出手段は、前記特徴点抽出手段により特定された前記特徴点に対して、上記初期位置を始めとして、現在のフレームよりも、前のフレームまでの非線形最適化処理により、各フレームごとに、眼球３次元モデルにより、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、虹彩中心位置および眼球中心位置を特定し、前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
好ましくは、前記推定初期位置特定手段は、前記特徴点抽出手段により抽出された複数の前記特徴点について、前記顔領域内での前記複数の特徴点の間の相対的な３次元の位置関係を特定する相対関係特定手段を含み、前記相対関係特定手段は、複数の較正用画像内の前記複数の特徴点の投影位置を抽出し、前記複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、前記計測行列を因子分解により、前記撮像手段の姿勢に関する情報を要素とする撮影姿勢行列と、前記複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
好ましくは、前記眼球中心推定手段は、撮影された画像フレーム内において観測された前記特徴点と前記較正用画像における特徴点との対応付けを行なう特徴点特定手段と、前記撮影された画像フレーム内において観測された前記特徴点についての前記相対位置関係行列の部分行列と、前記観測された特徴点とから前記眼球中心の投影位置を推定する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視線推定の対象となる人間の顔領域を含む対象画像領域内の各画素に対応する画像を、時間軸で連続する複数の画像フレームとして撮影して獲得するための単眼の撮像手段と、
前記撮像手段により撮影された前記複数の画像フレームに基づき、前記顔領域内の複数の特徴点を抽出する特徴点抽出手段と、
前記複数の画像フレームのうち前記対象となる人間についての視線の推定を行う推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記人間の眼球中心の３次元の位置である眼球中心位置を、前記推定処理の対象の画像フレームにおける推定初期位置として使用するために事前に特定する推定初期位置特定手段とを備え、
前記推定初期位置特定手段は、前記推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記対象となる人間の顔３次元モデルに基づいて、前記抽出された特徴点間の相対的な３次元の位置関係を特定し、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、前記相対的な３次元の位置関係において前記推定初期位置を特定し、
前記推定処理の対象の画像フレームにおいて、予め特定された前記相対的な３次元の位置関係を用いて、前記推定初期位置に基づき、前記眼球中心位置の推定処理を実行する眼球中心推定手段と、
前記推定処理の対象の前記画像フレームの画像領域内において、虹彩の領域と前記虹彩の形状のモデルとを照合することで、虹彩中心が前記画像に投影される虹彩中心位置を抽出する虹彩中心抽出手段と、
前記推定処理の対象の前記画像フレームの画像において抽出された前記虹彩中心位置と前記眼球中心の位置とに基づき、前記眼球中心と前記虹彩中心とを結ぶ３次元直線の方向として、視線方向を推定する視線推定手段とをさらに備える、視線方向の推定装置。
【請求項２】
前記推定初期位置特定手段は、
前記視線推定の対象となる人間が、前記撮像手段を注視していない状態の画像フレームに基づき、前記顔３次元モデルを生成する顔モデル生成手段を含み、
前記顔モデル生成手段は、前記特徴点抽出手段により抽出された眼球中心以外の特徴点間の相対的な位置関係を特定し、複数の画像フレームの各々における虹彩中心位置と前記撮像手段の姿勢情報とから、正規化された顔座標における眼球中心位置の初期位置を特定して、校正用画像の目の周辺領域から、虹彩、白目、肌領域を判別して、眼球中心位置、虹彩位置、眼球半径、虹彩半径が、判別結果にフィットするように特定することで、前記顔３次元モデルを生成する、請求項１記載の視線方向の推定装置。
【請求項３】
前記虹彩中心抽出手段は、
前記特徴点抽出手段により特定された前記特徴点に対して、校正時に特定されている眼球３次元モデルに基づき、前記特徴点から求まる射影行列により、前記眼球中心位置の画像への投影位置を求め、前記眼球３次元モデルにより、前記虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように虹彩中心位置を特定し、
前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する、請求項２記載の視線方向の推定装置。
【請求項４】
前記推定初期位置特定手段は、
前記視線推定の対象となる人間以外の複数の被験者について、事前に、前記顔３次元モデルの生成を行い、予め複数の前記被験者について求めた平均値として、顔座標における眼球中心位置の初期位置を特定する、請求項１記載の視線方向の推定装置。
【請求項５】
前記虹彩中心抽出手段は、
前記特徴点抽出手段により特定された前記特徴点に対して、上記初期位置を始めとして、現在のフレームよりも、前のフレームまでの非線形最適化処理により、各フレームごとに、眼球３次元モデルにより、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、虹彩中心位置および眼球中心位置を特定し、
前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する、請求項４記載の視線方向の推定装置。
【請求項６】
前記推定初期位置特定手段は、
前記特徴点抽出手段により抽出された複数の前記特徴点について、前記顔領域内での前記複数の特徴点の間の相対的な３次元の位置関係を特定する相対関係特定手段を含み、
前記相対関係特定手段は、
複数の較正用画像内の前記複数の特徴点の投影位置を抽出し、前記複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、
前記計測行列を因子分解により、前記撮像手段の姿勢に関する情報を要素とする撮影姿勢行列と、前記複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む、請求項１記載の視線方向の推定装置。
【請求項７】
前記眼球中心推定手段は、
撮影された画像フレーム内において観測された前記特徴点と前記較正用画像における特徴点との対応付けを行なう特徴点特定手段と、
前記撮影された画像フレーム内において観測された前記特徴点についての前記相対位置関係行列の部分行列と、前記観測された特徴点とから前記眼球中心の投影位置を推定する、請求項６記載の視線方向の推定装置。