(57)【要約】【課題】撮像された人物の画像中から、その人物の黒目の中心位置が正確に計測でき、かつ、高精度な視線方向計測をも実現できるようにする。【課題を解決するための手段】視線方向算出部２９は、黒目検出部２５から出力される黒目の形状データと、顔方向計測部２７から出力される顔方向の計測データとに基づき、所定の演算処理を行うことによって、入力した人物の顔画像における視線方向を算出する。黒目形状検出ユニット１９において得られた高精度な黒目形状の情報を基にして、人物の顔画像の視線方向を計測することが可能になる。検出した瞼の輪郭情報を基に、黒目と白目の領域部分を推定することができるので、黒目の形状を高精度に推定することが可能になる。【選択図】図２
2010033305.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像中から顔画像領域を検出する顔画像領域検出部と、
前記顔画像領域検出部が検出した顔画像領域中から瞼領域の輪郭を検出する瞼領域輪郭検出部と、
前記瞼領域輪郭検出部が検出した前記瞼領域の輪郭を基にして、前記顔画像領域中から黒目領域の形状を検出する黒目領域検出部と、
を備え、
前記黒目領域検出部が検出した黒目領域の形状に基づき、前記黒目領域に係わる瞳孔の位置を推定するようにした画像情報処理装置。
【請求項２】
請求項１記載の画像情報処理装置において、
前記瞼領域輪郭検出部が、前記顔画像領域検出部により検出された前記顔画像領域のサイズに基づき最適な瞼輪郭モデルを生成し、該生成した最適な瞼輪郭モデルを用いて前記顔画像領域における瞼領域の輪郭点を検出して該瞼領域の位置を決定することにより瞼領域の輪郭を検出する画像情報処理装置。
【請求項３】
請求項２記載の画像情報処理装置において、
前記瞼領域輪郭検出部が、前記瞼輪郭モデルを前記顔画像領域に重ね合わせることにより、前記顔画像領域において最も瞼領域らしいと評価される箇所を前記瞼領域の位置であると判断する画像情報処理装置。
【請求項４】
請求項３記載の画像情報処理装置において、
前記評価が、前記瞼輪郭モデルにおける各々の輪郭点の位置毎にそれらの特徴量を抽出して輪郭点としての尤度を算出すると共に、算出した尤度の総和を求めることによって行われる画像情報処理装置。
【請求項５】
請求項３記載の画像情報処理装置において、
前記瞼領域輪郭検出部による前記瞼領域の位置決定が、前記瞼領域の輪郭を画定するための各輪郭点の最適位置を、夫々所定の範囲内において探索し、従前の探索において決定した前記各輪郭点の位置を、より適正と判断され得る位置へと更新するための処理を含む画像情報処理装置。
【請求項６】
請求項１記載の画像情報処理装置において、
前記顔画像領域検出部が検出した顔画像領域から、前記顔画像を撮像された人物の顔面の向いている方向を示す値を計測する顔方向計測部、
を更に備える画像情報処理装置。
【請求項７】
請求項６記載の画像情報処理装置において、
前記瞼領域輪郭検出部が、前記顔画像領域検出部により検出された前記顔画像領域のサイズ、及び前記顔方向計測部により計測された前記顔面の向いている方向を示す値に基づき最適な瞼輪郭モデルを生成し、該生成した最適な瞼輪郭モデルを用いて前記顔画像領域における瞼領域の輪郭点を検出して該瞼領域の位置を決定することにより瞼領域の輪郭を検出する画像情報処理装置。
【請求項８】
請求項１又は請求項６記載の画像情報処理装置において、
前記黒目領域検出部が、前記顔方向計測部により計測された前記顔面の向いている方向を示す値、及び所定の瞼輪郭モデルに基づき、前記顔画像領域における眼球領域の形状を推定し、該推定した眼球領域の形状に基づき、黒目領域の位置を探索して、黒目領域の中心位置と、該黒目領域の形状とを決定するようにした画像情報処理装置。
【請求項９】
請求項８記載の画像情報処理装置において、
前記眼球領域の形状を推定する処理では、少なくとも眼球領域の中心、眼球領域の半径、及び黒目領域の半径の各データが用いられる画像情報処理装置。
【請求項１０】
入力された画像中から顔画像領域を検出する第１のステップと、
前記第１のステップにおいて検出された顔画像領域中から瞼領域の輪郭を検出する第２のステップと、
前記第２のステップにおいて検出された前記瞼領域の輪郭を基にして、前記顔画像領域中から黒目領域の形状を検出する第３のステップと、
前記第３のステップにおいて検出された黒目領域の形状に基づき、前記黒目領域に係わる瞳孔の位置を推定する第４のステップと、
を備える画像情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像中から顔画像領域を検出して所定の画像処理動作を実行する画像情報処理方法、及び装置に関する。
【背景技術】
【０００２】
従来、映像中の人物が、特定の意図を持つ人物（不審人物）かどうかを、自動的に検出できるようにすることを目的とした手法が開発されている。該手法は、上記人物の視線方向に係わる情報から、行動意図を示す情報を複数抽出することにより上記検出を行うもので、抽出された視線方向に係わる情報から注視特徴量（特定方向への総注視時間、視線遷移回数、平均注視時間、ちら見回数や、視線分散値、視線の平均移動量、一般的な視線パターンとの距離）を抽出することにより、上記人物が不審人物かどうかを判別するようになっている（例えば、特許文献１参照）。
【０００３】
また、従来、撮像された顔の画像から、視線方向を精度良く検出することが出来るようにすることを目的とした手法も開発されている。該手法は、瞳孔の中心位置を検出するために、画像中から、黒目の形状を検出するものであるが、その一例としては、楕円ハフ変換によって黒目の楕円輪郭を求めるものが挙げられる。一般に、瞳孔の中心位置を計測するには、黒目の輪郭を検出し、該黒目の中心位置から瞳孔の中心を推定することが必要なため、上記手法が適用される（例えば、特許文献２参照）。
【０００４】
【特許文献１】特開２００７−６４２７号公報
【特許文献２】特許第３７９７２５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に開示されている技術では、眼球の中心位置と、瞳孔の中心位置のなす角度を計測することにより、該人物の視線方向を計測しているが、上記瞳孔の中心位置の検出方法については、具体的な技術手法が開示されていない。
【０００６】
また、特許文献２に開示されている技術では、黒目の輪郭の検出が必要であるが、実際の黒目は、瞼によって輪郭の一部が隠されているので、黒目の全体形状（輪郭の形状）は画像上には現れない。その為、上記画像上から、黒目の輪郭の全体形状を検出するのは困難である。
【０００７】
例えば、上述した楕円ハフ変換等の画像処理を行って、人物の画像中から、その黒目の輪郭を検出する場合、黒目の輪郭の全体が画像上に現れていないがゆえに、画像上に現れている黒目の輪郭部分のみを検出したりする不具合や、白目部分の周辺部位を誤検出したりする不具合が生じ得る。その結果として、黒目の輪郭の検出に依存する瞳孔の中心位置を検出する精度も低下することになり、上記画像中の人物の視線方向の計測に大きな誤差が生じてしまうという問題があった。
【０００８】
従って本発明の目的は、撮像された人物の画像中から、該人物の黒目の中心位置が正確に計測でき、かつ、高精度な視線方向計測をも実現できるようにすることにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点に従う画像情報処理装置は、入力された画像中から顔画像領域を検出する顔画像領域検出部と、上記顔画像領域検出部が検出した顔画像領域中から瞼領域の輪郭を検出する瞼領域輪郭検出部と、上記瞼領域輪郭検出部が検出した上記瞼領域の輪郭を基にして、上記顔画像領域中から黒目領域の形状を検出する黒目領域検出部と、を備え、上記黒目領域検出部が検出した黒目領域の形状に基づき、上記黒目領域に係わる瞳孔の位置を推定するようにしている。
【００１０】
本発明の第１の観点に係る好適な実施形態では、上記瞼領域輪郭検出部が、上記顔画像領域検出部により検出された上記顔画像領域のサイズに基づき最適な瞼輪郭モデルを生成し、その生成した最適な瞼輪郭モデルを用いて上記顔画像領域における瞼領域の輪郭点を検出してその瞼領域の位置を決定することにより瞼領域の輪郭を検出する。
【００１１】
上記とは別の実施形態では、上記瞼領域輪郭検出部が、上記瞼輪郭モデルを上記顔画像領域に重ね合わせることにより、上記顔画像領域において最も瞼領域らしいと評価される箇所を上記瞼領域の位置であると判断する。
【００１２】
また、上記とは別の実施形態では、上記評価が、上記瞼輪郭モデルにおける各々の輪郭点の位置毎にそれらの特徴量を抽出して輪郭点としての尤度を算出すると共に、算出した尤度の総和を求めることによって行われる。
【００１３】
また、上記とは別の実施形態では、上記瞼領域輪郭検出部による上記瞼領域の位置決定が、上記瞼領域の輪郭を画定するための各輪郭点の最適位置を、夫々所定の範囲内において探索し、従前の探索において決定した上記各輪郭点の位置を、より適正と判断され得る位置へと更新するための処理を含む。
【００１４】
また、上記とは別の実施形態では、上記顔画像領域検出部が検出した顔画像領域から、上記顔画像を撮像された人物の顔面の向いている方向を示す値を計測する顔方向計測部、を更に備える。
【００１５】
また、上記とは別の実施形態では、上記瞼領域輪郭検出部が、上記顔画像領域検出部により検出された上記顔画像領域のサイズ、及び上記顔方向計測部により計測された上記顔面の向いている方向を示す値に基づき最適な瞼輪郭モデルを生成し、その生成した最適な瞼輪郭モデルを用いて上記顔画像領域における瞼領域の輪郭点を検出してその瞼領域の位置を決定することにより瞼領域の輪郭を検出する。
【００１６】
また、上記とは別の実施形態では、上記黒目領域検出部が、上記顔方向計測部により計測された上記顔面の向いている方向を示す値、及び所定の瞼輪郭モデルに基づき、上記顔画像領域における眼球領域の形状を推定し、その推定した眼球領域の形状に基づき、黒目領域の位置を探索して、黒目領域の中心位置と、その黒目領域の形状とを決定するようにしている。
【００１７】
更に、上記とは別の実施形態では、上記眼球領域の形状を推定する処理では、少なくとも眼球領域の中心、眼球領域の半径、及び黒目領域の半径の各データが用いられる。
【００１８】
本発明の第２の観点に従う画像情報処理方法は、入力された画像中から顔画像領域を検出する第１のステップと、上記第１のステップにおいて検出された顔画像領域中から瞼領域の輪郭を検出する第２のステップと、上記第２のステップにおいて検出された上記瞼領域の輪郭を基にして、上記顔画像領域中から黒目領域の形状を検出する第３のステップと、上記第３のステップにおいて検出された黒目領域の形状に基づき、上記黒目領域に係わる瞳孔の位置を推定する第４のステップと、
を備える。
【発明の効果】
【００１９】
本発明によれば、撮像された人物の画像中から、該人物の黒目の中心位置が正確に計測でき、かつ、高精度な視線方向計測をも実現できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００２１】
図１は、本発明の第１の実施形態に係る画像情報処理システムの全体構成を示す機能ブロック図である。
【００２２】
上記画像情報処理システムは、図１に示すように、撮像装置１００と、視線方向計測装置２００と、出力装置３００とを備える。視線方向計測装置２００は、画像入力部１と、画像メモリ３と、視線方向演算部（CPU）５と、RAM７と、ROM９と、計測結果記録部１１と、出力インタフェース（出力I/F）１３とを備え、上記各部（１〜１３）が、バスライン１５により相互に接続される構成となっている。
【００２３】
図１において、撮像装置１００には、例えば、ディジタルビデオカメラのような、１台又は複数台の、可動物体の撮像が可能な機器が用いられる。撮像装置１００は、撮影した可動物体（例えば、人物の顔画像）を画像入力部１に出力する。
【００２４】
画像入力部１は、CPU５の制御下で、上記撮像装置１００から出力される画像情報を入力すると共に、該入力した画像情報を、バスライン１５を通じて画像メモリ３へ出力する。
【００２５】
画像メモリ３は、CPU５の制御下で、画像入力部１からバスライン１５を通じて出力される上記画像情報を、所定の記憶エリアに格納する。画像メモリ３は、また、CPU５からの情報読み出し要求に応じて、格納している画像情報を、バスライン１５を通じてCPU５へ出力する。
【００２６】
RAM７には、例えば、CPU５が上記画像情報に対し、所定の演算処理動作を実行するに際しての、CPU５が上記画像情報を展開するのに必要な記憶領域を提供するようになっている。
【００２７】
ROM９には、CPU５が視線方向計測装置２００を構成する各部の動作を制御し、管理するのに必要な制御プログラムを内蔵すると共に、不揮発性固定データを記憶する。ROM９は、また、CPU５からのデータ読み出し要求に応じて、記憶している上記不揮発性固定データを、バスライン１５を通じてCPU５へ出力する。
【００２８】
計測結果記録部１１は、CPU５が上記画像情報に対し、所定の演算処理動作を行うことにより得られる各種データ、例えば、上記画像情報に含まれる人物の視線方向に係わる計測データを記録する。計測結果記録部１１は、CPU５からのデータ読み出し要求に応じて、記録している上記計測データを、バスライン１５、及び出力I/F１３を通じて出力装置３００へ出力する。CPU５による上記演算処理動作の詳細、及び計測結果記録部１１に記録される計測データの詳細については、後述する。
【００２９】
出力I/F１３は、CPU５の制御下で、出力装置３００と接続し、計測結果記録部１１からバスライン１５を通じて出力される上記計測データを、出力装置３００へ出力する。
【００３０】
出力装置３００には、例えば、ディスプレイ（モニタ）、プリンタ、及びPC（パーソナルコンピュータのこと。以下同じ）等が用いられる。出力装置３００がモニタである場合には、撮像装置１００が撮影した画像情報が、可視画像情報として表示出力される。また、出力装置３００がプリンタである場合には、計測結果記憶部１１から出力I/F１３を通じて出力される、上記計測データに係わるハードコピーが出力される。更に、出力装置３００が、PCである場合には、上記計測データが、ユーザに視認され得る態様で出力される。
【００３１】
図２は、図１に記載のCPU（視線方向演算部）５の内部構成を示す機能ブロック図である。
【００３２】
CPU５は、図２に示すように、黒目形状検出ユニット１９、顔方向計測部２７、及び視線方向算出部２９の各機能ブロックで夫々示される諸機能を備える。即ち、黒目形状検出ユニット１９は、バスライン１５を通じて入力した画像情報から、人物の顔画像を検出し、該人物の黒目領域の形状を高精度に検出するように構成されているもので、黒目形状検出ユニット１９は、顔検出部２１、瞼輪郭検出部２３、及び黒目検出部２５の各機能ブロックで夫々示される諸機能を備える。
【００３３】
顔検出部２１は、入力された画像情報に対し所定の画像処理を行うことによって、該入力画像情報中に含まれる人物の顔画像を検出する。上記入力画像情報中に、複数の顔画像がある場合には、顔検出部２１は、上記顔画像の個数分だけ検出動作を実行する。顔検出部２１により検出された上記人物の顔画像情報は、瞼輪郭検出部２３、及び顔方向計測部２７に夫々出力される。
【００３４】
瞼輪郭検出部２３は、顔検出部２１より出力される顔画像の領域中から、所定の画像処理を行うことにより、左右両眼の瞼領域の輪郭を検出する。該検出結果は、瞼輪郭検出部２３から黒目検出部２５へ出力される。なお、顔検出部２１によって検出された顔画像が複数ある場合には、瞼輪郭検出部２３における上記処理動作は、上記各々の顔画像毎に実行される。
【００３５】
顔方向計測部２７は、顔検出部２１から出力される上記顔画像情報を入力し、該顔画像の顔方向（顔の向き）の計測処理を行う。該計測によって得られたデータは、顔方向計測部２７から視線方向算出部２９へ出力される。
【００３６】
黒目検出部２５は、瞼輪郭検出部２３から出力される瞼領域の輪郭情報を利用して、所定の処理動作を実行することにより、該瞼領域の内側部分（該瞼領域によって覆われている画像領域の部分）である黒目領域と白目領域とに係わる情報のみから、該黒目領域の形状を検出する。なお、顔検出部２１によって検出された顔画像が複数ある場合には、黒目検出部２５における上記処理動作は、上記各々の顔画像毎に実行される。黒目検出部２５によって得られた黒目領域の形状データは、黒目検出部２５から視線方向算出部２９へ出力される。
【００３７】
視線方向算出部２９は、黒目検出部２５から出力される上記黒目領域の形状データと、顔方向計測部２７から出力される顔方向の計測データとに基づき、所定の演算処理を行うことによって、上記人物の顔画像における視線方向を算出する。上記構成によれば、黒目形状検出ユニット１９において得られた高精度な黒目領域の形状の情報を基にして、該黒目領域を有する人物の顔画像の視線方向を計測することが可能になる。また、検出した瞼領域の輪郭情報を基に、黒目領域の部分と白目領域の部分とを推定することができるので、黒目領域の形状を高精度に推定することが可能になる。
【００３８】
図３は、図２に記載の瞼輪郭検出部２３が、上述した瞼領域の輪郭検出を行う際に用いる瞼輪郭モデル３１の一例を示す模式図である。
【００３９】
図３に示すように、瞼輪郭モデル３１は、入力された顔画像において、瞼領域の輪郭を画定するための複数の点（３３〜４７、以下「輪郭点」若しくは「エッジ点」と表記する。）（図３に示す例では、８個の輪郭点）で構成される。上記瞼輪郭モデル３１は、上述した各輪郭点（３３〜４７）に加えて、互いに、位置的な関連が強い輪郭点同士を結ぶ複数の線分（４９〜６１）をも有する。
【００４０】
線分４９は、輪郭点３５と輪郭点４７との関連を示すものであり、線分５１は、輪郭点３５と輪郭点４５との関連を示すものであり、線分５３は、輪郭点３７と輪郭点４７との関連を示すものである。また、線分５５は、輪郭点３７と輪郭点４５との関連を示すものであり、線分５７は、輪郭点３７と輪郭点４３との関連を示すものであり、線分５９は、輪郭点３９と輪郭点４５との関連を示すものであり、更に、線分６１は、輪郭点３９と輪郭点４３との関連を示すものである。
【００４１】
図４は、図１に記載の撮像装置１００により撮影された実際の眼の画像領域に、図３に記載の瞼輪郭モデル３１を重ね合わせた状態を示す説明図である。
【００４２】
図４において、灰色で色付けされた領域６３は、黒目領域を示しており、該領域６３を除いた領域であって、上記瞼輪郭モデル３１によって画定される内周側の白色領域６５、６７は、白目領域を示している。なお、図４において、図３で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。図３で示した瞼輪郭モデル３１を、図４で示したように実際の眼の画像領域に適用することによって、瞼領域の形状を大きく損なうこと無しに、実際の眼の画像領域中から、瞼領域の輪郭点の形状を精度良く検出することが可能になる。
【００４３】
図５は、図２に記載の瞼輪郭検出部２３による瞼領域の輪郭検出の処理動作の一例を示すフローチャートである。
【００４４】
図５において、まず、瞼輪郭検出部２３は、顔検出部２１において得られた顔画像のサイズに係わる情報を入力する（ステップS７１）。次に、ステップS７１において入力した上記顔画像のサイズに係わる情報に基づき、瞼領域の輪郭のサイズを推定し、該推定結果に基づき、図３に示したような最適な瞼輪郭モデル３１を生成する。なお、該瞼輪郭モデル３１としては、右眼用の瞼輪郭モデルと、左眼用の瞼輪郭モデルとが夫々生成される。そして、生成された左眼用の瞼輪郭モデルが左眼の領域に、同じく生成された右眼用の瞼輪郭モデルが右眼の領域に、夫々重ね合わされることにより、左右夫々の眼の領域における瞼領域の輪郭点が検出される（ステップS７２）。
【００４５】
次に、左右夫々の眼の画像における、瞼領域の位置を決定するための処理動作が実行される。この処理動作においては、上述したように、瞼輪郭モデル３１を、上記入力顔画像における眼の領域の周辺領域に重ね合わせて瞼領域の所謂らしさの評価を行い、該評価が最も高い箇所、即ち、該眼の領域の周辺領域において最も瞼領域らしいと判断される箇所を瞼領域として決定する。この評価は、例えば、上述した瞼輪郭モデル３１における各々の輪郭点の位置毎にそれらの特徴量を抽出して輪郭点としての尤度を算出すると共に、算出した尤度の総和を求めることによって行われる。上記各々の輪郭点の位置毎の特徴量としては、例えば、エッジの値、Gaborフィルタの値、テンプレートマッチングによる類似度等が用いられる（ステップS７３）。
【００４６】
次に、上記瞼輪郭モデル３１における各々の輪郭点の最適な位置を探索するための処理を実行する。瞼領域の輪郭の形状は、個々の人物によっても異なるし、また、同一人物であっても表情の変化によって異なるため、各々の輪郭点毎に正確な位置を探索する必要がある。該処理動作においては、各々の輪郭点について、指定された範囲内においてのみ最適位置の探索を行うことによって、各々の輪郭点の位置の更新が行われる（ステップS７４）。
【００４７】
上述したステップS７４での処理動作が完了すると、再びステップS７４での処理動作、即ち、上記各々の輪郭点の位置の更新を行うかどうかをチェックする（ステップS７５）。該チェックの結果、再度更新を行うべきであると判断すれば（ステップS７５でYES）、ステップS７４に復帰する。一方、該チェックの結果、再度更新を行う必要が無いと判断すれば（ステップS７５でNO）、ステップS７４で更新された上記各々の輪郭点の位置を、最終的な位置に決定する。即ち、ステップS７４で更新された上記各々の輪郭点の位置が、上記眼の領域における、瞼領域の輪郭を構成するのに必要な各々の輪郭点の位置の検出結果となる（ステップS７６）。
【００４８】
なお、ステップS７５において、再度更新を行うべきでないと判断する場合（ステップS７５でNO）とは、ステップS７４で上記輪郭点の位置が１つも更新されなかった場合、又はステップS７４での処理回数が所定回数を超えた場合の何れかである。
【００４９】
上述した処理流れにより、入力した顔画像から撮像対象である人物が入れ替わったり、或いは、同一人物であっても表情が変化したりすることによって形状が大きく変化する瞼領域の輪郭の検出が可能になる。即ち、ステップS７３で示した眼の領域中での瞼領域の位置を求める処理動作、及びステップS７４で示した瞼領域における各々の輪郭点の位置の更新を行う処理動作とを分けることにより、眼の領域において精度良く瞼領域の輪郭を検出することができる。また、ステップS７４とステップS７５とにおいて、瞼領域を画定する全ての輪郭点の位置について、少しずつ更新する処理を繰り返すことにより、瞼輪郭として取り得るであろう形状を大きく損なうこと無しに上記各々の輪郭点の位置を決定することが可能になる。
【００５０】
図６は、図２に記載の黒目検出部２５による黒目領域検出の処理動作の態様の一例を示す模式図である。
【００５１】
図６において、図６（a）は、視線方向演算部５に入力された顔画像（の眼の領域）に対し、瞼輪郭検出部２３において得られた瞼輪郭モデル３１の各輪郭点（３３乃至４７）を設定した状態を示す。上記顔画像における眼の領域８１は、上述した各輪郭点（３３乃至４７）の位置に係わる情報を基に、眼の領域の周辺領域だけを切り出した画像である。図６（b）も、図６（a）におけると同様に眼の領域８１を示しており、上記瞼輪郭モデル３１の各輪郭点（３３乃至４７）の位置に係わる情報を基に、眼の領域の周辺領域だけを切り出すことによって得られたものである。
【００５２】
図６（b）において、破線で示した曲線８３は、上記瞼輪郭モデル３１の各輪郭点（３３乃至４７）（の位置に係わる情報）から求めた眼球領域自体の輪郭を画定するための輪郭線であると共に、眼球領域と該眼球領域の周辺領域（即ち、瞼領域）との境界線にもなっている。図６（b）では、上記境界線と、上記輪郭線とは、共に曲線８３で表されているが、上記境界線を、上記輪郭線の内側、即ち、上記曲線８３の内側に設定するようにしても差し支えない。このように、上記境界線を上記曲線８３の内側に設定することで、照明の関係で生じる白目領域の部分に対する影の影響等を取り除くことができ、それにより黒目領域の形状を高い精度で推定することが可能になる。
【００５３】
また、黒目領域、及び白目領域だけが検出された上記眼の領域８１に対してのみ、エッジ画像処理が行われる。これにより、上記眼の領域８１外におけるノイズや、瞼領域の輪郭線部分に対してはエッジが現れず、黒目領域と白目領域との境界部分のエッジのみが現れるエッジ画像を得ることができる。上記エッジ画像に対し、楕円ハフ変換を行うことにより、黒目領域と白目領域との境界部分から黒目領域の形状を正確に推定することが可能になる。
【００５４】
図６（a）、及び図６（b）に夫々示す眼の領域８１から、黒目検出部２５により、例えば、図６（c）で示したような黒目領域が検出される。即ち、黒目検出部２５により、上記眼の領域８１から黒目領域の円形状を示す輪郭（線）８５が検出されると共に、このときの該黒目領域の中心位置（即ち、瞳孔の部分）８７が取得される。
【００５５】
上記眼の領域８１から瞼輪郭モデル３１の輪郭線が除去されなかった場合には、それによって、例えば図６（d）で示すような黒目領域が、黒目検出部２５の誤検出動作の結果として、黒目検出部２５から出力される。即ち、瞼輪郭モデル３１の輪郭線が、上記眼の領域８１中に残っていることで、図６（d）で示すように、瞼領域と白目領域との境界部分に反応して、黒目検出部２５が、白目領域を誤検出することが起こり得る。また、図６（d）において、符号８９で示すように、瞼（領域）の内側に隠れている黒目領域を無視した略円形状の画像領域を、黒目検出部２５が誤検出することがあり得るが、本実施形態に係る視線方向演算部５では、瞼輪郭モデル３１の輪郭線を構成する各輪郭点（３３乃至４７）から黒目領域、及び白目領域以外の画像領域を完全に除去することにより、上述したような黒目検出部２５による黒目領域の誤検出動作を防止することが可能になる。
【００５６】
なお、（図２で示した）顔方向計測部２７では、例えば、上述した特許文献１に開示されているような計測手法を適用することにより、事前の校正処理を行うこと無しに、入力された顔画像における顔方向を高精度に計測することができる。また、（図２で示した）視線方向算出部２９においても、上述した特許文献１に開示されているような計測手法を適用することにより、上記眼の領域８１において、眼球領域の中心位置と眼球領域の半径とを推定することにより、眼球領域の中心位置に対する瞳孔の中心位置のズレを求め、該求めた瞳孔の中心位置のズレから顔画像の視線方向が算出される。
【００５７】
以下に、顔画像の視線方向の算出方法について、より具体的に説明する。
【００５８】
ここで、視線方向の算出対象である眼球領域の半径をr、該眼球領域の中心位置をO、該眼球領域における瞳孔の中心位置をIとすれば、下記の（１）式により、顔画像の視線方向が算出される。
【００５９】
【数１】
2010033305.tif 000003
（１）式において、φeyeは、視線方向における水平方向の成分を、θeyeは、視線方向における垂直方向の成分を、夫々表している。また、Ixは、瞳孔の中心位置IのX座標を、Iyは、瞳孔の中心位置IのY座標を、Oxは、眼球領域の中心位置Oのx座標を、Oyは、眼球領域の中心位置Oのy座標を、夫々示している。ここで、瞳孔の中心位置Iは、黒目領域の中心位置Cと、瞳孔の中心位置Oとから推定することができる。
【００６０】
上述した算出方法を採用することにより、黒目領域の一部が瞼領域の輪郭内に隠れてしまう場合や、眼鏡や照明に起因する陰影が眼の領域周辺に現れる場合にも、その影響を除去して正確に黒目領域の形状を検出することができるので、顔画像の視線方向を正しく計測することができる。
【００６１】
図７は、本発明の第２の実施形態に係る、瞼輪郭モデル３１の各輪郭点（３３乃至４７）の位置探索を行うに際しての、顔画像における顔方向に応じた各輪郭点（３３乃至４７）の探索範囲の変更の仕方の一例を示す模式図である。
【００６２】
図７に記載の顔画像は、顔面が右方向（画像としては向かって左側）を向いている場合の該顔画像の右目領域の形状を示している。図７における各輪郭点（３３乃至４７）を夫々囲む破線で示す円形領域（９１乃至１０５）は、該各輪郭点（３３乃至４７）の探索範囲を示している。図７に示した例では、上記各輪郭点（３３乃至４７）の探索範囲は、必ずしも一律ではない。顔面の向き（方向）に応じて個々の輪郭点（３３乃至４７）毎に異なる探索範囲が設定される。即ち、顔面の向いている方向に位置する輪郭点については、探索範囲が狭く設定され、顔面の向いている方向と反対側に位置する輪郭点については、探索範囲が広く設定される。
【００６３】
各輪郭点（３３乃至４７）の探索範囲について、上記のように設定される理由は、顔面の向いている方向に位置する輪郭点は、顔面の中心に対してなす角度が大きいためであり、顔面の回転による輪郭点の位置の変化が小さくなるので、探索範囲を狭く設定することになる。これとは逆に、顔面の向いている方向とは反対側に位置する輪郭点については、顔面の向いている方向の変化によって、その位置が大きく変化することになるので、探索範囲を広く設定する必要があるからである。
【００６４】
図８は、本発明の第２の実施形態に係る瞼輪郭検出部（図２において、符号２３で示した）による瞼輪郭検出の処理動作の一例を示すフローチャートである。
【００６５】
本実施形態では、上記瞼輪郭検出部（２３）が、入力した顔画像における顔面の向いている方向を示す値を、（該瞼輪郭検出部２３と共に図２において示されている）顔方向計測部（２７）から取得する構成になっている。そのため、図８に記載のフローチャートでは、上記瞼輪郭検出部（２３）は、瞼輪郭検出のための一連の処理操作を実行するに際しては、まず、顔検出部２１から出力される顔画像のサイズ情報、及び該顔画像における顔面の向いている方向を示す値を入力することになる（ステップS１１１）。
【００６６】
上記輪郭検出部（２３）は、次に、ステップS１１１において入力した上記顔画像のサイズに係わる情報、及び上記顔面の向いている方向を示す値に基づき、瞼輪郭モデルを作成する。即ち、ステップS１１１において入力した上記顔画像のサイズに係わる情報、及び上記顔面の向いている方向を示す値のうちの上記顔面の向いている方向を示す値に適合するように、標準的な瞼輪郭モデル（３１）を回転させる処理を行って、入力した顔画像における瞼領域の輪郭形状に近似した瞼輪郭モデルを作成する（ステップS１１２）。
【００６７】
ステップS１１２において、上記のような瞼輪郭モデルが作成されると、該作成された瞼輪郭モデルを用いて図５で示したのと同様の処理動作が実行される（ステップS１１３乃至ステップS１１６）。即ち、ステップS１１３で示す処理動作は、図５においてステップS７３で示した処理動作と、ステップS１１４で示す処理動作は、図５においてステップS７４で示した処理動作と、ステップS１１５で示す処理動作は、図５においてステップS７５で示した処理動作と、ステップS１１６で示す処理動作は、図５においてステップS７６で示した処理動作と、夫々同一である。よって、ステップS１１３乃至ステップS１１６に係わる詳細な説明は省略する。
【００６８】
なお、図７で示した顔画像における顔方向に応じた各輪郭点（３３乃至４７）の変更の態様は、ステップS１１４で示した処理動作に係わるものである。
【００６９】
上述した処理流れにより、入力した顔画像における顔面の向いている方向が変化したことにより、瞼領域の輪郭形状が大きく変化した場合でも、変化した状態の顔画像を模した瞼輪郭モデルを、該変化した状態の顔画像に重ね合わせることによって検出処理を行うことができるので、該顔画像における瞼領域の輪郭を画定するための各輪郭点の検出を高精度に行うことが可能になる。また、図８におけるステップS１１４に示した処理動作と、ステップS１１５における処理動作（即ち、瞼輪郭モデルを構成する各輪郭点の位置を再更新することによる繰返し演算数）を大きく削減することができ、それにより、各輪郭点の位置を高速に探索することが可能になる。
【００７０】
また、上記手法によって各輪郭点の位置の探索範囲を決定することにより、入力した顔画像における瞼領域の輪郭として予想される移動範囲を推定すると共に、該推定した範囲内に探索範囲を制限することで、瞼領域の輪郭点をより高精度に検出することが可能になる。更に、探索処理を行う回数が減るため、上記探索処理に要する時間を削減することも可能になる。
【００７１】
図９は、本発明の第３の実施形態に係る、（図１に記載した）ＣＰＵ（視線方向演算部）（５）が、入力した顔画像中の眼球領域の形状を推定するに際して用いる眼球モデルの一例を示す模式図である。
【００７２】
本実施形態では、図９に示したような眼球モデル１２１を用いることにより、上記撮像された顔画像における眼球領域の中心位置O と、該眼球領域の半径r とを推定する。上記眼球モデル１２１では、瞼輪郭検出部２３が求めた上記顔画像中の瞼領域の輪郭のうち、目尻の位置をE１、目頭の位置をE２で夫々示すものとすれば、目尻の位置E１は、（該眼球モデル１２１における）眼球の中心位置Oに対し、Y軸中心にβ度、X軸中心にγ度の位置に存在すると定義することができる。同様にして、目頭の位置E２は、（該眼球モデル１２１における）眼球の中心位置Oに対し、Y軸中心にα度、X軸中心にγ度の位置に存在すると定義することができる。ここで、目尻の位置E１のX座標をE１ｘ、目頭の位置E２のX座標をE２ｘ、入力した顔画像における顔面の向いている方向をφｆａｃｅ、θｆａｃｅとすれば、下記の（２）式により、上記撮像された顔画像における眼球領域の半径rが算出される。
【００７３】
【数２】
2010033305.tif 000004
次に、（２）式により求めた上記撮像された顔画像における眼球領域の半径rから、該眼球領域の中心位置Oを示す座標（OX、OY）を、下記の（３）式により算出する。
【００７４】
【数３】
2010033305.tif 000005
上述した態様で、上記眼球モデル１２１を定義することにより、入力した顔画像における顔面の向いている方向と、上記顔画像中の瞼領域の輪郭形状とから、上記撮像された顔画像における眼球領域の半径rと、該眼球領域の中心位置Oとを推定することが可能になる。
【００７５】
図１０は、本発明の第３の実施形態に係る黒目領域検出の処理動作の態様の一例を示す模式図である。
【００７６】
図１０において、図１０（a）に示すような眼球推定モデル１２３は、所定の演算処理により求めた、（図２に記載の）視線方向演算部（５）が入力した顔画像における眼球領域の中心、及び半径を基に定義されるもので、上記眼球推定モデル（１２３）を、例えば、斜め横方向から見た状態を示している。図１０（a）に示した眼球推定モデル１２３における黒目領域１２９の半径は、上記眼球推定モデル１２３の半径等から決定される。図１０（a）に示した眼球推定モデル１２３において、黒目領域の中心位置１２５は、該眼球推定モデル１２３の中心位置、即ち、上述した眼球の中心位置１２７から矢印（ベクトル）１３１で示す距離だけ離間した位置に存在する。また、領域１２９は、黒目領域の中心位置１２５と、（上記態様にて決定される）黒目領域の半径と、を基にして得られる黒目領域である。
【００７７】
図１０（b）は、上述した眼球の中心位置１２７（即ち、該眼球推定モデル１２３の中心位置）を基に、図１０（a）に示した黒目領域の中心位置１２５を、回転移動させた場合の該黒目領域の各々の中心位置１２５１乃至１２５４と、各々の中心位置１２５１乃至１２５４に夫々対応する各々の推定黒目領域１２９１乃至１２９４との関係を示している。ここで、黒目領域の中心位置を変化させるということは、上記顔画像を撮像された人物が視線方向を変化させたことと等価である。
【００７８】
眼球の回転により、黒目領域の中心位置が符号１２５１で示した位置に存在する場合には、該中心位置１２５１に対応する推定黒目領域は、領域１２９１であり、同じく、眼球の回転により、黒目領域の中心位置が符号１２５２で示した位置に存在する場合には、該中心位置１２５２に対応する推定黒目領域は、領域１２９２である。また、眼球の回転により、黒目領域の中心位置が符号１２５３で示した位置に存在する場合には、該中心位置１２５３に対応する推定黒目領域は、領域１２９３であり、同じく、眼球の回転により、黒目領域の中心位置が符号１２５４で示した位置に存在する場合には、該中心位置１２５４に対応する推定黒目領域は、領域１２９４である。なお、領域１３３は、図１０（a）における黒目領域１２９と同一の領域である。
【００７９】
上述した各々の推定黒目領域１２９１乃至１２９４と、（図２に記載の）視線方向演算部（５）へ入力された顔画像とを比較対照することにより、上記何れかの推定黒目領域（１２９１乃至１２９４）のうちから最適な推定黒目領域（１２９１乃至１２９４の何れか１つ）を求めることになる。上記比較対照の処理において、何れの推定黒目領域（１２９１乃至１２９４の何れか）の位置が正しい黒目領域の位置であるかの評価は、例えば、図１０（a）や図１０（b）で示したような３次元の眼球モデルを２次面である画像平面上に投影したときに、エッジ点（既述の輪郭点）がどれだけ重なっているかや、黒目領域と白目領域とが正しいか等をチェックすることにより行われる。
【００８０】
そして、上記評価の結果、上述した眼球推定モデル１２３における上記各推定黒目領域（１２９１乃至１２９４）のうちで最も尤度の高かった位置を、上記眼球推定モデル１２３における黒目領域の位置として決定する。
【００８１】
上述したように、黒目領域の中心位置を変化させるということは、上記顔画像を撮像された人物が視線方向を変化させることと等価である。そのため、上述した黒目検出部（２５）（図２で示した）において取得された、眼球推定モデル１２３における眼球中心を基にした（眼球の）回転による黒目領域の中心位置の変化から、そのまま上記顔画像が撮像された人物の視線方向を求めることとしても差し支えない。
【００８２】
図１１は、本発明の第３の実施形態に係る（図２で示した）黒目検出部（２５）による黒目領域検出の処理動作の一例を示すフローチャートである。
【００８３】
本実施形態では、上記黒目検出部（２５）が、まず、入力した顔画像における顔面の向いている方向を示す値を、（図２で示した）顔方向計測部（２７）から、また、瞼輪郭モデルを、（図２で示した）瞼輪郭検出部（２３）から、夫々取得する構成になっている。そのため、図１１に記載のフローチャートでは、上記黒目検出部（２５）は、黒目領域検出のための一連の処理操作を実行するに際しては、まず、上記瞼輪郭検出部（２３）から出力される瞼輪郭モデルを入力すると共に、上記顔方向計測部（２７）から上記顔画像における顔面の向いている方向を示す値を入力することになる（ステップS１４１）。
【００８４】
上記黒目検出部（２５）は、次に、ステップS１４１において入力した上記瞼輪郭モデル（に係わる情報）、及び上記顔面の向いている方向を示す値に基づき、上記入力された顔画像における眼球領域の形状を推定する処理動作を実行する。ここで実行される眼球領域の形状の推定においては、例えば、眼球領域の中心、眼球領域の半径、黒目領域の半径等の各項目が用いられる（ステップS１４２）。次に、ステップS１４２で求めた眼球領域の形状を示す値（即ち、眼球領域の半径、及び黒目領域の半径等）を基に、上記顔画像における黒目領域の位置を探索する（ステップS１４３）。そして、ステップS１４３で得られた黒目領域の中心位置と、該黒目領域の形状とを決定する処理動作を実行する（ステップS１４４）。
【００８５】
上述した処理流れによれば、入力された顔画像における顔面の向いている方向に応じて、該顔画像における眼球領域の形状を推定することにより、今後生じ得る黒目領域の形状の変化を想定して、上記顔画像における黒目領域の位置を探索することができるため、該黒目領域における中心位置を、高精度に検出することが可能である。また、上記顔画像における黒目領域の探索範囲を不必要に拡大しなくて済むため、黒目領域の検出速度の高速化を図ることができる。
【００８６】
また、上述した処理動作を実行することにより、眼球領域の形状によって自ずから規制される範囲内において、黒目領域の推定を高精度に行うことが可能になる。また、上記３次元モデル（眼球推定モデル１２３）を用いた処理においては、黒目領域と白目領域との境界部分だけでなく、黒目領域内、及び白目領域内に含まれる全ての点を上述した評価に用いることができるので、たとえ眼の（画像）領域の解像度が低い場合であっても、黒目領域を高精度に計測することが可能になる。また、楕円ハフ変換等による手法では、エッジ点（輪郭点）のみを用いて上記評価を行うために、眼の（画像）領域の解像度が小さい場合には、上述した評価に利用できる（エッジ）点（輪郭点）の数が少なくなる上、エッジ（輪郭）にノイズが載り易く黒目領域等の計測精度が劣化する問題があるが、上記実施形態に係る手法を用いることによって、上記問題を解決することが可能になる。
【００８７】
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１の実施形態に係る画像情報処理システムの全体構成を示す機能ブロック図。
【図２】図１に記載したCPU（視線方向演算部）の内部構成を示す機能ブロック図。
【図３】図２に記載した瞼輪郭検出部が、瞼領域の輪郭検出を行う際に用いる瞼輪郭モデルの一例を示す模式図。
【図４】図１に記載した撮像装置により撮影された実際の眼の画像領域に、図３に記載した瞼輪郭モデルを重ね合わせた状態を示す説明図。
【図５】図２に記載した瞼輪郭検出部による瞼領域の輪郭検出の処理動作の一例を示すフローチャート。
【図６】図２に記載した黒目検出部による黒目領域検出の処理動作の態様の一例を示す模式図。
【図７】本発明の第２の実施形態に係る、瞼輪郭モデルの各輪郭点の位置探索を行うに際しての、顔画像における顔方向に応じた各輪郭点の探索範囲の変更の仕方の一例を示す模式図。
【図８】本発明の第２の実施形態に係る瞼輪郭検出部による瞼輪郭検出の処理動作の一例を示すフローチャート。
【図９】本発明の第３の実施形態に係るＣＰＵ（視線方向演算部）が、入力した顔画像中の眼球領域の形状を推定するに際して用いる眼球モデルの一例を示す模式図。
【図１０】本発明の第３の実施形態に係る黒目領域検出の処理動作の態様の一例を示す模式図。
【図１１】本発明の第３の実施形態に係る黒目検出部による黒目領域検出の処理動作の一例を示すフローチャート。
【符号の説明】
【００８９】
１  画像入力部
３  画像メモリ
５  視線方向演算部（CPU）
７  RAM
９  ROM
１１  計測結果記録部
１３  出力インタフェース（出力I/F）
１５  バスライン
１９  黒目形状検出ユニット
２１  顔検出部
２３  瞼輪郭検出部
２５  黒目検出部
２７  顔方向計測部
２９  視線方向算出部
１００  撮像装置
２００  視線方向計測装置
３００  出力装置
【図１】
2010033305.tif 000006
【図２】
2010033305.tif 000007
【図３】
2010033305.tif 000008
【図４】
2010033305.tif 000009
【図５】
2010033305.tif 000010
【図６】
2010033305.tif 000011
【図７】
2010033305.tif 000012
【図８】
2010033305.tif 000013
【図９】
2010033305.tif 000014
【図１０】
2010033305.tif 000015
【図１１】
2010033305.tif 000016