(57)【要約】【課題】取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出する。【解決手段】瞼尤度λｅｙｅｌｉｄ、第１の虹彩尤度λｉｒｉｓ１、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度λｉｒｉｓ２を演算し（１０８、１１６）、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度λｅｙｅｌｉｄ及び第１の虹彩尤度λｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度λｉｒｉｓ２によって小さくなるように補正した値を目尤度λとして演算し（１１０、１１８、１２２）、演算された最も大きい目尤度λに対応する第１のモデルパラメータ及び第２のモデルパラメータで表されるモデルの瞼の位置及び形状並びに虹彩位置を検出する（１２４）。【選択図】図６
2010102504.tif 000002
【特許請求の範囲】
【請求項１】
虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、
複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、
前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、
前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と前記画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、
前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、
前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段と、
を含む眼領域検出装置。
【請求項２】
前記第２の演算手段は、前記瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記瞼尤度との積の値を前記目尤度として演算する請求項１記載の眼領域検出装置。
【請求項３】
虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、
複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、
前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、
前記比較瞼モデルによって表される上瞼の位置及び形状と前記画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と前記画像に含まれる下瞼の位置及び形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、
前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、
前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段と、
を含む眼領域検出装置。
【請求項４】
前記第２の演算手段は、前記補正値によって前記補正した値と前記下瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記補正値によって前記補正した値と前記下瞼尤度との積の値を前記目尤度として演算する請求項３記載の眼領域検出装置。
【請求項５】
コンピュータを
複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、
前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、
前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び
前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段
として機能させるためのプログラム。
【請求項６】
コンピュータを
複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、
前記比較瞼モデルによって表される上瞼の位置及び形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と、前記画像に含まれる下瞼の形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、
前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び
前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼領域検出装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、視線の移動方向を検出するためにアイモデルを用いたコンデンセイション（Condensation）による黒目追跡の技術が知られている（例えば、非特許文献１参照）。非特許文献１に記載の技術では、瞼形状モデル（瞼モデル）のモデルパラメータ及び虹彩（黒目）輪郭モデル（虹彩モデル）のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更して、瞼形状モデルの形状及び虹彩輪郭モデルの輪郭が投影された画像座標（２次元座標）上で、上瞼と下瞼との間の範囲における虹彩輪郭モデルの輪郭の法線ベクトルと、対応する画像上の位置の輝度勾配ベクトルとの内積の平均値を虹彩の尤度として推定している。また、同様に、瞼形状モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼の尤度についても推定している。そして、推定された虹彩の尤度及び瞼の尤度に基づいて、瞼形状モデル及び虹彩輪郭モデルを含むアイモデル全体の尤度を推定している。例えば、アイモデル全体の尤度として、推定された虹彩の尤度と推定された瞼の尤度との積の値が用いられている。
【非特許文献１】北川洋介、加藤丈和、呉海元、和田俊和著「アイモデルを用いたCondensationによる黒目追跡」画像の認識・理解シンポジウム（MIRU2005）  インタラクティブセッション、pp.1343--1350、（2005）．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１に記載の技術では、例えば図９（Ａ）に示されるように、画像６０にノイズ６２が発生した場合には、この発生したノイズ６２が要因となって、画像６０に含まれる瞼の形状６４とは異なる瞼の形状６６を表す瞼形状モデル（すなわち、ノイズが発生していない場合に、推定される瞼の尤度が小さくなるような瞼形状モデル）であるにも関わらず、この瞼形状モデルに基づいて推定される瞼の尤度λｅｙｅｌｉｄ（図９（Ａ）の例では、例えば２０）が大きくなってしまうことが考えられる。例えば、図９（Ｂ）に示すような、画像６８に含まれる瞼の形状６４と一致する瞼の形状６４を表す瞼形状モデルに基づいて推定される瞼の尤度λｅｙｅｌｉｄ（図９（Ｂ）の例では、例えば２０）と、図９（Ａ）の場合における瞼の尤度λｅｙｅｌｉｄとが、同じ大きさになってしまうことが考えられる。
【０００４】
また、非特許文献１に記載の技術では、上記で説明したように、上瞼と下瞼との間の範囲でのみ、虹彩輪郭モデルの輪郭の法線ベクトルと、対応する画像上の位置の輝度勾配ベクトルとの内積の平均値を虹彩の尤度λｉｒｉｓとして推定している。このため、図９（Ａ）に示すような場合において推定される虹彩の尤度λｉｒｉｓの大きさ（図９（Ａ）の例では、例えば８）が、図９（Ｂ）に示すような場合において推定される虹彩の尤度λｉｒｉｓ（図９（Ｂ）の例では、例えば８）の大きさと同一になる場合が考えられる。
【０００５】
更に、非特許文献１に記載の技術では、上記で説明したように、アイモデル全体の尤度を、推定された虹彩の尤度λｉｒｉｓ及び瞼の尤度λｅｙｅｌｉｄに基づいて推定している。これにより、本来図９（Ａ）及び図９（Ｂ）の各々においてノイズが発生していないケースを想定した図９（Ｃ）及び図９（Ｄ）の各々が示すような状況である場合には、図９（Ｄ）において推定されるアイモデル全体の尤度λ（例えば瞼の尤度λｅｙｅｌｉｄを２０、虹彩の尤度λｉｒｉｓを８とすると、１６０（＝２０×８））は、図９（Ｃ）において推定されるアイモデル全体の尤度λ（例えば瞼の尤度λｅｙｅｌｉｄを１０、虹彩の尤度λｉｒｉｓを８とすると８０（＝１０×８））よりも大きくなる。しかしながら、ノイズが発生している図９（Ａ）及び図９（Ｂ）の各々が示すような状況である場合には、図９（Ｂ）において推定されるアイモデル全体の尤度λが、図９（Ａ）において推定されるアイモデル全体の尤度λよりも大きくならないときがある。例えば、図９（Ａ）及び図９（Ｂ）の両方の場合で、アイモデル全体の尤度λが１６０となるようなときがある。このため、ノイズが発生している場合には、良好な精度で瞼を検出することができなくなる、という問題がある。
【０００６】
本発明は、上記の問題を解決するために成されたものであり、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を精度良く検出することができる眼領域検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の眼領域検出装置は、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と前記画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段とを含んで構成されている。
【０００８】
本発明の眼領域検出装置によれば、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する。そして、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算し、最も大きい目尤度を有する目モデルを表す比較瞼モデル及び比較虹彩モデルの各々の第１のモデルパラメータ及び第２のモデルパラメータで表されるモデルの瞼の位置及び形状並びに虹彩位置を検出する。
【０００９】
本発明の眼領域検出装置によれば、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算している。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。
【００１０】
また、本発明の前記第２の演算手段を、前記瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記瞼尤度との積の値を前記目尤度として演算するようにしてもよい。
【００１１】
また、上記の目的を達成するために、本発明の第２の眼領域検出装置は、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段と、前記第１のモデルパラメータ及び前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段と、前記比較瞼モデルによって表される上瞼の位置及び形状と前記画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と前記画像に含まれる下瞼の位置及び形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段と、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段と、前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段とを含んで構成されている。
【００１２】
本発明の眼領域検出装置によれば、補正値によって補正した値、下瞼尤度、及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算している。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。
【００１３】
また、本発明の眼領域検出装置によれば、比較瞼モデルによって表される上瞼の位置及び形状と画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、画像に含まれる虹彩と比較瞼モデルによって表される上瞼との距離に応じてこの距離が大きくなるほど小さくなるように定めた補正値によって、この距離が大きくなるほど小さくなるように補正しているので、より良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。
【００１４】
また、本発明の前記第２の演算手段を、前記補正値によって前記補正した値と前記下瞼尤度と前記第１の虹彩尤度との和から前記第２の虹彩尤度を減算した値、または前記第１の虹彩尤度から前記第２の虹彩尤度を減算した値と前記補正値によって前記補正した値と前記下瞼尤度との積の値を前記目尤度として演算するようにしてもよい。
【００１５】
また、上記の目的を達成するために、本発明の第１のプログラムは、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、前記比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記瞼尤度及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段として機能させる。
【００１６】
本発明のプログラムによれば、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度をコンピュータに演算させる。そして、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算し、最も大きい目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置をコンピュータに検出させる。
【００１７】
本発明のプログラムによれば、瞼尤度及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として、コンピュータに演算させる。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。
【００１８】
また、上記の目的を達成するために、本発明の第２のプログラムは、コンピュータを複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデルの前記第１のモデルパラメータ、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルの前記第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成する作成手段、前記比較瞼モデルによって表される上瞼の位置及び形状と、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データの画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、前記画像に含まれる虹彩と前記比較瞼モデルによって表される上瞼との距離に応じて該距離が大きくなるほど小さくなるように定めた補正値によって、該距離が大きくなるほど小さくなるように補正した値、前記比較瞼モデルによって表される下瞼の位置及び形状と、前記画像に含まれる下瞼の形状とが一致する度合いを示す下瞼尤度、前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度、及び前記比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する前記比較虹彩モデルによって表される虹彩の輪郭と前記画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度を演算する第１の演算手段、前記比較瞼モデルの１つと前記比較虹彩モデルの１つとで表された目モデルの各々について、前記補正した値、前記下瞼尤度、及び前記第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を、前記第２の虹彩尤度によって小さくなるように補正した値を目尤度として演算する第２の演算手段、及び前記第２の演算手段によって演算された最も大きい前記目尤度を有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する検出手段として機能させる。
【００１９】
本発明のプログラムによれば、補正値によって補正した値、下瞼尤度、及び第１の虹彩尤度の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度によって小さくなるように補正した値を目尤度として、コンピュータに演算させる。これにより、例えば、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度が高くなってしまう場合であっても、この場合において演算される目尤度は第２の虹彩尤度によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度は、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度よりも低くなる。従って、本発明によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。
【００２０】
また、本発明のプログラムによれば、比較瞼モデルによって表される上瞼の位置及び形状と画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度を、画像に含まれる虹彩と比較瞼モデルによって表される上瞼との距離に応じてこの距離が大きくなるほど小さくなるように定めた補正値によって、この距離が大きくなるほど小さくなるように補正しているので、より良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。
【発明の効果】
【００２１】
以上説明したように、本発明の眼領域検出装置及びプログラムによれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して、本発明の眼領域検出装置の各実施の形態を詳細に説明する。
【００２３】
［第１の実施の形態］
まず、第１の実施の形態について説明する。図１に示すように、本実施の形態に係る眼領域検出装置１０は、撮影の対象となる対象物を撮影することにより眼領域の画像を含む画像の画像データを取得する取得手段としてのカメラ１２、表示装置１４、及びコンピュータ１６を備えている。なお、眼領域とは、図２に示すように、虹彩８６を含み、上瞼８０及び下瞼８２で囲まれた領域９０（以下、眼領域９０と称する）を指す。また、眼領域９０を含む画像とは、例えば、図２の例では、領域８８の画像を指す。また、同図に図示されるように、瞼８４は、上瞼８０及び下瞼８２からなる。また、撮影の対象となる対象物としては、例えば、眼領域を検出しようとする人物が考えられる。
【００２４】
表示装置１４は、入力された情報に基づいた表示を行うＬＣＤ（Liquid Crystal Display）またはＣＲＴ（Cathode Ray Tube）で構成されている。
【００２５】
コンピュータ１６は、Ｉ／Ｏ（入出力）ポート１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＨＤＤ（Hard Disk Drive）１６ｃ、ＣＰＵ（Central Processing Unit）１６ｄ、ＲＡＭ（Random Access Memory）１６ｅ、並びにこれらＩ／Ｏポート１６ａ、ＲＯＭ１６ｂ、ＨＤＤ１６ｃ、ＣＰＵ１６ｄ、及びＲＡＭ１６ｅを互いに接続するバス１６ｆを含んで構成されている。
【００２６】
記憶媒体としてのＲＯＭ１６ｂには、ＯＳ等の基本プログラムが記憶されている。
【００２７】
記憶媒体としてのＨＤＤ１６ｃには、詳細を以下で説明する眼領域検出処理の処理ルーチンを実行するためのプログラムが記憶されている。
【００２８】
また、ＨＤＤ１６ｃには、例えば、図３に示すような、右目の目じりに対応する点Ｐ１（＝（ｘ１，ｙ１，ｚ１））、右目の目頭に対応する点Ｐ３（＝（ｘ３，ｙ３，ｚ３））、右目の上瞼における目頭と目じりとの間に対応する点Ｐ２（＝（ｘ２，ｙ２，ｚ２））、右目の下瞼における目頭と目じりとの間に対応する点Ｐ４（＝（ｘ４，ｙ４，ｚ４））、左目の目頭に対応する点Ｐ５（＝（ｘ５，ｙ５，ｚ５））、左目の目じりに対応する点Ｐ７（＝（ｘ７，ｙ７，ｚ７））、左目の上瞼における目頭と目じりとの間に対応する点Ｐ６（＝（ｘ６，ｙ６，ｚ６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ８（＝（ｘ８，ｙ８，ｚ８））の各々を制御点として、これらの複数の制御点の各々を適宜定めて右目の上瞼の三次元の形状、右目の下瞼の三次元の形状、左目の上瞼の三次元の形状、及び左目の下瞼の三次元の形状（すなわち、左右の瞼の三次元の形状）をベジエ曲線によって定め、定められた左右の瞼の三次元の形状を画像座標に投影して得られた２次元の所定の瞼モデルが記憶されている。なお、所定の瞼モデルを形成するために用いた上記の制御点の各々を定める座標は、第１のモデルパラメータに対応する。
【００２９】
また、ＨＤＤ１６ｃには、図４及び図５に示すような、右目の虹彩輪郭の中心に対応する点Ｐ９、左目の虹彩輪郭の中心に対応する点Ｐ１０、ｘ−ｙ平面と平行で点Ｐ９を通る平面の回転角α９、β９、ｘ−ｙ平面と平行で点Ｐ１０を通る平面の回転角α１０、β１０、右目の虹彩円半径ｒ９、及び左目の虹彩円半径ｒ１０の各々を適宜定めて右目の虹彩の三次元の輪郭ｐｒｗ（θ）、及び左目の虹彩の三次元の輪郭ｐｌｗ（θ）を定め、定められた輪郭ｐｒｗ（θ）及びｐｌｗ（θ）を画像座標に投影して得られた所定の虹彩モデルｐｒＩ（θ）（右の虹彩モデル）及びｐｌＩ（θ）（左の虹彩モデル）が記憶されている。なお、所定の虹彩モデルｐｒＩ（θ）及びｐｌＩ（θ）を形成するために定めた上記の点Ｐ９、回転角α９、回転角β９、虹彩円半径ｒ９、点Ｐ１０、回転角α１０、回転角β１０、及び虹彩円半径ｒ１０の各々は、第２のモデルパラメータに対応する。
【００３０】
ＣＰＵ１４ｄは、プログラムをＲＯＭ１４ｂ及びＨＤＤ１４ｃから読み出して実行し、ＲＡＭ１４ｅには、各種データが一時的に記憶される。
【００３１】
Ｉ／Ｏポート１６ａには、カメラ１２及び表示装置１４が接続されている。
【００３２】
次に、コンピュータ１６のＣＰＵ１６ｄが実行する眼領域検出処理の処理ルーチンについて図６を用いて説明する。なお、本実施の形態において、眼領域検出処理は、眼領域検出装置１０のスイッチ（図示せず）がオンされた時点から所定時間間隔（例えば、数１０ｍｓｅｃ）毎に実行される。
【００３３】
まず、ステップ１００で、カメラ１２で撮影された画像の画像データを取り込む。
【００３４】
次のステップ１０２では、上記ステップ１００で取り込んだ画像データが表す画像から、眼領域を含む領域を抽出することにより眼領域を含む画像の画像データを取得する。ステップ１０２で眼領域を含む領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から眼領域を含む領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の眼領域を含む領域を選択するための領域選択手段により画像の上で眼領域を含む領域を選択することにより眼領域を含む領域を抽出する方法を用いてもよい。
【００３５】
次のステップ１０４では、第１のモデルパラメータ及び第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成するための比較モデル作成処理を実行する。ここで、ステップ１０４の比較モデル作成処理の処理ルーチンの詳細について図７を参照して説明する。
【００３６】
まず、ステップ２００では、ＨＤＤ１６ｃからモデルパラメータが初期値に設定された瞼モデル、並びにモデルパラメータが初期値に設定された虹彩モデルｐｌＩ（θ）及びｐｒＩ（θ）を読み込んで、読み込んだ瞼モデルを初期の比較瞼モデルとすると共に、読み込んだ虹彩モデルｐｌＩ（θ）及びｐｒＩ（θ）を初期の比較虹彩モデルとし、これらの比較瞼モデル及び比較虹彩モデルをＲＡＭ１６ｅに記憶させることにより、比較瞼モデル及び比較虹彩モデルを作成する。
【００３７】
ここで、比較瞼モデルは、後述する瞼尤度を演算する際の演算処理において、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる上瞼及び下瞼の各位置及び各形状と比較される瞼モデルである。また、比較虹彩モデルは、詳細を後述する第１の虹彩尤度及び第２の虹彩尤度を演算する際の演算処理において、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる虹彩の輪郭と比較される虹彩モデルである。
【００３８】
次のステップ２０２では、上記ステップ２００で作成された比較瞼モデルの右目の上瞼における目頭と目じりとの間に対応する点Ｐ２（＝（ｘ２，ｙ２，ｚ２））、及び右目の下瞼における目頭と目じりとの間に対応する点Ｐ４（＝（ｘ４，ｙ４，ｚ４））の組み合わせについて、点Ｐ２及び点Ｐ４の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ１及び点Ｐ３の座標の組み合わせの場合において未だ選択されていない点Ｐ２及び点Ｐ４の座標の組み合わせを１つ選択する。また、同様に、上記ステップ２００で作成された比較瞼モデルの左目の上瞼における目頭と目じりとの間に対応する点Ｐ６（＝（ｘ６，ｙ６，ｚ６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ８（＝（ｘ８，ｙ８，ｚ８））の組み合わせについて、点Ｐ６及び点Ｐ８の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ５及び点Ｐ７の座標の組み合わせの場合において未だ選択されていない点Ｐ６及び点Ｐ８の座標の組み合わせを１つ選択する。
【００３９】
次のステップ２０４では、現時点の点Ｐ２及び点Ｐ４の座標を、上記ステップ２０２で選択された点Ｐ２及び点Ｐ４の座標に変更し、変更後の点Ｐ２及び点Ｐ４の座標を含む第１のパラメータ（点Ｐ１〜点Ｐ４の各々の座標）を用いて右目の上瞼の三次元の形状及び右目の下瞼の三次元の形状（すなわち、右の瞼の三次元の形状）をベジエ曲線によって定め、定められた右の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右目の比較瞼モデルとする。また、同様に、現時点の点Ｐ６及び点Ｐ８の座標を、上記ステップ２０２で選択された点Ｐ６及び点Ｐ８の座標に変更し、変更後の点Ｐ６及び点Ｐ８の座標を含む第１のパラメータ（点Ｐ５〜点Ｐ８の各々の座標）を用いて左目の上瞼の三次元の形状及び左目の下瞼の三次元の形状（すなわち、左の瞼の三次元の形状）をベジエ曲線によって定め、定められた左の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左目の比較瞼モデルとする。そして、新たな右目の比較瞼モデル及び左目の比較瞼モデルを新たな比較瞼モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較瞼モデルを作成する。
【００４０】
次のステップ２０６では、上記ステップ２０２で、現時点の点Ｐ１及び点Ｐ３の座標の組み合わせの場合において、点Ｐ２及び点Ｐ４の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、現時点の点Ｐ５及び点Ｐ７の座標の組み合わせの場合において、点Ｐ６及び点Ｐ８の座標の組み合わせを全てのパターンについて選択したか否かを判定する。
【００４１】
ステップ２０６で、点Ｐ２及び点Ｐ４の座標の組み合わせ並びに点Ｐ６及び点Ｐ８の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、上記のステップ２０２に戻り、全てのパターンについて選択されていないと判定された組み合わせの座標に対応する処理を上記と同様に行う。
【００４２】
一方、ステップ２０６で、点Ｐ２及び点Ｐ４の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ６及び点Ｐ８の座標の組み合わせを全てのパターンについて選択したと判定された場合には、次のステップ２０８に進む。
【００４３】
次のステップ２０８では、下記で詳細を説明するステップ２１０において点Ｐ１及び点Ｐ３の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、点Ｐ５及び点Ｐ７の座標の組み合わせを全てのパターンについて選択したか否かを判定する。
【００４４】
ステップ２０８で、点Ｐ１及び点Ｐ３の座標の組み合わせ並びに点Ｐ５及び点Ｐ７の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、次のステップ２１０に進む。
【００４５】
ステップ２１０では、点Ｐ１及び点Ｐ３の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ１及び点Ｐ３の座標の組み合わせを１つ選択する。また、同様に、点Ｐ５及び点Ｐ７の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ５及び点Ｐ７の座標の組み合わせを１つ選択する。そして、ステップ２０４に戻る。なお、ステップ２１０からステップ２０４にもどった場合には、ステップ２０４では、点Ｐ２及び点Ｐ４の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ１及び点Ｐ３の座標の組み合わせの場合において未だ選択されていない点Ｐ２及び点Ｐ４の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ１及び点Ｐ３の座標を、直近の上記ステップ２１０において選択された点Ｐ１及び点Ｐ３の座標に変更すると共に、現時点の点Ｐ２及び点Ｐ４の座標を、直近の当該ステップ２０４で選択された点Ｐ２及び点Ｐ４の座標に変更し、変更後の点Ｐ１、点Ｐ２、点Ｐ３及び点Ｐ４の座標を含む第１のパラメータ（点Ｐ１〜点Ｐ４の各々の座標）を用いて右目の上瞼の三次元の形状及び右目の下瞼の三次元の形状（すなわち、右の瞼の三次元の形状）をベジエ曲線によって定め、定められた右の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右目の比較瞼モデルとする。また、ステップ２０４では、同様に、点Ｐ６及び点Ｐ８の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ５及び点Ｐ７の座標の組み合わせの場合において未だ選択されていない点Ｐ６及び点Ｐ８の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ５及び点Ｐ７の座標を、直近の上記ステップ２１０において選択された点Ｐ５及び点Ｐ７の座標に変更すると共に、現時点の点Ｐ６及び点Ｐ８の座標を、直近の当該ステップ２０４で選択された点Ｐ６及び点Ｐ８の座標に変更し、変更後の点Ｐ５、点Ｐ６、点Ｐ７及び点Ｐ８の座標を含む第１のパラメータ（点Ｐ５〜点Ｐ８の各々の座標）を用いて左目の上瞼の三次元の形状及び左目の下瞼の三次元の形状（すなわち、左の瞼の三次元の形状）をベジエ曲線によって定め、定められた左の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左目の比較瞼モデルとする。そして、新たな右目の比較瞼モデル及び左目の比較瞼モデルを新たな比較瞼モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較瞼モデルを作成する。
【００４６】
一方、ステップ２０８で、点Ｐ１及び点Ｐ３の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ５及び点Ｐ７の座標の組み合わせを全てのパターンについて選択したと判定された場合には、次のステップ２１２に進む。
【００４７】
ステップ２１２では、第２のモデルパラメータ（点Ｐ９、回転角α９、回転角β９、虹彩円半径ｒ９、点Ｐ１０、回転角α１０、回転角β１０、及び虹彩円半径ｒ１０）の各々毎に予め定められた複数の比較虹彩モデルを作成するための複数の第２のモデルパラメータのパターン（組合わせ）の中から、未だ選択されていない第２のモデルパラメータの組み合わせを１つ選択する。
【００４８】
次のステップ２１４では、現時点の第２のモデルパラメータの各々を、上記ステップ２１２で選択された第２のモデルパラメータに変更し、変更後の第２のモデルパラメータを用いて三次元の左目の虹彩の輪郭ｐｌｗ（θ）、及び三次元の右目の虹彩の輪郭ｐｒｗ（θ）を定め、定められた輪郭ｐｌｗ（θ）及びｐｒｗ（θ）を画像座標に投影して得られた虹彩モデルｐｌＩ（θ）及びｐｒＩ（θ）を、新たな比較虹彩モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較虹彩モデルを作成する。
【００４９】
次のステップ２１６では、上記ステップ２１２で、第２のモデルパラメータの組み合わせを全てのパターンについて選択したか否かを判定する。
【００５０】
ステップ２１６で、第２のモデルパラメータの組み合わせを全てのパターンについて選択していないと判定された場合には、上記のステップ２１２に戻る。
【００５１】
一方、ステップ２１６で、第２のモデルパラメータの組み合わせを全てのパターンについて選択したと判定された場合には、比較モデル作成処理を終了する。
【００５２】
以上説明したように、比較モデル作成処理によって、複数の比較瞼モデル及び複数の比較虹彩モデルが作成される。
【００５３】
次のステップ１０６では、上記ステップ１０４で作成された右目の複数の比較瞼モデル及び右目の複数の比較虹彩モデルの組み合わせのうち、本ステップ１０６で未だ選択されていない組み合わせを右目のモデルとして選択する。
【００５４】
次のステップ１０８では、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す右目の瞼尤度λｒ＿ｅｙｅｌｉｄ、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する上記ステップ１０６で選択された右目の比較虹彩モデルによって表される右目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭とが一致する度合いを示す第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１、及び上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する上記ステップ１０６で選択された右目の比較虹彩モデルによって表される右目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭とが一致する度合いを示す第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２を演算する。
【００５５】
第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１は、下記の式（１）によって演算することができる。
【００５６】
【数１】
2010102504.tif 000003
【００５７】
ただし、
ｐｒｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐｒＩ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈｒｋ：輪郭点ｐｒｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｂｒ（ｐｒｋ）は下記の式（２）のような瞼の内外を判定する関数である。
【００５８】
【数２】
2010102504.tif 000004
【００５９】
また、第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２は、下記の式（３）によって演算することができる。
【００６０】
【数３】
2010102504.tif 000005
【００６１】
ただし、
ｐｒｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐｒＩ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈｒｋ：輪郭点ｐｒｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｃｒ（ｐｒｋ）は下記の式（４）のような瞼の内外を判定する関数である。
【００６２】
【数４】
2010102504.tif 000006
【００６３】
更に、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、右目の瞼尤度λｒ＿ｅｙｅｌｉｄは、上記の公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮した上記の式（１）と同様に演算することができる。
【００６４】
次のステップ１１０では、下記の式（５）が示すように、上記ステップ１０８で演算した右目の瞼尤度λｒ＿ｅｙｅｌｉｄと第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１との和から、上記ステップ１０８で演算した第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２を減算した値を右目の目尤度λｒとして演算し、演算結果の右目の目尤度λｒをＲＡＭ１６ｅに記憶する。
【００６５】
【数５】
2010102504.tif 000007
【００６６】
これにより、この和は、右目の瞼尤度λｒ＿ｅｙｅｌｉｄ及び第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１が大きくなるに従って大きくなるので、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルについて、右目の瞼尤度λｒ＿ｅｙｅｌｉｄ及び第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２によって小さくなるように補正した値を右目の目尤度λｒとして演算することができる。
【００６７】
次のステップ１１２では、上記ステップ１０６で複数の比較瞼モデル及び複数の比較虹彩モデルの全ての組み合わせを選択したか否かを判定する。
【００６８】
ステップ１１２で、全ての組み合わせを選択していないと判定された場合には、ステップ１０６に戻る。
【００６９】
一方、ステップ１１２で、全ての組み合わせを選択したと判定された場合には、次のステップ１１４へ進む。
【００７０】
なお、ステップ１０６からステップ１１２の処理が繰り返されることによって、ステップ１０４で作成された右目の複数の比較瞼モデル及び右目の複数の比較虹彩モデルの全ての組み合わせの右目の目尤度λｒが演算される。
【００７１】
次のステップ１１４では、上記ステップ１０４で作成された左目の複数の比較瞼モデル及び左目の複数の比較虹彩モデルの組み合わせのうち、本ステップ１１４で未だ選択されていない組み合わせを左目のモデルとして選択する。
【００７２】
次のステップ１１６では、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す左目の瞼尤度λｌ＿ｅｙｅｌｉｄ、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する上記ステップ１１４で選択された左目の比較虹彩モデルによって表される左目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の虹彩の輪郭とが一致する度合いを示す第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１、及び上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する上記ステップ１１４で選択された左目の比較虹彩モデルによって表される左目の虹彩の輪郭と、上記ステップ１０２で抽出した眼領域の画像に含まれる左目の虹彩の輪郭とが一致する度合いを示す第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２を演算する。
【００７３】
第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１は、下記の式（６）によって演算することができる。
【００７４】
【数６】
2010102504.tif 000008
【００７５】
ただし、
ｐｌｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐｌＩ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈｌｋ：輪郭点ｐｌｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｂｌ（ｐｌｋ）は下記の式（７）のような瞼の内外を判定する関数である。
【００７６】
【数７】
2010102504.tif 000009
【００７７】
また、第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２は、下記の式（８）によって演算することができる。
【００７８】
【数８】
2010102504.tif 000010
【００７９】
ただし、
ｐｌｋ：虹彩の離散的な点を一定間隔でｎ個取り出した点の各輪郭点ｐｌＩ（２πｋ／ｎ）（ｋ＝０、１、・・・、ｎ−１）
ｈｌｋ：輪郭点ｐｌｋ上の法線ベクトル
ｇ（ｐ）：位置ｐの輝度勾配ベクトル
であり、
Ｃｌ（ｐｌｋ）は下記の式（９）のような瞼の内外を判定する関数である。
【００８０】
【数９】
2010102504.tif 000011
【００８１】
更に、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、左目の瞼尤度λｌ＿ｅｙｅｌｉｄは、上記の公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮した上記の式（６）と同様に演算することができる。
【００８２】
次のステップ１１８では、下記の式（１０）が示すように、上記ステップ１１６で演算した左目の瞼尤度λｌ＿ｅｙｅｌｉｄと第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１との和から、上記ステップ１１６で演算した第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２を減算した値を左目の目尤度λｌとして演算し、演算結果の左目の目尤度λｌをＲＡＭ１６ｅに記憶する。
【００８３】
【数１０】
2010102504.tif 000012
【００８４】
これにより、この和は、左目の瞼尤度λｌ＿ｅｙｅｌｉｄ及び第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１が大きくなるに従って大きくなるので、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルについて、左目の瞼尤度λｌ＿ｅｙｅｌｉｄ及び第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２によって小さくなるように補正した値を左目の目尤度λｌとして演算することができる。
【００８５】
次のステップ１２０では、上記ステップ１１４で左目の複数の比較瞼モデル及び左目の複数の比較虹彩モデルの全ての組み合わせを選択したか否かを判定する。
【００８６】
ステップ１２０で、全ての組み合わせを選択していないと判定された場合には、ステップ１１４に戻る。
【００８７】
一方、ステップ１２０で、全ての組み合わせを選択したと判定された場合には、次のステップ１２２へ進む。
【００８８】
なお、ステップ１１４からステップ１２０の処理が繰り返されることによって、ステップ１０４で作成された左目の複数の比較瞼モデル及び左目の複数の比較虹彩モデルの全ての組み合わせの左目の目尤度λｌが演算される。
【００８９】
ステップ１２２では、下記の式（１１）が示すように、ステップ１１０で演算された複数の右目の目尤度λｒのうち、最も大きい右目の目尤度λｒ＿ｍａｘと、ステップ１１８で演算された複数の左目の目尤度λｌのうち、最も大きい左目の目尤度λｌ＿ｍａｘとの和を、最も大きい全体の目尤度λとして演算する。
【００９０】
【数１１】
2010102504.tif 000013
【００９１】
次のステップ１２４では、上記ステップ１２２で演算された最も大きい全体の目尤度λを有する目モデル（比較瞼モデル及び比較虹彩モデル）によって表される瞼の位置及び形状並びに虹彩位置を検出（演算）する。
【００９２】
次のステップ１２６では、上記ステップ１２４で検出した検出結果が表示されるように、表示装置の表示を制御する。そして、眼領域検出処理を終了する。
【００９３】
以上、説明したように、本実施形態に係る眼領域検出装置１０によれば、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段としてのカメラ１２と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段としてのＨＤＤ１６ｃを含んで構成されており、第１のモデルパラメータ及び第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成し、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状と画像に含まれる上瞼及び下瞼の各位置及び各形状とが一致する度合いを示す瞼尤度λｅｙｅｌｉｄ、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度λｉｒｉｓ１、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度λｉｒｉｓ２を演算し、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、瞼尤度λｅｙｅｌｉｄ及び第１の虹彩尤度λｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度λｉｒｉｓ２によって小さくなるように補正した値を目尤度λとして演算し、演算された最も大きい目尤度λを有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する。
【００９４】
本実施の形態の眼領域検出装置１０によれば、瞼尤度λｅｙｅｌｉｄ及び第１の虹彩尤度λｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を第２の虹彩尤度λｉｒｉｓ２によって小さくなるように補正した値を目尤度λとして演算している。これにより、例えば、図８（Ｃ）に示すように、ノイズが発生した画像に含まれる上瞼及び下瞼の各位置及び各形状と、比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致していないにも関わらず、ノイズなどの影響によって瞼尤度λｅｙｅｌｉｄ（図８（Ｃ）の例ではλｅｙｅｌｉｄは２０）が高くなってしまう場合であっても、この場合において演算される目尤度λは第２の虹彩尤度λｉｒｉｓ２によって小さくなるように補正されている。そのため、ノイズが発生した場合に演算される目尤度λは、図８（Ｄ）に示すような、ノイズが発生していない画像に含まれる上瞼及び下瞼の各位置及び各形状と比較瞼モデルによって表される上瞼及び下瞼の各位置及び各形状とが一致している場合において演算される目尤度λよりも低くなる。従って、本実施の形態の眼領域検出装置１０によれば、取得した画像にノイズが発生している場合であっても、良好な精度で瞼の位置及び形状並びに虹彩位置を検出することができる。なお、図８（Ａ）及び図８（Ｂ）の各々は、画像に含まれる上瞼及び下瞼の位置及び形状と比較瞼モデルによって表される上瞼及び下瞼の位置及び形状とが一致しておらず、かつ画像に含まれる虹彩の輪郭と比較虹彩モデルによって表される虹彩の輪郭とが一致していない場合において演算された目尤度λの大きさの一例を表すための図である。図８（Ａ）及び図８（Ｂ）の例では、目尤度λは共に１０である。また、図８の例において、ａ１、及びａ２は定数であり、本実施の形態では、これらの定数ａ１、及びａ２が１の場合について説明している。
【００９５】
なお、本実施の形態では、ステップ１１０において、右目の瞼尤度λｒ＿ｅｙｅｌｉｄと第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１との和から、第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２を減算した値を右目の目尤度λｒとして演算する例について説明したが、下記の式（１２）が示すように、第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１から第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２を減算した値と、右目の瞼尤度λｒ＿ｅｙｅｌｉｄとの積の値を右目の目尤度λｒとして演算するようにしてもよい。
【００９６】
【数１２】
2010102504.tif 000014
【００９７】
なお、式（１２）によって演算された右目の目尤度λｒは、右目の瞼尤度λｒ＿ｅｙｅｌｉｄ及び第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２によって小さくなるように補正した値である。
【００９８】
また、本実施の形態では、ステップ１１８において、左目の瞼尤度λｌ＿ｅｙｅｌｉｄと第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１との和から、第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２を減算した値を左目の目尤度λｌとして演算する例について説明したが、下記の式（１３）が示すように、第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１から第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２を減算した値と、左目の瞼尤度λｌ＿ｅｙｅｌｉｄとの積の値を左目の目尤度λｌとして演算するようにしてもよい。
【００９９】
【数１３】
2010102504.tif 000015
【０１００】
なお、式（１３）によって演算された左目の目尤度λｌは、左目の瞼尤度λｌ＿ｅｙｅｌｉｄ及び第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２によって小さくなるように補正した値である。
【０１０１】
また、本実施の形態では、ステップ１２２において、上記ステップ１１０で演算された複数の右目の目尤度λｒのうち、最も大きい右目の目尤度λｒ＿ｍａｘと、上記ステップ１１８で演算された複数の左目の目尤度λｌのうち、最も大きい左目の目尤度λｌ＿ｍａｘとの和を、最も大きい全体の目尤度λとして演算する例について説明したが、下記の式（１４）が示すように、最も大きい右目の目尤度λｒ＿ｍａｘと最も大きい左目の目尤度λｌ＿ｍａｘとの積を、最も大きい全体の目尤度λとして演算するようにしてもよい。
【０１０２】
【数１４】
2010102504.tif 000016
【０１０３】
また、本実施の形態では、最も大きい右目の目尤度λｒ＿ｍａｘと、最も大きい左目の目尤度λｌ＿ｍａｘとの和を、最も大きい全体の目尤度λとして演算する例について説明したが、右目のみ目尤度を演算したい場合には、右目に対応する処理を上記と同様にして行い、最も大きい右目の目尤度λｒ＿ｍａｘを（右）目の目尤度λ´として演算するようにしてもよい。また、右目のみ瞼の位置及び形状並びに虹彩位置を検出したい場合には、上記の目尤度λ´を有する右目の目モデルの瞼の位置及び形状並びに虹彩位置を検出するようにしてもよい。
また、左目のみ目尤度を演算したい場合には、左目に対応する処理を上記と同様にして行い、最も大きい左目の目尤度λｌ＿ｍａｘを（左）目の目尤度λ´´として演算するようにしてもよい。また、左目のみ瞼の位置及び形状並びに虹彩位置を検出したい場合には、上記の目尤度λ´´を有する左目の目モデルの瞼の位置及び形状並びに虹彩位置を検出するようにしてもよい。
【０１０４】
また、本実施の形態では、最も大きい右目の目尤度λｒ＿ｍａｘと、最も大きい左目の目尤度λｌ＿ｍａｘとの和を、最も大きい全体の目尤度λとして演算する例について説明したが、左右の目のモデルパラメータの組み合わせを予め定めておき、その組み合わせの左右の目尤度の和（または積）の最も大きい値を、全体の目尤度λ´´´として演算するようにしてもよい。ここで、組み合わせの一例として、Ｐ２とＰ４との距離‖Ｐ２−Ｐ４‖と、Ｐ６とＰ８との距離‖Ｐ６−Ｐ８‖とが以下の式（１５）を満たす場合の組み合わせが考えられる。
【０１０５】
【数１５】
2010102504.tif 000017
ただし、αは任意の距離の値である。
【０１０６】
［第２の実施の形態］
次に第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０１０７】
本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る眼領域検出装置のＨＤＤ１６ｃには図１０に示す眼領域検出処理を実行するためのプログラムが記憶されており、眼領域検出装置のＣＰＵ１６ｄが、図１０に示す眼領域検出処理を実行する点である。同図に図示されるように、ステップ１０６の次にステップ２００が実行され、ステップ１１４の次にステップ２０２が実行される。
【０１０８】
まず、ステップ２００での処理について説明する。ステップ２００では、第１の実施の形態と同様に、第１の右目の虹彩尤度λｒ＿ｉｒｉｓ１、及び第２の右目の虹彩尤度λｒ＿ｉｒｉｓ２を演算する。次に、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の上瞼の位置及び形状とが一致する度合いを示す右目の上瞼の瞼尤度（上瞼尤度）λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄを演算する。次に、上記ステップ１０６で選択された右目の比較瞼モデルによって表される下瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の下瞼の位置及び形状とが一致する度合いを示す右目の下瞼の瞼尤度（下瞼尤度）λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄを演算する。そして、下記の式（１６）が示すように、演算した右目の上瞼の瞼尤度λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄに対して、補正値としての重みｗを付けて補正した値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と、演算した右目の下瞼の瞼尤度λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとを加算した値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ＋λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１０で用いる右目の瞼尤度λｒ＿ｅｙｅｌｉｄとして演算する。
【０１０９】
【数１６】
2010102504.tif 000018
【０１１０】
ここで、重みｗについて説明する。図１１は、人間の虹彩と上瞼との位置関係を説明するための図である。図１１に示すように、人間の虹彩は、どのような方向を向いていても上瞼と離れることはあまりない。そのため、抽出した眼領域の画像に含まれる虹彩の輪郭と離れているような上瞼を表す比較瞼モデルは、信頼度が低いと考えられる。そのため、その比較瞼モデルが低く（小さく）なるように補正することで、より精度が高く瞼の位置及び形状等が検出できるようになる。そこで、本実施の形態では、重みｗが、例えば、図１２（Ａ）、図１２（Ｂ）に示すように、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭７２（の所定部分、例えば中心７２ａ）から、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼が遠ざかるほど小さくなるように設定されている。なお、図１２（Ａ）、図１２（Ｂ）における太線７３は、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼（の所定の部分、例えば上瞼の中心）の位置と、対応する重みｗとの関係を示している。
【０１１１】
本実施形態のステップ２００では、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる右目の虹彩の輪郭７２（の所定部分、例えば中心７２ａ）と、上記ステップ１０６で選択された右目の比較瞼モデルによって表される上瞼（の所定部分、例えば上瞼の中心）との距離を検出し（または、位置関係を検出し）、検出した距離（位置関係）に対応する重みｗを取得し、演算した右目の上瞼の瞼尤度λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄに対して重みｗを付けて補正する。そして、補正後の値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と、演算した右目の下瞼の瞼尤度λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとを加算した値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ＋λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１０で用いる右目の瞼尤度λｒ＿ｅｙｅｌｉｄとして演算する。これにより、虹彩から離れている上瞼を表す比較瞼モデルの尤度を低くすることができ、ひいては、より精度が高く瞼の位置及び形状等を検出することができるようになる。
【０１１２】
ステップ２００での処理を更に具体的に説明すると、例えば、図１３に示すように、取得した右目の画像９０にノイズ９１が発生する場合がある。この場合に、画像９０に含まれる上瞼の形状９２とは異なる上瞼の形状９３を含む瞼の形状を表す瞼形状モデル（すなわち、ノイズ９１が発生していない場合に、推定される瞼の尤度が小さくなるような瞼形状モデル）に基づいて推定される右目の瞼尤度λｒ＿ｅｙｅｌｉｄは、同図に図示されるように、補正値としての重みｗ（図１３の例では０．５）によって上瞼尤度λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄが小さくなっているため、重みｗによって補正されない場合と比較してその値が小さくなる。
【０１１３】
次に、ステップ２０２での処理について説明する。ステップ２０２では、第１の実施の形態と同様に、第１の左目の虹彩尤度λｌ＿ｉｒｉｓ１、及び第２の左目の虹彩尤度λｌ＿ｉｒｉｓ２を演算する。次に、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の上瞼の位置及び形状とが一致する度合いを示す左目の上瞼の瞼尤度λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄを演算する。次に、上記ステップ１１４で選択された左目の比較瞼モデルによって表される下瞼の位置及び形状と、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の下瞼の位置及び形状とが一致する度合いを示す左目の下瞼の瞼尤度λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄを演算する。そして、下記の式（１７）が示すように、演算した左目の上瞼の瞼尤度λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄに対して重みｗを付けて補正した値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と、演算した左目の下瞼の瞼尤度λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとを加算した値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ＋λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１８で用いる左目の瞼尤度λｌ＿ｅｙｅｌｉｄとして演算する。
【０１１４】
【数１７】
2010102504.tif 000019
【０１１５】
なお、この重みｗについては、上記の右目の場合と同様に、本実施の形態では、例えば、図１２に示すように、上記ステップ１０２で抽出した眼領域を含む領域の画像に含まれる左目の虹彩の輪郭７４（の所定部分、例えば中心７４ａ）から、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼が遠ざかるほど小さくなるように設定されている。
【０１１６】
本実施形態のステップ２０２では、上記ステップ１０２で抽出した眼領域の画像に含まれる左目の虹彩の輪郭７２（の所定部分、例えば中心７２ａ）と、上記ステップ１１４で選択された左目の比較瞼モデルによって表される上瞼（の所定部分、例えば上瞼の中心）との距離（位置関係）を検出し、検出した距離（位置関係）に対応する重みｗを取得し、演算した左目の上瞼の瞼尤度λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄに対して重みｗを付けて補正する。そして、補正後の値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と、演算した左目の下瞼の瞼尤度λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとを加算した値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ＋λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１８で用いる左目の瞼尤度λｌ＿ｅｙｅｌｉｄとして演算する。これにより、虹彩から離れている上瞼を表す比較瞼モデルの尤度を低くすることができ、ひいては、より精度が高く瞼の位置及び形状等を検出することができるようになる。
【０１１７】
以上、説明したように、本実施の形態に係る眼領域検出装置は、虹彩を含み、上瞼及び下瞼で囲まれた眼領域を含む画像の画像データを取得する取得手段としてのカメラ１２と、複数の第１のモデルパラメータによって上瞼及び下瞼の位置及び形状を定めた瞼モデル、及び複数の第２のモデルパラメータによって虹彩の輪郭を定めた虹彩モデルを記憶した記憶手段としてのＨＤＤ１６ｃを含んで構成されており、第１のモデルパラメータ及び第２のモデルパラメータの少なくとも一方の少なくとも１つのモデルパラメータを複数回変更することによって、複数の比較瞼モデル及び複数の比較虹彩モデルを作成し、比較瞼モデルによって表される上瞼の位置及び形状と画像に含まれる上瞼の位置及び形状とが一致する度合いを示す上瞼尤度λｕｐｐｅｒ＿ｅｙｅｌｉｄを、画像に含まれる虹彩と比較瞼モデルによって表される上瞼との距離に応じて、距離が大きくなるほど小さくなるように定めた補正値ｗによって、距離が大きくなるほど小さくなるように補正した値（λｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）、比較瞼モデルによって表される下瞼の位置及び形状と画像に含まれる下瞼の位置及び形状とが一致する度合いを示す下瞼尤度λｌｏｗｅｒ＿ｅｙｅｌｉｄ、比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域内に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第１の虹彩尤度λｉｒｉｓ１、及び比較瞼モデルによって表される上瞼及び下瞼の各形状によって囲まれた領域外に存在する比較虹彩モデルによって表される虹彩の輪郭と画像に含まれる虹彩の輪郭とが一致する度合いを示す第２の虹彩尤度λｉｒｉｓ２を演算し、比較瞼モデルの１つと比較虹彩モデルの１つとで表された目モデルの各々について、補正した値（λｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）、下瞼尤度λｌｏｗｅｒ＿ｅｙｅｌｉｄ、及び第１の虹彩尤度λｉｒｉｓ１の各々が大きくなるに従って大きくなるように定めた値を、第２の虹彩尤度λｉｒｉｓ２によって小さくなるように補正した値を目尤度λとして演算し、演算された最も大きい目尤度λを有する目モデルの瞼の位置及び形状並びに虹彩位置を検出する。
【０１１８】
なお、本実施の形態では、ステップ２００において、右目の上瞼の瞼尤度λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄに対して重みｗを付けて補正した値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と、演算した右目の下瞼の瞼尤度λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとを加算した値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ＋λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１０で用いる右目の瞼尤度λｒ＿ｅｙｅｌｉｄとして演算する例について説明したが、下記の式（１８）が示すように、この補正した値（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と演算した右目の下瞼の瞼尤度λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとの積（λｒ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ・λｒ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１０で用いる右目の瞼尤度λｒ＿ｅｙｅｌｉｄとして演算するようにしてもよい。
【０１１９】
【数１８】
2010102504.tif 000020
【０１２０】
また、本実施の形態では、ステップ２０２において、左目の上瞼の瞼尤度λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄに対して重みｗを付けて補正した値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と、演算した左目の下瞼の瞼尤度λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとを加算した値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ＋λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１８で用いる左目の瞼尤度λｌ＿ｅｙｅｌｉｄとして演算する例について説明したが、下記の式（１９）が示すように、この補正した値（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ）と演算した左目の下瞼の瞼尤度λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄとの積（λｌ＿ｕｐｐｅｒ＿ｅｙｅｌｉｄ・ｗ・λｌ＿ｌｏｗｅｒ＿ｅｙｅｌｉｄ）を、ステップ１１８で用いる左目の瞼尤度λｌ＿ｅｙｅｌｉｄとして演算するようにしてもよい。
【０１２１】
【数１９】
2010102504.tif 000021
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施の形態に係る眼領域検出装置の構成を示す概略図である。
【図２】第１の実施の形態に係る眼領域を説明するための図である。
【図３】第１の実施の形態に係る瞼モデルを説明するための図である。
【図４】第１の実施の形態に係る虹彩モデルを説明するための図である。
【図５】第１の実施の形態に係る虹彩モデルを説明するための図である。
【図６】第１の実施の形態に係る眼領域検出装置が実行する眼領域検出処理の処理ルーチンのフローチャートを示す図である。
【図７】第１の実施の形態に係る眼領域検出装置が実行する比較モデル作成処理の処理ルーチンのフローチャートを示す図である。
【図８】第１の実施の形態に係る眼領域検出装置の効果を説明するための図である。
【図９】従来の技術の問題点を説明するための図である。
【図１０】第２の実施の形態に係る眼領域検出装置が実行する眼領域検出処理の処理ルーチンのフローチャートを示す図である。
【図１１】人間の虹彩と上瞼との位置関係を説明するための図である。
【図１２】第２の実施の形態における重みについて説明するための図である。
【図１３】第２の実施の形態に係る眼領域検出装置が実行する眼領域検出処理を説明するための図である。
【符号の説明】
【０１２３】
１０      眼領域検出装置
１２      カメラ
１４      表示装置
１６      コンピュータ
１６ｃ    ＨＤＤ
１６ｄ    ＣＰＵ
【図１】
2010102504.tif 000022
【図２】
2010102504.tif 000023
【図３】
2010102504.tif 000024
【図４】
2010102504.tif 000025
【図５】
2010102504.tif 000026
【図６】
2010102504.tif 000027
【図７】
2010102504.tif 000028
【図８】
2010102504.tif 000029
【図９】
2010102504.tif 000030
【図１０】
2010102504.tif 000031
【図１１】
2010102504.tif 000032
【図１２】
2010102504.tif 000033
【図１３】
2010102504.tif 000034