(57)【要約】【課題】撮影された画像に含まれる顔の画像が横を向いている場合であっても、瞼尤度をより良好な精度で演算する。【解決手段】検出された顔向き角度θに応じてカメラ１２に遠いほうの瞼の瞼尤度に対応する大きさが近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ及びｗｌｅｆｔのうち、右の瞼に対応する重みｗｒｉｇｈｔを瞼開度が同一である左右の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度に重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔを左の比較瞼モデルの左の瞼尤度に重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ）との和を左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算し（１２４）複数演算された左右の瞼尤度λｅｙｅｌｉｄのうち最大の左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する（１２８）。【選択図】図４
2010092180.tif 000002
【特許請求の範囲】
【請求項１】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて、前記顔の顔向き角度を検出する検出手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第１の演算手段と、
前記検出手段によって検出された顔向き角度に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第２の演算手段と、
前記第２の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第３の演算手段と、
を含む瞼尤度演算装置。
【請求項２】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて、前記顔の右目までの距離及び左目までの距離、前記顔の右耳までの距離及び左耳までの距離、または前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する検出手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第１の演算手段と、
前記検出手段によって検出された前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、または前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第２の演算手段と、
前記第２の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第３の演算手段と、
を含む瞼尤度演算装置。
【請求項３】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて、前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラスト、または前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第１の演算手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第２の演算手段と、
前記第１の演算手段によって演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、または前記右目領域のエッジ強度及び前記左目領域のエッジ強度に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち、コントラストまたはエッジ強度が小さいほうの瞼の瞼尤度に対応する大きさが、コントラストまたはエッジ強度が大きいほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第３の演算手段と、
前記第３の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第４の演算手段と、
を含む瞼尤度演算装置。
【請求項４】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第３の演算手段と、
検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第４の演算手段と、
前記第４の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第５の演算手段と、
を含む瞼尤度演算装置。
【請求項５】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第３の演算手段と、
検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きい方の値を選択する選択手段と、
前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第４の演算手段と、
を含む瞼尤度演算装置。
【請求項６】
前記右の瞼に対応する重みを前記最大の前記右の瞼尤度に重み付けた値、及び前記左の瞼に対応する重みを前記最大の前記左の瞼尤度に重み付けた値が共に所定の基準値以上である場合に、該最大の右の瞼尤度の右の比較瞼モデルが表す右瞼の瞼開度及び該最大の左の瞼尤度の左の比較瞼モデルが表す左瞼の瞼開度を検出し、検出された右瞼の瞼開度及び左瞼の瞼開度の比率を演算する第５の演算手段と、
前記第４の演算手段によって演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、該検出された瞼開度及び前記比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する第５の検出手段と、
を更に含む請求項５記載の瞼尤度演算装置。
【請求項７】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、
前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合にのみ前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に、前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合にのみ前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第４の演算手段と、
検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、前記第１の割合が所定値以下でありかつ前記第２の割合が所定値以下である場合には、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、前記第１の割合及び前記第２の割合の一方の割合のみが所定値以下である場合には、前記第４の演算手段によって演算された前記第１の割合または前記第２の割合が所定値以下となる方の瞼の最大の瞼尤度に、該瞼に対応する重みを重み付けた値を選択する選択手段と、
前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段と、
を含む瞼尤度演算装置。
【請求項８】
顔の画像を含む画像を撮影して画像データを出力する撮影手段と、
前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、
複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、
前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、
前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、
前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合に前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に前記第１の割合が所定値より大きい場合に、所定の第１の値を右の瞼尤度とすることにより該右の瞼尤度を演算し、かつ前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合に前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算すると共に前記第２の割合が所定値より大きい場合に、所定の第１の値を左の瞼尤度とすることにより該左の瞼尤度を演算する第４の演算手段と、
検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択する選択手段と、
前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段と、
を含む瞼尤度演算装置。
【請求項９】
コンピュータを、請求項１または請求項２記載の瞼尤度演算装置における前記検出手段、前記作成手段、前記第１の演算手段、前記第２の演算手段、及び前記第３の演算手段として機能させるためのプログラム。
【請求項１０】
コンピュータを、請求項３記載の瞼尤度演算装置における前記第１の演算手段、前記作成手段、前記第２の演算手段、前記第３の演算手段、及び前記第４の演算手段として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項４記載の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記第４の演算手段、及び前記第５の演算手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項５記載の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記選択手段、及び前記第４の演算手段として機能させるためのプログラム。
【請求項１３】
コンピュータを、請求項６記載の瞼尤度演算装置における前記第５の演算手段、及び前記第５の検出手段として更に機能させるための請求項１１記載のプログラム。
【請求項１４】
コンピュータを、請求項７または請求項８記載の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記第４の演算手段、前記選択手段、及び前記第５の演算手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞼尤度演算装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、視線の移動方向を検出するためにアイモデルを用いたコンデンセイション（Condensation）による黒目追跡の技術が知られている（例えば、非特許文献１参照）。非特許文献１に記載の技術では、右の瞼の瞼形状モデル（瞼モデル）のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更して、右の瞼形状モデルの形状が投影された画像座標（２次元座標）上で、画像を撮影して画像データを出力するカメラ等の撮影手段によって撮影された画像の画像データに基づいて右の瞼の尤度を推定している。同様に、左の瞼の瞼形状モデルのモデルパラメータの少なくとも１つのモデルパラメータを複数回変更して、左の瞼形状モデルの形状が投影された画像座標上で、撮影手段によって撮影された画像の画像データに基づいて左の瞼の尤度を推定している。そして、推定された右の瞼の尤度と左の瞼の尤度との和を全体の瞼の尤度として推定している。
【非特許文献１】北川洋介、加藤丈和、呉海元、和田俊和著「アイモデルを用いたCondensationによる黒目追跡」画像の認識・理解シンポジウム（MIRU2005）  インタラクティブセッション、pp.1343--1350、（2005）．
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１に記載の技術では、図７（Ａ）に示すように、画像を撮影したカメラ９０に対して撮影対象の顔が横を向いていない状況、すなわち画像を撮影した際のカメラ９０の位置と右の瞼９２との距離、及びカメラ９０の位置と左の瞼９４との距離が等しい状況を想定して全体の瞼の尤度を推定しており、図７（Ｂ）に示すように、画像を撮影したカメラ９０に対して撮影対象の顔が横を向いている状況、すなわち画像を撮影した際のカメラ９０の位置と右の瞼９２との距離、及び当該カメラ９０の位置と左の瞼９４との距離が異なる状況では、カメラ９０から遠いほうの瞼（図７（Ｂ）の例では、左の瞼９４）では、遠いほうの瞼を含む領域の画像の精度が近い方の瞼を含む領域の画像の精度と比較して良好なものではなく、このため遠いほうの瞼の瞼尤度が良好な精度で推定できなくなり、ひいては全体の瞼尤度が良好な精度で推定できなくなる、という問題がある。
【０００４】
本発明は、上記の問題を解決するために成されたものであり、画像に含まれる撮影対象の顔の画像が横を向いている場合であっても、瞼尤度をより良好な精度で演算することができる瞼尤度演算装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて、前記顔の顔向き角度を検出する検出手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第１の演算手段と、前記検出手段によって検出された顔向き角度に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第２の演算手段と、前記第２の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第３の演算手段とを含んで構成されている。
【０００６】
本発明の瞼尤度演算装置によれば、撮影手段、例えばカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度に重み付けた値と、左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの左の瞼尤度に重み付けた値との和をこの組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算するので、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【０００７】
また、上記の目的を達成するために、本発明の第２の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて、前記顔の右目までの距離及び左目までの距離、前記顔の右耳までの距離及び左耳までの距離、または前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する検出手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第１の演算手段と、前記検出手段によって検出された前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、または前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第２の演算手段と、前記第２の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第３の演算手段とを含んで構成されている。
【０００８】
本発明の瞼尤度演算装置によれば、撮影手段、例えばステレオカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度に重み付けた値と、左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの左の瞼尤度に重み付けた値との和をこの組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算するので、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【０００９】
また、上記の目的を達成するために、本発明の第３の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて、前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラスト、または前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第１の演算手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第２の演算手段と、前記第１の演算手段によって演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、または前記右目領域のエッジ強度及び前記左目領域のエッジ強度に応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち、コントラストまたはエッジ強度が小さいほうの瞼の瞼尤度に対応する大きさが、コントラストまたはエッジ強度が大きいほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第３の演算手段と、前記第３の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第４の演算手段とを含んで構成されている。
【００１０】
本発明の瞼尤度演算装置によれば、撮影手段、例えばステレオカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、コントラストまたはエッジ強度が小さいほうの瞼の瞼尤度に対応する大きさが、コントラストまたはエッジ強度が大きいほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重み、すなわち、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度に重み付けた値と、左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの左の瞼尤度に重み付けた値との和をこの組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算するので、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【００１１】
また、上記の目的を達成するために、本発明の第４の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第３の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である前記右の比較瞼モデル及び前記左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの前記右の瞼尤度に重み付けた値と、前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの前記左の瞼尤度に重み付けた値との和を該組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算する第４の演算手段と、前記第４の演算手段によって複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算する第５の演算手段とを含んで構成されている。
【００１２】
本発明の瞼尤度演算装置によれば、撮影手段、例えばステレオカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度に重み付けた値と、左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、左の比較瞼モデルの左の瞼尤度に重み付けた値との和をこの組み合わせにおける左右の瞼尤度として組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度のうち、最も大きい左右の瞼尤度を全体の瞼尤度として演算するので、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【００１３】
また、上記の目的を達成するために、本発明の第５の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度、及び前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第３の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを前記第３の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きい方の値を選択する選択手段と、前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第４の演算手段とを含んで構成されている。
【００１４】
本発明の瞼尤度演算装置によれば、撮影手段、例えばステレオカメラ等によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた左右の瞼の各々に対応する重みのうち右の瞼に対応する重みを、最大の右の瞼尤度に重み付けた値、及び左右の瞼の各々に対応する重みのうち左の瞼に対応する重みを、最大の左の瞼尤度に重み付けた値のうち大きい方の値を選択し、選択された値を、この選択された方の瞼の瞼尤度として演算する。すなわち、本発明の瞼尤度演算装置は、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。
【００１５】
また、本発明の瞼尤度演算装置は、前記右の瞼に対応する重みを前記最大の前記右の瞼尤度に重み付けた値、及び前記左の瞼に対応する重みを前記最大の前記左の瞼尤度に重み付けた値が共に所定の基準値以上である場合に、該最大の右の瞼尤度の右の比較瞼モデルが表す右瞼の瞼開度及び該最大の左の瞼尤度の左の比較瞼モデルが表す左瞼の瞼開度を検出し、検出された右瞼の瞼開度及び左瞼の瞼開度の比率を演算する第５の演算手段と、前記第４の演算手段によって演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、該検出された瞼開度及び前記比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する第５の検出手段とを更に含むようにしてもよい。これにより、右の比較瞼モデル及び左の比較瞼モデルのどちらか一方のみ信頼性が高い場合に、信頼性の低いほうの瞼の瞼開度を精度良く検出することができる。
【００１６】
また、上記の目的を達成するために、本発明の第６の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合にのみ前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に、前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合にのみ前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算する第４の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、前記第１の割合が所定値以下でありかつ前記第２の割合が所定値以下である場合には、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、前記第１の割合及び前記第２の割合の一方の割合のみが所定値以下である場合には、前記第４の演算手段によって演算された前記第１の割合または前記第２の割合が所定値以下となる方の瞼の最大の瞼尤度に、該瞼に対応する重みを重み付けた値を選択する選択手段と、前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段とを含んで構成されている。
【００１７】
本発明の瞼尤度演算装置は、第１の割合（右目領域の高輝度画素領域面積比）及び第２の割合（左目領域の高輝度画素領域面積比）を演算し、第１の割合が所定値以下の場合にのみ右の瞼尤度を演算すると共に、第２の割合が所定値以下の場合にのみ左の瞼尤度を演算する。そして、本発明の瞼尤度演算装置は、左右の瞼の各々に対応する重みのうち、第１の割合が所定値以下でありかつ第２の割合が所定値以下である場合には、右の瞼に対応する重みを右の瞼尤度に重み付けた値、及び左の瞼に対応する重みを左の瞼尤度に重み付けた値のうち大きいほうの値を選択すると共に、第１の割合及び第２の割合の一方の割合のみが所定値以下である場合には、割合が所定値以下の方の瞼の最大の瞼尤度（最大の右の瞼尤度または最大の左の瞼尤度）に、この瞼に対応する重みを重み付けた値を選択する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、より簡易に瞼尤度を演算することができる。
【００１８】
また、本発明の瞼尤度演算装置によれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。
【００１９】
また、上記の目的を達成するために、本発明の第７の瞼尤度演算装置は、顔の画像を含む画像を撮影して画像データを出力する撮影手段と、前記画像データに基づいて前記顔の顔向き角度を検出する第１の検出手段、前記画像データに基づいて前記顔の右目までの距離及び左目までの距離を検出する第２の検出手段、前記画像データに基づいて前記顔の右耳までの距離及び左耳までの距離を検出する第３の検出手段、前記画像データに基づいて前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離を検出する第４の検出手段、前記画像データに基づいて前記顔の画像の右目領域のコントラスト及び前記顔の画像の左目領域のコントラストを演算する第１の演算手段、並びに前記画像データに基づいて前記顔の画像の右目領域のエッジ強度及び前記顔の画像の左目領域のエッジ強度を演算する第２の演算手段の少なくとも１つの手段を備えた処理手段と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段と、前記第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、前記第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成する作成手段と、前記画像データに基づいて、前記顔の画像に含まれる右目の目領域の画像である右目領域画像の画素数に対する所定の輝度以上の画素数の割合である第１の割合、及び前記顔の画像に含まれる左目の目領域の画像である左目領域画像の画素数に対する所定の輝度以上の画素数の割合である第２の割合を演算する第３の演算手段と、前記第３の演算手段によって演算された前記第１の割合が所定値以下の場合に前記右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状と前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度を演算すると共に前記第１の割合が所定値より大きい場合に、所定の第１の値を右の瞼尤度とすることにより該右の瞼尤度を演算し、かつ前記第３の演算手段によって演算された前記第２の割合が所定値以下の場合に前記左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状と該画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度を演算すると共に前記第２の割合が所定値より大きい場合に、所定の第１の値を左の瞼尤度とすることにより該左の瞼尤度を演算する第４の演算手段と、検出された顔向き角度、前記右目までの距離及び前記左目までの距離、前記右耳までの距離及び前記左耳までの距離、前記右目の目頭から該右目の目じりまでの距離及び前記左目の目頭から該左目の目じりまでの距離、演算された前記右目領域のコントラスト及び前記左目領域のコントラスト、並びに前記右目領域のエッジ強度及び前記左目領域のエッジ強度の少なくとも１つに応じて、前記撮影手段によって撮影された画像の右の上瞼及び右の下瞼を含む右瞼及び左の上瞼及び左の下瞼を含む左瞼のうち前記撮影手段によって前記画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みのうち、右の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記右の瞼尤度に重み付けた値、及び前記左右の瞼の各々に対応する重みのうち、左の瞼に対応する重みを前記第４の演算手段によって演算された最大の前記左の瞼尤度に重み付けた値のうち大きいほうの値を選択する選択手段と、前記選択手段によって選択された値を、該選択された方の瞼の瞼尤度として演算する第５の演算手段とを含んで構成されている。
【００２０】
本発明の瞼尤度演算装置によれば、第１の割合が所定値より大きい場合には、所定の第１の値（例えば０）を右の瞼尤度として演算し、また、第２の割合が所定値より大きい場合には、所定の第１の値（例えば０）を左の瞼尤度として演算する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、所定の第１の値としているので、より簡易に左右の瞼尤度を演算することができる。
【００２１】
また、本発明の瞼尤度演算装置によれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。
【００２２】
また、上記の目的を達成するために、本発明の第１のプログラムは、コンピュータを、本発明の第１の瞼尤度演算装置または第２の瞼尤度演算装置における前記検出手段、前記作成手段、前記第１の演算手段、前記第２の演算手段、及び前記第３の演算手段として機能させる。従って、本発明のプログラムによれば、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【００２３】
また、上記の目的を達成するために、本発明の第２のプログラムは、コンピュータを、本発明の第３の瞼尤度演算装置における前記第１の演算手段、前記作成手段、前記第２の演算手段、前記第３の演算手段、及び前記第４の演算手段として機能させる。従って、本発明のプログラムによれば、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【００２４】
また、上記の目的を達成するために、本発明の第３のプログラムは、コンピュータを、本発明の第４の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記第４の演算手段、及び前記第５の演算手段として機能させる。従って、本発明のプログラムによれば、全体の瞼尤度に対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度をより良好な精度で演算することができる。
【００２５】
また、上記の目的を達成するために、本発明の第４のプログラムは、コンピュータを、本発明の第５の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記選択手段、及び前記第４の演算手段として機能させる。従って、本発明のプログラムによれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。
【００２６】
また、本発明のプログラムを、更に、前記右の瞼に対応する重みを前記最大の前記右の瞼尤度に重み付けた値、及び前記左の瞼に対応する重みを前記最大の前記左の瞼尤度に重み付けた値が共に所定の基準値以上である場合に、該最大の右の瞼尤度の右の比較瞼モデルが表す右瞼の瞼開度及び該最大の左の瞼尤度の左の比較瞼モデルが表す左瞼の瞼開度を検出し、検出された右瞼の瞼開度及び左瞼の瞼開度の比率を演算する第５の演算手段、及び前記第４の演算手段によって演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、該検出された瞼開度及び前記比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する第５の検出手段としてコンピュータを機能させるようにしてもよい。これにより、右の比較瞼モデル及び左の比較瞼モデルのどちらか一方のみ信頼性が高い場合に、信頼性の低いほうの瞼の瞼開度を精度良く検出することができる。
【００２７】
また、上記の目的を達成するために、本発明の第５のプログラムは、コンピュータを、本発明の第６または第７の瞼尤度演算装置における前記処理手段、前記作成手段、前記第３の演算手段、前記第４の演算手段、前記選択手段、及び前記第５の演算手段として機能させる。従って、本発明のプログラムによれば、重み付けた値のうち大きい方の値を選択して、選択された値を、この選択された方の瞼の瞼尤度として演算するので、より良好な精度で瞼尤度を演算することができる。また、より簡易に左右の瞼尤度を演算することができる。
【発明の効果】
【００２８】
以上説明したように、本発明の瞼尤度演算装置及びプログラムによれば、画像に含まれる撮影対象の顔の画像が横を向いている場合であっても、瞼尤度をより良好な精度で演算することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照して、本発明の瞼尤度演算装置の各実施の形態を詳細に説明する。
【００３０】
［第１の実施の形態］
まず、第１の実施の形態について説明する。図１に示すように、本実施の形態に係る瞼尤度演算装置１０は、撮影の対象となる対象物を撮影する撮影手段としてのカメラ１２、及びコンピュータ１４を備えている。なお、撮影の対象となる対象物としては、例えば、全体の瞼尤度を演算しようとする人物の顔が考えられる。
【００３１】
カメラ１２は、顔の画像を含む画像を撮影して、図２に示すような右の上瞼６０及び右の下瞼６２からなる右瞼６４及び左の上瞼６６及び左の下瞼６８からなる左瞼７０を含む顔の画像７２を含む画像データを出力することができる。
【００３２】
コンピュータ１４は、Ｉ／Ｏ（入出力）ポート１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＨＤＤ（Hard Disk Drive）１４ｃ、ＣＰＵ（Central Processing Unit）１４ｄ、ＲＡＭ（Random Access Memory）１４ｅ、並びにこれらＩ／Ｏポート１４ａ、ＲＯＭ１４ｂ、ＨＤＤ１４ｃ、ＣＰＵ１４ｄ、及びＲＡＭ１４ｅを互いに接続するバス１４ｆを含んで構成されている。
【００３３】
記憶媒体としてのＲＯＭ１４ｂには、ＯＳ等の基本プログラムが記憶されている。
【００３４】
記憶媒体としてのＨＤＤ１４ｃには、詳細を以下で説明する瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されている。
【００３５】
また、ＨＤＤ１４ｃには、例えば、「アイモデルを用いたCondensationによる黒目追跡」（北川洋介、加藤丈和、呉海元、和田俊和著）に記載されているような公知技術を用いて黒目の半径ｒｂ、眼球の半径ｒｗ、及び両眼球の中心間の距離ｄ等に基づいて定まる、図３に示すような、右目の目じりに対応する点Ｐ１（＝（ｘ１，ｙ１，ｚ１））、右目の目頭に対応する点Ｐ３（＝（ｘ３，ｙ３，ｚ３））、右目の上瞼における目頭と目じりとの間に対応する点Ｐ２（＝（ｘ２，ｙ２，ｚ２））、及び右目の下瞼における目頭と目じりとの間に対応する点Ｐ４（＝（ｘ４，ｙ４，ｚ４））の各々を右瞼の制御点として、これらの複数の右瞼の制御点の各々を適宜定めて、右の上瞼の三次元の形状及び右の下瞼の三次元の形状（すなわち、右瞼の三次元の形状）をベジエ曲線によって定め、定められた右瞼の三次元の形状を画像座標に投影して得られた２次元の所定の右瞼の瞼モデルが記憶されている。なお、所定の右瞼の瞼モデルを形成するために用いた上記の右瞼の制御点の各々を定める座標は、第１のモデルパラメータに対応する。
【００３６】
また、ＨＤＤ１４ｃには、同様に上記の公知技術を用いて黒目の半径ｒｂ、眼球の半径ｒｗ、及び両眼球の中心間の距離ｄ等に基づいて定まる、左目の目頭に対応する点Ｐ５（＝（ｘ５，ｙ５，ｚ５））、左目の目じりに対応する点Ｐ７（＝（ｘ７，ｙ７，ｚ７））、左目の上瞼における目頭と目じりとの間に対応する点Ｐ６（＝（ｘ６，ｙ６，ｚ６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ８（＝（ｘ８，ｙ８，ｚ８））の各々を左瞼の制御点として、これらの複数の左瞼の制御点の各々を適宜定めて、左の上瞼の三次元の形状及び左の下瞼の三次元の形状（すなわち、左瞼の三次元の形状）をベジエ曲線によって定め、定められた左瞼の三次元の形状を画像座標に投影して得られた２次元の所定の左瞼の瞼モデルが記憶されている。なお、所定の左瞼の瞼モデルを形成するために用いた上記の左瞼の制御点の各々を定める座標は、第２のモデルパラメータに対応する。
【００３７】
ＣＰＵ１４ｄは、プログラムをＲＯＭ１４ｂ及びＨＤＤ１４ｃから読み出して実行する。また、ＲＡＭ１４ｅには、各種データが一時的に記憶される。
【００３８】
Ｉ／Ｏポート１４ａには、カメラ１２が接続されている。
【００３９】
次に、コンピュータ１４のＣＰＵ１４ｄが実行する瞼尤度演算処理の処理ルーチンについて図４を用いて説明する。なお、本実施の形態において、瞼尤度演算処理は、瞼尤度演算装置１０のスイッチ（図示せず）がオンされた時点から所定時間間隔（例えば、数１０ｍｓｅｃ）毎に実行される。
【００４０】
まず、ステップ１００で、カメラ１２で撮影された画像の画像データを取り込む。
【００４１】
次のステップ１０２では、上記ステップ１００で取り込んだ画像データが表す画像から、顔の領域である顔領域を抽出することにより顔領域の画像データを取得する。ステップ１０２で顔領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から顔領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の顔領域を選択するための顔領域選択手段により画像の上で顔領域を選択することにより顔領域を抽出する方法を用いてもよい。
【００４２】
次のステップ１０４では、上記ステップ１０２で抽出した顔領域の画像データから、瞼及び虹彩を含む目の領域である目領域を抽出することにより目領域の画像データを取得する。ステップ１０４で目領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から目領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の目領域を選択するための目領域選択手段により画像の上で目領域を選択することにより目領域を抽出する方法を用いてもよい。
【００４３】
次のステップ１０６では、上記ステップ１０２で取得した顔領域の画像データに基づいて、画像データが表す顔の顔向き角度θを検出する。ステップ１０６で顔向き角度θを検出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す顔の顔向き角度θを検出する方法を用いてもよいし、あるいは、「適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定」（岡兼司、佐藤洋一、中西泰人、小池英樹著）に記載されているような公知技術を用いて頭部姿勢推定を行うことにより顔向き角度θを検出する方法を用いてもよい。
【００４４】
次のステップ１０８では、第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって、複数の右の比較瞼モデルを作成すると共に、第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって、複数の左の比較瞼モデルを作成するための比較モデル作成処理を実行する。ここで、ステップ１０８の比較モデル作成処理の処理ルーチンの詳細について図５を参照して説明する。
【００４５】
まず、ステップ２００では、ＨＤＤ１４ｃからモデルパラメータが初期値に設定された右瞼の瞼モデル及び左瞼の瞼モデルを読み込んで、読み込んだ右瞼の瞼モデルを初期の右の比較瞼モデルとすると共に、読み込んだ左瞼の瞼モデルを初期の左の比較瞼モデルとし、これら左右の比較瞼モデルをＲＡＭ１４ｅに記憶させることにより、右の比較瞼モデル及び左の比較瞼モデルを作成する。
【００４６】
ここで、右の比較瞼モデルは、後述する右の瞼尤度を演算する際の演算処理において、上記ステップ１０４で抽出した目領域の画像に含まれる右の上瞼及び右の下瞼の各形状と比較される瞼モデルである。また、左の比較瞼モデルは、後述する左の瞼尤度を演算する際の演算処理において、上記ステップ１０４で抽出した目領域の画像に含まれる左の上瞼及び左の下瞼の各形状と比較される瞼モデルである。
【００４７】
次のステップ２０２では、上記ステップ２００で作成された右の比較瞼モデルの右目の上瞼における目頭と目じりとの間に対応する点Ｐ２（＝（ｘ２，ｙ２，ｚ２））、及び右目の下瞼における目頭と目じりとの間に対応する点Ｐ４（＝（ｘ４，ｙ４，ｚ４））の組み合わせについて、点Ｐ２及び点Ｐ４の各々毎に予め定められた複数の右の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ１及び点Ｐ３の座標の組み合わせの場合において未だ選択されていない点Ｐ２及び点Ｐ４の座標の組み合わせを１つ選択する。また、同様に、上記ステップ２００で作成された左の比較瞼モデルの左目の上瞼における目頭と目じりとの間に対応する点Ｐ６（＝（ｘ６，ｙ６，ｚ６））、及び左目の下瞼における目頭と目じりとの間に対応する点Ｐ８（＝（ｘ８，ｙ８，ｚ８））の組み合わせについて、点Ｐ６及び点Ｐ８の各々毎に予め定められた複数の左の比較瞼モデルを作成するための複数の座標のパターンの中から、現時点の点Ｐ５及び点Ｐ７の座標の組み合わせの場合において未だ選択されていない点Ｐ６及び点Ｐ８の座標の組み合わせを１つ選択する。
【００４８】
次のステップ２０４では、現時点の点Ｐ２及び点Ｐ４の座標を、上記ステップ２０２で選択された点Ｐ２及び点Ｐ４の座標に変更し、変更後の点Ｐ２及び点Ｐ４の座標を含む第１のモデルパラメータ（点Ｐ１〜点Ｐ４の各々の座標）を用いて右の上瞼の三次元の形状及び右の下瞼の三次元の形状（すなわち、右瞼の三次元の形状）をベジエ曲線によって定め、定められた右瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右の比較瞼モデルとする。また、同様に、現時点の点Ｐ６及び点Ｐ８の座標を、上記ステップ２０２で選択された点Ｐ６及び点Ｐ８の座標に変更し、変更後の点Ｐ６及び点Ｐ８の座標を含む第２のモデルパラメータ（点Ｐ５〜点Ｐ８の各々の座標）を用いて左の上瞼の三次元の形状及び左の下瞼の三次元の形状（すなわち、左瞼の三次元の形状）をベジエ曲線によって定め、定められた左瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左の比較瞼モデルとする。そして、新たな右の比較瞼モデル及び左の比較瞼モデルをＲＡＭ１４ｅに記憶させることにより、新たな右の比較瞼モデル及び左の比較瞼モデルを作成する。
【００４９】
次のステップ２０６では、上記ステップ２０２で、現時点の点Ｐ１及び点Ｐ３の座標の組み合わせの場合において、点Ｐ２及び点Ｐ４の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、現時点の点Ｐ５及び点Ｐ７の座標の組み合わせの場合において、点Ｐ６及び点Ｐ８の座標の組み合わせを全てのパターンについて選択したか否かを判定する。
【００５０】
ステップ２０６で、点Ｐ２及び点Ｐ４の座標の組み合わせ並びに点Ｐ６及び点Ｐ８の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、上記のステップ２０２に戻り、全てのパターンについて選択されていないと判定された組み合わせの座標に対応する処理を上記と同様に行う。
【００５１】
一方、ステップ２０６で、点Ｐ２及び点Ｐ４の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ６及び点Ｐ８の座標の組み合わせを全てのパターンについて選択したと判定された場合には、次のステップ２０８に進む。
【００５２】
次のステップ２０８では、下記で詳細を説明するステップ２１０において点Ｐ１及び点Ｐ３の座標の組み合わせを全てのパターンについて選択したか否かを判定すると共に、点Ｐ５及び点Ｐ７の座標の組み合わせを全てのパターンについて選択したか否かを判定する。
【００５３】
ステップ２０８で、点Ｐ１及び点Ｐ３の座標の組み合わせ並びに点Ｐ５及び点Ｐ７の座標の組み合わせの少なくとも１方の組み合わせにおいて全てのパターンについて選択していないと判定された場合には、次のステップ２１０に進む。
【００５４】
ステップ２１０では、点Ｐ１及び点Ｐ３の各々毎に予め定められた複数の右の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ１及び点Ｐ３の座標の組み合わせを１つ選択する。また、同様に、点Ｐ５及び点Ｐ７の各々毎に予め定められた複数の左の比較瞼モデルを作成するための複数の座標のパターンの中から、未だ選択されていない点Ｐ５及び点Ｐ７の座標の組み合わせを１つ選択する。そして、ステップ２０４に戻る。なお、ステップ２１０からステップ２０４にもどった場合には、ステップ２０４では、点Ｐ２及び点Ｐ４の各々毎に予め定められた複数の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ１及び点Ｐ３の座標の組み合わせの場合において未だ選択されていない点Ｐ２及び点Ｐ４の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ１及び点Ｐ３の座標を、直近の上記ステップ２１０で選択された点Ｐ１及び点Ｐ３の座標に変更すると共に、現時点の点Ｐ２及び点Ｐ４の座標を、直近の上記ステップ２０２で選択された点Ｐ２及び点Ｐ４の座標に変更し、変更後の点Ｐ１、点Ｐ２、点Ｐ３及び点Ｐ４の座標を含む第１のモデルパラメータ（点Ｐ１〜点Ｐ４の各々の座標）を用いて右の上瞼の三次元の形状及び右の下瞼の三次元の形状（すなわち、右瞼の三次元の形状）をベジエ曲線によって定め、定められた右瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな右の比較瞼モデルとする。また、ステップ２０４では、同様に、点Ｐ６及び点Ｐ８の各々毎に予め定められた複数の左の比較瞼モデルを作成するための複数の座標のパターンの中から、直近の上記ステップ２１０で選択された点Ｐ５及び点Ｐ７の座標の組み合わせの場合において未だ選択されていない点Ｐ６及び点Ｐ８の座標の組み合わせを１つ選択する。そして、現時点の点Ｐ５及び点Ｐ７の座標を、直近の上記ステップ２１０において選択された点Ｐ５及び点Ｐ７の座標に変更すると共に、現時点の点Ｐ６及び点Ｐ８の座標を、直近の当該ステップ２０４で選択された点Ｐ６及び点Ｐ８の座標に変更し、変更後の点Ｐ５、点Ｐ６、点Ｐ７及び点Ｐ８の座標を含む第１のパラメータ（点Ｐ５〜点Ｐ８の各々の座標）を用いて左目の上瞼の三次元の形状及び左目の下瞼の三次元の形状（すなわち、左の瞼の三次元の形状）をベジエ曲線によって定め、定められた左の瞼の三次元の形状を画像座標に投影して得られた２次元の瞼モデルを、新たな左目の比較瞼モデルとする。そして、新たな右目の比較瞼モデル及び左目の比較瞼モデルを新たな比較瞼モデルとしてＲＡＭ１６ｅに記憶させることにより、新たな比較瞼モデルを作成する。
【００５５】
一方、ステップ２０８で、点Ｐ１及び点Ｐ３の座標の組み合わせを全てのパターンについて選択したと判定され、かつ点Ｐ５及び点Ｐ７の座標の組み合わせを全てのパターンについて選択したと判定された場合には、比較モデル作成処理を終了する。
【００５６】
以上説明したように、比較モデル作成処理によって、複数の右の比較瞼モデル及び複数の左の比較瞼モデルが作成される。
【００５７】
次のステップ１１０では、上記ステップ１０８で作成された複数の右の比較瞼モデルのうち、本ステップ１１０で未だ選択されていない右の比較瞼モデルを１つ選択する。
【００５８】
次のステップ１１２では、上記ステップ１１０で選択された右の比較瞼モデルによって表される上瞼及び下瞼の各形状と、上記ステップ１０４で抽出した目領域の画像に含まれる右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度λｒ＿ｅｙｅｌｉｄを演算し、演算した右の瞼尤度λｒ＿ｅｙｅｌｉｄをＲＡＭ１４ｅに記憶する。
【００５９】
なお、右の瞼尤度λｒ＿ｅｙｅｌｉｄは、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、上記の「アイモデルを用いたCondensationによる黒目追跡」（北川洋介、加藤丈和、呉海元、和田俊和著）に記載されているような公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮して演算することができる。
【００６０】
次のステップ１１４では、上記ステップ１１０で全ての右の比較瞼モデルを選択したか否かを判定する。
【００６１】
ステップ１１４で、全ての右の比較瞼モデルを選択していないと判定された場合には、ステップ１１０に戻る。
【００６２】
一方、ステップ１１４で、全ての右の比較瞼モデルを選択したと判定された場合には、次のステップ１１６へ進む。
【００６３】
なお、ステップ１１０からステップ１１４の処理が繰り返されることによって、ステップ１０８で作成された複数の右の比較瞼モデルの各々の右の瞼尤度λｒ＿ｅｙｅｌｉｄが演算される。
【００６４】
次のステップ１１６では、上記ステップ１０８で作成された複数の左の比較瞼モデルのうち、本ステップ１１６で未だ選択されていない左の比較瞼モデルを１つ選択する。
【００６５】
次のステップ１１８では、上記ステップ１１６で選択された左の比較瞼モデルによって表される上瞼及び下瞼の各形状と、上記ステップ１０４で抽出した目領域の画像に含まれる左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度λｌ＿ｅｙｅｌｉｄを演算し、演算した左の瞼尤度λｌ＿ｅｙｅｌｉｄをＲＡＭ１４ｅに記憶する。
【００６６】
なお、左の瞼尤度λｌ＿ｅｙｅｌｉｄは、瞼部分に影ができ、この影から肌の方向への輝度勾配が生じることから、上記の右の上記の瞼尤度λｒ＿ｅｙｅｌｉｄと同様に、「アイモデルを用いたCondensationによる黒目追跡」（北川洋介、加藤丈和、呉海元、和田俊和著）に記載されているような公知技術を用いて、法線ベクトルと輝度勾配ベクトルの向きを考慮して演算することができる。
【００６７】
次のステップ１２０では、上記ステップ１１６で全ての左の比較瞼モデルを選択したか否かを判定する。
【００６８】
ステップ１２０で、全ての左の比較瞼モデルを選択していないと判定された場合には、ステップ１１６に戻る。
【００６９】
一方、ステップ１２０で、全ての左の比較瞼モデルを選択したと判定された場合には、次のステップ１２２へ進む。
【００７０】
なお、ステップ１１６からステップ１２０の処理が繰り返されることによって、ステップ１０８で作成された複数の左の比較瞼モデルの各々の左の瞼尤度λｌ＿ｅｙｅｌｉｄが演算される。
【００７１】
ステップ１２２では、ステップ１０８で作成された複数の右の比較瞼モデル及び複数の左の比較瞼モデルのうち、瞼開度が同じ右の比較瞼モデル及び左の比較瞼モデルの組み合わせを１つ選択する。なお、ステップ１０８では、瞼開度がほぼ同じ右の比較瞼モデル及び左の比較瞼モデルの組み合わせを１つ選択するようにしてもよい。ここで、「瞼開度がほぼ同じ」とは、例えば、右の比較瞼モデル及び左の比較瞼モデルの各瞼開度が同一とみなせる場合の各瞼開度の差の最大値を予め実験的に求めておき、右の比較瞼モデル及び左の比較瞼モデルの各瞼尤度の差が、予め求められた上記最大値以内になる場合のことを指す。
【００７２】
次のステップ１２４では、上記ステップ１０６で検出された顔向き角度θに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ及びｗｌｅｆｔ、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄ、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに基づいて、下記の式（１）に示すように、重みｗｒｉｇｈｔが付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重みｗｌｅｆｔが付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和（（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＋ｗｌｅｆｔ））を両瞼（左右の瞼）の瞼尤度λｅｙｅｌｉｄとして演算する。
【００７３】
【数１】
2010092180.tif 000003
【００７４】
ここで、図６を参照して、ステップ１２４において、上記ステップ１０６で検出された顔向き角度θに応じて、重みｗｒｉｇｈｔ及び重みｗｌｅｆｔを定める方法の一例について説明する。
【００７５】
図６は、顔向き角度θと右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔの大きさとの関係、及び顔向き角度θと左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔの大きさとの関係を表す図である。
【００７６】
顔向き角度θが正の値である場合（本実施の形態では、右の方向を向いている場合にはθは正の値をとり、左の方向を向いている場合には負の値をとる）には右瞼からカメラ１２までの距離が、左瞼からカメラ１２までの距離より大きいと考えることができるので、このような場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度は、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。同様に、顔向き角度θが負の値である場合には左瞼からカメラ１２までの距離が、右瞼からカメラ１２までの距離より大きいと考えることができるので、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度は、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、顔向き角度θが大きくなればなるほど、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度が悪くなると考えられ、顔向き角度θが小さくなればなるほど、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度が悪くなると考えられる。
【００７７】
本実施の形態では、これらのことを考慮して、顔向き角度θに応じて、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【００７８】
ステップ１２４では、例えば、図６に示すように、ステップ１０６で検出した顔向き角度θが１５度（図６の例では、顔がカメラ１２に対して正面を向いたときの顔向き角度θを０度として、右方向の顔向き角度θを正の値とし、左方向の顔向き角度θを負の値で表している。）である場合には、重みｗｒｉｇｈｔとして０．２５、及び重みｗｌｅｆｔとして０．７５を定める。そして、下記の式（２）に示すように、重み０．２５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重み０．７５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和λｅｙｅｌｉｄを演算する。なお、図６の例では、重みｗｒｉｇｈｔと、重みｗｌｅｆｔとの和は１．０となる。
【００７９】
【数２】
2010092180.tif 000004
【００８０】
次のステップ１２６では、上記ステップ１２２で全ての組み合わせが選択されたか否かを判定する。ステップ１２６で全ての組み合わせが選択されていないと判定された場合には、ステップ１２２に戻り、選択されていない組み合わせを１つ選択する。一方、ステップ１２６で全ての組み合わせが選択されたと判定された場合には、次のステップ１２８へ進む。なお、ステップ１２２からステップ１２６の処理が繰り返されることによって、瞼開度が同じ左右の比較瞼モデルの組み合わせにおける両瞼の瞼尤度λｅｙｅｌｉｄが複数演算される。
【００８１】
ステップ１２８では、上記ステップ１２４で演算された複数の両瞼の瞼尤度λｅｙｅｌｉｄのうち、最も値が高い（最も大きい）両瞼の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌを演算する。そして、瞼尤度演算処理を終了する。
【００８２】
以上、説明したように、本実施形態に係る瞼尤度演算装置１０は、顔の画像を含む画像を撮影して画像データを出力する撮影手段としてのカメラ１２と、複数の第１のモデルパラメータによって右の上瞼及び右の下瞼の形状を定めた右瞼モデル、及び複数の第２のモデルパラメータによって左の上瞼及び左の下瞼の形状を定めた左瞼モデルを記憶した記憶手段としてのＨＤＤ１４ｃを含んで構成されており、画像データに基づいて、顔の顔向き角度θを検出し、第１のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の右の比較瞼モデルを作成すると共に、第２のモデルパラメータの少なくとも１つのモデルパラメータを複数回変更することによって複数の左の比較瞼モデルを作成し、右の比較瞼モデルによって表される右の上瞼及び右の下瞼の各形状とカメラ１２によって撮影された画像の右の上瞼及び右の下瞼の各形状とが一致する度合いを示す右の瞼尤度λｒ＿ｅｙｅｌｉｄ、及び左の比較瞼モデルによって表される左の上瞼及び左の下瞼の各形状とカメラ１２によって撮影された画像の左の上瞼及び左の下瞼の各形状とが一致する度合いを示す左の瞼尤度λｌ＿ｅｙｅｌｉｄを演算する。そして、本実施形態に係る瞼尤度演算装置１０は、検出された顔向き角度θに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ及びｗｌｅｆｔのうち右の瞼に対応する重みｗｒｉｇｈｔを、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔを、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＋ｗｌｅｆｔ））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置１０は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【００８３】
本実施形態に係る瞼尤度演算装置１０によれば、撮影手段（本実施の形態ではカメラ１２）によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ及びｗｌｅｆｔのうち右の瞼に対応する重みｗｒｉｇｈｔを右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔを左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＋ｗｌｅｆｔ））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算するので、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【００８４】
なお、本実施の形態の瞼尤度演算装置１０によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【００８５】
また、本実施の形態の瞼尤度演算装置１０を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置１０は、瞼開度検出装置として用いることが可能である。
【００８６】
［第２の実施の形態］
次に第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【００８７】
本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図８に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄがこの図８に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３００が実行され、ステップ１２２の次にステップ３０２が実行される。なお、本実施の形態では、カメラ１２として、撮影した対象物までの距離を検出可能な撮影手段、例えば、ステレオカメラが用いられる。
【００８８】
まず、ステップ３００での処理について説明する。ステップ３００では、上記ステップ１０４で抽出した目領域の画像データに画像処理を行って、上記ステップ１０４で抽出した右の目領域の所定部分（例えば、上瞼の中心）までの距離ｄｒｉｇｈｔを検出することにより、カメラ１２から右目までの距離ｄｒｉｇｈｔを検出すると共に、上記ステップ１０４で抽出した左の目領域の所定部分（例えば、上瞼の中心）までの距離ｄｌｅｆｔを検出することにより、カメラ１２から左目までの距離ｄｌｅｆｔを検出する。
【００８９】
次に、ステップ３０２での処理について説明する。ステップ３０２では、上記ステップ１０６で検出された右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ＿２及びｗｌｅｆｔ＿２、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄ、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに基づいて、下記の式（３）に示すように、重みｗｒｉｇｈｔ＿２が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重みｗｌｅｆｔ＿２が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和（（ｗｒｉｇｈｔ＿２・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿２・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿２＋ｗｌｅｆｔ＿２））を両瞼（左右の瞼）の瞼尤度λｅｙｅｌｉｄとして演算する。
【００９０】
【数３】
2010092180.tif 000005
【００９１】
ここで、図９を参照して、ステップ３０２において、上記ステップ３００で検出された右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔに応じて、重みｗｒｉｇｈｔ＿２及び重みｗｌｅｆｔ＿２を定める方法の一例について説明する。
【００９２】
図９は、（ｄｌｅｆｔ−ｄｒｉｇｈｔ）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿２の大きさとの関係、及び（ｄｌｅｆｔ−ｄｒｉｇｈｔ）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿２の大きさとの関係を表す図である。
【００９３】
ここで、右瞼からカメラ１２までの距離ｄｒｉｇｈｔと、左瞼からカメラ１２までの距離ｄｌｅｆｔとが同一である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【００９４】
一方、右瞼からカメラ１２までの距離ｄｒｉｇｈｔが、左瞼からカメラ１２までの距離ｄｌｅｆｔより大きい場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度は、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。同様に、左瞼からカメラ１２までの距離ｄｌｅｆｔが、右瞼からカメラ１２までの距離ｄｒｉｇｈｔより大きい場合には、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度は、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、距離ｄｒｉｇｈｔと距離ｄｌｅｆｔとの差が大きくなればなるほど、精度の差が大きくなると考えられる。
【００９５】
本実施の形態では、これらのことを考慮して、距離ｄｒｉｇｈｔと距離ｄｌｅｆｔとの差が大きくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【００９６】
ステップ３０２では、例えば、図９に示すように、ステップ３００で検出した右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔの差（ｄｌｅｆｔ−ｄｒｉｇｈｔ）が２．５ｃｍ（図９の例では、ｄｌｅｆｔ＞ｄｒｉｇｈｔの場合を正の値とし、ｄｌｅｆｔ＜ｄｒｉｇｈｔの場合を負の値で表している。）である場合には、重みｗｒｉｇｈｔ＿２として０．７５、及び重みｗｌｅｆｔ＿２として０．２５を定める。そして、下記の式（４）に示すように、重み０．７５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重み０．２５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和λｅｙｅｌｉｄを演算する。なお、図９の例では、重みｗｒｉｇｈｔ＿２と、重みｗｌｅｆｔ＿２との和は１．０となる。
【００９７】
【数４】
2010092180.tif 000006
【００９８】
以上、説明したように、本実施形態に係る瞼尤度演算装置は、検出された右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿２及びｗｌｅｆｔ＿２のうち右の瞼に対応する重みｗｒｉｇｈｔ＿２を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿２・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿２を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿２・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿２・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿２・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿２＋ｗｌｅｆｔ＿２））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【００９９】
本実施形態に係る瞼尤度演算装置によれば、撮影手段（本実施の形態ではステレオカメラ）によって撮影された画像に含まれる顔の画像が横を向いている場合（すなわち、画像に含まれる撮影対象の顔の画像が横を向いている場合）であっても、画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿２及びｗｌｅｆｔ＿２のうち右の瞼に対応する重みｗｒｉｇｈｔ＿２を右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿２・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿２を左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿２・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿２・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿２・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿２＋ｗｌｅｆｔ＿２））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算し、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算するので、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１００】
なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【０１０１】
また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０１０２】
［第３の実施の形態］
次に第３の実施の形態について説明する。なお、第２の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０１０３】
本実施の形態において、第２の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図１０に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄがこの図１０に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０２の次にステップ３０４が実行され、ステップ３０４の次にステップ３０６が実行され、ステップ１２２の次にステップ３０８が実行される。なお、本実施の形態では、第２の実施の形態と同様に、カメラ１２として、撮影した対象物までの距離を検出可能な撮影手段、例えば、ステレオカメラが用いられる。
【０１０４】
まず、ステップ３０４での処理について説明する。ステップ３０４では、上記ステップ１０２で取得した画像データが表す画像から、第１の実施の形態や第２の実施の形態と同様に、瞼及び虹彩を含む目の領域である目領域を抽出することにより目領域の画像データを取得する。更に、本実施の形態では、ステップ３０４で、右耳及び左耳を含む耳の領域（耳領域）を抽出することにより、耳領域の画像データを取得する。ステップ３０４で耳領域を抽出する方法としては、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から右耳を含む領域及び左耳を含む領域を検索する方法を用いてもよいし、あるいは、操作者がキーボード（図示せず）、マウス（図示せず）、電子ペン（図示せず）またはライトペン（図示せず）等の耳領域を選択するための耳領域選択手段により画像の上で耳領域を選択することにより耳領域を抽出する方法を用いてもよい。
【０１０５】
次に、ステップ３０６での処理について説明する。ステップ３０６では、上記ステップ３０４で抽出した耳領域の画像データに画像処理を行って、上記ステップ３０４で抽出した右の耳領域の所定部分（例えば、右耳の中心）までの距離ｄｒｉｇｈｔ＿２を検出することにより、カメラ１２から右耳までの距離ｄｒｉｇｈｔ＿２を検出すると共に、上記ステップ３０４で抽出した左の耳領域の所定部分（例えば、左耳の中心）までの距離ｄｌｅｆｔ＿２を検出することにより、カメラ１２から左耳までの距離ｄｌｅｆｔ＿２を検出する。
【０１０６】
次に、ステップ３０８での処理について説明する。ステップ３０８では、上記ステップ３０６で検出された右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２に応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ＿３及びｗｌｅｆｔ＿３、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄ、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに基づいて、下記の式（５）に示すように、重みｗｒｉｇｈｔ＿３が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重みｗｌｅｆｔ＿３が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和（（ｗｒｉｇｈｔ＿３・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿３・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿３＋ｗｌｅｆｔ＿３））を両瞼（左右の瞼）の瞼尤度λｅｙｅｌｉｄとして演算する。
【０１０７】
【数５】
2010092180.tif 000007
【０１０８】
ここで、図１１を参照して、ステップ３０８において、上記ステップ３０６で検出された右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２に応じて、重みｗｒｉｇｈｔ＿３及び重みｗｌｅｆｔ＿３を定める方法の一例について説明する。
【０１０９】
図１１は、（ｄｌｅｆｔ＿２−ｄｒｉｇｈｔ＿２）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿３の大きさとの関係、及び（ｄｌｅｆｔ＿２−ｄｒｉｇｈｔ＿２）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿３の大きさとの関係を表す図である。
【０１１０】
ここで、右耳からカメラ１２までの距離ｄｒｉｇｈｔ＿２と、左耳からカメラ１２までの距離ｄｌｅｆｔ＿２とが同一である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１１１】
一方、右耳からカメラ１２までの距離ｄｒｉｇｈｔ＿２が、左耳からカメラ１２までの距離ｄｌｅｆｔ＿２より大きい場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度は、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。同様に、左耳からカメラ１２までの距離ｄｌｅｆｔ＿２が、右耳からカメラ１２までの距離ｄｒｉｇｈｔ＿２より大きい場合には、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度は、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、距離ｄｒｉｇｈｔ＿２と距離ｄｌｅｆｔ＿２との差が大きくなればなるほど、精度の差が大きくなると考えられる。
【０１１２】
本実施の形態では、これらのことを考慮して、距離ｄｒｉｇｈｔ＿２と距離ｄｌｅｆｔ＿２との差が大きくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１１３】
ステップ３０８では、例えば、図１１に示すように、ステップ３０６で検出した右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２の差（ｄｌｅｆｔ＿２−ｄｒｉｇｈｔ＿２）が２．５ｃｍ（図１１の例では、ｄｌｅｆｔ＿２＞ｄｒｉｇｈｔ＿２の場合を正の値とし、ｄｌｅｆｔ＿２＜ｄｒｉｇｈｔ＿２の場合を負の値で表している。）である場合には、重みｗｒｉｇｈｔ＿３として０．７５、及び重みｗｌｅｆｔ＿３として０．２５を定める。そして、下記の式（６）に示すように、重み０．７５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重み０．２５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和λｅｙｅｌｉｄを演算する。なお、図１１の例では、重みｗｒｉｇｈｔ＿２と、重みｗｌｅｆｔ＿２との和は１．０となる。
【０１１４】
【数６】
2010092180.tif 000008
【０１１５】
以上、説明したように、本実施形態に係る瞼尤度演算装置は、検出された右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２に応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿３及びｗｌｅｆｔ＿３のうち右の瞼に対応する重みｗｒｉｇｈｔ＿３を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿３・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿３を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿３・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿３・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿３・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿３＋ｗｌｅｆｔ＿３））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【０１１６】
本実施形態に係る瞼尤度演算装置によれば、第１の実施の形態及び第２の実施の形態と同様に、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１１７】
なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【０１１８】
また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０１１９】
［第４の実施の形態］
次に第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０１２０】
本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図１２に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図１２に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３１０が実行され、ステップ１２２の次にステップ３１２が実行される。
【０１２１】
まず、ステップ３１０での処理について説明する。ステップ３１０では、右目の目領域のコントラスト及び左目の目領域のコントラストを演算するための目領域コントラスト演算処理を実行する。
【０１２２】
この目領域コントラスト演算処理について、図１３を参照して説明すると、まずステップ４００で、上記ステップ１０４で抽出した目領域のうち、右目の目領域（右目領域）の全ての画素の濃度値（画素値：本実施の形態では、例えば０〜２５５の何れかの値）を検出する。
【０１２３】
次のステップ４０２では、まず、図１４（Ａ）に示すように、上記ステップ４００で検出した各画素の濃度値に基づいて、横軸を濃度値、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｉｔｈｒｉｇｈｔより多い場合の濃度値の最大と最小との差Ｉｗｒｉｇｈｔを演算することにより、右目の目領域のコントラストＩｗｒｉｇｈｔを演算する。
【０１２４】
次のステップ４０４では、上記ステップ１０４で抽出した目領域のうち、左目の目領域（左目領域）の全ての画素の濃度値を検出する。
【０１２５】
次のステップ４０６では、まず、図１４（Ｂ）に示すように、上記ステップ４０４で検出した各画素の濃度値に基づいて、横軸を濃度値、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｉｔｈｌｅｆｔより多い場合の濃度値の最大と最小との差Ｉｗｌｅｆｔを演算することにより、左目の目領域のコントラストＩｗｌｅｆｔを演算する。そして、目領域コントラスト演算処理を終了する。以上、説明しように、ステップ３１０での目領域コントラスト演算処理によって、左右の目領域の各コントラストが演算される。
【０１２６】
ここで、コントラストが低い（小さい）ほどぼやけた画像となることから、コントラストが低いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が遠いと考えることができる。同様に、コントラストが高い（大きい）ほどはっきりとした画像となることから、コントラストが高いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が近いと考えることができる。
【０１２７】
次に、ステップ３１２での処理について説明する。ステップ３１２では、上記ステップ３１０で演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、コントラストが小さい方（顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほう）の瞼の瞼尤度に対応する大きさが、コントラストが大きい方（近い方）の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ＿４及びｗｌｅｆｔ＿４、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄ、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに基づいて、下記の式（７）に示すように、重みｗｒｉｇｈｔ＿４が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重みｗｌｅｆｔ＿４が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和（（ｗｒｉｇｈｔ＿４・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿４・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿４＋ｗｌｅｆｔ＿４））を両瞼（左右の瞼）の瞼尤度λｅｙｅｌｉｄとして演算する。
【０１２８】
【数７】
2010092180.tif 000009
【０１２９】
ここで、図１５を参照して、ステップ３１２において、上記ステップ３１０で演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔに応じて、重みｗｒｉｇｈｔ＿４及び重みｗｌｅｆｔ＿４を定める方法の一例について説明する。なお、本実施の形態では、Ｉｗｒｉｇｈｔ及びＩｗｌｅｆｔの大小関係によって重みｗｒｉｇｈｔ＿４及び重みｗｌｅｆｔ＿４を定める方法が以下に示すように異なる。
【０１３０】
図１５（Ａ）は、Ｉｗｌｅｆｔ＜Ｉｗｒｉｇｈｔの場合におけるＩｗｌｅｆｔをＩｗｒｉｇｈｔで割った（除算した）値である比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿４の大きさとの関係、及び比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿４の大きさとの関係を表す図である。
【０１３１】
ここで、比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）が１である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１３２】
一方、比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）が１より小さい場合には、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度は、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）が１より小さくなればなるほど、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度が、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪くなると考えられる。
【０１３３】
本実施の形態では、これらのことを考慮して、比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１３４】
ステップ３１２では、Ｉｗｌｅｆｔ＜Ｉｗｒｉｇｈｔである場合には、図１５（Ａ）に示すように、左目の目領域のコントラストＩｗｌｅｆｔを、右目の目領域のコントラストＩｗｒｉｇｈｔで割った値である比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）を演算して対応する重みｗｒｉｇｈｔ＿４及び重みｗｌｅｆｔ＿４を定める。より具体的には、例えば、Ｉｗｌｅｆｔ＜Ｉｗｒｉｇｈｔである場合における比（Ｉｗｌｅｆｔ／Ｉｗｒｉｇｈｔ）が、０．７５であるときには、重みｗｒｉｇｈｔ＿４として０．７５、及び重みｗｌｅｆｔ＿４として０．２５を定める。そして、下記の式（８）に示すように、重み０．７５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重み０．２５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和λｅｙｅｌｉｄを演算する。なお、図１５（Ａ）の例では、重みｗｒｉｇｈｔ＿４と、重みｗｌｅｆｔ＿４との和は１．０となる。
【０１３５】
【数８】
2010092180.tif 000010
【０１３６】
また、図１５（Ｂ）は、Ｉｗｌｅｆｔ≧Ｉｗｒｉｇｈｔの場合におけるＩｗｒｉｇｈｔをＩｗｌｅｆｔで割った（除算した）値である比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿４の大きさとの関係、及び比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿４の大きさとの関係を表す図である。
【０１３７】
ここで、比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）が１である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１３８】
一方、比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）が１より小さい場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度は、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）が１より小さくなればなるほど、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度が、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪くなると考えられる。
【０１３９】
本実施の形態では、これらのことを考慮して、比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１４０】
ステップ３１２では、Ｉｗｌｅｆｔ≧Ｉｗｒｉｇｈｔである場合には、図１５（Ｂ）に示すように、右目の目領域のコントラストＩｗｒｉｇｈｔを、左目の目領域のコントラストＩｗｌｅｆｔで割った値である比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）を演算して対応する重みｗｒｉｇｈｔ＿４及び重みｗｌｅｆｔ＿４を定める。より具体的には、例えば、Ｉｗｌｅｆｔ≧Ｉｗｒｉｇｈｔである場合における比（Ｉｗｒｉｇｈｔ／Ｉｗｌｅｆｔ）が、０．７５であるときには、重みｗｒｉｇｈｔ＿４として０．２５、及び重みｗｌｅｆｔ＿４として０．７５を定める。そして、上記と同様に、和λｅｙｅｌｉｄを演算する。なお、図１５（Ｂ）の例においても、重みｗｒｉｇｈｔ＿４と、重みｗｌｅｆｔ＿４との和は１．０となる。
【０１４１】
以上、説明したように、本実施形態に係る瞼尤度演算装置は、演算された右目領域のコントラストＩｗｒｉｇｈｔ及び左目領域のコントラストＩｗｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうち、コントラストが小さい方（カメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほう）の瞼の瞼尤度に対応する大きさが、コントラストが大きい方（近いほう）の瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿４及びｗｌｅｆｔ＿４のうち右の瞼に対応する重みｗｒｉｇｈｔ＿４を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿４・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿４を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿４・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿４・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿４・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿４＋ｗｌｅｆｔ＿４））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【０１４２】
本実施形態に係る瞼尤度演算装置によれば、第１〜３の各実施の形態と同様に、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１４３】
なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【０１４４】
また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０１４５】
［第５の実施の形態］
次に第５の実施の形態について説明する。なお、第１〜４の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０１４６】
本実施の形態において、第４の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図１６に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図１６に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３１４が実行され、ステップ１２２の次にステップ３１６が実行される。
【０１４７】
まず、ステップ３１４での処理について説明する。ステップ３１４では、右目の目領域のエッジ強度及び左目の目領域のエッジ強度を演算するための目領域エッジ強度演算処理を実行する。
【０１４８】
この目領域エッジ強度演算処理について、図１７を参照して説明すると、まずステップ５００で、上記ステップ１０４で抽出した目領域のうち、右目の目領域（右目領域）の全ての画素のエッジ強度を検出する。ここで、エッジ強度について説明する。エッジ強度とは、隣り合う画素の画素値の変化度合いを示すもので、画像の鮮鋭感の指標となるものである。例えば、対象物が鮮明に映し出される画像（鮮明画像）とその対象物がぼやけて映し出される画像（不鮮明画像）とを比較すると、対象物とその周辺とを分ける境界線の鮮鋭感（エッジの強さ）は、不鮮明画像よりも鮮明画像の方が大きくなる。ゆえに、エッジ強度は、画像の鮮鋭感の指標となる。
【０１４９】
次のステップ５０２では、まず、図１８（Ａ）に示すように、上記ステップ５００で検出した各画素のエッジ強度に基づいて、横軸をエッジ強度、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｅｔｈｒｉｇｈｔより多い場合のエッジ強度の最大と最小との差Ｅｗｒｉｇｈｔを演算することにより、右目の目領域のエッジ強度Ｅｗｒｉｇｈｔを演算する。
【０１５０】
次のステップ５０４では、上記ステップ１０４で抽出した目領域のうち、左目の目領域（左目領域）の全ての画素のエッジ強度を検出する。
【０１５１】
次のステップ５０６では、まず、図１８（Ｂ）に示すように、上記ステップ５０４で検出した各画素のエッジ強度に基づいて、横軸をエッジ強度、縦軸を画素の数とするヒストグラムを作成する。そして、同図に図示されるように、画素の数が所定の閾値Ｅｔｈｌｅｆｔより多い場合のエッジ強度の最大と最小との差Ｅｗｌｅｆｔを演算することにより、左目の目領域のエッジ強度Ｅｗｌｅｆｔを演算する。そして、目領域エッジ強度演算処理を終了する。以上、説明しように、ステップ３１４での目領域エッジ強度演算処理によって、左右の目領域の各エッジ強度が演算される。
【０１５２】
ここで、エッジ強度が低い（小さい）ほどぼやけた画像となることから、エッジ強度が低いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が遠くなることが分かる。同様に、エッジ強度が高い（大きい）ほどはっきりとした画像となることから、エッジ強度が高いほどカメラ１２とその撮影対象物（撮影対象箇所）との距離が近くなることが分かる。
【０１５３】
次に、ステップ３１６での処理について説明する。ステップ３１６では、上記ステップ３１４で演算された右目の目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目の目領域のエッジ強度Ｅｗｌｅｆｔに応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、エッジ強度が小さい方（顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほう）の瞼の瞼尤度に対応する大きさが、エッジ強度が大きい方（近い方）の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ＿５及びｗｌｅｆｔ＿５、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄ、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに基づいて、下記の式（９）に示すように、重みｗｒｉｇｈｔ＿５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重みｗｌｅｆｔ＿５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和（（ｗｒｉｇｈｔ＿５・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿５・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿５＋ｗｌｅｆｔ＿５））を両瞼（左右の瞼）の瞼尤度λｅｙｅｌｉｄとして演算する。
【０１５４】
【数９】
2010092180.tif 000011
【０１５５】
ここで、図１９を参照して、ステップ３１６において、上記ステップ３１４で演算された右目の目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目の目領域のエッジ強度Ｅｗｌｅｆｔに応じて、重みｗｒｉｇｈｔ＿５及び重みｗｌｅｆｔ＿５を定める方法の一例について説明する。なお、本実施の形態では、Ｅｗｒｉｇｈｔ及びＥｗｌｅｆｔの大小関係によって重みｗｒｉｇｈｔ＿５及び重みｗｌｅｆｔ＿５を定める方法が以下に示すように異なる。
【０１５６】
図１９（Ａ）は、Ｅｗｌｅｆｔ＜Ｅｗｒｉｇｈｔの場合におけるＥｗｌｅｆｔをＥｗｒｉｇｈｔで割った（除算した）値である比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿５の大きさとの関係、及び比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿５の大きさとの関係を表す図である。
【０１５７】
ここで、比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）が１である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１５８】
一方、比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）が１より小さい場合には、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度は、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）が１より小さくなればなるほど、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度が、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪くなると考えられる。
【０１５９】
本実施の形態では、これらのことを考慮して、比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１６０】
ステップ３１６では、Ｅｗｌｅｆｔ＜Ｅｗｒｉｇｈｔである場合には、図１９（Ａ）に示すように、左目の目領域のエッジ強度Ｅｗｌｅｆｔを、右目の目領域のエッジ強度Ｅｗｒｉｇｈｔで割った値である比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）を演算して対応する重みｗｒｉｇｈｔ＿５及び重みｗｌｅｆｔ＿５を定める。より具体的には、例えば、Ｅｗｌｅｆｔ＜Ｅｗｒｉｇｈｔである場合における比（Ｅｗｌｅｆｔ／Ｅｗｒｉｇｈｔ）が、０．７５であるときには、重みｗｒｉｇｈｔ＿５として０．７５、及び重みｗｌｅｆｔ＿５として０．２５を定める。そして、下記の式（１０）に示すように、重み０．７５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重み０．２５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和λｅｙｅｌｉｄを演算する。なお、図１９（Ａ）の例では、重みｗｒｉｇｈｔ＿５と、重みｗｌｅｆｔ＿５との和は１．０となる。
【０１６１】
【数１０】
2010092180.tif 000012
【０１６２】
また、図１９（Ｂ）は、Ｅｗｌｅｆｔ≧Ｅｗｒｉｇｈｔの場合におけるＥｗｒｉｇｈｔをＥｗｌｅｆｔで割った（除算した）値である比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿５の大きさとの関係、及び比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿５の大きさとの関係を表す図である。
【０１６３】
ここで、比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）が１である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１６４】
一方、比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）が１より小さい場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度は、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）が１より小さくなればなるほど、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度が、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪くなると考えられる。
【０１６５】
本実施の形態では、これらのことを考慮して、比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１６６】
ステップ３１６では、Ｅｗｌｅｆｔ≧Ｅｗｒｉｇｈｔである場合には、図１９（Ｂ）に示すように、右目の目領域のエッジ強度Ｅｗｒｉｇｈｔを、左目の目領域のエッジ強度Ｅｗｌｅｆｔで割った値である比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）を演算して対応する重みｗｒｉｇｈｔ＿５及び重みｗｌｅｆｔ＿５を定める。より具体的には、例えば、Ｅｗｌｅｆｔ≧Ｅｗｒｉｇｈｔである場合における比（Ｅｗｒｉｇｈｔ／Ｅｗｌｅｆｔ）が、０．７５であるときには、重みｗｒｉｇｈｔ＿５として０．２５、及び重みｗｌｅｆｔ＿５として０．７５を定める。そして、上記と同様に、和λｅｙｅｌｉｄを演算する。なお、図１９（Ｂ）の例においても、重みｗｒｉｇｈｔ＿５と、重みｗｌｅｆｔ＿５との和は１．０となる。
【０１６７】
以上、説明したように、本実施形態に係る瞼尤度演算装置は、演算された右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうち、エッジ強度が小さい方（カメラ１２によって画像が撮影されたときのカメラ１２の位置（撮影位置）に遠いほう）の瞼の瞼尤度に対応する大きさが、エッジ強度が大きい方（近いほう）の瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿５及びｗｌｅｆｔ＿５のうち右の瞼に対応する重みｗｒｉｇｈｔ＿５を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿５・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿５を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿５・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿５・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿５・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿５＋ｗｌｅｆｔ＿５））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【０１６８】
本実施形態に係る瞼尤度演算装置によれば、第１〜４の各実施の形態と同様に、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１６９】
なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【０１７０】
また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０１７１】
［第６の実施の形態］
次に第６の実施の形態について説明する。なお、第１〜５の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０１７２】
本実施の形態において、第４の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２０に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２０に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０４の次にステップ３１８が実行され、ステップ１２２の次にステップ３２０が実行される。
【０１７３】
まず、ステップ３１８での処理について説明する。ステップ３１８では、上記ステップ１０４で抽出した目領域のうち、右目の目領域（右目領域）の画像データから、右目の目頭と目じりとの距離ｄｒｉｇｈｔ＿３を検出すると共に、左目の目領域（左目領域）の画像データから、左目の目頭と目じりとの距離ｄｌｅｆｔ＿３を検出する。例えば、ステップ３１８では、非特許文献「C. Harris and M. Stephens, “A combined corner and edge detector”, Proc. Alvey Vision Conf., pp. 147-151, 1988.」に記載の公知技術を用いて、右目の目頭の位置及び右目の目じりの位置、並びに左目の目頭の位置及び左目の目じりの位置を検出し、検出した各位置から、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３を検出することができる。
【０１７４】
ここで、距離ｄｒｉｇｈｔ＿３とｄｌｅｆｔ＿３とを比較することにより、目頭と目じりとの距離が短いほうの瞼は、目頭と目じりとの距離が長いほうの瞼に比べて、カメラ１２までの距離が大きい（カメラ１２からの位置が遠い）と判断することができる。
【０１７５】
次に、ステップ３２０での処理について説明する。ステップ３２０では、上記ステップ３１８で検出された右目の目頭と目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と目じりとの距離ｄｌｅｆｔ＿３に応じて、上記ステップ１０２で抽出された顔領域を含む画像の画像データが表す顔の画像に含まれる右瞼及び左瞼のうち、顔の画像を含む画像がカメラ１２によって撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近い方の瞼の瞼尤度に対応する大きさより小さくなるように定めた重みｗｒｉｇｈｔ＿６及びｗｌｅｆｔ＿６、直近の上記ステップ１２２で選択された組み合わせの右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄ、並びに直近の上記ステップ１２２で選択された組み合わせの左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに基づいて、下記の式（１１）に示すように、重みｗｒｉｇｈｔ＿６が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重みｗｌｅｆｔ＿６が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和（（ｗｒｉｇｈｔ＿６・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿６・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿６＋ｗｌｅｆｔ＿６））を両瞼（左右の瞼）の瞼尤度λｅｙｅｌｉｄとして演算する。
【０１７６】
【数１１】
2010092180.tif 000013
【０１７７】
ここで、図２１を参照して、ステップ３２０において、上記ステップ３１８で検出された右目の目頭と目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と目じりとの距離ｄｌｅｆｔ＿３に応じて、重みｗｒｉｇｈｔ＿６及び重みｗｌｅｆｔ＿６を定める方法の一例について説明する。なお、本実施の形態では、ｄｒｉｇｈｔ＿３及びｄｌｅｆｔ＿３の大小関係によって重みｗｒｉｇｈｔ＿６及び重みｗｌｅｆｔ＿６を定める方法が以下に示すように異なる。
【０１７８】
図２１（Ａ）は、ｄｌｅｆｔ＿３＜ｄｒｉｇｈｔ＿３の場合におけるｄｌｅｆｔ＿３をｄｒｉｇｈｔ＿３で割った（除算した）値である比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿６の大きさとの関係、及び比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿６の大きさとの関係を表す図である。
【０１７９】
ここで、比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）が１である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１８０】
一方、比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）が１より小さい場合には、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度は、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）が１より小さくなればなるほど、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度が、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度より悪くなると考えられる。
【０１８１】
本実施の形態では、これらのことを考慮して、比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１８２】
ステップ３２０では、ｄｌｅｆｔ＿３＜ｄｒｉｇｈｔ＿３である場合には、図２１（Ａ）に示すように、左目の目頭と目じりとの距離ｄｌｅｆｔ＿３を、右目の目頭と目じりとの距離ｄｒｉｇｈｔ＿３で割った値である比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）を演算して対応する重みｗｒｉｇｈｔ＿６及び重みｗｌｅｆｔ＿６を定める。より具体的には、例えば、ｄｌｅｆｔ＿３＜ｄｒｉｇｈｔ＿３である場合における比（ｄｌｅｆｔ＿３／ｄｒｉｇｈｔ＿３）が、０．７５であるときには、重みｗｒｉｇｈｔ＿６として０．７５、及び重みｗｌｅｆｔ＿６として０．２５を定める。そして、下記の式（１２）に示すように、重み０．７５が付けられた右の瞼尤度λｒ＿ｅｙｅｌｉｄと、重み０．２５が付けられた左の瞼尤度λｌ＿ｅｙｅｌｉｄとの和λｅｙｅｌｉｄを演算する。なお、図２１（Ａ）の例では、重みｗｒｉｇｈｔ＿６と、重みｗｌｅｆｔ＿６との和は１．０となる。
【０１８３】
【数１２】
2010092180.tif 000014
また、図２１（Ｂ）は、ｄｌｅｆｔ＿３≧ｄｒｉｇｈｔ＿３の場合におけるｄｒｉｇｈｔ＿３をｄｌｅｆｔ＿３で割った（除算した）値である比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）と右の瞼尤度λｒ＿ｅｙｅｌｉｄに対応する重みｗｒｉｇｈｔ＿６の大きさとの関係、及び比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）と左の瞼尤度λｌ＿ｅｙｅｌｉｄに対応する重みｗｌｅｆｔ＿６の大きさとの関係を表す図である。
【０１８４】
ここで、比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）が１である場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度（信頼性）と左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度とは同一であると考えることができる。
【０１８５】
一方、比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）が１より小さい場合には、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度は、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪いと考えることができる。そして、比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）が１より小さくなればなるほど、右の瞼尤度λｒ＿ｅｙｅｌｉｄの精度が、左の瞼尤度λｌ＿ｅｙｅｌｉｄの精度より悪くなると考えられる。
【０１８６】
本実施の形態では、これらのことを考慮して、比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）が１より小さくなればなるほど、精度が悪くなるほうの瞼尤度の重みを小さくすることにより、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低い（悪い）ほうの瞼の瞼尤度の割合をより小さくするようにしている。これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１８７】
ステップ３２０では、ｄｌｅｆｔ＿３≧ｄｒｉｇｈｔ＿３である場合には、図２１（Ｂ）に示すように、右目の目頭と目じりとの距離ｄｒｉｇｈｔ＿３を、左目の目頭と目じりとの距離ｄｌｅｆｔ＿３で割った値である比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）を演算して対応する重みｗｒｉｇｈｔ＿６及び重みｗｌｅｆｔ＿６を定める。より具体的には、例えば、ｄｌｅｆｔ＿３≧ｄｒｉｇｈｔ＿３である場合における比（ｄｒｉｇｈｔ＿３／ｄｌｅｆｔ＿３）が、０．７５であるときには、重みｗｒｉｇｈｔ＿６として０．２５、及び重みｗｌｅｆｔ＿６として０．７５を定める。そして、上記と同様に、和λｅｙｅｌｉｄを演算する。なお、図２１（Ｂ）の例においても、重みｗｒｉｇｈｔ＿６と、重みｗｌｅｆｔ＿６との和は１．０となる。
【０１８８】
以上、説明したように、本実施形態に係る瞼尤度演算装置は、検出された右目の目頭と目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と目じりとの距離ｄｌｅｆｔ＿３に応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿６及びｗｌｅｆｔ＿６のうち右の瞼に対応する重みｗｒｉｇｈｔ＿６を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿６・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿６を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿６・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿６・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿６・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿６＋ｗｌｅｆｔ＿６））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。そして、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【０１８９】
本実施形態に係る瞼尤度演算装置によれば、第１〜５の各実施の形態と同様に、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０１９０】
なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【０１９１】
また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０１９２】
［第７の実施の形態］
次に第７の実施の形態について説明する。なお、第１〜６の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０１９３】
本実施の形態では、まず、上記で詳細を説明した第１〜６の各実施の形態と同様にして、重みｗｒｉｇｈｔ及び重みｗｌｅｆｔの組、重みｗｒｉｇｈｔ＿２及び重みｗｌｅｆｔ＿２の組、重みｗｒｉｇｈｔ＿３及び重みｗｌｅｆｔ＿３の組、重みｗｒｉｇｈｔ＿４及び重みｗｌｅｆｔ＿４の組、重みｗｒｉｇｈｔ＿５及び重みｗｌｅｆｔ＿５の組、並びに重みｗｒｉｇｈｔ＿６及び重みｗｌｅｆｔ＿６の組の少なくとも１つ以上の組を定める。
【０１９４】
以下、右の瞼に対応する重みｗｒｉｇｈｔ、ｗｒｉｇｈｔ＿２〜ｗｒｉｇｈｔ＿６、及び左の瞼に対応する重みｗｌｅｆｔ、ｗｌｅｆｔ＿２〜ｗｌｅｆｔ＿６を定める場合（すなわち、上記の第１〜６の実施の形態の全ての重み（６組の重み）を定める場合）を例に挙げて説明する。この場合には、本実施の形態の瞼尤度演算装置は、第１の実施の形態と同様にして顔の顔向き角度θを検出する検出手段（第１の検出手段）、第２の実施の形態と同様にして右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔを検出する検出手段（第２の検出手段）、第３の実施の形態と同様にして右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２を検出する検出手段（第３の検出手段）、第６の実施の形態と同様にして右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３を検出する検出手段（第４の検出手段）、第４の実施の形態と同様にして右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔを演算する演算手段（第１の演算手段）、及び第５の実施の形態と同様にして右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔを演算する演算手段（第２の演算手段）を備えた処理手段を含んで構成されている。
【０１９５】
次に、６組の重みを演算した場合には、以下の式（１３）に示すように、本実施の形態において、右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けするための重みｗｒｉｇｈｔ＿７を定める。
【０１９６】
【数１３】
2010092180.tif 000015
ただし、
sum：ａ１・ｗｒｉｇｈｔ×ａ２・ｗｒｉｇｈｔ＿２×ａ３・ｗｒｉｇｈｔ＿３×ａ４・ｗｒｉｇｈｔ＿４×ａ５・ｗｒｉｇｈｔ＿５×ａ６・ｗｒｉｇｈｔ＿６＋ａ１・ｗｌｅｆｔ×ａ２・ｗｌｅｆｔ＿２×ａ３・ｗｌｅｆｔ＿３×ａ４・ｗｌｅｆｔ＿４×ａ５・ｗｌｅｆｔ＿５×ａ６・ｗｌｅｆｔ＿６
である。
【０１９７】
ここで、重み係数ａ１〜ａ６について説明する。６組の重みを定めた場合には、ａ１＋ａ２＋ａ３＋ａ４＋ａ５＋ａ６＝１という条件を設定し、重み係数ａ１〜ａ６を様々に変えたときに瞼開度検出性能が最大になる値を選択する。なお、瞼開度検出性能が最大とは、例えば、瞼開度誤差平均が最小になる場合などをいう。例えば、上記では、６組の重みを定めた場合について説明したが、２組の重みのみを定めた場合（例えば、重みｗｒｉｇｈｔ、ｗｒｉｇｈｔ＿２、及び重みｗｌｅｆｔ、ｗｌｅｆｔ＿２を定めた場合）には、例えば、ａ１＋ａ２＝１という条件を設定する。この場合における重み係数ａ１の値と、瞼開度誤差平均との関係は、図２２に示すような関係となる。なお、図２２の例では、重み係数ａ１＝０．６のときに瞼開度誤差平均が最小になるので、重み係数ａ１＝０．６、ａ１＝０．４となる。６組の重みが定められた場合には、同様の原理で、重み係数ａ１〜ａ６の各値について選択する。
【０１９８】
次に、６組の重みが定められた場合には、以下の式（１４）に示すように、本実施の形態において、左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けするための重みｗｌｅｆｔ＿７を定める。
【０１９９】
【数１４】
2010092180.tif 000016
ただし、sum及び重み係数ａ１〜ａ６については上記で説明したものと同様である。
【０２００】
このようにして定められた重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７は、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みである。
【０２０１】
そして、右の瞼に対応する重みｗｒｉｇｈｔ＿７を、上記の第１〜６の各実施形態と同様に、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿７を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿７＋ｗｌｅｆｔ＿７））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。
【０２０２】
すなわち、検出された顔向き角度θ、右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔ、右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３、演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７のうち、右の瞼に対応する重みｗｒｉｇｈｔ＿７を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿７を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿７＋ｗｌｅｆｔ＿７））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算する。
【０２０３】
そして、上記の第１〜６の各実施形態と同様に、本実施形態に係る瞼尤度演算装置は、複数演算された組み合わせ毎の左右の瞼尤度λｅｙｅｌｉｄのうち、最も大きい左右の瞼尤度λｅｙｅｌｉｄ＿ｍａｘを全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌとして演算する。
【０２０４】
本実施形態に係る瞼尤度演算装置によれば、第１〜６の各実施の形態と同様に、全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに対する精度が低いほうの瞼の瞼尤度の割合がより小さくなり、これにより全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌをより良好な精度で演算することができる。
【０２０５】
なお、本実施の形態では６組の重みを演算する例について説明したが、本実施の形態の瞼尤度演算装置を以下で説明するような構成とすることで、少なくとも１組の重みを演算するようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔ、右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３、演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７のうち、右の瞼に対応する重みｗｒｉｇｈｔ＿７を、瞼開度が同一である右の比較瞼モデル及び左の比較瞼モデルの組み合わせにおける右の比較瞼モデルの右の瞼尤度λｒ＿ｅｙｅｌｉｄに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ）と、左の瞼に対応する重みｗｌｅｆｔ＿７を、左の比較瞼モデルの左の瞼尤度λｌ＿ｅｙｅｌｉｄに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ）との和（（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＋ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ）／（ｗｒｉｇｈｔ＿７＋ｗｌｅｆｔ＿７））をこの組み合わせにおける左右の瞼尤度λｅｙｅｌｉｄとして組み合わせ毎に複数演算するようにしてもよい。
【０２０６】
なお、ｎ（ｎ≧１）組の重みを演算する場合には、ａ１＋・・・＋ａｎ＝１という条件を設定して、上記と同様の原理で重み係数ａ１〜ａｎの各々を決定する。このとき、「sum」は、「ａ１・ｗｒｉｇｈｔ×・・・×ａｎ・ｗｒｉｇｈｔ＿ｎ＋ａ１・ｗｌｅｆｔ×・・・×ａｎ・ｗｌｅｆｔ＿ｎ」となる。
【０２０７】
なお、本実施の形態の瞼尤度演算装置によって演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌは、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、瞼開度を検出することができる。
【０２０８】
また、本実施の形態の瞼尤度演算装置を、演算された全体の瞼尤度λｅｙｅｌｉｄ＿ａｌｌに基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０２０９】
［第８の実施の形態］
次に第８の実施の形態について説明する。なお、第１〜７の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。
【０２１０】
本実施の形態において、第１の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２３に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２３に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１２０で肯定判定された場合に、ステップ３２２が実行され、ステップ３２２の次にステップ３２４が実行され、ステップ３２４の次にステップ３２６が実行される。
【０２１１】
まず、ステップ３２２での処理について説明する。ステップ３２２では、上記ステップ１１２で複数演算された右の瞼尤度λｒ＿ｅｙｅｌｉｄのうち、最大の値の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘを選択すると共に、上記ステップ１１８で複数演算された左の瞼尤度λｌ＿ｅｙｅｌｉｄのうち、最大の値の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘを選択する。
【０２１２】
次にステップ３２４での処理について説明する。ステップ３２４では、第１の実施の形態と同様に、重みｗｒｉｇｈｔ及び重みｗｌｅｆｔを定めて、重みｗｒｉｇｈｔを右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び重みｗｌｅｆｔを左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）を比較して、大きい方の値を選択する。
【０２１３】
次にステップ３２６での処理について説明する。ステップ３２６では、上記ステップ３２４で選択された値を、選択された方の瞼（右の瞼あるいは左の瞼）の瞼尤度とすることにより、選択された方の瞼の瞼尤度を演算する。
【０２１４】
本実施形態に係る瞼尤度演算装置によれば、精度が高いほうの瞼の瞼尤度のみを演算するので、より良好な精度で瞼尤度を演算することができる。
【０２１５】
なお、本実施の形態では、第１の実施の形態と同様に重みｗｒｉｇｈｔ及び重みｗｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗｒｉｇｈｔ＿２及び重みｗｌｅｆｔ＿２を定めるようにしてもよい。同様に、第３〜７の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔ、右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３、演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７のうち、重みｗｒｉｇｈｔ＿７を右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び重みｗｌｅｆｔ＿７を左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）を比較して、大きい方の値を選択し、選択された値を、選択された方の瞼（右の瞼あるいは左の瞼）の瞼尤度とすることにより、選択された方の瞼の瞼尤度を演算するようにしてもよい。
【０２１６】
このようにして演算された精度が高い方の瞼の瞼尤度は、例えば、精度が高い方の瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、精度が高い瞼開度を検出することができる。
【０２１７】
また、本実施の形態の瞼尤度演算装置を、演算された瞼尤度に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０２１８】
［第９の実施の形態］
次に第９の実施の形態について説明する。なお、第１〜８の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。本実施の形態の瞼尤度演算装置は、瞼開度を検出する瞼開度検出機能を備えており、瞼開度検出装置として用いることが可能である。
【０２１９】
本実施の形態において、第８の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２３に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されると共に、図２４に示す瞼開度決定処理の処理ルーチンを実行するためのプログラムが記憶されており、本実施の形態に係る瞼尤度演算装置のＣＰＵ１４ｄが、図２３に示す瞼尤度演算処理を実行すると共に図２４に示す瞼開度決定処理を実行する点である。
【０２２０】
図２４を参照して、瞼開度決定処理について説明する。まず、ステップ６００で、瞼尤度演算処理の上記ステップ１０６で検出した顔向き角度θが、０度（正面を向いているときの角度を０度とする）、または、（０±β）度の範囲内であるか否かを判定する。これにより、顔が正面（θ＝０度の場合）、または、顔がほぼ正面（θが０±β度の範囲内の場合）を向いているか否かを判定することができる。
【０２２１】
ステップ６００で、顔向き角度θが０度である（または、０±β度の範囲内である）と判定された場合には、次のステップ６０６に進む。
【０２２２】
一方、ステップ６００で、顔向き角度θが０度でない（または、０±β度の範囲内でない）と判定された場合には、次のステップ６０２へ進む。
【０２２３】
なお、ステップ６００は省略可能であり、瞼開度決定処理は、次のステップ６０２から処理を開始するようにしてもよい。
【０２２４】
次のステップ６０２では、目尤度演算処理（図２３参照）の上記ステップ３２４において重み付けられた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）が所定の基準値α以上であり、かつ上記ステップ３２４において重み付けられた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）が所定の基準値α以上であるか否かを判定する。このように判定することで、重み付けが行われた（すなわち補正後の）右瞼の尤度及び左瞼の尤度の各々に対応する（比較）瞼モデルが信頼できるものであるか否かを判断することができる。
【０２２５】
ステップ６０２で、（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）が所定の基準値α以上であり、かつ（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）が所定の基準値α以上であると判定された場合には、対応する両瞼の各比較瞼モデルが信頼できるものであると判断して、次のステップ６０４へ進む。
【０２２６】
ステップ６０４では、所定の基準値α以上であると判定された、重み付けされた右の瞼尤度（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）に対応する右瞼の比較瞼モデルから、この比較瞼モデルの瞼開度（右瞼の瞼開度）ｏｒｉｇｈｔを検出する。また、同様に、所定の基準値α以上であると判定された、重み付けされた左の瞼尤度（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）に対応する左瞼の比較瞼モデルから、この比較瞼モデルの瞼開度（左瞼の瞼開度）ｏｌｅｆｔを検出する。そして、検出した右瞼の瞼開度ｏｒｉｇｈｔ及び左瞼の瞼開度ｏｌｅｆｔの比率（例えば、ｏｒｉｇｈｔ／ｏｌｅｆｔ）を演算する。そして、演算された比率をＲＡＭ１４ｅまたはＨＤＤ１４ｃに記憶させる。これにより、左右両方の瞼モデルが信頼性の高い場合に検出した左右の瞼開度の比を演算することができる。この左右の瞼開度の比は、例えば、後述するように、右瞼の瞼モデル及び左瞼の瞼モデルのどちらか一方のみ信頼性が高い場合に、信頼性の低い瞼モデルの瞼開度を精度良く検出したいときに用いることができる。より具体的には、信頼性が高いとされたほうの瞼モデルからこの瞼モデルが表す瞼の瞼開度を検出して、この検出された瞼開度及び比率から、信頼性が低いとされたほうの瞼の瞼開度を演算することにより、精度良く信頼性の低い瞼モデルに対応する瞼の瞼開度を検出することができる。
【０２２７】
次のステップ６０６では、ＲＡＭ１４ｅまたはＨＤＤ１４ｃに上記比率が記憶されているか否かを判定する。
【０２２８】
ステップ６０６で上記比率が記憶されていると判定された場合には、次のステップ６０８へ進む。
【０２２９】
ステップ６０８では、上記比率をＲＡＭ１４ｅまたはＨＤＤ１４ｃから読み込む。そして、瞼尤度演算処理の上記ステップ３２６で瞼尤度が演算された方の瞼の瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する。そして、検出された瞼開度及び読み込んだ上記比率から、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する。
【０２３０】
次のステップ６１０では、上記ステップ６０８で検出された両瞼の各瞼開度を、図示しない出力装置（例えば、表示装置や音声出力装置など）に出力する。そして、瞼開度検出処理を終了する。これにより、精度が良い両瞼の瞼開度が出力装置から出力される。例えば、出力装置が表示装置である場合には、両瞼の瞼開度が表示され、出力装置が音声出力装置である場合には、両瞼の瞼開度が音声で出力される。
【０２３１】
一方、ステップ６０６で、上記比率が記憶されていないと判定された場合には、次のステップ６１２へ進む。
【０２３２】
ステップ６１２では、瞼尤度演算処理の上記ステップ３２６で瞼尤度が演算された方の瞼の瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する。そして、検出された瞼開度を、図示しない出力装置（例えば、表示装置や音声出力装置など）に出力する。これにより、出力装置から瞼開度が出力される。そして、瞼開度検出処理を終了する。
【０２３３】
本実施の形態の瞼開度検出機能を有した瞼尤度演算装置は、右の瞼に対応する重みｗｒｉｇｈｔを最大の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び左の瞼に対応する重みｗｌｅｆｔを最大の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）が共に所定の基準値以上である場合に、最大の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘの右の比較瞼モデルが表す右瞼の瞼開度ｏｒｉｇｈｔ及び最大の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘの左の比較瞼モデルが表す左瞼の瞼開度ｏｌｅｆｔを検出し、検出された右瞼の瞼開度ｏｒｉｇｈｔ及び左瞼の瞼開度ｏｌｅｆｔの比率（例えば、ｏｒｉｇｈｔ／ｏｌｅｆｔ）を演算し、上記ステップ３２６で演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、この検出された瞼開度及び比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出する。
【０２３４】
これにより、精度良く信頼性の低い瞼モデルに対応する瞼の瞼開度を検出することができる。
【０２３５】
なお、本実施の形態では、第１の実施の形態と同様に重みｗｒｉｇｈｔ及び重みｗｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗｒｉｇｈｔ＿２及び重みｗｌｅｆｔ＿２を定めるようにしてもよい。同様に、第３〜８の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔ、右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３、演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７のうち、重みｗｒｉｇｈｔ＿７を右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び重みｗｌｅｆｔ＿７を左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）を比較して、大きい方の値を選択し、選択された値を、選択された方の瞼（右の瞼あるいは左の瞼）の瞼尤度とすることにより、選択された方の瞼の瞼尤度を演算するようにしてもよい。そして、本実施の形態の瞼尤度演算装置は、右の瞼に対応する重みｗｒｉｇｈｔ＿７を、最大の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び左の瞼に対応する重みｗｌｅｆｔ＿７を、最大の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）が共に所定の基準値以上である場合に、最大の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘの右の比較瞼モデルが表す右瞼の瞼開度ｏｒｉｇｈｔ及び最大の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘの左の比較瞼モデルが表す左瞼の瞼開度ｏｌｅｆｔを検出し、検出された右瞼の瞼開度ｏｒｉｇｈｔ及び左瞼の瞼開度ｏｌｅｆｔの比率（例えば、ｏｒｉｇｈｔ／ｏｌｅｆｔ）を演算し、上記ステップ３２６で演算された瞼尤度の比較瞼モデルが表す瞼の瞼開度を検出すると共に、この検出された瞼開度及び比率に基づいて、瞼開度が検出されていない方の瞼の瞼開度を演算することにより、瞼尤度が低い方の瞼の瞼開度を検出するようにしてもよい。
【０２３６】
［第１０の実施の形態］
次に第１０の実施の形態について説明する。なお、第１〜９の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。本実施の形態の瞼尤度演算装置は、例えば、図２５に示すように、カメラ１２の撮影対象である人物５０が眼鏡５２をかけている場合に、この眼鏡５２のレンズ５４によって光が反射されて、撮影した人物の画像５６の目領域の部分の画像５８の輝度が高くなることにより、正確に瞼の瞼尤度が演算できないときに、精度良く瞼尤度を演算することができるほうの瞼の瞼尤度のみを演算するようにしたものである。例えば、図２５の例では眼鏡５２の左側のレンズ５４から光が反射されており、左目の目領域の部分の輝度が高くなっている。このような場合に、右瞼の瞼尤度のみを演算するようにしたものである。
【０２３７】
本実施の形態において、第８の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２６に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２６に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ１０８の次にステップ３２８が実行され、ステップ３２８の次にステップ３３０が実行され、ステップ３３０で肯定判定がされた場合にステップ１１０へ進み、ステップ３３０で否定判定及びステップ１１４で肯定判定がされた場合にステップ３３２が実行される。そして、ステップ３３２で肯定判定がされた場合にはステップ１１６に進む。一方、ステップ３３２で否定判定及びステップ１２０で肯定判定がされた場合にはステップ３３４が実行される。ステップ３３４で肯定判定がされた場合には次のステップ３２２が実行される。一方、ステップ３３４で否定判定がされた場合にはステップ３３６が実行される。ステップ３３６で肯定判定がされた場合には、次にステップ３３８が実行され、ステップ３３８の次にステップ３４０が実行され、そして、ステップ３２６に進む。一方、ステップ３３６で否定判定がされた場合には、次にステップ３４２が実行され、ステップ３４２で肯定判定がされた場合には、次にステップ３４４が実行され、ステップ３４４の次にステップ３４６が実行され、そして、ステップ３２６に進む。また、ステップ３４２で否定判定がされた場合には、瞼尤度演算処理を終了する。
【０２３８】
まず、ステップ３２８での処理について説明する。ステップ３２８では、高輝度画素領域面積比演算処理を実行する。
【０２３９】
図２７を参照して高輝度画素領域面積比演算処理について説明する。まず、ステップ７００では、瞼尤度演算処理（図２６参照）の上記ステップ１０４で抽出された目領域のうち右目の目領域の画素数を特定する。
【０２４０】
次のステップ７０２では、図２８に示すように、上記ステップ１０４で抽出された目領域のうち、右目の目領域の画像５８の画像データに対して、所定の閾値Ｋ（例えばＫ＝２００）より大きい画素値を有する画素の画素値を２５５と設定すると共に、所定の閾値Ｋ以下の画素値を有する画素の画素値を０と設定する二値化処理を実行する。これにより、右目領域の画像５８の各画素が、黒画素（画素値が２５５の画素）と、白画素（画素値が０の画素）とになる。
【０２４１】
次のステップ７０４では、上記ステップ７００で特定された右目の目領域の画素数に対する上記ステップ７０２での二値化処理によって得られた白画素の数の割合を第１の割合（右目領域の高輝度画素領域面積比）Ｒｒｉｇｈｔとして演算することにより、右目領域の画素数に対する所定の輝度（すなわち閾値Ｋ）以上の画素数の割合である第１の割合（右目領域の高輝度画素領域面積比）Ｒｒｉｇｈｔを演算する。なお、図２８の例では、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔとして０（０％）が演算される。
【０２４２】
次のステップ７０６では、上記ステップ１０４で抽出された目領域のうち左目の目領域の画素数を特定する。
【０２４３】
次のステップ７０８では、上記ステップ１０４で抽出された目領域のうち、左目の目領域の画像５８の画像データに対して、所定の閾値Ｋ（例えばＫ＝２００）より大きい画素値を有する画素の画素値を２５５と設定すると共に、所定の閾値Ｋ以下の画素値を有する画素の画素値を０と設定する二値化処理を実行する。これにより、左目領域の画像５８が、黒画素（画素値が２５５の画素）と、白画素（画素値が０の画素）とになる。
【０２４４】
次のステップ７１０では、上記ステップ７０６で特定された左目の目領域の画素数に対する上記ステップ７０８での二値化処理によって得られた白画素の数の割合を第２の割合（左目領域の高輝度画素領域面積比）Ｒｌｅｆｔとして演算することにより、左目領域の画素数に対する所定の輝度（すなわち閾値Ｋ）以上の画素数の割合である第２の割合（左目領域の高輝度画素領域面積比）Ｒｌｅｆｔを演算する。なお、図２８の例では、左目領域の高輝度画素領域面積比Ｒｌｅｆｔとして０．５４（５４％）が演算される。そして、高輝度画素領域面積比演算処理を終了する。
【０２４５】
以上、ステップ３２８で実行する高輝度画素領域面積比演算処理について説明した。
【０２４６】
次のステップ３３０では、上記ステップ７０４で演算された右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔと所定値γ（例えば０．４（４０％））とを比較して、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であるか否かを判定する。なお、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であると判定された場合には、右目領域の画像５８から精度良く瞼尤度を演算することが可能であると判断できる。一方、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γより大きいと判定された場合には、右目領域の画像５８から精度良く瞼尤度を演算することが可能でないと判断できる。
【０２４７】
ステップ３３０で、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であると判定された場合には、ステップ１１０へ進む。一方、ステップ３３０で、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γより大きいと判定された場合には、ステップ３３２へ進む。ステップ３３２へ進むことにより、ステップ１１０〜１１４の処理を実行せずに省略することができる。
【０２４８】
ステップ３３２では、上記ステップ７１０で演算された左目領域の高輝度画素領域面積比Ｒｌｅｆｔと所定値γ（例えば０．４（４０％））とを比較して、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であるか否かを判定する。左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であると判定された場合には、左目領域の画像５８から精度良く瞼尤度を演算することが可能であると判断できる。一方、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γより大きいと判定された場合には、左目領域の画像５８から精度良く瞼尤度を演算することが可能でないと判断できる。
【０２４９】
ステップ３３２で、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であると判定された場合には、ステップ１１６へ進む。一方、ステップ３３２で、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γより大きいと判定された場合には、ステップ３３４へ進む。ステップ３３４へ進むことにより、ステップ１１６〜１２０の処理を実行せずに省略することができる。
【０２５０】
ステップ３３４では、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であり、かつ左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であるか否かを判定する。
【０２５１】
ステップ３３４で、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であり、かつ左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であると判定された場合には、ステップ３２２へ進む。
【０２５２】
一方、ステップ３３４で、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であり、かつ左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下でないと判定された場合には、ステップ３３６へ進む。
【０２５３】
ステップ３３６では、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であるか否かを判定する。ステップ３３６で、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γ以下であると判定された場合には、ステップ３３８へ進む。
【０２５４】
ステップ３３８では、上記ステップ１１２で複数演算された右の瞼尤度λｒ＿ｅｙｅｌｉｄのうち、最大の値の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘを選択する。
【０２５５】
次のステップ３４０では、第８（１）の実施の形態と同様に、重みｗｒｉｇｈｔを定めて、重みｗｒｉｇｈｔを右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）を選択する。そしてステップ３２６へ進む。
【０２５６】
一方、ステップ３３６で、右目領域の高輝度画素領域面積比Ｒｒｉｇｈｔが所定値γより大きいと判定された場合には、ステップ３４２へ進む。
【０２５７】
ステップ３４２では、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であるか否かを判定する。ステップ３４２で、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γ以下であると判定された場合には、ステップ３４４へ進む。
【０２５８】
ステップ３４４では、上記ステップ１１８で複数演算された左の瞼尤度λｌ＿ｅｙｅｌｉｄのうち、最大の値の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘを選択する。
【０２５９】
次のステップ３４６では、第８（１）の実施の形態と同様に、重みｗｌｅｆｔを定めて、重みｗｌｅｆｔを左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）を選択する。そしてステップ３２６へ進む。
【０２６０】
一方、ステップ３４２で、左目領域の高輝度画素領域面積比Ｒｌｅｆｔが所定値γより大きいと判定された場合には、瞼尤度演算処理を終了する。
【０２６１】
以上、説明したように、本実施の形態の瞼尤度演算装置は、第１の割合（右目領域の高輝度画素領域面積比）Ｒｒｉｇｈｔ及び第２の割合（左目領域の高輝度画素領域面積比Ｒｌｅｆｔ）を演算し、第１の割合が所定値γ以下の場合にのみ右の瞼尤度λｒ＿ｅｙｅｌｉｄを演算すると共に、第２の割合が所定値γ以下の場合にのみ左の瞼尤度λｌ＿ｅｙｅｌｉｄを演算する。そして、本実施の形態の瞼尤度演算装置は、顔向き角度θに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ及びｗｌｅｆｔのうち、第１の割合が所定値γ以下でありかつ第２の割合が所定値γ以下である場合には、右の瞼に対応する重みｗｒｉｇｈｔを右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び左の瞼に対応する重みｗｌｅｆｔを左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）のうち大きいほうの値を選択すると共に、第１の割合及び第２の割合の一方の割合のみが所定値γ以下である場合には、瞼尤度が演算された方の瞼（第１の割合または第２の割合が所定値以下となる方の瞼）の最大の瞼尤度（右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘまたは左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）に、この瞼に対応する重み（重みｗｒｉｇｈｔまたは重みｗｌｅｆｔ）を重み付けた値（（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）または（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ））を選択する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、より簡易に瞼尤度を演算することができる。
【０２６２】
なお、本実施の形態では、第１の実施の形態と同様に重みｗｒｉｇｈｔ及び重みｗｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗｒｉｇｈｔ＿２及び重みｗｌｅｆｔ＿２を定めるようにしてもよい。同様に、第３〜８の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔ、右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３、演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７のうち、第１の割合が所定値γ以下でありかつ第２の割合が所定値γ以下である場合には、右の瞼に対応する重みｗｒｉｇｈｔ＿７を右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び左の瞼に対応する重みｗｌｅｆｔ＿７を左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）のうち大きいほうの値を選択すると共に、第１の割合及び第２の割合の一方の割合のみが所定値γ以下である場合には、瞼尤度が演算された方の瞼（第１の割合または第２の割合が所定値以下となる方の瞼）の最大の瞼尤度（右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘまたは左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）に、この瞼に対応する重み（重みｗｒｉｇｈｔ＿７または重みｗｌｅｆｔ＿７）を重み付けた値（（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）または（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ））を選択するようにしてもよい。
【０２６３】
また、本実施の形態においてステップ３２６で演算された精度が高い瞼尤度は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、精度が高い瞼開度を検出することができる。
【０２６４】
また、本実施の形態の瞼尤度演算装置を、演算された瞼尤度に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【０２６５】
［第１１の実施の形態］
次に第１１の実施の形態について説明する。なお、第１〜１０の各実施の形態と同様の構成及び同様の処理については、同一符号を付して、説明を省略する。本実施の形態の瞼尤度演算装置は、例えば、図２５に示すように、カメラ１２の撮影対象である人物５０が眼鏡５２をかけている場合に、この眼鏡５２のレンズ５４によって光が反射されて、撮影した人物の画像５６の目領域の部分の画像５８の輝度が高くなることにより、正確に瞼の瞼尤度が演算できない場合に、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を、所定の第１の値（例えば０）とすることにより、左右の瞼尤度を演算するようにしたものである。例えば、図２５の例では眼鏡５２の左側のレンズ５４から光が反射されており、左目の目領域の部分の輝度が高くなっている。このような場合に、例えば、左瞼の瞼尤度を所定の第１の値とすることにより、左瞼の瞼尤度を演算するようにしたものである。
【０２６６】
本実施の形態において、第１０の実施の形態と異なる点は、本実施の形態に係る瞼尤度演算装置のＨＤＤ１４ｃには図２９に示す瞼尤度演算処理の処理ルーチンを実行するためのプログラムが記憶されており、ＣＰＵ１４ｄが図２９に示す瞼尤度演算処理を実行する点である。同図に図示されるように、ステップ３３０で否定判定がされた場合には、ステップ３４８が実行され、ステップ３４８の次、及びステップ１１４で肯定判定された場合にステップ３３２が実行される。また、ステップ３３２で否定判定がされた場合には、ステップ３５０が実行され、ステップ３５０の次、及びステップ１２０で肯定判定された場合にステップ３５２が実行され、ステップ３５２の次にステップ３２４が実行される。
【０２６７】
まず、ステップ３４８の処理について説明する。ステップ３４８では、所定の第１の値（例えば０）を、右の瞼尤度λｒ＿ｅｙｅｌｉｄとすることにより、右の瞼尤度λｒ＿ｅｙｅｌｉｄを演算する。この所定の第１の値は、０に限られないが、ステップ３２６で選択されにくくなるような値が好ましい。
【０２６８】
次に、ステップ３５０の処理について説明する。ステップ３５０では、所定の第１の値（例えば０）を、左の瞼尤度λｌ＿ｅｙｅｌｉｄとすることにより、左の瞼尤度λｌ＿ｅｙｅｌｉｄを演算する。この所定の第１の値は、上記と同様に、０に限られないが、ステップ３２６で選択されにくくなるような値が好ましい。
【０２６９】
次に、ステップ３５２の処理について説明する。ステップ３５２では、演算された右の瞼尤度λｒ＿ｅｙｅｌｉｄのうち、最大の右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘを選択すると共に、演算された左の瞼尤度λｌ＿ｅｙｅｌｉｄのうち、最大の左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘを選択する。
【０２７０】
以上説明したように、本実施の形態の瞼尤度演算装置は、第１の割合（右目領域の高輝度画素領域面積比）Ｒｒｉｇｈｔ及び第２の割合（左目領域の高輝度画素領域面積比）Ｒｌｅｆｔを演算し、第１の割合が所定値γより大きい場合に、所定の第１の値を右の瞼尤度λｒ＿ｅｙｅｌｉｄとすることにより、右の瞼尤度λｒ＿ｅｙｅｌｉｄを演算すると共に、第２の割合が所定値γより大きい場合に、所定の第１の値を左の瞼尤度λｌ＿ｅｙｅｌｉｄとすることにより、左の瞼尤度λｌ＿ｅｙｅｌｉｄを演算する。そして、本実施の形態の瞼尤度演算装置は、顔向き角度θに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ及びｗｌｅｆｔのうち、右の瞼に対応する重みｗｒｉｇｈｔを右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び左の瞼に対応する重みｗｌｅｆｔを左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）のうち大きいほうの値を選択する。これにより、精度良く瞼尤度を演算することができないほうの瞼の瞼尤度を複雑な演算によって演算することなく、所定の第１の値としているので、より簡易に瞼尤度を演算することができる。
【０２７１】
なお、本実施の形態では、第１の実施の形態と同様に重みｗｒｉｇｈｔ及び重みｗｌｅｆｔを定める例について説明したが、第２の実施の形態と同様に重みｗｒｉｇｈｔ＿２及び重みｗｌｅｆｔ＿２を定めるようにしてもよい。同様に、第３〜８の各実施の形態のうち、何れかの実施の形態と同様に左右の各瞼（瞼尤度）に対応する重みを定めるようにしてもよい。例えば、本実施の形態の瞼尤度演算装置を、以下で説明するような構成とするようにしてもよい。すなわち、本実施の形態の瞼尤度演算装置を、上記第１の検出手段、上記第２の検出手段、上記第３の検出手段、上記第４の検出手段、上記第１の演算手段、及び上記第２の演算手段の少なくとも１つの手段を備えた処理手段を含んで構成して、検出された顔向き角度θ、右目までの距離ｄｒｉｇｈｔ及び左目までの距離ｄｌｅｆｔ、右耳までの距離ｄｒｉｇｈｔ＿２及び左耳までの距離ｄｌｅｆｔ＿２、右目の目頭と右目の目じりとの距離ｄｒｉｇｈｔ＿３及び左目の目頭と左目の目じりとの距離ｄｌｅｆｔ＿３、演算された右目の目領域のコントラストＩｗｒｉｇｈｔ及び左目の目領域のコントラストＩｗｌｅｆｔ、並びに右目領域のエッジ強度Ｅｗｒｉｇｈｔ及び左目領域のエッジ強度Ｅｗｌｅｆｔの少なくとも１つに応じて、カメラ１２によって撮影された画像の右瞼及び左瞼のうちカメラ１２によって画像が撮影された位置に遠いほうの瞼の瞼尤度に対応する大きさが、近いほうの瞼の瞼尤度に対応する大きさより小さくなるように定めた、左右の瞼の各々に対応する重みｗｒｉｇｈｔ＿７及びｗｌｅｆｔ＿７のうち、右の瞼に対応する重みｗｒｉｇｈｔ＿７を右の瞼尤度λｒ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｒｉｇｈｔ＿７・λｒ＿ｅｙｅｌｉｄ＿ｍａｘ）、及び左の瞼に対応する重みｗｌｅｆｔ＿７を左の瞼尤度λｌ＿ｅｙｅｌｉｄ＿ｍａｘに重み付けた値（ｗｌｅｆｔ＿７・λｌ＿ｅｙｅｌｉｄ＿ｍａｘ）のうち大きいほうの値を選択するようにしてもよい。
【０２７２】
また、本実施の形態においてステップ３２６で演算された精度が高い瞼尤度は、例えば、瞼の形状を推定する際の尤度として用いることができる。また、例えば、このようにして推定された瞼の形状から、精度が高い瞼開度を検出することができる。
【０２７３】
また、本実施の形態の瞼尤度演算装置を、演算された瞼尤度に基づいて、瞼モデルを推定し、推定された瞼モデルから、この瞼モデルが表す瞼の瞼開度を検出する瞼開度検出機能を備える構成としてもよい。この場合には、本実施の形態の瞼尤度演算装置は、瞼開度検出装置として用いることが可能である。
【図面の簡単な説明】
【０２７４】
【図１】本発明の第１の実施の形態に係る瞼尤度演算装置の構成を示す概略図である。
【図２】第１の実施の形態に係る顔領域を説明するための図である。
【図３】第１の実施の形態に係る瞼モデルを説明するための図である。
【図４】第１の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図５】第１の実施の形態に係る瞼尤度演算装置が実行する比較モデル作成処理の処理ルーチンのフローチャートを示す図である。
【図６】第１の実施の形態に係る重みを説明するための図である。
【図７】本発明が解決しようとする課題を説明するための図である。
【図８】第２の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図９】第２の実施の形態に係る重みを説明するための図である。
【図１０】第３の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図１１】第３の実施の形態に係る重みを説明するための図である。
【図１２】第４の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図１３】第４の実施の形態に係る瞼尤度演算装置が実行する目領域コントラスト演算処理の処理ルーチンのフローチャートを示す図である。
【図１４】目領域コントラスト演算処理について説明するための図である。
【図１５】第４の実施の形態に係る重みを説明するための図である。
【図１６】第５の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図１７】第５の実施の形態に係る瞼尤度演算装置が実行する目領域エッジ強度演算処理の処理ルーチンのフローチャートを示す図である。
【図１８】目領域エッジ強度演算処理について説明するための図である。
【図１９】第５の実施の形態に係る重みを説明するための図である。
【図２０】第６の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図２１】第６の実施の形態に係る重みを説明するための図である。
【図２２】重み係数の値と、瞼開度誤差平均との関係を示す図である。
【図２３】第８の実施の形態及び第９の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図２４】第９の実施の形態に係る瞼尤度演算装置が実行する瞼開度決定処理の処理ルーチンのフローチャートを示す図である。
【図２５】カメラの撮影対象である人物が眼鏡をかけている場合に、この眼鏡のレンズによって光が反射されて、撮影した人物の画像の目領域の部分の画像の輝度が高くなることにより、正確に瞼の瞼尤度が演算できないことを説明するための図である。
【図２６】第１０の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【図２７】第１０の実施の形態に係る瞼尤度演算装置が実行する高輝度画素領域面積比演算処理の処理ルーチンのフローチャートを示す図である。
【図２８】高輝度画素領域面積比演算処理を説明するための図である。
【図２９】第１１の実施の形態に係る瞼尤度演算装置が実行する瞼尤度演算処理の処理ルーチンのフローチャートを示す図である。
【符号の説明】
【０２７５】
１０      瞼尤度演算装置
１２      カメラ
１４      表示装置
１４      コンピュータ
１４ｃ    ＨＤＤ
１４ｄ    ＣＰＵ
【図１】
2010092180.tif 000017
【図２】
2010092180.tif 000018
【図３】
2010092180.tif 000019
【図４】
2010092180.tif 000020
【図５】
2010092180.tif 000021
【図６】
2010092180.tif 000022
【図７】
2010092180.tif 000023
【図８】
2010092180.tif 000024
【図９】
2010092180.tif 000025
【図１０】
2010092180.tif 000026
【図１１】
2010092180.tif 000027
【図１２】
2010092180.tif 000028
【図１３】
2010092180.tif 000029
【図１４】
2010092180.tif 000030
【図１５】
2010092180.tif 000031
【図１６】
2010092180.tif 000032
【図１７】
2010092180.tif 000033
【図１８】
2010092180.tif 000034
【図１９】
2010092180.tif 000035
【図２０】
2010092180.tif 000036
【図２１】
2010092180.tif 000037
【図２２】
2010092180.tif 000038
【図２３】
2010092180.tif 000039
【図２４】
2010092180.tif 000040
【図２６】
2010092180.tif 000041
【図２７】
2010092180.tif 000042
【図２９】
2010092180.tif 000043
【図２５】
2010092180.tif 000044
【図２８】
2010092180.tif 000045