(57)【要約】【課題】高速かつ高精度に瞬きの検出を行う。【解決手段】各フレームに複数のブロック領域を設定するブロック領域設定部１０２と、設定された複数のブロック領域から１つのブロック領域を特定するブロック領域特定部１０３と、差分ブロックを算出する差分ブロック算出部１０４と、差分ブロックの明度が閾値Ｔ１よりも大きい場合、その差分ブロックの画素を起点として明度が閾値Ｔ２よりも小さな画素からなる領域を差分領域として抽出する差分領域抽出部１０５と、差分領域が第１の条件を満たす場合、当該差分領域の彩度が差分領域の彩度の平均値よりも小さな画素からなる領域を眼の候補領域として抽出する候補領域抽出部１０７と，候補領域のマッチング誤差が閾値Ｔ５よりも大きい場合、ｎ及びｎ−１フレーム間で瞬きが発生したと判定する瞬き判定部１１０とを備える。【選択図】      図２
2005004530.tif 000002
【特許請求の範囲】
【請求項１】
顔の動画像から眼の瞬きを検出する瞬き検出装置であって、
前記動画像の各フレームに複数のブロック領域を設定するブロック領域設定手段と、
設定された複数のブロック領域から１つのブロック領域を特定するブロック領域特定手段と、
現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出する差分ブロック算出手段と、
前記差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより、前記現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出する差分領域抽出手段と、
前記差分領域の少なくとも面積及び形状が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前記前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を候補領域として前記前フレームから抽出する候補領域抽出手段と、
前記候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された前記候補領域を基準画像とし、当該基準画像と前記現フレームとの間で所定の演算を行うことにより、前記基準画像と前記現フレームとの誤差を算出する誤差算出手段と、
前記誤差算出手段によって算出された誤差が第３の閾値よりも大きい場合、前記候補領域抽出手段によって抽出された候補領域を眼の候補領域と推定し、前記現フレーム及び前フレーム間で瞬きが発生したと判定する瞬き判定手段とを備えることを特徴とする瞬き検出装置。
【請求項２】
前記瞬き判定手段は、前記誤差値算出手段によって算出された誤差が前記第３の閾値よりも小さい第４の閾値と、前記第３の閾値との範囲内にある場合、前記候補領域の明度の最大値と最小値との差分を算出し、算出した差分が第５の閾値よりも大きい場合、当該候補領域が眼の領域であると判定することを特徴とする請求項１記載の瞬き検出装置。
【請求項３】
前記動画像の各フレームに所定の圧縮処理を施すことにより画素数が減少した圧縮フレームを生成するフレーム圧縮手段をさらに備え、
前記フレームは前記圧縮フレームであることを特徴とする請求項１又は２記載の瞬き検出装置。
【請求項４】
前記差分領域抽出手段は、注目画素をほぼ螺旋状にずらしていくことにより前記差分領域を抽出し、
前記候補領域抽出手段は、注目画素をほぼ螺旋状にずらすことにより前記候補領域を抽出することを特徴とする請求項１〜３のいずれかに記載の瞬き検出装置。
【請求項５】
顔の動画像から眼の瞬きを検出する瞬き検出プログラムであって、
前記動画像の各フレームに複数のブロック領域を設定するブロック領域設定手段、
設定された複数のブロック領域から１つのブロック領域を特定するブロック領域特定手段、
現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出する差分ブロック算出手段、
前記差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより、前記現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出する差分領域抽出手段、
前記差分領域の少なくとも面積及び形状が眼が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前記前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を前記前フレームから候補領域として抽出する候補領域抽出手段、
前記候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された前記候補領域を基準画像とし、当該基準画像と前記現フレームとの間で所定の演算を行うことにより、前記基準画像と前記現フレームとの誤差を算出する誤差算出手段、
前記誤差算出手段によって算出された誤差が第３の閾値よりも大きい場合、前記候補領域抽出手段によって抽出された候補領域を眼の候補領域と推定し、前記現フレーム及び前記前フレーム間で瞬きが発生したと判定する瞬き判定手段としてコンピュータを機能させることを特徴とする瞬き検出プログラム。
【請求項６】
顔の動画像から眼の瞬きを検出する瞬き検出方法であって、
コンピュータが、前記動画像の各フレームに複数のブロック領域を設定するステップと、
コンピュータが、設定された複数のブロック領域から１つのブロック領域を特定するステップと、
コンピュータが、現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出するステップと、
コンピュータが、前記差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより前記現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出するステップと、
コンピュータが、前記差分領域の少なくとも面積及び形状が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前記前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を前記前フレームから候補領域として抽出するステップと、
コンピュータが、前記候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された前記候補領域を基準画像とし、当該基準画像と前記現フレームとの間で所定の演算を行うことにより、前記基準画像と前記現フレームとの誤差を算出するステップと、
コンピュータが、前記誤差算出手段によって算出された誤差が第３の閾値よりも大きい場合、前記候補領域抽出手段によって抽出された候補領域を眼の候補領域と推定し、前記現フレーム及び前フレーム間で瞬きが発生したと判定するステップとを備えることを特徴とする瞬き検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔の動画像から眼の瞬きを検出する技術に関し、特に、個人識別、視線検出、居眠り検出、メークアップシミュレーション等に利用される技術である。
【０００２】
【従来の技術】
顔動画像に対してリアルタイム画像処理を施す場合、フレーム毎に眼、口、鼻等の顔部品の位置情報を取得する必要がある。各フレーム独立に位置情報を取得するのは処理時間の面で非効率的であるため、通常、初期フレームで顔部品を検出し、それに続くフレームでは初期フレームで得られた位置情報を利用して顔部品を追跡する処理が行われる。初期フレームで顔部品の検出に失敗した場合、それに続く顔部品を追跡する処理が不可能となるため、顔部品の検出には確実性が要求される。そこで、従来の顔部品を検出する装置では、被撮影者は決められた領域に顔部品を合わせる、あるいは、頭部（顔）を固定する等、被撮影者に制約条件を課すものが一般的であった（例えば、特許文献１、２、非特許文献２、３）。
【０００３】
眼は処理対象となるほとんどの画像中に存在するとともに面積も小さいため、顔部品を追跡する処理では、まず、顔画像から眼を検出し、検出した眼に基づいて他の顔部品を検出するのが効率的である。そこで、近年、フレーム間差分画像から顔の動きをキャンセルし、その後の条件検定により瞬きを検出し、これに基づいて顔部品を追跡する手法が提案されている（例えば、非特許文献１）。同手法は、それまでの瞬きを検出する方法に比べ簡便で顔の移動に対してもロバストであることが報告されている。
【０００４】
【特許文献１】
特開平１０−１４５２
【特許文献２】
特開平１１−２８６２２７
【非特許文献１】
川戸、鉄谷：アイカメラへの目位置出力を目的とした目の検出と追跡、信学技報ＰＲＭＵ２００１−１５３、２００１
【非特許文献２】
坂口、森島：画像の２次元離散コサイン変換を利用した実時間顔表情認識、信学論、Ｊ８０−ＤＩＩ、６、１９９７
【非特許文献３】
Ｂａｌａ  ｅｔ  ａｌ．：Ａｕｔｏｍａｔｉｃ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｏｆ  ｆａｃｅｓ  ａｎｄ  ｆａｃｉａｌ  ｆｅａｔｕｒｅｓ  ｉｎ  ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅｓ，Ｐｒｉｃ．ｏｆ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｎｐｏｓｉｕｍ，１９９７
【０００５】
【発明が解決しようとする課題】
しかしながら、非特許文献１による手法では、フレーム間差分画像を用いて画像全体から顔の動きによる変化分以外の変化のある部分に注目することにより瞬きを検出しているが、顔の動きとは異なる方向の被撮影者の眉や口の動きによる変化分、背景中の非対象物の動きによる変化分等がフレーム間差分画像中に表れた場合、瞬きを正確に検出することができないという問題があった。
【０００６】
また、従来の手法では、フレーム間差分画像の生成、同画像中の差分の大きい領域のラベリング処理、その後の各領域の特徴量算出等、画像全域に亘ってこれらの処理が順次実行されており、候補領域以外の画像に対してもこれら全ての処理が順次実行されているため、処理時間が増大するという問題があった。
【０００７】
本発明は上記課題を解決するためになされたものであり、高速かつ高精度に瞬きを検出することができる瞬き検出装置、瞬き検出プログラム及び瞬き検出方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る瞬き検出装置は、顔の動画像から眼の瞬きを検出する瞬き検出装置であって、前記動画像の各フレームに複数のブロック領域を設定するブロック領域設定手段と、設定された複数のブロック領域から１つのブロック領域を特定するブロック領域特定手段と、現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出する差分ブロック算出手段と、前記差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより、前記現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出する差分領域抽出手段と、前記差分領域の少なくとも面積及び形状が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前記前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を候補領域として前記前フレームから抽出する候補領域抽出手段と、前記候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された前記候補領域を基準画像とし、当該基準画像と前記現フレームとの間で所定の演算を行うことにより、前記基準画像と前記現フレームとの誤差を算出する誤差算出手段と、前記誤差算出手段によって算出された誤差が第３の閾値よりも大きい場合、前記候補領域抽出手段によって抽出された候補領域を眼の候補領域と推定し、前記現フレーム及び前フレーム間で瞬きが発生したと判定する瞬き判定手段とを備えることを特徴とする（請求項１）。
【０００９】
この構成によれば、現フレームに複数のブロック領域が設定され、前フレームのブロック領域との明度の差分から差分ブロックが算出される。算出された差分ブロックの少なくとも１つの画素の明度の差分が第１の閾値よりも大きい場合、そのブロック領域は、瞬きが生じている眼に対応するブロック領域である可能性が高いとして、このブロック領域を起点として差分領域が抽出される。ここで、前後フレーム間で瞬きが発生している場合、この差分領域の形状はレモンを横にしたような形状となる。そして、差分領域が第１の条件を満たす場合、差分領域と位置的に対応する前フレームの領域の彩度の平均値が算出され、この平均値よりも彩度の小さな画素からなる前フレームの領域が候補領域として抽出され、差分領域に含まれる眼の周りの肌の画像が除去される。そして、候補領域の少なくとも形状が第２の条件を満たす場合、候補領域を基準画像とし、基準画像と現フレームとの間で所定の演算（後述する式（３））が施され、両画像の誤差が算出され、この誤差が第３の閾値よりも大きい場合、当該候補領域は眼に該当するとされ、前後フレーム間において瞬きが生じたと判定される。
【００１０】
すなわち、差分領域が第１の条件を満たし、候補領域が第２の条件を満たし、かつ、候補領域と現フレームとの誤差が第３の閾値より大きいという条件を満たすというように、複数の条件を課して前フレーム及び現フレーム間での瞬きの発生の判定を行っているため、高精度で瞬きを検出することができる。さらに、明度の差分が大きなブロック領域に対してのみ差分領域を算出し、算出した差分領域が第１の条件を満たす場合のみ、候補領域を抽出しているため、画像全域に亘って、各処理を施す場合に比べ、処理速度を大幅に高速化することができる。
【００１１】
また、前記瞬き判定手段は、前記誤差値算出手段によって算出された誤差が前記第３の閾値よりも小さい第４の閾値と、前記第３の閾値との範囲内にある場合、前記候補領域の明度の最大値と最小値との差分を算出し、算出した差分が第５の閾値よりも大きい場合、当該候補領域が眼の領域であると判定することが好ましい（請求項２）。
【００１２】
この構成によれば、候補領域を基準画像としたときの現フレームに対する誤差値が、第３の閾値よりも小さいが、眼に該当していないと断定できないグレーゾーンに該当する場合であっても、眼の候補領域を峻別することができる。その結果、瞬きの検出回数の低下を防止することができる。
【００１３】
また、前記動画像の各フレームに所定の圧縮処理を施すことにより画素数が減少した圧縮フレームを生成するフレーム圧縮手段をさらに備え、前記フレームは前記圧縮フレームであること（請求項３）。
【００１４】
この構成によれば、画素数が減少された圧縮フレームに対して上述した種々の処理が実行されるため、処理の高速化を図ることができる。
【００１５】
また、前記差分領域抽出手段は、注目画素をほぼ螺旋状にずらしていくことにより前記差分領域を抽出し、前記候補領域抽出手段は、注目画素をほぼ螺旋状にずらすことにより前記候補領域を抽出することが好ましい（請求項４）。この構成によれば、通常のフィルタ処理のように矩形領域を処理対象とせずに、注目画素を螺旋状にずらすことにより差分領域の抽出を行っているため、レモンを横にしたような形状を有する眼の差分領域及び眼の候補領域を高速に抽出することができる。
【００１６】
本発明に係る瞬き検出プログラムは、顔の動画像から眼の瞬きを検出する瞬き検出プログラムであって、前記動画像の各フレームに複数のブロック領域を設定するブロック領域設定手段、設定された複数のブロック領域から１つのブロック領域を特定するブロック領域特定手段、現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出する差分ブロック算出手段、前記差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより、前記現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出する差分領域抽出手段、前記差分領域の少なくとも面積及び形状が眼が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前記前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を前記前フレームから候補領域として抽出する候補領域抽出手段、前記候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された前記候補領域を基準画像とし、当該基準画像と前記現フレームとの間で所定の演算を行うことにより、前記基準画像と前記現フレームとの誤差を算出する誤差算出手段、前記誤差算出手段によって算出された誤差が第３の閾値よりも大きい場合、前記候補領域抽出手段によって抽出された候補領域を眼の候補領域と推定し、前記現フレーム及び前記前フレーム間で瞬きが発生したと判定する瞬き判定手段としてコンピュータを機能させることを特徴とする（請求項５）。
【００１７】
本発明に係る瞬き検出方法は、顔の動画像から眼の瞬きを検出する瞬き検出方法であって、コンピュータが、前記動画像の各フレームに複数のブロック領域を設定するステップと、コンピュータが、設定された複数のブロック領域から１つのブロック領域を特定するステップと、コンピュータが、現フレームにおいて特定されたブロック領域と、当該ブロック領域に対し位置的に対応する前フレームのブロック領域との明度の差分である差分ブロックを算出するステップと、コンピュータが、前記差分ブロックの少なくとも１つの画素の明度の差分値が第１の閾値よりも大きい場合、当該差分ブロック内の所定の画素を起点として注目画素をずらしていくことにより前記現フレーム及び前フレーム間において明度の差分値が第２の閾値（第１の閾値≧第２の閾値）よりも大きな画素からなる領域を差分領域として抽出するステップと、コンピュータが、前記差分領域の少なくとも面積及び形状が、眼に該当するものであるか否かを判定するための第１の条件を満たす場合、当該差分領域と位置的に対応する前記前フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さな画素からなる領域を前記前フレームから候補領域として抽出するステップと、コンピュータが、前記候補領域の少なくとも形状が眼に該当するか否かを判定するための第２の条件を満たす場合、抽出された前記候補領域を基準画像とし、当該基準画像と前記現フレームとの間で所定の演算を行うことにより、前記基準画像と前記現フレームとの誤差を算出するステップと、コンピュータが、前記誤差算出手段によって算出された誤差が第３の閾値よりも大きい場合、前記候補領域抽出手段によって抽出された候補領域を眼の候補領域と推定し、前記現フレーム及び前フレーム間で瞬きが発生したと判定するステップとを備えることを特徴とする（請求項６）。
【００１８】
【発明の実施の形態】
以下、本発明の一実施の形態による瞬き検出装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による瞬き検出装置のハードウェア構成を示すブロック図である。
【００１９】
図１に示す瞬き検出装置は、通常のコンピュータから構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７及び入出力インターフェイス（Ｉ／Ｆ）９を備えている。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出力され、ＣＰＵ３の制御の下、種々の処理が実行される。
【００２０】
入力装置１は、キーボード、マウス等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。
【００２１】
ＲＯＭ２には、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）等のシステムプログラム等が記憶されている。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）及び後述する瞬き検出プログラム等が記憶されている。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。
【００２２】
記録媒体駆動装置７は、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。なお、眼検出プログラムを、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体８に記録し、記録媒体駆動装置７により記録媒体８から瞬き検出プログラムを読み出して外部記憶装置５にインストールして実行するようにしてもよい。また、瞬き検出装置が通信装置等を備え、瞬き検出プログラムが通信ネットワークを介して接続された他のコンピュータに記憶されている場合、当該コンピュータからネットワークを介して瞬き検出プログラムをダウンロードして実行するようにしてもよい。
【００２３】
カメラ１０は、入出力インターフェイス（Ｉ／Ｆ）９を介してバスラインに接続され、ＣＣＤエリアセンサにより、人間の顔を含む画像（顔画像）を所定のフレームレート（例えば１／３０ｓ）で取得する。
【００２４】
表示装置６は、液晶表示装置、ＣＲＴ（陰極線管）等から構成され、ＣＰＵ３の制御の基、カメラ１０が撮影した人間の顔画像を表示する。
【００２５】
図２は、本瞬き検出装置の機能を説明するためのブロック図である。図２に示すように、本瞬き検出装置は、プログラム実行部１００及び記憶部２００を備えている。プログラム実行部１００は、ＣＰＵ３が眼検出プログラムを実行することにより実現され、圧縮フレーム生成部１０１、ブロック領域設定部１０２、ブロック領域特定部１０３、差分ブロック算出部１０４、差分領域抽出部１０５、差分領域判定部１０６、候補領域抽出部１０７、候補領域判定部１０８、誤差算出部１０９、瞬き判定部１１０及び画像合成部１１１を備えている。記憶部２００は、ＲＡＭ４から構成され、ＣＰＵ３が眼検出プログラムを実行することにより実現され、画像メモリ２０１を備えている。
【００２６】
圧縮フレーム生成部１０１は、画像メモリ２０１に記憶された顔の動画像の各フレームの画素を間引くことにより、圧縮フレームを生成する。以下の説明では、現フレームのことをｎフレーム、前フレーム（現フレームより１フレーム前に取得されたフレーム）のことをｎ−１フレームと称し、ｎフレームから生成された圧縮フレームをｎ圧縮フレーム、ｎ−１フレームから生成されたフレームをｎ−１圧縮フレームと称する。
【００２７】
ブロック領域設定部１０２は、圧縮フレームに対して、例えば３行３列の画素から構成されるブロック領域が一定の間隔で所定行所定列に配列されるように複数個設定する。なお、ブロック領域のサイズは３行３列以外の例えば２行２列、４行４列等であってもよいし、正方行列以外の行列であってもよい。
【００２８】
ブロック領域特定部１０３は、ブロック領域設定部１０２によって設定された複数のブロック領域の中から１つのブロック領域を特定する。この場合、ブロック領域特定部１０３は、例えば、圧縮フレームの一番左上に位置するブロック領域から、列方向に隣接するブロック領域を順番に特定していき、１行分に含まれる全てのブロック領域を特定すると、行方向の下側に隣接する１行分に含まれるブロック領域のうちの一番左側に位置するブロック領域を特定するというようにして順次ブロック領域を特定していく。
【００２９】
差分ブロック算出部１０４は、ブロック領域特定部１０３によって特定されたｎ圧縮フレームのブロック領域と、このブロック領域に位置的に対応するｎ−１圧縮フレームのブロック領域との明度（輝度）の差分を求めることにより差分ブロックを算出する。ここで位置的に対応するブロック領域とは、ｎ及びｎ−１圧縮フレーム間で同じ位置に設定されたブロック領域のことをいう。また、明度の差分は、ｎ及びｎ−１圧縮フレーム間において、同じ位置にある画素同士の明度の差分であって、ｎ圧縮フレームからｎ−１圧縮フレームを差し引いた値のことをいう。本実施形態では、処理の高速化を図るためにＲ（赤）成分のみを用いて、輝度の差分を算出している。
【００３０】
差分領域抽出部１０５は、差分ブロック算出部１０４によって算出された差分ブロックの代表値、例えばメジアン（中央値）が閾値Ｔ１よりも大きい場合、この差分ブロックの例えば中心画素を起点として、注目画素を螺旋状にずらしながら、ｎ及びｎ−１圧縮フレーム間の位置的に対応する画素同士の明度（輝度）の差分（ｎ圧縮フレームからｎ−１圧縮フレームを差し引いた値）が閾値Ｔ２（Ｔ２≦Ｔ１）よりも大きな画素からなる領域を差分領域として抽出する。ここで、差分領域抽出部１０５は、ｎ及びｎ−１圧縮フレーム間の明度の差分をフレーム全域に亘って算出するのではなく、閾値Ｔ２と比較される注目画素及びその近傍に位置する画素に対してのみ算出している。これにより、計算量の減少による処理の高速化が図られている。以下の説明では、ｎ及びｎ−１圧縮フレームから抽出された差分領域をｎ差分領域と称する。ここで、閾値Ｔ２≦閾値Ｔ１としているのは、差分領域の抽出条件をブロック領域の判定条件よりも緩和し、本来差分領域として抽出されるべき画像が抽出されないことを防止するためである。さらに、差分ブロックを抽出するときは、閾値Ｔ２よりも大きな値である閾値Ｔ１を用いることにより、明度の差分が大きい差分ブロックのみが抽出され、明度の差分が小さな差分ブロックはキャンセルされるため、抽出される差分ブロックの個数が減少し処理の高速化を図ることができる。
【００３１】
また、代表値としてメジアンを用いることに代えて差分ブロックの各画素の平均値を代表値として用いても良い。
【００３２】
差分領域判定部１０６は、差分領域抽出部１０５によって抽出された差分領域の面積、角度、円形度及び扁平度の値がそれぞれ所定の条件（これらの条件を総称して第１の条件と呼ぶ）を満たすか否かを判定する。ｎ及びｎ−１圧縮フレーム間において瞬きが発生している場合、差分領域の形状はレモンを横にしたような形状（長軸とフレームの水平方向とのなす角度が長軸とフレームの鉛直方向となす角度よりも小さな楕円状の形状）となり、面積は眼ぐらいの面積となる。そこで、差分領域判定部１０６は、面積、角度、円形度及び扁平度のそれぞれがこれらの条件を満たすか否かにより、差分領域が眼に該当するものであるか否かの判定を行っている。
【００３３】
ここで、扁平度とは、差分領域の重心を（ＸＧ、ＹＧ）、面積をＡとすると式（１）で表される。また、円形度は、差分領域の周囲長をＬ、面積をＳとすると、式（２）によって表される。さらに、角度とは、例えば差分領域の長軸の水平方向に対する角度をいう。
【００３４】
【数１】
2005004530.tif 000003
【００３５】
円形度＝４πＳ／Ｌ２・・・式（２）
なお、第１の条件は、面積、角度、円形度及び扁平度の全てに限定されず、いずれか１つ、２つ又は３つからなる条件を第１の条件としてもよい。
【００３６】
候補領域抽出部１０７は、差分領域判定部１０６が、差分領域の面積、角度、円形度及び扁平度が第１の条件を満たすと判定した場合、ｎ差分領域と位置的に対応するｎ−１圧縮フレームの領域の彩度の平均値を算出し、算出した平均値よりも彩度が小さい画素を、ｎ差分領域と位置的に対応するｎ−１圧縮フレームの領域から探索し、１つ検出した時点で、この画素を起点として、ｎ−１圧縮フレームに対し、注目画素を螺旋状にずらしながら同平均値よりも低い画素からなる領域を候補領域として抽出する。以下、ｎ差分領域から得られた候補領域をｎ−１候補領域と称する。なお、本実施形態では、処理の高速化を図るためにＲ−Ｂ成分をその画像の彩度としている。
【００３７】
候補領域判定部１０８は、候補領域の面積及び円形度を算出し、これらの値がそれぞれ所定の条件（これらの条件を総称して第２の条件と呼ぶ）を満たすか否かを判定する。ここで、例えば、面積は候補領域に含まれる画素の数から算出され、円形度は、上記式（２）を用いて算出される。
【００３８】
誤差算出部１０９は、ｎ−１候補領域をテンプレート（基準画像）として、ｎ圧縮フレームに対してテンプレートマッチングを施し、マッチング誤差ＥＲを算出する。この算出方法については後述する。
【００３９】
瞬き判定部１１０は、マッチング誤差ＥＲが、閾値Ｔ３＜ＥＲ＜閾値Ｔ４の条件を満たす場合、ｎ−１候補領域から明度の最大値−最小値を算出し、最大値−最小値が閾値Ｔ５よりも大きい場合、ｎ−１候補領域は眼に該当すると推定し、ｎ及びｎ−１フレーム間で瞬きが発生したと判定する。
【００４０】
画像合成部１１１は、眼に該当するとされた候補領域の例えば、全域あるいは外周を蛍光色などを用いてフレームに合成し、表示装置６に表示させる。
【００４１】
画像メモリ２０１は、カメラ１０によって取得された顔の動画像を記憶する。
【００４２】
次に、本瞬き検出装置の動作について説明する。図３及び図４は、瞬き検出装置の処理を示したフローチャートである。まず、ステップＳ１において、圧縮フレーム生成部１０１は、画像メモリ２０１からｎフレームを読み出し、読み出したｎフレームを圧縮してｎ圧縮フレームを生成する。本実施形態では、縦×横サイズが例えば７６０×４８０、６４０×４８０、３８０×２４０、３２０×２４０等のフレームを想定しており、圧縮フレーム生成部１０１は、このフレームを例えば３２０×１２０のサイズに圧縮する。
【００４３】
ステップＳ２において、ブロック領域設定部１０２は、ｎ圧縮フレームに対しブロック領域を設定する。図５（ａ）はブロック領域が設定された圧縮フレームを示しており、（ｂ）はブロック領域を示している。この場合、図５に示すように、圧縮フレームＣＦ上に一定の間隔を置いて複数のブロック領域ＢＲが設定される。また、ブロック領域ＢＲは、（ｂ）に示すように３×３のサイズを有している。
【００４４】
ステップＳ３において、ブロック領域特定部１０３は、現在特定しているブロック領域ＢＲが何番目のブロック領域ＢＲであるかをカウントするためのカウンタＩが、Ｋ１に達しているか否かを判断し、Ｉ＜Ｋ１の場合（ステップＳ３でＹＥＳ）、ステップＳ４に進み、一方、Ｉ≧Ｋ１の場合（ステップＳ３でＮＯ）、次のフレームを画像メモリ２０１から読み出し（ステップＳ５）、何枚目のフレームに対する処理を行っているかをカウントするためのカウンタＮに１を加算し、カウンタＮを更新する（ステップＳ６）。ここで、Ｋ１は、１枚の圧縮フレームＣＦに対して設定されるブロック領域ＢＲの個数を表しており、カウンタＩは、初期状態においてＩ＝０が設定されているため、ＩがＫ１に達したとき、ｎ圧縮フレームＣＦに設定された全てのブロック領域ＢＲに対する処理が終了したこととなる。
【００４５】
ステップＳ４において、ブロック領域特定部１０３は、ｎ圧縮フレームＣＦから１つのブロック領域ＢＲを特定する。以下の説明では、現在特定されているブロック領域ＢＲのことを注目ブロック領域ＣＢＲと呼ぶ。本実施形態では、ブロック領域特定部１０３は、例えば圧縮フレームＣＦの１行１列目のブロック領域ＢＲ（ＢＲ１１）を最初の注目ブロック領域ＣＢＲとして特定する（図５参照）。なお、本発明はこれに限定されず、ブロック領域ＢＲ１１以外の例えば圧縮フレームＣＦの左下、右下、あるいは右上に位置するブロック領域ＢＲを最初の注目ブロック領域ＣＢＲとして特定してもよい。
【００４６】
ステップＳ７において、差分ブロック算出部１０４は、ステップＳ４において特定された注目ブロック領域ＣＢＲとこの注目ブロック領域ＣＢＲと位置的に対応するｎ−１圧縮フレームＣＦのブロック領域ＢＲとの明度の差分を求め、差分ブロックＤＢを算出する。
【００４７】
ステップＳ８において、差分領域抽出部１０５は、差分ブロックＤＢのメジアンＭを求める。本実施形態では、ブロック領域ＢＲは３×３サイズであり合計９個の画素から構成されるため、差分領域抽出部１０５は、差分ブロックＤＢにおいて５番目に大きな明度の差分をメジアンＭとして抽出する。
【００４８】
ステップＳ９において、差分領域抽出部１０５は、メジアンＭと閾値Ｔ１とを比較し、Ｍ＞Ｔ１の場合、すなわち、ｎ及びｎ−１フレーム間で注目ブロック領域ＣＢＲに含まれる画像が大きく変化している場合、ステップＳ１０に進む。一方、Ｍ≦Ｔ１の場合、すなわち、ｎ及びｎ−１フレーム間で注目ブロック領域ＣＢＲに含まれる画像の変化が少ない場合、注目ブロック領域ＣＢＲは、眼に該当しないとして（ステップＳ９でＮＯ）、次のブロック領域ＢＲを特定し（ステップＳ１１）、カウンタＩに１を加算してカウンタＩを更新し（ステップＳ１２）ステップＳ３に戻る。
【００４９】
ステップＳ１０において、差分領域抽出部１０５は、注目ブロック領域ＣＢＲ内の例えば中心画素を起点として、注目画素を螺旋状にずらしていき、明度の差分が閾値Ｔ２よりも大きな画素からなる領域を差分領域として抽出する。図６は、差分領域が抽出される様子を説明するための図である。図６において、１つの升目は１画素を示している。差分領域抽出部１０５は、以下のようにして差分領域を抽出する。まず、注目ブロック領域ＣＢＲの中心画素を注目画素ＣＧとする。次いで、注目画素ＣＧの４近傍画素のｎ及びｎ−１圧縮フレーム間での明度（輝度）の差分が、それぞれ閾値Ｔ２よりも大きいか否かの評価を例えば反時計回りの順で行い、閾値Ｔ２よりも大きい画素を例えば番号の若い数字の順でラベリングする。詳細には、４近傍画素のうち評価対象となる画素の８近傍画素の輝度の差分のメジアンを調べ、このメジアンが閾値Ｔ２よりも大きい場合、その評価対象の画素をラベリングし、このメジアンが閾値Ｔ２以下の場合、その評価対象の画素をラベリングしない。
【００５０】
図６の例では、まず、中心画素を「１」とラベリングし、次に右に隣接する画素の８近傍画素の輝度の差分のメジアンが閾値Ｔ２よりも大きいので、この画素に「２」のラベリングを行っている。そして、「１」がラベリングされた画素に隣接する上、左及び下の各画素の８近傍画素の輝度の差分のメジアンが閾値Ｔ２よりも大きいため、これらの画素に対して、それぞれ「３」、「４」及び「５」の数字がラベリングされている。ここで、現在どの画素が注目画素として特定されているかカウントするための変数ａと、ラベリングした数字のうち最大の数字を記憶するための変数ｂを設定する。図６の例では、「１」の画素の４近傍画素に対するラベリングが終了した時点で、変数ａ及びｂはａ＝１、ｂ＝５となる。次に、「２」のラベリングがされた画素を次の注目画素として特定し、「１」の画素と同様に４近傍画素を閾値Ｔ２と比較してラベリングする。図６の例では、「２」の画素に隣接する右、上、及び下の各画素は、８近傍画素の輝度の差分のメジアンが閾値Ｔ２よりも大きいため、それぞれ「６」、「７」及び「８」とラベリングされている。なお、「２」の画素の左に隣接する画素は、既に「１」でラベリングされているため、この画素に対しラベリングは行われない。「２」の画素の４近傍画素のラベリング処理が終了した時点で、変数ａ及びｂは、ａ＝２、ｂ＝８となる。
【００５１】
次に、「３」の画素が注目画素ＣＧとして特定される。図６の例において、「３」の画素の上に隣接する画素は、８近傍画素の輝度の差分メジアンが閾値Ｔ２よりも小さいため、ラベリングが施されておらず、左に隣接する画素は８近傍画素の輝度の差分のメジアンが閾値Ｔ２よりも大きいため「９」のラベリングが施されている。なお、下及び右の画素は既に「１」及び「７」でラベリングされているため、これらの画素に対してラベリングは施されない。「３」の画素の４近傍画素のラベリング処理が終了した時点で、変数ａ及びｂは、ａ＝３、ｂ＝９となる。以上の処理を変数ａ及びｂの値が等しくなるまで繰り返し実行し、ラベリングされた画素からなる領域が差分領域として抽出される。
【００５２】
この手法によれば、差分領域ＤＲの抽出処理が終了した時点での変数ｂの値は、差分領域ＤＲの画素数を示しているため、別途面積を算出する処理を行わなくとも、変数ｂの値から差分領域ＤＲの面積を求めることができる。また、差分領域ＤＲの周囲長も、別途周囲長を算出する処理を行わなくとも、差分領域の周囲を構成する画素の数から求めることができる。
【００５３】
なお、本実施形態では、注目画素の４近傍画素と閾値Ｔ２とを比較することで差分領域を抽出したが、これに限定されず、注目画素の８近傍画素と閾値Ｔ２とを比較することで差分領域を抽出してもよい。この場合、例えば、差分領域ＤＲの画素Ｐ２に対して斜め方向に隣接する画素Ｐ１を含む領域ＤＲ´を差分領域として抽出することが可能となる。
【００５４】
注目ブロック領域ＣＢＲが眼の領域内に位置する場合、抽出される差分領域ＤＲはレモンを横にしたような形状となる。
【００５５】
ステップＳ１４において、差分領域判定部１０６は、差分領域ＤＲの面積がＳ１よりも大きいか否かの判定を行い、差分領域ＤＲの面積がＳ１よりも大きい場合、ステップＳ５に戻り、次のフレーム（ｎ＋１フレーム）を取得し、現フレーム（ｎフレーム）に対する処理を終了する。図７は、ｎ及びｎ−１フレームの間で顔が大きく動いた場合に抽出される差分領域ＤＲを示した図であり、（ａ）は差分領域ＤＲを示し、（ｂ）はｎ−１フレームの画像を示し、（ｃ）はｎフレームの画像を示している。（ｂ）及び（ｃ）に示すようにｎ−１フレームにおいてフレームの右側に位置する顔が、ｎフレームにおいてフレームの左側まで大きく移動した場合、抽出される差分領域ＤＲは、（ａ）に示すように大きな面積を有することとなる。このように差分領域ＤＲの面積が大きくなってしまうと、差分領域ＤＲから瞬きを検出することが不可能となる。そこで、差分領域判定部１０６は、差分領域ＤＲの面積がＳ１よりも大きい場合、ｎフレームに対しては、瞬きを検出することができないとして処理を終了し、ｎ＋１フレームへ処理を移行する。なお、Ｓ１は、抽出した差分領域ＤＲから瞬きの検出が可能な程度の臨界値をシミュレーション等によって求め、得られた値が設定されている。
【００５６】
ステップＳ１６において、差分領域判定部１０６は、ｎ差分領域ＤＲの角度θ、面積ＳＶ、円形度ＣＶ及び扁平度ＤＶが第１の条件を満たすか否かの判定を行い、第１の条件を満たす場合（ステップＳ１６でＹＥＳ）、ステップＳ１７に進む。一方、第１の条件を満たさない場合（ステップＳ１６でＮＯ）、ステップＳ１１に戻る。ここで、第１の条件としては、角度θ＞ＡＮＧＬＥ１、Ｓ２＜面積ＳＶ＜Ｓ３、円形度ＣＶ＞Ｃ１、Ｆ１＜扁平度ＦＶ＜Ｆ３が設定されている。図８は、眼の領域から抽出された差分領域ＤＲのパターンを例示した図であり、（ａ）はｎ−１フレームで眼が開いており、ｎフレームで眼が閉じた場合を示し、（ｂ）はｎ−１フレームで眼が半分開いており、ｎフレームで眼が閉じた場合を示している。また、図９は、眼以外の領域から抽出された差分領域ＤＲのパターンを例示した図である。図８（ａ）に示すように、ｎ及びｎ−１フレーム間で瞬きが発生した場合、差分領域ＤＲはレモンを横にしたような形状となる。また、図８（ｂ）の場合、差分領域ＤＲは半月状となる。そこで、ＡＮＧＬＥ１、Ｓ２、Ｓ３、Ｃ１、Ｆ１及びＦ２は、（ａ）〜（ｃ）に示すような形状を有する差分領域ＤＲが抽出されるような臨界値をシミュレーション等によって求め、得られた値が設定されている。これより、図９の（ａ）〜（ｄ）に示すような、眼以外の領域から抽出された差分領域ＤＲ１、ノイズから抽出された差分領域ＤＲ２、あるいは、顔の輪郭から抽出された差分領域ＤＲ３等が排除される。
【００５７】
ステップＳ１７において、候補領域抽出部１０７は、ｎ差分領域ＤＲの重心の明度ＬＧを算出する。明度ＬＧは、Ｒ成分のｎ差分領域ＤＲの重心の階調値（輝度）を明度ＬＧとする。Ｒ成分を用いるのは、肌色の情報はＲ成分に多く含まれているからである。
【００５８】
ステップＳ１８において、候補領域抽出部１０７は、差分領域ＤＲの重心を通る鉛直線上で、重心から下方向のある区間（例えば、差分領域の幅の区間）において、重心の明度ＬＧよりも十分明るい画素（例えば、明度が重心の明度ＬＧの１．２倍以上の画素）が存在せず、かつ、重心の明度ＬＧよりも十分暗い画素（例えば、明度が重心の明度ＬＧの０．６倍以下の画素）が例えば２個以上存在するという条件を満たすか否かを調べ、この条件を満たす場合（ステップＳ１８でＹＥＳ）、ステップＳ１９に進む。一方、この条件を満たさない場合（ステップＳ１８でＮＯ）、ステップＳ１１に戻る。ステップＳ１８の処理によって、眉や髪などの暗い領域が上に移動した場合に生じる差分領域を棄却することができる。ｎフレームにおいて瞼は完全に閉じた状態とは限らないことと、瞼を完全に閉じた状態でも被験者の睫が長い場合は比較的幅の広い暗い領域が存在することを考慮して、重心の明度ＬＧよりも十分暗い画素の判定条件において、例えば２個以上存在するというようにして下限値のみを設定し、上限値は設定していない。
【００５９】
ステップＳ１９において、候補領域抽出部１０７は、ｎ差分領域ＤＲと位置的に対応するｎ−１圧縮フレームの領域の彩度の平均値ＳＡＶを算出する。ステップＳ２０において、候補領域抽出部１０７は、ｎ−１圧縮フレームから、平均値ＳＡＶよりも彩度が小さな画素を探索する。
【００６０】
ステップＳ２１において、候補領域抽出部１０７は、探索の結果、平均値ＳＡＶよりも彩度の差分値が小さな画素を検出した時点で、検出した画素を起点として、差分領域抽出部１０５と同様に、ｎ−１圧縮フレームに対し、注目画素を螺旋状にずらし、注目画素の４近傍画素の彩度を平均値ＳＡＶと比較することで４近傍画素をラベリングするか否かの評価を行い、ｎ−１候補領域ＣＤを抽出する。この評価は、４近傍画素のうち評価対象となる画素の８近傍画素の彩度のメジアンを調べ、このメジアンが平均値ＳＡＶよりも小さい場合、評価対象となる画素をラベリングし、メジアンが平均値ＳＡＶよりも大きい場合、評価対象となる画素をラベリングしないというようにして行われる。
【００６１】
図１０は、抽出された候補領域ＣＤを示した図である。図１０に示すように、眼は瞳ＥＣ及び白眼ＷＥが含まれているため、主に白色及び黒色の画素により構成されている。一方、眼の周囲の領域ＯＥは、主に肌色の画素により構成されている。白色及び黒色と肌色とでは肌色の方が彩度が大きい。そこで、候補領域抽出部１０７は、差分領域から彩度の低い領域を候補領域ＣＤとして抽出することにより、肌の領域ＯＥを排除し、瞳ＥＣ及び白眼ＷＥからなる眼の領域ＥＤのみを候補領域ＣＤとして抽出している。また、候補領域抽出部１０７は、圧縮フレームＣＦの全域に亘って候補領域ＣＤの抽出処理を行わず、ｎ差分領域ＤＲに基づいて候補領域ＣＤを抽出しているため、抽出時間を大幅に短縮することができる。
【００６２】
ステップＳ２２において、候補領域判定部１０８は、候補ｎ−１候補領域ＣＤの面積ＣＤＳ及び円形度ＣＤＣが、Ｓ４＜面積ＣＤＳ＜Ｓ５、かつ、円形度ＣＤＣ＞Ｃ３の条件、すなわち第２の条件を満たす場合（ステップＳ２２でＹＥＳ）、ステップＳ２３に進む。一方、ｎ−１候補領域ＣＤが第２の条件を満たさない場合（ステップＳ２２でＮＯ）ステップＳ１１に戻る。
【００６３】
この場合、Ｓ４、Ｓ５及びＣ３の値は、それぞれｎ−１候補領域ＣＤの面積及び形状が眼の領域の面積及び形状となるような臨界値をシミュレーション等によって求め、得られた値が設定されている。
【００６４】
ステップＳ２３において、誤差算出部１０９は、ｎ−１候補領域ＣＤをテンプレートとし、ｎ−１候補領域ＣＤとｎ圧縮フレームとのマッチング誤差ＥＲを算出する。これにより、ステップＳ２２において排除することができなかった眉から抽出された候補領域ＣＤが排除される。
【００６５】
図１１は、誤差算出部１０９の処理を説明するための図であり、（ａ）はｎ−１フレームの眉及び眼の画像を示し、（ｂ）はｎフレームの眉及び眼の画像を示し、（ｃ）はｎ−１圧縮フレームから得られたｎ−１候補領域ＣＤを示している。ｎ及びｎ−１フレーム間において顔の移動がない場合、両フレーム間において眉の画像が相殺されるため、眉ＥＢから差分領域ＤＲが抽出されず、眉ＥＢが候補領域ＣＤとして抽出される可能性は低い。しかし、両フレーム間において、顔が大きく移動した場合、眉の画像が相殺されないため、（ｃ）に示すように眉から候補領域ＣＤＢが抽出されてしまう。この候補領域ＣＤＢの形状は、瞬きが生じている眼から抽出された候補領域ＣＤＥの形状と類似する場合もある。そこで、誤差算出部１０９は、ｎ−１候補領域ＣＤをテンプレートとして、ｎ圧縮フレームとのマッチング誤差ＥＲを算出することにより、ｎ−１候補領域ＣＤが眼及び眉のいずれに該当するかの判定を行っている。なお、（ｃ）に示すｎ−１候補領域は、眼の周りの肌色の領域が除去された画像である。
【００６６】
この場合、誤差算出部１０９は、まず、ｎ−１候補領域ＣＤを、ｎ−１候補領域ＣＤと位置的に対応するｎ圧縮フレームの領域よりもすこし広い矩形状の領域（例えば左眼のｎ−１候補領域ＣＤに対してはｎ圧縮フレームの左眼付近の矩形状の領域）に対して、ラスタ走査していくことによりマッチング誤差ＥＲを算出する。詳細には、まず、ｎ−１候補領域ＣＤをｎ圧縮フレームのラスタ走査の初期位置に重ねたときの各画素の誤差（ピクセル誤差）ＰＥＲを算出する。ピクセル誤差ＰＥＲは、例えば式（３）によって求められる。次に、ｎ−１候補領域ＣＤをｎ圧縮フレームに対してずらし、再度ピクセル誤差ＰＥＲを算出する。このようにして、ｎ−１候補領域ＣＤをｎ圧縮フレームに対してずらしながら、ｎ−１候補領域ＣＤがラスタ走査の終了位置に到達するまで、ピクセル誤差ＰＥＲを算出していく。そして、ピクセル誤差ＰＥＲの最小値をマッチング誤差ＥＲとして算出する。
【００６７】
【数２】
2005004530.tif 000004
【００６８】
ここで、式（３）では、ｎ及びｎ−１フレームの候補領域ＣＤに含まれる全画素に対してＢ（青）成分の差の絶対値を算出しこれらの総和を求め、求めた総和をｎ−１フレームの候補領域ＣＤに含まれるＲ成分の総和で割った値をピクセル誤差ＰＥＲとしている。
【００６９】
通常のテンプレートマッチングでは、抽出したい画像を含む矩形状の画像をテンプレートとして使用するが、誤差算出部１０９は、ｎ−１候補領域ＣＤ、すなわち抽出した画像そのものをテンプレートとして用いている。ここで、ｎ−１候補領域ＣＤとｎ−１候補領域ＣＤの周辺の肌の画像とを含む矩形領域をテンプレートとして用いてマッチング誤差ＥＲを算出すると、肌の部分の影響により候補領域ＣＤの部分のマッチング誤差ＥＲが明確に表れず、テンプレートマッチングの精度が低下してしまう。そこで、誤差算出部１０９は、候補領域ＣＤそのものをテンプレートとして用いることにより、テンプレートマッチングの精度を高めている。
【００７０】
ステップＳ２４において、瞬き判定部１１０は、マッチング誤差ＥＲを閾値Ｔ３と比較し、ＥＲ＞Ｔ３の場合（ステップＳ２４でＹＥＳ）、さらに、マッチング誤差ＥＲを閾値Ｔ４（Ｔ４＞Ｔ３）と比較し（ステップＳ２５）、Ｔ４≧ＥＲの場合（ステップＳ２５でＮＯ）、マッチング誤差ＥＲは十分大きいため、ｎ−１候補領域ＣＤは、眼の領域に該当すると推定し、ｎ及びｎ−１フレーム間での瞬きが発生したことを判定し、ステップＳ２８に進む。
【００７１】
一方、ステップＳ２４において、ＥＲ≦Ｔ３の場合、誤差は十分小さいため、ｎ−１候補領域ＣＤは眉の領域に該当するものとして、ステップＳ１１に戻る。
【００７２】
一方、ステップＳ２５において、ＥＲ＜Ｔ４の場合（ステップＳ２５でＹＥＳ）、すなわち、Ｔ３＜ＥＲ＜Ｔ４であり、マッチング誤差ＥＲが眼に該当するか否かがグレーゾーンにある場合、ステップＳ２６に進む。
【００７３】
ステップＳ２６において、瞬き判定部１１０は、ｎ−１候補領域ＣＤの明度の最大値−最小値を算出する。眼は、瞳及び白眼を含むため、眼の画像は明度差が明確に現れる。そこで、瞬き判定部１１０は、マッチング誤差ＥＲの値が眼と断定できないグレーゾーンにある場合、ｎ−１候補領域ＣＤの明度の最大値−最小値を求め、この値が一定の大きさ以上、すなわち、閾値Ｔ５よりも大きい場合（ステップＳ２７でＹＥＳ）、ｎ−１候補領域ＣＤは、眼の候補領域に該当すると推定し、ｎ及びｎ−１フレーム間での瞬きが発生したことを判定する。そして、ステップＳ２８に進む。一方、ステップＳ２７において、最大値−最小値≦Ｔ５の場合（ステップＳ２７でＮＯ）、ｎ−１候補領域ＣＤは、眼に該当しないとして、ステップＳ１１に戻る。
【００７４】
マッチング誤差ＥＲの値が、Ｔ３＜ＥＲ＜Ｔ４である場合、ｎ及びｎ−１フレーム間において、開閉された口や、顔の移動に伴ってフレーム内を大きく移動した眉等がｎ−１候補領域ＣＤとして抽出される可能性がある。そこで、瞬き判定部１１０は、ｎ−１候補領域ＣＤの明度の最大値−最小値を求めることにより、これらの顔部品が眼の候補領域ＣＤに該当するものとして推定され、瞬きが発生していないにもかかわらず、瞬きが発生したと判定されることを防止している。
【００７５】
ステップＳ２８において、画像合成部１１１は、眼に該当するとされた候補領域ＣＤの全域を例えば蛍光色などを用いてｎフレームに合成し、表示装置６に表示させる。そして、ステップＳ５に戻り、次のフレームに対する処理を実行する。
【００７６】
なお、上記実施形態では、眼に該当するとされた候補領域をｎフレームに合成し、表示装置６に表示させているが、これに限定されず、表示装置６に表示させることなく、眼の検出情報を他の処理（例えば、メークアップシミュレーション、居眠り検出、視線検出、個人識別等）のために用いても良い。
【００７７】
【発明の効果】
請求項１、５、６記載の発明によれば、高精度かつ高速に瞬きを検出することができる。
【００７８】
請求項２記載の発明によれば、瞬きの検出回数の低下を防止することができる。
【００７９】
請求項３記載の発明によれば、フレームを圧縮したため、さらに処理を高速化することができる。
【００８０】
請求項４記載の発明によれば、注目画素を螺旋状にずらしたため、より高速に瞬きを検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による瞬き検出装置のハードウェア構成を示すブロック図である。
【図２】本瞬き検出装置の機能を説明するためのブロック図である。
【図３】瞬き検出装置の処理を示したフローチャートである。
【図４】瞬き検出装置の処理を示したフローチャートである。
【図５】（ａ）はブロック領域が設定された圧縮フレームを示しており、（ｂ）はブロック領域を示している。
【図６】差分領域が抽出される様子を説明するための図である。
【図７】ｎ−１フレームとｎフレームとの間で顔が大きく動いた場合に抽出される差分領域ＤＲを示した図であり、（ａ）は差分領域ＤＲを示し、（ｂ）はｎ−１フレームの画像を示し、（ｃ）はｎフレームの画像を示している。
【図８】眼の領域から抽出された差分領域ＤＲのパターンを例示した図であり、（ａ）はｎ−１フレームで眼が開いており、ｎフレームで眼が閉じた場合を示し、（ｂ）はｎ−１フレームで眼が半分開いており、ｎフレームで眼が閉じた場合を示している。
【図９】眼以外の領域から抽出された差分領域ＤＲのパターンを例示した図である。
【図１０】抽出された候補領域を示した図である。
【図１１】誤差算出部１０９の処理を説明するための図であり、（ａ）はｎ−１フレームの眉及び眼の画像を示し、（ｂ）はｎフレームの眉及び眼の画像を示し、（ｃ）はｎ−１及びｎフレームから得られた候補領域ＣＤを示している。
【符号の説明】
１  入力装置
２  ＲＯＭ
３  ＣＰＵ
４  ＲＡＭ
５  外部記憶装置
６  表示装置
７  記録媒体駆動装置
８  記録媒体
９  Ｉ／Ｆ
１０  カメラ
１００  プログラム実行部
１０１  圧縮フレーム生成部
１０２  ブロック領域設定部
１０３  ブロック領域特定部
１０４  差分ブロック算出部
１０５  差分領域抽出部
１０６  差分領域判定部
１０７  候補領域抽出部
１０８  候補領域判定部
１０９  誤差算出部
１１０  瞬き判定部
１１１  画像合成部
２００  記憶部
２０１  画像メモリ
【図１】
2005004530.tif 000005
【図２】
2005004530.tif 000006
【図３】
2005004530.tif 000007
【図４】
2005004530.tif 000008
【図５】
2005004530.tif 000009
【図６】
2005004530.tif 000010
【図７】
2005004530.tif 000011
【図８】
2005004530.tif 000012
【図９】
2005004530.tif 000013
【図１０】
2005004530.tif 000014
【図１１】
2005004530.tif 000015