(57)【要約】【課題】画像内に含まれる被写体の瞬きの有無を判定すること。【解決手段】目領域画像抽出部１０４ｂは、時系列で入力されるフレーム画像内から被写体の目を含む領域の画像を目領域画像として抽出し、目領域画像を目領域画像記憶メモリへ記録する。テンプレートマッチング部１０４ｃは、目領域画像記憶メモリに記録されている、現フレームよりも所定時間前に入力された過去フレームから抽出された目領域画像をテンプレート画像として読み込み、現フレームを対象としてテンプレート画像を用いたテンプレートマッチングを行って、現フレーム内からテンプレート画像に対応する対応領域画像を抽出する。瞬き判定部１０４ｄは、過去フレームから抽出された目領域画像と、テンプレートマッチング手段で抽出した対応領域画像とを比較して、対応領域画像内に含まれる被写体の目が瞬きをしているか否かを判定する。【選択図】図１
2009005251.tif 000002
【特許請求の範囲】
【請求項１】
時系列で入力されるフレーム画像内から被写体の目を含むと推定される目領域の画像を目領域画像として抽出する目領域画像抽出手段と、
前記目領域画像を目領域画像記憶メモリへ記録する記録手段と、
現フレームよりも所定時間前に入力された過去フレームから抽出された前記目領域画像を、テンプレート画像として前記目領域画像記憶メモリから読み込み、現フレーム内を対象として前記テンプレート画像を用いたテンプレートマッチングを行って、現フレーム内から前記テンプレート画像に対応する対応領域画像を抽出するテンプレートマッチング手段と、
前記過去フレームから抽出された前記目領域画像と、前記テンプレートマッチング手段で抽出した前記対応領域画像とを比較して、前記対応領域画像内に含まれる被写体の目が瞬きをしているか否かを判定する瞬き判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記瞬き判定手段は、前記過去フレームから抽出された前記目領域画像と、前記対応領域画像との対応する画素同士の輝度値の差分を算出し、当該差分をフレーム全体で積算した値が、所定の閾値よりも大きい場合に、前記対応領域画像内に含まれる被写体の目は瞬きをしていると判定することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記フレーム画像内から被写体の顔を含む顔領域を検出する顔領域検出手段をさらに備え、
前記目領域抽出手段は、前記顔領域検出手段で検出された前記顔領域内の所定の領域を前記目領域とすることを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記目領域抽出手段は、抽出した前記目領域画像を所定画素サイズ以下に縮小し、
前記記録手段は、縮小後の前記目領域画像を前記目領域画像記憶メモリへ記録し、
前記テンプレートマッチング手段は、前記テンプレート画像として前記目領域画像記憶メモリから読み込んだ前記目領域画像の縮小倍率と同じ倍率で前記現フレーム内の対象範囲内の画像を縮小した後、縮小後の前記対象範囲内に対して前記テンプレートマッチングを行うことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記目領域抽出手段は、前記目領域画像を所定画素サイズ以下に縮小するに当たっては、横方向の縮小倍率を縦方向の縮小倍率よりも大きくすることを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像処理装置において、
前記瞬き判定手段で、前記被写体の目が瞬きをしていると判定された場合に、使用者に対してその旨を通知して警告する警告手段をさらに備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像に対して画像処理を施すための画像処理装置に関する。
【背景技術】
【０００２】
次のような瞬き検出装置が知られている。この瞬き検出装置は、フレーム間での明度の差分が大きい差分領域の面積や形状等に基づいて差分領域が眼に該当するか否かを判定する。そして、眼の領域に該当すると判定した場合には、その眼の領域を対象として瞬き判定処理を実行する（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００５−４５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の瞬き判定装置では、差分領域の面積や形状等に基づいて差分領域が眼に該当するか否かを判定する必要があるため、眼の形状が識別できる程度の鮮明な画像でないと瞬き判定が正確に行なえない可能性があった。
【課題を解決するための手段】
【０００５】
本発明は、時系列で入力されるフレーム画像内から被写体の目を含むと推定される目領域の画像を目領域画像として抽出し、目領域画像を目領域画像記憶メモリへ記録し、現フレームよりも所定時間前に入力された過去フレームから抽出された目領域画像を、テンプレート画像として目領域画像記憶メモリから読み込み、現フレーム内を対象としてテンプレート画像を用いたテンプレートマッチングを行って、現フレーム内からテンプレート画像に対応する対応領域画像を抽出し、過去フレームから抽出された目領域画像と、テンプレートマッチング手段で抽出した対応領域画像とを比較して、対応領域画像内に含まれる被写体の目が瞬きをしているか否かを判定することを特徴とする。
本発明では、記過去フレームから抽出された目領域画像と、対応領域画像との対応する画素同士の輝度値の差分を算出し、当該差分をフレーム全体で積算した値が、フレーム全体での積算値が、所定の閾値よりも大きい場合に、対応領域画像内に含まれる被写体の目は瞬きをしていると判定するようにしてもよい。
フレーム画像内から被写体の顔を含む顔領域を検出し、検出した顔領域内の所定の領域を目領域とするようにしてもよい。
抽出した目領域画像を所定画素サイズ以下に縮小し、縮小後の目領域画像を目領域画像記憶メモリへ記録し、テンプレート画像として目領域画像記憶メモリから読み込んだ目領域画像の縮小倍率と同じ倍率で現フレーム内の対象範囲内の画像を縮小した後、縮小後の対象範囲内に対してテンプレートマッチングを行うようにしてもよい。
目領域画像を所定画素サイズ以下に縮小するに当たっては、横方向の縮小倍率を縦方向の縮小倍率よりも大きくするようにしてもよい。
被写体の目が瞬きをしていると判定された場合に、使用者に対してその旨を通知して警告するようにしてもよい。
【発明の効果】
【０００６】
本発明によれば、粗い画像であっても精度高く瞬き判定を行なうことができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、画像を取得して記録することができるカメラ（デジタルカメラ）１００が用いられる。このカメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。
【０００８】
操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタン、ヘルプボタンなどを含んでいる。
【０００９】
レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳであり、レンズ１０２により結像した被写体像を撮像して画像を取得する。そして、取得した画像データを制御装置１０４へ出力する。制御装置１０４は、撮像素子１０３で取得された画像データを所定の画像形式、例えばＪｐｅｇ形式に圧縮し、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）等の所定の形式の画像ファイルを生成してメモリカードスロット１０５へ出力する。
【００１０】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込んで再生したり、記録されている画像ファイルを削除したりする。
【００１１】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像（再生画像）やカメラ１００を設定するための設定メニューなどの種々の情報が表示される。また、制御装置１０４は、撮像素子１０３から時系列で入力されるフレームを順次モニタ１０６に出力することによって、モニタ１０６にスルー画を表示する。
【００１２】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、顔検出部１０４ａと、目領域画像抽出部１０４ｂと、テンプレートマッチング部１０４ｃと、瞬き判定部１０４ｄと、警告部１０４ｅとを機能的に備えている。なお、制御装置１０４を構成するメモリには、プログラム等を記憶するＲＯＭ（例えばフラッシュメモリ）や、バッファメモリとして使用されるＲＡＭ（例えばＳＤＲＡＭ）等を含む。
【００１３】
顔検出部１０４ａは、撮像素子１０３から上述したスルー画の入力が開始されると、入力されたフレーム（現フレーム）に対して顔検出処理を実行して、フレーム内に含まれる被写体の顔を含む領域（顔領域）を検出する。そして、顔検出部１０４ａは、現フレーム内における検出した顔領域の位置と、検出した顔領域の大きさを目領域画像抽出部１０４ｂへ出力する。例えば、顔領域の位置としては、現フレームの全体をｘｙ座標系とした場合の、顔領域の重心の座標値を出力する。また、顔領域の大きさとしては、顔領域の縦および横の画素数を出力する。
【００１４】
顔検出部１０４ａは、現フレーム内の全範囲に対して顔検出処理を行い、現フレーム内に複数の被写体が存在する場合には、それぞれの被写体から検出された顔領域の位置および大きさを目領域画像抽出部１０４ｂへ出力する。なお、顔検出処理については、公知の技術であるため、説明を省略する。
【００１５】
目領域画像抽出部１０４ｂは、顔検出部１０４ａから出力された現フレーム内における顔の位置と大きさとに基づいて、現フレーム内における目領域を抽出して、その領域内の画像（目領域画像）を目領域画像格納用のメモリ（目領域画像記憶メモリ）に保存する。なお、目領域画像記憶メモリは、上述したＲＡＭ内に専用の領域を確保して用いてもよく、あるいは別途専用のメモリを設けるようにしてもよい。なお、目領域とは、現フレーム内で検出された被写体の顔上の目を含む領域をいう。以下、目領域画像の抽出方法について説明する。
【００１６】
目領域画像抽出部１０４ｂは、検出された顔領域内から目を含むと推定される範囲内を目領域として抽出する。例えば、図２に示すように顔領域２ａを４等分し、得られた４つの領域の内、左上の領域２ｂを被写体の右目が含まれる目領域（右目領域）とし、右上の領域２ｃを被写体の左目が含まれる目領域（左目領域）として、領域２ｂおよび２ｃ内の画像を、それぞれ目領域画像として抽出する。すなわち、１つの顔領域に対して、右目領域の目領域画像と左目領域の目領域画像との２枚の画像が抽出される。
【００１７】
本実施の形態では、目領域画像記憶メモリの画素サイズを例えば縦３０画素×横１５画素とし、目領域画像抽出部１０４ｂは、抽出した目領域画像の画素サイズが、目領域画像記憶メモリの画素サイズよりも大きい場合には、目領域画像が目領域画像記憶メモリの画素サイズに収まるように縮小してから保存する。ここでは、目領域画像抽出部１０４ｂは、縦ｍ画素、横ｎ画素（ｍおよびｎは整数）を１ブロックとし、この１ブロックを縮小後の目領域画像の１画素とするように縮小倍率を設定して目領域画像の縮小を行う。
【００１８】
このとき、目領域画像抽出部１０４ｂは、ｍとｎの値を、縮小後の目領域画像の画素サイズが目領域画像記憶メモリの画素サイズ以下になるように設定する。また、ｍ＜ｎとなるように設定して、目領域画像を縦方向よりも横方向の方がより縮小されるようにする。すなわち目領域画像の横方向の縮小倍率を縦方向の縮小倍率よりも大きくする。これは、瞬きは縦方向の動きであるため、後述する瞬き判定処理で、異なるフレーム間の目領域画像の変化を比較する際に横方向の変化はそれほど問題とならないため、横方向をより縮小することによってメモリの使用量を削減したり、処理速度を向上させたりすることを目的としている。
【００１９】
例えば、図３（ａ）に示すように、目領域画像の画素サイズが縦４２画素、横４２画素である場合について説明する。この場合には、縦サイズは４２画素から３０画素以下に縮小する必要があるため、ｍ＝２に設定する。また、横サイズは４２画素から１５画素以下に縮小する必要があるため、ｎ＝３に設定する。このように、縦２画素、横３画素を１ブロックとして、これが１画素になるように縮小を行った場合には、図３（ｂ）に示すように、縦２１画素、横１４画素の縮小後の目領域画像が得られる。この場合には、図３（ａ）に示す縮小前の目領域画像におけるブロック３ａは、図３（ｂ）に示す縮小後の目領域画像における画素３ｂに縮小されている。
【００２０】
上述した顔検出部１０４ａ、目領域画像抽出部１０４ｂ、およびテンプレートマッチング部１０４ｃによる処理は、撮像素子１０３からスルー画が入力されている間、各フレームに対して実行される。これによって、各フレームから抽出された目領域画像が目領域画像記憶メモリに蓄積されていく。その後、使用者によってレリーズボタンが押下されることによって、画像の撮影、すなわち本撮影が指示された場合には、テンプレートマッチング部１０４ｃ、瞬き判定部１０４ｄ、および警告部１０４ｅは、以下に説明する処理を実行する。
【００２１】
テンプレートマッチング部１０４ｃは、現フレームよりも所定時間前に入力されたフレームから抽出された目領域画像を目領域画像記憶メモリから読み込む。ここでは、例えば、現フレームの２フレーム前に抽出された目領域画像を目領域画像記憶メモリから読み込むようにする。テンプレートマッチング部１０４ｃは、現フレームにおいて顔検出部１０４ａによって検出された顔領域の画像を、読み込んだ２フレーム前の目領域画像の縮小倍率と同じ縮小倍率で縮小して、縮小顔領域画像を得る。そして、テンプレートマッチング部１０４ｃは、当該縮小顔領域画像を対象として、２フレーム前の目領域画像をテンプレート画像として用いたテンプレートマッチングを行って、縮小顔領域画像内で２フレーム前の目領域画像との一致度が最も高い領域を特定する。
【００２２】
テンプレートマッチング部１０４ｃは、特定した領域内の画像を目領域画像に対応する画像（対応領域画像）として抽出する。なお、本実施の形態では、テンプレートマッチング部１０４ｃは、公知の三点内挿法などの公知の探索方法を用いてテンプレートマッチングを行って小数画素精度で探索を行うようにする。これによって、縮小した画像を用いた場合であっても精度高くテンプレートマッチングを行うことができる。なお、このテンプレートマッチング部１０４ｃによる処理、および後述する瞬き判定部１０４ｄによる処理は、目領域画像記憶メモリ内に２フレーム前の目領域画像が記憶されていない場合には行われない。
【００２３】
瞬き判定部１０４ｄは、テンプレートマッチング部１０４ｃが読み込んだ２フレーム前（過去フレーム）に抽出された目領域画像と、現フレームに対する処理でテンプレートマッチング部１０４ｃによって抽出された対応領域画像とを画素ごとに比較して、現フレーム内の被写体が瞬きをしているか否かを判定する。すなわち、画像内に目を閉じている人物がいるか否かを判定する。具体的には、瞬き判定部１０４ｄは、過去フレームの目領域画像と、現フレームの対応領域画像とを画素ごとに比較した結果、現フレームの対応領域画像内で、過去フレームの目領域画像よりも輝度が大きくなっている画素を特定する。
【００２４】
そして、瞬き判定部１０４ｄは、その輝度の増加分を積算していき、対応領域画像全体での増加分の積算値（差分の積算値）が所定の閾値よりも大きい場合に、現フレームの対応領域画像内に含まれる目は閉じている、すなわち人物が瞬きを行っていると判定する。これは、人物が目を閉じた場合には、黒目部分が肌色の瞼で覆われるため、目領域画像の輝度が上がることを加味した判定方法である。
【００２５】
警告部１０４ｅは、瞬き判定部１０４ｄによって現フレーム内に瞬きをしている被写体がいると判定された場合には、使用者に対してその旨を警告する。例えば、モニタ１０６に警告メッセージなどを表示する。そして、制御装置１０４は、現フレームを本撮影の指示に基づいて取得した画像データ（本画像）として、上述した種々の画像処理を施した後、メモリカードスロット１０５へ出力する。これによって、使用者は、本画像は、瞬きしている被写体を含んでいることを知ることができ、被写体が瞬きしていることを望まない場合には、再度、本撮影を行うことができる。
【００２６】
図４は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図４に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。
【００２７】
ステップＳ１０において、顔検出部１０４ａは、上述したように、現フレームを対象として顔検出処理を行い、検出した顔領域の位置および大きさを目領域画像抽出部１０４ｂへ出力する。その後、ステップＳ２０へ進む。
【００２８】
ステップＳ２０において、目領域画像抽出部１０４ｂは、顔検出部１０４ａから出力された現フレーム内における顔の位置と大きさとに基づいて、現フレーム内における目領域を抽出し、その領域内の画像を目領域画像として抽出する。このとき、目領域画像抽出部１０４ｂは、上述したように、抽出した目領域画像の画素サイズが目領域画像記憶メモリの画素サイズよりも大きい場合には、目領域画像が目領域画像記憶メモリの画素サイズに収まるように縮小する。その後、ステップＳ３０へ進み、目領域画像抽出部１０４ｂは、抽出した目領域画像を目領域画像記憶メモリに保存して、ステップＳ４０へ進む。
【００２９】
ステップＳ４０では、テンプレートマッチング部１０４ｃは、使用者によってレリーズボタンが押下されることによって、本撮影が指示されたか否かを判断する。否定判断した場合には、ステップＳ１０へ戻って、次フレームを対象として上記処理を繰り返す。これに対して、肯定判断した場合には、ステップＳ５０へ進む。
【００３０】
ステップＳ５０では、テンプレートマッチング部１０４ｃは、目領域画像記憶メモリ内に２フレーム前の目領域画像が記憶されているか否かを判断する。否定判断した場合には、ステップＳ１０へ戻って、次フレームを対象として上記処理を繰り返す。これに対して、肯定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、テンプレートマッチング部１０４ｃは、目領域画像記憶メモリから２フレーム前の目領域画像を読み込んで、ステップＳ７０へ進む。
【００３１】
ステップＳ７０では、テンプレートマッチング部１０４ｃは、上述したように、２フレーム前の目領域画像をテンプレートとして用い、２フレーム前の目領域画像の縮小倍率と同じ縮小倍率で縮小した縮小顔領域画像を対象としてテンプレートマッチングを行う。そして、縮小顔領域画像内で２フレーム前の目領域画像との一致度が最も高い領域を特定し、特定した領域内の画像を対応領域画像として抽出する。その後、ステップＳ８０へ進む。
【００３２】
ステップＳ８０では、瞬き判定部１０４ｄは、上述したように、過去フレームから抽出された目領域画像と、現フレームに対する処理でテンプレートマッチング部１０４ｃによって抽出された対応領域画像とを画素ごとに比較して、現フレーム内の被写体が瞬きをしているか否かを判定する。その後、ステップＳ９０へ進み、警告部１０４ｅは、瞬き判定部１０４ｄによって現フレーム内に瞬きをしている被写体がいると判定されたか否かを判断する。
【００３３】
肯定判断した場合には、ステップＳ１００へ進み、警告部１０４ｅは、使用者に対してその旨を警告して、ステップＳ１１０へ進む。これに対して、否定判断した場合には、そのままステップＳ１１０へ進む。ステップＳ１１０では、顔検出部１０４ａは、撮像素子１０３からのスルー画の入力が終了したか否かを判断する。否定判断した場合には、ステップＳ１０へ戻って、次フレームを対象として上記処理を繰り返す。これに対して、肯定判断した場合には、処理を終了する。
【００３４】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）目領域画像抽出部１０４ｂは、時系列で入力されるフレーム画像内から被写体の目を含むと推定される領域の画像を目領域画像として抽出して目領域画像記憶メモリへ記録するようにした。テンプレートマッチング部１０４ｃは、現フレームよりも所定時間前に入力された過去フレームから抽出された目領域画像を、テンプレート画像として目領域画像記憶メモリから読み込み、現フレーム内を対象としてテンプレート画像を用いたテンプレートマッチングを行って、現フレーム内からテンプレート画像に対応する対応領域画像を抽出するようにした。瞬き判定部１０４ｄは、過去フレームから抽出された目領域画像と、テンプレートマッチング手段で抽出した対応領域画像とを比較して、対応領域画像内に含まれる被写体の目が瞬きをしているか否かを判定するようにした。これによって、実際に各フレームで目の形状を識別して瞬きの有無を判定する必要がないため、入力される各フレームの解像度が粗い場合であっても、精度高く瞬き判定を行うことができる。
【００３５】
（２）瞬き判定部１０４ｄは、過去フレームから抽出された目領域画像と、対応領域画像との対応する画素同士の輝度値の差分を算出し、当該差分をフレーム全体で積算した値が、所定の閾値よりも大きい場合に、対応領域画像内に含まれる被写体の目は瞬きをしていると判定するようにした。これによって、簡易な処理によって瞬きの有無を判定することができるため、処理を高速化することができる。
【００３６】
（３）顔検出１０４ａは、現フレーム内から被写体の顔を含む顔領域を検出し、目領域抽出部１０４ｂは、顔検出部１０４ａで検出された顔領域内の所定の領域を目領域とするようにした。これによって、顔領域内の目が存在することが予想される所定の領域を目領域として抽出すればよいため、画像内から目を検出するための複雑な処理を行う必要がなく、処理を高速化することができる。また、画像内に目が鮮明に映っていなくても目領域を特定することができる。
【００３７】
（４）目領域画像抽出部１０４ｂは、抽出した目領域画像を目領域画像記憶メモリの画素サイズ以下に縮小してから目領域画像記憶メモリへ記録するようにした。また、テンプレートマッチング部１０４ｃは、テンプレート画像として目領域画像記憶メモリから読み込んだ目領域画像の縮小倍率と同じ倍率で現フレーム内の顔領域の画像（対象範囲内の画像）を縮小した後、これによって得た縮小顔領域画像（縮小後の対象範囲）内に対してテンプレートマッチングを行うようにした。これによって、目領域画像記憶メモリへ記録する画像の画素サイズを小さくしてメモリの使用量を削減することができる。また、テンプレートマッチングを行う際の対象範囲内の画像とテンプレート画像とを縮小しておくことで、テンプレートマッチングを高速に行うことができる。
【００３８】
（５）目領域画像抽出部１０４ｂは、目領域画像を縮小するに当たっては、横方向の縮小倍率を縦方向の縮小倍率よりも大きくするようにした。これによって、瞬きは縦方向の動きであるため、瞬き判定処理では目領域画像の横方向の変化はそれほど問題とならないことを加味して、メモリの使用量を削減したり、処理速度を向上させたりすることができる。
【００３９】
（６）警告部１０４ｅは、瞬き判定部１０４ｄによって被写体の目が瞬きをしていると判定された場合には、使用者に対してその旨を通知して警告するようにした。これによって、使用者は撮影した画像内に瞬きをしている被写体が含まれることを把握することができる。
【００４０】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置としてカメラ（デジタルカメラ）１００を用いる例について説明した。しかしながら、本発明は、画像を読み込んで表示することができる他の機器、例えば携帯電話やビデオカメラ等において、被写体の瞬きを判定する場合にも適用可能である。
【００４１】
（２）上述した実施の形態では、画像内に写っている人物の顔を検出して、人物を対象として瞬きの有無を判定する例について説明した。しかしながら、犬や猫などの動物を対象として瞬きの有無を判定するようにしてもよい。
【００４２】
（３）上述した実施の形態では、２フレーム前の目領域画像の縮小倍率と同じ縮小倍率で縮小した縮小顔領域画像を対象として、２フレーム前の目領域画像をテンプレート画像として用いてテンプレートマッチングを行って、対応領域画像を抽出する例について説明した。しかしながら、目領域を抽出する際にフレーム内における目領域の位置（座標値）を記録しておき、現フレーム内における２フレーム前の目領域が抽出された座標値の近傍領域を対象としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を限定することができ、処理速度を向上することができる。
【００４３】
（４）上述した実施の形態では、制御装置１０４の各要素は、撮像素子１０３から入力されるスルー画の各フレームに対して処理を実行して瞬き判定を行う例について説明した。しかしながら、撮像素子１０３から入力されるスルー画の各フレームをメモリカードやバッファメモリに記録しておき、使用者によって本撮影が指示されたときに、現フレームと２フレーム前を対象として、顔検出、目領域画像の抽出、テンプレートマッチング、および瞬き判定を行って、本撮影された画像内の被写体が瞬きをしているか否かを判定するようにしてもよい。
【００４４】
（５）上述した実施の形態では、瞬き判定部１０４ｄによって現フレーム内に瞬きをしている被写体がいると判定された場合には、警告部１０４ｅは、使用者に対してその旨を警告し、制御装置１０４は、そのフレームを本画像として取得する例について説明した。しかしながら、瞬き判定部１０４ｄによる判定結果を他の用途に用いてもよい。例えば、瞬き判定部１０４ｄによって現フレーム内に瞬きをしている被写体がいると判定された場合には、制御装置１０４は、現フレームは本画像とせずに、次のフレームを本画像として取得するようにしてもよい、また、瞬きしている被写体がいなくなるまで本画像の取得をスルーし、誰も瞬きしていないフレームが入力されたときに、そのフレームを本画像として取得するようにしてもよい。
【００４５】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【図面の簡単な説明】
【００４６】
【図１】画像処理装置としてカメラを用いた場合の一実施の形態の構成を示すブロック図である。
【図２】目領域の抽出方法の具体例を示す図である。
【図３】目領域画像の縮小方法の具体例を示す図である。
【図４】カメラ１００の処理を示すフローチャート図である。
【符号の説明】
【００４７】
１００  カメラ、１０１  操作部材、１０２  レンズ、１０３  撮像素子、１０４  制御装置、１０４ａ  顔検出部、１０４ｂ  目領域画像抽出部、１０４ｃ  テンプレートマッチング部、１０４ｄ  瞬き判定部１０４ｄ  警告部、１０５  メモリカードスロット、１０６  モニタ
【図１】
2009005251.tif 000003
【図２】
2009005251.tif 000004
【図３】
2009005251.tif 000005
【図４】
2009005251.tif 000006