(57)【要約】  【課題】  顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能にする。【解決手段】  インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成して出力する撮像部１２０と、前記撮像部で生成された顔画像の画像データの所定の部位における特定のパターンを検出するパターン検出部１６０と、前記検出部での検出結果に基づいて顔画像の良否判定を行う判定部１８０と、を有する。【選択図】  図１
2006166348.tif 000002
【特許請求の範囲】
【請求項１】
インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成して出力する撮像部と、
前記撮像部で生成された顔画像の画像データの所定の部位における特定のパターンを検出するパターン検出部と、
前記パターン検出部での検出結果に基づいて顔画像の良否判定を行う判定部と、
を有する顔画像撮影装置。
【請求項２】
前記顔画像の所定の部位を認識する部位認識部を備え、
前記部位認識部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位を検出する、
ことを特徴とする請求項１記載の顔画像撮影装置。
【請求項３】
前記パターン検出部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位における特定のパターンを検出する、
ことを特徴とする請求項１または請求項２に記載の顔画像撮影装置。
【請求項４】
前記フィルタは、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタを備える、
ことを特徴とする請求項３記載の顔画像撮影装置。
【請求項５】
前記判定部は、前記パターン検出部での検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する、
ことを特徴とする請求項１乃至請求項４のいずれかに記載の顔画像撮影装置。
【請求項６】
前記判定部での前記判定結果の良否に応じて前記画像データの出力可否を決定する
選択手段と、を備え、
前記選択手段は、記憶された複数の画像データに対して前記パターン検出部で前記検出が実行され、前記パターン検出部での前記複数の画像データに対する前記検出結果に応じて前記判定部で前記判定が実行された場合に、前記複数の画像データの前記判定結果に応じて、各画像データの出力可否を決定する、
ことを特徴とする請求項１乃至請求項５のいずれかに記載の顔画像撮影装置。
【請求項７】
一連の複数の画像データを記憶する記憶部と、
前記記憶部に記憶された画像データのいずれかで前記特定のパターンが検出された場合に、該特定パターンが発生する画素位置をパターン分布として作成するパターン分布作成部と、を備え、
前記パターン検出部は、前記一連の複数の画像データの中の他の画像データに関して、前記パターン分布で示される画素位置でパターン検出を行う、
ことを特徴とする請求項８乃至請求項１４のいずれかに記載の顔画像判定装置。
【請求項８】
インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成された画像データの供給を受ける信号入力部と、
前記信号入力部に入力された顔画像の画像データの所定の部位における特定のパターンを検出するパターン検出部と、
前記パターン検出部での検出結果に基づいて顔画像の良否判定を行う判定部と、
を有する顔画像判定装置。
【請求項９】
インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成されたインタレース方式の映像信号の供給を受ける信号入力部と、
前記信号入力部に入力された前記映像信号の奇数フィールドと偶数フィールドとから１フレームの画像データを生成するフレームデータ生成部と、
前記フレームデータ生成部で生成された画像データの顔画像の所定の部位における特定のパターンを検出するパターン検出部と、
前記パターン検出部での検出結果に基づいて顔画像の良否判定を行う判定部と、
を有する顔画像判定装置。
【請求項１０】
前記顔画像の所定の部位を認識する部位認識部を備え、
前記部位認識部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位を検出する、
ことを特徴とする請求項８または請求項９に記載の顔画像判定装置。
【請求項１１】
前記パターン検出部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位を検出する、
ことを特徴とする請求項８乃至請求項１０のいずれかに記載の顔画像判定装置。
【請求項１２】
前記フィルタは、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタを備える、
ことを特徴とする請求項１１記載の顔画像判定装置。
【請求項１３】
前記判定部は、前記パターン検出部での検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する、
ことを特徴とする請求項８乃至請求項１２のいずれかに記載の顔画像判定装置。
【請求項１４】
前記判定部での前記判定結果の良否に応じて前記画像データの出力可否を決定する
選択手段と、を備え、
前記選択手段は、記憶された複数の画像データに対して前記パターン検出部で前記検出が実行され、前記パターン検出部での前記複数の画像データに対する前記検出結果に応じて前記判定部で前記判定が実行された場合に、前記複数の画像データの前記判定結果に応じて、各画像データの出力可否を決定する、
ことを特徴とする請求項８乃至請求項１３のいずれかに記載の顔画像判定装置。
【請求項１５】
一連の複数の画像データを記憶する記憶部と、
前記記憶部に記憶された画像データのいずれかで前記特定のパターンが検出された場合に、該特定パターンが発生する画素位置をパターン分布として作成するパターン分布作成部と、を備え、
前記パターン検出部は、前記一連の複数の画像データの中の他の画像データに関して、前記パターン分布で示される画素位置でパターン検出を行う、
ことを特徴とする請求項８乃至請求項１４のいずれかに記載の顔画像判定装置。
【請求項１６】
インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成された画像データの供給を受ける入力ルーチンと、
前記画像データの所定の部位における特定のパターンを検出する検出ルーチンと、
前記検出ルーチンでの検出結果に基づいて顔画像の良否判定を行う判定ルーチンと、
を有する顔画像判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔画像の撮影を行うを行う顔画像撮影装置および顔画像判定装置ならびに顔画像判定プログラムに関し、特に、撮影された顔画像の良否判定を行うことが可能な顔画像撮影装置および顔画像判定装置ならびに顔画像判定プログラムに関する。
【背景技術】
【０００２】
各種身分証明書等に顔写真が使用されることがあり、その場合、顔画像撮影システムによって撮影された顔写真が使用されている。
なお、この種の顔画像撮影システムでは、テレビジョン方式等で使用されている２：１インタレースの駆動がなされる撮像素子を有する撮像部で生成された映像信号または画像データが使用されることがある。
【０００３】
ところで、顔画像撮影システムでは、撮影された顔画像が瞬きなどの瞬間でないことが重要である。このため、顔画像撮影システムで撮影された顔画像が瞬きをしていないかを判定する必要がある。
【０００４】
例えば、以下の特許文献１には、画像内に動きがあるか、静止しているかを検出するような手法が記載されている。また、以下の特許文献２では顔画像の瞬きを検出する手法が記載されている。
【特許文献１】特開昭６３−４２２９４号公報（第１頁、図１）
【特許文献２】特開２００１−６７４５９号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上の特許文献１記載の技術は、フレーム相関を用いて画像内の動きを検出している。従って、テレビジョン方式の映像信号のように周期的に繰り返す連続した複数の画像が必要になる。このため、カメラで撮影した場合のような連続しない画像データについて動き検出を適用することはできない。
【０００６】
また、以上の特許文献２記載の技術も、連続した２フレームの画像データを比較して、瞬きなどの画像内の動きを検出している。このため、テレビジョン方式の映像信号のように周期的に繰り返す連続した複数フレームの画像が必要になる。さらに、特許文献２の明細書内に「２フレーム目以降で撮影者が希望とする顔状態になった時点で撮影を完了することができる。」と記載されているように、１フレームのみの画像データで判定をすることはできない問題があった。
【０００７】
以上のように、いずれの特許文献でも、テレビジョン方式の映像信号のような複数フレームの連続した画像データが必要であり、さらに、複数フレームの比較が必要であり、この結果、ランダムなタイミングでカメラで撮影した場合のような連続しない不連続な画像データ同士の比較・判定は行えないという問題を有していた。
【０００８】
本発明は上記の従来技術における問題に鑑みてなされたものであって、
複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能な顔画像撮影装置および顔画像判定装置ならびに顔画像判定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
すなわち、前記した課題は、以下に列記する各発明によって解決される。
（１）請求項１記載の発明は、インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成して出力する撮像部と、前記撮像部で生成された顔画像の画像データの所定の部位における特定のパターンを検出するパターン検出部と、前記パターン検出部での検出結果に基づいて顔画像の良否判定を行う判定部と、を有する
（２）請求項２記載の発明は、（１）の顔画像撮影装置において、前記顔画像の所定の部位を認識する部位認識部を備え、前記部位認識部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位を検出する、ことを特徴とする。
【００１０】
（３）請求項３記載の発明は、（１）または（２）の顔画像撮影装置において、前記パターン検出部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位における特定のパターンを検出する、ことを特徴とする。
【００１１】
（４）請求項４記載の発明は、（３）の顔画像撮影装置において、前記フィルタは、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタを備える、ことを特徴とする。
【００１２】
（５）請求項５記載の発明は、（１）〜（４）のいずれかの顔画像撮影装置において、前記判定部は、前記パターン検出部での検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する、ことを特徴とする。
【００１３】
（６）請求項６記載の発明は、（１）〜（５）のいずれかの顔画像撮影装置において、前記判定部での前記判定結果の良否に応じて前記画像データの出力可否を決定する選択手段と、を備え、前記選択手段は、記憶された複数の画像データに対して前記パターン検出部で前記検出が実行され、前記パターン検出部での前記複数の画像データに対する前記検出結果に応じて前記判定部で前記判定が実行された場合に、前記複数の画像データの前記判定結果に応じて、各画像データの出力可否を決定する、ことを特徴とする。
【００１４】
（７）請求項７記載の発明は、一連の複数の画像データを記憶する記憶部と、前記記憶部に記憶された画像データのいずれかで前記特定のパターンが検出された場合に、該特定パターンが発生する画素位置をパターン分布として作成するパターン分布作成部と、を備え、前記パターン検出部は、前記一連の複数の画像データの中の他の画像データに関して、前記パターン分布で示される画素位置でパターン検出を行う、ことを特徴とする請求項８乃至請求項１４のいずれかに記載の顔画像判定装置である。
【００１５】
（８）請求項８記載の発明は、インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成された画像データの供給を受ける信号入力部と、前記信号入力部に入力された顔画像の画像データの所定の部位における特定のパターンを検出するパターン検出部と、前記パターン検出部での検出結果に基づいて顔画像の良否判定を行う判定部と、を有する顔画像判定装置である。
【００１６】
（９）請求項９記載の発明は、インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成されたインタレース方式の映像信号の供給を受ける信号入力部と、前記信号入力部に入力された前記映像信号の奇数フィールドと偶数フィールドとから１フレームの画像データを生成するフレームデータ生成部と、前記フレームデータ生成部で生成された画像データの顔画像の所定の部位における特定のパターンを検出するパターン検出部と、前記パターン検出部での検出結果に基づいて顔画像の良否判定を行う判定部と、を有する顔画像判定装置である。
【００１７】
（１０）請求項１０記載の発明は、（７）または（８）の顔画像判定装置において、前記顔画像の所定の部位を認識する部位認識部を備え、前記部位認識部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位を検出する、ことを特徴とする。
【００１８】
（１１）請求項１１記載の発明は、（７）〜（９）のいずれかの顔画像判定装置において、前記パターン検出部は、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、前記フィルタにより信号値の変化により前記所定の部位を検出する、ことを特徴とする。
【００１９】
（１２）請求項１２記載の発明は、（１０）の顔画像判定装置において、前記フィルタは、前記撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタを備える、ことを特徴とする。
【００２０】
（１３）請求項１３記載の発明は、（７）〜（１１）のいずれかの顔画像判定装置において、前記判定部は、前記パターン検出部での検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する、ことを特徴とする。
【００２１】
（１４）請求項１４記載の発明は、（７）〜（１２）のいずれかの顔画像判定装置において、前記判定部での前記判定結果の良否に応じて前記画像データの出力可否を決定する選択手段と、を備え、前記選択手段は、記憶された複数の画像データに対して前記パターン検出部で前記検出が実行され、前記パターン検出部での前記複数の画像データに対する前記検出結果に応じて前記判定部で前記判定が実行された場合に、前記複数の画像データの前記判定結果に応じて、各画像データの出力可否を決定する、ことを特徴とする。
【００２２】
（１５）請求項１５記載の発明は、一連の複数の画像データを記憶する記憶部と、前記記憶部に記憶された画像データのいずれかで前記特定のパターンが検出された場合に、該特定パターンが発生する画素位置をパターン分布として作成するパターン分布作成部と、を備え、前記パターン検出部は、前記一連の複数の画像データの中の他の画像データに関して、前記パターン分布で示される画素位置でパターン検出を行う、ことを特徴とする請求項８乃至請求項１４のいずれかに記載の顔画像判定装置である。
【００２３】
（１６）請求項１６記載の発明は、インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成された画像データの供給を受ける入力ルーチンと、前記画像データの所定の部位における特定のパターンを検出する検出ルーチンと、前記検出ルーチンでの検出結果に基づいて顔画像の良否判定を行う判定ルーチンと、を有する顔画像判定プログラムである。
【発明の効果】
【００２４】
以上、説明したように、各請求項に記載された本発明によれば、以下のような効果が得られる。
（１）請求項１記載の顔画像撮影装置の発明では、インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成し、この顔画像の画像データの所定の部位における特定のパターンを検出し、この特定のパターンの検出結果に基づいて顔画像の良否判定を行う。
【００２５】
なお、所定の部位は顔画像の目の部位である。また、特定のパターンとは、目を開いた状態のフィールド画像と目を閉じたフィールド画像とによるフレーム画像に現れる縞模様のパターンである。もしくは、特定のパターンとは、目の開き具合の異なるフィールド画像によるフレーム画像に現れる縞模様のパターンである。ここで、縞模様は、インタレース方式の走査線方向に発生する。
【００２６】
すなわち、各画像データ内の所定の部位における特定のパターンの検出に基づいて顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【００２７】
（２）請求項２記載の発明では、（１）の顔画像撮影装置において、顔画像の所定の部位を認識する際に、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、フィルタにより信号値の変化により所定の部位を検出する。
【００２８】
ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって所定の部位の検出を行うようにしているため、顔画像の目の部位に、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００２９】
（３）請求項３記載の発明では、（１）または（２）の顔画像撮影装置において、所定の部位における特定のパターンを検出する際に、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、フィルタにより信号値の変化により所定の部位における特定のパターンを検出する。
【００３０】
ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって所定の部位における特定のパターンの検出を行うようにしているため、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００３１】
また、ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって、所定の部位の検出と、その所定の部位における特定のパターンの検出とを行うようにしているため、更に回路規模や削減しつつ、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００３２】
（４）請求項４記載の発明では、（３）の顔画像撮影装置において、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタにより信号値の変化により所定の部位を検出する。
【００３３】
ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって所定の部位における特定のパターンの検出を行うようにしているため、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００３４】
また、ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって、所定の部位の検出と、その所定の部位における特定のパターンの検出とを行うようにしているため、更に回路規模や削減しつつ、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００３５】
（５）請求項５記載の発明では、（１）〜（４）のいずれかの顔画像撮影装置において、顔画像の画像データの所定の部位における特定のパターンの検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する。
【００３６】
すなわち、各画像データ内の所定の部位における特定のパターンの検出結果である信号値を所定のしきい値と比較することで顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【００３７】
（６）請求項６記載の発明では、（１）〜（５）のいずれかの顔画像撮影装置において、記憶された複数の画像データに対して所定の部位における特定のパターンの検出を実行し、複数の画像データに対する検出結果に応じて判定部で判定を実行し、複数の画像データの判定結果の良否に応じて、各画像データの出力可否を決定する。
【００３８】
すなわち、各画像データ内の所定の部位における特定のパターンの検出に基づいて顔画像の良否判定を実行し、さらに、複数の画像データの判定結果の良否に応じて各画像データの出力可否を決定しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になり、複数の画像データのうちで何れを出力するかの選択も可能になる。
【００３９】
（７）請求項７記載の発明では、（１）〜（６）のいずれかの顔画像撮影装置において、一連の複数の画像データを記憶しておいて、記憶された一連の画像データのいずれかで前記特定のパターンが検出された場合に、該特定パターンが発生する画素位置をパターン分布として作成しておき、一連の複数の画像データの中の他の画像データに関して、パターン分布で示される画素位置でパターン検出を行う。
【００４０】
すなわち、瞬きが検出された画像データで瞬きの発生する位置をパターン分布として求めておき、そのパターン分布に関して、一連の画像データの残余の画像データに対してパターン検出を行うようにしているため、瞬きの前後のタイミングの一連の画像の中で瞬きが検出されないものを良質画像として判断するため、瞬きの含まれない良質画像を確実に検出することができるようになる。そして、さらに、被写体が瞬きした瞬間を検知・特定し、その瞬きをした画像データの特定パターンの分布によって両眼の部位を特定しておき、その特定された部位に関して、他の画像データの検出と判定とを行うようにしているため、瞬きの含まれない良質画像をより一層確実に検出することができるようになる。
【００４１】
（８）請求項８記載の顔画像判定装置の発明では、インタレース方式の駆動がなされる撮像素子で撮像することにより生成された画像データの供給を受けた場合に、この顔画像の画像データの所定の部位における特定のパターンを検出し、この特定のパターンの検出結果に基づいて顔画像の良否判定を行う。
【００４２】
なお、所定の部位は顔画像の目の部位である。また、特定のパターンとは、目を開いた状態のフィールド画像と目を閉じたフィールド画像とによるフレーム画像に現れる縞模様のパターンである。もしくは、特定のパターンとは、目の開き具合の異なるフィールド画像によるフレーム画像に現れる縞模様のパターンである。ここで、縞模様は、インタレース方式の走査線方向に発生する。
【００４３】
すなわち、各画像データ内の所定の部位における特定のパターンの検出に基づいて顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【００４４】
（９）請求項９記載の顔画像判定装置の発明では、インタレース方式の駆動がなされる撮像素子で顔を撮像することにより生成されたインタレース方式の映像信号の供給を受けた場合に、入力された映像信号の奇数フィールドと偶数フィールドとから１フレームの顔画像の画像データを生成し、この顔画像の画像データの所定の部位における特定のパターンを検出し、この特定のパターンの検出結果に基づいて顔画像の良否判定を行う。
【００４５】
なお、所定の部位は顔画像の目の部位である。また、特定のパターンとは、目を開いた状態のフィールド画像と目を閉じたフィールド画像とによるフレーム画像に現れる縞模様のパターンである。もしくは、特定のパターンとは、目の開き具合の異なるフィールド画像によるフレーム画像に現れる縞模様のパターンである。ここで、縞模様は、インタレース方式の走査線方向に発生する。
【００４６】
すなわち、各画像データ内の所定の部位における特定のパターンの検出に基づいて顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な映像信号や画像データ同士の判定も可能になる。
【００４７】
（１０）請求項１０記載の発明では、（７）または（８）の顔画像判定装置において、顔画像の所定の部位を認識する際に、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、フィルタにより信号値の変化により所定の部位を検出する。
【００４８】
ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって所定の部位の検出を行うようにしているため、顔画像の目の部位に、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００４９】
（１１）請求項１１記載の発明では、（７）〜（９）のいずれかの顔画像判定装置において、所定の部位における特定のパターンを検出する際に、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、フィルタにより信号値の変化により所定の部位を検出する。
【００５０】
ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって所定の部位における特定のパターンの検出を行うようにしているため、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００５１】
また、ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって、所定の部位の検出と、その所定の部位における特定のパターンの検出とを行うようにしているため、更に回路規模や削減しつつ、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００５２】
（１２）請求項１２記載の発明では、（１０）の顔画像判定装置において、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタにより信号値の変化により所定の部位を検出する。
【００５３】
ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって所定の部位における特定のパターンの検出を行うようにしているため、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００５４】
また、ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって、所定の部位の検出と、その所定の部位における特定のパターンの検出とを行うようにしているため、更に回路規模や削減しつつ、インタレース方式の走査線方向に発生する特定のパターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００５５】
（１３）請求項１３記載の発明では、（７）〜（１１）のいずれかの顔画像判定装置において、顔画像の画像データの所定の部位における特定のパターンの検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する。
【００５６】
すなわち、各画像データ内の所定の部位における特定のパターンの検出結果である信号値を所定のしきい値と比較することで顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【００５７】
（１４）請求項１４記載の発明では、（７）〜（１２）のいずれかの顔画像判定装置において、記憶された複数の画像データに対して所定の部位における特定のパターンの検出を実行し、複数の画像データに対する検出結果に応じて判定部で判定を実行し、複数の画像データの判定結果の良否に応じて、各画像データの出力可否を決定する。
【００５８】
すなわち、各画像データ内の所定の部位における特定のパターンの検出に基づいて顔画像の良否判定を実行し、さらに、複数の画像データの判定結果の良否に応じて各画像データの出力可否を決定しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になり、複数の画像データのうちで何れを出力するかの選択も可能になる。
【００５９】
（１５）請求項１５記載の発明は、（８）〜（１４）のいずれかの顔画像撮影装置において、一連の複数の画像データを記憶しておいて、記憶された一連の画像データのいずれかで前記特定のパターンが検出された場合に、該特定パターンが発生する画素位置をパターン分布として作成しておき、一連の複数の画像データの中の他の画像データに関して、パターン分布で示される画素位置でパターン検出を行う。
【００６０】
すなわち、瞬きが検出された画像データで瞬きの発生する位置をパターン分布として求めておき、そのパターン分布に関して、一連の画像データの残余の画像データに対してパターン検出を行うようにしているため、瞬きの前後のタイミングの一連の画像の中で瞬きが検出されないものを良質画像として判断するため、瞬きの含まれない良質画像を確実に検出することができるようになる。そして、さらに、被写体が瞬きした瞬間を検知・特定し、その瞬きをした画像データの特定パターンの分布によって両眼の部位を特定しておき、その特定された部位に関して、他の画像データの検出と判定とを行うようにしているため、瞬きの含まれない良質画像をより一層確実に検出することができるようになる。
【００６１】
（１６）請求項１６記載の顔画像判定プログラムの発明では、インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成し、この顔画像の画像データの所定の部位における特定のパターンを検出し、この特定のパターンの検出結果に基づいて顔画像の良否判定を行う。
【００６２】
なお、所定の部位は顔画像の目の部位である。また、特定のパターンとは、目を開いた状態のフィールド画像と目を閉じたフィールド画像とによるフレーム画像に現れる縞模様のパターンである。もしくは、特定のパターンとは、目の開き具合の異なるフィールド画像によるフレーム画像に現れる縞模様のパターンである。ここで、縞模様は、インタレース方式の走査線方向に発生する。
【００６３】
すなわち、各画像データ内の所定の部位における特定のパターンの検出に基づいて顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【発明を実施するための最良の形態】
【００６４】
以下、図面を参照して本発明の実施をするための最良の形態を詳細に説明する。
本発明の実施をするための最良の形態の顔画像撮影装置および顔画像判定装置ならびに顔画像判定プログラムの好適な実施形態について説明する。なお、これにより本発明の範囲が限定されるものではない。
【００６５】
〈第１の実施形態〉
全体構成：
図１に示される顔画像撮影装置１００は、各種身分証明書等に使用される顔写真を撮影するための顔画像撮影システムの主要部を構成するものである。ここでは、テレビジョン方式等の２：１インタレースの駆動がなされる撮像素子を有する撮像部で生成された映像信号または画像データが使用される。また、この顔画像撮影装置１００では、撮影された顔画像が瞬きなどの瞬間でないことが重要である。このため、顔画像撮影装置１００で撮影された顔画像が瞬きをしていないかを判定する機能を有している。
【００６６】
なお、ここでは、顔画像撮影装置１００を具体例にして本発明の第１の実施形態の説明を行うが、この顔画像撮影装置１００の内部で動作する制御プログラムが、顔画像判定プログラムである。
【００６７】
また、ここでは、顔画像撮影装置１００を具体例にして本発明の第１の実施形態の説明を行うが、撮影部が独立していて、外部の撮影部からの映像信号や画像データを受けて瞬き等の判定を行う顔画像判定装置も同様の動作を行う。
【００６８】
ここで、図１に示されるように、被写体２００の顔画像を撮影する顔画像撮影装置１００は、主要な構成要素として、制御部１０１、操作部１０２、表示部１０４、Ｉ／Ｏ１０６、照明部１１０、撮像部１２０、記憶部１３０、画像処理部１４０、を有している。なお、ここで、画像処理部１４０内に、部位認識部１５０、パターン検出部１６０、判定部１７０、選択部１８０、を有している。また、この図１では、電源部や各種バスなどの既知の回路構成については省略した状態で示している。
【００６９】
制御部１０１は、図示されないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）等により構成されており、ＲＯＭに記憶されている各種プログラムとの協働によって、顔画像撮影や顔画像判定（瞬き判定）についての各種制御や各種処理を実行する。
【００７０】
操作部１０２は、各種機能ボタン、各種つまみ、後述する表示部でのアイコン等により構成されており、使用者の操作に応じた操作信号を制御部１０１に対して出力する。あるいは、制御部１０１が操作部１０２における使用者の操作状態を読み取る。
【００７１】
表示部１０４は、液晶表示ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ElectroLuminescence）等のフラットパネルディスプレイにより構成され、制御部１０１の指示に基づいた各種状態表示、前述した操作部１０２での操作入力のためのアシスト表示、撮影された顔画像の表示などを行う。
【００７２】
Ｉ／Ｏ１０６は、制御部１０１からの制御信号を照明部１１０や撮像部１２０に適した信号形式に変換して伝達すると共に、撮影部１２０からの映像信号あるいは画像データを制御部１０１に伝達する。
【００７３】
照明部１１０は、Ｉ／Ｏ１０６を介して制御部１０１の制御を受けて、撮影時のトリガ信号のタイミングでストロボ光などにより被写体２００の顔を中心に適正露光になるように照明する照明部である。
【００７４】
撮影部１２０は、テレビジョン方式等の２：１インタレースの駆動がなされる撮像素子を有する撮像部であり、制御部１０１からの撮影のためのトリガ信号を受けて、２フィールドの映像信号から１フレームの画像データを生成し、この画像データを制御部１０１に送り出す。
【００７５】
記憶部１３０は、ＳＲＡＭ（Static Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性メモリ、又は、フラッシュメモリ等の不揮発性メモリにより構成される。なお、記憶部１３０は、顔画像撮影装置１００の各種設定データや、撮影された画像データなどを記憶する。
【００７６】
画像処理部１４０は、インタレース方式の駆動がなされる撮像素子を有する撮像部１２０で撮像することにより生成された顔画像の画像データについて、該画像データの所定の部位における特定のパターン（以下、特定パターン）を検出し、この特定パターンの検出結果に基づいて顔画像の良否判定を行う。
【００７７】
なお、この画像処理部１４０は、以下の各機能（部位認識、特定パターン検出、画像良否判定、出力可否選択）を有するものであり、制御部１０１と画像処理プログラムで構成することも可能であり、また、専用の画像処理プロセッサや画像処理回路などを用いることも可能である。
【００７８】
部位認識部１５０は、後述する特定パターンが現れる顔画像の画像データの所定の部位を認識する。ここで、所定の部位とは、顔画像における目の部位である。この部位認識は、パターンマッチングによる顔輪郭の認識の後に、両目のパターンマッチングによる認識によることが可能である。ただし、すくなくとも、後述する特定パターンが生じている場合に部位を認識できれば良いため、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって、所定の部位の検出を行うことが可能である。このようなフィルタを用いることで、少ない演算量の簡易な処理により高速に実行することができる。
【００７９】
パターン検出部１６０は、顔画像の画像データの所定の部位における特定パターンを検出する。ここで、所定の部位とは、顔画像の目の部位である。また、特定パターンとは、目を開いた状態のフィールド画像（図２（ａ））と目を閉じたフィールド画像（図２（ｂ））とによるフレーム画像（図２（ｃ））に現れる縞模様のパターンである。もしくは、特定パターンとは、目の開き具合の異なるフィールド画像（図２（ａ）と図２（ｂ））によるフレーム画像（図２（ｃ））に現れる縞模様のパターンである。ここで、縞模様は、白目とまぶたの部分、黒目とまぶたの部分のように、インタレース方式の走査線方向に発生する。
【００８０】
このパターン検出部１６０では、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタ１６１（図３参照）によって所定の部位における特定パターンの検出を行うことが可能である。このようなフィルタ１６１を用いることで、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【００８１】
図３は上述した、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素（図３では５画素）のフィルタ１６１の説明図である。ここでは、中心部分のａ３を注目画素として、その上側にａ２，ａ１を有し、下側にａ４，ａ５を有する合計５素子のものを具体例にしている。検出すべき特定パターンは図２（ｃ）のようなものであり、２画素ずつの白・黒、あるいは、明・暗、の状態になるため、少なくとも３画素で、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタにより検出可能である。
【００８２】
判定部１７０は、上述したパターン検出部１６０での特定パターンの有無、特定パターンの強度（横縞明暗差）、瞬き度などに応じて、顔画像の良否判定を行う。ここで、特定パターンの強度とは、上述したフィルタ１６１でのフィルタ処理における注目画素の差の絶対値Ｃを意味している。また、各画像データ内で、横縞エリア画素総数Ｄ、横縞明暗差Ｅ（＝特定パターンと検出された各画素の明暗差の総和／横縞画素総数Ｄ）、瞬き度Ｆ（＝横縞明暗差Ｅ×横縞総画素数Ｄ）を求める。
【００８３】
選択部１８０は、上述した判定部１７０での判定結果に応じた各画像データの出力可否決定、上述した判定部１７０での判定結果に応じた複数画像データにおける最良画像の決定、出力可否の決定などを行う。なお、以上の判定部１７０での判定と選択部１８０での選択とは、連続して撮影された一連の画像データ同士の判定や選択だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定や選択も可能である。
【００８４】
動作：
以下、図４に示すフローチャートを参照しつつ、第１の実施形態の顔画像撮影装置１００の動作説明を行う。
【００８５】
ここで、制御部１０１は、操作部１０２への操作入力を監視しており、操作部１０２でのレリーズボタンに相当するボタンあるいはアイコンの操作に応じて、Ｉ／Ｏ１０６を介して照明部１１０と撮像部１２０とに、撮影のためのトリガ信号を供給する。
【００８６】
このトリガ信号に応じて、照明部１１０は被写体２００の顔部分を照明する。また、このトリガ信号に応じて撮像部１２０は撮影を行い、インタレースの駆動がなされる撮像素子により２フィールドの映像信号から１フレームの画像データを生成し、この画像データをＩ／Ｏ１０６を介して制御部１０１に送り出す。そして、記憶部１３０は、トリガ信号に応じて撮像部１２０で生成された画像データを所定の記憶エリアに格納する（図４Ｓ１）。なお、撮像部１２０での撮影による画像データの生成と、記憶部１３０での画像データの格納とを、瞬きなどによる不良画像の発生に配慮して、同一被写体に対して予め定めた所定複数枚数（たとえば、１０枚）繰り返しておく（図４Ｓ２、Ｓ１）。
【００８７】
そして、以上の撮像部１２０での撮影による画像データの生成と、記憶部１３０での画像データの格納とを、所定複数枚数（たとえば、１０枚）繰り返した時点で、以下の顔画像の良否判定、すなわち、瞬きの有無などの検出による判定を行う。まず、制御部１０１は、複数記憶されている画像データの中から良否判定を行う画像データを特定する（図４Ｓ３）。ここでは、制御部１０１が、まず、１０枚の画像データの１枚目を良否判定の対象として特定する。
【００８８】
ここで、良否判定の対象として特定された画像データに対して、部位認識部１５０が
、瞬き時に発生する図２（ｃ）に示した特定パターンが現れる顔画像の画像データの所定の部位（顔画像における両眼の部位）を、パターン検出に先立ち、認識しておく（図４Ｓ４）。
【００８９】
この部位認識部１５０における所定の部位の認識は、パターンマッチングによる顔輪郭の認識の後に、両目のパターンマッチングによる認識によることが可能である。ただし、少なくとも、後述する特定パターンが生じている場合に部位を認識できれば良いため、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって、所定の部位の検出を行うことが可能である。このようなフィルタを用いることで、少ない演算量の簡易な処理により高速に実行することができる。
【００９０】
以上の所定の部位認識が完了した後、部位認識により両眼部分であると認識された部位において、制御部１０１の指示により指定（図４Ｓ５）された注目画素について、パターン検出部１６０がフィルタ処理（図４Ｓ６）により特定パターンである横縞模様（図２（ｃ））を検出する（図４Ｓ７）。ここで、注目画素は、両眼部として認識された部位の範囲内で、アドレスの小さい画素から順に、制御部１０１が指定する。
【００９１】
このパターン検出部１６０では、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタ１６１（図３参照）によって、以上の注目画素を中心にしてフィルタ処理を実行する。
【００９２】
ここで、このフィルタ１６１が図３に示すａ１〜ａ５の５素子のフィルタである場合、各素子の信号値をＡ１〜Ａ５とすると、Ａ１−Ａ２＞Ｂ、かつ、Ａ３−Ａ２＞Ｂ、かつ、Ａ３−Ａ４＞Ｂ、かつ、Ａ５−Ａ４＞Ｂ、であれば、明・暗・明・暗・明の横縞が存在していることになる。一方、このフィルタ１６１がＡ１〜Ａ５の５素子のフィルタである場合、Ａ２−Ａ１＞Ｂ、かつ、Ａ２−Ａ３＞Ｂ、かつ、Ａ４−Ａ３＞Ｂ、かつ、Ａ４−Ａ５＞Ｂ、であれば、暗・明・暗・明・暗の横縞が存在していることになる。ここで、Ｂは０としても良いが、画像データに含まれるノイズ成分によって異なる値を定めてもよい。
【００９３】
ここで、判定部１７０は、以上の注目画素において上述したパターン検出部１６０で特定パターンが検出された場合、まず、特定パターンの強度（横縞明暗差）を算出する（図４Ｓ８）。
【００９４】
ここで、特定パターンの強度とは、上述したフィルタ１６１でのフィルタ処理における注目画素の差の絶対値Ｃを意味しており、Ｃ＝｛（Ａ１−Ａ２）−（Ａ２−Ａ３）＋（Ａ３−Ａ４）−（Ａ４−Ａ５）｝／４、と表すことができる。また、各画像データ内で、横縞エリア画素総数Ｄの初期値を０としておいて、上述したフィルタ１６１によって注目画素が横縞エリアであると検出される毎にＤを＋１する。また、判定部１７０は、横縞明暗差Ｅとして、Ｅ＝特定パターンと検出された各画素の明暗差の総和／横縞画素総数Ｄ、瞬き度Ｆとして、Ｆ＝横縞明暗差Ｅ×横縞総画素数Ｄ、とを求めておく。
【００９５】
そして、注目画素について判定部１７０にて差の絶対値Ｃと画素総数Ｄの演算が完了した時点で、制御部１０１は注目画素を、認識されている部位内の隣接画素に割り当て（図４Ｓ１０）、以上のフィルタ処理（図４Ｓ６）、特定パターンの検出（図４Ｓ７）、差の絶対値Ｃと画素総数Ｄの演算と横縞明暗差Ｅの算出と瞬き度Ｆの算出（図４Ｓ８）とを、認識された部位内の全画素について完了するまで処理を続けさせる（図４Ｓ９）。
【００９６】
また、以上のように、画像内の認識された部位内の全画素についての、フィルタ処理（図４Ｓ６）、特定パターンの検出（図４Ｓ７）、差の絶対値Ｃと画素総数Ｄの演算と横縞明暗差Ｅの算出と瞬き度Ｆの算出（図４Ｓ８）とが１枚目の画像データについて完了した時点で、制御部１０１は、複数記憶されている画像データの中から、次に良否判定を行う画像データを特定する（図４Ｓ１２、Ｓ３）。すなわち、制御部１０１の指示により、記憶部１３０に格納されている所定複数枚数（たとえば、１０枚）の全ての画像データについて、同様の良否判定を実行しておく。
【００９７】
記憶部１３０に格納されている一連の撮影の全画像データについて、良否判定（画像内の認識された部位内の全画素についての、フィルタ処理（図４Ｓ６）、特定パターンの検出（図４Ｓ７）、Ｃ〜Ｆの算出の演算（図４Ｓ８））が完了した時点で、制御部１０１の指示に基づいて選択部１８０は、上述した判定部１７０での判定結果に応じた各画像データの出力可否決定、あるいは、上述した判定部１７０での判定結果に応じた複数画像データにおける最良画像の決定などを行う（図４Ｓ１３）。
【００９８】
この場合、選択部１８０あるいは制御部１０１は、瞬き度Ｆが最小となっている画像データを最良の画像データ（最良画像データ）として、出力可のフラグを当該画像データに付与する。また、選択部１８０あるいは制御部１０１は、瞬き度Ｆが所定のしきい値以下となっている画像データを程度良の画像データ（良質画像データ）として、出力可のフラグを当該画像データに付与する。また、選択部１８０あるいは制御部１０１は、瞬き度Ｆが所定のしきいより大きい画像データを不良の画像データとして、出力不可のフラグを当該画像データに付与する。
【００９９】
第１実施形態により得られる効果：
以上のような動作の第１実施形態によれば、以下に列記するような効果を得ることができる。
【０１００】
（１−１）この実施形態では、インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成し、この顔画像の画像データの所定の部位における特定パターンを検出し、この特定パターンの検出結果に基づいて顔画像の良否判定を行っている。これにより、各画像データ内の所定の部位における特定パターンの検出に基づいて顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【０１０１】
（１−２）この実施形態では、（１−１）の顔画像撮影装置において、顔画像の所定の部位を認識する際に、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、フィルタにより信号値の変化により所定の部位を検出する。すなわち、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって所定の部位の検出を行うようにしているため、顔画像の目の部位に、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【０１０２】
（１−３）この実施形態では、（１−１）または（１−２）の顔画像撮影装置において、所定の部位における特定パターンを検出する際に、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタを備え、フィルタにより信号値の変化により所定の部位における特定パターンを検出している。
【０１０３】
（１−３-1）ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって所定の部位における特定パターンの検出を行うようにしているため、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【０１０４】
（１−３-2）また、ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタによって、所定の部位の検出と、その所定の部位における特定パターンの検出とを行うようにしているため、更に回路規模や削減しつつ、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【０１０５】
（１−４）の実施形態では、（１−３）の顔画像撮影装置において、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタにより信号値の変化により所定の部位を検出している。
【０１０６】
（１−４-1）ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって所定の部位における特定パターンの検出を行うようにしているため、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【０１０７】
（１−４-2）ここでは、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタによって、所定の部位の検出と、その所定の部位における特定パターンの検出とを行うようにしているため、更に回路規模や削減しつつ、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【０１０８】
（１−５）この実施形態では、（１−１）〜（１−４）のいずれかの顔画像撮影装置において、顔画像の画像データの所定の部位における特定パターンの検出結果を所定のしきい値と比較し、信号値の変化がしきい値以下の画像データを良と判定する。すなわち、各画像データ内の所定の部位における特定パターンの検出結果である信号値を所定のしきい値と比較することで顔画像の良否判定を実行しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になる。
【０１０９】
（１−６）この実施形態では、（１−１）〜（１−５）のいずれかの顔画像撮影装置において、記憶された複数の画像データに対して所定の部位における特定パターンの検出を実行し、複数の画像データに対する検出結果に応じて判定部で判定を実行し、複数の画像データの判定結果の良否に応じて、各画像データの出力可否を決定する。すなわち、各画像データ内の所定の部位における特定パターンの検出に基づいて顔画像の良否判定を実行し、さらに、複数の画像データの判定結果の良否に応じて各画像データの出力可否を決定しているため、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も可能になり、複数の画像データのうちで何れを出力するかの選択も可能になる。
【０１１０】
〈第２の実施形態〉
この第２の実施形態は図５に示される顔画像撮影装置３００により実現される。すなわち、各種身分証明書等に使用される顔写真を撮影するための顔画像撮影システムの主要部を構成する顔画像撮影装置３００であり、テレビジョン方式等の２：１インタレースの駆動がなされる撮像素子を有する撮像部で生成された画像データが使用される。
【０１１１】
また、この顔画像撮影装置３００では、撮影された顔画像が瞬きなどの瞬間でないことが重要である。このため、顔画像撮影装置３００で撮影された顔画像が瞬きをしていないかを判定する機能を有している。
【０１１２】
なお、ここでは、図５の顔画像撮影装置３００を具体例にして本発明の第２の実施形態の説明を行うが、この顔画像撮影装置３００の内部で動作する制御プログラムが、顔画像判定プログラムの第２の実施形態に相当する。また、ここでは、顔画像撮影装置３００を具体例にして本発明の第２の実施形態の説明を行うが、撮影部が独立していて、外部の撮影部からの映像信号や画像データを受けて瞬き等の判定を行う顔画像判定装置も同様の動作を行う。
【０１１３】
なお、この第２の実施形態では、後述するように、被写体が瞬きした瞬間を検知・特定し、その前後のタイミングの一連の画像の中で瞬きが検出されないものを良質画像として判断することを特徴としている。
【０１１４】
全体構成：
ここで、図５に示されるように、被写体２００の顔画像を撮影する顔画像撮影装置３００は、主要な構成要素として、制御部３０１、操作部３０２、表示部３０４、Ｉ／Ｏ３０６、照明部３１０、撮像部３２０、記憶部３３０、画像処理部３４０、を有している。なお、ここで、画像処理部３４０内に、パターン検出部３６０、パターン分布作成部３６５、判定部３７０、選択部３８０、を有している。また、この図５では、電源部や各種バスなどの既知の回路構成については省略した状態で示している。
【０１１５】
制御部３０１は、図示されないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）等により構成されており、ＲＯＭに記憶されている各種プログラムとの協働によって、顔画像撮影や顔画像判定（瞬き判定）についての各種制御や各種処理を実行する。
【０１１６】
操作部３０２は、各種機能ボタン、各種つまみ、後述する表示部でのアイコン等により構成されており、使用者の操作に応じた操作信号を制御部３０１に対して出力する。あるいは、制御部３０１が操作部３０２における使用者の操作状態を読み取る。
【０１１７】
表示部３０４は、液晶表示ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ElectroLuminescence）等のフラットパネルディスプレイにより構成され、制御部３０１の指示に基づいた各種状態表示、前述した操作部３０２での操作入力のためのアシスト表示、撮影された顔画像の表示などを行う。
【０１１８】
Ｉ／Ｏ３０６は、制御部３０１からの制御信号を照明部３１０や撮像部３２０に適した信号形式に変換して伝達すると共に、撮像部３２０からの映像信号あるいは画像データを制御部３０１に伝達する。
【０１１９】
照明部３１０は、Ｉ／Ｏ３０６を介して制御部３０１の制御を受けて、撮影時のトリガ信号のタイミングでストロボ光などにより被写体２００の顔を中心に適正露光になるように照明する照明部である。
【０１２０】
撮像部３２０は、テレビジョン方式等の２：１インタレースの駆動がなされる撮像素子を有する撮像部であり、制御部３０１からの撮影のためのトリガ信号を受けて、２フィールドの映像信号から１フレームの画像データを生成し、この画像データを制御部３０１に送り出す。
【０１２１】
記憶部３３０は、ＳＲＡＭ（Static Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性メモリ、又は、フラッシュメモリ等の不揮発性メモリにより構成される。なお、記憶部３３０は、顔画像撮影装置３００の各種設定データや、撮影された画像データなどを記憶する。
【０１２２】
画像処理部３４０は、インタレース方式の駆動がなされる撮像素子を有する撮像部３２０で撮像することにより生成された顔画像の画像データについて、該画像データの所定の部位における特定パターンを検出し、この特定パターンの検出結果に基づいて顔画像の良否判定を行う。
【０１２３】
なお、この画像処理部３４０は、以下の各機能（特定パターン検出、パターン分布作成、画像良否判定、出力可否選択）を有するものであり、制御部３０１と画像処理プログラムで構成することも可能であり、また、専用の画像処理プロセッサや画像処理回路などを用いることも可能である。
【０１２４】
パターン検出部３６０は、顔画像の画像データの所定の部位における特定パターンを検出する。ここで、所定の部位とは、顔画像の目（両眼）の部位である。また、特定パターンとは、目を開いた状態のフィールド画像（図２（ａ））と目を閉じたフィールド画像（図２（ｂ））とによるフレーム画像（図２（ｃ））に現れる縞模様のパターンである。もしくは、特定パターンとは、目の開き具合の異なるフィールド画像（図２（ａ）と図２（ｂ））によるフレーム画像（図２（ｃ））に現れる縞模様のパターンである。ここで、縞模様は、白目とまぶたの部分、黒目とまぶたの部分のように、インタレース方式の走査線方向に発生する。
【０１２５】
このパターン検出部３６０では、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素のフィルタ１６１（図３参照）によって所定の部位における特定パターンの検出を行うことが可能である。このようなフィルタ１６１を用いることで、インタレース方式の走査線方向に発生する特定パターン（縞模様）を、少ない演算量の簡易な処理により高速に実行することができ、複数フレームの連続した画像データを必要とせず、顔画像の良否判定を行う際に、各画像データ毎に１フレームの画像データで判定が可能であり、連続して撮影された一連の画像データ同士の判定だけでなく、ランダムなタイミングで撮影された不連続な画像データ同士の判定も確実に実行することが可能になる。
【０１２６】
図３は上述した、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向の少なくとも３画素（図３では５画素）のフィルタ１６１の説明図である。ここでは、中心部分のａ３を注目画素として、その上側にａ２，ａ１を有し、下側にａ４，ａ５を有する合計５素子のものを具体例にしている。検出すべき特定パターンは図２（ｃ）のようなものであり、２画素ずつの白・黒、あるいは、明・暗、の状態になるため、少なくとも３画素で、撮像素子のインタレース方式の駆動方向とは直交する方向の１次元方向のフィルタにより検出可能である。
【０１２７】
パターン分布作成部３６５は、以上のパターン検出部３６０での検出結果を参照し、特定パターンが現れる顔画像の画像データの部位のパターン分布を生成する。ここで、特定パターンが現れる部位とは、顔画像における両眼の部位である。すなわち、画像データに含まれる特定パターンの画素の位置データをパターン分布として生成する。
【０１２８】
判定部３７０は、上述したパターン分布作成部３６５でいずれかの画像データから作成されたパターン分布に示される画素位置に関して、他の画像データでの特定パターンの強度（横縞明暗差）、瞬き度などを求めて、顔画像の良否判定を行う。
【０１２９】
ここで、特定パターンの強度とは、上述したフィルタ１６１でのフィルタ処理における注目画素の差の絶対値Ｃを意味している。また、各画像データ内で、横縞エリア画素総数Ｄ、横縞明暗差Ｅ（＝特定パターンと検出された各画素の明暗差の総和／横縞画素総数Ｄ）、瞬き度Ｆ（＝横縞明暗差Ｅ×横縞総画素数Ｄ）を求める。
【０１３０】
なお、この第２の実施形態では、所定枚数の一連の画像データのいずれかの、このフィルタ処理による特定パターンの分布が存在する部位について、他の画像データについても同じ部位について瞬き度Ｆの判定を実行することを特徴としている。
【０１３１】
選択部３８０は、上述した判定部３７０での判定結果に応じた各画像データの出力可否決定、上述した判定部３７０での判定結果に応じた複数画像データにおける良質画像の決定などを行う。
【０１３２】
動作：
以下、図６に示すフローチャートを参照しつつ、第２の実施形態の顔画像撮影装置３００の動作説明を行う。
【０１３３】
ここで、制御部３０１は、操作部３０２への操作入力を監視しており、操作部３０２でのレリーズボタンに相当するボタンあるいはアイコンの操作に応じて、Ｉ／Ｏ３０６を介して照明部３１０と撮像部３２０とに、撮影のためのトリガ信号を供給する。
【０１３４】
このトリガ信号に応じて、照明部３１０は被写体２００の顔部分を照明する。また、このトリガ信号に応じて撮像部３２０は撮影を行い、インタレースの駆動がなされる撮像素子により２フィールドの映像信号から１フレームの画像データを生成し、この画像データをＩ／Ｏ３０６を介して制御部３０１に送り出す。そして、記憶部３３０は、トリガ信号に応じて撮像部３２０で生成された画像データを所定の記憶エリアに格納する。
【０１３５】
ここで、撮像部３２０での撮影による画像データの生成と、記憶部３３０での画像データの格納とを、瞬きなどによる不良画像の発生に配慮して、同一被写体に対して予め定めた所定複数枚数（たとえば、１０枚）繰り返しておく（図６Ｓ１）。
【０１３６】
なお、この第２の実施形態では、被写体が瞬きした瞬間を検知・特定し、その前後のタイミングの一連の画像の中で瞬きが検出されないものを良質画像として判断することを特徴としている。このため、同一被写体に関して一定の時間内に所定複数枚の撮影を行うようにしているが、この複数画像データはフレームレート（１／３０秒毎など）の連続したフレーム画像である必要はなく、０．５秒毎あるいは１秒毎などの不連続のタイミングで複数撮影された一連の画像データあっても問題はない。
【０１３７】
ここで、制御部３０１は、パターン検出部３６０とパターン分布作成部３６５とに指示を与え、所定枚数の一連の画像データのいずれかについて、フィルタ処理を実行し（図６Ｓ４）、注目画素が特定パターンであれば（図６Ｓ５でＹ）その注目画素の座標（位置データ）とフィルタ結果とを記憶部３３０に記憶し（図６Ｓ６）、以上の処理を画像データの全領域について実行し（図６Ｓ３でＹ）、特定パターンの分布を作成する（図６Ｓ７）。
【０１３８】
そして、判定部３７０は以上の特定パターンの分布をクラスタリングし（図６Ｓ８）、両眼であるかを判定するため、同一画像内に近似した２つのエリアが存在しているかを判定する（図６Ｓ９）。画像データ内に近似した２つの特定パターンの分布が存在しなければ（図６Ｓ９でＮ）、他の画像データについて同様な処理を実行する。
【０１３９】
なお、所定枚数の一連の画像データの全てで２つの特定パターンの分布が存在しなければ（図６Ｓ１０でＮ）、制御部３０１の制御により、撮像部３２０で新たに所定枚数の一連の画像の撮影を実行し、記憶部３３０に格納する（図６Ｓ１）。
【０１４０】
ここで、所定枚数の一連の画像データの全てで２つの特定パターンの分布が存在しな場合（図６Ｓ１０でＮ）は、一連の画像データの全てが良質画像である可能性もあるが、特定パターンの検出の失敗、片目だけの瞬きの検出、画像データの中心付近に顔が入っていない、など各種の可能性があるため、念のため、一連の画像データを破棄すると共に、撮像部３２０で新たに所定枚数の一連の画像の撮影を実行し、記憶部３３０に格納する（図６Ｓ１）。
【０１４１】
また、所定枚数の一連の画像データのいずれかで、２つの特定パターンの分布が存在すれば（図６Ｓ１０でＹ）、制御部３０１の制御により、この２つの特定パターンの分布が瞬きをしている瞬間の画像であるので、この画像以外の他の画像データに対して、判定部３７０が瞬き度Ｆの算出を行う（図６Ｓ１１）。
【０１４２】
さらに、判定部３７０は、以上のようにして算出した瞬き度Ｆについて、所定のしきい値との比較を行う（図６Ｓ１２）。そして、瞬き度Ｆがしきい値未満でなければ（図６Ｓ１２でＮ）、判定部３７０は、一連の画像データの中のさらに他の画像データについて、同様に瞬き度Ｆの算出（図６Ｓ１１）と比較（図６Ｓ１２）とを実行する。
【０１４３】
ここで、一連の画像データの中の検索すべき全ての画像データで瞬き度Ｆがしきい値未満でなければ（図６Ｓ１２でＮ）、全ての画像データで瞬きの状態で撮影されたことを意味しているので、制御部３０１の制御により、瞬き度Ｆが条件を満たさなかった一連の画像データを破棄すると共に、撮像部３２０で新たに所定枚数の一連の画像の撮影を実行し、記憶部３３０に格納する（図６Ｓ１）。
【０１４４】
また、ここで、一連の画像データの中のいずれかの画像データで瞬き度Ｆがしきい値未満になれば（図６Ｓ１２でＮ）、瞬きではない状態で撮影されたことを意味しているので、制御部３０１は、その画像データを良質画像と判断し（図６Ｓ１３）、良質画像であることを示すフラグを当該画像データに付与し、この処理を終了する。なお、残りの一連の画像データについて同様の瞬き度Ｆの算出と比較とを実行して、瞬き度Ｆが最小となる最良画像を求めるようにしてもよい。
【０１４５】
第２実施形態により得られる効果：
以上のような動作の第２実施形態によれば、インタレース方式の駆動がなされる撮像素子で撮像することにより画像データを生成し、この顔画像の画像データの所定の部位における特定パターンを検出し、この特定パターンの検出結果に基づいて顔画像の良否判定を行うことにより得られる効果（第１実施形態参照）に加え、さらに、以下に列記するような効果を得ることができる。
【０１４６】
（２−１）この第２の実施形態では、被写体が瞬きした瞬間を検知・特定し、その前後のタイミングの一連の画像の中で瞬きが検出されないものを良質画像として判断するため、瞬きの含まれない良質画像を確実に検出することができるようになる。
【０１４７】
（２−２）この第２の実施形態では、被写体が瞬きした瞬間を検知・特定し、その瞬きをした画像データの特定パターンの分布によって両眼の部位を特定しておき、その特定された部位に関して、他の画像データの検出と判定とを行うようにしているため、瞬きの含まれない良質画像をより一層確実に検出することができるようになる。
【０１４８】
〈その他の実施形態〉
なお、以上の第１実施形態の具体例では、顔画像撮影装置１００を具体例にしたが、撮影部が独立していて、外部の撮影装置あるいは画像記憶装置からの映像信号や画像データを受けて瞬き等の判定を行う顔画像判定装置や顔画像判定プログラムでも、上述した第１実施形態の場合と同様の効果を得ることができる。
【０１４９】
なお、以上の第２実施形態の具体例では、顔画像撮影装置３００を具体例にしたが、撮影部が独立していて、外部の撮影部あるいは画像記憶装置からの映像信号や画像データを受けて瞬き等の判定を行う顔画像判定装置や顔画像判定プログラムでも、上述した第２実施形態の場合と同様の効果を得ることができる。
【図面の簡単な説明】
【０１５０】
【図１】本発明の第１実施形態の顔画像撮影装置の概略構成を示すブロック図である。
【図２】本発明の実施形態において瞬きの検出に用いられる特定パターンの発生の様子を示す説明図である。
【図３】本発明の実施形態において瞬きの検出に用いられる特定パターンを検出する際に使用されるフィルタを示す説明図である。
【図４】本発明の第１実施形態の顔画像撮影装置の動作状態を示すフローチャートである。
【図５】本発明の第２実施形態の顔画像撮影装置の概略構成を示すブロック図である。
【図６】本発明の第２実施形態の顔画像撮影装置の動作状態を示すフローチャートである。
【符号の説明】
【０１５１】
１００  顔画像撮影装置
１０１  制御部
１１０  照明部
１２０  撮像部
１３０  記憶部
１４０  画像処理部
１５０  部位検出部
１６０  パターン検出部
１７０  判定部
１８０  選択部
【図１】
2006166348.tif 000003
【図３】
2006166348.tif 000004
【図４】
2006166348.tif 000005
【図５】
2006166348.tif 000006
【図６】
2006166348.tif 000007
【図２】
2006166348.tif 000008