(57)【要約】【課題】  顔領域の画質判定を容易に行うことができ、かつカメラ側の演算負荷が少ない電子カメラを提供する。【解決手段】  被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替えるモード切替部と、前記第１の画像処理モードで前記撮影画像データから顔領域を抽出する顔認識部と、前記顔領域の空間周波数成分を解析する空間周波数解析部と、画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、を有することを特徴とする。【選択図】  図１
2006180078.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、
前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替えるモード切替部と、
前記撮影画像データにおける顔領域を抽出する顔認識部と、
前記顔領域を解析する顔領域解析部と、
前記第１の画像処理モードで前記顔領域解析部の解析結果に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、
を有することを特徴とする電子カメラ。
【請求項２】
被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、
前記撮影画像データにおける顔領域を抽出する顔認識部と、
前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する空間周波数解析部と、
前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替えるモード切替部と、
前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、
を有することを特徴とする電子カメラ。
【請求項３】
撮影時または再生時において前記撮影画像データが特殊画像データである旨をカメラ使用者に通知する通知手段をさらに有することを特徴とする請求項１または請求項２に記載の電子カメラ。
【請求項４】
記録媒体を接続するコネクタと、前記撮影画像データを前記記録媒体に記録する制御部と、をさらに有し、
前記制御部は、前記記録媒体の記録対象から前記特殊画像データを除外することを特徴とする請求項１または請求項２に記載の電子カメラ。
【請求項５】
前記画像処理部は、前記特殊画像データの顔領域に画像の粒状感を低下させる補正処理を施すことを特徴とする請求項１または請求項２に記載の電子カメラ。
【請求項６】
前記顔認識部は前記特殊画像データの顔領域において所定の顔パーツを抽出し、
前記画像処理部は前記顔パーツの領域を前記補正処理の対象から除外することを特徴とする請求項５に記載の電子カメラ。
【請求項７】
前記画像処理部の前記補正処理は、前記顔領域の境界部分近傍では画像の粒状感が高く、前記顔領域の内側では前記境界部分よりも画像の粒状感が低下する重み付けがされていることを特徴とする請求項５または請求項６に記載の電子カメラ。
【請求項８】
被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、
前記撮影画像データにおける顔領域を抽出する顔認識部と、
前記画像信号のゲイン設定およびシャッタ秒時の少なくとも一方を変化させて複数回の撮影を行う制御部と、
前記撮影画像データにおける前記顔領域の空間周波数成分を解析し、画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、複数回の撮影において前記画質が最も高い撮影画像データを検出する顔画質判定部と、
を有することを特徴とする電子カメラ。
【請求項９】
電子カメラで生成された画像データと、前記電子カメラの撮影条件のパラメータを示す付加データとを含む画像ファイルを読み込んで、前記画像データを加工する画像処理装置であって、
前記画像ファイルを読み込む読込部と、
前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替えるモード切替部と、
前記画像データにおける顔領域を抽出する顔認識部と、
前記顔領域を解析する顔領域解析部と、
前記第１の画像処理モードで前記顔領域解析部の解析結果に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、
を有することを特徴とする画像処理装置。
【請求項１０】
電子カメラで生成された画像データと、前記電子カメラの撮影条件のパラメータを示す付加データとを含む画像ファイルを読み込んで、前記画像データを加工する画像処理プログラムであって、
前記画像ファイルを読み込む手順と、
前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替える手順と、
前記画像データにおける顔領域を抽出する手順と、
前記顔領域を解析する手順と、
前記第１の画像処理モードで前記顔領域の解析結果に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する手順と、
をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
電子カメラで生成された画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理装置であって、
前記画像ファイルを読み込む読込部と、
前記画像データから顔領域を抽出する顔認識部と、
前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する空間周波数解析部と、
前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替えるモード切替部と、
前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、
を有することを特徴とする画像処理装置。
【請求項１２】
電子カメラで生成された画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理プログラムであって、
前記画像ファイルを読み込む手順と、
前記画像データから顔領域を抽出する手順と、
前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する手順と、
前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替える手順と、
前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する手順と、
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を光電変換して画像データを生成する電子カメラについて、特に顔認識機能により撮影画像の顔領域の画質を判断しうる電子カメラに関する。
【背景技術】
【０００２】
近年、撮像素子によって被写体像を電子的に記録する電子カメラが急速に普及しつつある。かかる電子カメラでは、撮影条件によっては撮影画像に粒状感が生じて見映えが悪くなることがある。特に被写体が人物である場合には撮影画像の顔部分は高い画質であることが求められ、撮影画像の顔部分に粒状感があると撮影失敗とみなされることも少なくない。
【０００３】
一方、特許文献１には画像データから顔を認識してカラーバランスを顔の存在に関連付けることで良好な撮影画像を得る電子カメラが開示されている。
【特許文献１】特開２００１−３０９２２５号公報  ［００３４］
【発明の開示】
【発明が解決しようとする課題】
【０００４】
電子カメラの撮影画像は半導体メモリ等の記録媒体などに記録される。そして、上記のような顔部分に粒状感のある撮影画像を削除またはＰＣ上で修正処理する場合には、ユーザは多数の撮影画像を逐一確認しなければならず多大な労力を強いられる。
ところで、撮影画像の粒状感は撮影画像に含まれる空間周波数成分の高周波成分がノイズとして現れることに起因する。そのため、撮影画像の空間周波数を解析すれば顔領域の画質判定の自動化は十分可能である。一方、顔領域の画質判定はコンピュータ等の演算負荷も大きいので、例えば手ぶれした画像などについては画質判定の対象から除外することが好ましい。
【０００５】
なお、上記特許文献１の技術では、顔認識の結果を肌の色調補正に適用しうる旨を示唆しているにすぎず、上記問題を何ら解決するものではない。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔領域の画質判定を容易に行うことができ、かつカメラ側の演算負荷が少ない電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
第１の発明に係る電子カメラは、被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替えるモード切替部と、前記撮影画像データにおける顔領域を抽出する顔認識部と、前記顔領域を解析する顔領域解析部と、前記第１の画像処理モードで前記顔領域解析部の解析結果に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、を有することを特徴とする。
【０００７】
第２の発明に係る電子カメラは、被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、前記撮影画像データにおける顔領域を抽出する顔認識部と、前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する空間周波数解析部と、前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替えるモード切替部と、前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、を有することを特徴とする。
【０００８】
第３の発明は、第１または第２の発明において、撮影時または再生時において前記撮影画像データが特殊画像データである旨をカメラ使用者に通知する通知手段をさらに有する。
第４の発明は、第１または第２の発明において、記録媒体を接続するコネクタと、前記撮影画像データを前記記録媒体に記録する制御部と、をさらに有し、前記制御部は、前記記録媒体の記録対象から前記特殊画像データを除外することを特徴とする。
【０００９】
第５の発明は、第１または第２の発明において、前記画像処理部は、前記特殊画像データの顔領域に画像の粒状感を低下させる補正処理を施すことを特徴とする。
第６の発明は、第５の発明において、前記顔認識部は前記特殊画像データの顔領域において所定の顔パーツを抽出し、前記画像処理部は前記顔パーツの領域を前記補正処理の対象から除外することを特徴とする。
【００１０】
第７の発明は、第５または第６の発明において、前記画像処理部の前記補正処理は、前記顔領域の境界部分近傍では画像の粒状感が高く、前記顔領域の内側では前記境界部分よりも画像の粒状感が低下する重み付けがされていることを特徴とする。
第８の発明に係る電子カメラは、被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に画像処理を施して撮影画像データを生成する画像処理部と、前記撮影画像データにおける顔領域を抽出する顔認識部と、前記画像信号のゲイン設定およびシャッタ秒時の少なくとも一方を変化させて複数回の撮影を行う制御部と、前記撮影画像データにおける前記顔領域の空間周波数成分を解析し、画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、複数回の撮影において前記画質が最も高い撮影画像データを検出する顔画質判定部と、を有することを特徴とする。
【００１１】
第９の発明は、電子カメラで生成された画像データと、前記電子カメラの撮影条件のパラメータを示す付加データとを含む画像ファイルを読み込んで、前記画像データを加工する画像処理装置であって、前記画像ファイルを読み込む読込部と、前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替えるモード切替部と、前記画像データにおける顔領域を抽出する顔認識部と、前記顔領域を解析する顔領域解析部と、前記第１の画像処理モードで前記顔領域解析部の解析結果に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、を有することを特徴とする。
【００１２】
第１０の発明は、電子カメラで生成された画像データと、前記電子カメラの撮影条件のパラメータを示す付加データとを含む画像ファイルを読み込んで、前記画像データを加工する画像処理プログラムであって、前記画像ファイルを読み込む手順と、前記撮影画像データにおける顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを撮影条件のパラメータに応じて切り替える手順と、前記画像データにおける顔領域を抽出する手順と、前記顔領域を解析する手順と、前記第１の画像処理モードで前記顔領域の解析結果に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する手順と、をコンピュータに実行させる。
【００１３】
第１１の発明は、電子カメラで生成された画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理装置であって、前記画像ファイルを読み込む読込部と、前記画像データから顔領域を抽出する顔認識部と、前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する空間周波数解析部と、前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替えるモード切替部と、前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、を有することを特徴とする。
【００１４】
第１２の発明は、電子カメラで生成された画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理プログラムであって、前記画像ファイルを読み込む手順と、前記画像データから顔領域を抽出する手順と、前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する手順と、前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替える手順と、前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する手順と、をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明の電子カメラでは、撮影条件のパラメータに応じて顔領域の画質判定を行う第１の画像処理モードと画質判定を行わない第２の画像処理モードとを切り替えるので、適切な画像処理を実行することができる。
本発明の電子カメラ、画像処理装置および画像処理プログラムでは、撮影画像データから顔領域を抽出し、画像の粒状感と高い相関をもつ空間周波数成分に基づいて顔領域の画質が粗い特殊画像データを検出するので、撮影画像データの顔領域の画質判定を容易に行うことができる。
【００１６】
また、本発明の電子カメラ、画像処理装置および画像処理プログラムでは、撮影条件のパラメータや複数箇所の空間周波数成分の解析結果に応じて手ぶれの有無などを判定し、顔領域の画質判定が困難な撮影画像データを予め処理対象から除外してから顔領域の画質判定を行うので、カメラや画像処理装置側の演算負荷が軽減される。
【発明を実施するための最良の形態】
【００１７】
（第１実施形態の説明）
図１は第１実施形態の電子カメラのブロック図である（請求項１、請求項３〜請求項７の電子カメラに対応する）。電子カメラ１０は、撮影レンズ１１と、撮像素子１２と、アナログ信号処理部１３と、Ａ／Ｄ変換部１４と、画像処理部１５と、圧縮伸長処理部１６と、メモリ１７と、コンデンサの蓄積電荷でキセノン発光管を発光させる閃光発光部１８と、タイミングジェネレータ（ＴＧ）１９と、カードインターフェース（カードＩ／Ｆ）２０および記録媒体２１と、モニタ２２と、操作部２３と、ＣＰＵ２４と、各部を接続するデータバス２５とを有している。
【００１８】
撮像素子１２は撮影レンズ１１の像空間側に配置されている。撮像素子１２の受光面（撮影レンズ１１と相対する面）には被写体像を光電変換してアナログ画像信号を生成する受光画素が２次元配列されている。撮像素子１２の出力はアナログ信号処理部１３に接続されている。
アナログ信号処理部１３は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１４はアナログ信号処理部１３から出力されたアナログ画像信号をデジタル画像信号に変換する。
【００１９】
画像処理部１５は、デジタル画像信号に画像処理（欠陥画素補正、ガンマ補正、補間、色変換、エッジ強調など）を施して撮影画像データを生成する。特に第１実施形態の画像処理部１５は以下の機能を有している。
（ａ）第１に画像処理部１５は撮影画像データに対して公知の顔認識処理を施し、被写体の顔領域を検出する。なお、顔認識処理の例として特開平８−６３５９５号公報には、色に基いて肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法や、更に目候補領域を求めて目テンプレートとのマッチング度を用いて顔検出する方法や、顔の輪郭テンプレートで求まる顔候補領域の２次元フーリエ変換結果と、目、鼻、口及び髪等を含む予め用意した顔テンプレート画像の２次元フーリエ変換結果とから定義される特徴量を求め、この特徴量を閾値処理して顔検出を行なう方法等が開示されている。
【００２０】
（ｂ）第２に画像処理部１５は高速フーリエ変換（ＦＦＴ）などで撮影画像データの顔領域に含まれる空間周波数成分を分析する。そして、画像処理部１５は画像の粒状感と高い相関をもつ空間周波数成分に基づいて、撮影画像データの中で顔領域の画質が粗い（顔領域の粒状感が強い）特殊画像データを検出する。なお、「画像の粒状感と高い相関をもつ空間周波数成分」は、予め統計的に求めた電子カメラの特性（特定の空間周波数成分が強いとノイズが発生し易いなど）に基づいて設定される。
【００２１】
（ｃ）第３に画像処理部１５は、ＣＰＵ２４の指示によりぼかしフィルタ等で特殊画像データの顔領域に対して画像の粒状感を低下させる補正処理を施す。
圧縮伸長処理部１６は画像処理後の画像データをＪＰＥＧ形式で圧縮する処理や、ＪＰＥＧ形式の圧縮画像データを伸長して復元する処理を実行する。メモリ１７はＳＤＲＡＭ等で構成され、画像処理部１５での画像処理前または画像処理後の撮影画像データを一時的に保存する。
【００２２】
ＴＧ１９はＣＰＵの指示に基づいて所定のタイミングで駆動信号を生成する。ＴＧ１９の駆動信号は撮像素子１２に供給され、受光画素の不要電荷排出、電荷蓄積および蓄積電荷出力等に使用される。
カードＩ／Ｆ２０には記録媒体２１を着脱可能に接続するためのコネクタが形成されている。記録媒体２１は公知の半導体メモリなどで構成され、この記録媒体２１には上記の撮影画像データが最終的に記録される。
【００２３】
モニタ２２は主として電子カメラ１０の背面部分に配置される。モニタ２２には撮影画像データの再生画面、電子カメラ１０の各種設定を変更するための設定画面、後述の通知画面などが表示される。操作部２３は十字状のカーソルキーなどで構成される。この操作部２３は上記の設定画面での各種入力などに使用される。
ＣＰＵ２４は、例えば、ＡＥ演算およびＡＦ演算などの演算処理、撮影時の一連の画像処理制御、閃光発光部１８の発光タイミング制御、記録媒体２１へのデータ書込／読出制御などを実行し、電子カメラ１０の各部を制御する。
【００２４】
特に第１実施形態のＣＰＵ２４は、画像処理部１５による顔領域の画質判定のＯＮ／ＯＦＦを撮影条件のパラメータに応じて切り替える。ここで、上記の切替は「電子カメラのシーンモードが人物主体か否か」または「撮影時に手ぶれが発生し易いか否か」を基準とする。
例えば、ＣＰＵ２４はシーンモードが風景モードの場合には顔領域の画質判定をＯＦＦにし、シーンモードがポートレートモードの場合には人物が主要被写体であるので顔領域の画質判定をＯＮにする。また、長秒時撮影で閃光発光部の発光を行わない場合には撮影時に手ぶれで顔領域の画質判定が困難となる可能性が高いので、ＣＰＵ２４は予め顔領域の画質判定をＯＦＦにする。さらに、加速度センサの出力により手ぶれを検知する公知の手ぶれ検知機構が電子カメラ１０に実装されている場合は、手ぶれ検知機構が手ぶれを検知したときにＣＰＵは顔領域の画質判定をＯＦＦにするようにしてもよい。また、撮影レンズ１１をシフトさせて手ぶれをキャンセルする公知の手ぶれ補正機構が電子カメラ１０に実装されている場合には、ＣＰＵ２４は手ぶれ補正がＯＮのときに顔領域の画質判定をＯＮにするようにしてもよい（手ぶれ検知機構、手ぶれ補正機構の図示は省略する）。
【００２５】
また、顔領域の画質判定がＯＮのときには、ＣＰＵ２４は設定画面での入力に基づいて特殊画像データ検出時の処理を、（１）特殊画像データの顔領域の画質を自動的に補正する、（２）特殊画像データを記録媒体に書込禁止して自動的に削除する、（３）通知画面をモニタに表示する、のいずれかから選択して実行する。
以下、第１実施形態の電子カメラの撮影動作を図２の流れ図に沿って説明する。
【００２６】
ステップＳ１０１：カメラ使用者は設定画面において特殊画像データ検出時の処理を「（１）顔領域の画質の自動補正」、「（２）特殊画像データの自動削除」、「（３）通知画面の表示」のいずれかから選択入力する。
ステップＳ１０２：カメラ使用者は、図示しないレリーズ釦の全押しにより電子カメラ１０に被写体の撮影を指示する。電子カメラ１０のＣＰＵ２４はＴＧ１９を介して撮像素子１２を駆動させ、撮像素子１２は被写体像のアナログ画像信号を出力する。アナログ画像信号は、アナログ信号処理部１３を通過した後にＡ／Ｄ変換部１４でデジタル画像信号に変換される。そして、画像処理部１５はデジタル画像信号に所定の画像処理を施して撮影画像データを生成する。
【００２７】
ステップＳ１０３：ＣＰＵ２４はＳ１０２の撮影における撮影条件のパラメータに基づいて顔領域の画質判定を行うか否かを判定する。顔領域の画質判定を行う場合（ＹＥＳ側）にはＳ１０４に移行する。一方、顔領域の画質判定を行わない場合（ＮＯ側）にはＳ１１０に移行する。
ステップＳ１０４：画像処理部１５は撮影画像データに顔認識処理を施し、撮影画像データにおける顔の有無をＣＰＵ２４に出力する。ＣＰＵ２４は撮影画像データから顔が検出されたか否かを画像処理部１５の出力に基づいて判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ１０５に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ１１０に移行する。
【００２８】
ステップＳ１０５：画像処理部１５は撮影画像データの顔領域に含まれる空間周波数成分を分析する。
ステップＳ１０６：ＣＰＵ２４は顔領域の画質が閾値以下の特殊画像データであるか否か（具体的には、顔領域において画像の粒状感と高い相関をもつ空間周波数成分の量が閾値以上か否か）を判定する。撮影画像データが特殊画像データの場合（ＹＥＳ側）はＳ１０７に移行する。一方、撮影画像データが特殊画像データではない場合（ＮＯ側）はＳ１１０に移行する。
【００２９】
ステップＳ１０７：ＣＰＵ２４はＳ１０１での設定内容に基づいて特殊画像データ検出時の処理を判定する。Ｓ１０１で「（１）顔領域の画質の自動補正」が選択入力されている場合はＳ１１２に移行する。Ｓ１０１で「（２）特殊画像データの自動削除」が選択入力されている場合はＳ１１１に移行する。Ｓ１０１で「（３）通知画面の表示」が選択入力されている場合はＳ１０８に移行する。
【００３０】
ステップＳ１０８：ＣＰＵ２４は通知画面をモニタ２２に表示する。この通知画面では、撮影画像が特殊画像データ（顔荒れ画像）であって、顔が美しく撮影されていない旨のメッセージと、特殊画像データの処理の選択枝として「保存（記録媒体への特殊画像データの書込許可）」、「削除（記録媒体への特殊画像データの書込禁止）」、「補正（顔領域の画質の補正処理）」とが表示される（図３参照）。そして、カメラ使用者はモニタ２２に表示されるアイコンを操作部２３で操作して、特殊画像データの処理を選択入力する。
【００３１】
ステップＳ１０９：ＣＰＵ２４はＳ１０８でカメラ使用者がいずれの処理を選択入力したかを判定する。「保存」が選択された場合はＳ１１０に移行する。「削除」が選択された場合はＳ１１１に移行する。「補正」が選択された場合にはＳ１１２に移行する。
ステップＳ１１０：この場合にはＣＰＵ２４はＳ１０２で生成された撮影画像データをそのまま記録媒体２１に記録し、その後に撮影動作を終了する。
【００３２】
ステップＳ１１１：この場合にはＣＰＵ２４はＳ１０２で生成された撮影画像データ（特殊画像データ）を削除し、記録媒体２１に特殊画像データを記録することなく撮影動作を終了する。
ステップＳ１１２：この場合には画像処理部１５が特殊画像データの顔領域に対してぼかしフィルタによるフィルタ演算を行って、顔領域の粒状感を低下させる補正処理を施す（図４参照）。なお、上記のぼかしフィルタによるフィルタ演算では、画像処理部１５は顔認識時に抽出した目、鼻、口、眉などの顔パーツの領域を補正処理の対象から除外して、顔パーツの輪郭や微細な情報が失われないようにするのが好ましい。
【００３３】
また、ぼかしフィルタによる補正処理の結果、画像中の顔部分とその外側とで画像の粒状感に顕著な差が生じ、顔部分が周囲から浮き上がって違和感が生じることもある。そのため、画像処理部１５は顔領域の境界部分近傍と内側とでぼかし効果の強弱が変化する重み付けをして補正処理をしてもよい。例えば、画像処理部１５は顔領域内の境界部分近傍にはぼかし効果の弱いフィルタを適用し、顔領域内のそれ以外の部分にはぼかし効果の強いフィルタを適用する。あるいは、画像処理部１５は顔領域外の境界部分近傍にはぼかし効果の弱いフィルタを適用し、顔領域内にはぼかし効果の強いフィルタを適用するようにしてもよい。これらの場合には顔領域の境界部分近傍から顔領域の内側に向けて画像の粒状感の差が滑らかになるので、顔部分とその周囲とで違和感が生じるおそれも低減する。
【００３４】
そして、ＣＰＵ２４は補正処理後の特殊画像データを記録媒体２１に記録し、その後に撮影動作を終了する。なお、ＣＰＵ２４は記録媒体２１に記録した特殊画像データに対して顔領域の粒状感を低下させる補正処理を事後的に施すことも勿論可能である。
上記の第１実施形態の電子カメラでは、顔領域の空間周波数解析の結果に基づいて顔領域の画質が悪い（顔領域において画像の粒状感の高い）特殊画像データを検出することができる。特に第１実施形態では、撮影条件のパラメータによって顔領域の画質判定のＯＮ／ＯＦＦを切り替えるので、顔領域の画質判定が必要でない撮影画像データや手ぶれした撮影画像データなどが判定対象から除外され、電子カメラの演算負荷は軽減される。
【００３５】
また第１実施形態の電子カメラでは特殊画像データの検出時の処理として、特殊画像データの自動削除、自動補正処理、カメラ使用者への通知、のいずれかを状況に応じて選択できるので、カメラ使用者の利便性が大きく向上する。
（第２実施形態の説明）
図５は第２実施形態の電子カメラの動作を示す流れ図である（請求項２〜請求項７の電子カメラに対応する）。第２実施形態は第１実施形態の変形例であって、顔領域と顔領域以外の空間周波数成分を比較して、手ぶれ、ピンぼけの可能性が高い場合には顔領域の画質判定を行わない構成である。なお、第２実施形態および第３実施形態の電子カメラにおいて、第１実施形態と共通の構成には同一符号を付して説明を省略する。また、図５のＳ２０１、Ｓ２０２、Ｓ２０６〜Ｓ２１２は図２のＳ１０１、Ｓ１０２、Ｓ１０６〜Ｓ１１２にそれぞれ対応するのでその説明は省略する。
【００３６】
ステップＳ２０３：画像処理部１５は撮影画像データに顔認識処理を施し、撮影画像データにおける顔の有無をＣＰＵ２４に出力する。ＣＰＵ２４は撮影画像データから顔が検出されたか否かを画像処理部１５の出力に基づいて判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ２０４に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ２１０に移行する。
【００３７】
ステップＳ２０４：画像処理部１５は撮影画像データの顔領域の空間周波数成分と、顔領域以外の任意の部分領域の空間周波数成分とをそれぞれ解析する。この部分領域の空間周波数成分は、顔領域の空間周波数成分とともに手ぶれ、ピンぼけの判定に使用される。
ステップＳ２０５：ＣＰＵ２４は顔領域および部分領域の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かを判定する。高周波成分が含まれる場合（ＹＥＳ側）には画像の輪郭は鮮明であって、手ぶれ、ピンぼけの可能性は低いのでＳ２０６の顔画質判定に移行する。一方、高周波成分が含まれない場合（ＮＯ側）には画像の輪郭が不鮮明であって、手ぶれまたはピンぼけしている可能性が高い。そのためＣＰＵ２４はＳ２１０に移行して顔領域の画質判定を行うことなく撮影画像データを保存する。なお、この場合にはＣＰＵ２４は撮影画像データを自動的に削除して記録媒体２１の容量を確保するようにしてもよい。
【００３８】
上記の第２実施形態の電子カメラでは第１実施形態とほぼ同様の効果を得ることができる。特に第２実施形態では、各撮影画像データの顔領域および部分領域の高周波成分に基づいて手ぶれ、ピンぼけの画像を個別的に除外してから顔領域の画質判定を行うので、第１実施形態の場合よりも顔領域の画質判定の検出精度は向上しうる。
（第３実施形態の説明）
図６は第３実施形態の電子カメラの動作を示す流れ図である（請求項８の電子カメラに対応する）。第３実施形態では、画像信号のゲイン設定およびシャッタ秒時の組み合わせを変化させて複数回のブラケティング撮影を実行し、顔領域の画質が最も高い撮影画像データを記録する例である。
【００３９】
ステップＳ３０１：カメラ使用者は、設定画面において撮影フレーム数（撮影回数）や撮影毎のパラメータ変動量（シャッタ秒時、画像信号のゲイン設定）を設定する。なお、第３実施形態では撮像素子１２の電荷蓄積時間やシャッタ機構（図示を省略する）のシャッタ走行間隔を調整してシャッタ秒時を変更し、アナログ信号処理部１３のゲイン設定を調整して画像信号のゲイン設定を変更する。
【００４０】
ステップＳ３０２：カメラ使用者は、図示しないレリーズ釦の全押しにより電子カメラ１０に被写体のブラケティング撮影を指示する。このブラケティング撮影では、ＣＰＵ２４は１フレーム目の撮影画像データを生成した後に、Ｓ３０１での設定に従ってパラメータを変更して次フレームの撮影画像データを生成する。そして、ＣＰＵ２４はＳ３０１で設定された撮影フレーム数の撮影終了まで上記の工程を繰り返す。
【００４１】
ステップＳ３０３：画像処理部１５は撮影画像データに顔認識処理を施し、撮影画像データにおける顔の有無をＣＰＵ２４に出力する。ＣＰＵ２４は各撮影画像データから顔が検出されたか否かを画像処理部１５の出力に基づいて判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ３０４に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ３０７に移行して、ＣＰＵは顔領域を検出できない撮影画像データを保存する。なお、このＳ３０３の判定はブラケティング撮影の各撮影画像データ毎に実行される。
【００４２】
ステップＳ３０４：画像処理部１５は、Ｓ３０３で顔が検出された撮影画像データについて、顔領域に含まれる空間周波数成分をそれぞれ分析する。そして、画像処理部１５は画像の粒状感と高い相関をもつ空間周波数成分の量に基づいて、顔領域における画像の粒状感の強さを示す評価値を上記の各撮影画像データ毎に生成する。
ステップＳ３０５：ＣＰＵ２４はＳ３０３で顔が検出された撮影画像データのうち、顔の画質が最もよい（すなわち、顔領域における画像の粒状感が弱くて評価値の値が小さい）撮影画像データをＳ３０４の評価値に基づいて決定する。
【００４３】
ステップＳ３０６：ＣＰＵ２４はＳ３０５で決定された撮影画像データを記録媒体２１に記録し、一連の撮影動作を終了する。
上記の第３実施形態の電子カメラでは、画像信号のゲイン設定およびシャッタ秒時の組み合わせを変化させてブラケティング撮影を行い、顔の画質が最もよい撮影画像データを記録する。そのため、顔領域における画像の粒状感が低くて顔の画質が良好な撮影画像を取得できる可能性が向上する。
【００４４】
（第４実施形態の説明）
図７は第４実施形態の画像処理装置の機能ブロック図である（請求項９の画像処理装置および請求項１０の画像処理プログラムに対応する）。第４実施形態はパーソナルコンピュータ等に画像処理プログラムを実行させて画像処理装置３０を構成する例である。ここで、第４実施形態の画像処理プログラムは、電子カメラで生成された「撮影画像データ」と、電子カメラの撮影条件のパラメータを示す「付加データ」とを含む画像ファイルを処理対象とする。この画像ファイルの例としては、Ｅｘｉｆ規格準拠の画像ファイルや、撮影条件のパラメータの情報を有するＲＡＷデータファイルなどが該当する。
【００４５】
画像処理装置３０は、マイクロプロセッサ３１と、メモリ３２と、バスインターフェース部（バスＩ／Ｆ部）３３と、表示ドライバ部３４と、ディスクドライブ部３５と、各部を接続するシステムバス３６とを有している。また、画像処理装置３０には、キーボードやポインティングデバイス等の入力手段３７と、モニタ３８とが接続されている。
マイクロプロセッサ３１は画像処理装置３０の各部を演算制御し、後述の画像処理プログラムを実行する。メモリ３２はプログラムおよびデータを記憶し、マイクロプロセッサ３１にデータを送ったり、マイクロプロセッサ３１から返された処理結果を記憶する。バスＩ／Ｆ部３３は、画像処理装置３０に接続された周辺機器（例えば、電子カメラや記録媒体など）とのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。表示ドライバ部３４はモニタ３８に画像出力を行う。ディスクドライブ部３５では、光ディスク、光磁気ディスクなどの記録媒体に対して撮影画像データの読み出し／書き込みを実行する。
【００４６】
第４実施形態の画像処理装置は上記のように構成され、以下、図８の流れ図に従って第４実施形態の画像処理プログラムの動作を説明する。
ステップＳ４０１：マイクロプロセッサ３１はバスＩ／Ｆ部３３またはディスクドライブ部３５から画像ファイルを読み込み、読み込んだ画像ファイルの一覧をモニタ３８に表示する。そして、ユーザーに顔領域の画質判定を行う画像ファイルを選択入力させる。
【００４７】
ステップＳ４０２：マイクロプロセッサ３１はＳ４０１で選択された画像ファイルのうち、処理対象とする画像ファイルをメモリ３２に読み込んで、撮影画像データの撮影条件のパラメータを付加データから取得する。そして、マイクロプロセッサ３１は、現在処理中の撮影画像データに対して顔領域の画質判定を行うか否かを撮影条件のパラメータに基づいて判定する。上記の判定では第１実施形態と同様に撮影条件のパラメータが「電子カメラのシーンモードが人物主体か否か」または「撮影時に手ぶれが発生し易いか否か」を基準とする。顔領域の画質判定を行う場合（ＹＥＳ側）にはＳ４０３に移行する。一方、顔領域の画質判定を行わない場合（ＮＯ側）にはＳ４０７に移行する。
【００４８】
ステップＳ４０３：マイクロプロセッサ３１は撮影画像データに顔認識処理を施し、現在処理中の撮影画像データから顔が検出されたか否かを判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ４０４に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ４０７に移行する。
ステップＳ４０４：マイクロプロセッサ３１は現在処理中の撮影画像データの顔領域に含まれる空間周波数成分を分析する。
【００４９】
ステップＳ４０５：マイクロプロセッサ３１は、現在処理中の撮影画像データにおける顔領域の画質が閾値以下であるか否か（顔領域において画像の粒状感と高い相関をもつ空間周波数成分の量が閾値以上か否か）を判定する。顔領域の画質が閾値以下の場合（ＹＥＳ側）はＳ４０６に移行する。一方、顔領域の画質が閾値を上回る場合（ＮＯ側）はＳ４０７に移行する。
【００５０】
ステップＳ４０６：マイクロプロセッサ３１は顔領域の画質が閾値以下であることを示すマーカー情報を生成し、マーカー情報とその画像ファイルの特定情報（ファイル名、ディレクトリパスなど）とを対応付けてメモリ３２に記憶する。
ステップＳ４０７：マイクロプロセッサ３１は次に処理対象となる画像ファイルが存在するか否かを判定する。次の画像ファイルが存在する場合（ＹＥＳ側）にはＳ４０２に戻ってマイクロプロセッサは上記動作を繰り返す。一方、次の画像ファイルが存在しない場合（ＮＯ側）にはＳ４０８に移行する。
【００５１】
ステップＳ４０８：マイクロプロセッサ３１はマーカー情報および画像ファイルの特定情報に基づいて、撮影画像データの顔領域の画質が閾値以下である画像ファイルの一覧をモニタ３８に表示する。ユーザーは一覧画面の画像ファイルを全指定または個別指定して画像ファイルの処理を指示し、マイクロプロセッサ３１は画像ファイルの削除や画像ファイルの補正などの処理を実行する。なお、画像ファイルの補正は第１実施形態のＳ１１２のように行われる。以上で画像処理プログラムの一連の動作が終了する。
【００５２】
上記の第４実施形態では、コンピュータによる後処理工程において、顔領域の空間周波数解析の結果に基づいて顔領域の画質が悪い撮影画像データを検出できる。第４実施形態においても第１実施形態と同様に撮影条件のパラメータによって顔領域の画質判定のＯＮ／ＯＦＦを切り替えるので、顔領域の画質判定が必要でない撮影画像データや手ぶれした撮影画像データなどは判定対象から除外され、コンピュータの演算負荷が軽減される。
【００５３】
（第５実施形態の説明）
図９は第５実施形態の画像処理プログラムの動作を示す流れ図である（請求項１１の画像処理装置および請求項１２の画像処理プログラムに対応する）。第５実施形態は第４実施形態の変形例であって、顔領域と顔領域以外の空間周波数成分を比較して、手ぶれ、ピンぼけの可能性が高い場合には顔領域の画質判定を行わない構成である。なお、第４実施形態の画像処理装置において、第４実施形態と共通の構成には同一符号を付して説明を省略する。また、図９のＳ５０１、Ｓ５０５〜Ｓ５０８は図８のＳ４０１、Ｓ４０５〜Ｓ４０８にそれぞれ対応するのでその説明は省略する。
【００５４】
ステップＳ５０２：マイクロプロセッサ３１はＳ５０１で選択された画像ファイルのうち、処理対象とする画像ファイルの撮影画像データに顔認識処理を施し、撮影画像データから顔が検出されたか否かを判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ５０３に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ５０７に移行する。
【００５５】
ステップＳ５０３：マイクロプロセッサ３１は撮影画像データの顔領域の空間周波数成分と、顔領域以外の任意の部分領域の空間周波数成分とをそれぞれ解析する。この部分領域の空間周波数成分は、顔領域の空間周波数成分とともに手ぶれ、ピンぼけの判定に使用される。
ステップＳ５０４：マイクロプロセッサ３１は顔領域および部分領域の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かを判定する。高周波成分が含まれる場合（ＹＥＳ側）には画像の輪郭は鮮明であって、手ぶれ、ピンぼけの可能性は低いのでＳ５０５の顔画質判定に移行する。一方、高周波成分が含まれない場合（ＮＯ側）には画像の輪郭が不鮮明であって、手ぶれまたはピンぼけしている可能性が高い。そのためマイクロプロセッサはＳ５０７に移行する。
【００５６】
上記の第５実施形態では第４実施形態とほぼ同様の効果を得ることができる。特に第５実施形態では、各撮影画像データの顔領域および部分領域の高周波成分に基づいて手ぶれ、ピンぼけの画像を個別的に除外してから顔領域の画質判定を行うので、付加データのない画像ファイルにも顔領域の画質判定を行うことができる。
（請求項と実施形態との対応関係）
ここで、請求項の構成と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。
【００５７】
請求項１〜８の電子カメラにおいて、「撮像素子」には撮像素子１２が対応する。「画像処理部」、「顔認識部」、「顔領域解析部」、「空間周波数解析部」には画像処理部１５が対応する。「モード切替部」、「顔画質判定部」、「制御部」にはＣＰＵ２４が対応する。「通知手段」はモニタ２２およびＣＰＵ２４が対応する。「コネクタ」にはカードＩ／Ｆ２０が対応する。
【００５８】
請求項９、１１の画像処理装置において、「読込部」にはバスＩ／Ｆ部３３およびディスクドライブ部３５が対応する。「モード切替部」、「顔認識部」、「顔領域解析部」、「空間周波数解析部」、「顔画質判定部」にはマイクロプロセッサ３１が対応する。なお、請求項１０および請求項１２の画像処理プログラムはマイクロプロセッサ３１により実行される。
【００５９】
（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。
（１）上記実施形態の電子カメラでは特殊画像データの顔領域にぼかしフィルタを適用して補正処理する例を示したが、本発明ではメディアンフィルタを適用して顔領域の画像の粒状感を低下させるように補正処理してもよい。
【００６０】
（２）上記実施形態の電子カメラでは、特殊画像データ検出時には画像データのタグにマーカー情報を付加するようにしてもよい。この場合には、撮影終了後にマーカー情報に基づいてＣＰＵが特殊画像データを抽出できるので、再生時にユーザーが特殊画像データを識別することが容易になる。
【図面の簡単な説明】
【００６１】
【図１】第１実施形態の電子カメラのブロック図
【図２】第１実施形態の電子カメラの撮影動作の流れ図
【図３】通知画面の一例を示す図
【図４】顔認識処理および補正処理の一例を示す図
【図５】第２実施形態の電子カメラの撮影動作の流れ図
【図６】第３実施形態の電子カメラの撮影動作の流れ図
【図７】第４実施形態の画像処理装置のブロック図
【図８】第４実施形態の画像処理プログラムの動作の流れ図
【図９】第５実施形態の画像処理プログラムの動作の流れ図
【符号の説明】
【００６２】
１０  電子カメラ
１２  撮像素子
１３  アナログ信号処理部
１５  画像処理部
２０  カードＩ／Ｆ
２１  記録媒体
２２  モニタ
２４  ＣＰＵ
３０  画像処理装置
３１  マイクロプロセッサ
３２  メモリ
３３  バスＩ／Ｆ部
３５  ディスクドライブ部
３８  モニタ
【図１】
2006180078.tif 000003
【図２】
2006180078.tif 000004
【図３】
2006180078.tif 000005
【図４】
2006180078.tif 000006
【図５】
2006180078.tif 000007
【図６】
2006180078.tif 000008
【図７】
2006180078.tif 000009
【図８】
2006180078.tif 000010
【図９】
2006180078.tif 000011