(57)【要約】【課題】  複数種の対象領域を検出した時の画像全体への最適な画像補正指示を発行すること。【解決手段】  入力画像を解析する（Ｓ１０２）。複数の解析結果の各対象に重み付けする（Ｓ１０３）。重み付けした値と複数の解析結果に基づき入力画像の補正内容を決定して補正を行う（Ｓ１０３，Ｓ１０４）。【選択図】  図２
2006179987.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を解析する解析手段、
該解析手段により得られた複数の解析結果の各対象に重み付けする重み設定手段、および、
前記重み付けした値と前記複数の解析結果に基づき前記入力画像の補正内容を決定して補正を行う補正手段を備えたことを特徴とする画像処理装置。
【請求項２】
前記解析手段は、前記入力画像における肌色領域を解析する手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重み設定手段は、少なくとも一つの解析において、前記入力画像の全画像面積に対する解析結果により検出した領域の面積比率を用いて前記重み付けを行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
入力画像を解析する解析ステップと、
該解析ステップで得られた複数の解析結果の各対象に重み付けする重み設定ステップと、
前記重み付けした値と前記複数の解析結果に基づき前記入力画像の補正内容を決定して補正を行う補正ステップと
を有することを特徴とする画像処理方法。
【請求項５】
前記解ステップにおいて前記入力画像における肌色領域を解析することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記重み設定ステップにおける前記重み付けにおいて、少なくとも一つの解析において、前記入力画像の全画像面積に対する解析結果により検出した領域の面積比率を用いることを特徴とする請求項４または５に記載の画像処理方法。
【請求項７】
コンピュータを、
入力画像を解析する解析手段、
該解析手段により得られた複数の解析結果の各対象に重み付けする重み設定手段、および、
前記重み付けした値と前記複数の解析結果に基づき前記入力画像の補正内容を決定して補正を行う補正手段
として機能させるためのプログラム。
【請求項８】
前記解析手段は、前記入力画像における肌色領域を解析する手段を有することを特徴とする請求項７に記載のプログラム。
【請求項９】
前記重み設定手段は、少なくとも一つの解析において、前記入力画像の全画像面積に対する解析結果により検出した領域の面積比率を用いて前記重み付けを行うことを特徴とする請求項７または８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置並びに画像処理方法およびプログラムに関する。特に詳細には本発明は、撮影された画像データの中に、予め設定した複数種類の画像の存在を判定し検出する手段を持つ画像処理手段を利用して、検出した結果として複数種類の検出に成功した時に、検出した種類の違いによる相関関係より画像データへの画像補正の効果及び内容を決定する制御方法を実装する画像処理装置並びに画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来の撮影画像における注目すべき対象への指定もしくは検出領域を特定した場合、その領域を考慮に入れた画像補正の扱い方としては、通常の画像全体への画像補正ではなく、検出した領域に対してより良い状態になるような画像補正を実行し、それ以外の部分への補正効果の不一致の軽減のために、境目の領域に対して重みを付けた補正を行う、覆い焼き補正が行われることがあった（特許文献１）。
【０００３】
【特許文献１】特開２００２−１３５５８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
個別の撮影画像を、その撮影状況及び対象を理解し、個別により良く補正を行うことが可能となってきている。背景技術のような指定した領域をより良く補正するだけでなく、画像認証のように画像中の人物の顔検出が可能となり、その他の画像特定、撮影シーンを特定する画像解析する技術も存在し得るが、現在は、複数種類の画像解析結果に対する最適な補正もしくは補正指示の制御が存在しない。つまり、一つの画像に対して一つの解析を行い、その解析結果のみを最適化するものである。しかしながら、複数種類の解析が可能な場合に、そのうちの一つに最適化を実行すれば、それ以外に対しては、逆の効果をあらわしてしまうという課題が存在する。
【０００５】
本発明の目的は、上記の課題を解決することのできる画像処理装置並びに画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために本願発明装置は、入力画像を解析する解析手段、該解析手段により得られた複数の解析結果の各対象に重み付けする重み設定手段、および、前記重み付けした値と前記複数の解析結果に基づき前記入力画像の補正内容を決定して補正を行う補正手段を備える。
【０００７】
上記の課題を解決するために本願発明方法は、入力画像を解析する解析ステップと、該解析ステップで得られた複数の解析結果の各対象に重み付けする重み設定ステップと、前記重み付けした値と前記複数の解析結果に基づき前記入力画像の補正内容を決定して補正を行う補正ステップとを有する。
【０００８】
画像中の抽出対象が複数存在する場合においては、予め検出対象に対して検出結果における画像補正への反映強度を設定し、且つ、画像解析により抽出した検出結果より対象画像の有無や、検出量／検出確度／重みにより、検出された各々の対象に設定されている反映強度と、対象領域の輝度情報などの特徴量を取得し、取得した情報を元に、画像に対する画像補正に関する各項目ごとの補正設定値を設定する。
【発明の効果】
【０００９】
本願発明によれば、撮影した入力画像の撮影内容による個別最適化補正の手段として、撮影画像に特定の対象領域の存在を解析し、その解析により検出した特徴量を元に、対象画像に対して個々に画像補正値を決定する方式において、複数種の特徴抽出用の解析手段を有する解析処理の結果として複数種の対象領域を検出した時の画像全体への最適な画像補正指示を発行することが可能となり、個別撮影画像の最適化した画像補正を実現することが出来る。
【発明を実施するための最良の形態】
【００１０】
撮影後の画像データをパーソナルコンピュータ等の情報処理装置で観察もしくは印刷等の対象として利用する場合に、画像ごとに画像全体に対する撮影データ状況を解析することなどにより補正処理を行ったものを利用することが一般的である。しかしながら、画像全般領域への重要度は一様ではなく、人物などが被写体として入っている場合は、その人物肌領域を検出し、その検出領域に重点を置いた補正を行うことで、より使用者が期待する画像を提供することが出来る。
【００１１】
更に、人物においても顔認識を用いた登録対象の人物への特別な画像補正設定や、人物以外の重要領域など、個別に設定を行い、検出結果として複数種の検出をした場合は、その検出結果に対する補正効果配分を行うことにより、より高品位な画像補正を提供することが可能となる。
【００１２】
また、パーソナルコンピュータ以外においても、パーソナルコンピュータを利用すること無く画像を直接入力することが可能なフォト・ダイレクト・プリンタ及びマルチファンクション・プリンタなどの組み込み印刷機器、更に、ＤＰＥなど写真現像印刷などにおいても有効である。
【００１３】
画像を表示する用途などの場合は画像表示用アプリケーションへの応用も考えられる。
【００１４】
（実施形態１）
以下、図面を参照して本発明の実施形態について説明する。  
図１は本発明の第１の実施形態による画像処理装置を適用したシステムの構成を示す概略ブロック図である。図１に示すように、本実施形態によるシステムは、いわゆるパーソナルコンピュータのハードウエア構成にて達成される構成である。
【００１５】
具体的には、データが入出力される入出力ポート５１と、ポインティングデバイスであるマウス５２と、数値や文字等を入力するキーボード５３と、種々の表示を行うためのモニタ５４と、装置全体の動作を制御する制御部５５と、メモリカードに記録された画像データを読み出すメモリカードドライブ５６と、データやプログラムを記憶するハードディスク５７と、各部を接続するバス５８とを備える。
【００１６】
モニタ５４としては、例えば液晶モニタ、ＣＲＴモニタ、ＥＬディスプレイ、プラズマディスプレイ、テレビジョン受像機を用いることができる。さらに、マウス５２、キーボード５３およびモニタ５４の各機能を備えた、いわゆるタッチパネルを用いてもよい。
【００１７】
制御部５５は、マウス５２やキーボード５３からの入力に基づいて、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データに対する各種処理を行う。
【００１８】
本実施形態においては、処理装置をパーソナルコンピュータとして説明を行うが、画像を扱うものであれば、画像を扱うマルチファンクションプリンタやフォトダイレクトプリンタなどのＰＣの組み込み機器などでも同様の実施形態が考えられる。
【００１９】
上記構成にて行われる全体の処理の流れを図２に示す。ステップＳ１０１においては、入出力ポート５１もしくは、メモリカードドライブ５６において読み出された画像データ、及びハードディスク５７に保存している画像データをマウス５２やキーボード５３からの入力に基づいて呼び込むものである。
【００２０】
ステップＳ１０２においては、呼び込んだ画像ファイルを展開し、その一連の作業中に、取得画像に対する画像内の特徴領域検出における設定登録の確認を行い、登録されている特徴領域の定義が画像中の主要人物肌領域である場合は、本出願人による特開２００４−３８４８０号公報、特開２００４−３８４８１号公報、および特開２００４−３８４８２号公報に開示された処理があるが、その他にも、入退室管理や監視システムとして動画を含む画像の中に人物の顔領域を検出する処理が知られている。
【００２１】
また、登録されている特徴領域の定義が画像中の青空領域である場合は、本出願人による特願２００３−２０７７４３号明細書に記載の処理がある。
【００２２】
更に、登録されている特徴領域の定義が画像中の夜景判定である場合は、本出願人による特願２００４−１９４８９１号明細書に記載の処理がある。
【００２３】
特徴領域としては任意の画像中から抽出判定出来るものであり、その対象が画像補正のために他の領域と相互関連するものであればいかなるものでも対象となる。
上記のうち、まず、主被写体となり得る人物肌もしくは顔領域の特徴判定説明を行い、特徴判定により、合致した領域を抽出し、情報を保持すると共に、抽出した領域の特徴量を算出し、保持する。ここでは、少なくとも輝度平均値や画素数を含むサイズ情報を含む。
【００２４】
上記の実施形態として特徴領域の定義として画像中の主要人物肌領域である場合について図３の抽出処理フローチャートを基に説明する。この特徴領域検出は、上記特開２００４−３８４８０号公報、特開２００４−３８４８１号公報、および特開２００４−３８４８２号公報に詳細に開示されている。
【００２５】
ステップＳ１０１から入力した画像データに対して、ステップＳ１３０１においては、Ｊｐｅｇ画像の圧縮単位である８＊８画素を単位とした色度比率と配置組み合わせによる主要人物肌領域候補のグループの検出処理を実行する。
【００２６】
ステップＳ１３０２においては、ステップＳ１３０１において候補となるグループを検出したか判定する。検出に失敗した場合は、ステップＳ１３０６へ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。検出に成功した場合は、ステップＳ１３０３へ移行して主要人物肌領域候補のグループに対して、予め設定して保存してある空間周波数特性の範囲に適合するか比較する。
【００２７】
ステップＳ１３０４では、主要人物肌領域候補のグループが主要人物肌と判定されたか判定する。判定の結果、主要人物肌でないと判定された場合は、ステップＳ１３０６へ移行して主要人物肌領域の検出に失敗したことをセットする［ＨＭ＝“００００”］。また、主要人物肌と判定された場合は、ステップＳ１３０５へ移行して主要人物肌領域の検出に成功したことをセットする［ＨＭ＝“１１１１”］。更に、検出した特徴データを保存する。
【００２８】
特徴領域検出は上記の処理方法に限定されるものではなく、他の人物顔検出、個人顔承認による検出方法に置き換えても問題ない。
【００２９】
次に特徴領域として青空領域の特徴判定説明を行い、特徴判定により、合致した領域を抽出し、情報を保持すると共に、抽出した領域の特徴量を算出し、保持する。ここでは、少なくとも輝度平均値や画素数を含むサイズ情報を含む。
特徴領域抽出処理が非主被写体と設定される青空領域の検出について後述する。
【００３０】
図４の抽出処理フローチャートを基に説明する。この特徴領域検出は、上記特願２００３−２０７７４３号明細書に詳細に記載されている。
【００３１】
ステップＳ１０１から入力した画像データに対して、ステップＳ１４０１においては、Ｊｐｅｇ画像の圧縮単位である８＊８画素を単位とした色度比率と輝度及び面積の組み合わせによる青空領域候補のグループの検出処理を実行する。
【００３２】
ステップＳ１４０２においては、ステップＳ１４０１において候補となるグループを検出したか判定する。検出に失敗した場合は、ステップＳ１４０６へ移行して青空領域の検出に失敗したことをセットする［ＢＳ＝“００００”］。検出に成功した場合は、ステップＳ１４０３へ移行して青空領域候補のグループに対して、予め設定して保存してある空間周波数特性の範囲に適合するか比較する。
【００３３】
ステップＳ１４０４においては、青空領域候補のグループが青空領域と判断されたか判定する。判定の結果、青空領域でないと判定された場合は、ステップＳ１４０６へ移行して青空領域の検出に失敗したことをセットする［ＢＳ＝“００００”］。
【００３４】
また、青空領域と判定された場合は、ステップＳ１４０５へ移行して青空領域の検出に成功したことをセットする［ＢＳ＝“１１１１”］。更に、検出した特徴データを保存する。
【００３５】
保存する特徴量については、特徴領域の内容により異なるが、例としては図５に示すような情報がある。  
ａ．抽出した特徴領域に於ける輝度平均値
ｂ．抽出した特徴領域に於ける輝度最大値
ｃ．抽出した特徴領域に於ける輝度最小値
ｄ．元画像と抽出した特徴領域の面積比率  単位：％
ｅ．色度比率：［Ｒ／（Ｒ＋Ｇ＋Ｂ）］      単位：％
ｆ．色度比率：［Ｇ／（Ｒ＋Ｇ＋Ｂ）］      単位：％
ｇ．抽出した特徴領域に於けるＤＣＴのＤＣ成分の平均値
ｈ．抽出した特徴領域に於けるＤＣＴのＡＣ成分の平均値
ｉ．元画像中における特徴領域に於ける位置情報
ｊ．特徴領域のジャンル（人の肌、青空など）
【００３６】
次に特徴領域として夜景判定の特徴判定説明を行い、特徴判定により、取得したシーン情報を保持すると共に、抽出した領域の特徴量を算出し、保持する。ここでは、少なくとも輝度平均値や画素数を含むサイズ情報を含む。
【００３７】
図６の抽出処理フローチャートを基に説明する。この特徴領域検出は、上記特願２００４−１９４８９１号明細書に詳細に記載されている。
【００３８】
ステップＳ１０１から入力した画像データに対して、ステップＳ１７０１においては、Ｊｐｅｇ画像の圧縮単位である８＊８画素を単位とした色度比率と輝度及び面積の組み合わせによる青空領域候補のグループの検出処理を実行する。
【００３９】
図７は、複数の画像サンプルに対して、画像内の最大輝度から最大輝度の５０％の値を閾値として、閾値より低い場合を低輝度領域に、高い場合を高輝度領域に決定し、分割された領域の面積比率を算出した結果である。縦軸に低輝度領域の画像全体に対する占有面積比率、横軸に平均輝度を表した図である。
【００４０】
暗い部分の面積が画像全体に対して広い程、あるいは画像全体の平均輝度が低い程、夜景シーン度が高い画像としている。座標では、左上方の隅へ近づくほど夜景シーン度が高くなり、右下方の隅へ近づくほど夜景シーン度が低くなる。
【００４１】
従って、領域分割した暗い部分の面積比率により夜景シーンらしさとして利用することが可能である。
【００４２】
ステップＳ１７０２においては、ステップＳ１７０１において候補となる低／高輝度の分割面積比率が対象となるか判定する。判定で否定された場合は、ステップＳ１７０６へ移行して夜景判定の候補でないことをセットする［ＮＳ＝“００００”］。検出に成功した場合は、ステップＳ１７０３へ移行して夜景候補の低／高輝度の分割領域ごとの空間周波数特性を算出する。
【００４３】
図８は低輝度領域のＪｐｅｇ  ＤＣＴ特性のＡＣ成分をまとめたデータである。横軸はＪｐｅｇ  ＤＣＴ特性のＡＣ成分を低い周波数成分から１０単位でまとめたもので、６３の空間周波数成分を７グループに代表させたものである。
【００４４】
図９は高輝度領域のＪｐｅｇ  ＤＣＴ特性のＡＣ成分をまとめたデータである。
【００４５】
図１０は、低輝度領域と高輝度領域のＪｐｅｇ  ＤＣＴ特性のＡＣ成分の差分を算出したものである。夜景画像は図１１で表すＤＣＴ特性のＡＣ成分の差分値が他の画像と比べて高いことを利用することで適合するか比較する。
【００４６】
ステップＳ１７０４においては、夜景画像と判断されたか判定する。判定で否定された場合は、ステップＳ１７０６へ移行して夜景判定の候補でないことをセットする［ＮＳ＝“００００”］。
【００４７】
また、夜景画像と判定された場合は、ステップＳ１７０５へ移行して夜景画像の検出に成功したことをセットする［ＮＳ＝“１１１１”］。更に、検出した特徴データを保存する。
【００４８】
ステップＳ１０３においては、撮影画像に対する特徴領域の抽出結果を検出し、対象となる特徴領域が検出出来なかった場合と、特徴領域が１つのみ検出した場合と、特徴領域が複数検出した場合とを判別する。
【００４９】
その後、特徴領域が検出出来なかった場合は、特徴領域の特徴量を反映した画像補正を非選択とし、通常の画像補正を選択することをセットする。
【００５０】
特徴領域が１つのみ検出した場合は、特徴領域の特徴量を反映した画像補正を選択し、セットする。特徴領域が複数検出した場合は、各々検出した特徴量の反映方法に対して調停を実行し、特徴量の判定方法を決定後セットする。詳細については、後述する。
【００５１】
ステップＳ１０４においては、ステップＳ１０３からの指示に従い対象画像に対して画像補正を実行する。
【００５２】
ステップＳ１０５においては、ステップＳ１０４にて補正処理した対象画像を、指示に従い表示装置や印刷装置へデータを送り、実行する。
【００５３】
ステップＳ１０４で実行する画像補正処理においては、一般的に下記補正などが補正項目として考えられる。  
１）    ホワイトバランス
２）    コントラスト
３）    露出
４）    彩度
５）    シャープネス
上記補正ジャンルのうち、３）露出への補正を実施した内容を開示する。
【００５４】
まず、露出補正の動作の一例を説明する。
図１２の変換テーブルを参照して受け渡しの説明を行う。
横軸は、入力画像の輝度平均（ＡＶＥ）を０から２５５の範囲で表したもので、縦軸は、変換後の輝度平均値の目標値（ＮＡＶＥ）で、範囲は０から２５５で表される。
【００５５】
図１２における目標値（ＮＡＶＥ）設定テーブルは、目標輝度レベル（ここでは１４４としている）より低輝度の画像は、目標レベルに近付くように目標値（ＮＡＶＥ）は、現在の状態より高くなるように設定し、高輝度の画像は、目標レベルに近付くように目標値（ＮＡＶＥ）は、現在の状態より低くなるように設定する。
【００５６】
ＮＡＶＥの値を図１２の変換テーブルより入力画像の輝度平均（ＡＶＥ）ごとに求め、その結果から図１３のテーブルを作成する。作成方法は、横軸の０から２５５の間に入力画像の輝度平均（ＡＶＥ＝Ａ）値をプロットする。縦軸の０から２５５の間に変換後の輝度平均値の目標値（ＮＡＶＥ＝ＮＡ）をプロットする。プロット点より垂直に互いの交点を探し出し、その点と（０，０）及び（２５５，２５５）を図のように結び変換テーブルを作成する。もしくは、目標値と（０，０）及び（２５５，２５５）の３点を通るガンマ階調の変換テーブルを作成する。この変換テーブルを用いることで、画像全体の輝度値を希望する値へ変換することが出来る。
【００５７】
上記補正ジャンルのうち、４）彩度、５）シャープネスへの補正を実施した内容を開示する。
【００５８】
図１４においては、撮影した画像のシーンジャンルによる補正強度指示値の一覧表である。
【００５９】
標準撮影された画像に対して、被写体の撮影が風景、人物、夜景の場合、標準の撮影画像に対する補正量を基準とした時の補正指示量である。
【００６０】
風景、夜景においては、シャープネス及び彩度の補正量を指定比率にて増加させるように指示している。これにより、シーンにより補正適正量の最適値が異なることがわかる。
【００６１】
本実施形態におけるステップＳ１０３について詳細に説明する。前述の説明によりステップＳ１０２において対象画像における特徴抽出処理を終了しているので、その抽出結果を踏まえた処理となる。
【００６２】
図１５に複数種類の画像特徴抽出処理のフローチャートを示す。本実施形態のフローチャートでは、特徴領域の処理対象を２つとして例示しているが、これは、２種類より多い特徴領域に対しても同じ考えを適用すればよい。本実施形態では、特徴領域として抽出判定した２種類を、主被写体である人物肌領域と青空領域である場合を例として説明を行う。例に使用する画像サンプルとしては、画像サンプル１の図１８と画像サンプル２の図１９と画像サンプル３の図２０と画像サンプル４の図２１である。
【００６３】
ステップＳ２０１においては、処理を開始する前の必要項目の初期化処理である。
【００６４】
ステップＳ２０２においては、ステップＳ１０２において特徴領域について抽出の判定に合格した対象件があるかを検出し、対象となる特徴領域の抽出がないと判定した時には、（Ｂ）へ抜け図１６のステップＳ３０３へ移行し、特徴量補正をＯＦＦ及び抽出の結果反映である“抽”にＯＦＦをセットする。
【００６５】
対象となる特徴領域の抽出があると判定した時には、ステップＳ２０３へ移行する。
【００６６】
ステップＳ２０３においては、特徴領域として検出した候補の数を確認し、検出した数にあわせて以降の検出候補ごとの特徴量取得と登録を行う。本実施形態では、画像サンプル１及び画像サンプル２においては、特徴領域として人物肌と青空の２種類の特徴領域が対象となるので以下２種類の特徴領域の処理を行う。画像サンプル３においては青空領域のみ抽出可能な画像なので１種類の特徴領域の処理を行う。画像サンプル４においては、特徴領域として人物肌と夜景シーン判定の２種類の特徴領域が対象となる
特徴領域の抽出による結果を示す。
【００６７】
サンプル画像１の図１８に対して、人物肌領域を抽出した結果として最終候補として取得した領域が図２２であり、抽出した領域の輝度平均値は“１７３”、検出面積は“２．４％”となる。また、青空領域を抽出した結果として最終候補として取得した領域が図２３であり、抽出した領域の輝度平均値は“１８６”、検出面積は“２７．９％”となる。
【００６８】
サンプル画像２の図１９に対して、人物肌領域を抽出した結果として最終候補として取得した領域が図２４であり、抽出した領域の輝度平均値は“１３１”、検出面積は“０．３％”となる。また、青空領域を抽出した結果として最終候補として取得した領域が図２５であり、抽出した領域の輝度平均値は“１６１”、検出面積は“１７．９％”となる。
【００６９】
サンプル画像３の図２０に対して、人物肌領域を抽出した結果としては、検出失敗となる。また、青空領域を抽出した結果として最終候補として取得した領域が図２６であり、抽出した領域の輝度平均値は“１７４”、検出面積は“２２．９％”となる。
【００７０】
サンプル画像４の図２１に対して、人物肌領域を抽出した結果として最終候補として取得した領域が図２７であり、抽出した領域の輝度平均値は“１２５”、検出面積は“２．１％”となる。また、夜景シーン判定した結果として低輝度部として取得した領域の検出面積は“７７．９％”となる。
【００７１】
ステップＳ２０４においては、第１の特徴領域の候補として設定した人物肌領域候補のデータの有効性を判定し、検出データを確認できた場合はステップＳ２０６へ移行し、抽出した人物肌領域の取得し、続いてステップＳ２０７へ移行し、第１の特徴領域の取得が正常に完了した確認フラグ“Ａ＝１”をセットする。セット後もしくはステップＳ２０４において第１の特徴領域の候補データ取得に失敗した場合はステップＳ２０５へ移行する。
【００７２】
ステップＳ２０５においては、第２の特徴領域の候補として設定した青空領域候補のデータの有効性を判定し、検出データを確認できた場合はステップＳ２０８へ移行し、抽出した青空領域の取得し、続いてステップＳ２０９へ移行し、第２の特徴領域の取得が正常に完了した確認フラグ“Ｂ＝１”をセットする。セット後もしくはステップＳ２０５において第２の特徴領域の候補データ取得に失敗した場合は“Ａ”へ移行する。
【００７３】
“Ａ”以降のフローを図１６に示す。
【００７４】
ステップＳ３０１においては、特徴領域の取得確認フラグ“Ａ”，“Ｂ”の値を読み込む。
【００７５】
ステップＳ３０２においては、取得した特徴領域の取得確認フラグ“Ａ”，“Ｂ”の値が共に“０”セットされているか判定を行う。共に“０”がセットされている場合は、特徴領域として定義している人物肌領域及び青空領域に該当する領域を画像中に見つけることが出来なかったことを表す。共に“０”セットされている場合はステップＳ３０３へ移行し、該当しない場合はステップＳ３０４へ移行する。
【００７６】
ステップＳ３０３においては、特徴領域の抽出結果を反映する特徴量補正機能を利用しないようにする。特徴量補正機能を非選択するための“抽＝ＯＦＦ”をセットし、この処理から抜ける。
【００７７】
ステップＳ３０４においては、取得した特徴領域の取得確認フラグ“Ａ”，“Ｂ”の値が“Ａ＝１”且つ“Ｂ＝０”の状態であるか判定を行う。判定条件に合致する場合はステップＳ３０５へ移行し、該当しない場合はステップＳ３０６へ移行する。“Ａ＝１∩Ｂ＝０”がセットされている場合は、特徴領域として定義している人物肌領域及び青空領域に該当する領域を画像中から検索した結果、人物肌領域のみ画像中に見つけることが出来たことを表す。上記条件に該当する場合はステップＳ３０５へ移行し、該当しない場合はステップＳ３０６へ移行する。
【００７８】
ステップＳ３０５においては、特徴領域として画像中から抽出した人物肌領域に重みを置いた画像補正指示を作成し、補正モジュールへ渡すようにセットする。また、セット完了を確認する“特Ａ＝ＳＥＴ”を実行し、ステップＳ３１０へ移行する。
【００７９】
ステップＳ３０６においては、取得した特徴領域の取得確認フラグ“Ａ”，“Ｂ”の値が“Ａ＝０”且つ“Ｂ＝１”の状態であるか判定を行う。判定条件に合致する場合はステップＳ３０７へ移行し、該当しない場合はステップＳ３０８へ移行する。“Ａ＝０∩Ｂ＝１”がセットされている場合は、特徴領域として定義している人物肌領域及び青空領域に該当する領域を画像中から検索した結果、青空領域のみ画像中に見つけることが出来たことを表す。上記条件に該当する場合はステップＳ３０７へ移行し、該当しない場合は特徴領域として定義している人物肌領域及び青空領域に該当する領域を画像中から検索した結果、人物肌領域及び青空領域を共に抽出したことになり、ステップＳ３０８へ移行する。
【００８０】
ステップＳ３０７においては、特徴領域として画像中から抽出した青空領域情報と、その画像の中に人物が抽出されていないことから風景の画像であると判断し、風景がより高品位になる補正定数に重みを置いた画像補正指示を作成し、補正モジュールへ渡すようにセットする。また、セット完了を確認する“特Ｂ＝ＳＥＴ”を実行し、ステップＳ３１０へ移行する。
【００８１】
ステップＳ３０８においては、特徴領域として画像中から抽出した人物肌領域と、青空領域情報による風景に対して各々画像補正指示を作成し、セットする。また、セット完了を確認する“特Ａ”“特Ｂ”をセットし、ステップＳ３０９の調停へ移行する。
【００８２】
ステップＳ３０９においては、特徴領域に於ける補正指示である“特Ａ”と“特Ｂ”が共にセットされているので、各特長量より調停作業を行い、補正指示値を決定する。
【００８３】
図１７に示す調停のフローチャートを使用して処理動作について説明する。
【００８４】
ステップＳ４０１においては、特徴領域が人物肌であるＡ特徴の特徴量より全画像領域に対する面積比率を算出し、反映比率をセットする。
【００８５】
ステップＳ４０２においては、特徴領域が青空であるＢ特徴の特徴量より全画像領域に対する面積比率を算出し、反映比率をセットする。
【００８６】
ステップＳ４０３においては、算出した“Ａ”と“Ｂ”の反映比率の大きい方に対して低い方の差分を算出し、その差分を利用して調停する。
【００８７】
ステップＳ４０４においては、調停より算出し、補正反映指示量を決定する。
【００８８】
最初に、対象画像が図１８の画像サンプル１である場合についての調停作業について実例を示す。
【００８９】
まず、人物肌の特徴量と青空領域の特徴量が同時に存在した時の補正への反映比率関係を示したものが図２８である。
【００９０】
人物肌領域を特徴領域とした場合の補正指示量を赤丸で、青空領域を特徴領域とした場合の補正指示量を青三角で示している。横軸は特徴領域として抽出した領域の全画像に対する面積比率であり単位は％である。縦軸は、図１４に開示した撮影した画像のシーンジャンルによる補正強度指示値に対しての、反映度合いを表す補正反映指示比率であり単位は％である。
【００９１】
主被写体と定義される人物肌領域は、画像に対しての面積比率が小さくても存在が確認されると、その領域に対してより有効な画像補正を行うための補正指示比率が比較的急峻に立ち上がっている。また、非主被写体と定義される青空領域は、風景シーンであるかの判断に使用されるので、占有面積比率が低い時は、風景シーンとしての重みが大きいとは言えないので、算出した面積比率に対して補正指示比率が比較的緩やかに立ち上がっている。
【００９２】
図１８の画像サンプル１である場合、人物肌領域は２．４％なので補正反映指示比率としては８３％の補正反映指示値を取得する。また、青空領域は２７．９％なので補正反映指示比率としては１００％の補正反映指示値を取得する。
【００９３】
上記の場合青空領域への補正反映指示率が人物肌領域への補正反映指示率より１７％高くなっているのでその分を、図１４に開示した撮影した画像のシーンジャンルによる補正強度指示値における標準に対する風景用の指示変動分を１００％とした時への変動分を算出する。つまり、風景シーンにおいてコントラストについては１２０が指示量であるが、これに対して式１により、
１００＋２０＊（１．００−０．８３）＝１０３．４      ・・・［式１］
１０３が補正反映指示率となる。
同じように、彩度に対しては１０５、シャープネスに対しては１０３と算出される。
【００９４】
サンプル１の場合は、青空領域の画像全体に対する面積比率が高かったが、主被写体である人物の面積が画像全体に対して重みを持つ領域を占めていたので風景用への配慮は少なく、人物最適化に近い補正を指示している。
【００９５】
図１９の画像サンプル２である場合、人物肌領域は０．３％なので補正反映指示比率としては１２％の補正反映指示値を取得する。また、青空領域は１７．９％なので補正反映指示比率としては８１．５％の補正反映指示値を取得する。
【００９６】
画像サンプル１の算出方法と同じようにすることで、
１００＋２０＊（０．８１５−０．１７９）＝１１３．９・・・［式２］
コントラストについては１１４（小数点は四捨五入）、彩度に対しては１２１、シャープネスに対しては１１４と算出される。
【００９７】
サンプル２の場合は、青空領域の画像全体に対する面積比率が高かったが、主被写体である人物の面積が画像全体に対して小さかったので風景用への最適化に近い補正を指示している。
【００９８】
図２０の画像サンプル３である場合、青空領域は２２．９％なので補正反映指示比率としては１００％の補正反映指示値を取得する。
【００９９】
特徴領域が青空だけなので、上記１００％の補正反映指示値よりコントラストについては１２０、彩度に対しては１３０、シャープネスに対しては１２０と算出される。
【０１００】
ステップＳ３１０においては、特徴領域の特徴量を反映する特徴量補正を利用するために選択する。更に、特徴量補正機能を選択するための“抽＝ＳＥＴ”をセットし、この処理から抜ける。
【０１０１】
その後、先述のステップＳ１０４の画像補正へ処理を移す。
【０１０２】
夜景シーンと関連した画像においては、サンプル画像４の図２１にて説明する。
動作処理自体は前述の処理の流れをそのまま利用する。図１５の処理フローにおいて第２の候補が夜景シーンとなるだけである。
【０１０３】
検出面積比率による補正指示量の作成においてのみ図２８によるものでなく図２９における表により決定する。
【０１０４】
縦軸は、画像内の最大輝度から最大輝度の５０％の値を閾値として、閾値より低い低輝度領域の全画像における面積比率である。横軸は、上述の低輝度領域内の平均輝度である。
【０１０５】
サンプル画像４においては、人物肌領域の抽出した領域の検出面積は“２．１％”となるので、補正反映指示比率は“８１”となる。また、夜景シーンにおける低輝度領域では面積率が７７．９％であるので、図２９の表より“８０”となる。
【０１０６】
上記の場合人物肌領域への補正反映指示率が夜景シーンにおける低輝度領域への補正反映指示率より３．１％高くなっているので、この場合は図１４における人物シーンに対する指示通りコントラスト１００、彩度１００、シャープネス１００の人物最適化補正を指示している。
【０１０７】
人物領域が小さく、夜景領域が大きい場合は、人物よりも夜景への補正配慮が多くすることになる。
【０１０８】
（実施形態２）
前述の実施形態と同じ構成を利用して、特徴領域の登録を個人の顔を対象とした場合の処理について説明する。
【０１０９】
図２の処理におけるステップＳ１０２において、図３０の人物判別用認証登録を利用した画像特徴抽出処理のフローチャートに沿った動作を実行する。
【０１１０】
ステップＳ８０１においては、個人の登録の数である登録数Ｔのセット数“ｎ”を確認する。
【０１１１】
ステップＳ８０２においては、“ｎ”が０であるか、つまり登録した個人情報が無いかを確認する。“ｎ＝０”の場合はステップＳ８０７へ移行する。また、“ｎ≠０”の場合はステップＳ８０３へ移行する。
【０１１２】
ステップＳ８０３においては、ｎの人数分の個人判別用登録情報を読み込む。
【０１１３】
ステップＳ８０４においては、登録定義に基づいて画像の中に登録している個人の顔領域が存在するか特徴抽出処理をする。個人抽出においては、その個人が全画像において意味のある大きさである特定の面積を占めていることが検出対象の条件となる。
【０１１４】
ステップＳ８０５においては、上述の抽出処理において登録した個人顔と判定出来た領域があるかを判定する。登録した個人の顔と一致する領域が存在しない場合はステップＳ８０７へ移行する。また、登録した個人の顔と一致する領域が存在する場合はステップＳ８０６へ移行する。
【０１１５】
ステップＳ８０６においては、抽出した個人登録の顔領域の特徴量を取得し、保存してＢであるステップＳ１０３へ進む。
【０１１６】
ステップＳ８０７においては、登録した個人登録の顔領域を検出できなかったので、特徴量補正を非選択にするため“抽”にＯＦＦをセットしてＢであるステップＳ１０３へ進む。
【０１１７】
ステップＳ１０３においては、図３１、図３２の人物判別用認証登録を利用した画像特徴抽出処理のフローチャートに沿った動作を実行する。
【０１１８】
ステップＳ９０１においては、検出した登録者が複数か一人かを判断する。一人の場合はステップＳ９０２へ移行し、複数の場合はステップＳ９０４へ進む。
【０１１９】
ステップＳ９０２においては、該当する登録者ごとに設定された補正内容を確認する。図１１は、その例である。画像補正に対する補正目標指示値が登録されている。検出した登録者が“霞ヶ関花子”の場合は、画像補正において露出補正において登録者の顔が輝度１８０になるように、ソフトフォーカスはやや強めの１３０％、彩度補正では１１０％に指定がされている。
【０１２０】
ステップＳ９０４においては、検出したすべての登録者の補正指示内容及び優先順位を読み込む。優先順位は図１１において予め設定している順位か、検出した顔の面積の大きい順、もしくはその複合条件により設定されても良い。
【０１２１】
ステップＳ９０５において調停を行う。調停のフローを図３２に示す。
【０１２２】
ステップＳ１００１において、優先順位の重み設定を検出する。つまり、先述した検出した面積による順位付けか、登録上での指定による優先順位かを判断する。この場合、優先順位と面積の相乗関連での設定の場合を説明する。
優先順位を分母とし、検出面積を分子とした時の値の大きさにより優先順位を決定する。
【０１２３】
ステップＳ１００２において、優先順位が最も高い候補との差が設定値未満であるか比較を行う。先の霞ヶ関花子の検出面積が５％、もう一人検出した霞ヶ関太郎の検出面積が２％と小さく撮影されている場合（不図示）について説明する。
【０１２４】
霞ヶ関花子は面積率５％を優先順位の３で除算するので“１．６７”が評価値となり、霞ヶ関太郎は面積率２％を優先順位の２で除算するので“１．００”が評価値となる。この差分は“０．６７”となる。
【０１２５】
ステップＳ１００３において、予め設定している閾値“０．５”と先の差分“０．６７”を比較し、この場合は閾値より差分が大きいのでステップＳ１００４へ進み、算出した優先順位が最も高い霞ヶ関花子の目標値を補正指示データとしてセットする。
【０１２６】
閾値より差分が小さい場合はステップＳ１００５において、順位付けによる重みを付けて補正指示データを作成する。
【０１２７】
この後、ステップＳ１０４による画像補正を実行する。
【０１２８】
＜他の実施形態＞
本発明は上述のように、複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。
【０１２９】
また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように該各種デバイスと接続された装置あるいはシステム内のコンピュータに、上述の実施形態機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って上述の各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【０１３０】
またこの場合、上述のソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１３１】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１３２】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【０１３３】
さらに供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施形態に関わる装置のハード構成を示すブロック図である。
【図２】本発明の実施形態の全体の流れを表すフローチャートである。
【図３】本発明の実施形態に関わる主要人物肌領域検出処理の概要フローチャートである。
【図４】本発明の実施形態に関わる青空領域検出処理の概要フローチャートである。
【図５】本発明の実施形態に関わる画像特徴抽出における検出結果の一例を示す図である。
【図６】本発明の実施形態に関わる夜景判定処理の概要フローチャートである。
【図７】本発明の実施形態に関わる夜景判定処理の第１の判定における輝度と面積比率による夜景判定閾値に対する分布図である。
【図８】本発明の実施形態に関わるサンプルの夜画像における低輝度領域の空間周波数特性例を示す特性図である。
【図９】本発明の実施形態に関わるサンプルの夜画像における高輝度領域の空間周波数特性例を示す特性図である。
【図１０】本発明の実施形態に関わるサンプルの夜画像における低輝度―高輝度領域の差分の空間周波数特性例を示す特性図である。
【図１１】本発明の実施形態に関わる人物判別用認証登録における個別優先順位管理の一例を示す図である。
【図１２】本発明の実施形態に関わる露出補正量変換テーブルの例を示す図である。
【図１３】本発明の実施形態に関わる露出補正用のルックアップテーブルの例を示す図である。
【図１４】本発明の実施形態に関わる標準的な画像のシーンジャンル別に設定している画像補正への強度指示（百分率）の説明図である。
【図１５】本発明の実施形態に関わる複数種類の画像特徴抽出処理のフローチャート（その１）である。
【図１６】本発明の実施形態に関わる複数種類の画像特徴抽出処理のフローチャート（その２）である。
【図１７】本発明の実施形態に関わる複数種類の画像特徴抽出処理のフローチャート（その３）である。
【図１８】本発明の実施形態に関わるサンプル画像１を示す図である。
【図１９】本発明の実施形態に関わるサンプル画像２を示す図である。
【図２０】本発明の実施形態に関わるサンプル画像３を示す図である。
【図２１】本発明の実施形態に関わるサンプル画像４を示す図である。
【図２２】本発明の実施形態に関わるサンプル画像１に特徴領域として人物肌領域を抽出した結果を示す図である。
【図２３】本発明の実施形態に関わるサンプル画像１に特徴領域として青空領域を抽出した結果を示す図である。
【図２４】本発明の実施形態に関わるサンプル画像２に特徴領域として人物肌領域を抽出した結果を示す図である。
【図２５】本発明の実施形態に関わるサンプル画像２に特徴領域として青空領域を抽出した結果を示す図である。
【図２６】本発明の実施形態に関わるサンプル画像３に特徴領域として青空領域を抽出した結果を示す図である。
【図２７】本発明の実施形態に関わるサンプル画像４に特徴領域として人物肌領域を抽出した結果を示す図である。
【図２８】本発明の実施形態に関わる画像特徴抽出の検出種類ごとに設定した抽出領域の画像全体に占める面積比率に対応した補正指示量の特徴を示す図である。
【図２９】本発明の実施形態に関わる夜景シーン度による重み付け関連を示す表図である。
【図３０】本発明の実施形態に関わる人物判別用認証登録を利用した画像特徴抽出処理のフローチャート（その１）である。
【図３１】本発明の実施形態に関わる人物判別用認証登録を利用した画像特徴抽出処理のフローチャート（その２）である。
【図３２】本発明の実施形態に関わる人物判別用認証登録を利用した画像特徴抽出処理のフローチャート（その３）である。
【符号の説明】
【０１３５】
５１  入出力ポート
５２  マウス
５３  キーボード
５４  モニタ
５５  制御部
５６  メモリカードドライブ
５７  ハードディスク
５８  バス
【図１】
2006179987.tif 000003
【図２】
2006179987.tif 000004
【図３】
2006179987.tif 000005
【図４】
2006179987.tif 000006
【図５】
2006179987.tif 000007
【図６】
2006179987.tif 000008
【図７】
2006179987.tif 000009
【図８】
2006179987.tif 000010
【図９】
2006179987.tif 000011
【図１０】
2006179987.tif 000012
【図１１】
2006179987.tif 000013
【図１２】
2006179987.tif 000014
【図１３】
2006179987.tif 000015
【図１４】
2006179987.tif 000016
【図１５】
2006179987.tif 000017
【図１６】
2006179987.tif 000018
【図１７】
2006179987.tif 000019
【図１８】
2006179987.tif 000020
【図１９】
2006179987.tif 000021
【図２０】
2006179987.tif 000022
【図２１】
2006179987.tif 000023
【図２２】
2006179987.tif 000024
【図２３】
2006179987.tif 000025
【図２４】
2006179987.tif 000026
【図２５】
2006179987.tif 000027
【図２６】
2006179987.tif 000028
【図２７】
2006179987.tif 000029
【図２８】
2006179987.tif 000030
【図２９】
2006179987.tif 000031
【図３０】
2006179987.tif 000032
【図３１】
2006179987.tif 000033
【図３２】
2006179987.tif 000034