(57)【特許請求の範囲】
【請求項１】
入力画像データに含まれる注目画像を抽出するステップと、該注目画像の特徴量に基づいて算出された標準補正値を用いて入力画像データを補正して出力画像データを生成する補正ステップとを備えた画像処理方法において、
該注目画像の領域を解析して、前記入力画像データの全領域に対する前記注目画像の領域の比率である面積比率を含む特徴情報を取得するステップと、
前記特徴情報に含まれる色度情報またはＤＣＴ情報から、前記注目画像の検出の成功率を算出するステップと、
前記面積比率と前記成功率とを用いて前記算出された標準補正値を修正して実補正値を取得する修正ステップと、
前記注目画像の領域における輝度情報から前記注目画像における平均輝度を算出するステップと
を備え、前記補正ステップは、該実補正値を用いて入力画像データを補正し、前記修正ステップは、前記面積比率と前記成功率とが大きいほど前記標準補正値の修正比を大きくし、
前記補正ステップは、前記面積比率、および前記注目画像における平均輝度と、前記入力画像データの平均輝度とに基づいて、前記入力画像データに対して輝度補正を行なうことを特徴とする画像処理方法。
【請求項２】
前記注目画像は、青空であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記注目画像は、人物肌であることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
入力画像データに含まれる注目画像を抽出する抽出手段と、該注目画像の特徴量に基づいて算出された標準補正値を用いて入力画像データを補正して出力画像データを生成する補正手段とを備えた画像処理装置において、
該注目画像の領域を解析して、前記入力画像データの全領域に対する前記注目画像の領域の比率である面積比率を含む特徴情報を取得する解析手段と、
前記特徴情報に含まれる色度情報またはＤＣＴ情報から、前記注目画像の検出の成功率を算出する算出手段と、
前記面積比率と前記成功率とを用いて前記算出された標準補正値を修正して実補正値を取得する修正手段と、
前記注目画像の領域における輝度情報から前記注目画像における平均輝度を算出する手段と
を備え、前記補正手段は、該実補正値を用いて入力画像データを補正し、前記修正手段は、前記面積比率と前記成功率とが大きいほど前記標準補正値の修正比を大きくし、
前記補正手段は、前記面積比率、および前記注目画像における平均輝度と、前記入力画像データの平均輝度とに基づいて、前記入力画像データに対して輝度補正を行なうことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および装置に関し、より詳細には、入力画像データを補正して出力画像データを得る画像処理方法および装置に関する。
【背景技術】
【０００２】
静止画像入力機器として、デジタルカメラを始めデジタルビデオ、ＰＤＡ、携帯電話など多様化しているが、その画像保存ファイル形式としては、ＪＰＥＧが主流を占めている。撮影された静止画の観察や印刷を行う場合に、撮影した画像を補正して利用することが一般化してきているが、画像の中の注目画像を定義してその部分を中心とした画像補正も行われるようになっており、これは高級補正と呼ばれる。
【０００３】
ネガ画像を印画紙へプリントする際の露光量補正を行うに際し、一般に画像中の主要部として鑑賞するときに最も注目される部位は人物に相当する部分であることから、人物に相当する部分を抽出し、抽出した人物に相当する領域の重みが、それ以外の領域の重みよりも大きくなるように各領域に重み係数を設定して画像中の主要部に相当する領域の画質を向上させるように露光量を補正する技術が提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平９−３０４８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述の従来技術の方法を利用するには下記３点の問題がある。
（１）主要部における重み設定において、全体の画像における主要部の占める影響度についての考慮がされていないので、例えば、主要部が画像全体に占める面積領域が極めて少ない場合でも、主要部を中心として重みを付けた補正を行うことになり、結果として画像全体の品質が劣化してしまう場合がある。
（２）従来技術は、その前提として注目画像の検出確率を１００％確かとして処理しているため、検出が間違った場合においては注目対象でない物について重みを増した補正を行う危険性があるという問題がある。
（３）注目画像として検出した対象が、必ずしもこの領域に対する重み付けが必要でないものもありえる。例えば、注目画像として画像中の青空領域検出のように、注目画像が主要部と限らない場合が存在する。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決することを目的とし、請求項１に記載の発明は、入力画像データに含まれる注目画像を抽出するステップと、注目画像の特徴量に基づいて算出された標準補正値を用いて入力画像データを補正して出力画像データを生成する補正ステップとを備えた画像処理方法において、注目画像の領域を解析して、入力画像データの全領域に対する注目画像の領域の比率である面積比率を含む特徴情報を取得するステップと、特徴情報に含まれる色度情報またはＤＣＴ情報から、注目画像の検出の成功率を算出するステップと、面積比率と成功率とを用いて算出された標準補正値を修正して実補正値を取得する修正ステップと、注目画像の領域における輝度情報から注目画像における平均輝度を算出するステップとを備え、補正ステップは、実補正値を用いて入力画像データを補正し、修正ステップは、面積比率と成功率とが大きいほど標準補正値の修正比を大きくし、補正ステップは、面積比率、および注目画像における平均輝度と、入力画像データの平均輝度とに基づいて、入力画像データに対して輝度補正を行なうことを特徴とする。
【００１２】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、注目画像は、青空であることを特徴とする。
【００１３】
請求項３に記載の発明は、請求項１に記載の画像処理方法において、注目画像は、人物肌であることを特徴とする。
【００１４】
請求項４に記載の発明は、入力画像データに含まれる注目画像を抽出する抽出手段と、注目画像の特徴量に基づいて算出された標準補正値を用いて入力画像データを補正して出力画像データを生成する補正手段とを備えた画像処理装置において、注目画像の領域を解析して、入力画像データの全領域に対する注目画像の領域の比率である面積比率を含む特徴情報を取得する解析手段と、特徴情報に含まれる色度情報またはＤＣＴ情報から、注目画像の検出の成功率を算出する算出手段と、面積比率と成功率とを用いて算出された標準補正値を修正して実補正値を取得する修正手段と、注目画像の領域における輝度情報から注目画像における平均輝度を算出する手段とを備え、補正手段は、実補正値を用いて入力画像データを補正し、修正手段は、面積比率と成功率とが大きいほど標準補正値の修正比を大きくし、補正手段は、面積比率、および注目画像における平均輝度と、入力画像データの平均輝度とに基づいて、入力画像データに対して輝度補正を行なうことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、注目画像の領域を解析して、入力画像データ中注目画像の領域の全画像の領域に対する比率である面積比を含む特徴情報を取得するステップと、面積比を用いて算出された標準補正値を修正して実補正値を取得する修正ステップとを備え、補正ステップは、実補正値を用いて入力画像データを補正するので、画像の中の注目画像を検出して補正する場合、注目画像を中心に画像全体との関係で最適な補正を実行し補正効果を高めることができる。
【発明を実施するための最良の形態】
【００１６】
（第１実施形態）
以下、図面に基づいて本発明による画像処理方法を説明する。  
本発明は、上記画像検出技術による検出結果をより高い品質の画像補正実現のために行われるものである。本発明を実施する際の全体の処理を説明するためのフローチャートを図１に示す。
【００１７】
S101において、画像取得と共に印刷に関する情報もあわせて取得する。また、取得データより各種動作の有無を含む初期設定を行う。本ステップにおいて、いずれの種類の注目画像の処理を行うかを決定し、以下の処理のためにその情報を設定しておき、以下のステップではその情報を参照して設定された種類の注目画像についての処理をそれぞれ行うことになる。S102において、設定された注目画像の種類によっては実施される場合、されない場合があるが、画像中における注目画像の検出処理が行われ、検出した注目画像に対する特徴量の算出を行う。さらに、入力された画像データが良好画質であるか否かの解析を行う。ここで、良好画像とは、一般に下記のような特徴を有するものであり、本明細書でもこの条件を満たす画像を良好画像と定義する。
（１）光源のホワイトバランスが良好である
（２）コントラストが良好である
（３）必要な部分の階調が確保されている
【００１８】
入力画像を解析して上記条件を満足する画像であるか否かを判断し、満足しない場合は以降のステップにおける画像補正で必要な補正項目に対する種々のパラメータを算出して出力する。
【００１９】
S103において、S102で得られた種々のパラメータを元に標準補正値である画像補正値を決定する。S104において、入力する画像データと検出した注目画像との関連により決定した補正用パラメータ、すなわち特徴情報に基づいてS103で決定した画像補正値に修正を加えた実補正値を用いて画像の補正を行う。
【００２０】
また、S101において、設定情報の取得の他に行う初期設定のうち注目画像検出を行うが、この際取得した設定情報との関連も踏まえて、図２に示すように注目画像の種類ごとに検出動作の対象とするか否かの設定を行う。すなわち、次に説明する図２のフローはS101に含まれる処理である。
【００２１】
ステップS201において、取得画像中の注目画像として人物肌を検出して処理を行うか否かを判断する。行わないときはS203の次の注目画像に対しての選択へ進む。また、処理を行うときはS202において、人物肌検出処理許可のフラグを立て、その後S203の次の注目画像に対しての選択へ進む。
【００２２】
ステップS203において、取得画像中の注目画像として青空を検出して処理を行うか否かを判断する。行わないときはS205の次の注目画像に対しての選択へ進む。また、行うときはS204において、青空検出処理許可のフラグを立て、その後S205の次の注目画像に対しての選択へ進む。
【００２３】
ステップS205において、取得画像中の注目画像において夜景シーンを検出して処理を行うか否かを判断する。行わないときは判定対象の設定処理を終了する。また、行うときは、S206において、夜景シーン判定検出処理許可のフラグを立て、その後判定対象の設定処理を終了する。
【００２４】
次に、ステップS102で行っている注目画像検出・解析処理について説明する。  
図３は注目画像として人物肌を検出するときのフローである。S301において、S202で人物肌検出処理許可のフラグを立てられたか否か、すなわちONか否かの確認を行い、OFFの場合は人物肌検出処理を行わずに次の処理に進む。また、ONの場合、S302に進む。
【００２５】
S302において、上述の背景技術による注目画像の検出処理を実行する。検出処理が終了したらS303へ進む。S303において、人物肌検出の処理結果として最終候補を検出したか否かの判定を行う。未検出のときはS304へ進み、未検出フラグをセットして本処理を終了し次の処理に進む。また、最終候補を検出した場合、ステップS305において、最終候補を検出した画像領域の特徴量、すなわち特徴情報として（１）面積情報、（２）輝度情報、（３）色度情報、（４）ＤＣＴ情報を算出し記憶する。
【００２６】
ここで、ＤＣＴ情報とは、注目画像検出した領域に含まれる上記８×８画素ブロックのＤＣＴ変換値の平均である。すなわち、Ｊｐｅｇファイルのデータ圧縮においては、８×８画素ブロック単位のデータに対して離散コサイン変換（ＤＣＴ変換）をかけており、この変換により得られるＤＣＴ変換値を平均してＤＣＴ情報を算出する。
【００２７】
図４は注目画像として青空を検出する場合のフローである。S401において、S204で青空検出処理許可のフラグを立てられたか否かの確認を行い、OFFであれば本処理を終了し次の処理に進む。また、ONである場合はS402に進む。S402において、上述の検出処理を実行し、検出処理が終了したらS403へ進む。
S403において、青空検出の処理結果として最終候補を検出したか否かの判定を行う。未検出のときはS404へ進み、未検出フラグをセットして本処理を終了し次の処理に進む。また、最終候補を検出した場合ステップS405において、最終候補を検出した画像領域の特徴量として（１）面積情報、（２）輝度情報、（３）色度情報、（４）ＤＣＴ情報を算出して記憶する。
【００２８】
図５は、注目画像として夜景シーンであるか否かを判定するときのフローである。S501において、S206で夜景シーンであるか検出処理許可のフラグを立てられたか否かの確認を行い、OFFであれば夜景シーンで検出処理を終了し次の処理に進む。また、ONである場合はS502に進む。
【００２９】
S502において、夜景シーン判定処理を実行する。判定処理が終了したらS503へ進む。S503において、夜景シーン判定の処理結果として最終候補を検出したか否かの判定を行う。未検出のときはS504へ進み未検出フラグをセットして終了する。また、夜景シーンであると判定した場合はステップS505において、最終候補を検出した画像領域の特徴量として（１）面積情報、（２）輝度情報、（３）色度情報、（４）ＤＣＴ情報を算出し記憶する。
【００３０】
注目画像として青空領域を設定した場合の、その後の処理の詳細を説明する。  
図６は、風景画像として撮影された画像サンプルである。この画像中には青空領域が存在する。上述の画像サンプルに対して図４で示された青空領域検出を行った結果が図７の画像である。８×８画素ブロック単位で、予め設定してある色度及び輝度範囲に適合するブロックを判定し、更に適合した隣接ブロックの集合による候補領域を形成し、その領域でのＤＣＴ特性を算出して青空の定義特性に合致するか否かを判定する。
【００３１】
判定処理の過程で算出した（１）面積情報、（２）輝度情報、（３）色度情報、（４）ＤＣＴ情報を標準補正値を修正するための特徴量として記憶する。
【００３２】
図８は、上述の画像中の青空領域の検出を複数の画像に対して行った結果をもとに検出した画像が、目的の青空領域を正しく検出しているか否かを判定した統計結果である。すなわち、上述の青空領域の検出結果としてステップS405で取得した面積情報と、検出が成功する確立との関係を示す表となる。横軸は、全画像に占める検出した青空領域の面積比率である。縦軸は、検出した面積率の各範囲内で青空以外を誤検出してしまった場合と正しく検出した場合の比率である。
【００３３】
図８に示すグラフから、検出した青空の領域の面積率が１．０％未満の場合に正しく認識する確立は、おおよそ８０％程度であることを読み取ることができる。また、１％以上５％未満の領域の場合では正しく認識される可能性は９０％以上で、５％以上の検出領域の場合は、検出の成功率は１００％である。
【００３４】
このように、検出した面積比率とその検出成功率とにある程度の相関がある検出系においては、たとえ注目画像が検出されたとしても、それが誤検出である場合、誤検出された注目画像に最適化した画像補正を実行すると却って画像が劣化する場合も考えられる。
【００３５】
一般に、補正処理を行い青空を検出したときは、その画像は野外の風景画像の可能性が高いと判断して通常の画像処理よりコントラストと彩度を高めにした画像補正定数を用いて補正を行う。しかし、上記のような検出系においては誤検出の可能性を考慮して、通常の補正よりどの程度増幅または減少させるかを示す修正比を導入して実際の画像に合わせた補正が可能になるように補正値を修正する。本実施形態においては、標準補正値を１００％としたときに、面積率が１％未満のときは、図８の面積比の検出結果を考慮して、修正比である増幅量を８０％として補正強度を弱め、１％以上の検出確率が高い領域においては本来の標準補正値となるよう修正比を１として、１００％標準の補正を効かすようにする。なお、検出成功率と補正量の増幅分のパーセンテージは一致しなくてもよい。
【００３６】
図２６は、本実施形態の画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置は、復号部２６１０と復号部２６１０から取得したデータに基づいて補正対象の画像領域を認識する画像認識部（第１画像抽出を実行）２６３０と、画像認識部２６３０からの認識領域を所望の色に補正する色調補正部２６２０とから構成される。色調補正部２６２０から出力される再生され補正された画像（ＢＭＰ）は、プリンタに送られてプリントされる。
【００３７】
画像認識部２６３０は、復号部２６１０から復号画像（ＢＭＰ）を受信して指定された対象色（本例では肌色）の領域を検出する対象色検出部２６３１と、復号部２６１０から復号ＤＣＴデータを受信して、対象色検出部２６３１で検出された対象色の候補領域における空間周波数を生成する空間周波数生成部２６３２と、対象色検出部２６３１で検出された対象色の候補領域から空間周波数に基づいて、色調補正の対象領域を選別する対象色領域選別部２６３３を有する。対象色検出部２６３１は復号画像を記憶する復号画像記憶部２６３１ａを有するが、この復号画像記憶部２６３１ａは対象色検出部２６３１にある必要はなく他の処理部と兼用されてよい。また、対象色領域選別部２６３３は、選別のための判別テーブル２６３３ａを有している。この判別テーブル２６３３は、画像のサイズに対応して複数の判別テーブルを有してもよい。
【００３８】
画像認識部２６３０は、更に本実施形態の処理を改善するため、復号部２６１０から量子化テーブル値を受信して、禁止するためのしきい値２６３４ａに基づく判定から色調補正処理を禁止する色調補正禁止部２６３４を有する。
【００３９】
色調補正部２６２０は、画像認識部２６３０で選別された選別領域の色を補正対象色（本例では肌色）に、例えば色補正テーブル２６２0ａなどを使用して既知の色補正処理を行う。この色調補正の処理は、所定の条件で対象色領域選別部２６３３、あるいは色調補正禁止部２６３４からの色調補正禁止信号により禁止される。この補正処理は簡素化のためには画像全体に施しても良いが、画質を高めることが目的であれば領域によって異なる補正、あるいは部分的な補正であってもよい。本発明の特徴は、かかる色調補正の方法にはないので本実施形態では簡単に説明する。
【００４０】
図２７は、本実施形態の画像処理を実現するハードウエア及びソフトウエアの構成例を示す図である。なお、図２７は、本実施形態の特徴部分である画像認識部２６３０を中心に説明している。この装置は汎用のコンピュータでも実現できるし、専用のコンピュータにより実現することもできる。
【００４１】
ＣＰＵ２７１０は演算処理を行い、ＲＯＭ２７２０はＣＰＵ２７１０が使用する固定のデータ及びプログラム（ＯＳやＢＩＯＳなどはここに有るとする）を格納する。ＲＡＭ２７３０は本実施形態でＣＰＵ２７１０が使用するデータやプログラムを一時格納する。ここで、本実施形態では、アプリケーションプログラムは、後述の外部記憶部２７４０からＲＡＭ２７３０のプログラムロード領域１３２にロードされて、ＣＰＵ２７１０により実行される。
【００４２】
ＲＡＭ２７３０がデータ記憶領域２７３１に記憶するデータには、復号部２６１０が復
号した復号画像あるいは色調補正された再生画像を記憶する復号画像データ領域２７３１ａ、補正対象色（本例では肌色）データを記憶する補正対象色領域２７３１ｂ、検出された対象色領域を記憶する候補領域の記憶領域２７３１ｃ、候補領域から形成される候補グループを記憶する候補グループ領域２７３１ｄ、最終的に選別された領域を記憶する選別領域の記憶領域２７３１ｅ、復号部２６１０からの復号ＤＣＴデータを記憶する復号ＤＣＴデータ記憶領域２７３１ｆ、生成された空間周波数を記憶する空間周波数領域２７３１ｇ、対象色領域を選別するために使用する判別テーブルを記憶する判別テーブル領域２７３１ｈ、復号部２６１０からの量子化テーブルを記憶する量子化テーブル領域２７３１ｉ、量子化テーブルの係数を加算した値を記憶する量子化係数加算値の記憶領域２７３１ｊ、色調補正の禁止などに使用するしきい値群を記憶する領域２７３１ｋを含んでいる。
【００４３】
外部記憶部２７４０は、ディスクやメモリカードなどの大容量あるいは抜き差し可能な媒体を含み、フロッピー(登録商標）ディスクやＣＤなどを含む。外部記憶部２７４０のデータ記憶領域２７４１には、判別テーブル１〜ｎ２７４１ａやしきい値群２７４１ｂが格納されている。また、他のパラメータや画像データなどを蓄積するデータベースが記憶されてもよい。プログラム格納領域２７４２には、大まかに分類すると対象色領域検出モジュール２７４１ｃ、空間周波数生成モジュール２７４１ｄ、対象色領域選別モジュール２７４１ｅ、色調補正禁止モジュール２７４１ｆ、そして後述の第２の実施形態で実行される特徴部位抽出モジュール２７４１ｇが格納されている。
【００４４】
更に、図２７に示す装置は、復号部２６１０及び／又は色調補正部２６２０を兼ねてもよく、その場合には、更にデータとして色調補正テーブル２７４１ｆ、プログラムとして色調補正モジュール２７４１ｉ、後述の第２の実施形態で使用されるボケ補正モジュール２７４１ｊを格納してもよい。
【００４５】
入力インターフェース２７５０は、本例では復号部２６１０からの復号データ（ＢＭＰ）、復号ＤＣＴデータ、量子化テーブル値、また装置固有のあるいは外部から指定可能な対象色データを入力する。出力インターフェースは２７６０は、選別領域や色調補正禁止信号を出力する。なお、本装置が色調補正部も兼用するのであれば、出力は色調補正画像データ（ＢＭＰ）となる。更に、本装置が復号部２６１０も兼ねてもよく、その場合はＪＰＥＧデータが入力され色調補正画像データ（ＢＭＰ）が出力される。その場合には、さらにデータ及びプログラムが準備されることになる。
【００４６】
（第２実施形態）
第２実施形態は、上述の第１実施形態と同じ構成であり、注目画像の対象も同じく青空であるが、検出ときの過程で検出判定の色度比率の閾値との距離や、ＤＣＴ特性の閾値との距離からの注目画像における検出の成功率を算出し、この値を用いて補正量を修正するものである。
【００４７】
注目画像検出の目的は、画像中に定義した注目画像が存在するか検索し検出されたときは、検出対象もしくはそれに付随する場面が最適な画像になるように補正することである。したがって、検出された注目画像の全画像に占める面積によって補正後の効果が違ってくる。逆にいえば、注目画像の画像全体に占める割合が大きいと注目画像の検出を誤判定していたときの影響も大きい、すなわち画像品質が悪化することになる。
【００４８】
これに鑑みて、注目画像の検出成功率と注目画像の画像全体に占める面積率とにより画像補正の補正定数の効果比率、すなわち修正比を決定する場合の具体的な結果を図９に示す。横軸は、注目画像検出において検出した注目画像の画像全体における占有面積比率である。縦軸は、注目画像検出により通常の画像補正定数より増幅した最大分を１００％としたときの修正比である増幅率を表している。折れ線データは検出した注目画像面積率により補正像の増幅率を決定するためのものである。すなわち、上述の通り特徴情報をもとに算出した検出成功率によりいずれの折れ線を用いるかを決定し、折れ線が決定した後図９に示すグラフに基づき、面積比率に対応する増幅率を決定するのである。
【００４９】
実線で示される折れ線は、注目画像検出の成功率が９８％より上の検出結果が得られた検出対象に対する場合であり、この場合、全画像に対する面積率が７０％のときに補正増幅率を最大限の１００％に設定する。面積率が１０％のときは補正増幅率が７０％までの増加にとどまることを意味している。これは、検出成功率が十分高いので、７０％と十分な面積比を有する場合は最大に補正を効かすことができるが、面積比が低い場合はたとえ検出が成功していたとしてもあまりに注目画像向けの補正をし過ぎるとその他の部分の品質が悪化するため、ある程度補正を押さえる必要があることを意味している。また、面積比が７０％を越えると却って増幅率を落とすのは、注目画像の面積が画像全体のほとんどの部分を占めるので、そもそも補正をかけること自体の必要性が低下するからである。
【００５０】
破線で示されている折れ線は、注目画像検出の成功率が９０％〜９８％の成功率と算出された検出対象に対する場合で、この場合、全画像に対する面積率が７０％のときに補正増幅率を最大限の７０％に設定する。面積率が１０％のときは補正増幅率が５０％までの増加にとどまることを意味している。
【００５１】
一点差線で示されている折れ線は、注目画像検出の成功率が８０％〜９０％の成功率と算出された検出対象に対する場合を表している。二点差線で示されている折れ線は、注目画像検出の成功率が６０％〜８０％の成功率と算出された検出対象に対する場合を表している。補正の増幅率は、面積率７０％をピークにして成功率が大きいほど高くなっていることがわかる。
【００５２】
図１０は、検出判定から補正テーブル決定のフローチャートである。S1001において、注目画像を青空領域とした検出処理を実行する。検出処理が終了後、S1002へ移行する。S1002において、青空検出の処理結果として最終候補を検出したか否かの判定を行う。未検出のときはS1003へ進み、未検出フラグをセットして終了する。また、最終候補を検出した場合は、S1004に進み、最終候補を検出した画像領域の特徴量を取得して検出成功率を算出する。
【００５３】
ステップS1005において、注目画像検出の成功率が９８％以上の設定であるかを判定する。適合する場合はステップS1006へ進み、図９の実線で表された折れ線を参照して補正強度テーブルを生成し記憶する。適合しない場合は、S1007へ進む。
【００５４】
ステップS1007において、注目画像検出の成功率が８０％以上の設定であるかを判定する。適合する場合はステップS1008へ進み、図９の破線で表された折れ線を参照して補正強度テーブルを生成し記憶する。適合しない場合は、S1009へ進む。
【００５５】
S1009において、一点差線で表された折れ線を参照して補正強度テーブルを生成し記憶する。図９には二点差線の検出成功率６０％〜８０％の折れ線もあるが、本実施形態においては、８０％以下の検出率については補正の対象としていない。但し、これは、あくまでも一実施例に過ぎず、注目画像の面積率と検出の確からしさに対応して、補正定数を決定するものはすべて含まれる。
【００５６】
以上により、補正値変換テーブルが記憶されるため、その後の画像補正処理においては、変換テーブル読み出して修正比を決定し実際の補正を行う。また、本実施形態においては、検出の成功率に基づいて補正量を最適化するので、注目画像を誤検出した場合であっても、大きく画像品質を劣化させることはない。
【００５７】
（第３実施形態）
上述の第１実施形態と同じ構成で、注目画像として人物肌領域を対象物とした検出について以下に説明する。  
図１１は、ポートレート画像として撮影された画像サンプルである。この画像中には人物肌領域が存在する。
【００５８】
上記、画像サンプルに対して図３で示めされた人物肌領域検出処理を実行した結果が図１２の画像である。図１２には、検出候補グループとして検出面積の大きい順に候補番号が振られており、１の候補を中心に補正のためのデータとして情報を引き渡す。人物肌領域検出の基本検出原理は、８×８画素ブロック単位で予め設定してある色度および輝度範囲に適合するものを検出し、更に検出したブロックの隣接ブロック集合からなる候補領域を形成させ、その領域でのＤＣＴ特性を算出して人物肌の定義特性に合致するか否かを判定するというものである。
【００５９】
判定処理の過程で算出した（１）面積情報、（２）輝度情報、（３）色度情報、（４）ＤＣＴ情報を、その後の補正へ生かすための特徴量として記憶する。このようにして得られた特徴量を条件として注目画像検出処理を実行し、検出した結果から得られた注目画像の情報を画像処理へ反映させる。
【００６０】
図１３により受け渡しの説明を行う。横軸は、入力画像の輝度の平均値（Ｌａｖｅ）であり、０から２５５の範囲をとる。縦軸は、変換後の輝度平均値の目標値（ＮＬａｖｅ）を表しており、範囲は０から２５５である。
【００６１】
ＮＬａｖｅの値を図１３の変換テーブルより入力画像の輝度平均（Ｌａｖｅ）ごとに求め、その結果から図１４のテーブルを作成する。作成方法は、横軸の０から２５５の間に入力画像の輝度平均（Ｌａｖｅ＝A）値をプロットする。縦軸の０から２５５の間に変換後の輝度平均値の目標値（ＮＬａｖｅ＝NA）をプロットする。プロット点より垂直に互いの交点を探し出し、その点と（０，０）及び（２５５，２５５）を図のように結び変換テーブルを作成する。この変換テーブルを用いることで、画像全体の輝度値を希望する値へ変換することが出来る。
【００６２】
画像データを例えば、白銀のゲレンデに立つ人とする（不図示）。画像全体の平均輝度はＢ（＝１８８）であり注目画像検出にて検出された人物肌の平均輝度はＡ（＝６４）とすると、注目画像検出処理が行われない場合は画像補正の露出処理では全体画像の輝度を１８８から１７０へ落とす補正を行うが、このように補正すると、本来被写体として一番見たい人物の顔は６４よりさらに暗い方向へ補正されるので、画像補正がかえって画像を悪化させてしまう。しかしながら、検出された注目画像の領域の出力を用いることにより画像補正値に反映することができる。そこで、人物肌の平均輝度値である６４が露出補正の対象とすると、６４を１００へ引き上げる露出補正が実行され、画像データの見たい部分をより高品位化することが可能となる。
【００６３】
図１５、図１６は、本実施形態による動作のフローチャートである。以上の図を用いて全体の流れの説明を行う。ステップS1501において、図３で示した人物肌領域検出を実行する。
【００６４】
図１７は、図１５、図１６に示すフローチャートを説明するためのサンプル画像である。この画像の輝度ヒストグラムを現したものが図１８である。横軸は、左端０で、０〜２５５までの範囲を表している。縦軸は、全画像についての輝度の分布であり、全画像の構成に対しての相対的な量を表している。図１７のサンプル画像の平均輝度は８４であるが、２４０以上の明るい部分のピークと３５近辺を中心とする暗い部分のピークとが現れ、輝度が２つのピーク部分に２極化して分布していることが分かる。注目が集まる人物の顔領域は９０程度で暗い状態である。
【００６５】
図１９は、このサンプル画像に対して、特徴量を抽出しない従来の画像補正手法で画像を補正した結果を示す図である。まず、コントラスト補正に関しては、暗い部分と明るい部分にデータが分布していることから、コントラストが十分検出されるためコントラスト補正を行う必要の無い良好画像と判断される。露出補正に関しては、前述のように図１３、１４のテーブルを用いて、少し輝度レベルを上げる補正を行うことによって平均輝度は９０程度に上がるが、注目が集まる人物の顔領域の輝度変化はほとんど改善されない。
【００６６】
そこで、本実施形態の補正を行う。  
図２０は、図１７の画像サンプルに対して図３のフローにて領域検出した結果を示す図である。このサンプル画像には、人肌色領域として定義した色度比率範囲とＤＣＴ特性に適合した候補領域として１〜５がある。顔や手の部分で、候補領域が分割されているのはその間の部分における色度比率が適合しなかったと考えられる。検出した候補領域から、この例での人物肌領域の特徴量を取得する。
【００６７】
ステップS1502において、人物肌領域の検出の有無を判断する。人物肌領域の検出が出来なかったときはS1503へ進み、人物肌領域の未検出フラグをセットして人物肌検出処理フローを終了する。図１７の画像サンプルのように、画像中に人物肌領域を検出して特徴量を取得した場合、S1504の取得画像の面積比率判定１へ進む。
【００６８】
ステップS1504において、検出した人物肌領域の全画像に対する面積比率に基づいて判定を行い適用するテーブルを決定する。面積比率が０．３％以下の場合はS1505へ進み、それ以外はS1506へ進む。ステップS1506において、検出した人物肌領域の全画像に対する面積比率が０．３％〜５．０％であるか否かを判定する。検出した人物肌領域の面積比率が、０．３％〜５．０％の場合はS1507へ進み、それ以外はS1508へ進む。
【００６９】
ステップS1507は、検出した人物肌領域の面積比率が０．３％〜５．０％の場合であり、露出設定テーブル１をセットして図１６のS1601へ進む。
【００７０】
図２１は、露出設定テーブル１である。横の欄のＡＰＤ（Attention Picture Detection）検出値は、ここでは、人物肌を注目画像として検出した特徴量のうち検出領域内の平均輝度情報を用いる。検出輝度により“０〜３５”、“３６〜８０”、“８１〜１２０”、“１２１〜２９９”と４分割する。縦の欄は、全画像の平均輝度情報である。輝度により“０〜６０”、“６１〜１２０”、 “１２１〜１８０”と３分割する。
【００７１】
露出設定テーブルの構成は、検出した人物肌領域の輝度と画像全体の輝度との関係から一定の比率を決定し、その比率で検出した人物肌領域を利用した露出設定を行う。このように、前述の図２０におけるＬａｖｅの値に代えて露出設定テーブルにて算出した値を入れることにより、画像補正を検出した人物肌領域に対して効果のあげることができる。
【００７２】
ここで、横の欄における“０〜３５”と“１２１〜２９９”とでは、縦の欄との関連項目がすべて“ＯＦＦ”であるが、これは、検出した注目画像の特徴量と画像全体の特徴量とを考慮すると、通常の露出補正を行う方が良いと判断した場合であり、この場合は図１３、１４のテーブルにより露出補正を行う。
【００７３】
また、横の欄における“３６〜８０”と“８１〜１２０”では、人物肌として検出した領域の値を元に露出設定テーブルの比率により指定量を算出する。例えば、ＡＰＤ検出値の輝度が画像サンプルのように９０程度の場合には、横の欄は“８１〜１２０”となり、画像全体の輝度は８４なので、縦の欄は“６１〜１２０”が該当し、この範囲の指定される比率は“×１．５”が選択される。これにより、検出した人物肌領域の平均輝度を１．５倍した値を算出し、その値を図１３のテーブルのＬａｖｅ値として算出した結果を用いることになる。他の欄についても上記のような関係で算出を行って露出補正を行う。
【００７４】
ステップS1504において検出した人物肌領域の面積比率は０．３％以下の場合である。この場合、露出設定テーブル２をセットし、図１６のS1601へ進む。図２２は、露出設定テーブル２である。
【００７５】
ステップS1508において、検出した人物肌領域の面積比率が５．０％以上の場合を判断する。露出設定テーブル３をセットして図１６のS1601へ進む。図２３は、露出設定テーブル３である。
【００７６】
ステップS1601において、上述の人物肌領域の検出結果と画像全体の輝度情報を元に露出設定テーブルを算出するための定数を取得する部分において“ＯＦＦ”と設定されている関係もしくは０〜２５５の輝度範囲で、欄の中に設定されていない値の場合など、人物肌領域の検出結果を反映する特別なテーブル設定を必要としないテーブル対応範囲外の場合は、S1602へは進まないで、通常補正を行うために終了する。またテーブル対応範囲内の場合はS1602へ進む。
【００７７】
ステップS1602において、露出設定テーブルを基に算出した値をセットする。前述の説明で、画像サンプルにおいては、Ｌａｖｅの算出値として、輝度値９０×１．５から１３５となる。この値から図１３のテーブルによりＮＬＬａｖｅを導き出す。この結果から変換テーブル図１４を作成して露出補正用テーブルを生成することが出来る。その後S104において画像補正が行われる。
【００７８】
図２４は、画像サンプルに対して人物肌領域検出の結果を反映した画像補正結果を表す図である。画像平均輝度は１２９で、注目される人物の顔の輝度も１５０近辺の輝度まで引き上げられた補正となっている。
【００７９】
図２５は、図２４の画像の輝度ヒストグラムである。グラフ構成は前述した図１８のヒストグラムと同じである。暗部のピークが輝度９０近辺まで上がり、画像全体が明るくなっていることがわかる。
【００８０】
本実施形態では、注目画像検出による結果により特徴量を算出し、その特徴量を補正へ活用するために検出した領域の画像全体に占める比率を用いて補正値を修正するので、注目画像が画像全体へ一定の影響を与えることとなる。このため面積比率により特徴量を生かす補正量を変化させているが、面積比率による判別方法は、複数個の閾値によらず、面積比率に対する数式による連続的は変化でも良い。
【００８１】
また、本実施形態では、注目画像検出した領域と全体画像の輝度値により露出補正設定量を決定しているが、この決定も複数個の閾値による必要はない。さらに、注目画像検出した領域特徴量と全体画像における面積率と全体画像の特徴量による３者間の関係において数式による関係で画像補正における修正を行っても良い。
【００８２】
以上説明してきたが、本実施形態における注目画像は、説明に上げた人物肌、青空、夜景などにとどまるものではなく、特定の注目領域であれば対象となりうることは言うまでもない。例えば、特定の色域とか特定の輝度範囲など注目画像の概念は注目領域としても含まれる。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施例にかかる補正処理の全体の流れを表すフローチャートを示す図である。
【図２】本発明の一実施例にかかる注目画像検出処理の複数の検出対象に対する実行選択をおこなうフローチャートを示す図である。
【図３】本発明の一実施例にかかる注目画像検出処理における人物肌検出からの情報取得をおこなうフローチャートを示す図である。
【図４】本発明の一実施例にかかる注目画像検出処理における青空検出からの情報取得をおこなうフローチャートを示す図である。
【図５】本発明の一実施例にかかる注目画像検出処理における夜景検出からの情報取得をおこなうフローチャートを示す図である。
【図６】本発明の一実施例にかかる注目画像検出処理における青空検出の対象となる画像サンプルを示す図である。
【図７】本発明の一実施例にかか元画像サンプルに注目画像検出処理を行った結果の画像を示す図である。
【図８】本発明の一実施例にかかる注目画像検出処理における青空検出の検出面積率と検出成功率との関係を示すグラフを表す図である。
【図９】本発明の一実施例にかかる注目画像を青空検出としたときの検出確率と検出面積率による補正値への対応を示す図である。
【図１０】本発明の一実施例にかかる注目画像検出処理における青空検出成功率による補正値の修正のフローチャートを示す図である。
【図１１】本発明の一実施例にかかる注目画像検出処理における人物肌検出を実行する画像サンプルを示す図である。
【図１２】本発明の一実施例にかかる元画像サンプルに注目画像検出処理を行った検出結果を示す図である。
【図１３】本発明の一実施例にかかる露出補正量決定テーブルの例である。
【図１４】本発明の一実施例にかかる露出補正用のルックアップテーブルの例を示す図である。
【図１５】本発明の一実施例にかかる注目画像検出処理における人物肌検出から補正値の修正を行うフローチャートを示す図である。
【図１６】本発明の一実施例にかかる注目画像検出処理における人物肌検出から補正値の修正を行うフローチャートを示す図である。
【図１７】本発明の一実施例にかかる注目画像検出処理における人物肌検出の対象となる画像サンプルである。本発明の一実施例にかかる元画像サンプル３に対して注目画像検出処理を行った検出結果サンプル３である。
【図１８】本発明の一実施例にかかる図１７の画像サンプルのヒストグラムを示す図である。
【図１９】本発明の一実施例にかかるサンプル画像に通常の画像補正を行った結果を示す図である。
【図２０】本発明の一実施例にかかる画像サンプルに注目画像検出処理を行った検出結果を示す図である。
【図２１】本発明の一実施例にかかる注目画像検出処理における人物肌検出の面積率が０．３％より上から５％未満の場合の最適化露出補正テーブルを示す図である。
【図２２】本発明の一実施例にかかる注目画像検出処理における人物肌検出の面積率が０．３％以下の場合の最適化露出補正テーブルを示す図である。
【図２３】本発明の一実施例にかかる注目画像検出処理における人物肌検出の面積率が５％以上の場合の最適化露出補正テーブルを示す図である。
【図２４】本発明の一実施例にかかるサンプル画像に対して注目画像検出の情報を元に補正を行った結果を示す図である。
【図２５】本発明の一実施例にかかる図２４画像のヒストグラムである。
【図２６】本実施形態の画像処理装置の構成例を示すブロック図である。
【図２７】本実施形態の画像処理を実現するハードウエア及びソフトウエアの構成例を示す図である。
【符号の説明】
【００８４】
２６１０  復号部
２６２０  色調補正部
２６３０  画像認識部
２６３１  対象色領域検出部
２６３２  空間周波数生成部
２６３３  対象色領域選別部
２６３４  色調補正禁止部
２７１０  ＣＰＵ
２７２０  ＲＯＭ
２７３０  ＲＡＭ
２７３１、２７４１  データ記憶領域
２７３２、２７４２  プログラムロード領域
２７４０  外部記憶部
２７５０  入力インタフェース
２７６０  出力インタフェース
【図１】
0004659354.tif 000002
【図２】
0004659354.tif 000003
【図３】
0004659354.tif 000004
【図４】
0004659354.tif 000005
【図５】
0004659354.tif 000006
【図６】
0004659354.tif 000007
【図７】
0004659354.tif 000008
【図８】
0004659354.tif 000009
【図９】
0004659354.tif 000010
【図１０】
0004659354.tif 000011
【図１１】
0004659354.tif 000012
【図１２】
0004659354.tif 000013
【図１３】
0004659354.tif 000014
【図１４】
0004659354.tif 000015
【図１５】
0004659354.tif 000016
【図１６】
0004659354.tif 000017
【図１７】
0004659354.tif 000018
【図１８】
0004659354.tif 000019
【図１９】
0004659354.tif 000020
【図２０】
0004659354.tif 000021
【図２１】
0004659354.tif 000022
【図２２】
0004659354.tif 000023
【図２３】
0004659354.tif 000024
【図２４】
0004659354.tif 000025
【図２５】
0004659354.tif 000026
【図２６】
0004659354.tif 000027
【図２７】
0004659354.tif 000028