(57)【要約】【課題】画像に応じて最適に明るさの分布の改善が行え、且つ、改善効果の弱いと予想される画像に対しては処理コストの比較的低い処理を行う。【解決手段】輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測し、処理効果が高いと予測した場合には、輝度改善手段は前記スケール変換手段の出力を用いて画像データの輝度分布を改善し、処理効果が低いと予測した場合には、輝度改善手段は前記スケール変換手段の出力を用いずに画像データの輝度分布を改善する。【選択図】      図１
2005039457.tif 000002
【特許請求の範囲】
【請求項１】
画像データから輝度成分を抽出する輝度抽出手段と、
前記輝度成分の比較的大きな尺度での分布を求めるスケール変換手段と、
前記画像データの輝度分布を改善する輝度改善手段と、
前記輝度改善手段の出力を新たな画像の輝度分布として画像データを再生する画像再生手段とを備えた画像処理装置において、
前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測し、処理効果が高いと予測した場合には、前記輝度改善手段は前記スケール変換手段の出力を用いて前記画像データの輝度分布を改善し、処理効果が低いと予測した場合には、前記輝度改善手段は前記スケール変換手段の出力を用いずに前記画像データの輝度分布を改善することを特徴とする画像処理装置。
【請求項２】
さらに、前記画像データの逆光の度合いを検出する逆光検出手段を備え、前記逆光の度合いから前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測することを特徴とする請求項１の画像処理装置。
【請求項３】
前記画像データから顔領域を検出する顔検出手段を備え、前記顔検出手段の出力から前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測することを特徴とする請求項１または請求項２の画像処理装置。
【請求項４】
前記顔検出手段が顔領域を検出しなかった場合に前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果が低いと予測することを特徴とする請求項３の画像処理装置。
【請求項５】
前記顔検出手段が検出した顔領域の大きさが所定の大きさ以下の場合に前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果が低いと予測することを特徴とする請求項４の画像処理装置。
【請求項６】
前記顔検出手段の出力である顔領域の輝度分布から前記顔領域の輝度代表値を求め、前記顔領域の輝度代表値が所定値以上の場合に前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果が低いと予測することを特徴とする請求項５の画像処理装置。
【請求項７】
前記画像データの輝度分布から画像全体の輝度代表値を求め、前記画像全体の輝度代表値と前記顔領域の輝度代表値から前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測することを特徴とする請求項６の画像処理装置。
【請求項８】
前記画像データの付帯情報を解析し、露出モードが露出自動でない場合には前記画像データの輝度分布の改善を行わないことを特徴とする請求項１ないし請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記画像データの付帯情報を解析し、フラッシュがストロボ発光の場合には前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果が低いと予測することを特徴とする請求項１ないし請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記画像データの付帯情報を解析し、撮影モードが標準または人物以外の場合には前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果が低いと予測することを特徴とする請求項１ないし請求項９のいずれかに記載の画像処理装置。
【請求項１１】
画像データから輝度成分を抽出する輝度抽出工程と、
前記輝度成分の比較的大きな尺度での分布を求めるスケール変換工程と、
前記画像データの輝度分布を改善する輝度改善工程と、
前記輝度改善手段の出力を新たな画像の輝度分布として画像データを再生する画像再生工程とを備えた画像処理方法において、
前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測し、処理効果が高いと予測した場合には、前記輝度改善工程は前記スケール変換手段の出力を用いて前記画像データの輝度分布を改善し、処理効果が低いと予測した場合には、前記輝度改善工程は前記スケール変換手段の出力を用いずに前記画像データの輝度分布を改善することを特徴とする画像処理方法。
【請求項１２】
請求項１１記載の画像処理方法をコンピュータを用いて実現するためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデジタル画像の明るさの分布を改善するものに関する。
【０００２】
【従来の技術】
従来、適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッター速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けして平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。
【０００３】
しかしながら、撮影する主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、撮影した画像においてどうしても主被写体部分が暗くなってしまう。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影時にあらかじめ平均的な写真よりも明るめに撮影されるようにカメラの露出を設定しておく必要があった。しかし、このような露出補正の操作はわずらわしいばかりでなく、カメラの設定を適正に行うための熟練を要する。また、逆光シーンを撮影した画像のデジタル画像処理において、露出補正と同等の処理を行うこともできる。しかしながら、いずれの場合にも、主被写体に対して適切に露出補正を行ったとしても、逆に背景部分が明るくなりすぎてしまう。
【０００４】
本発明の目的は、このような適切に画像の明るさを決定するのが困難な逆光等のシーンにおいても、適切な明るさの画像を得ることである。
【０００５】
本発明の目的を達成するために、アナログ写真技術においては、暗室内でいわゆる覆い焼き処理を行うことで適切な明るさのプリントを得ることができる。このような覆い焼き処理を容易に実現するためには、デジタル画像処理において、覆い焼き処理を実現することが望ましい。
【０００６】
このような処理を実現する方法として、例えば、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ，  ＶＯＬ．６，  ＮＯ．７，  ＪＵＬＹ  １９９７に”Ａ  Ｍｕｌｔｉｓｃａｌｅ  Ｒｅｔｉｎｅｘ  ｆｏｒ  Ｂｒｉｄｇｉｎｇ  ｔｈｅ  Ｇａｐ  Ｂｅｔｗｅｅｎ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ  ａｎｄ  ｔｈｅ  Ｈｕｍａｎ  Ｏｂｓｅｒｖａｔｉｏｎ  ｏｆ  Ｓｃｅｎｅｓ”と題するＪｏｂｓｏｎらの報告（従来技術１とする）がある。これは、デジタル画像を対数変換した成分とその対数変換成分の低周波成分との差分処理を行うことによって、デジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理することにより、画像の改善を行おうとするものである。
【０００７】
また、ａｃｍ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，  ＪＵＬＹ  ２００２，  Ｖｏｌ．２１，  Ｎｏ．３  に”Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｔｏｎｅ  Ｒｅｐｒｏｄｕｃｔｉｏｎ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅｓ”と題するＲｅｉｎｈａｒｄらの報告（従来技術２とする）、ＩＳ＆Ｔ／ＳＩＤ  Ｅｉｇｈｔｈ  Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅに”Ｌｏｃａｌ  Ｃｏｌｏｒ  Ｃｏｒｒｅｃｔｉｏｎ  Ｕｓｉｎｇ  Ｎｏｎ−Ｌｉｎｅａｒ  Ｍａｓｋｉｎｇ”と題するＭｏｒｏｎｅｙの報告（従来技術３とする）においても、デジタル画像の輝度成分とその低周波成分とを用いることにより、デジタル画像処理において覆い焼きのような効果を得る方法が提案されている。
【０００８】
【非特許文献１】
”Ａ  Ｍｕｌｔｉｓｃａｌｅ  Ｒｅｔｉｎｅｘ  ｆｏｒ  Ｂｒｉｄｇｉｎｇ  ｔｈｅ  Ｇａｐ  Ｂｅｔｗｅｅｎ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ  ａｎｄ  ｔｈｅ  Ｈｕｍａｎ  Ｏｂｓｅｒｖａｔｉｏｎ  ｏｆ  Ｓｃｅｎｅｓ”  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ，  ＶＯＬ．６，  ＮＯ．７，  ＪＵＬＹ  １９９７
【非特許文献２】
”Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｔｏｎｅ  Ｒｅｐｒｏｄｕｃｔｉｏｎ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅｓ”  ａｃｍ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，  ＪＵＬＹ  ２００２，  Ｖｏｌ．２１，  Ｎｏ．３
【非特許文献３】
”Ｌｏｃａｌ  Ｃｏｌｏｒ  Ｃｏｒｒｅｃｔｉｏｎ  Ｕｓｉｎｇ  Ｎｏｎ−Ｌｉｎｅａｒ  Ｍａｓｋｉｎｇ”  ＩＳ＆Ｔ／ＳＩＤ  Ｅｉｇｈｔｈ  Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、処理するデジタル画像を撮影したシーンが逆光シーン以外に適用した場合には補正効果が弱いにも関わらず、デジタル画像処理で露出補正を行う場合に比べて処理時間や処理に使用するメモリなどのコストが高いといった問題点があった。また、逆光シーンにおいても、特に人物の顔が逆光で暗く記録されてしまった画像以外では明るさの補正の必要性が高くない。
【００１０】
本発明の目的は、前記問題点を解決し、逆光シーン、特に人物の顔を逆光状態で撮影した画像データに対して、輝度分布の改善度合いの調整を自動的に行い、処理する画像データに応じて最適に明るさの分布の改善が行え、且つ、それ以外の処理効果の弱いと予想されるシーンを撮影した画像データに対しては処理コストの比較的低い処理を行うことができるようにすることである。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分の比較的大きな尺度での分布を求めるスケール変換手段と、前記画像データの輝度分布を改善する輝度改善手段と、前記輝度改善手段の出力を新たな画像の輝度分布として画像データを再生する画像再生手段とを備えた画像処理装置において、前記輝度改善手段の前記スケール変換手段の出力を用いた処理効果を予測し、処理効果が高いと予測した場合には、前記輝度改善手段は前記スケール変換手段の出力を用いて前記画像データの輝度分布を改善し、処理効果が低いと予測した場合には、前記輝度改善手段は前記スケール変換手段の出力を用いずに前記画像データの輝度分布を改善することを特徴とする。
【００１２】
【発明の実施の形態】
図１に本実施形態の構成を示す。
【００１３】
図中、１は、画像入力手段であり、画像処理システムにデジタル画像データ（以後、画像データと称す）を入力する。例えば、デジタルカメラ、スキャナなどで構成される。
２は、輝度抽出手段であり、画像入力手段１で入力した画像データから輝度成分と色成分を抽出する。
３は、逆光検出手段であり、輝度抽出手段２から出力された画像データの輝度成分から画像入力手段１で入力した画像データの逆光の度合いを求める。
４は、顔検出手段であり、画像入力手段１で入力した画像データから人物の顔部分に相当する位置を顔領域として検出する。
５は、輝度改善判定手段であり、逆光検出手段３の出力である逆光の度合いと顔検出手段４の検出結果から輝度改善の処理方法を選択し、輝度抽出手段２から出力された画像データの輝度成分から輝度改善手段７で処理する改善の度合いを画像データに応じて最適にするようにパラメータの調整を行う。
６は、スケール変換手段であり、輝度抽出手段２から出力された画像データの輝度成分の比較的大きな尺度での分布を求める。
７は、輝度改善手段であり、輝度抽出手段２から出力された画像データの輝度成分とスケール変換手段３から出力された比較的大きな尺度での輝度成分の分布を用いて画像データの輝度成分の分布を改善する。
８は、画像再生手段であり、輝度改善手段７から出力された改善された輝度成分と輝度抽出手段２から出力された色成分とを合成し、画像データを再構成する。
【００１４】
以上のような構成の画像処理システムは、また、アプリケーションプログラムによって汎用の計算機においても実行可能である。以後、本実施形態では、主にアプリケーションプログラムにおいて実行される画像処理システムについて説明する。
【００１５】
図２に本実施形態における画像処理システムの動作を汎用の計算機で実行するアプリケーションプログラムのアルゴリズムを示す。
【００１６】
まず、アプリケーションプログラムが起動するとユーザは画像データのファイル名を入力し、画像データ入力手段１は画像データを計算機の記憶部に読み込む。（Ｓ１０１）
ここで読み込まれた画像データは、例えば８ビットの画素により構成されるＭ×Ｎの２次元配列（但し、Ｍは水平画素数、Ｎは垂直画素数）であり、Ｒ、Ｇ、Ｂ、３つの面により構成される。この画像データをＲ、Ｇ、Ｂ、それぞれＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とする（但し、（ｘ，ｙ）は画素位置を表す整数、１≦ｘ≦Ｍ、１≦ｙ≦Ｎ）。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。
【００１７】
次に、輝度抽出手段２は画像データを構成するＲＧＢ各画素をもとに輝度成分を抽出する。（Ｓ１０２）
輝度成分の抽出は、例えば、ＲＧＢの画素成分がＩＥＣ  ６１９６６−２−１に記載されているｓＲＧＢ色空間におけるデータと想定し、ＩＥＣ  ６１９６６−２−１に記載されている方法に従い、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ１９３１ＸＹＺに変換する。ここで、変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とすると、Ｙ（ｘ，ｙ）が抽出する輝度成分である。
【００１８】
なお、輝度成分を抽出する方法としては、前述の処理を簡略化し、マトリクス演算のみで抽出するようにしてもよい。また、ＲＧＢからＹＣｂＣｒへの変換やＲＧＢからＬ＊ａ＊ｂ＊への変換、ＲＧＢからＨＳＶへの変換を用いてもよい。
【００１９】
ここで、Ｓ１０３以降の処理について、まず概略を説明し、その後で各処理の詳細を説明する。
【００２０】
まず、逆光検出手段３はＳ１０２で抽出した輝度成分からＳ１０１で入力した画像データの逆光度合いを求める。（Ｓ１０３）
ここで、求めた逆光度合いが低い場合は、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測し、処理をＳ１０６に移す。
【００２１】
次に、顔検出手段４はＳ１０１で入力した画像データから人物の顔領域を抽出する。（Ｓ１０４）
ここで、所定の大きさ以上の顔領域を検出しなかった場合には、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測し、処理をＳ１０６に移す。
【００２２】
次に、輝度改善判定手段５は顔領域の輝度代表値と画像全体の輝度代表値を求め、画像全体の輝度代表値と顔領域の輝度代表値とから輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果を予測する。（Ｓ１０５）
次に、輝度改善判定手段５は処理効果の予測結果に応じて、改善すべき輝度分布の度合いを決めるパラメータを決定する。（Ｓ１０６）
ここで、輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測された場合には処理をＳ１０８に移す。
【００２３】
次に、スケール変換手段６はＳ１０２で抽出した輝度成分から比較的大きな尺度での輝度成分の分布を求める。（Ｓ１０７）
次に、輝度改善手段７は処理効果の予測結果に応じて、Ｓ１０６で求めたパラメータを用いて画像データの輝度成分の分布を改善する。（Ｓ１０８）
そして、画像再生手段８は改善された輝度成分とＳ１０２で変換された色成分とを合成し、画像データを再構成する。（Ｓ１０９）
以下、Ｓ１０３〜Ｓ１０９の各処理の詳細を説明する。
【００２４】
Ｓ１０３では、抽出した輝度成分からＳ１０１で入力した画像データの逆光度合いを求める。
【００２５】
まず、画像データの輝度成分から各輝度レンジに対する輝度成分の頻度を表す輝度ヒストグラムを作成する。そして、輝度レンジの中間部分にあたる所定の輝度値の範囲ＹＴ１〜ＹＴ２の頻度をＰ１、中間部分より明るい輝度値の範囲ＹＴ２〜ＹＴｍａｘの頻度をＰ２とするとき、逆光度合いＰＢを以下の（式１）で求める。
【００２６】
ＰＢ＝Ｐ２−ｋＢ・Ｐ１    （式１）
但し、０＜ＹＴ１＜ＹＴ２＜ＹＴｍａｘ、ＹＴｍａｘは輝度レンジの最大値、ｋＢは定数。
【００２７】
なお、この判定式は逆光シーンでは、画像の明るい部分の領域が大きいことにより逆光が発生するとの仮定に基づいている。
【００２８】
ここで、求めた逆光度合いが所定の値よりも低い場合は、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測する。
【００２９】
なお、逆光の度合いを求める方法は前述の方法に限定されるものではなく、例えば本出願人が特開２０００−１３４４６７で提案したような、輝度ヒストグラムからピーク領域の数を求め、逆光度合いとしてもよい。この場合、例えばピーク数が複数ある場合、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測する。また、ピーク領域の数を（式１）に組み合わせて逆光の度合いとしてもよいことは言うまでもない。
【００３０】
Ｓ１０４では、Ｓ１０１で入力した画像データから人物の顔領域を抽出する。
【００３１】
画像データから顔領域を検出する処理内容例を図３に示す。まず、画像データを所定の画像サイズにローパスフィルタ処理を行うと同時に縮小する。そして縮小された画像データの画素値で局所的にＲＧＢ各成分が小さい領域を目の画像領域の候補として抽出する。さらに抽出された候補を２つずつ組にして領域の大きさの均等性、輝度の差、水平に対する角度などから組にした２つの領域が目かどうかを判定する。（図３（ａ））目と判定された組について、その２つの位置からあらかじめ設定された所定の位置関係のパラメータに基づき矩形領域を設定する。（図３（ｂ））そして矩形領域の境界付近のエッジおよび領域内の色情報から矩形領域の確定を行う。（図３（ｃ））詳しくはエッジについては境界付近の所定幅の領域に所定強度を超えるエッジ成分が所定比率以上占有するか、で判定する。色情報については矩形領域内の画素値の平均値を計算し、あらかじめ設定した肌色領域内に平均値が入っているかで判定する。そして、エッジ、色情報の条件が両立して満たされている場合、顔領域と判定する。そして、顔領域と判定された矩形領域の位置情報を顔領域として出力する。
【００３２】
ここで、所定の大きさ以上の顔領域を検出しなかった場合には、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測する。
【００３３】
なお、画像データから顔領域を検出する方式は、例えば、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，  ＶＯＬ．２４  ，  ＮＯ．１，  ＪＡＮＵＡＲＹ  ２００２に”Ｄｅｔｅｃｔｉｎｇ  Ｆａｃｅｓ  ｉｎ  Ｉｍａｇｅｓ：  Ａ  Ｓｕｒｖｅｙ”と題するＹａｎｇらの報告に揚げられているような方式を用いてもよい。
【００３４】
次に、Ｓ１０７およびＳ１０８の処理について説明し、その後でＳ１０５、Ｓ１０６の処理について説明することとする。
【００３５】
Ｓ１０７では、Ｓ１０２で抽出した輝度成分から比較的大きな尺度での輝度成分（輝度成分の低周波成分）の分布を求める。
【００３６】
大きな尺度での輝度成分の分布を求めるには、例えば、従来技術１にあるように抽出した輝度成分とガウシアン関数との積和演算を行い、出力とする。（但し、従来技術１では画像データの輝度成分ではなく直接画像データのＲＧＢ各画素に対して積和演算を行うようにしている）ここで、改善された画像データの画質を向上するために、標準偏差の異なる複数のガウシアン関数との積和演算を行い、複数の尺度での輝度成分の分布を求めるようにすると、より好ましい。なお、以上説明したような大きな尺度での輝度成分の分布を求める処理を以後、スケール変換と称することとする。
【００３７】
Ｓ１０８では、処理効果の予測結果に応じて、Ｓ１０６で求めたパラメータを用いて画像データの輝度成分の分布を改善する。
【００３８】
まず、輝度改善判定手段５によって輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が高いと予測された場合の輝度改善処理について説明する。
【００３９】
処理の一例として従来技術１に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布それぞれを対数変換し、その差分を出力する。さらに、異なる尺度での差分出力の重み付き平均を改善された輝度成分とする。しかしながら、この方法では、画像に応じて改善の度合いを調整できないので、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調整するパラメータである。以上説明した処理に基づく改善された輝度成分の出力は以下に示す（式２）のようになる。
【外１】
2005039457.tif 000003
【００４０】
但し、Ｙ’（ｘ，ｙ）、Ｆｎ（ｘ，ｙ）、ｗｎ、ｎ、γはそれぞれ改善された輝度成分の出力、ガウシアン関数、尺度間の重み、尺度を表すパラメータ、改善の度合いを表すパラメータである。また、＊は積和演算を表す。
【００４１】
なお、尺度間の重みは尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）であること、また、（式２）のように対数変換された値を出力するよりも、逆変換（ｅｘｐ演算）により元の輝度単位に戻した方が、改善された画像データの画質として好ましいことが分かっている。従って、以下の（式３）に示した出力を改善された輝度成分とすることがより好ましい。
【外２】
2005039457.tif 000004
【００４２】
但し、Ａｖｇは平均値演算を表す。
【００４３】
（式３）の代わりに、以下に示す（式４）としてもよい。
【外３】
2005039457.tif 000005
【００４４】
より望ましくは、画像全体の輝度成分を調整するために本実施形態では（式４）の代わりに以下に示す（式５）の処理で輝度分布の変換を行う。
【外４】
2005039457.tif 000006
【００４５】
但し、γ０は画像全体の輝度成分を調整するためのパラメータである。
【００４６】
なお、複数尺度でのスケール変換出力の平均値演算をＳ１０７のスケール変換の処理で行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。
【００４７】
次に、輝度改善判定手段５によって輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測された場合の輝度改善処理について説明する。この場合は、通常の露出補正をデジタル画像処理で行っても、前述した輝度改善処理を行った結果と同等の改善ができると予想される。具体的な処理例としては、（式５）のγ＝０とおいて、以下の（式６）による輝度変換を行う。
Ｙ’（ｘ，ｙ）＝Ｙ（ｘ，ｙ）ｙ０      （式６）
（式５）の処理と比較し、（式６）によれば、スケール変換の処理で比較的大きな尺度での分布を求める必要がなく、また、（式５）の分母の演算および除算の必要がない。
【００４８】
次に、前述した輝度改善処理におけるパラメータを決定するＳ１０５、Ｓ１０６の処理について説明する。
【００４９】
Ｓ１０５では、顔領域の輝度代表値と画像全体の輝度代表値を求め、画像全体の輝度代表値と顔領域の輝度代表値とから輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果を予測する。
【００５０】
まず、画像全体の輝度代表値として、輝度値の平均値を算出し、ＹＡとする。一方、画像全体の輝度代表値ＹＡに対する改善すべき画像の目標とする輝度値ＹＡＴをあらかじめテーブルとして記憶しておき、求めた画像全体の輝度代表値ＹＡに対する改善すべき画像の目標とする輝度値ＹＡＴをテーブル参照により求める。そして、例えば（式６）をベースとした画像全体の輝度を補正することによって画像全体の輝度値ＹＡが目標とする輝度値ＹＡＴになるようなパラメータγ０は、以下の（式７）により求めることができる。
【外５】
2005039457.tif 000007
【００５１】
また、画像データの輝度成分の内、顔領域内の輝度値の平均値を算出し、Ｙｆとする。但し、顔領域として検出された矩形領域内には目や髪の毛など肌でないものも存在するが、ここでは顔領域内の画素について明るい方から所定の割合以上の輝度値のみの平均値を算出することで肌に対応する部分の輝度の代表値（人肌代表輝度値とする）とする。人肌における輝度値の好ましい値として所定の値（人肌目標輝度値とする）をあらかじめ設定しておき、人肌代表輝度値と人肌目標輝度値とを所定の重みで荷重平均したものを目標輝度値として設定する。ここで、人肌代表輝度値をＹｆ、荷重平均後の目標輝度値をＹｆＴとするとき、輝度値Ｙｆが所定の輝度値になるようなγを改善の度合いを表すパラメータとする。なお、先に求めたパラメータγ０によって人肌代表輝度値Ｙｆは補正されることを考えると、補正後の人肌代表輝度値Ｙ’ｆは、以下の（式８）で求められる。
【外６】
2005039457.tif 000008
【００５２】
ここで、
Ｙ’ｆ＜ＹｆＴ      （式９）
の場合に輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果があると予測できる。従って、（式９）を満たす場合には、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が高いと予測し、それ以外は処理の効果が低いと予測する。
【００５３】
なお、（式９）の判定式を所定の正定数Ｃを設けて、以下の（式１０）のようにしてもよい。
【００５４】
Ｙ’ｆ＋Ｃ＜ＹｆＴ      （式１０）
輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が微妙な場合は処理コストの低い露出補正処理を行うようにすることができる。
【００５５】
なお、そもそも人肌代表輝度値が人肌目標輝度値に比べて著しく暗くない場合には画像中の顔領域の輝度を改善する必要がないので、輝度改善判定手段５は輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測してもよいことは言うまでもない。
【００５６】
Ｓ１０６では、Ｓ１０３〜Ｓ１０５の予測結果に応じて、改善すべき輝度分布の度合いを決めるパラメータを決定する。
【００５７】
輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測された場合には、式（７）で求められるパラメータγ０をそのまま出力し、処理をＳ１０８に移す。
【００５８】
また、輝度改善手段７のスケール変換手段６の出力である画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が高いと予測された場合には、Ｓ１０５で求めた補正後の人肌代表輝度値Ｙ’ｆが荷重平均後の目標輝度値をＹｆＴになるようなγを改善の度合いを表すパラメータとする。なお、このγは、（式５）の分母の［  ］内をＹ（ｘ，ｙ）とほぼ等しいと仮定し、分子をＹ’ｆに置き換えると、以下に示す（式１１）により求めることができる。
【外７】
2005039457.tif 000009
【００５９】
Ｓ１０６で出力されたパラメータによってＳ１０８で輝度変換の処理が行われる。
【００６０】
Ｓ１０９では、Ｓ１０８で改善された輝度成分とＳ１０２で変換された色成分とを合成し、画像データを再構成する。
【００６１】
ここで、まず、再構成後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ’（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。そして、Ｘ、Ｙ、ＺのデータからＲＧＢのデータを求める。ここでの処理はＳ１０２における処理の逆変換である。したがって、３行３列のマトリクス演算および逆ガンマ変換の処理を行い、ＲＧＢ各８ビット出力とする。
【００６２】
なお、Ｓ１０２で輝度成分を抽出する方法としてＲＧＢからＹＣｂＣｒ変換など別方式を用いた場合には、本処理において対応する逆変換の処理を行うべきであることは言うまでもない。
【００６３】
以上の例では、従来技術１をもとに処理する画像データに応じて最適に明るさの分布の改善が行う方法について説明したが、デジタル画像の輝度成分とその低周波成分とを用いる従来技術２や従来技術３にも本発明が応用できることは言うまでもない。
【００６４】
また、Ｓ１０８の処理において、（式５）の分母の［  ］内の値として、輝度成分に対してａｃｍ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，  ＪＵＬＹ  ２００２，  Ｖｏｌ．２１，  Ｎｏ．３  中の”Ｆａｓｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒｉｎｇ  ｆｏｒ  ｔｈｅ  Ｄｉｓｐｌａｙ  ｏｆ  Ｈｉｇｈ−Ｄｙｎａｍｉｃ−Ｒａｎｇｅ  Ｉｍａｇｅｓ”と題するＤｕｒａｎｄらの報告にあるようなＢｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒｉｎｇを適用してもよい。この場合、Ｓ１０７のスケール変換処理であらかじめ輝度成分にＢｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒｉｎｇ処理を行う。
【００６５】
以上説明した例では、画像データを解析して画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果を予測するようにしたが、例えば、社団法人電子情報技術産業協会ＪＥＩＴＡより発行されている”ディジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ  ２．２”に記載されているデジタルカメラの画像の付帯情報を利用して画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果を予測することもできる。
【００６６】
例えば、デジタルカメラで撮影した画像データの付帯情報を解析し、露出モードが露出自動でない場合には、ユーザが意図して撮影時に画像の明るさを設定した可能性があるので、画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測し、画像データの輝度分布の改善を行わない方がよい。
【００６７】
また、デジタルカメラで撮影した画像データの付帯情報を解析し、フラッシュがストロボ発光の場合には、逆光シーンである可能性が少ないので、画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測し、画像データの輝度分布の改善を行わない方がよい。
【００６８】
また、デジタルカメラで撮影した画像データの付帯情報を解析し、撮影モードが標準または人物以外の場合には、主被写体が人物である可能性が少ないので、画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果が低いと予測し、画像データの輝度分布の改善を行わない方がよい。
【００６９】
以上、デジタルカメラで撮影した画像データの付帯情報を解析することによって、必要性に応じた処理効率の良い輝度補正が実現できる。なお、これらの画像データの付帯情報を利用した画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果の予測は、画像データを解析して画像データの輝度成分の比較的大きな尺度での分布を用いた処理の効果を予測した輝度改善処理と組み合わせて使用してもよいことは言うまでもない。
【００７０】
また、以上説明した例においては、処理する画像データとしてＲＧＢ各８ビットのデータを想定して説明したが、ＲＧＢ各１６ビットの画像データから最適なＲＧＢ各８ビットの画像データを再生する場合においても適用できる。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、スケール変換手段の出力を用いた処理効果を予測し、処理効果が高いと予測した場合には、前記輝度改善手段は前記スケール変換手段の出力を用いて前記画像データの輝度分布を改善し、処理効果が低いと予測した場合には、前記輝度改善手段は前記スケール変換手段の出力を用いずに前記画像データの輝度分布を改善するようにしたので、逆光シーン、特に人物の顔を逆光状態で撮影した画像データに対して、輝度分布の改善度合いの調整を自動的に行い、処理する画像データに応じて最適に明るさの分布の改善が行え、且つ、それ以外の処理効果の弱いと予想されるシーンを撮影した画像データに対しては処理コストの比較的低い処理を行うことができる。
【図面の簡単な説明】
【図１】画像処理システムにおける実施形態の構成を示す図。
【図２】画像処理システムにおけるアプリケーションプログラムのアルゴリズムを示す図。
【図３】実施形態における顔検出の処理内容を説明する図。
【図１】
2005039457.tif 000010
【図２】
2005039457.tif 000011
【図３】
2005039457.tif 000012