(57)【要約】【目的】  画像データ中の特定画像における形状，構造などから得られる色情報を用いて，適正なグレー画素を検出する。【構成】  画像中に含まれる肌画像部分が人物の顔画像の形状に基づいて検出される。検出された肌画像部分を構成する画素のＲＧＢ値のそれぞれの平均値が算出される。平均値に所定係数を乗算して得られるＲＧＢ値を色度値に変換した値と，肌黒体軌跡Ｈとの距離が所定値よりも小さい場合，その係数が画像を構成する各画素のＲＧＢ値の乗算係数として採用される。画像を構成する各画素のＲＧＢ値に上記係数を乗算して得られるＲＧＢ値を色度値に変換した値が用いられて，画像を構成する各画素のうち，肌黒体軌跡Ｈに基づいて推定される光源色温度に対応するグレー黒体軌跡Ｇ上の点の近傍範囲に属する値を持つ画素が，グレー候補画素として扱われる。  【選択図】  図８
2006222928.tif 000002
【特許請求の範囲】
【請求項１】
与えられる画像データによって表される画像中に含まれる肌画像領域を，画像形状または画像構造に基づいて検出する肌画像領域検出手段，
上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素を検出するグレー画素検出手段，および
上記グレー画素検出手段によって検出されたグレー画素に基づいて，撮影光源の色温度を推定する色温度推定手段，
を備えた画像処理装置。
【請求項２】
上記グレー画素検出手段は，
上記肌画像領域を構成する画素から得られる色情報の代表値に，所定係数を乗算する第１の係数乗算手段，
上記第１の係数乗算手段によって算出された係数乗算肌領域代表値を色度値に変換する第１の色度値変換手段，
上記第１の色度値変換手段によって得られた係数乗算肌領域代表色度値が，肌黒体軌跡の近傍範囲に存在するかどうかを判断する判断手段，
上記判断手段によって，上記係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在することが判断された場合に，上記係数乗算肌領域代表色度値に最も近い肌黒体軌跡上の点に対応する色温度を，暫定的な色温度と推定する暫定色温度推定手段，
上記画像データによって表される画像を構成する画素のそれぞれから得られる色情報に，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる上記所定係数を乗算する第２の係数乗算手段，および
上記第２の係数乗算手段によって得られた複数の係数乗算画素値を色度値に変換する第２の色度値変換手段を備え，
上記画像データによって表される画像を構成する画素のうち，上記第２の色度値変換手段によって得られた係数乗算画素色度値が，上記暫定色温度推定手段によって推定された暫定的な色温度に対応するグレー黒体軌跡上の点の近傍範囲に入る画素を特定し，特定された画素をグレー画素として検出するものである，
請求項１に記載の画像処理装置。
【請求項３】
上記グレー画素数が最大になる，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる上記所定係数を探索する最適化係数探索手段を備え，
上記第１の係数乗算手段および上記第２の係数乗算手段は，
上記最適化係数探索手段によって探索された所定係数を用いる，
請求項２に記載の画像処理装置。
【請求項４】
上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲を絞込む色温度範囲絞込み手段を備え，
上記グレー画素検出手段は，
上記色温度範囲絞込み手段によって絞込まれた色温度範囲に含まれる色温度を持つ画素を検出対象候補として，この検出対象候補の中からグレー画素を検出するものである，
請求項１に記載の画像処理装置。
【請求項５】
上記色温度範囲絞込み手段は，
上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報の代表値に，複数の所定係数のそれぞれを乗算する第３の係数乗算手段，
上記第３の係数乗算手段によって算出された複数の係数乗算肌領域代表値を，色度値に変換する第３の色度値変換手段，および
上記第３の色度値変換手段によって得られた複数の係数乗算肌領域代表色度値のうち，上記肌画像領域を構成する画素から得られる色情報の代表値を色度値に変換して得られる肌領域代表色度値に最も近い肌黒体軌跡上の値との距離が所定距離内にある，そのような係数乗算肌領域代表色度値を算出した上記所定係数の範囲を探索する係数範囲探索手段を含む，
請求項４に記載の画像処理装置。
【請求項６】
上記色温度範囲絞込み手段は，
上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報の代表値に，複数の所定係数のそれぞれを乗算する第３の係数乗算手段，
上記第３の係数乗算手段によって算出された複数の係数乗算肌領域代表値を，色度値に変換する第３の色度値変換手段，および
上記第３の色度値変換手段によって得られた複数の係数乗算肌領域代表色度値と，上記肌画像領域を構成する画素から得られる色情報の代表値を色度値に変換して得られる肌領域代表色度値に最も近い肌黒体軌跡上の値との距離を算出し，算出された距離に応じて上記複数の所定係数のそれぞれを重付けする重付け手段を含み，
上記グレー画素検出手段は，
上記肌画像領域を構成する画素から得られる色情報の代表値に，上記所定係数を乗算する第４の係数乗算手段，
上記第４の係数乗算手段によって算出された係数乗算肌領域代表値を色度値に変換する第４の色度値変換手段，
上記第４の色度値変換手段によって得られた係数乗算肌領域代表色度値が，肌黒体軌跡の近傍範囲に存在するかどうかを判断する判断手段，
上記判断手段によって，上記係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在することが判断された場合に，上記係数乗算肌領域代表色度値に最も近い肌黒体軌跡上の値に対応する色温度を，暫定的な色温度と推定する暫定色温度推定手段，
上記画像データによって表される画像を構成する画素から得られる色情報に，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる所定係数を，乗算する第５の係数乗算手段，および
上記第５の係数乗算手段によって得られた複数の係数乗算画素値を色度値に変換する第５の色度値変換手段を備え，
上記画像データによって表される画像を構成する画素のうち，上記第５の色度値変換手段によって算出された係数乗算画素色度値が，上記暫定色温度推定手段によって推定された暫定的な色温度に対応するグレー黒体軌跡上の値の近傍範囲に入る画素を特定し，特定された画素をグレー画素として検出するものであり，
上記グレー画素検出手段によって検出されたグレー画素の数が大きいほど値が小さくなり，かつ上記所定係数についての重みが大きいほど値が小さくなる，そのような評価関数を用いて，上記グレー画素検出手段によって検出されたグレー画素数，ならびに上記第４および第５の係数乗算手段において用いられた所定係数の重みに基づいて，評価関数値を算出する手段，および
上記評価関数値が最小となる所定係数を探索する最適化係数探索手段をさらに備え，
上記第４および第５の係数乗算手段は，上記最適化係数探索手段によって探索された所定係数を用いるものである，
請求項４に記載の画像処理装置。
【請求項７】
上記色温度範囲絞込み手段は，
上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報の代表値に，複数の所定係数のそれぞれを乗算する第３の係数乗算手段，
上記第３の係数乗算手段によって算出された複数の係数乗算肌領域代表値を，色度値に変換する第３の色度値変換手段，および
上記第３の色度値変換手段によって得られた複数の係数乗算肌領域代表色度値と，上記肌画像領域を構成する画素から得られる色情報の代表値を色度値に変換して得られる肌領域代表色度値に最も近い肌黒体軌跡上の値との距離を算出し，算出された距離に応じて上記複数の所定係数のそれぞれを重付けする重付け手段を含み，
上記グレー画素検出手段は，
上記肌画像領域を構成する画素から得られる色情報の代表値に，上記所定係数を乗算する第４の係数乗算手段，
上記第４の係数乗算手段によって算出された係数乗算肌領域代表値を色度値に変換する第４の色度値変換手段，
上記第４の色度値変換手段によって得られた係数乗算肌領域代表色度値が，肌黒体軌跡の近傍範囲に存在するかどうかを判断する判断手段，
上記判断手段によって，上記係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在することが判断された場合に，上記係数乗算肌領域代表色度値に最も近い肌黒体軌跡上の値に対応する色温度を，暫定的な色温度と推定する暫定色温度推定手段，
上記画像データによって表される画像を構成する画素から得られる色情報に，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる所定係数を，乗算する第５の係数乗算手段，および
上記第５の係数乗算手段によって得られた複数の係数乗算画素値を色度値に変換する第５の色度値変換手段を備え，
上記画像データによって表される画像を構成する画素のうち，上記第５の色度値変換手段によって算出された係数乗算画素色度値が，上記暫定色温度推定手段によって推定された暫定的な色温度に対応するグレー黒体軌跡上の値の近傍範囲に入る画素を特定し，特定された画素をグレー画素として検出するものであり，
上記グレー画素検出手段によって検出されたグレー画素の数が大きいほど値が大きくなり，かつ上記所定係数についての重みが大きいほど値が大きくなる，そのような評価関数を用いて，上記グレー画素検出手段によって検出されたグレー画素数，ならびに上記第４および第５の係数乗算手段において用いられた所定係数の重みに基づいて，評価関数値を算出する手段，および
上記評価関数値が最大となる所定係数を探索する最適化係数探索手段を備え，
上記第４および第５の係数乗算手段は，上記最適化係数探索手段によって探索された所定係数を用いるものである，
請求項４に記載の画像処理装置。
【請求項８】
上記色温度推定手段は，
上記グレー画素検出手段によって検出されたグレー画素のそれぞれの色温度を算出し，算出された色温度の平均値を，撮影光源の色温度とするものである，
請求項１に記載の画像処理装置。
【請求項９】
上記色温度推定手段によって推定された撮影光源の色温度に基づいて，ホワイトバランス補正値を算出するホワイトバランス補正値算出手段，および
上記ホワイトバランス補正値算出手段によって算出された補正値を用いて，上記画像データに対してホワイトバランス補正を行うホワイトバランス補正手段，
を備えた請求項１に記載の画像処理装置。
【請求項１０】
上記ホワイトバランス補正手段によってホワイトバランス補正された肌画像領域の代表値と肌画像基準値との差が所定値よりも大きい場合に，上記ホワイトバランス補正の補正効果を弱めるように上記ホワイトバランス補正値を補正する第１のロワード手段，
をさらに備えた請求項９に記載の画像処理装置。
【請求項１１】
上記グレー画素検出手段によって検出されたグレー画素の画素数が所定値よりも小さい場合に，上記ホワイトバランス補正の補正効果を弱めるように上記ホワイトバランス補正値を補正する第２のロワード手段，
をさらに備えた請求項９に記載の画像処理装置。
【請求項１２】
与えられる画像データによって表される画像中に含まれる肌画像領域を，画像形状または画像構造に基づいて検出し，
検出した肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素を検出し，
検出したグレー画素に基づいて，撮影光源の色温度を推定する，
画像処理方法。
【請求項１３】
与えられる画像データによって表される画像中に含まれる肌画像領域を，画像形状または画像構造に基づいて検出する肌画像領域検出処理，
上記肌画像領域検出処理によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素を検出するグレー画素検出処理，および
グレー画素検出処理によって検出されたグレー画素に基づいて，撮影光源の色温度を推定する色温度推定処理，
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像処理装置および方法ならびに画像処理プログラムに関し，特に，与えられる画像データに基づいて，撮影光源の色温度を推定する装置および方法ならびにプログラムに関する。
【背景技術】
【０００２】
近年，デジタル露光を利用する焼付け装置，すなわち，ネガフィルムやカラーリバーサルフィルム等の写真フィルムに記録された画像を光電的に読み取って，読み取った画像をデジタル・データとし，この画像データに応じて変調した記録光によって感光材料を露光して画像（潜像）を印画紙にプリントするデジタルフォトプリンタが実用化されている。デジタル・カメラやカメラ付き携帯電話によって得られた画像データも，デジタルフォトプリンタによって印画紙上にプリントされる。
【０００３】
ディジタルフォトプリンタによって扱われる画像データの状態は，必ずしも一様ではない。画像は，例えば，昼光や蛍光灯，タングステン光等の様々な撮影光源下で撮影されて得られる。従って，画像データからプリントを作成する場合，画像処理を施すことなく焼付けを行うと，撮影光源に基づく色味がプリントに反映されてしまうことがある。
【０００４】
撮影光源に左右されない画像プリントを得るための補正処理として，ホワイトバランス補正（グレーバランス補正）がある。
【０００５】
ホワイトバランス補正は，画像データによって表される画像の色バランスを制御することにより，被写体像を適切な色で表現する（たとえば，白色の被写体像を白色で表現する，肌色の被写体像（たとえば人物の顔部分）を，肌色で表現する）ように，画像データを補正する処理である。ホワイトバランス補正は，一般的には撮影時に行われる。撮影時において，撮影状況に応じた色温度（または光源種類）がディジタル・カメラに設定される。設定された色温度または光源種類に応じたホワイトバランス補正が行われ，ホワイトバランス補正された画像データが，メモリカード等に記憶される。
【０００６】
撮影時ではなく，その後にディジタル画像データによって表される画像のホワイトバランスを補正する場合，ディジタル画像データによって表される画像の撮影時における色温度を，ディジタル画像データから得られる情報に基づいて決定（推定）する必要がある。
【０００７】
特許文献１は，光源色温度の決定（推定）に，色度図上の黒体軌跡（肌黒体軌跡およびグレー黒体軌跡）を利用している。ディジタル・カメラによって得られた画像のＲＧＢ値のＲ成分およびＢ成分に，所定の係数α1，α2を乗算し，その値を色度値ｒ，ｂに変換する。色度図上に表される肌黒体軌跡の近傍に入る画素を肌色候補画素，グレー黒体軌跡の近傍に入る画素をグレー候補画素として検出する。上記所定係数α1，α2は，肌黒体軌跡の近傍に入る肌色候補画素数およびグレー黒体軌跡の近傍に入るグレー候補画素数が最大になるように，または肌色候補画素群の平均色温度とグレー画素群の平均色温度の差が最小になるように，最適化される。肌黒体軌跡に基づいて検出された肌画素の色温度およびグレー黒体軌跡が用いられて検出されたグレー画素の色温度が用いられて，光源色温度が決定（推定）される。
【特許文献１】特開２００３−２０９８５６号公報
【０００８】
上述のように，特許文献１では，ディジタル・カメラによって得られた画像のＲＧＢ値のＲ成分およびＢ成分に，所定の係数α1，α2を乗算し，その値を色度値ｒ，ｂに変換して得られた値が，色度図上に表される肌黒体軌跡の近傍に入る画素であればその画素は肌色画素であり，グレー黒体軌跡の近傍に入る画素であればその画素はグレー画素としている。しかしながら，ホワイトバランス補正を行う前の画像は，色バランスがとれていないものであることが多い。このため，特許文献１のように，色情報のみを用いて肌色画素およびグレー画素を検出するには限界がある。たとえば，画像中に肌画素およびグレー画素がなくても，肌とグレーとの相対的な色の関係にある色の対（例えば，ピンクと紫）が存在すれば，それを肌色画素，グレー画素として誤検出してしまうことが考えられる。その結果，肌黒体軌跡およびグレー黒体軌跡にしたがって得られる光源色温度が，適切な光源色温度でないものになってしまい，適正なホワイトバランス補正に失敗してしまうおそれがある。
【発明の開示】
【０００９】
そこで，この発明は上記事情に鑑みなされたものであり，与えられる画像データによって表される画像に含まれるグレー画素を正確に検出することによって，光源色温度を比較的正確に推定することを目的とする。
【００１０】
第１の発明による画像処理装置は，与えられる画像データによって表される画像中に含まれる肌画像領域を，画像形状または画像構造に基づいて検出する肌画像領域検出手段，上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素を検出するグレー画素検出手段，および上記グレー画素検出手段によって検出されたグレー画素に基づいて，撮影光源の色温度を推定する色温度推定手段を備えたことを特徴とする。
【００１１】
第１の発明による画像処理方法は，与えられる画像データによって表される画像中に含まれる肌画像領域を，画像形状または画像構造に基づいて検出し，検出した肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素を検出し，検出したグレー画素に基づいて，撮影光源の色温度を推定することを特徴とする。
【００１２】
第１の発明による画像処理のためのプログラムは，コンピュータに，与えられる画像データによって表される画像中に含まれる肌画像領域を，画像形状または画像構造に基づいて検出する肌画像領域検出処理，上記肌画像領域検出処理によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素を検出するグレー画素検出処理，およびグレー画素検出処理によって検出されたグレー画素に基づいて，撮影光源の色温度を推定する色温度推定処理を実行させるものである。
【００１３】
第１の発明による画像処理装置および方法ならびに画像処理プログラムは，ホワイトバランス補正（グレーバランス補正，色バランス補正）に適する。ホワイトバランス補正は，白またはグレーの画像が所定の色味を持つように，画像を構成する画素のＲＧＢ値の比を補正するものであり，画像データの取得時（すなわち，撮影時）の光源色温度を推定することによって，ホワイトバランス補正のための値（ホワイトバランス補正値またはホワイトバランス補正係数）を算出（決定）することができる。ホワイトバランス補正装置として用いる場合には，第１の発明による画像処理装置は，上記色温度推定手段によって推定された撮影光源の色温度に基づいて，ホワイトバランス補正値（補正係数）を算出するホワイトバランス補正値算出手段，および上記ホワイトバランス補正値算出手段によって算出された補正値を用いて，上記画像データに対してホワイトバランス補正を行うホワイトバランス補正手段がさらに備えられる。
【００１４】
画像データに基づいて直接にグレー画素を検出することができれば，検出されたグレー画素に基づいて光源色温度を推定することができ，推定された光源色温度に基づいて，ホワイトバランス補正値を算出することができる。しかしながら，画像データに基づいて直接にグレー画素を検出することは困難である。そこで，第１の発明による画像処理装置は，まず，与えられる画像データに基づいて肌画像領域を検出し，この肌画像領域に基づく色情報にもとづいて，グレー画素を検出する。なお，グレー画素は，適切なホワイトバランスを持つとすれば，グレーについての黒体軌跡（グレー黒体軌跡）上またはその近傍の値（色度値）を持つ画素である。
【００１５】
肌画像領域は，与えられる画像データによって表される画像中に含まれる，肌色を含む特定の形状または構造を持つ画像領域（画像部分）を意味する。第１の発明の画像処理装置は，画像の形状または構造に着目して，与えられる画像データによって表される画像中の肌画像領域を検出する。
【００１６】
画像形状または画像構造に基づいて検出される肌画像領域としては，たとえば，人物の顔，胴体，手，足等などを表す画像が挙げられる。これらの画像領域は，特定の形状または構造を持つので，与えられる画像データ中（全体画像を表す画像データ中）から検出する（区画する，抽出する）ことが可能である。
【００１７】
好ましくは，人物の顔画像領域に基づいて肌画像領域が検出される。人物の顔画像領域は，一般的には肌色を含む画像領域である。また，ディジタル・スチル・カメラ等によって撮像される被写体には人物の顔を含むことが多い。人物の顔画像領域を，形状または構造にもとづいて検出することによって，肌画像領域を確実に取得することができる。
【００１８】
肌画像領域を構成する画素のそれぞれは，色情報を含む。たとえば，Ｒ，Ｇ，Ｂのそれぞれについての８ビット・データが各画素ごとに存在する。肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素が検出される。
【００１９】
一実施態様では，グレー画素検出手段は，肌画像領域を構成する画素のそれぞれから得られる色情報の代表値（たとえば，平均値，最頻値または中央値）に，所定係数を乗算する第１の係数乗算手段，上記第１の係数乗算手段によって算出された係数乗算肌領域代表値を色度値に変換する第１の色度値変換手段，上記第１の色度値変換手段によって得られた係数乗算肌領域代表色度値が，肌黒体軌跡の近傍範囲に存在するかどうかを判断する判断手段，上記判断手段によって，上記係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在することが判断された場合に，上記係数乗算肌領域代表色度値に最も近い肌黒体軌跡上の点に対応する色温度を，暫定的な色温度と推定する暫定色温度推定手段，上記画像データによって表される画像を構成する画素から得られる色情報に，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる上記所定係数を乗算する第２の係数乗算手段，および上記第２の係数乗算手段によって得られた複数の係数乗算画素値を色度値に変換する第２の色度値変換手段を備え，上記画像データによって表される画像を構成する画素のうち，上記第２の色度値変換手段によって得られた係数乗算画素色度値が，上記暫定色温度推定手段によって推定された暫定的な色温度に対応するグレー黒体軌跡上の点の近傍範囲に入る画素を特定し，特定された画素をグレー画素として検出するものである。
【００２０】
肌画像領域検出手段によって検出される肌画像領域は，画像形状または画像構造に基づいて検出されるので，与えられる画像データのホワイトバランス（色バランス）が適切なものであれば，肌画像領域から得られる値（色度値）は，所定色温度に対応する肌黒体軌跡上またはその近傍に存在する。与えられる画像データのホワイトバランスが適切でない場合，肌画像領域から得られる値（色度値）は，肌黒体軌跡上またはその近傍から外れる。第１の係数乗算手段によって所定係数が乗算され，かつ第１の色度値変換手段によって得られた係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在する場合，係数乗算前の肌画像領域を構成する画素から得られる色情報の代表値（平均値，最頻値または中央値）を持つ画素（仮想的な画素である）は，所定係数が乗算されることによって，肌黒体軌跡上またはその近傍に存在することになる。
【００２１】
上記係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在することが判断された場合に，上記係数乗算肌領域代表色度値に最も近い肌黒体軌跡上の点に対応する色温度が，暫定的な色温度と推定される。上述の所定係数（上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる所定係数）が，上記画像データによって表される画像を構成する画素から得られる色情報に乗算され，その後，色度値に変換される（係数乗算画素色度値の算出）。上記画像データによって表される画像を構成する画素のうち，係数乗算画素色度値が，上記暫定色温度推定手段によって推定された暫定的な色温度に対応するグレー黒体軌跡上の点の近傍範囲に入る画素が特定され，特定された画素がグレー画素として検出される。
【００２２】
検出されたグレー画素に基づいて，撮影光源の色温度が推定される。たとえば，検出された特定されたグレー画素のそれぞれの色温度が算出され，算出された色温度の平均値が光源色温度とされる。
【００２３】
この発明によると，入力された画像データ中に含まれる肌画像領域の色情報が用いられてグレー画素が特定される。グレー画素を特定することによって撮影光源の色温度を比較的精度よく推定することができる。肌画像領域は画像の形状または構造に基づいて検出されるので，与えられる画像データによって表される画像の色バランスがどのようなものであっても，その色バランスに左右されることなく検出することができる。色情報に基づく肌画像領域の検出に比較して，より確実に肌画像領域を検出することができる。そして，グレー画素については，上述のように，画像形状または画像構造に基づいて検出された肌画像領域の色情報に基づいて検出される。比較的精度よく検出される肌画像領域にしたがってグレー画素が検出されるので，色情報のみに基づくグレー画素の検出に比較して，高精度でグレー画素を検出することができる。グレー画素の誤検出が比較的確実に防止され，撮影光源の色温度を比較的精度よく推定することができる。
【００２４】
人種ごと（たとえば，白人用，黄色人用，黒人用）の肌黒体軌跡を表すデータをあらかじめ用意しておき（記憶装置に記憶しておく），処理対象の画像データによって表される画像中に含まれる人物の人種に応じた肌黒体軌跡を用いるようにしてもよい。この場合には，画像処理装置には，処理対象の画像データによって表される画像中に含まれる人種を指定する人種指定手段が設けられ，人種指定手段によって指定された人種についての肌黒体軌跡データが，その後の処理に用いられる。
【００２５】
撮像装置の機種（カメラ機種等）ごとの肌黒体軌跡を表すデータおよびグレー黒体軌跡を表すデータをあらかじめ用意しておき（記憶装置に記憶しておく），処理対象の画像データの取得に用いられた撮像装置に応じた肌黒体軌跡およびグレー黒体軌跡を用いるようにしてもよい。この場合には，画像処理装置には，処理対象の画像データの取得に用いられた撮像装置の機種を指定する撮像装置指定手段が設けられ，撮像装置指定手段によって指定された撮像装置についての肌黒体軌跡データおよびグレー黒体軌跡データが，その後の処理に用いられる。
【００２６】
処理対象の画像データにタグ情報が付随しており，このタグ情報中にカメラ機種を特定するデータが含まれている場合には，このタグ情報中のカメラ機種特定データにもとづいて，肌黒体軌跡データおよびグレー黒体軌跡データを選択するようにしてもよい。
【００２７】
好ましい実施態様では，上記画像処理装置は，上記グレー画素数が最大になる，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる所定係数を探索する最適化係数探索手段を備え，上記第１の係数乗算手段および第２の係数乗算手段は，上記最適化係数探索手段によって探索された所定係数を用いる。検出されるグレー画素が最大になる所定係数を用いることによって，与えられる画像データによって表される画像中に含まれる多数のグレー画素を検出することができる。検出されるグレー画素に基づいて推定される撮影光源の色温度を，より正確なものとすることができる。
【００２８】
好ましい実施態様では，画像処理装置は，上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲を絞込む色温度範囲絞込み手段を備え，上記グレー画素検出手段は，上記色温度範囲絞込み手段によって絞込まれた色温度範囲に含まれる色温度を持つ画素を検出対象候補として，この検出対象候補の中からグレー画素を検出するものである。
【００２９】
グレー画素の検出処理に先立って，肌画像領域を構成する画素から得られる色情報に基づいて，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲が絞込まれる。肌画像領域検出手段によって検出される肌画像領域から得られる色情報のみでは，撮影光源の色温度を推定するのに充分とは言えないが，ある程度の広がりをもつ色温度の範囲を決定するのには有効である。また，処理対象の画像データが，蛍光灯のような黒体放射の測定に適さない光源（黒体放射光源ではない光源）下で撮像されて得られたものであった場合に，肌画像領域から得られる色情報に基づいて，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲を絞りこんでおくことによって，適切でないグレー画素が検出されてしまうこと（適切でない撮影光源の色温度が推定されること）を防止することができる。
【００３０】
一実施態様では，上記色温度範囲絞込み手段は，上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報の代表値に，複数の所定係数のそれぞれを乗算する第３の係数乗算手段，上記第３の係数乗算手段によって算出された複数の係数乗算肌領域代表値を，色度値に変換する第３の色度値変換手段，および上記第３の色度値変換手段によって得られた複数の係数乗算肌領域代表色度値のうち，上記肌画像領域を構成する画素から得られる色情報の代表値を色度値に変換して得られる肌領域代表色度値に最も近い肌黒体軌跡上の値との距離が所定距離内にある，そのような係数乗算肌領域代表色度値を算出した上記所定係数の範囲を探索する係数範囲探索手段を含む。
【００３１】
与えられる画像データのホワイトバランス（色バランス）が適切なものであり，与えられる画像データの取得時の撮影光源が黒体放射の測定に適した光源（たとえば，太陽光など）であれば，肌画像領域から得られる色情報，たとえば代表色度値（肌画像領域を構成する画素から得られる色度値の平均値，最頻値または中央値）は，所定色温度に対応する肌黒体軌跡上またはその近傍に存在する。画像データによって表される画像中に含まれるグレー画素は，所定色温度に対応するグレー黒体軌跡上またはその近傍に存在する。
【００３２】
与えられる画像データのホワイトバランス（色バランス）が適切でない場合，与えられる画像データの取得時の撮影光源が黒体放射の測定に適した光源であったとしても，肌画像領域から得られる代表色度値は，肌黒体軌跡上またはその近傍から外れ，グレー画素の色度値も，グレー黒体軌跡上またはその近傍が外れてしまう。また，与えられる画像データの取得時の撮影光源が黒体放射の測定に適さない光源（たとえば，蛍光灯）であったとすると，肌黒体軌跡およびグレー黒体軌跡が黒体放射の測定に適した光源を想定したものであるので，肌黒体軌跡およびグレー黒体軌跡を利用したグレー画素の検出が精度が低いものになってしまう。
【００３３】
そこで，与えられる画像データの取得時の撮影光源が黒体放射の測定に適さない光源（黒体放射光源ではない光源）（たとえば，蛍光灯）であったとしても，肌黒体軌跡およびグレー黒体軌跡を利用したグレー画素の検出精度の低下を抑制することができるようにするために，肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲を絞込む処理が行われる。肌画像領域は画像形状または構造に基づいて検出されるので，撮影光源がたとえ蛍光灯であったとしても，肌画像領域を比較的正確に検出することができる。そして，肌画像領域にはほぼ確実に多数の肌色画素が含まれている。この事実を利用して，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲を絞込む処理が行われる。
【００３４】
検出されるべきグレー画素が持つべき撮影光源の色温度の範囲は，上述した所定係数の範囲に対応する。肌画像領域から得られる色情報の代表値に所定係数を乗算して，色度値に変換することによって得られる係数乗算肌領域代表色度値が，肌黒体軌跡上またはその近傍の範囲に入るとすると，そのような所定係数が，グレー画素の検出のための所定係数の候補とされる。絞込まれた係数範囲に属する所定係数（初期状態における複数の所定係数のうちの一部）がその後の処理に用いられる。
【００３５】
グレー画素検出手段によって，上記色温度範囲絞込み手段によって絞込まれた色温度範囲に含まれる色温度を持つグレー画素を検出対象候補として，上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報に基づいて，上記画像データによって表される画像中に含まれるグレー画素が検出される。
【００３６】
この発明によると，画像形状または構造に基づいて検出される肌画像領域から得られる色情報にもとづいて，検出されるべきグレー画素が持つべき撮影光源の色温度の範囲があらかじめ絞込まれ（所定係数範囲が設定され），絞込まれた色温度範囲を持つグレー画素を検出対象候補として（設定された所定係数範囲内の所定係数が用いられて），グレー画素が検出される。画像データの取得時の光源種類が蛍光灯のようなものであったとしても，グレー画素の特定（検出）を比較的精度よく行うことができる。
【００３７】
所定係数を，探索範囲に属する所定係数と探索範囲に属さない所定係数の２つのグループに分け，探索範囲に属する所定係数の中から，グレー画素の検出に用いるべき所定係数を決定してもよい。複数の係数乗算肌領域代表色度値と，上記肌画像領域を構成する画素から得られる色情報の代表値を色度値に変換して得られる肌領域代表色度値に最も近い肌黒体軌跡上の値との距離を算出し，算出された距離に応じて，上記複数の所定係数のそれぞれを重み付けしてもよい。重みとしては，たとえば，算出された距離が短いほど大きい値が付与される。肌領域代表色度値を，肌黒体軌跡により近づける所定係数ほど，グレー画素の検出に適した所定係数と考えられるからである。
【００３８】
重付けを用いた色温度範囲絞込み手段は，上記肌画像領域検出手段によって検出された肌画像領域を構成する画素から得られる色情報の代表値に，複数の所定係数のそれぞれを乗算する第３の係数乗算手段，上記第３の係数乗算手段によって算出された複数の係数乗算肌領域代表値を，色度値に変換する第３の色度値変換手段，上記第３の色度値変換手段によって得られた複数の係数乗算肌領域代表色度値と，上記肌画像領域を構成する画素から得られる色情報の代表値を色度値に変換して得られる肌領域代表色度値に最も近い肌黒体軌跡上の値との距離を算出し，算出された距離に応じて上記複数の所定係数のそれぞれを重付けする重付け手段を含む。上記グレー画素検出手段は，上記肌画像領域を構成する画素から得られる色情報の代表値に，上記所定係数を乗算する第４の係数乗算手段，上記第４の係数乗算手段によって算出された係数乗算肌領域代表値を色度値に変換する第４の色度値変換手段，上記第４の色度値変換手段によって得られた係数乗算肌領域代表色度値が，肌黒体軌跡の近傍範囲に存在するかどうかを判断する判断手段，上記判断手段によって，上記係数乗算肌領域代表色度値が肌黒体軌跡の近傍範囲に存在することが判断された場合に，上記係数乗算肌領域代表色度値に最も近い肌黒体軌跡上の値に対応する色温度を，暫定的な色温度と推定する暫定色温度推定手段，上記画像データによって表される画像を構成する画素から得られる色情報に，上記係数乗算肌領域代表色度値を肌黒体軌跡の近傍範囲に存在させる所定係数を，乗算する第５の係数乗算手段，および上記第５の係数乗算手段によって得られた複数の係数乗算画素値を色度値に変換する第５の色度値変換手段を備え，上記画像データによって表される画像を構成する画素のうち，上記第５の色度値変換手段によって算出された係数乗算画素色度値が，上記暫定色温度推定手段によって推定された暫定的な色温度に対応するグレー黒体軌跡上の値の近傍範囲に入る画素を特定し，特定された画素をグレー画素として検出する。さらに，画像処理装置には，上記グレー画素検出手段によって検出されたグレー画素の数が大きいほど値が小さくなり，かつ上記所定係数についての重みが大きいほど値が小さくなる，そのような評価関数を用いて，上記グレー画素検出手段によって検出されたグレー画素数，ならびに上記第４および第５の係数乗算手段において用いられた所定係数の重みに基づいて，評価関数値を算出する手段，および上記評価関数値が最小となる所定係数を探索する最適化係数探索手段が備えられる。上記第４および第５の係数乗算手段では，上記最適化係数探索手段によって探索された所定係数が用いられる。
【００３９】
検出されるグレー画素数が多い程，そして重みが大きいほど，小さい値の評価関数値が得られるので，小さい評価関数値を得ることができる所定係数ほど，光源色温度の推定に適していると考えられる。検出されるグレー画素に基づいて推定される撮影光源の色温度を，より正確なものとすることができる。
【００４０】
上記グレー画素検出手段によって検出されたグレー画素の数が多いほど値が大きくなり，かつ上記所定係数についての重みが大きいほど値が大きくなる，そのような評価関数を用いて，グレー画素数および上記所定係数の重みに基づいて，評価関数値を算出するようにしてもよい。この場合には，上記評価関数値が最大となる所定係数が探索される。
【００４１】
好ましい実施態様では，上記ホワイトバランス補正手段によってホワイトバランス補正された肌画像領域の代表値（たとえば，代表色度値）と肌画像基準値との差が所定値よりも大きい場合に，上記ホワイトバランス補正の補正効果を弱めるように上記ホワイトバランス補正値を補正する第１のロワード手段がさらに備えられる。ホワイトバランス補正された後の肌画像領域の代表値と肌画像基準値との差が所定値よりも大きい場合，グレー画素の検出（ホワイトバランス補正値の算出）が適切に行われていない可能性がある。このような場合に，補正効果を弱めるようにホワイトバランス補正値を補正することによって，補正後の画像データへの悪影響を少なくすることができる。
【００４２】
上記グレー画素検出手段によって検出されたグレー画素の画素数が所定値よりも小さい場合に，上記ホワイトバランス補正の補正効果を弱めるように上記ホワイトバランス補正値を補正する第２のロワード手段をさらに備えてもよい。第２のロワード手段を，上述した第１のロワード手段と併用するようにしてもよい。
【実施例１】
【００４３】
（１）黒体軌跡について
黒体軌跡について簡単に説明しておく。図１は色度座標（横軸がｒ，縦軸がｂ）上における，グレーについての黒体軌跡（以下，グレー黒体軌跡Ｇという）を示すものである。
【００４４】
この明細書において，黒体軌跡とは，色温度Ｔの黒体放射エネルギ分布をＰ（λ），被写体の分光反射率分布をρ（λ），ディジタル・カメラ等のＣＣＤセンサの分光感度分布をＳi （λ）（ただし，ｉ＝Ｒ，Ｇ，Ｂのそれぞれ，λは波長）としたとき，次の式１で計算されるＥi を，色度値（ｒ，ｂ）に変換して色度図上にプロットし，色温度Ｔを動かしたときの軌跡を指す。
【００４５】
Ｅi ＝ ∫ Ｐ（λ）ρ（λ）Ｓi （λ）ｄλ     ・・・式１
【００４６】
なお，ＲＧＢ値の色度値（ｒ，ｂ）への変換は，次に示す式２によって行われる。
【００４７】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）          ・・・式２
【００４８】
黒体軌跡は，式１から明らかなように，被写体の分光反射率分布ρ（λ）ごとに異なる軌跡を描く。分光反射率分布ρ（λ）は被写体の色によって異なり，グレーについての分光反射率ρ（λ）にはあらかじめ定められた値が用いられる。また，黒体軌跡は，ディジタル・カメラ等のＣＣＤセンサの分光感度分布Ｓi （λ）によっても異なる軌跡を描く。ＣＣＤセンサ固有の分光感度分布が不明の場合，または異なる特性の分光感度分布を持つＣＣＤセンサで撮像された画像を処理対象とする場合は，ＢＴ７０９理想分光感度分布を用いることができる。
【００４９】
グレーの黒体（完全放射体）（エネルギーを完全に吸収する理想的な物体）を被写体にして得られる画像を構成する画素のＲＧＢ値を色度値（ｒ，ｂ）に変換したものを色度図上にプロットすると，グレー黒体軌跡Ｇ上のいずれかの点にプロットされる。上述したように，黒体軌跡は，色温度Ｔに応じて得られる軌跡であるから，プロット点に応じて色温度を算出することができる。
【００５０】
一般的な利用状況においてディジタル・カメラが用いられて撮像される被写体は，黒体（完全放射体）ではない。このため，ディジタル・カメラが用いられて得られたディジタル画像データから得られる色度値は，たとえ画像中にグレーの被写体画像が含まれていたとしても，グレー黒体軌跡Ｇ上の値とはならないが，色度図上において，グレー黒体軌跡Ｇを中心にして一定範囲内にプロットされる画素はグレー画素として取り扱うことができる。
【００５１】
色度図上において，グレー画素が，所定の色温度に対応するグレー黒体軌跡Ｇの近傍の色度値を持てば，グレー画素を適切なグレー色で表現することができる。すなわちホワイトバランス（グレーバランス）が適切な画像データであることを意味する。
【００５２】
しかしながら，色バランスがとれていない画像の場合，グレー黒体軌跡Ｇ上またはその近傍に入るべきグレー画素が，図１に示す色度図上において，符号Ａで示すような範囲の色度値（ｒ，ｂ）を持つことがある。たとえば，ディジタル・カメラのホワイトバランス補正処理が不適切であると，ディジタル画像データによって得られる画像は，色度図上において符号Ｂによって示す範囲にあるべきグレー画素の色度値が，符号Ａに示す範囲の色度値を持つことになる。
【００５３】
ホワイトバランス補正は，色度図上で言えば，符号Ａで示す範囲のグレー画素を，符号Ｂで示す範囲（グレー黒体軌跡Ｇの近傍であって，所定の色温度に対応する部分）に移動させるための処理を行うことを意味する。
【００５４】
適切なホワイトバランス補正を行うためには，まず，グレーで表現すべきグレー画素を，処理対象のディジタル画像データによって表される画素の中から正確に検出する必要がある。
【００５５】
また，適切なホワイトバランス補正を行うためには，さらに，符号Ａで示す範囲のグレー画素の色度値を，符号Ｂで示す範囲に示す色度値に変換するための補正値（補正係数）を求める必要がある。
【００５６】
以下に説明するディジタルプリントシステムは，ディジタル画像データによって表される画像の色情報のみに基づいてグレー画素を検出して光源色温度を推定するのに代えて，人物の肌領域を画像形状または画像構造にもとづいて正確に検出し，この肌領域から得られる情報を利用して，グレー画素を間接的に検出し，光源色温度を推定（決定）するものである。
【００５７】
（２）ディジタルプリントシステム
図２は，デジタルフォトプリントシステムの一実施形態を概略的を示すブロック図である。デジタルフォトプリントシステムは，様々な異種光源下（色温度下）で撮影された被写体像を表すディジタル画像データに対して，ホワイトバランス補正を行う。
【００５８】
デジタルフォトプリントシステムは，ディジタル画像データによって表される画像中に含まれる肌領域を正確に検出し，検出された肌領域から得られる情報に基づいて，ディジタル画像中に含まれるグレー画素を検出するものである。すなわち，撮影される被写体の中で，撮影頻度が高く，グレー画素を検出する際の補助情報として有効な被写体として，人物の肌が挙げられる。人物の肌は，人種（白人，黄色人，黒人等）によって分光反射率は変わるが，波長ごとの相対関係は近い。すなわち，人物の肌は，人種によってＲＧＢ値自体は相違するが，色度値を求めると近い値になる。ディジタルフォトプリントシステムは，このような人物の肌の性質を利用するものである。また，ディジタルプリントシステムは，検出された肌領域の情報から得られる色温度を，光源色温度の推定に用いる。
【００５９】
以下，ディジタルプリントシステムについて，詳細に説明する。
【００６０】
図２を参照して，デジタルフォトプリントシステムは，画像補正装置１と，画像補正装置１に接続された周辺機器（入力装置２，表示装置３，記憶装置４およびプリンタ５）とによって構成される。
【００６１】
画像補正装置１に接続された入力装置２（キーボード，マウス等）は，処理対象の画像データの指定等に用いられる。表示装置３の表示画面には，処理対象の画像データ（画像ファイル）を選択するための画面，補正前および補正後の画像データによって表される画像等が表示される。記憶装置（ハードディスク，メモリ・カード，ＣＤ−ＲＯＭ，ＤＶＤ等）４には画像データが記憶されており，記憶装置４から読出された画像データに対して，画像補正装置１においてホワイトバランス補正処理が行われる。プリンタ５は，補正後の画像データによって表される画像を印画紙等にプリントする。
【００６２】
図３は，デジタルフォトプリントシステムの中核的な装置である画像補正装置１の電気的構成を，記憶装置４とともに示すブロック図である。
【００６３】
画像補正装置１を構成する各回路は，その機能の観点から，次の４つの部に分類することができる。
【００６４】
その一は，肌領域代表値算出部10である。肌領域代表値算出部10は，記憶装置４から読出された処理対象の画像データによって表される画像中に含まれる肌領域を検出し，検出した肌領域から得られる代表値（たとえば，ＲＧＢ値）を算出する。肌領域代表値算出部10は，縮小画像生成回路11，肌領域検出回路12および肌領域代表値算出回路13から構成される。
【００６５】
その二は，グレー画素検出部20である。グレー画素検出部20は，肌領域代表値算出部10によって得られた肌領域代表値を利用して，処理対象の画像データによって表される画像中に含まれるグレー画素を検出する。グレー画素検出部20は，係数乗算回路21，色度変換回路22，グレー候補画素検出回路23，グレー候補画素数算出回路24および係数最適化回路25から構成される。
【００６６】
その三は，ホワイトバランス補正係数算出部30である。ホワイトバランス補正係数算出部30では，グレー画素検出部20によって検出された処理対象の画像データによって表される画像中に含まれるグレー画素のそれぞれの色温度に基づいて，ホワイトバランス補正のための補正係数が算出される。ホワイトバランス補正係数算出部30は，色温度算出回路31および補正係数算出回路32を含む。
【００６７】
その四は，ホワイトバランス補正部40である。ホワイトバランス補正部40は，ホワイトバランス補正係数算出部30によって算出されたホワイトバランス補正係数を用いて，処理対象の画像データのホワイトバランスを補正する。ホワイトバランス補正部40は，縮小画像生成回路41，ホワイトバランス補正回路42および拡大画像生成回路43を含む。
【００６８】
画像処理装置１にはさらに，肌黒体軌跡を表すデータ（テーブル）およびグレー黒体軌跡を表すデータ（テーブル）が記憶されたメモリ26が設けられている。後述するように，肌黒体軌跡を表すデータには，肌黒体軌跡についてのｂ値と色温度Ｔとの関係を規定したデータ（テーブル）が含まれ，グレー黒体軌跡を表すデータには，グレー黒体軌跡についてのｂ値と色温度Ｔとの関係を規定したデータ（テーブル）が含まれている。メモリ26に記憶されているこれらのデータは，グレー候補画素検出回路23および色温度算出回路31における処理において用いられる（詳細は後述する）。
【００６９】
以下，肌領域代表値算出部10，グレー画素検出部20，ホワイトバランス補正係数算出部30およびホワイトバランス補正部40のそれぞれについて，順を追って説明する。
【００７０】
（I）肌領域代表値算出部10について
上述したように，肌領域代表値算出部10は，縮小画像生成回路11，肌領域検出回路12および肌領域代表値算出回路13を含んでいる。
【００７１】
この実施例において，記憶装置４に記憶されている画像データによって表される画像は，人物の顔画像を含み，かつグレー色の被写体画像を含むものとする。記憶装置４から読出された画像データは，縮小画像生成回路11に与えられる。縮小画像生成回路11は，与えられた画像データを間引くことにより，縮小された（画素数が少なくされた）画像データを生成する。縮小画像生成回路11は，画像補正装置１の処理時間を短縮するためのものでり，必要に応じて，縮小画像生成回路11の処理をオン／オフするようにしてもよい。
【００７２】
縮小画像生成回路11から出力された縮小画像データがその後の処理に用いられる。縮小画像データは，肌領域検出回路12および係数乗算回路21に入力する（係数乗算回路21についての説明は，後述する）。
【００７３】
肌領域検出回路12は，縮小画像データによって表される縮小画像中に含まれる顔画像中の肌領域を検出する（区画する，境界を画定する，特定する）回路である。人物の顔は所定の形状，構造を有しているので，この形状，構造を利用することによって，顔画像検出処理を比較的精度よく行うことができる。また，人物の顔には確実に肌が含まれている。肌領域検出回路12は，これらの事実に着目して，縮小画像中の顔画像を検出し，そこに含まれている肌領域を確実に検出するものである。
【００７４】
縮小画像中に含まれる顔画像を検出（区画）する処理には，従来または新規の種々の検出（区画）手法を用いることができる。たとえば，パターンマッチングによって顔画像部分を検出する方法（特開平８−１２２９４４号公報）を用いることができる。入力画像中の肌候補領域（手，足等を含む）を検出し，検出された肌候補領域の中で，主な顔特徴（目，眉，毛，鼻および口）を含むものを検出することによって肌候補領域の中から顔画像部分を検出する方法（特開２００２−２０３２３９号公報）なども採用することができる。いずれにしても，肌領域検出回路12は，人物の顔が持つ形状または構造に基づいて，縮小画像中に含まれる人物の顔を表す画像部分を検出する。
【００７５】
人物の顔は，肌色以外の色を含む部位（たとえば，目，眉，唇など）がある。検出された顔画像部分の画像から，これらの色を持つ画素（目であれば，白色画素および黒色画素，眉であれば黒色画素，唇であれば赤色画素など）を除去するようにしてもよい。
【００７６】
肌領域検出回路12は，検出した顔画像部分に含まれる複数の画素のそれぞれのＲＧＢ値を出力する。顔画像部分を構成する画素ごとのＲＧＢ値が，肌領域代表値算出回路13に入力する。
【００７７】
肌領域代表値算出回路13は，肌領域検出回路12から与えられた顔画像部分に含まれる画素ごとのＲ，Ｇ，Ｂ各色の平均値（tfＲ，tfＧ，tfＢ）を算出する。この平均値を，肌領域から得られる代表値（以下，肌領域代表値という）とする。また，この代表値を持つ仮想的な画素を，以下，代表肌画素と呼ぶ。平均値に代えて，中央値または最頻値を代表値としてもよい。肌領域代表値（tfＲ，tfＧ，tfＢ）は，グレー画素検出部20に含まれる係数乗算回路21に与えられる。
【００７８】
（II）グレー画素検出部20について
グレー画素検出部20は，上述したように，係数乗算回路21，色度変換回路22，グレー候補画素検出回路23，グレー候補画素数算出回路24および係数最適化回路25から構成される。
【００７９】
グレー画素検出部20は，縮小画像に含まれるグレー画素を検出するものである。このグレー画素の検出に，肌領域代表値算出回路13において算出された肌領域代表値（tfＲ，tfＧ，tfＢ）と肌黒体軌跡Ｈおよびグレー黒体軌跡Ｇが用いられる。
【００８０】
図４は，グレー画素検出部20における処理の流れを示すフローチャートである。図５から図８は，グレー画素検出部20における処理を内容を，肌黒体軌跡Ｈおよびグレー黒体軌跡Ｇを含む色度図を用いて説明するものである。以下，グレー画素検出部20を構成する係数乗算回路21，色度変換回路22，グレー候補画素検出回路23，グレー候補画素数算出回路24および係数最適化回路25におけるそれぞれの処理を，図４から図８を参照しつつ説明する。
【００８１】
係数乗算回路21には，上述の肌領域代表値算出回路13によって得られた肌領域代表値（tfＲ，tfＧ，tfＢ）と，縮小画像生成回路11において生成された縮小画像データ（縮小画像を構成する複数の画素のそれぞれについてのＲＧＢ値）が入力する。
【００８２】
係数乗算回路21は，肌領域代表値（tfＲ，tfＧ，tfＢ）のＲ成分およびＧ成分に，所定係数（α2，α1）をそれぞれ乗算する（ステップ51）。すなわち，次の式３に示す係数乗算肌領域代表値（tfＲ，tfＧ，tfＢ）が，係数乗算回路21において算出される。
【００８３】
tfＲ＝α2・tfＲ
tfＧ＝α1・tfＧ              ・・・式３
tfＢ＝tfＢ
【００８４】
なお，式３において，ＲＧＢ値のうちのＲ成分およびＧ成分のみに所定係数（α2，α1）を乗算するのは，ホワイトバランス補正は，ＲＧＢ値の比を補正するものであり，ＲＧＢ値のうちのＲ成分およびＧ成分に乗算される所定係数（α2，α1）によって，ＲＧＢ値の比を制御することができるからである。もちろん，Ｂ成分についても，所定係数を乗算するようにしてもよいのは言うまでもない。また，Ｒ成分とＢ成分，Ｂ成分とＧ成分のみに係数を乗算するようにしてもよい。
【００８５】
色度変換回路22において，上述の係数乗算回路21において得られた係数乗算肌領域代表値（tfＲ，tfＧ，tfＢ）が，色度値に変換される（変換処理については上記式２参照）（ステップ52）。この色度値を，以下，係数乗算肌領域代表色度値（ｒ１，ｂ１）と呼ぶ。
【００８６】
続いて，グレー候補画素検出回路23において，係数乗算肌領域代表色度値（ｒ１，ｂ１），ならびにメモリ26に記憶されている肌黒体軌跡Ｈおよびグレー黒体軌跡Ｇ等を利用した処理が行われる。グレー候補画素検出回路23に接続されたメモリ26には，上述したように，肌黒体軌跡Ｈを規定する肌黒体軌跡データ，グレー黒体軌跡Ｇを規定するグレー黒体軌跡データ，肌黒体軌跡Ｈについての色度値ｂと色温度Ｔとの関係を格納したデータ（以下，「肌黒体軌跡Ｈについての色度値ｂ／色温度Ｔ関係データ」という），およびグレー黒体軌跡Ｇについての色度値ｂと色温度Ｔとの関係を格納したデータ（以下，「グレー黒体軌跡Ｇについての色度値ｂ／色温度Ｔ関係データ」という）が記憶されている。
【００８７】
まず，肌黒体軌跡Ｈと，肌黒体軌跡Ｈについての色度値ｂ／色温度Ｔ関係データが用いられて，上述の係数乗算肌領域代表色度値（ｒ１，ｂ１）に基づいて，暫定的な色温度Ｔh が算出される。暫定的な色温度Ｔh の算出処理を，図５および図６を参照して説明する。なお，肌黒体軌跡Ｈは，先に説明したグレー黒体軌跡Ｇと同様に，上述の式１によって規定される軌跡である。グレー黒体軌跡Ｇとは，式１における分光反射率分布ρ（λ）のみが異なる。
【００８８】
図５は，色度図上において，肌領域代表値（tfＲ，tfＧ，tfＢ）から得られる色度値（肌領域代表色度値）のプロット点Ａ（ｒ０，ｂ０）と，上述の係数乗算肌領域代表色度値のプロット点Ｂ（ｒ１，ｂ１）を示している。図６は暫定的な色度値Ｔh を算出する様子を示している。
【００８９】
上述したように，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）は，代表肌画素（肌領域代表値）（tfＲ，tfＧ，tfＢ）のＲ成分およびＧ成分に所定係数（α2，α1）をそれぞれ乗算して得られた値を色度値に変換したものである。このため，肌領域代表色度値Ａ（ｒ０，ｂ０）と，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）とは，色度図上において異なる位置にプロットされる（図５）。
【００９０】
グレー候補画素検出回路23は，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）に最も近い肌黒体軌跡Ｈ上の点（ｒ値，ｂ値）を算出する。係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）と，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）に最も近い肌黒体軌跡Ｈ上の点（ｒ値，ｂ値）との距離Ｌ1が算出される（図６）（ステップ53）。
【００９１】
係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）と，これに最も近い肌黒体軌跡Ｈ上の点との距離Ｌ1が所定値（たとえば，０．０１）以上の場合には，新たな別の所定係数（α2，α1）が採用されることになる（ステップ54でNO，ステップ55，ステップ61でNO，ステップ62）。これは，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）と，これに最も近い肌黒体軌跡Ｈ上の点との距離が所定値（たとえば，０．０１）以上離れている場合には，所定係数（α2，α1）を乗算することによって得られる係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）を持つことになる代表肌画素は，所定係数（α2，α1）を乗算しても，肌黒体軌跡Ｈ上またはその近傍範囲に入らず，その結果，後述するように，グレー画素を精度よく検出できないからである。
【００９２】
すなわち，代表肌画素は，画像形状または画像構造にもとづいて，入力画像中に含まれる人物の顔画像部分から得られた適正な肌画素であるから，入力画像のホワイトバランス（色バランス）が適正であるとすれば，代表肌画素から得られる肌領域代表色度値Ａ（ｒ０，ｂ０）は，所定の色温度に対応する肌黒体軌跡Ｈ上またはその近傍範囲に入る。しかしながら，入力画像のホワイトバランスが適正でないと，肌領域代表色度値Ａ（ｒ０，ｂ０）は肌黒体軌跡Ｈ上またはその近傍範囲に入らない（図５参照）。肌代表画素のＲ成分およびＧ成分に所定係数（α2，α1）を乗算し，色度値に変換することによって得られる係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）が，肌黒体軌跡Ｈ上またはその近傍範囲に入るものであれば，その所定係数（α2，α1）を用いれば，グレー画素についても，肌黒体軌跡Ｈを用いて得られる暫定的な色温度Ｔh （色温度Ｔh については次に説明する）に対応するグレー黒体軌跡Ｇの近傍範囲に入ることを意味する。これを利用してグレー画素を比較的精度よく検出することができる。すなわち，肌領域代表色度値Ａ（ｒ０，ｂ０）を，肌黒体軌跡Ｈ上における，撮影光源の暫定的な色温度Ｔh に対応する点の近傍に移動（変換）させることができれば，その移動に用いられる所定係数（α2，α1）によって，グレー画素も，同じ色温度Ｔh に対応するグレー黒体軌跡Ｇの近傍に移動（変換）されるという原理を用いる。
【００９３】
係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）と，これに最も近い肌黒体軌跡Ｈ上の点との距離が所定値（たとえば，０．０１）以上離れている場合には，所定係数（α2，α1）を用いても，グレー画素を正確に検出できないことを意味する。このため，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）が，肌黒体軌跡Ｈ上またはその近傍領域に存在することになる所定係数（α2，α1）が求められる。
【００９４】
なお，詳細は後述するが，上述の所定係数（α2，α1）は，係数最適化回路25によって他の値に変更される。係数最適化回路25によって変更された後の所定係数（α2，α1）も，係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）と，これに最も近い肌黒体軌跡Ｈ上の点との距離Ｌ1を所定値（たとえば，０．０１）よりも小さいものにする。
【００９５】
係数乗算肌領域代表色度値Ｂ（ｒ１，ｂ１）と，これに最も近い肌黒体軌跡Ｈ上の点との距離Ｌ1が所定値（たとえば，０．０１）よりも小さい場合（ステップ54でYES ），肌黒体軌跡Ｈ上の点に対応する色温度が，暫定的な色温度Ｔh とされる（ステップ56，図６）。色温度Ｔh の算出に，メモリ26に記憶されている肌黒体軌跡Ｈについての色度値ｂ／色温度Ｔ関係データが用いられる。
【００９６】
暫定的な色温度Ｔh が決定されると，縮小画像に含まれる複数の画素のそれぞれについてのＲＧＢ値のうちのＲ成分およびＧ成分に，上記所定係数（α2，α1）がそれぞれ乗算される（ステップ57）（この乗算に，係数乗算回路21を用いてもよい）。次の式４に示す値（Ｒj，Ｇj，Ｂj）が算出される。
【００９７】
Ｒj＝α2・Ｒj
Ｇj＝α1・Ｇj                ・・・式４
Ｂj＝Ｂj
【００９８】
式４において変数ｊは，縮小画像を構成する各画素のそれぞれであることを表す。
【００９９】
所定係数（α2，α1）が乗算された縮小画像の各画素ごとの（Ｒj，Ｇj，Ｂj）が，色度値に変換される（ステップ58）（この変換処理に，色度変換回路22を用いてもよい）。この色度値を，係数乗算画素色度値（ｒj，ｂj）と呼ぶことにする。
【０１００】
次に，決定された暫定的な色度値Ｔh と同じ色温度に対応するグレー黒体軌跡Ｇ上の点（ｒ値およびｂ値）が算出され，縮小画像を構成する画素のうち，係数乗算画素色度値（ｒj，ｂj）が色温度Ｔh±５００度の範囲にあり，かつグレー黒体軌跡Ｇからの距離が０．０１までの範囲に存在する画素が，グレー候補画素として決定される（ステップ59）。
【０１０１】
図７は，色温度Ｔh に対応するグレー黒体軌跡Ｇ上の点を，色度図上においてプロットして示すものである。図８は，係数乗算画素色度値（ｒj，ｂj）を，色度図上にプロットして示すものである（「×」によってプロット点を示す）。また，図８において，色温度Ｔh±５００度の範囲にあり，かつグレー黒体軌跡Ｇからの距離が０．０１までの範囲が，鎖線によって囲って示されている（以下，この範囲を，グレー画素候補範囲Ｓという）。グレー画素候補範囲Ｓ内にある画素が，グレー候補画素と決定される。
【０１０２】
グレー候補画素は，上述のように，縮小画像に含まれる複数の画素のそれぞれについてのＲＧＢ値のうちのＲ成分およびＧ成分のそれぞれに，所定係数（α2 ，α1 ）を乗算することによって得られる値を色度値に変換した値（ｒj，ｂj）が，グレー画素候補範囲Ｓ内にあるかどうかによって決定される。グレー候補画素として決定される画素は，入力画像（縮小画像）を構成する画素のそれぞれについてのＲ成分およびＢ成分に，それぞれ所定係数（α2，α1）を乗算するとグレー黒体軌跡Ｇの近傍範囲に入るような画素を意味する。
【０１０３】
後述するように，最終的に決定される光源色温度は，グレー候補画素検出回路23においてグレー画素とされた画素のそれぞれの色温度に基づいて決定される。グレー候補画素検出回路23においてグレー画素として決定される画素数が多い程，最終的に決定される光源色温度の算出精度を高めることができる。最終的に決定される光源色温度の精度を高めるために，グレー候補画素数Ｎが最大値をとる所定係数（α2，α1）を探索する処理が行われる。
【０１０４】
グレー候補画素数Ｎが最大値をとる所定係数（α2，α1）を探索する処理に，グレー候補画素数算出回路24および係数最適化回路25が用いられる。まず，グレー候補画素検出回路23によって検出されたグレー候補画素の数Ｎが，グレー候補画素数算出回路24によって算出される（ステップ60）。
【０１０５】
グレー候補画素数算出回路24によって算出されたグレー候補画素数Ｎは，係数最適化回路25に与えられる。
【０１０６】
係数最適化回路25は，グレー候補画素数算出回路24によって算出されたグレー候補画素数Ｎが最大となる，すなわち，上記グレー画素候補範囲Ｓに入る色度値を持つ画素数が最大となる上述の所定係数（α2，α1）を求める回路である。係数最適化回路25では，たとえばシンプレックス法に基づいて，グレー候補画素数Ｎが最大となる上述の所定係数（α2，α1）（以下，最適化係数という）を決定する（ステップ61でNO，ステップ62）。もちろん，最適化係数の決定処理の過程においては，係数乗算回路21，色度変換回路22，グレー候補画素検出回路23およびグレー候補画素数算出回路24も複数回動作するのは言うまでもない。
【０１０７】
グレー候補画素数Ｎが最大となる最適化係数（α2，α1）が算出されると（ステップ61でYES ），その最適化係数（α2，α1）が用いられて得られるグレー候補画素が，最終的なグレー画素と決定される。決定されたグレー画素のアドレスが，グレー候補画素検出回路23からホワイトバランス補正係数算出部30の色温度算出回路31に与えられる（ステップ63）。
【０１０８】
（III）ホワイトバランス補正係数算出部30について
ホワイトバランス補正係数算出部30は，色温度算出回路31および補正係数算出回路32から構成される。
【０１０９】
色温度算出回路31は，グレー候補画素検出回路23から与えられる複数のグレー画素のアドレスに基づいて，そのアドレスを持つグレー画素のそれぞれの色温度tempＴを，グレー黒体軌跡Ｇ（グレー黒体軌跡Ｇについての色度値ｂ／色温度Ｔ関係データ）に基づいて算出し，さらに算出された複数の色温度tempＴの平均値aveＴを算出する回路である。たとえば，グレー画素のそれぞれの色温度tempＴは，最適化係数（α2，α1）を乗算した場合に，色度図上における各グレー画素のプロット点に最も近いグレー黒体軌跡Ｇ上の点に対応する色温度とする。色温度算出回路31によって算出された平均値aveＴが，縮小画像についての光源色温度と決定（推定）される。
【０１１０】
なお，上述したように，肌黒体軌跡Ｈが用いられて暫定的な色温度Ｔh が既に求められているが，この暫定的な色温度Ｔh は光源色温度として採用しない。最終的に求めようとするのはホワイトバランス（グレーバランス）補正係数であるから，グレー画素を用いて得られる光源色温度aveＴの方が，より正確な光源色温度と考えられるからである。
【０１１１】
色温度算出回路31によって算出された光源色温度aveＴが，補正係数算出回路32に与えられる。
【０１１２】
補正係数算出回路32は，縮小画像を構成する画素ごとのＲＧＢ値のそれぞれに乗算される係数（ホワイトバランス補正係数）を算出する回路である。補正係数算出回路32は，次の（Ａ）から（Ｃ）処理を行う。
【０１１３】
（Ａ）グレー画素に基づいて算出された色温度aveＴと，グレー黒体軌跡Ｇについての色度値ｂ／色温度Ｔ対応関係データに基づいて，色温度aveＴに対応するグレー黒体軌跡Ｇ上の色度値を算出する。色温度aveＴに対応するグレー黒体軌跡Ｇ上の色度値を（ｒave，ｂave）と表記する。
【０１１４】
（Ｂ）グレー画素についての目標ｒ値，目標ｂ値を（ｒtarget，ｂtarget）とする（設定値である）（いわゆる，グレー画素の色味があらかじめ設定される）。Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対する目標差分補正係数（β1，β2，β3）が，次式によって算出される。
【０１１５】
β1＝ｒtarget／ｒave
β2＝（１−ｒtarget−ｂtarget）／（１−ｒave−ｂave）      ・・・式５
β3＝ｂtarget／ｂave
【０１１６】
算出されたβ1，β2，β3は，検出されたグレー画素の色味を，設定された色味にする（設定された色味に近づける）値である。
【０１１７】
入力画像（縮小画像）を構成する画素のそれぞれのＲＧＢ値（Ｒinput，Ｇinput，Ｂinput）と，ホワイトバランス補正後の出力画像を構成する画素のそれぞれのＲＧＢ値（Ｒoutput，Ｇoutput，Ｂoutput）との関係は，最適化係数（α2，α1）と目標差分補正係数（β1，β2，β3）を用いて，次式によって表される。
【０１１８】
Ｒoutput＝α2・β1・Ｒinput
Ｇoutput＝α1・β2・Ｇinput                      ・・・式６
Ｂoutput＝β3・Ｂinput
【０１１９】
（Ｃ）式６に従うと，画像の明るさが大きく変動してしまうので，例えば，Ｇ成分の明るさを変えないように，上記式６を，式７のように規格化する。
【０１２０】
Ｒoutput＝（α2・β1）／（α1・β2）・Ｒinput
Ｇoutput＝Ｇinput                                ・・・式７
Ｂoutput＝β3／（α1・β2）・Ｂinput
【０１２１】
式７にしたがう補正処理は，グレー画素を，グレーの色味で表現し（上述したα2，α1の乗算によって実現される），かつその色を，設定された色味で表現する（上述したβ1，β2，β3の乗算によって実現される）ものである。式７によって，ホワイトバランス補正が実現される。
【０１２２】
補正係数算出回路32は，Ｒ成分，Ｂ成分，Ｇ成分のそれぞれについての補正係数（（α2・β1）／（α1・β2），１，β3／（α1・β2））を，ホワイトバランス補正部40のホワイトバランス補正回路42に与える。
【０１２３】
（IV）ホワイトバランス補正部40について
ホワイトバランス補正部40は，縮小画像生成回路41，ホワイトバランス補正回路42および拡大画像生成回路43を備えている。
【０１２４】
記憶装置４から読出された画像データ（縮小画像生成回路11に与えられた画像データと同じ画像データ）が，縮小画像生成回路41に入力する。縮小画像生成回路41は，入力画像のサイズが，出力されるべき画像サイズ（所定サイズ）よりも大きい場合に，入力画像を縮小する回路である。入力画像サイズが所定サイズと同じ場合，または所定サイズよりも小さい場合には，縮小画像生成回路41は特段の処理を行わない。
【０１２５】
ホワイトバランス補正回路42には，上述した補正係数算出回路32において算出された補正係数（（α2・β1）／（α1・β2），１，β3／（α1・β2））が与えられている。ホワイトバランス補正回路42は，縮小画像を構成する各画素ごとのＲＧＢ値を，この補正係数を用いて補正（ホワイトバランス補正）する。ホワイトバランス補正された縮小画像データは拡大画像生成回路43に入力する。拡大画像生成回路43は，入力画像サイズが所定サイズよりも小さい場合に，ホワイトバランス補正された画像データを所定サイズに一致させる拡大処理を行う。入力画像サイズが所定サイズと同じ場合，または大きい場合には，拡大画像生成回路43は特段の処理を行わない。
【０１２６】
ホワイトバランス補正に用いられるＲ成分，Ｂ成分，Ｇ成分のそれぞれについての補正係数（（α2・β1）／（α1・β2），１，β3／（α1・β2））によって，入力画像のホワイトバランス補正（色バランス補正）が実現される。ホワイトバランス補正後の画像データを得ることができる。
【０１２７】
なお，算出されたホワイトバランス係数（（α2・β1）／（α1・β2），１，β3／（α1・β2））を用いて，代表肌画素をホワイトバランス補正した結果が，基準とされる色範囲に入らない場合（たとえば，検出したグレー画素が誤りであった場合などが想定される）には，補正を弱めるようにするのが好ましい。
【０１２８】
たとえば，ホワイトバランス補正された後の画像データにおける代表肌画素の色度値と，基準肌色度値（ｒ２，ｂ２）との距離Ｌ３を算出し，算出された距離Ｌ３に基づいてロワード係数ｃを算出する。図９は，算出された距離Ｌ３とロワード係数ｃ（０≦ｃ≦１）との関係を表すグラフ（ルックアップテーブル）である。ロワード係数ｃを用いて補正効果が弱められたＲ，Ｇ，Ｂ成分のそれぞれについてのホワイトバランス補正係数（gain ｒ，gain ｇ，gain ｂ）は，次の式８によって表される。
【０１２９】
【数１】
2006222928.tif 000003
【０１３０】
さらに，決定されたグレー候補画素数Ｎの値が小さい場合にも，誤ったグレー画素を検出した可能性がある。この場合にも，ロワード係数ｃ（０≦ｃ≦１）を用いてホワイトバランス補正の効果を弱めておくとよい。図１０は，グレー候補画素数Ｎとロワード係数ｃとの関係を表すグラフ（ルックアップテーブル）を示している。
【０１３１】
なお，上述した２つのロワード係数ｃを併用してもよい。この場合には，２つのロワード係数ｃを乗算して得られた係数が用いられる。
【０１３２】
変形例１
図１１は，画像補正装置１の変形例を示すブロック図である。図３に示す画像補正装置１のブロック図とは，メモリ26に複数種類の肌黒体軌跡データが記憶されている点，および入力装置２から与えられる人種指定データにもとづいて，メモリ26から読出されるべき肌黒体軌跡データが指定される点が異なる。
【０１３３】
図１１に示す変形例において，メモリ26には，白人用肌黒体軌跡データ，黄色人用肌黒体軌跡データおよび黒人用肌黒体軌跡データの３種類の肌黒体軌跡データが記憶されている。図１２は，白人用肌黒体軌跡データによって描かれる白人用肌黒体軌跡Ｈ1，黄色人用肌黒体軌跡データによって描かれる黄色人用肌黒体軌跡Ｈ2，および黒人用肌黒体軌跡データによって描かれる黒人用肌黒体軌跡Ｈ3を，グレー黒体軌跡Ｇとともに色度図上に示すものである。
【０１３４】
上述したように，人物の肌は，人種によってＲＧＢ値自体は相違するが，色度値を求めると近い値になるので，一つの肌黒体軌跡データ（図５〜図８参照）を用いることによっても，比較的精度よくグレー画素を検出することができ，比較的正確な光源色温度を算出することができる。図１１に示す変形例では，グレー画素検出の精度および光源色温度の推定の精度をさらに高めるために，処理対象の画像データによって表される画像中に存在する人物の人種に応じた肌黒体軌跡データが用いられて，光源色温度の推定およびグレー画素検出処理が行われる。
【０１３５】
デジタルフォトプリントシステムのユーザ（オペレータ）によって，処理対象の画像データによって表される画像に存在する人物の人種（白人，黄色人または黒人）（コーカソイド，モンゴロイドまたはネグロイド）が，入力装置２が用いられて指定される。指定された人種に対応する肌黒体軌跡データ（白人用肌黒体軌跡データ，黄色人用肌黒体軌跡データまたは黒人用肌黒体軌跡データ）がメモリ26から読出されて，グレー候補画素検出回路23における処理に用いられる。人種ごとに，その人種に適した肌黒体軌跡データが用いられて，グレー画素が検出されかつ光源色温度が算出されるので，精度よくグレー画素を検出することができ，光源色温度を算出することができる。ホワイトバランス補正をより適切に実行することができる。
【０１３６】
なお，処理対象の画像データによって表される画像中に人種の異なる複数の人物が含まれている場合には，顔画像ごと（人種ごと）にホワイトバランス補正係数を算出し，その平均値を用いてホワイトバランス補正を行うようにしてもよい。
【０１３７】
変形例２
図１３は，画像補正装置１のさらに他の変形例を示すブロック図である。図３に示す画像補正装置１のブロック図とは，メモリ26に，複数種類の肌黒体軌跡データおよびグレー黒体軌跡データの組が記憶されている点，ならびに入力装置２から与えられるカメラ機種指定データにもとづいて，メモリ26から読出されるべき肌黒体軌跡データおよびグレー黒体軌跡データが指定される点が異なる。
【０１３８】
図１３に示す変形例において，メモリ26には，カメラＡ用の肌黒体軌跡データおよびグレー黒体軌跡データと，カメラＢ用の肌黒体軌跡データおよびグレー黒体軌跡データが記憶されている。図１４は，カメラＡ用の肌黒体軌跡データおよびグレー黒体軌跡データによって描かれる肌黒体軌跡Ｈ4およびグレー黒体軌跡Ｇ4，カメラＢ用の肌黒体軌跡データおよびグレー黒体軌跡データによって描かれる肌黒体軌跡Ｈ5およびグレー黒体軌跡Ｇ5を，色度図上に示すものである。
【０１３９】
上述したように，黒体軌跡は，ディジタル・カメラ等のＣＣＤセンサの分光感度分布Ｓi （λ）によって異なる軌跡を描く（式１参照）。図１３に示す画像補正装置１では，処理対象の画像データの取得に用いられたディジタル・カメラが備えるＣＣＤセンサに対応する黒体軌跡（肌黒体軌跡およびグレー黒体軌跡）が，グレー画素検出および光源色温度の算出に用いられる。
【０１４０】
デジタルフォトプリントシステムのユーザ（オペレータ）によって，処理対象の画像データの作成に用いられたディジタル・カメラの機種が，入力装置２が用いられて指定される。指定されたカメラ機種に対応する肌黒体軌跡データおよびグレー黒体軌跡データがメモリ26から読出されて，グレー候補画素検出回路23における処理および色温度算出回路31における処理に用いられる。処理対象の画像データの作成に用いられたディジタル・カメラの機種（ＣＣＤセンサの種類）に適する肌黒体軌跡データおよびグレー黒体軌跡データが用いられて，グレー画素が検出されかつ光源色温度が算出されるので，グレー画素検出の精度および光源色温度の算出の精度が高められる。
【０１４１】
なお，上述した変形例２では，ユーザ（オペレータ）がカメラ機種を入力装置２を用いて指定しているが，処理対象の画像データが，カメラ機種を特定する情報を含むタグ情報（たとえば，Exifタグ）を持つものであれば，そのタグ情報に基づいて処理対象の画像データの取得に用いられたカメラ機種を自動的に特定し，特定したカメラ機種に対応する肌黒体軌跡データおよびグレー黒体軌跡データを，メモリ26から読み出すようにしてもよい。この場合には，入力装置２を用いたカメラ機種の指定は必ずしも必要とされない。
【実施例２】
【０１４２】
図１５は，第２実施例における画像補正装置１Ａの電気的構成を，記憶装置４とともに示すブロック図である。図３に示す第１実施例における画像補正装置１とは，次に説明するように，肌領域代表値算出部10Ａの構成およびグレー画素検出部20Ａの処理が異なる。図１５において，図３に示す画像補正装置１に含まれる回路と同一の回路には同一の符号を付し，重複した説明を省略する。
【０１４３】
画像補正装置１Ａにおける肌領域代表値算出部10Ａは，縮小画像生成回路11，肌領域検出回路12，肌領域代表値算出回路13および探索対象係数範囲設定回路71から構成される。肌領域代表値算出部10Ａは，第１実施例の肌領域代表値算出部10と同様に，記憶装置４から読出された処理対象の画像データに含まれる肌領域を検出し（肌領域検出回路12の処理），検出した肌領域から得られる代表値を算出する（肌領域代表値算出回路13の処理）。さらに，画像補正装置１Ａにおける肌領域代表値算出部10Ａでは，算出された肌領域代表値と肌黒体軌跡とに基づいて，所定係数（α2，α1）がとるべき範囲が設定される。
【０１４４】
図１６は，探索対象係数範囲設定回路71の処理の流れを示すフローチャートである。図１７および図１８に示す色度図を参照して，探索対象係数範囲設定回路71の処理を説明する。
【０１４５】
肌領域代表値算出回路13によって算出された肌領域代表値（tfＲ，tfＧ，tfＢ）からその色度値が算出される（ステップ81）。肌領域代表色度値（ｒ０，ｂ０）が得られる。
【０１４６】
次に，算出された肌領域代表色度値（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点（ｒ値，ｂ値）が算出される（ステップ82）。肌領域代表色度値（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点を（ｒn，ｂn）とする。図１７に示す色度図上において，プロット点Ａが肌領域代表色度値（ｒ０，ｂ０）を，プロット点Ｃが肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点（ｒn，ｂn）をそれぞれ示している。
【０１４７】
肌領域代表値（tfＲ，tfＧ，tfＢ）のＲ成分およびＧ成分に，多数の所定係数（α2，α1）がそれぞれ乗算される（ステップ83，式３参照）。上記所定係数（α2，α1）は，たとえば，０．０１オーダーの刻みで，０．５〜２．０の範囲で，α2およびα1のそれぞれについて数値を変えた多数の数値の組である。すなわち，多数の係数乗算肌領域代表値（tfＲ，tfＧ，tfＢ）が算出される。
【０１４８】
算出された多数の係数乗算肌領域代表値（tfＲ，tfＧ，tfＢ）が色度値に変換される（ステップ84）。多数の係数乗算肌領域代表色度値（ｒ１，ｂ１）が算出される。
【０１４９】
図１８に示す色度図において，プロット点Ｄ（「×」印で示す）は，多数の係数乗算肌領域代表色度値（ｒ１，ｂ１）を示している。
【０１５０】
肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点Ｃ（ｒｎ，ｂｎ）と，多数の係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）との距離Ｌが，それぞれ次の式９にしたがって算出される（ステップ85）。
【０１５１】
【数２】
2006222928.tif 000004
【０１５２】
肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点Ｃ（ｒn，ｂn）と，係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）との距離Ｌが０．１以下である場合（ステップ86でYES），その係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）の算出に用いられた所定係数（α2，α1）は，探索範囲のものであると判定される。すなわち，図１８において破線で囲んだ範囲（プロット点Ｃから距離Ｌにある範囲）内にプロットされる係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）の算出に用いられた所定係数（α2，α1）が，探索範囲のものであると判定される。
【０１５３】
他方，肌黒体軌跡Ｈ上の点Ｃ（ｒｎ，ｂｎ）と，係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）との距離Ｌが０．１より長い場合（ステップ86でNO），その係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）の算出に用いられた所定係数（α2，α1）は，探索範囲のものではないと判定される。このように，すべての所定係数（α2，α1）に対して，それらが探索範囲であるか，探索範囲でないかの判定が行われる。多数の所定係数（α2，α1）のそれぞれに，探索範囲の所定係数であるか，または探索範囲でない所定係数であるかを識別するデータ（識別符号）が付与される（ステップ87，88）。
【０１５４】
肌代表画素は，入力画像中に含まれる人物の顔画像部分から得られた適正な肌画素であるから，入力画像のホワイトバランスが適正であるとするならば，代表肌画素から得られる肌領域代表色度値Ａ（ｒ０，ｂ０）は，肌黒体軌跡Ｈ上またはその近傍範囲に入る。入力画像のホワイトバランスが適正でないと，代表肌画素から得られる肌領域代表色度値Ａ（ｒ０，ｂ０）は肌黒体軌跡Ｈ上またはその近傍範囲に入らない。
【０１５５】
探索範囲に属する所定係数（α2，α1）は，係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）を，肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点Ｃ（ｒn，ｂn）を中心とする所定距離Ｌ内に入らせる，そのような所定係数である。すなわち，探索範囲に属する所定係数（α2，α1）は，肌領域代表色度値Ａ（ｒ０，ｂ０）を肌黒体軌跡Ｈ上の点Ｃ（ｒn，ｂn）上またはその近傍に変換することができる係数であるから，ホワイトバランスが適切でない入力画像のホワイトバランスを適切なものに補正する候補であると言える。
【０１５６】
また，処理対象の入力画像が，黒体放射の測定に適さない光源種類，たとえば蛍光灯下で撮影されて得られた画像データであると，肌黒体軌跡Ｈおよびグレー黒体軌跡Ｇが，黒体放射の測定に適した光源種類（たとえば，太陽光）を想定して作成されるものであるから，黒体放射の測定に適した光源種類下で得られたものに比べて，肌黒体軌跡Ｈおよびグレー黒体軌跡Ｇを利用したグレー画素の検出処理は，その検出精度が低くなってしまう。
【０１５７】
しかしながら，上述した探索範囲に属する所定係数（α2，α1）は，入力画像中に含まれる人物の顔画像部分を検出し，検出した顔画像部分の代表肌画素から得られる肌領域代表色度値Ａ（ｒ０，ｂ０）を用いて求められるものである。たとえ撮影光源が黒体放射の測定に適さない光源種類であったとしても，肌領域代表色度値Ａ（ｒ０，ｂ０）は，入力画像のホワイトバランスが適切であるとすれば，黒体放射の測定に適した光源種類（たとえば，太陽光）を想定して作成される肌黒体軌跡Ｈ上またはその近傍に入ると考えられる。入力画像中に含まれる人物の顔画像部分を検出し，検出した顔画像部分の代表肌画素から得られた肌領域代表色度値Ａ（ｒ０，ｂ０）を用いて求められる上述した探索範囲に属する所定係数（α2，α1）は，撮影光源が黒体放射の測定に適さない光源種類であったとしても，肌黒体軌跡Ｈおよびグレー黒体軌跡Ｇを用いたグレー画素の検出処理の精度を比較的低下させない，そのような範囲を規定するものでもある。
【０１５８】
後述するように，最終的に決定される所定係数は，探索範囲の所定係数（α2，α1）の中から決定される。最終的に決定される所定係数に基づいて，入力画像中に含まれるグレー画素が検出され，検出されたグレー画素に基づいて撮影光源の色温度が推定（決定）される。所定係数の探索範囲の決定は，撮影光源の色温度範囲を決定することに等価であると言える。
【０１５９】
図１９および図２０は，グレー画素検出部20Ａにおける処理の流れを示すフローチャートである。図４に示す第１実施例のグレー画素検出部20における処理の流れを示すフローチャートとは，上述した所定係数の探索範囲を用いた処理（ステップ91および92）が加えられている点が異なる。図４に示すフローチャートの処理と同一の処理には同一の符号を付し，重複した詳細な説明を避ける。
【０１６０】
係数乗算回路21Ａには，上述の肌領域代表値算出回路13によって得られた肌領域代表値（tfＲ，tfＧ，tfＢ）と，縮小画像生成回路11において生成された縮小画像データ（縮小画像を構成する複数の画素のそれぞれについてのＲＧＢ値）と，探索範囲である旨または探索範囲でない旨を識別するデータが付与された多数の所定係数（α2，α1）が入力する。
【０１６１】
係数乗算回路21Ａは，探索対象係数範囲設定回路71から与えられた多数の所定係数（α2，α1）のうちのいずれかを選択する（ステップ91）。上述したように，多数の所定係数（α1，α2）のそれぞれは，探索範囲のものであるか，探索範囲のものでないかを表すデータ（識別符号）が付与されている。選択された所定係数（α2，α1）が探索範囲のものでない場合（ステップ92でNO），別の所定係数（α2，α1）が選択される（ステップ91）（探索範囲のものでない所定係数（α2，α1）は，グレー候補画素の検出に適していないものであると判断することを意味する。）。
【０１６２】
選択された所定係数（α2，α1）が探索範囲のものである場合（ステップ92でYES），選択された所定係数（α2，α1）が肌領域代表値（tfＲ，tfＧ，tfＢ）のＲ成分およびＧ成分に乗算され（ステップ51），色度値に変換される（係数乗算肌領域代表色度値（ｒ1，ｂ1）の算出）（ステップ52）。第１実施例と同様に，係数乗算肌領域色度値（ｒ1，ｂ1），メモリ26に記憶された肌黒体軌跡Ｈを表すデータ，グレー黒体軌跡Ｇを表すデータ等を利用したグレー画素の検出処理が行われる（図２０）。なお，グレー候補画素数Ｎが最大となる所定係数（α2，α1）の算出処理（図２０，ステップ62）では，上述した探索範囲に属する所定係数（α2，α1）が算出（選択）されるのは言うまでもない。
【０１６３】
変形例
上述した第２実施例において，肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点Ｃ（ｒｎ，ｂｎ）と，多数の所定係数（α2，α1）を用いて得られる多数の係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）との距離Ｌに基づいて，多数の所定係数（α2，α1）を，探索範囲のもの，または探索範囲でないもののいずれかに区別している（図１８参照）。変形例では，多数の所定係数（α2，α1）を，探索範囲のもの，または探索範囲でないもののいずれにか区別することに代えて，多数の所定係数（α2，α1）のそれぞれについて，重みｗを付与する。
【０１６４】
多数の所定係数（α2，α1）のそれぞれについての重みｗは，次式によって算出される。
【０１６５】
ｗ（α2，α1）＝１−10・Ｌ（Ｌ≦０．１の場合）
ｗ（α2，α1）＝０（Ｌ≦０．１の場合）                    ・・・式１０
【０１６６】
式１０において，Ｌは，肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点Ｃ（ｒｎ，ｂｎ）と，所定係数（α2，α1）を用いて得られる多数の係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）との距離である。
【０１６７】
重みｗを用いる場合，算出されるグレー候補画素数Ｎを用いた評価関数値を算出する。評価関数式ｆ（α2，α1）は，次式によって表される。
【０１６８】
ｆ（α2，α1）＝−ｗ（α2，α1）・Ｎ        ・・・式１１
【０１６９】
評価関数としては，重み係数ｗが大きいほど評価関数値が小さくなり，グレー候補画素数Ｎが大きいほど，評価関数値が小さくなるようなものであればよい。たとえば，評価関数式は，次式であってもよい。
【０１７０】
ｆ（α2，α1）＝−ｗ（α1，α2）・ｌｏｇ１０（１＋Ｎ）  ・・・式１２
【０１７１】
上記重みｗおよび評価関数式ｆを用いる場合には，グレー候補画素数Ｎが最大となる係数（α2，α1）の探索（図２０のステップ62）に代えて，評価関数値ｆ（α2，α1）が最小となる係数（α2，α1）が検索される。
【０１７２】
評価関数値ｆ（α2，α1）が大きい場合には，誤ったグレー画素を検出している可能性がある。この場合には，評価関数値ｆ（α2，α1）にしたがってロワード係数ｃを算出して，算出されたロワード係数ｃによってホワイトバランス補正係数を補正してもよい。図21は，評価関数値ｆ（α2，α1）とロワード係数ｃとの関係を表すグラフ（ルックアップテーブル）を示している。
【０１７３】
なお，図21に示す評価関数値ｆ（α2，α1）とロワード係数ｃとの関係を表すグラフは，重み係数ｗが大きいほど評価関数値ｆが小さく，グレー候補画素数が大きいほど評価関数値ｆが小さくなるように，評価関数式を規定した場合のものである。重み係数ｗが大きいほど評価関数値ｆが大きく，グレー候補画素数Ｎが大きいほど評価関数値ｆが大きくなるように評価関数式を規定した場合には，ロワード係数ｃは，評価関数値ｆ（α2，α1）に対して単調な増加関数とすればよいのは言うまでもない。
【０１７４】
上述した第２実施例の変形例において，多数の所定係数（α2，α1）のそれぞれについての重みｗを算出することに代えて，まず，肌領域代表色度値Ａ（ｒ０，ｂ０）に最も近い肌黒体軌跡Ｈ上の点Ｃ（ｒｎ，ｂｎ）と多数の所定係数（α2，α1）を用いて得られる多数の係数乗算肌領域代表色度値Ｄ（ｒ１，ｂ１）との距離Ｌに基づいて，多数の所定係数（α2，α1）を探索範囲のもの，探索範囲外のものに区別して，探索範囲の所定係数（α2，α1）についてのみ，重みｗを算出するようにしてもよい。
【図面の簡単な説明】
【０１７５】
【図１】グレー黒体軌跡Ｇを示した色度図である。
【図２】ディジタルプリントシステムの全体的構成を示すブロック図である。
【図３】第１実施例における画像補正装置の電気的構成を示すブロック図である。
【図４】グレー画素検出部の処理の流れを示すフローチャートである。
【図５】色度図上において，肌黒体軌跡Ｈ，グレー黒体軌跡Ｇ，肌領域代表色度値のプロット点Ａおよび係数乗算肌領域代表色度値のプロット点Ｂを示す。
【図６】暫定的な色温度を求める様子を示す。
【図７】暫定的な色温度に対応する肌黒体軌跡Ｈ上のプロット点と，暫定的な色温度に対応するグレー黒体軌跡Ｇ上のプロット点を示す。
【図８】グレー候補画素範囲を示す。
【図９】ホワイトバランス補正された肌領域代表色度値と基準肌色色度値との距離Ｌ３と，ロワード係数ｃとの関係を示す。
【図１０】グレー候補画素数Ｎと，ロワード係数ｃとの関係を示す。
【図１１】画像補正装置の変形例の電気的構成を示すブロック図である。
【図１２】色度図上において，白人用，黄色人用および黒人用の肌黒体軌跡と，グレー黒体軌跡を示す。
【図１３】画像補正装置の変形例の電気的構成を示すブロック図である。
【図１４】色度図上において，カメラＡ用の肌黒体軌跡およびグレー黒体軌跡と，カメラＢ用の肌黒体軌跡およびグレー黒体軌跡を示す。
【図１５】第２実施例における画像補正装置の電気的構成を示すブロック図である。
【図１６】探索対象係数範囲設定処理の流れを示すフローチャートである。
【図１７】色度図上において，肌黒体軌跡，肌領域代表色度値のプロット点Ａ，およびプロット点Ａに最も近い肌黒体軌跡Ｈ上のプロット点Ｃを示す。
【図１８】プロット点Ｃからの所定距離範囲と係数乗算肌領域代表色度値のプロット点Ｄを示す。
【図１９】グレー画素検出部の処理の流れを示すフローチャートである。
【図２０】グレー画素検出部の処理の流れを示すフローチャートである。
【図２１】評価関数値とロワード係数との関係を示す。
【符号の説明】
【０１７６】
１，１Ａ  画像補正装置
２  入力装置
３  表示装置
４  記憶装置
５  プリンタ
11，41  縮小画像生成回路
12  肌領域検出回路
13  肌領域代表値算出回路
21，21Ａ  係数乗算回路
22  色度変換回路
23  グレー候補画素検出回路
24  グレー候補画素数算出回路
25  係数最適化回路
26  メモリ
31  色温度算出回路
32  補正係数算出回路
42  ホワイトバランス補正回路
43  拡大画像生成回路
71  探索対象係数範囲設定回路
【図１】
2006222928.tif 000005
【図２】
2006222928.tif 000006
【図３】
2006222928.tif 000007
【図４】
2006222928.tif 000008
【図５】
2006222928.tif 000009
【図６】
2006222928.tif 000010
【図７】
2006222928.tif 000011
【図８】
2006222928.tif 000012
【図９】
2006222928.tif 000013
【図１０】
2006222928.tif 000014
【図１１】
2006222928.tif 000015
【図１２】
2006222928.tif 000016
【図１３】
2006222928.tif 000017
【図１４】
2006222928.tif 000018
【図１５】
2006222928.tif 000019
【図１６】
2006222928.tif 000020
【図１７】
2006222928.tif 000021
【図１８】
2006222928.tif 000022
【図１９】
2006222928.tif 000023
【図２０】
2006222928.tif 000024
【図２１】
2006222928.tif 000025