(57)【特許請求の範囲】
【請求項１】
入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、および／または、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記肌色候補画素および／またはグレー候補画素の個数が最大となるように、前記係数を最適化して得られる肌色候補画素群および／またはグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにし、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正方法。
【請求項２】
グレーおよび肌色の色情報のみを用いることを特徴とする請求項１に記載のホワイトバランス補正方法。
【請求項３】
前記肌色候補画素およびグレー候補画素の個数が最大となるように前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から前記撮影光源の色温度を推定する請求項２に記載のホワイトバランス補正方法。
【請求項４】
入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにし、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正方法。
【請求項５】
入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
前記肌色候補画素および／またはグレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにし、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正方法。
【請求項６】
入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
前記肌色候補画素および前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第１のホワイトバランス補正信号を得、かつ、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から前記撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第２のホワイトバランス補正信号を得、
得られた２つの前記第１および第２ホワイトバランス補正信号を用いて、前記カラー画像の画像信号を補正することを特徴とするホワイトバランス補正方法。
【請求項７】
入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第１のホワイトバランス補正信号を得、かつ、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
前記肌色候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から前記撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第２のホワイトバランス補正信号を得、
得られた２つの前記第１および第２ホワイトバランス補正信号を用いて、前記カラー画像の画像信号を補正することを特徴とするホワイトバランス補正方法。
【請求項８】
前記第１および第２ホワイトバランス補正信号を平均して、前記カラー画像の画像信号を補正して得られたホワイトバランス補正後画像信号として用いる請求項６または７に記載のホワイトバランス補正方法。
【請求項９】
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにした請求項６〜８のいずれかに記載のホワイトバランス補正方法。
【請求項１０】
前記カラー画像の画像信号を補正して得られたホワイトバランス補正後画像信号をそのまま使わず補正を６割から８割に弱めて用いる請求項１〜９のいずれかに記載のホワイトバランス補正方法。
【請求項１１】
前記カラー画像の画像信号を補正して得られたホワイトバランス補正後画像信号をそのまま使わず、デジタルスチルカメラ画像の明るさを示す指数であるＢＶ値に応じて、補正を６割から８割に弱めて用いる請求項１〜１０のいずれかに記載のホワイトバランス補正方法。
【請求項１２】
前記肌色およびグレーの黒体軌跡曲線を設定する際に、分光感度分布として、前記入力画像を撮影した撮影装置の分光感度を用いるようにした請求項１〜１１のいずれかに記載のホワイトバランス補正方法。
【請求項１３】
前記肌色およびグレーの黒体軌跡曲線を設定する際に、分光感度分布として、ＢＴ７０９の分光感度を用いるようにした請求項１〜１１のいずれかに記載のホワイトバランス補正方法。
【請求項１４】
請求項１〜１３のいずれかに記載のホワイトバランス補正方法を、コンピュータに実行させるためのプログラムとして、コンピュータにより読み取り可能に記録したことを特徴とする記録媒体。
【請求項１５】
入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備え、前記入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、
前記撮影光源の色温度を推定する手段は、
前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、
前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、
前記肌色候補画素群の平均色温度およびグレー候補画素群の平均色温度から、前記撮影光源の色温度を算出する手段と、を有し、
また、前記カラー画像の画像信号を補正する手段は、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正する手段であり、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正装置。
【請求項１６】
入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備え、前記入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、
前記撮影光源の色温度を推定する手段は、
前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、
前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、
前記肌色候補画素群の平均色温度およびグレー候補画素群の平均色温度から、前記撮影光源の色温度を算出する手段と、を有し、
また、前記カラー画像の画像信号を補正する手段は、
前記係数を最適化する手段によって、前記肌色候補画素および前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第１のホワイトバランス補正信号と、
前記係数を最適化する手段によって、前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第２のホワイトバランス補正信号とを用いて補正する手段であることを特徴とするホワイトバランス補正装置。
【請求項１７】
入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備え、前記入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、
前記撮影光源の色温度を推定する手段は、
前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する手段と、
前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、
前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、
前記肌色候補画素群の平均色温度およびグレー候補画素群の平均色温度から、前記撮影光源の色温度を算出する手段と、を有し、
また、前記カラー画像の画像信号を補正する手段は、
前記係数を最適化する手段によって、前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第１のホワイトバランス補正信号と、
前記係数を最適化する手段によって、前記肌色候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第２のホワイトバランス補正信号とを用いて補正する手段であることを特徴とするホワイトバランス補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際のカラー画像のホワイトバランス補正及び濃度補正の技術に関する。
【０００２】
【従来の技術】
従来、銀塩写真技術における露光系では、一般にアナログ露光（面露光、直接露光）によってプリントが行われていた。すなわち、現像済みのネガフィルムを所定の焼き付け位置に位置決めして、白色光源（ハロゲンランプ等）からの光を照射し、ネガフィルムからの透過画像を印画紙に結像して露光していた。
【０００３】
これに対して、近年では、デジタル露光を利用する焼き付け装置、すなわち、ネガフィルムやカラーリバーサルフィルム等の写真フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタが実用化されている。
【０００４】
このようなデジタルフォトプリンタにおいては、画像をデジタル画像データとして取り扱うので、フィルムに撮影された画像のみならず、デジタルスチルカメラ（ＤＳＣ）等で撮影された画像や、ＣＤ−Ｒやフレキシブルディスク、リムーバブルハードディスク（Ｚｉｐ、Ｊａｚ等）等の磁気記録媒体、ＭＯディスク（光磁気記録媒体）等の各種の記録媒体にデジタルデータとして記録された画像データについても、画像処理を施してプリントとして出力することができる。
【０００５】
従来、カラーネガフィルムは、多数の一般ユーザによって広く利用されており、そのネガフィルムへの原稿画像の撮影状態は必ずしも一様ではなく、例えば昼光や蛍光灯等の様々な光源下で使用されている。従って、現像済ネガフィルムからプリントを作成する場合、プリント光源の光質を一定にして、焼き付けを行うと、撮影光源の色味が直接プリントに反映されてしまい、不適切なプリントになってしまうことがあった。
【０００６】
そのため、従来、プリント上でホワイトバランスを調整するために様々な工夫がなされて来た。その中の代表的なものとして、「世の中の色をすべて平均すればグレーである。」というエバンスの原理（仮説）に基づく、ＬＡＴＤ方式がある。ＬＡＴＤ（Large Area Transmission Density 、大面積平均透過濃度) とは、画面全体の平均透過濃度のことをいい、ＬＡＴＤ方式とは、カラーネガフィルムの各コマのＬＡＴＤを測定し、そのＲＧＢ濃度の大小によりプリント光源の光質を変化させることによりプリント上の平均色をグレーに近づけるというものである。
【０００７】
一方、近年、デジタルスチルカメラ（ＤＳＣ）が急激に普及し始めている。ＤＳＣは、シーンを撮像するという意味でカラーネガと同一視できるが、根本的に異なる点がある。それは、カラーネガフィルムに撮影された画像は、それ自体を観察することはないのに対し、ＤＳＣ画像は、直接鑑賞の対象になるということである。そのため、ＤＳＣ画像は、これをプリントとして出力する以前に、ＤＳＣ画像自体がホワイトバランスのとれた美しい画像でなくてはならない。カラーネガフィルムと同様にＤＳＣも様々な光源下で撮影するため、ホワイトバランスを補正する機能がないと、不満足な画像となってしまうため、最近のほとんどのＤＳＣには、ホワイトバランス補正を自動的に行うＡＷＢ（Auto  White Balance ) 機能が搭載されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述したＬＡＴＤ方式は、一定の成果をあげてきたが、一方で不都合なプリントをも生み出しているという問題がある。その一つにプリントの色などが偏ってしまうカラーフェリアの発生がある。例えば、赤い服を着た女性のシーンを撮影した画像に対してＬＡＴＤ方式でホワイトバランス補正を行うと、画面全体をグレーにしようとするために、赤の補色であるシアン色が画面全体に入れられるが、このため赤い服は濁り、女性の顔色は悪くなってしまう。
また、画面全体として赤みのシーンの場合、それが光源によるものか、被写体によるものかの区別ができないため、ＬＡＴＤ方式では、原因が光源の場合にはうまくいくが、原因が被写体の場合には、上のようなカラーフェリアを引き起こすという問題がある。
【０００９】
また、前記ＤＳＣのＡＷＢ機能は基本的にネガフィルム／プリント系と同様に前記エバンスの原理に基づいており、ネガフィルム／プリント系のＬＡＴＤによるホワイトバランス補正と同様の問題を有している。
すなわち、ＡＷＢ後のＤＳＣ画像は、エバンスの原理の平均性能として約６０〜７０％は、カラーバランスのとれた良好な画像となるが、残りの約３０〜４０％は、ＡＷＢの作動不良による、何らかのカラーバランス補正をさらに必要とする画像である。従って、ＤＳＣ画像からプリントを作成する際にホワイトバランス補正をしなければ、これらのプリントの約３０〜４０％は、不満足な、受け入れ難いプリントとなってしまう。
【００１０】
以上述べたように、従来技術のエバンスの原理に基づくＬＡＴＤ方式では、画面全体の平均値がグレーという仮説によってホワイトバランス補正を行っているが、この方式では画像中の真のグレーを見い出すことができないためホワイトバランス補正が充分ではなく、却って逆補正してしまう場合も少なくなかった。
また、このようなＬＡＴＤ方式でプリントの画像全体の濃度補正を行おうとすると、主要被写体の濃度がシーンの構成によって影響を受け、適正濃度に仕上がらないという問題があったため、主要被写体（多くの場合顔である。）を検出して、その濃度に基づいてプリント濃度を決める方法が提案されている。一方、プリント濃度が適正かどうかの判断は、画面全体の濃度よりは、むしろ主要被写体の濃度によりなされるため、主要被写体である顔を検出して、顔の濃度が適正になるように画像全体を濃度補正することが重要である。
【００１１】
しかし、主要被写体である顔の検出は、一般に形状認識を用いて行われているが、顔の検出を精度良く行うことは非常に難しいのが現状である。また、顔の検出を色情報を用いて行う方法も試みられているが、光源が未知な場合にはやはり難しいという問題がある。
本発明は、前記従来の問題に鑑みてなされたものであり、入力された画像データに対してデジタル画像処理を施してプリントを作成する際に、ホワイトバランス補正を適正に、高い得率で実現することができるホワイトバランス補正方法および装置ならびにホワイトバランス補正方法をコンピュータに実行させるプログラムを記載した記録媒体を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、および／または、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記肌色候補画素および／またはグレー候補画素の個数が最大となるように、前記係数を最適化して得られる肌色候補画素群および／またはグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにし、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正方法を提供するものである。
【００１３】
また、前記撮影光源の色温度を推定し、前記カラー画像の画像信号を補正する際、グレーおよび肌色の色情報のみを用いることが好ましい。
【００１５】
また、前記肌色候補画素およびグレー候補画素の個数が最大となるように係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から撮影光源の色温度を推定することが好ましい。
【００１６】
また、前記課題を解決するために、本発明の第１の態様は、入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにし、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正方法を提供するものである。
【００１７】
また、前記課題を解決するために、本発明の第１の態様は、入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記肌色候補画素および／またはグレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにし、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正方法を提供するものである。
【００１８】
また、前記課題を解決するために、本発明の第１の態様は、入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記肌色候補画素および前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第１のホワイトバランス補正信号を得、かつ、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から前記撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第２のホワイトバランス補正信号を得、
得られた２つの前記第１および第２ホワイトバランス補正信号を用いて、前記カラー画像の画像信号を補正することを特徴とするホワイトバランス補正方法を提供するものである。
【００１９】
また、前記課題を解決するために、本発明の第１の態様は、入力されたカラー画像中に含まれるグレーおよび肌色の色情報を用いて、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記カラー画像を撮影した際の撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第１のホワイトバランス補正信号を得、かつ、 前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、前記肌色候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から前記撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにした第２のホワイトバランス補正信号を得、得られた２つの前記第１および第２ホワイトバランス補正信号を用いて、前記カラー画像の画像信号を補正することを特徴とするホワイトバランス補正方法を提供するものである。
【００２０】
また、前記第１および第２ホワイトバランス補正信号を平均して、前記カラー画像の画像信号を補正して得られたホワイトバランス補正後画像信号として用いることが好ましい。
また、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、所定の目的関数が最小になるように前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことが好ましい。
【００２１】
また、前記カラー画像の画像信号を補正して得られたホワイトバランス補正後画像信号をそのまま使わず補正を６割から８割に弱めて用いることが好ましい。
また、前記カラー画像の画像信号を補正して得られたホワイトバランス補正後画像信号をそのまま使わず、デジタルスチルカメラ画像の明るさを示す指数であるＢＶ値に応じて、補正を６割から８割に弱めて用いることが好ましい。
また、前記肌色およびグレーの黒体軌跡曲線を設定する際に、分光感度分布として、前記入力画像を撮影した撮影装置の分光感度を用いるようにしたことが好ましい。
【００２２】
また、前記肌色及びグレーの黒体軌跡曲線を設定する際に、分光感度分布として、ＢＴ７０９の分光感度を用いるようにしたことが好ましい。
【００２３】
また、同様に前記課題を解決するために、本発明の第２の態様は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備え、前記入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、前記撮影光源の色温度を推定する手段は、前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する手段と、前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、前記肌色候補画素群の平均色温度およびグレー候補画素群の平均色温度から、前記撮影光源の色温度を算出する手段と、を有し、また、前記カラー画像の画像信号を補正する手段は、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正する手段であり、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、前記係数を最適化する際に、前記入力されたカラー画像の画像信号の最大値を検出し、この最大値で前記入力されたカラー画像の各画像信号を割り算することにより前記画像信号の最大値が１．０となるように規格化した画像信号を用いるようにしたことを特徴とするホワイトバランス補正装置を提供するものである。
【００２４】
また、同様に前記課題を解決するために、本発明の第２の態様は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備え、前記入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、前記撮影光源の色温度を推定する手段は、前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する手段と、前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、前記肌色候補画素群の平均色温度およびグレー候補画素群の平均色温度から、前記撮影光源の色温度を算出する手段と、を有し、また、前記カラー画像の画像信号を補正する手段は、前記係数を最適化する手段によって、前記肌色候補画素および前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第１のホワイトバランス補正信号と、前記係数を最適化する手段によって、前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第２のホワイトバランス補正信号とを用いて補正する手段であることを特徴とするホワイトバランス補正装置を提供するものである。
【００２５】
また、同様に前記課題を解決するために、本発明の第２の態様は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備え、前記入力されたカラー画像に対して、デジタル画像処理を施しプリントを作成する際の、ホワイトバランスを補正するホワイトバランス補正装置であって、前記撮影光源の色温度を推定する手段は、前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する手段と、前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、前記肌色候補画素群の平均色温度およびグレー候補画素群の平均色温度から、前記撮影光源の色温度を算出する手段と、を有し、また、前記カラー画像の画像信号を補正する手段は、前記係数を最適化する手段によって、前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第１のホワイトバランス補正信号と、前記係数を最適化する手段によって、前記肌色候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度と前記グレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素群およびグレー候補画素群のそれぞれの平均色温度から、前記色温度を算出する手段によって推定された色温度と基準白色の色温度との差分だけ、前記最適化された係数が乗算された前記カラー画像信号を補正するようにした第２のホワイトバランス補正信号とを用いて補正する手段であることを特徴とするホワイトバランス補正装置を提供するものである。
【００２７】
さらに、前記課題を解決するために、本発明の第３の態様は、上記ホワイトバランス補正方法を、コンピュータに実行させるためのプログラムとして、コンピュータにより読み取り可能に記録したことを特徴とする記録媒体を提供するものである。
【００２８】
【発明の実施の形態】
以下、本発明に係るホワイトバランス補正方法について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００２９】
図１は、本発明のホワイトバランス補正方法を実行するホワイトバランス補正装置の一実施形態の概略を示すブロック図である。
図１に示すホワイトバランス補正装置は、入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際の、ホワイトバランス補正を行うためのものであり、例えば、デジタルフォトプリンタ等の画像処理装置内に設置される。
【００３０】
図１において、ホワイトバランス補正装置１０は、主に、入力カラー画像を撮影した際の撮影光源の色温度を推定する光源色温度推定手段１２と、該光源色温度推定手段１２によって推定された撮影光源の色温度を用いて、ホワイトバランス補正を行う画像信号補正手段１４とを有して構成される。
また、光源色温度推定手段１２は、係数乗算手段１６、肌色候補検出手段１８、グレー候補検出手段２０、係数最適化手段２２および光源色温度算出手段２４によって構成される。
【００３１】
これらの各手段の働きについて説明する前に、まず本発明の原理を説明することとする。
従来のホワイトバランス補正は、前述したように、色が偏っていた場合には、エバンスの原理に基づいて、画面全体の色の平均がグレーになるように補正をしていたのであるが、これに対し、本発明は、画面の中からグレーの部分を積極的に探してそのグレーの候補点がプリント上でグレーに仕上がるように露光されるように補正しようというものである。
【００３２】
カラーネガフィルムの場合でも、デジタルスチルカメラ（ＤＳＣ）の場合でも、ホワイトバランス補正の方法は同じであり、以下ＤＳＣにより、一般的な条件でシーンを撮影した場合を例にとり説明することとする。
例えば、ＤＳＣにより、色温度４０００Ｋの自然昼光でグレー部分（グレーおよびその近似色）を含むシーンを撮影した場合を考える。
このとき、撮影したグレー部分の画像信号（Ｒ，Ｇ，Ｂ）を次の式（１）
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）              ・・・・・・（１）
により、色度座標（ｒ，ｂ）に変換して、色度図にプロットする。
【００３３】
図２に色度図を示す。図２において、曲線Ｇy はグレーの黒体軌跡である。黒体軌跡とは、良く知られているように、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＣＣＤセンサの分光感度分布をＳi （λ）（ただし、ｉ＝Ｂ、Ｇ、Ｒ）としたとき、次の式（２）
Ｅi ＝  ∫  Ｐ（λ）ρ（λ）Ｓi （λ）ｄλ      ・・・・・・（２）
で計算されるＥi を上の式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。
黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）を１として得られる。典型的なＣＣＤセンサの分光感度分布を図３に示した。Ｓi(λ) は、このようなＣＣＤセンサ固有のものを使うことが好ましいが、図５に示すようなＢＴ７０９の理想分光感度分布を用いてもよい。
【００３４】
上に述べたグレー部分の画像信号を図２の色度図にプロットすると、グレーの黒体軌跡Ｇy の４０００Ｋの近傍Ｇy0に散布すると考えられる。
しかし、最近のＤＳＣは、ほとんどＡＷＢ（オートホワイトバランス）機能を有しているため、この機能が上手く作動した場合には、グレー部分は標準白色（例えば、５５００Ｋ）の近傍Ｇy1に散布するが、逆にこの機能が上手く作動しなかった場合には、撮影温度４０００Ｋから離れた位置不明な場所（例えば、図２中符号Ａで示す場所）に散布してしまう。
【００３５】
そこで、ＤＳＣ画像に含まれる、図２に符号Ａで示すような位置不明のグレー部分を基準白色（例えば、５５００Ｋ）の近傍Ｇy1に変換するために、プリンタ側でホワイトバランス補正が行われる。この変換をすべての画素に適用することにより、グレーバランスのとれた美しいプリントが得られるものと期待される。
図２のＡの部分の位置は不明であるので、Ａを基準白色（例えば、５５００Ｋ）の近傍Ｇy1へ直接変換するのは不可能である。そこで、本発明では、この変換を２段階で行うこととした。
【００３６】
すなわち、図２に２つのベクトルαおよびβによって表される変換である。
ここで、ベクトルαは、ＤＳＣ側のＡＷＢ機能の不完全性により引き起こされた黒体軌跡Ｇy からのずれ量を補正するベクトルである。ベクトルαによる変換で図２のＡの部分が黒体軌跡Ｇy 上の部分Ｇy0に変換される。
また、ベクトルβは、黒体軌跡Ｇy 上のＧy0の部分を基準白色（例えば、５５００Ｋ）の近傍Ｇy1に変換するベクトルである。
従って、この２つのベクトルαおよびβの合成により、図２のＡから基準白色（例えば、５５００Ｋ）の近傍Ｇy1への変換が実現される。
【００３７】
ここで図１の各手段の説明に戻ることとする。
いま、説明した２つのベクトルαおよびβによる２段階の変換のうち、図２のＡの部分を黒体軌跡Ｇy 上のＧy0に移す変換を表すベクトルαを求めることは難しい。このＧy0が求められれば、これから撮影光源の色温度Ｔを推定することができる。そして、黒体軌跡Ｇy 上でこのＧy0（色温度Ｔ）をＧy1（色温度５５００Ｋ）へ移す変換を表すベクトルβを求めるのはたやすい。
このベクトルαを求め、この変換を行うのが光源色温度推定手段１２であり、ベクトルβを求め、この変換を行うのが画像信号補正手段１４である。
【００３８】
ＤＳＣのＡＷＢ機能は、撮影直後の全画素の画像信号Ｒ、Ｇ、Ｂを一様に定数倍するように作用する。定数倍という作用は、一次変換である。この作用により、画像信号が黒体軌跡からずれたとすれば、これと丁度逆の操作をすれば、黒体軌跡上の撮影光源の色温度（今の場合、４０００Ｋ）近傍（図２のＧy0）に、多くのグレー部分が散布するようになるはずである。
上記ＤＳＣのＡＷＢ機能（一次変換）の逆変換も一次変換であるので、ＤＳＣ画像信号Ｒ、Ｇ、Ｂに対して、所定の係数を乗算する（図２では、画像信号Ｒ、Ｇ、Ｂを色度座標に変換している。）。この乗算を行うのが係数乗算手段１６である。
【００３９】
係数乗算手段１６では、ＤＳＣ画像信号Ｒ、Ｇ、ＢのうちＲ、Ｇに対し、それぞれ所定の係数α1 、α2 を次の式（３）のように乗算し、Ｒ、ＧをＲ’、Ｇ’に変換する。
Ｒ’＝α1 Ｒ
Ｇ’＝α2 Ｇ        ・・・・・・（３）
ここで、この変換は３信号を変化させる必要はなく、２信号で充分である。
本来グレーであるべき点が移動したＡは、未知であるため、どれがグレーかはわからない。そこで次に、グレー候補検出手段２０では、一次変換を施した信号をグレーの黒体軌跡と比較して、黒体軌跡の近傍として検出される画素をグレーの可能性が高いとして、グレー候補画素とする。近傍であるかの判断は、色度座標（ｒ，ｂ）上で距離０．０１の範囲内であるかどうかで行えばよい。
【００４０】
係数最適化手段２２では、グレー候補検出手段２０の検出したグレー候補画素の個数を数えて、グレー候補画素の個数が最大となるように、所定の係数α1 、α2 を変えながら係数乗算手段１６およびグレー候補検出手段２０に上と同じ操作を行わせ、係数α1 、α2 の最適化を行う。
最適化の方法は、特に限定されるものではなく、例えば、数値計算における標準的手法であるシンプレックス法が好適に例示される。このようにして、最適化で求められた一次変換、式（３）の係数α1 、α2 がＤＳＣのＡＷＢ機能の逆操作に対応し、ベクトルαの成分となる。すなわち、α＝（α1 ，α2 ）である。
【００４１】
また、最適化の精度をより高めるために、グレーの他に色情報を追加することが考えられる。被写体の中で、撮影頻度が高く、種類によって色味の変化が少ない色として肌色が挙げられる。肌色は、人種（白人、黄色人、黒人）によって色味がかなり異なるとも思われるが、測定された分光スペクトルによれば、違うのは主として明るさであり、スペクトルの形はあまり変わらず色味の変化は小さいことがわかる。従って、この肌色の性質は、色の同定に利用できる。
そこで、肌色候補検出手段１８において、グレーの場合と同様に肌色についても黒体軌跡を設定し（図示省略）、係数乗算手段１６で係数の乗算された画像信号に対して、肌色の黒体軌跡の近傍色として肌色候補画素を検出する。
【００４２】
このとき、係数最適化手段２２では、肌色候補検出手段１８で検出された肌色候補画素の個数をも数え、前述したグレー候補画素の個数と合わせて、これらの個数が最大となるように前記係数α1 、α2 を最適化する。これにより、係数α1 、α2 の最適化の精度が向上する。
また、グレー部分と肌色部分を含むシーンを均一光源で撮影した場合、黒体軌跡の近傍色として、検出されるグレー候補画素群および肌色候補画素群の平均色温度は一致すると期待される。そこで、係数最適化手段２２における最適化において、「グレー候補画素群と肌色候補画素群の平均色温度の差を最小」とすることを目的関数として前記係数の最適化を行うこともできる。
【００４３】
さらに、上記２つの手法を併用して「グレー候補画素および肌色候補画素の個数最大」および「グレー候補画素群と肌色候補画素群の平均色温度の差最小」を目的関数として、前記係数の最適化を行うようにしてもよい。
このように２つを併用する方法によれば、より一層最適化の精度を上げることができる。
【００４４】
光源色温度算出手段２４では、上で最適化された係数α1 、α2 を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度Ｔg および肌色の黒体軌跡上の肌色候補画素群の平均色温度Ｔf を算出し、 これから、 撮影光源の色温度Ｔを算出する。これは、例えば、これらの平均をとってＴ＝（Ｔg ＋Ｔf ）／２としてもよいし、グレーの色を重視する場合には、Ｔ＝Ｔg としてもよい。このようにして撮影光源の色温度Ｔが推定される。
【００４５】
最後に、画像信号補正手段１４では、黒体軌跡上で色温度Ｔから基準白色（例えば、５５００Ｋ）へ変換する変換を求める。この変換は、Ｒ、Ｂ信号の一次変換
Ｒ”＝β1 Ｒ’
Ｂ”＝β2 Ｂ            ・・・・・・（４）
で表記でき、この係数β1 、β2 がベクトルβの成分となる。
画像信号補正手段１４では、このベクトルβによる変換を各画素に対して施し、以上により、各画素に対するホワイトバランス補正が完了する。
【００４６】
以上の変換をまとめると、図２の点Ａから基準白色（例えば、５５００Ｋ）Ｇy1への変換は、ベクトルαおよびベクトルβによる変換の合成により実現され、これを式で表すと、次の式（５）となる。
Ｒ”＝α1 β1 Ｒ
Ｇ”＝α2 Ｇ
Ｂ”＝β2 Ｂ                  ・・・・・・（５）
なお、上記式（５）では、カラーバランスだけでなく、明るさの変化を含むので、Ｇ信号は不変として表現すれば、次の式（６）のようになる。
Ｒ”＝（α1 β1 ／α2 ）Ｒ
Ｇ”＝Ｇ
Ｂ”＝（β2 ／α2 ）Ｂ        ・・・・・・（６）
【００４７】
以下、本実施形態の作用を図４のフローチャートに沿って説明する。
まず、ステップ１００において、デジタルスチルカメラ（ＤＳＣ）により、あるシーンをある光源の下において撮影する。
次にステップ１１０において、このＤＳＣによって撮影された画像の画像信号Ｒ、Ｇ、Ｂを入力する。
【００４８】
ステップ１２０では、光源色温度推定手段１２の係数乗算手段１６、肌色候補検出手段１８、グレー候補検出手段２０および係数最適化手段２２により、画像信号最適化処理が行われる。これは、ＤＳＣのＡＷＢ機能によって黒体軌跡からずれた画像信号をずれのない黒体軌跡近傍の信号（ローデータ）に戻すものである。係数乗算手段１６では、すべての画像信号に所定の係数を乗算する。肌色候補検出手段１８では、このデータを肌色の黒体軌跡と比較して黒体軌跡の肌色近傍にあると思われるデータ（肌色候補画素）を検出し、グレー候補検出手段２０では、このデータをグレーの黒体軌跡と比較して黒体軌跡のグレー近傍にあると思われるデータ（グレー候補画素）を検出する。
【００４９】
係数最適化手段２２は、検出された肌色候補画素およびグレー候補画素の個数を数えこの個数が最大となるように、または、肌色候補画素群の平均色温度とグレー候補画素群の平均色温度の差が最小となるように、あるいはこの両方の条件が成立するように前記乗算の係数を設定しなおしてこの操作を繰り返して、係数を最適化する。
【００５０】
ステップ１３０では、光源色温度算出手段２４において、最適化された係数を乗算して得られる肌色候補画素群の平均色温度Ｔf と、グレー候補画素群の平均色温度Ｔg とから光源の色温度の推定値Ｔが算出される。
次に、ステップ１４０では、画像信号補正手段において、上で推定された光源色温度Ｔから基準白色（例えば、５５００Ｋ）への補正量が決定される。そして、この補正量によりすべての画素に対しホワイトバランス補正が行われる。
最後に、ステップ１５０において、その他各種の画像処理等が施され、プリンタから仕上がりプリントとして出力される。
【００５１】
以下、より具体的な実施例について説明する。
（実施例１）
富士写真フイルム社製の代表的なＤＳＣ２機種で撮影した３０９コマのＤＳＣ画像からプリントを作成する際に、上で説明したホワイトバランス補正方法の性能のテストを行った。比較対象は、原画（ＤＳＣのＡＷＢのみでそれに対し何の修正もせずそのまま出力したプリント）、及びＤＳＣの撮影画像に対し従来技術によるホワイトバランス補正を行ったプリントである。プリントは、三段階の評価○△×で評価し、最も良い評価である○のみを合格とした。
【００５２】
まず、８ビットのＤＳＣ画像信号Ｒ、Ｇ、Ｂを被写体リニアなＲ0 、Ｇ0 、Ｂ0 に変換した。これは以下のようにして行った。
ＤＳＣで撮影して得られる８ビットのＤＳＣ画像信号Ｒ、Ｇ、Ｂについて考えて見ると、これは、まずＣＣＤセンサで発生する被写体リニアなＲ0 、Ｇ0 、Ｂ0 信号を次の式（７）のようにガンマ０．４５の非線形変換を施し、
Ｒ1 ＝１．０９９×Ｒ00.45 −０．０９９
Ｇ1 ＝１．０９９×Ｇ00.45 −０．０９９
Ｂ1 ＝１．０９９×Ｂ00.45 −０．０９９      ・・・（７）
その後、次の式（８）により、色差信号Ｙ1 、Ｃr1、Ｃb1を導き、
Ｙ1 ＝０．３０Ｒ1 ＋０．５９Ｇ1 ＋０．１１Ｂ1 
Ｃr1＝０．７０Ｒ1 −０．５９Ｇ1 −０．１１Ｂ1 
Ｃb1＝−０．３０Ｒ1 −０．５９Ｇ1 ＋０．８９Ｂ1     ・・・（８）
色彩度を高めるための色差マトリクス演算をし、次の式（９）のように色差信号Ｙ2 、Ｃr2 、Ｃb2に変換される。
Ｙ2 ＝Ｙ1 
Ｃr2＝１．６２５Ｃr1＋０．２７３４Ｃb1
Ｃb2＝−０．０８２０３Ｃr1＋１．６０９４Ｃb1      ・・・（９）
【００５３】
そして、最後に、次の式（１０）によりＲ、Ｇ、Ｂ信号に戻し、８ビット化しすることにより８ビットのＤＳＣ画像信号Ｒ、Ｇ、Ｂが得られる。
Ｒ＝Ｙ2 ＋Ｃr2
Ｇ＝Ｙ2 −０．５１Ｃr2−０．１８Ｃb2
Ｂ＝Ｙ2 ＋Ｃb2                              ・・・（１０）
従って、８ビットのＤＳＣ画像信号Ｒ、Ｇ、Ｂを被写体リニアなＲ0 、Ｇ0 、Ｂ0 信号に変換するには、Ｒ、Ｇ、Ｂ信号からスタートして式（１０）、式（９）、式（８）、式（７）と逆算しながら辿ればよいので、この逆算を行い被写体リニアなＲ0 、Ｇ0 、Ｂ0 を得た。
【００５４】
次に、被写体リニアな信号Ｒ0 、Ｇ0 、Ｂ0 の最適化によるホワイトバランス補正量を算出した。
そのため、撮影したＤＳＣの分光感度を用いて、予めグレーの黒体軌跡と、肌色の黒体軌跡を作成した。そして、これを用いて、Ｒ0 、Ｇ0 、Ｂ0 信号の最適化計算を実施し、ベクトルαとベクトルβを求め、次の式（１１）により、ホワイトバランス補正信号Ｒ”、Ｇ”、Ｂ”を得た。ここでの最適化計算においては、グレー候補画素および肌色候補画素の個数が最大となり、肌色候補画素群の平均色温度とグレー候補画素群の平均色温度の差が最小になるように係数を最適化して行った。
Ｒ”＝（α1 β1 ／α2 ）Ｒ0 
Ｇ”＝Ｇ0 
Ｂ”＝（β2 ／α2 ）Ｂ0         ・・・・・・（１１）
このホワイトバランス補正信号Ｒ”、Ｇ”、Ｂ”を８ビットの画像信号にするには、式（７）、式（８）、式（９）、式（１０）と順にたどればよい。この画像信号をプリンタから出力することで、ホワイトバランス補正されたプリントが得られた。
【００５５】
このようにして得られた本発明のホワイトバランス補正によるプリントと原画及び従来技術によるものとを比較した結果を表１に示す。
0003853224.tif 000002
表１に示すように、本特許は、従来技術より１２ポイントほど合格率が高く、充分なホワイトバランス補正能力が示された。
【００５６】
（実施例２）
前記実施例１では、ＤＳＣの機種名が既知であり、分光感度および色処理アルゴリズムも既知の場合であったが、本発明のホワイトバランス補正方法をプリント用ソフトとして利用するのであれば、機種が不明のＤＳＣ画像に対しても対応できること（ロバスト性を有すること）が望ましい。
そこで、本実施例２では、前記実施例１と同じ富士写真フイルム社製の代表的なＤＳＣ２機種で撮影した３０９コマのＤＳＣ画像、および各社製の１５機種で同一シーン（１６コマ）を撮影した２４０コマの画像に対し、機種不明とした場合のホワイトバランス補正テストを実施した。
【００５７】
本実施例においては、たとえ機種がわからなくても、どの機種においても、分光感度と色処理アルゴリズムとの組み合わせにより、図５に示すような理想分光感度ＢＴ７０９の性能に近づけるようにしているはずであるから、すべての機種を理想分光感度を有するＤＳＣと見なして本発明のホワイトバランス補正を行った。
すなわち、本実施例では、黒体軌跡を求める際の式（２）におけるＣＣＤセンサの分光感度分布Ｓｉとして、図５に示すＢＴ７０９の分光感度分布を用いた。また、理想分光感度を有するＤＳＣでは、色彩度を高める色処理アルゴリズムは不要であるため、８ビットのＤＳＣ画像信号Ｒ、Ｇ、Ｂを被写体リニアなＲ0 、Ｇ0 、Ｂ0 に変換する場合に、実施例１のように式（１０）〜（７）と逆算しながら辿る必要はなく、直接、式（７）の逆算を行うことができる。
【００５８】
理想分光感度ＢＴ７０９を用い、予めグレーの黒体軌跡および肌色の黒体軌跡を作成しておき、これを用いて、実施例１と同様にＲ０、Ｇ０、Ｂ０信号の最適化計算を実施し、ベクトルαおよびベクトルβを求めることにより、前記式（１１）で表されるホワイトバランス補正信号Ｒ”、Ｇ”、Ｂ”を得た。
この信号に対し、式（７）のガンマ０．４５の非線形変換を行った後、８ビットの量子化を行って８ビットの画像信号を得た。この画像信号をプリンタに印加することによりホワイトバランス補正されたプリントを得た。
【００５９】
プリントの評価方法は、実施例１と同様であり、プリントは、三段階の評価○△×で評価し、最も良い評価である○のみを合格とした。結果を次の表２に示す。
0003853224.tif 000003
【００６０】
表２に示すように、富士写真フイルム社製の代表的２機種（３０９コマ）については、本発明の合格率は若干下がるものの実施例１の場合とほぼ同じ合格率（８８％）を維持しており、各社製１５機種（２４０コマ）については、本発明の合格率の絶対値は低い（７６％）ものの、従来技術に比べ６ポイントほど合格率が高かった。
合格率が低い理由は、原画の合格率がかなり低い（４７％）ことからも窺えるように、評価シーンが少ない（１６シーン）上に絵柄に偏りがあったためであり、実在のＤＳＣを理想分光感度を有するＤＳＣと見なしたためではないと思われる。
このように、実施例２によれば、本発明のホワイトバランス補正方法は、同一ソフトで全機種に対応することができ、分光感度および色処理アルゴリズムの未知の機種であっても、充分にホワイトバランス補正を行うことが可能である。
【００６１】
尚、以上の実施例では、最適化計算において、グレーの候補画素Ｎg および肌色の候補画素Ｎf が最大となり、グレーの候補画素群の平均色温度Ｔg と肌色の候補画素群の平均色温度Ｔf の差が最小になるように係数を最適化してホワイトバランス補正信号を求めていた。この場合、最適化の目的関数Ｆは一つでありこれを式で表わせば、
Ｆ＝abs(Ｔg −Ｔf ）−（Ｎg ＋Ｎf ）
となる。ここでabs は絶対値を示す。シンプレックス法では設定した目的関数が最小化するように働くので、候補画素の個数を最大化したい場合には−（Ｎg ＋Ｎf ）のように−をつければよい。
目的関数が一つでも、前述したように全体としては好結果を得たわけであるが、細かく見てみるとうまくいかないプリント（×プリント）も散見された。自動プリント作業では、×プリントをできだけ少なくすることは重要であるので、目的関数の数を増やした場合の効果を調べてみた。目的関数の数を二つとし、二番目の目的関数として
Ｆ* ＝abs(Ｔg −Ｔf ）−Ｎg
を用いた。第一の目的関数を用いて係数を最適化して得られる第１のホワイトバランス補正信号と、第二の目的関数を用いて係数を最適化して得られる第２のホワイトバランス補正信号を平均して新たなホワイトバランス補正信号としてプリントを作成したところ、従来、×プリントであったものの内、約半分が△プリントに変化した。○プリントの数に殆ど変化はなく、全体として△プリントが増え×プリントが減って安定したプリントが得られるようになった。更に、目的関数の二つの組み合わせはこれに限るものではなく、他の組み合わせについても調べたところ、
Ｆ  ＝abs(Ｔg −Ｔf ）−Ｎg
Ｆ* ＝abs(Ｔg −Ｔf ）−Ｎf
の二つの目的関数の組み合わせが最もプリント安定性に効果があった。この場合のホワイトバランス補正方法の実施形態を図６で説明する。まず、ホワイバランス補正装置１０より出力される、第一の目的関数に対応する第１のホワイバランス補正後画像信号はメモリ３０に保存され、次いで、第二の目的関数に対応する第２のホワイバランス補正後画像信号はメモリ３１に保存された後に、第１および第２のホワイバランス補正後画像信号より新たなホワイバランス補正後画像信号が生成されプリント作成用の信号として用いられる。
【００６２】
更に、プリント出力を安定化させる方法として、最適化計算で得られるグレーバランス補正後画像信号をそのまま使わず補正を弱めてプリントすると効果のあることを見出した。弱める程度は６割から８割が好ましい。また、ＤＳＣ画像のＥｘｉｆファイルに書き込まれているＢＶ値（画像の明るさを示す指数）に応じて補正を６割から８割に弱めてもよい。
また、以上説明した最適化計算では、従来、信号値の小さな（暗い）画素には有効な情報が少ないと考えられ、演算時間の節約のためにも、信号値が下限値（０．０８）以下の画素は計算に利用しないことにしていた。しかしながら、アンダー露光の画像では、多くの画素の信号値が下限値０．０８を下回ってしまうために最適化計算に利用できる画素がかなり少なくなり、計算精度が低下する。逆に、オーバー露光画像では、例えば、白壁をタングステン照明し、適正露光の場合、Ｒ＝１．０、Ｇ＝０．７、Ｂ＝０．５である信号がＲ＝１．０、Ｇ＝１．０、Ｂ＝１．０のように、すべて１．０にクリップされて、あたかも標準光源照明の信号のようになってしまうが、信号値が１．０の場合、それが真の値であるかまたはクリップで生じたのかの区別は難しい。このように、露光のアンダー／オーバーによって、最適化計算に利用する画素の吟味が必要である。例えば、下限値を下げて画素数を増やすことも考えられるが画像毎に設定値を変更するのは煩わしい。そこで、前記画素の吟味を自動的に行うために、以下のように、画像信号の最大値が１．０になるように画像信号の規格化を行い、露光のアンダー／オーバーに関係なく、最適化計算に利用できる画素数をほぼ一定に維持できるようにした。
すなわち、ＲＧＢ信号の一つでも１．０である画素は除き、残りの全画素についてＲＧＢ信号毎に最大値（Ｒmax ，Ｇmax ，Ｂmax ）を求め、最大値の中の最大値をＴmax 、最小値をＴmin とし、画像のＲＧＢ信号をＴmax で規格化することにより、あたかも適正露光で撮影されたが如き画像が得られる。信号利用範囲を１．０〜０．２５×（Ｔmin ／Ｔmax ）と明るい範囲に限定することにより、最適化計算に利用する画素数をあまり多く用いることなく、アンダー適正／オーバー露光のいずれの画像に対しても、適切なホワイトバランス補正が実現できることになる。オーバー露光の雪のシーンでは規格化処理の効果により、雪の白をうまく検出し、美しいプリントに仕上げることができた。
【００６３】
以上詳細に説明したように、本実施形態によれば、ＤＳＣ画像中のグレーおよび／または肌色情報のみを用いたアルゴリズムを構築し、プリント作成時のホワイトバランス補正を行うようにしたため、上記各実施例にも示すように、従来技術に比して格段の補正能力を有している。また、従来技術で問題であった画像全体が色味づいている場合に、それが撮影光源によるものか、または被写体によるものかの識別力が極めて高く、特に日陰、曇りの高色温度シーン（７０００〜１００００Ｋ）では、ほぼ完璧な補正能力を示し、従来では、全体に青みがかり顔色も沈んだプリントであったものが、生き返ったように白色、肌色も自然なプリントを得ることができた。
また、上述したように、画像中の一番明るい画素の信号値が１になるように画像の信号全体を規格化することで、アンダー／オーバーに無関係に最適化計算を行い、処理することが可能となり、適正露光で撮影されたのと同様の画像を得ることができる。
なお、上記実施形態では、ＤＳＣ画像について説明したが、ＤＳＣに限定されず、カラーネガフィルムに撮影された画像についても、本発明のホワイトバランス補正方法を適用することができる。
【００６４】
次に、本発明の応用例として、光源が未知の場合に、上記実施形態で説明した肌色候補画素検出方法を利用して、画像中から肌色（特に顔には限定されない）を検出し、その情報を基にプリント濃度を決定して適正なプリントを得る濃度補正方法について図７のフローチャートに沿って説明する。
なお、本発明の応用例を実行する装置としては、前記実施形態で説明したホワイトバランス補正装置１０中の、係数乗算手段１６、肌色候補検出手段１８及び係数最適化手段２２等（その他濃度補正手段）を有する画像処理装置を含むデジタルフォトプリンタが例示される。
【００６５】
まず、ステップ２００において、デジタルスチルカメラ（ＤＳＣ）により、あるシーンをある光源下で撮影し、ステップ２１０において、撮影画像の画像信号Ｒ、Ｇ、Ｂを入力する。次にステップ２２０において、この入力信号に対して、前記実施形態で説明した肌色候補検出処理を行い、肌色候補画素を検出する。すなわち、すべての入力画像信号に所定の係数を乗算し、このデータを肌色の黒体軌跡と比較して黒体軌跡の肌色近傍にあると思われるデータを肌色候補画素として検出する。このときさらに、検出された肌色候補画素の個数を数え、この個数が最大となるように、あるいは、肌色候補画素群の平均色温度と、同様にして求めたグレー候補画素群の平均色温度の差が最小となるようにして、あるいは、これら両方の条件が成立するように前記乗算の係数を最適化して、最適化された係数を乗算して肌色候補画素を求めるようにしてもよい。
【００６６】
次に、ステップ２３０において、濃度補正を行う。すなわち、まず上記のようにして検出された肌色候補画素の色信号（Ｒ、Ｇ、Ｂ）の平均値を求める。このとき、Ｒ、Ｇ、Ｂの平均値（（Ｒ＋Ｇ＋Ｂ）／３）を用いてもよいし、特定の色、例えばＧ信号を用いるようにしてもよい。どのような信号を用いるかは特に限定はされないが、Ｇ信号を用いるのが好ましい。
Ｇ信号を用いた場合、Ｇ信号の平均値をプリント上で、所定のＧ濃度Ｄ（例えば、Ｄ＝０．７）に割り付けるようにして、濃度補正を行う。このとき、Ｇ濃度Ｄについては、０．７≦Ｄ≦１．０であることが好ましい。
そして、ステップ２４０において、濃度補正後のデータをプリンタより出力する。
【００６７】
このように、撮影光源が未知の場合であっても、肌色を検出し、その情報に基づいて、濃度補正を行うことにより、主要被写体である顔の濃度を適正な濃度にすることにより、適正なプリントに仕上げることが可能となる。
例えば、ＬＡＴＤ方式において失敗例の多い逆光シーン（真中に人物がおり、太陽を背にしたシーン）のＤＳＣによる撮影画像について、濃度補正を行ったところ以下のような結果を得た。
【００６８】
ＬＡＴＤ方式によるプリントは、画面全体の濃度は程よいが、顔は真っ暗となってしまい、明らかに不適切なプリントであった。
これに対し、光源を未知として、本実施形態の肌色検出を利用した濃度補正を行ったプリントは、背景は少し飛び気味であったが、顔の濃度は適切であり、ほぼ満足できるプリントであった。これは、肌色検出に成功し、それに基づいて濃度補正をしてプリントした効果であり、その他のシーンについても適切なプリント濃度を得ることができた。
【００６９】
また、上で説明したホワイトバランス補正方法及び濃度補正方法のうち少なくとも一つを、コンピュータで実行可能なプログラムとして、コンピュータで読み取り可能な記録媒体に記録しておけば、この記録媒体からプログラムを入力することにより任意の画像処理装置等で本発明のホワイトバランス補正方法あるいは濃度補正方法を実行することができる。
【００７０】
以上、本発明のホワイトバランス補正方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００７１】
【発明の効果】
以上説明した通り、本発明によれば、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報のみを用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定し、これによりホワイトバランスを補正するアルゴリズムを構築するようにしたため、どのような入力画像に対しても、また、撮影に用いられたＤＳＣの機種にかかわらず、ホワイトバランス補正を適正に、かつ高い得率で実現することが可能となる。特に、画像中の一番明るい画素を用いて画像全体を規格化するようにした場合には、アンダー／オーバーに関係無く最適化計算を行い処理することができ、適正露光の画像を得ることができる。
また、画像中の肌色を検出し、その情報に基づいて濃度補正を行うようにした場合には、従来技術では難しいシーンについても、プリント濃度を適切に仕上げることが可能となる。
【図面の簡単な説明】
【図１】  本発明に係るホワイトバランス補正装置の一実施形態の概略を示すブロック図である。
【図２】  本実施形態においてホワイトバランス補正の原理を示すための色度図である。
【図３】  典型的なＣＣＤセンサの分光感度分布を示す線図である。
【図４】  本実施形態の処理の流れを示すフローチャートである。
【図５】  ＢＴ７０９の分光感度分布を示す線図である。
【図６】  本発明に係るホワイトバランス補正装置の一実施形態の他の例の概略を示すブロック図である。
【図７】  本発明の第２実施形態の処理の流れを示すフローチャートである。
【符号の説明】
１０  ホワイトバランス補正装置
１２  光源色温度推定手段
１４  画像信号補正手段
１６  係数乗算手段
１８  肌色候補検出手段
２０  グレー候補検出手段
２２  係数最適化手段
２４  光源色温度算出手段
３０、３１  メモリ
【図１】
0003853224.tif 000004
【図２】
0003853224.tif 000005
【図３】
0003853224.tif 000006
【図４】
0003853224.tif 000007
【図５】
0003853224.tif 000008
【図６】
0003853224.tif 000009
【図７】
0003853224.tif 000010