(57)【要約】【課題】複数の照明光源があっても、ホワイトバランスを適切に調整する画像処理方法を提供すること。【解決手段】画像処理方法において、画像を取得し、取得した画像を複数の領域に分割し、分割した領域毎に異なるホワイトバランス処理を行う。【選択図】図２
2008052428.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
ひとつの画像を取得し、
前記取得したひとつの画像を複数の領域に分割し、
前記分割した領域毎に照明の色に関する情報を設定し、
前記分割した領域毎に、対応する前記照明の色に関する情報に応じて色補正を行うことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記取得した画像を、モニタに表示された画像上でのユーザーによる指定により複数の領域に分割することを特徴とする画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、
前記取得した画像を、被写体までの距離情報を用いて複数の領域に分割することを特徴とする画像処理方法。
【請求項４】
請求項１に記載の画像処理方法において、
前記取得した画像において人物の顔を認識し、
前記取得した画像を、前記認識した人物の顔の領域とそれ以外の領域とに分割することを特徴とする画像処理方法。
【請求項５】
請求項１に記載の画像処理方法において、
前記取得した画像を、主要被写体と背景とに分割することを特徴とする画像処理方法。
【請求項６】
請求項１に記載の画像処理方法において、
前記取得した画像を、輝度情報に基づき、日向の領域と日陰の領域とに分割することを特徴とする画像処理方法。
【請求項７】
請求項１に記載の画像処理方法において、
前記取得した画像を、肌色の部分と肌色以外の部分とに分割することを特徴とする画像処理方法。
【請求項８】
請求項１から７のいずれかに記載の画像処理方法において、
前記分割した複数の領域のそれぞれの照明光源を推定することで、前記照明の色に関する情報を設定することを特徴とする画像処理方法。
【請求項９】
請求項１から７のいずれかに記載の画像処理方法において、
前記分割した複数の領域のそれぞれについて、ユーザから指定することで、前記照明の色に関する情報を設定することを特徴とする画像処理方法。
【請求項１０】
請求項８に記載の画像処理方法において、
前記照明光源の推定には、前記分割した領域ごとの色情報、撮影情報を用いて行うことを特徴とする画像処理方法。
【請求項１１】
請求項３に記載の画像処理方法において、
フラッシュ撮影を行ったか否かの撮影情報を取得し、
前記フラッシュ撮影を行っている場合、前記分割された複数の領域のうち、被写体までの距離情報が所定値以下の領域の照明光源をフラッシュであると推定し、
前記照明光源がフラッシュであると推定された領域について、フラッシュに適したホワイトバランス処理を行うことを特徴とする画像処理方法。
【請求項１２】
請求項４または７に記載の画像処理方法において、
フラッシュ撮影を行ったか否かの撮影情報を取得し、
前記フラッシュ撮影を行っている場合、前記人物の顔の領域または前記肌色の部分の領域の照明光源をフラッシュであると推定し、
前記照明光源がフラッシュであると推定された領域について、フラッシュに適したホワイトバランス処理を行うことを特徴とする画像処理方法。
【請求項１３】
請求項１から１２のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１４】
請求項１３に記載の画像処理プログラムを搭載する画像処理装置。
【請求項１５】
請求項１３に記載の画像処理プログラムを搭載する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して適切にホワイトバランス処理を行う画像処理方法、画像処理装置、画像処理プログラム、撮像装置に関する。
【背景技術】
【０００２】
撮影光源は、日中の屋外であれば太陽の高度に依存してその色温度が変化し、日向と日陰でも色温度が異なる。屋内では蛍光灯や白熱灯など様々な人工照明があり、フラッシュ撮影した場合にはフラッシュ照明と外光の混合光が撮影光源となる。このような様々な撮影光源下で人間の眼は色順応し、分光的に平坦な反射物をほぼ無彩色と感じる。これに合わせて入力装置であるカメラも、RGBのゲインを調整していわゆるホワイトバランスを取っている。通常、撮影光源は未知であるため、撮影照明の種類（色温度）を画像から推定したり、もしくはユーザーが指定したりして、その照明種類に合わせてホワイトバランスを取る。
【０００３】
一方、特許文献１には、フラッシュ撮影した場合、フラッシュ撮影した画像とフラッシュを発光せずに撮影した画像の両方を取得し、画像をブロックごとに分割した上で、２枚の画像の輝度比を比較し、輝度の比が基準レベルより高いブロックをストロボ光に基づいてホワイトバランス調整を行い、基準レベルより低いブロックについては外光に基づきホワイトバランス調整を行う構成が開示されている。
【０００４】
【特許文献１】特開平８−５１６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、２枚の連続した画像を撮影した場合、撮影者自身の手ぶれや被写体の動きによって、画像にぶれが生じる可能性がある。また外光の中で点滅している光源が存在していたり、蛍光灯の様に外光がある周波数でちらついている様な場合には、連射した画像の輝度を比較しても、その輝度の差がストロボ発光による輝度の変化か、それ以外の影響かの判断が難しい。また輝度の差が基準レベルより高い場合はストロボ光でホワイトバランス調整を行う構成となっているが、外光とストロボ光の混合光に調整したホワイトバランス調整を行わないので、色が不自然に調整されてしまう。
【課題を解決するための手段】
【０００６】
請求項１の発明は、画像処理方法に適用され、ひとつの画像を取得し、取得したひとつの画像を複数の領域に分割し、分割した領域毎に照明の色に関する情報を設定し、分割した領域毎に、対応する照明の色に関する情報に応じて色補正を行うことを特徴とするものである。
請求項２の発明は、請求項１に記載の画像処理方法において、取得した画像を、モニタに表示された画像上でのユーザーによる指定により複数の領域に分割することを特徴とするものである。
請求項３の発明は、請求項１に記載の画像処理方法において、取得した画像を、被写体までの距離情報を用いて複数の領域に分割することを特徴とするものである。
請求項４の発明は、請求項１に記載の画像処理方法において、取得した画像において人物の顔を認識し、取得した画像を、認識した人物の顔の領域とそれ以外の領域とに分割することを特徴とするものである。
請求項５の発明は、請求項１に記載の画像処理方法において、取得した画像を、主要被写体と背景とに分割することを特徴とするものである。
請求項６の発明は、請求項１に記載の画像処理方法において、取得した画像を、輝度情報に基づき、日向の領域と日陰の領域とに分割することを特徴とするものである。
請求項７の発明は、請求項１に記載の画像処理方法において、取得した画像を、肌色の部分と肌色以外の部分とに分割することを特徴とするものである。
請求項８の発明は、請求項１から７のいずれかに記載の画像処理方法において、分割した複数の領域のそれぞれの照明光源を推定することで、前記照明の色に関する情報を設定することを特徴とするものである。
請求項９の発明は、請求項１から７のいずれかに記載の画像処理方法において、分割した複数の領域のそれぞれについて、ユーザから指定することで、前記照明の色に関する情報を設定することを特徴とするものである。
請求項１０の発明は、請求項８に記載の画像処理方法において、前記照明光源の推定には、前記分割した領域ごとの色情報、撮影情報を用いて行うことを特徴とするものである。
請求項１１の発明は、請求項３に記載の画像処理方法において、フラッシュ撮影を行ったか否かの撮影情報を取得し、フラッシュ撮影を行っている場合、分割された複数の領域のうち、被写体までの距離情報が所定値以下の領域の照明光源をフラッシュであると推定し、照明光源がフラッシュであると推定された領域について、フラッシュに適したホワイトバランス処理を行うことを特徴とするものである。
請求項１２の発明は、請求項４または７に記載の画像処理方法において、フラッシュ撮影を行ったか否かの撮影情報を取得し、フラッシュ撮影を行っている場合、人物の顔の領域または肌色の部分の領域の照明光源をフラッシュであると推定し、照明光源がフラッシュであると推定された領域について、フラッシュに適したホワイトバランス処理を行うことを特徴とするものである。
請求項１３の発明は、画像処理プログラムに適用され、請求項１から１２のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラムとするものである。
請求項１４の発明は、画像処理装置に適用され、請求項１３に記載の画像処理プログラムを搭載する画像処理装置とするものである。
請求項１５の発明は、撮像装置に適用され、請求項１３に記載の画像処理プログラムを搭載する撮像装置とするものである。
【発明の効果】
【０００７】
本発明は以上のように構成しているので、画像全体で色補正が適切に調整され、色再現がよくなる。
【発明を実施するための最良の形態】
【０００８】
−第１の実施の形態−
図１は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１で実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。
【０００９】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。
【００１０】
本実施の形態のパーソナルコンピュータ１は、撮影された画像に対して、複数の色温度の照明下であっても、適切にホワイトバランスを取る画像処理を行う。具体的には、撮影された画像の画像データに対して画像処理を行うが、以下の説明では、画像に対して画像処理を行うという表現も使用する。
【００１１】
夕焼けを背景に人物をフラッシュ（ストロボ）撮影した画像のホワイトバランス補正を例に説明する。フラッシュの当っている人物の撮影照明は主に使用したフラッシュであり、フラッシュによる撮影照明の色温度は約5400Kである。しかし、この色温度で画像全体のホワイトバランスを取ると、フラッシュの当たった箇所のホワイトバランスは適切に補正され無彩色は無彩色に、肌色も肌色に再現されるが、背景の夕焼けは赤白く補正され夕焼けの赤さが再現されない。
【００１２】
一方、夕焼けの赤が見た時の印象に合うようにホワイトバランスを調整する場合には、色温度をわざと高め（8000K）などに設定すると、全体的に赤く夕焼けに染まった景色を再現できる。しかし、この場合人物まで不自然に赤く染まってしまう。
【００１３】
本実施の形態では、このような複数の照明下の被写体が混在している場合、まず画像の領域を分割する。分割の仕方は、ユーザーが、パーソナルコンピュータ１のモニタに表示された画像を見ながら、人物と背景に分ける様にしてマウス等の入力デバイスを使用して領域分割する。その後、ユーザーは、分割した夫々の領域に色温度や撮影照明の種類を指定し、照明の色に関する情報を設定する。その後、ユーザーが色補正実行ボタンなどをマウスでクリックすると、パーソナルコンピュータ１は、各領域ごとに、指定された色温度や撮影照明の種類に合ったホワイトバランス等の色補正を行う処理を行う。
【００１４】
上記の例では、人物と背景の領域に分割すればよい。分割された人物の領域に付いてはフラッシュの色温度を指定するか、撮影照明がフラッシュであることを指定すれば、フラッシュ照明に適したホワイトバランス等の色補正が行われる。背景については、夕焼けの赤さを残す様に夕焼けの色温度より高めの色温度を指定すれば、夕焼けの赤さが残るホワイトバランスが取られる。
【００１５】
図２は、本実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムのフローチャートを示す図である。
【００１６】
ステップＳ１では、デジタルカメラなどで撮影（撮像）した画像（画像データ）を取得する。ステップＳ２では、取得した画像をパーソナルコンピュータ１のモニタに表示する。
【００１７】
ステップＳ３では、ユーザーの入力操作に応じて画像を分割する。例えば、ユーザーのマウスの操作によりカーソルを移動させ、そのカーソルの移動の軌跡や画像の外周で閉じられた領域が指定できるようにする。上記で説明した人物と背景の画像の例では、ユーザーが人物の輪郭をカーソルでなぞるようにすれば、その人物が人物の領域として指定できる。背景は、指定されなかった領域をまとめて背景の領域として指定できる。
【００１８】
また、表示された画像全体を予め複数の格子状の領域に分割し、分割された格子状の領域をマウスなどで適宜選択して１つのまとまった領域として指定できるようにしてもよい。
【００１９】
ステップＳ４では、分割領域ごとにホワイトバランス等の色補正を行うための照明の色に関する情報を設定する。本実施の形態では照明の色温度を設定する。ユーザーが、モニタ上で分割領域ごとに色温度を指定することにより行う。色温度の指定は、色温度の具体的な数値を指定させるようにしてもよいし、照明の種類を指定させるようにしてもよい。照明の種類は、例えば、太陽光（日向）、太陽光（日陰）、太陽光（曇天）、フラッシュ、白熱灯、蛍光灯などの中から選択させる。太陽光を太陽の高度などによって分類してもよいし、夕焼けや、朝焼けや、日中などで分類してもよいし、時間帯などで分類してもよい。蛍光灯もさらに蛍光灯の種類で細かく分類してもよい。また、その他の照明を追加してもよい。
【００２０】
ステップＳ５では、分割された各領域ごとに、設定された照明の色に関する情報に基づくホワイトバランス処理を行う。領域ごとに設定された色温度が異なれば、領域ごとに異なるホワイトバランス処理が行われることになる。
【００２１】
上記では、各領域の照明の色に関する情報はユーザーが指定するようにした。もし、夕焼けの背景に夕焼けの色温度を指定すれば、夕焼けのような赤い光であっても、白は適切に白と見えるようにホワイトバランスが取られる。従って、夕焼けの赤さを残したい場合には、その領域に夕焼けの色温度より高めの色温度を指定する工夫が必要であった。
【００２２】
このような場合に、照明の種類に、夕焼け１、夕焼け２のように複数の照明の種類を指定できるようにしてもよい。そして、夕焼け１が指定されれば、夕焼けのような赤い光であっても、白は適切に白と見えるようにホワイトバランスを取る処理を行い、夕焼け２が指定されれば、夕焼けの赤さを残すようなホワイトバランスを取る処理を行うようにしてもよい。室内の白熱灯も同様である。
【００２３】
また、ホワイトバランスの様に出力ＲＧＢ値のゲインを設定する方法以外に、色順応変換を用いて色補正を行ってもよい。色順応変換では、領域毎に照明の色に関する情報を入力し、さらに出力デバイスの白色点を入力して、領域毎に色補正を行う。この方法で対象の照明にどれだけ順応しているかを示す色順応度Dを考慮するようにしてもよい。
【００２４】
この色順応度は次のような式で表すことができる。
D=F[1-(1/3.6)exp((-LA-42)/92)]
なお、Fは周囲の明るさを示すパラメータ、LAは順応輝度であり、通常、照明輝度の２０％を使用する。
【００２５】
上記の夕焼けを背景に人物をフラッシュ撮影した画像例では、主要被写体である人物を切り出した領域に対しては、撮影照明をフラッシュとし、D=1.0として完全順応とする。夕焼けに照らされた背景領域に対しては、撮影照明を夕焼けとし、D<1.0として完全順応させない。このようにすれば、人物に対してはフラッシュ照明において適切に色順応変換が取られ、背景に対しては夕焼けの赤が残る色順応変換が取られる。
【００２６】
（１）以上のようにして、本実施の形態では、画像内のどの被写体に付いてもホワイトバランス等の色補正を適切に行うことができ、画像全体で良好な色再現が実現できる。
（２）ユーザーが任意に分割領域を指定でき、色温度や照明の種類も任意に指定できるので、ユーザーの好みに合わしたホワイトバランス等の色補正を行うことができる。
【００２７】
−第２の実施の形態−
図３は、本発明の一実施の形態である撮像装置であるデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５、レンズ駆動部１０６、フラッシュユニット１０７などから構成される。
【００２８】
撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して以下で説明する画像処理を行い、画像処理後の画像データを適宜メモリ１０５に格納する。また、制御装置１０４は、レンズ駆動部１０６を介して撮影レンズ１０２を駆動し、被写体までの測距データを取得する。さらに、制御装置１０４は、フラッシュユニット１０７を駆動してフラッシュ撮影を行う。なお、制御装置１０４が実行する画像処理プログラムは、不図示のＲＯＭに格納されている。
【００２９】
本実施の形態のデジタルカメラ１００では、撮像素子１０３により撮影（撮像）された画像に対して、複数の色温度の照明下であっても、適切にホワイトバランスを取る画像処理が行われる。具体的には、撮影された画像の画像データに対して画像処理を行うが、以下の説明では、撮影された画像に対して画像処理を行うという表現も使用する。
【００３０】
本実施の形態について、室内でフラッシュ撮影した場合を例に説明する。白熱灯照明下の室内でフラッシュ撮影した場合、フラッシュの色温度で支配的にホワイトバランスが調整されると、フラッシュの当った被写体（人物等）は完全にホワイトバランスが補正されるが、背景の画像はホワイトバランスがずれており冷たい色調の画像になる。
【００３１】
一方、フラッシュを使わずに撮影した場合は、室内の白熱灯の色温度で支配的にホワイトバランスが補正されるが、暖かみの残る写真に仕上がる。後者の暖かみのある写真の方が好まれ、暗くてぶれやすいと言う欠点が有るにも関わらずフラッシュを使用せずに撮影したり、ノイズを犠牲にしてISO感度を上げてフラッシュを使用しなかったりするユーザーもいる。
【００３２】
本実施の形態では、この様な構図の写真において、フラッシュユニット１０７によるフラッシュの届かない背景部分は背景領域だけで推定した色温度に対してホワイトバランスを取る。そして、フラッシュの届く近距離被写体領域に対しては、フラッシュの色温度でホワイトバランスを取る。これにより、フラッシュユニット１０７によりフラッシュを使用して撮影した画像についても適切なホワイトバランスを取ることができる。
【００３３】
図４は、室内でフラッシュ撮影した場合の構図を示す図である。図５は、撮影画像を５×５に分割した様子を示す図である。
【００３４】
本実施の形態では、図５に示す５×５に分割した各領域で被写体までの距離を測距する。測距は、デジタルカメラの測距機能を用いる。例えば、オートフォーカスで用いるコントラスト法を用いる。具体的には、制御装置１０４はレンズ駆動部１０６を制御し、撮影レンズ１０２の合焦レンズを至近側から無限縁側まで所定の分解能で駆動する。そして、撮影レンズ１０２の合焦レンズを至近側から無限縁側まで駆動する間、画像の５×５に分割した各領域で焦点評価値を取得する。
【００３５】
焦点評価値がピークになる点が被写体にピントがあったことになり、そのときの撮影レンズ１０２の合焦レンズの駆動位置により被写体までの距離を計算で求めることができる。なお、デジタルカメラにおける被写体までの測距方法は公知な内容であるので、詳細な説明は省略する。また、その他の各種の測距方法を使用することもできる。
【００３６】
撮影画像が、図４の様に、白熱灯で照らされた室内を背景に、近距離にいる人物をフラッシュ撮影した場合、フラッシュ使用の情報があれば、各領域に於いてフラッシュが届く範囲の領域とそれ以外の領域に分割することができる。
【００３７】
図４の人物がいる領域（図５において、符号14,19,24の領域）は、前述した測距情報により被写体までの距離が例えば１mと短かったとする。この場合、フラッシュが点灯された旨の情報とフラッシュの性能情報があれば、この被写体の撮影照明の色に関する情報としてフラッシュであると判定できる。
【００３８】
一方、その他の領域は、測距情報よりフラッシュが届かない程被写体までの距離が遠かったとする。この場合の撮影照明は、図５の符号14,19,24以外の領域に対応する図４の画像を解析して推定され、白熱灯と設定される。符号14,19,24以外の領域については、設定した撮影照明に合わせてホワイトバランスを調整し、白熱灯の温かい色合いが残る様にホワイトバランスが調整される。符号14,19,24の領域については、撮影照明をフラッシュとしてホワイトバランスが調整される。
【００３９】
このようにして、白熱灯の温かい色合いを残しながら、主要被写体に対しては適切な色補正がなされる。
【００４０】
図６は、本実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【００４１】
ステップＳ１１では、制御装置１０４は上記に説明したように５×５の各領域の測距データを取得する。なお、測距データの取得は、デジタルカメラ１００のオートフォーカス処理と共同して行ってもよい。ステップＳ１２では、撮像素子１０３により撮影（撮像）された画像（画像データ）を取得する。ステップＳ１３では、フラッシュユニット１０７によるフラッシュを使用した旨の撮影情報を取得する。
【００４２】
ステップＳ１４では、ステップＳ１１で取得した測距データに基づき、ステップＳ１２で取得した画像を分割する。本実施の形態では、フラッシュ撮影が行われたことを前提とし、フラッシュが届く範囲の領域と届かない範囲の領域に分割する。具体的には、各領域の測距値がフラッシュが届く基準値以上か未満かによって、領域を分割する。図４、図５の例では、被写体までの距離が１ｍと測距された符号14,19,24の領域と、それ以外の領域とに分割される。
【００４３】
ステップＳ１５では、フラッシュが届かない範囲の領域の画像から、その照明の色に関する情報を取得する。上記の例では、画像処理により照明の色が白熱灯のものと同等であることが公知の方法で推定され設定される。フラッシュが届く範囲の領域については、照明の色がフラッシュとして設定する。フラッシュの色温度は、フラッシュユニット１０７内のメモリに予め格納されており、そのデータを読み取ることにより取得する。ステップＳ１６では、分割された各領域ごとに、推定された色温度に基づくホワイトバランス処理を行う。
【００４４】
このように、画像を、フラッシュが届く範囲の領域と届かない範囲の領域とに分割し、それぞれの領域の照明の色に関する情報に応じた色補正がなされる。これにより、上記のような構図の画像では、背景において白熱灯の温かい色合いを残しながら、主要被写体に対してはフラッシュの光源色に応じた適切な色補正がなされる。
【００４５】
なお、上記フラッシュの届く範囲の符号14,19,24の領域について、フラッシュの光源色に応じた色補正を行った後、背景領域の光源色で照明された場合の色再現になる様に色変換を施すようにしてもよい。この変換はフォン・クリスの式のような白色点変換と同様の式を使うとよい。このようにすることにより、符号14,19,24の領域については、撮影照明はフラッシュであるが、実際撮影者が見ていた照明は周囲同様の色温度であるので、フラッシュで照明された色から周囲と同じ色温度で照明された場合の色に再現されるように調整することができる。
【００４６】
また、第２の実施の形態の変形例を図９を用いて説明する。この変形例は、フラッシュと外光の混合照明色温度を推定し、領域がフラッシュ照明領域と外光の照明による背景照明領域との境界部分に該当する場合、当該領域がフラッシュ照明領域からどの程度離れた距離の被写体なのか、または背景照明領域からどの程度離れた距離にある被写体なのかに応じて、ホワイトバランスを調整する方法を示す。
【００４７】
図９は、上記実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムの変形例のフローチャートを示す図である。ステップＳ４１にてフラッシュの使用の有無を検出する。フラッシュを使用している場合は、ステップＳ４２にて、撮像素子をＮ×Ｍ領域に分割する。
【００４８】
次にステップＳ４３にて、各領域での代表画素における距離測定を行い、そのデータを保持し、撮影を行い、画像データを生成する。次に、ステップＳ４４にて、生成された画像データをステップＳ４２の領域分割と対応するように分割し、各領域でフラッシュが届く範囲かどうかを判定する。そこで、フラッシュが届かない領域と判定された場合はステップＳ４５で背景照明領域と判定する。一方、フラッシュが届く領域と判定された場合はステップＳ４６でフラッシュ照明領域と判定する。これを全領域にわたって判定する（ステップＳ４７）。
【００４９】
すべての領域で、背景照明領域とフラッシュ照明領域に分類わけされたら、ステップＳ４８で、フラッシュ照明領域全体を解析し、フラッシュ混合照明色温度Tfとして推定する。もしくは、照明の色に関する情報としてフラッシュの色の情報を参照し、フラッシュの色温度を基に設定してもよいが、次に行うステップS４９で求められる背景照明色温度Tbのデータを基に、わずかに、フラッシュの色温度に対し、背景照明色温度Tbに近い値になるように設定してもよい。ステップＳ４９では、背景照明領域全体を解析し背景照明色温度Tbを推定する。
【００５０】
次に、ステップＳ５０において、各領域について、ステップS４４で設定されたフラッシュ照明領域か否かの判定を行う。背景照明領域に判定された領域について、ステップS５１で、フラッシュ照明領域との境界部分にあるかの判断を行う。ここで、境界領域で無い場合は、ステップＳ５３において、背景照明色温度Tｂでホワイトバランス調整を行う。一方、境界領域である場合は、ステップS５４で、この領域に写っている被写体がフラッシュ照明領域の被写体に対してどの程度距離が離れているか、及び隣接する背景照明領域に写っている被写体からどの程度離れているを判定し、Tf,Tbの中間の色温度を設定する。この色温度でもって、ホワイトバランス調整を行う。
【００５１】
同様に、ステップＳ５０において、領域がステップS４４で行われたフラッシュ照明領域と判定された場合、ステップS５２で背景照明領域との境界領域になるか否かを判定する。境界にないと判定されれば、ステップＳ５５において、Tfでホワイトバランス補正をされる。境界領域にある場合は、前述のとおりステップＳ５４の処理がなされ、ホワイトバランス調整がされる。これをすべての領域に対して行ったかステップS５６で判定して、終了する。
【００５２】
一方、ステップＳ４１において、フラッシュ使用がないと判断されるとステップＳ５７に進む。ステップＳ５７では、画像全体で照明色温度が推定されホワイトバランス調整がなされる。
【００５３】
なお、領域分割はブロックで分割するのではなく、エッジ抽出を行った結果を用いて任意の形状に分割してもよい。任意の形状に分割した後、夫々の分割領域が、フラッシュの届く距離にある領域（領域１）かフラッシュの届かない距離にある領域（領域２）かに分類しても良い。
【００５４】
また上記の例では領域を届くか届かないかの２つに分類しているが、かなり近い（＝フラッシュの影響が強い）領域と、全く届かない領域とその中間（フラッシュと背景光源が混合）の様に２つより細かく分類し、夫々の領域毎に色温度を推定してホワイトバランス調整を行ってもよい。
【００５５】
ブロックによりホワイトバランス調整値を２種類切り替えただけでは、異なるホワイトバランス条件の境界でブロック歪みを生じる。従って、フラッシュと室内照明の混合照明でホワイトバランスを行う領域（図４の14,19,24）と背景色でホワイトバランスを行う領域（図4の14,19,24以外）の接する領域（図4の8,9,10,13,14,15,18,19,20,23,24,25）の境界部（例えば１００画素程度ずつ）を境界領域として、図１０に示すように領域１で設定した色温度と領域２で設定した色温度の中間に補間した色温度に設定する。
【００５６】
図１０では簡単の為１次元で表示しているが、領域は実際には２次元に広がっているので、２次元領域内で色温度がスムーズにつながる様に補間して色温度を推定する。
【００５７】
また境界のみで色温度を補間するのではなく、ブロック毎に照明の色温度を決定したら、その色温度は各ブロックの代表画素（例えば中心画素）に於ける色温度とし、画像全体で２次元の色温度分布関数T(x,y)を作成し、その式で各画素のホワイトバランスの調整を行っても良い。
【００５８】
上記の例では、照明の特徴量として色温度を用いて説明していたが、複数照明の特徴量として照明の白色点のxy色度座標(x,y)やカメラRGB値で表す特徴量を用いてもよい。色温度だけでは照明の特徴量を１次元でしか表せないが、xy色度座標やカメラRGB値で表す特徴量にすれば、黒体輻射に従わない混合照明や蛍光灯などもより正確に表すことができる。照明の種類を示す特徴量が２つ以上のパラメータを用いるのであれば、夫々のパラメータについて前述の境界領域の補間（図10）や色温度分布関数T(x,y)の様な近似式を作成する。例えば白のRGB比（G/R,G/B）を特徴量とする場合は、前述の境界領域の補間（図10）や色温度分布関数T(x,y)の様な近似式をG/R, G/B夫々について行い、各画素のWB調整に用いれば良い。
【００５９】
（１）以上により、フラッシュを使用して明るい手振れの生じない画像を得ながら、画像全体として白熱灯の温かい色合いを残すこともでき、良好な色再現が可能となる。
（２）上記の変形例で示したように白色点変換をすれば、画像全体として、白熱灯の温かい色合いをさらに良好に残すことができるようになる。
（３）被写体までの測距データを、オートフォーカスと同じ手法で取得するので、ホワイトバランスの処理を異ならせたい画像の分割を自動的に適切に行うことができる。
【００６０】
−第３の実施の形態−
第３の実施の形態では、顔認識技術を用いて、顔と判断された領域（主要被写体）とそれ以外の領域に分割して色補正を行う例を説明する。顔と判断される領域が検出され、フラッシュが点灯されたことが検出されると、顔と判断された領域の照明はフラッシュであると推定することができる。本実施の形態では、このような推定に基づき、顔と判断された領域とそれ以外の領域について照明光源の違いによる異なるホワイトバランス処理を行う。
【００６１】
第３の実施の形態は、第１の実施の形態と同様に、パーソナルコンピュータ１で実現される。従って、第３の実施の形態の画像処理装置の構成は、第1の実施の形態の図１を参照することとする。図７は、本実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムのフローチャートを示す図である。
【００６２】
ステップＳ２１では、デジタルカメラなどで撮影（撮像）した画像（画像データ）を取得する。ステップＳ２２では、フラッシュを使用した旨の撮影情報を取得する。撮影情報は、画像データに添付されているものとする。ステップＳ２３では、取得した画像から人物の顔を認識する。人物の顔の認識は公知な顔認識技術を用いる。例えば、人物の顔の輪郭を画像処理で検出したり、肌色を検出して人物の顔であると認識したりする。
【００６３】
ステップＳ２４では、認識した人物の顔の領域に基づき、顔の領域とそれ以外の領域とに分割する。ステップＳ２５では、人物の顔として分割された領域について、フラッシュの色温度をその領域の照明温度としてホワイトバランスの調整を行う。ステップＳ２６では、顔領域以外の領域について、輝度平均が１８％グレーになるようにホワイトバランスの調整をする。
【００６４】
本実施の形態では、通常、被写界に人物を入れてフラッシュ撮影をする場合、フラッシュ光は人物まで届くような撮影を行うであろうということを前提としている。なお、人物を肌色で検出した場合、主要被写体である人物の顔の色が検出できている。この場合、ホワイトバランスの処理を行うとき、検出した色も考慮してその色に応じた適切なホワイトバランスの調整を行うようにしてもよい。
【００６５】
（１）以上のようにして、本実施の形態では、顔と認識された領域は、フラッシュが届いている範囲として、フラッシュの色温度で正確にホワイトバランスの調整がなされ、それ以外の領域は簡易な手法でホワイトバランスの調整がなされる。これにより、適切なホワイトバランスの処理がなされる。
（２）人物を中心に適切なホワイトバランスの調整がなされるので、注目度の高い被写体が確実に適切にホワイトバランスの調整がなされる。
【００６６】
次に、上記第３の実施の形態の変形例を説明する。領域の分割方法は、各領域内の平均輝度から推定しても良い。輝度のヒストグラムを取ると、フラッシュが当った領域は全体的に平均輝度が高く、フラッシュが当らなかった背景領域は光量不足の為平均輝度が低く、領域内の平均輝度から照明光源の違いを推定することが可能である。また日向と日陰が画像内に混在している場合も、平均輝度が高い領域は日向、平均輝度が低い領域は日陰として、領域を分割することが可能である。各画素の輝度だけで判定すると、被写体の反射率が元々低い場合と、照明輝度が低い場合の判定が難しいので、輝度で判定する場合には領域分割を大きめに行い、その領域内の平均輝度で判定する方が望ましい。
【００６７】
図１１は、第３の実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムの変形例のフローチャートを示す図である。ステップＳ６１にて画像データから画像の輝度分布ヒストグラムを作成する。ステップＳ６２にて、輝度分布ヒストグラムから谷の有無を判定する。谷が無ければ、ステップＳ７８において、画像全体に単一の照明色温度を設定し、ホワイトバランス調整を行って終了する。
【００６８】
一方、図１２はヒストグラムの一例を示す図である。図１２のように谷があれば、ステップＳ６３にてその輝度値Ｙ０をメモリーする。次にステップＳ６４にて、Ｎ×Ｍの領域に分割し、Ｓ６５で各領域の平均輝度Ｙｍを算出する。ステップＳ６５Ａで、平均輝度ＹｍがＹ０より大きいか否かを判定し、大きい場合は、ステップＳ６７にてフラッシュ照明領域や日向領域として照明１の領域とする。一方、小さい場合はステップＳ６６で背景や日陰領域として照明２の領域とする。ステップＳ６８において、全領域にわたって判定が完了したか否かを判定し、完了していない場合はステップＳ６５に戻って処理を繰り返す。
【００６９】
すべての領域で、照明１の領域と照明２の領域に分類わけされたら、ステップＳ６９で照明１の領域と判定された領域全体を解析し、照明１の色に関する情報を取得して、照明１の色温度T1として推定する。次にステップＳ７０で、照明２の領域と判定された領域全体を解析し、照明２の色温度T2として推定する。
【００７０】
次に、各領域について、ステップS６５で設定された照明１の領域か否かの判定に基づき、照明２の領域に判定された領域について、ステップS７２で照明１の領域との境界部分にあるかの判断を行う。ここで、境界領域で無い場合は、ステップＳ７４において、色温度T2でホワイトバランス調整を行う。一方、境界領域である場合は、ステップＳ７５で、この領域に写っている被写体が照明２領域の被写体に対してどの程度距離が離れているか、及び隣接する照明１領域に写っている被写体からどの程度離れているを判定し、T1,T2の中間の色温度を設定する。この色温度でもって、ホワイトバランス調整を行う。なお、距離情報は、第２の実施の形態のようにあらかじめ取得しておき、記憶された情報を用いる。
【００７１】
同様に、ステップS６５Ａで行われた照明領域との判定に基づき、ステップS７１で照明1の領域と判定された領域について、ステップＳ73で境界領域になるか否かを判定する。境界にないと判定されれば、ステップＳ７６において、T1でホワイトバランス補正をされる。境界領域にある場合は、前述のとおりステップS75の処理がなされ、ホワイトバランス調整がされる。これをすべての領域に対して行ったかステップS77で判定して、終了する。
【００７２】
−第４の実施の形態−
第４の実施の形態では、画像の中の輝度の高い部分を日向領域とし、輝度の低い部分を日陰領域として色補正を行う例を説明する。第4の実施の形態は、屋外での撮影が前提となるので、撮影モードを取得し、屋外に関係するモードであることを検出して行う。
【００７３】
第４の実施の形態は、第１の実施の形態と同様に、パーソナルコンピュータ１で実現される。従って、第４の実施の形態の画像処理装置の構成は、第1の実施の形態の図１を参照することとする。図８は、本実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムのフローチャートを示す図である。
【００７４】
ステップＳ３１では、デジタルカメラなどで撮影（撮像）した画像（画像データ）を取得する。ステップＳ３２では、撮影したときの撮影モードなどの撮影情報を取得する。ステップＳ３３では、取得した画像から輝度情報を抽出する。画像データがＲＧＢ表色系であれば、輝度値として、Ｒ、Ｇ、Ｂのそれぞれの値を所定の計算式で加算した値を使用したり、Ｇの値を使用したりする。
【００７５】
ステップＳ３４では、輝度値が日向基準値以上であればその領域を日向の領域と推定し、輝度値が日陰基準値以下であればその領域を日陰の領域と推定する。日向基準値および日陰基準値は、計算あるいは実験等により予め決定されている。もちろん、日向基準値は日陰基準値より高い値が設定されている。このような基準値に基づき、輝度が高ければそれを日向と推定し、輝度が低ければそれを日陰と推定する。このような推定により、画像を、日向の領域と日陰の領域に分割する。この場合、ステップＳ３２で取得した撮影モードで、屋外モードであることが確認されていることを前提とする。
【００７６】
ステップＳ３５では、分割された領域について、日向の領域については日向の太陽光の色温度に基づきホワイトバランスの調整を行い、日陰の領域については日陰の太陽光の色温度に基づきホワイトバランスの調整を行う。
【００７７】
（１）このようにして、画像の中に日向の領域と日陰の領域がある場合は、それぞれの太陽光の色温度に適したホワイトバランスの調整がなされる。その結果、画像全体として適切な自然な色再現がなされる。
（２）日向の領域と日陰の領域とが自動的に確定するので、日向向けのホワイトバランスと日陰向けのホワイトバランスが、ユーザーの手を煩わすことなく適切に行われる。
【００７８】
−変形例−
（１）上記第１の実施の形態、第３の実施の形態、第４の実施の形態では、パーソナルコンピュータ１で画像処理を行う例を説明したが、第２の実施の形態と同様に、デジタルカメラ１００でその画像処理を行うようにしてもよい。また、第２の実施の形態のデジタルカメラ１００で行う画像処理を、第１の実施の形態、第３の実施の形態、第４の実施の形態と同様に、パーソナルコンピュータ１でその画像処理を行うようにしてもよい。
（２）第２の実施の形態では、符号14,19,24以外の領域に対応する画像データを解析して白熱灯と推定する例を説明した。しかし、撮影モードにより推定することも可能である。例えば、撮影モードが室内撮影であれば、白熱灯と推定してもよい。室内撮影でも、白熱灯や蛍光灯の別が指定できれば、それぞれ指定された照明を照明光源として推定すればよい。
（３）上記第1の実施の形態では、ユーザーが人物と夕焼けの背景の領域を分割する例を説明した。第１の実施の形態では、ユーザーは任意の画像に対して、任意に分割を指定することができる。従って、上記第4の実施の形態のような日向と日陰を、第1の実施の形態のようにユーザーがマニュアルで指定するようにしてもよい。
（４）上記第1の実施の形態では、分割領域ごとにユーザーが色温度や照明の種類を指定する例を説明した。しかし、分割領域ごとに画像処理によりその領域の照明光源の色温度を推定するようにしてもよい。また、逆に、他の実施の形態において画像処理によりその領域の照明光源の色温度を推定する場合、それに代えてユーザーが色温度や照明の種類を指定できるようにしてもよい。
【００７９】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００８０】
【図１】第１の実施の形態である画像処理装置を示す図である。
【図２】第１の実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムのフローチャートを示す図である。
【図３】第２の実施の形態である撮像装置であるデジタルカメラ１００の構成を示す図である。
【図４】室内でフラッシュ撮影した場合の構図を示す図である。
【図５】撮影画像を５×５に分割した様子を示す図である。
【図６】第２の実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【図７】第３の実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムのフローチャートを示す図である。
【図８】第４の実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムのフローチャートを示す図である。
【図９】第２の実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムの変形例のフローチャートを示す図である。
【図１０】境界領域として、領域１で設定した色温度と領域２で設定した色温度の中間に補間した色温度に設定する様子を説明する図である。
【図１１】第３の実施の形態のパーソナルコンピュータ１が実行する画像処理プログラムの変形例のフローチャートを示す図である。
【図１２】ヒストグラムの一例を示す図である。
【符号の説明】
【００８１】
１  パーソナルコンピュータ
２  デジタルカメラ
３  記録媒体
４  コンピュータ
５  電気通信回線
１００  デジタルカメラ
１０１  被写体
１０２  撮影レンズ
１０３  撮像素子
１０４  制御装置
１０５  メモリ
１０６  レンズ駆動部
１０７  フラッシュユニット
【図１】
2008052428.tif 000003
【図２】
2008052428.tif 000004
【図３】
2008052428.tif 000005
【図４】
2008052428.tif 000006
【図５】
2008052428.tif 000007
【図６】
2008052428.tif 000008
【図７】
2008052428.tif 000009
【図８】
2008052428.tif 000010
【図９】
2008052428.tif 000011
【図１０】
2008052428.tif 000012
【図１１】
2008052428.tif 000013
【図１２】
2008052428.tif 000014