(57)【要約】【課題】照明手段により照明された被写体の１枚の画像を用いて、その照明手段の照明の影響を適宜補正することができる画像処理方法を提供すること。【解決手段】被写体をフラッシュユニット１０７と周囲照明で照明して撮像された画像を取得し、取得した画像を主要被写体領域と背景被写体領域の少なくとも２つ以上の領域に分割し、分割した各領域の照明に関する情報を求め、求めた主要被写体領域および背景被写体領域の照明に関する情報に基づき、主要被写体領域の色を補正する。【選択図】図１
2008131579.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
被写体を第１の照明手段と第２の照明手段で照明して撮像された画像を取得し、
前記取得した画像を第１の領域と第２の領域の少なくとも２つ以上の領域に分割し、
前記分割した各領域の照明に関する情報を求め、
前記求めた第１の領域および第２の領域の照明に関する情報に基づき、前記第１の領域の色を補正することを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記求めた第１の領域および第２の領域の照明に関する情報に基づき、前記第１の領域の色を、前記第２の領域の照明に関する情報に基づく照明で照明された色に補正することを特徴とする画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、
前記求めた第１の領域および第２の領域の照明に関する情報に基づき、前記第１の領域の色を、前記第１の照明手段による照明と前記第２の照明手段による照明のいずれかあるいは混合照明で照明された色に補正することを特徴とする画像処理方法。
【請求項４】
請求項１から３のいずれかに記載の画像処理方法において、
前記第１の照明手段は被写体を閃光照明するフラッシュ照明手段であり、
前記第２の照明手段は被写体を周辺から照明する周囲照明手段であり、
前記第１の領域は、前記フラッシュ照明手段により照明された主要被写体が存在する領域であり、
前記第２の領域は、前記フラッシュ照明手段による照明の影響が前記主要被写体より小さい被写体が存在する領域であることを特徴とする画像処理方法。
【請求項５】
請求項１から４のいずれかに記載の画像処理方法において、
前記領域の分割は、被写体までの距離によって分割することを特徴とする画像処理方法。
【請求項６】
請求項１から４のいずれかに記載の画像処理方法において、
前記領域の分割は、画像の輝度分布に基づいて分割することを特徴とする画像処理方法。
【請求項７】
請求項１から６のいずれかに記載の画像処理方法において、
前記補正は、前記第２の領域の照明下の白の色成分と前記第１の領域の照明下の白の色成分との比によって、前記第１の領域の各画素の色成分を変換することを特徴とする画像処理方法。
【請求項８】
請求項１から７のいずれかに記載の画像処理方法において、
前記補正は、前記画像を撮像した撮像素子の分光特性に対応する色空間で行うことを特徴とする画像処理方法。
【請求項９】
請求項１から７のいずれかに記載の画像処理方法において、
前記補正は、前記画像を撮像した撮像素子の分光特性に対応する色空間から所定の色空間に変換し、該色空間で、前記第２の領域の照明下の白の色成分と前記第１の領域の照明下の白の色成分との比による変換を行うことを特徴とする画像処理方法。
【請求項１０】
請求項１から６のいずれかに記載の画像処理方法において、
予め照明の種類に対応して複数の補正パラメータを保持し、
前記求めた第１の領域および第２の領域の照明に関する情報に応じて、予め記憶した前記複数の補正パラメータから最適な補正パラメータを選び、
前記選んだ最適な補正パラメータにより補正を行うことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法において、
前記補正パラメータは、３×３のマトリックスの係数であり、
前記画像を撮像した撮像素子から出力される色成分に前記マトリックスを演算することにより補正を行うことを特徴とする画像処理方法。
【請求項１２】
請求項１から１１のいずれかに記載の画像処理方法において、
測光データに基づき、前記各領域の明るさを求め、
前記求めた各領域の明るさに基づき、前記第１の領域の色を補正することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法において、
前記第１の領域において、前記第１の照明手段による照明の影響と前記第２の照明手段による照明の影響の照明比を算出し、
前記算出した照明比に応じて、前記第１の領域の色を補正することを特徴とする画像処理方法。
【請求項１４】
請求項１から１３のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１５】
請求項１４に記載の画像処理プログラムを搭載する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明手段により照明された被写体の画像を適切に補正する画像処理方法、画像処理プログラム、画像処理装置に関する。
【背景技術】
【０００２】
ストロボなど人工照明を用いたフラッシュ撮影をした場合、実際に撮影者が見ている被写体に当っている照明と異なる光源で照明された画像が撮影される為、撮影者が見ている色とは異なる色で再現される。例えば、暗い室内でフラッシュ光撮影をした場合、背景に比べフラッシュ光による光量の方が強い為、フラッシュ光に支配的な色に再現される。
【０００３】
例えば室内の照明が白熱電球の場合、色温度は約2800K程度であり、一方フラッシュ光の色温度は5500Kと高い。従って、撮影者に見えている光源はやや赤みを帯びた白熱電球色で照明された被写体であるのに、実際に撮影された画像では、フラッシュ光の当った主要被写体（人物等）は撮影者が実際に見ていた画像より青白い画像に再現される。
【０００４】
一方、フラッシュ光を使わずに撮影した場合は、白熱電球の色温度を反映して、暖かみの残るやや赤みの残った色に仕上がる。後者の暖かみのある写真の方が一般的に好まれ、暗くてぶれやすいと言う欠点が有るにも関わらずフラッシュ光を使用せずに撮影したり、ノイズを犠牲にしてフラッシュ光を使用せずISO感度を上げて撮影したりするユーザーもいる。従ってフラッシュ光を使用しても、フラッシュ光を使用しなかった場合と近い色再現への要望が強い。
【０００５】
この様に撮影に使用した照明と異なる照明下の画像の再現方法として、フラッシュ光を使用した画像と使用しない画像の２枚の画像を連続して撮影し、フラッシュ発光有無の２枚の画像を用いて補正する方法も提案されている（特許文献１）。この特許文献１によれば、フラッシュ発光有無の画像の差分をフラッシュ光のみによる照明画像として作成し、差分画像に色変換補正を行った後、フラッシュ無しの画像と合成して、所望の照明光で照明した画像を生成する。
【０００６】
【特許文献１】特開２００３−２９６７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、２枚の連続した画像を撮影した場合、どんなに短時間に連写を行っても、撮影者自身の手ぶれや被写体の動きによって、画像にぶれが生じる為、ぶれ補正を行う必要があった。また、背景光の中に点滅している光源が存在していたり、蛍光灯の様に背景光がある周波数でちらついていたりする場合には、連写した画像の差分が必ずしもフラッシュ発光による成分だけとは限らず、補正を間違える可能性もあった。更に、必ずフラッシュ発光有無の２枚の画像を必要とする為、２枚撮影を行っていない画像に付いては補正が出来ないと言う問題も有った。
【課題を解決するための手段】
【０００８】
請求項１の発明は、画像処理方法に適用され、被写体を第１の照明手段と第２の照明手段で照明して撮像された画像を取得し、取得した画像を第１の領域と第２の領域の少なくとも２つ以上の領域に分割し、分割した各領域の照明に関する情報を求め、求めた第１の領域および第２の領域の照明に関する情報に基づき、第１の領域の色を補正することを特徴とするものである。
請求項２の発明は、請求項１に記載の画像処理方法において、求めた第１の領域および第２の領域の照明に関する情報に基づき、第１の領域の色を、第２の領域の照明に関する情報に基づく照明で照明された色に補正することを特徴とするものである。
請求項３の発明は、請求項１に記載の画像処理方法において、求めた第１の領域および第２の領域の照明に関する情報に基づき、第１の領域の色を、第１の照明手段による照明と第２の照明手段による照明のいずれかあるいは混合照明で照明された色に補正することを特徴とするものである。
請求項４の発明は、請求項１から３のいずれかに記載の画像処理方法において、第１の照明手段は被写体を閃光照明するフラッシュ照明手段であり、第２の照明手段は被写体を周辺から照明する周囲照明手段であり、第１の領域は、フラッシュ照明手段により照明された主要被写体が存在する領域であり、第２の領域は、フラッシュ照明手段による照明の影響が主要被写体より小さい被写体が存在する領域であることを特徴とするものである。
請求項５の発明は、請求項１から４のいずれかに記載の画像処理方法において、領域の分割は、被写体までの距離によって分割することを特徴とするものである。
請求項６の発明は、請求項１から４のいずれかに記載の画像処理方法において、領域の分割は、画像の輝度分布に基づいて分割することを特徴とするものである。
請求項７の発明は、請求項１から６のいずれかに記載の画像処理方法において、補正は、第２の領域の照明下の白の色成分と第１の領域の照明下の白の色成分との比によって、第１の領域の各画素の色成分を変換することを特徴とするものである。
請求項８の発明は、請求項１から７のいずれかに記載の画像処理方法において、補正は、画像を撮像した撮像素子の分光特性に対応する色空間で行うことを特徴とするものである。
請求項９の発明は、請求項１から７のいずれかに記載の画像処理方法において、補正は、画像を撮像した撮像素子の分光特性に対応する色空間から所定の色空間に変換し、該色空間で、第２の領域の照明下の白の色成分と第１の領域の照明下の白の色成分との比による変換を行うことを特徴とするものである。
請求項１０の発明は、請求項１から６のいずれかに記載の画像処理方法において、予め照明の種類に対応して複数の補正パラメータを保持し、求めた第１の領域および第２の領域の照明に関する情報に応じて、予め記憶した複数の補正パラメータから最適な補正パラメータを選び、選んだ最適な補正パラメータにより補正を行うことを特徴とするものである。
請求項１１の発明は、請求項１０に記載の画像処理方法において、補正パラメータは、３×３のマトリックスの係数であり、画像を撮像した撮像素子から出力される色成分にマトリックスを演算することにより補正を行うことを特徴とするものである。
請求項１２の発明は、請求項１から１１のいずれかに記載の画像処理方法において、測光データに基づき、各領域の明るさを求め、求めた各領域の明るさに基づき、第１の領域の色を補正することを特徴とするものである。
請求項１３の発明は、請求項１２に記載の画像処理方法において、第１の領域において、第１の照明手段による照明の影響と第２の照明手段による照明の影響の照明比を算出し、算出した照明比に応じて、第１の領域の色を補正することを特徴とするものである。
請求項１４の発明は、画像処理プログラムに適用され、請求項１から１３のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラムとするものである。
請求項１５の発明は、画像処理装置に適用され、請求項１４に記載の画像処理プログラムを搭載する画像処理装置とするものである。
【発明の効果】
【０００９】
本発明は、以上説明した様な構成をしているので、照明手段により照明された被写体の１枚の画像を用いて、その照明手段の照明の影響を適宜補正することができる。
【発明を実施するための最良の形態】
【００１０】
−第１の実施の形態−
図１は、本発明の一実施の形態であるデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５、レンズ駆動部１０６、フラッシュユニット（ストロボ）１０７、測光部１０８などから構成される。
【００１１】
撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して以下で説明する画像処理を行い、画像処理後の画像データを適宜メモリ１０５に格納する。また、制御装置１０４は、レンズ駆動部１０６を介して撮影レンズ１０２を駆動し、被写体までの測距データを取得する。さらに、制御装置１０４は、測光部１０８を介して被写体輝度なの測光データを取得する。さらにまた、制御装置１０４は、フラッシュユニット１０７を駆動してフラッシュ（閃光照明、ストロボ）撮影を行う。なお、制御装置１０４が実行する画像処理プログラムは、不図示のＲＯＭに格納されている。
【００１２】
本実施の形態のデジタルカメラ１００では、撮像素子１０３により撮影（撮像）された画像（具体的には画像データ）に対して、フラッシュ撮影を行った場合でも、フラッシュを使用しなかったような趣のある状態の画像に適切に補正がなされる。
【００１３】
具体的には、画像をフラッシュにより照明される主要被写体領域とフラッシュが届きにくい背景領域とに分割し、それぞれの領域で照明に関する情報、すなわち照明光源を推定する。このようにして推定した各領域の照明光源に基づき、フラッシュ照明が支配的な主要被写体領域を、背景領域の照明光源により照明されたように色変換処理をする。
【００１４】
図２は、本実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【００１５】
ステップＳ１では、フラッシュユニット１０７を使用して撮影した画像を補正対象画像として読み込み、ステップＳ２に進む。
【００１６】
ステップＳ２では、撮影画像を複数の領域に分割する。ステップＳ３では、カメラの測距機能を用いて、分割した各領域の代表点（例えば中心）までの距離を算出する。領域分割は、簡単には図３の様にブロックで分割しても良いが、エッジ抽出を行った結果を用いて任意の形状に分割してもよい。例えば図４の様な構図では、被写体A、被写体Bとその他背景と言う様に、被写体毎に分割する方が望ましい。
【００１７】
次に、ステップＳ４では、主要被写体を認識する。主要被写体としては、ピントがあっている領域で、先のステップＳ３で算出した距離が近い、若しくは各領域内の平均輝度が高いなどの条件を基に領域を主要被写体の領域として認識する。図４の画像例では最も距離の近い人物A（図３の例では領域１３、１８、２３）にピントが有っており、人物Aを主要被写体と判断する。
【００１８】
次に、ステップＳ５では、フラッシュユニット１０７を使用しない場合にカメラで計算される適正露出条件（ISO感度S1、FナンバーF1、シャッター速度T1）と、フラッシュユニット１０７を使用したときにカメラで計算される適正露出条件（ISO感度S2、FナンバーF2、シャッター速度T2）から、フラッシュユニット１０７使用時の主要被写体（ストロボ光と周囲照明光の混合照明下）の明るさL2と、ストロボ未使用時の主要被写体（周囲照明下）の明るさL1を次式より算出する。但しKは定数。なお、上記適正露出条件とは、主要被写体を撮影するための適正露出条件である。また、適正露出条件は、測光部１０８で測光される測光データに基づいて算出される。
【数１】
2008131579.tif 000003
【００１９】
図５は、フラッシュユニット１０７を使用しない場合と使用した場合の露出条件とそれぞれの被写体の明るさの関係を示す表である。
【００２０】
ステップＳ６では、フラッシュ光のみによる被写体Aの明るさを次式より算出する。
【数２】
2008131579.tif 000004
【００２１】
ステップＳ７では、フラッシュ光の影響が最も弱いと推定される領域（被写体B）を選択する。領域分割が主要被写体とそれ以外の２分割の場合は、被写体A以外を選択することになるが、領域を３つ以上に分割している場合は、各領域までの距離が長い、画像面内に於ける光軸から被写体までの距離（像高）が長い、平均輝度が低いなどを条件として決定し、ステップＳ８に進む。
【００２２】
次にステップＳ８では、フラッシュユニット１０７から光軸上の距離aにいる被写体Aに対し、フラッシュユニット１０７から光軸上の距離bにいる被写体Bのフラッシュユニット１０７による明るさLb（単位面積辺りに入射する光線束）を、以下の手順で算出する。図６は、この算出を説明する図である。デジタルカメラ１００およびフラッシュユニット１０７を主要被写体Aに向けて撮影している場合、フラッシュユニット１０７と主要被写体のなす角度はほぼ垂直と考えられるが、背景にいる被写体Bはフラッシュユニット１０７に対して角度θをなしている場合を考える。撮影レンズが、距離aの被写体に合焦しており、焦点距離がfの時、撮像面で像高yにある被写体が光軸となす角θ’は、次式で求められる。
【数３】
2008131579.tif 000005
【００２３】
正確には光軸とフラッシュユニット１０７の位置がずれているのでその距離を考慮しても良いが、被写体までの距離が光軸とフラッシュユニット１０７のずれに対して長ければθ≒θ’と考えられる。また歪曲収差の影響が大きい場合は、歪曲収差を考慮して算出する。
【００２４】
次に、図６を参考に、被写体Bに於けるフラッシュ光による明るさを算出する。フラッシュユニット１０７の単位面積dAから角度θの方向に立体角Ωで放射する光束ｄφ'は、輝度Bとして
【数４】
2008131579.tif 000006
で与えられる。一方、立体角Ωが距離aの位置に作る面積は、入射方向に対して垂直の場合をSとすると、角度θの方向に作る面積S'は、
【数５】
2008131579.tif 000007
となる。また立体角Ωの作る面積は、距離の２乗に比例する為、距離bの位置に作る面積S"は、
【数６】
2008131579.tif 000008
と表される。式(4)〜(6)より、角度θの方向に、光軸上の距離b（θの方向の距離はb/cosθ）の位置にある被写体Bに照射される単位面積辺りの光束は、
【数７】
2008131579.tif 000009
と表すことができる。一方、フラッシュユニット１０７と垂直方向に距離aの位置にある被写体Aに照射される単位面積辺りの光束は次式で表される。
【数８】
2008131579.tif 000010
式(7),(8)より、被写体Bに於けるフラッシュ光による明るさは、
【数９】
2008131579.tif 000011
と算出できる。
【００２５】
一方、周囲照明による明るさはL1とほぼ等しい。従って、フラッシュ有りで撮影した画像中の被写体A, Bに於ける周囲照明とフラッシュによる明るさは、図７の様に表される。
【００２６】
次にステップＳ９では、通常のオートホワイトバランス(AWB)の方法で、フラッシュ有りで撮影した画像中の主要被写体Aと背景の被写体Bの照明光源を推定する。主要被写体Aを照明している光源下の白に対するホワイトバランス前のカメラRGBの応答を(Rwa,Gwa,Bwa)とする。背景被写体Bを照明している光源下の白に対するホワイトバランス前のカメラRGBの応答を(Rwb,Gwb,Bwb)とする。
【００２７】
ステップＳ１０では、ステップＳ９で算出した夫々の領域の照明光源に対する白の応答と、ステップＳ５、Ｓ６で算出した周囲照明とフラッシュ光による照明の夫々の領域に於ける寄与分から、周囲照明に対する白の応答(Rws,Gws,Bws)を次のようにして算出する。
【００２８】
(Rwa,Gwa,Bwa)、(Rwb,Gwb,Bwb)は、(Rws,Gws,Bws)及びフラッシュ光照明のみによる白の応答(Rwf,Gwf,Bwf)を用いて以下の様に表すことができる。
【数１０】
2008131579.tif 000012
【数１１】
2008131579.tif 000013
【００２９】
この２式からRwfを消去してRwsを求めると次式のようになる。
【数１２】
2008131579.tif 000014
(12)式同様、Gws,Bwsも算出する。
【００３０】
ステップＳ１１では、距離aにいる被写体Aの各画素の色成分(Ra,Ga,Ba)を、周囲照明のみで照明された場合の色に変換するマトリックスを算出する（次式参照）。ステップＳ１２では、ステップＳ１１で求めたマトリックスを使用して、次式により被写体Aの各画素について色変換を行う。
【数１３】
2008131579.tif 000015
【００３１】
ステップＳ１３では、上記色変換を領域内全画素について行ったかどうかを判断する。行っていない場合はステップＳ１２に戻り処理を繰り返し、行った場合はステップＳ１４に進む。ステップＳ１４では、全ての領域について変換処理が完了したかどうかを判断する。完了していないと判断する場合は、ステップＳ１５に進み、完了していると判断する場合は処理を終了する。終了時、色変換後の画像を出力する。
【００３２】
ステップＳ１５では、色変換を行っていない領域k（Nを画像領域分割数として、k=0,1,…,N-1）について同様に、その領域の照明光源に対する白の応答(Rwk,Gwk,Bwk)を算出する。次に、ステップＳ１１に戻り処理を繰り返す。領域kの色変換は、上式と同様に、(Rws,Gws,Bws)との比を対角成分に持つ以下のマトリックスで色変換する。
【数１４】
2008131579.tif 000016
【００３３】
以上のように構成された第1の実施の形態のデジタルカメラ１００では、次のような作用効果を奏する。
（１）主要被写体に対してフラッシュ撮影をして撮像した１枚の画像において、フラッシュ光が支配的な主要被写体領域とフラッシュ光が届かない周囲照明が支配的な背景被写体領域とに分割し、各領域の照明光源（照明に対する白の応答）を推定しているので、主要被写体領域の色を、フラッシュ光照明を使用しなかった色合いの画像、すなわち周囲照明により照明された色の画像に簡単に補正（変換）することができる。
【００３４】
（２）カメラの測距機能を使用して領域分割を行っているので、画像の分割のために新たな機能を追加する必要が無い。
【００３５】
（３）背景被写体領域の照明下の白の色成分と主要被写体領域の照明下の白の色成分との比によって、主要被写体領域の各画素の色成分を変換しているので、簡単な処理で適切に背景被写体領域の照明下の色に変換することができる。
【００３６】
（第１の実施の形態の変形例１）
使用したレンズがレンズの焦点距離fに対し、そのレンズの最短撮影距離aminは、f≪amin(≦a)であり、又、広角レンズではない画像の場合、即ち、式(3)に於いて最大像高ymaxが、(1/f-1/a)-1≫ymaxとなる場合、θ≒θ'≒0とみなすことができる。この場合、cosθ≒1と近似でき、式(12)の計算を以下の様に簡略化できる。
【数１５】
2008131579.tif 000017
【００３７】
（第１の実施の形態の変形例２）
図８は、第１の実施の形態の変形例２のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。被写体Bまでの距離が被写体Aまでの距離より遥かに遠い場合（b≫a）や背景照明輝度がフラッシュ光照射時の輝度に対して十分低い場合（L1≫L2）、式(12)は
【数１６】
2008131579.tif 000018
と簡略化できる。この場合、第１の実施の形態の図２のステップＳ５、６、８、１０((1)〜(12)式の計算)や領域Bの色変換を省略することができ、図８のようなフローとなる。
【００３８】
（第１の実施の形態の変形例３）
上記では、周囲照明のみで照明された場合の色に変換する例を示した。しかし、周囲照明とフラッシュ照明を適度にミックスした照明で照明されたとして色変換することも可能である。この場合、周囲照明による白の応答を(Rws,Gws,Bws)、フラッシュのみによる白の応答を(Rwf,Gwf,Bwf)とすると、次式のようにして求めることができる。mは、0-1の範囲で任意に設定することができる。
Rw,mix=m*Rwf+(1-m)Rws
Gw,mix=m*Gwf+(1-m)Gws
Bw,mix=m*Bwf+(1-m)Bws
【数１７】
2008131579.tif 000019
【００３９】
被写体Bの場合も同様である。このようにすることにより、任意な作風を可能とすることができる。上記において、m=0の場合は周囲照明のみとなり、m=1の場合はフラッシュ照明のみとなり、0<m<1の場合はフラッシュ照明と周囲照明の混合照明となる。
【００４０】
−第２の実施の形態−
第１の実施の形態では、分割した領域を距離により特徴づけて色変換を行ったが、第２の実施の形態では、各領域内の平均輝度から推定する。輝度のヒストグラムを取ると、フラッシュが当った領域は全体的に平均輝度が高く、フラッシュが当らなかった背景領域は光量不足の為平均輝度が低く、領域内の平均輝度から照明光源の違いを推定することが可能である。
【００４１】
各画素の輝度だけで判定すると、被写体の反射率が元々低い場合と、照明輝度が低い場合の判定が難しいので、輝度で判定する場合には領域分割を大きめに行い、その領域内の平均輝度で判定する方が望ましい。また領域分割の輝度の閾値は、輝度ヒストグラムを取り、その谷の輝度値を閾値Y0に設定する（図１０）。各領域の平均輝度>Y0の領域を被写体Aとし、それ以外の領域を背景の被写体Bとする。後の処理は第１の実施の形態と同様に処理する。
【００４２】
第２の実施の形態のデジタルカメラは、第１の実施の形態のデジタルカメラ１００と同様であるので、第１の実施の形態の図１を参照することとし、その説明を省略する。図９は、本実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。第１の実施の形態の図２のフローと同様なステップには同一ステップ番号を付している。
【００４３】
ステップＳ１では、フラッシュユニット１０７を使用して撮影した画像を補正対象画像として読み込む。ステップＳ３１では、各画素の輝度分布ヒストグラムを作成する。図１０は、取得した画像の輝度分布ヒストグラムの一例を示す図である。ステップＳ３２では、輝度閾値Y0を決定する。輝度閾値Y0は、前述した通り、輝度分布の谷の輝度値を輝度閾値Y0に設定する。
【００４４】
ステップＳ３３では、画像を複数の領域に分割する。ここでの分割は、画像を機械的に所定の画素範囲ごとに分割する。ステップＳ３４では、分割した各領域の平均輝度Ymを算出する。次に、ステップＳ３５〜Ｓ３８で、ステップＳ３３で分割した各領域を被写体Aの領域（領域A）と被写体Bの領域（領域B）に分割する。
【００４５】
先ず、ステップＳ３５では、分割されたある１つの領域の平均輝度Ymが、輝度閾値Y0より大きいかどうかを判定する。大きいと判定された場合はステップＳ３６に進み、その領域は被写体Aに分類され、大きくないと判定されるとステップＳ３７に進み、その領域は被写体Bに分類される。ステップＳ３８では、すべての領域について判定が完了したかどうかを判断し、まだ完了していない場合はステップＳ３５に戻り、順次次の領域を選択して処理を繰り返す。
【００４６】
すべての領域の判定が完了した場合は、被写体A,Bの分割が完了しステップＳ９に進む。ステップＳ９以降の処理は、第１の実施の形態の変形例２の図８と同様であるので説明を省略する。
【００４７】
以上のように、撮像された画像を輝度により分割しても、第１の実施の形態と同様に、主要被写体領域の色を、フラッシュを使用しなかったような色合いの画像、すなわち周囲照明により照明された色の画像に簡単に補正（変換）することができる。
【００４８】
−第３の実施の形態−
第３の実施の形態のデジタルカメラは、第１の実施の形態のデジタルカメラ１００と同様であるので、第１の実施の形態の図１を参照することとし、その説明を省略する。図１１は、本実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。第１の実施の形態の図２のフローと同様なステップには同一ステップ番号を付している。
【００４９】
第１、２の実施の形態では、カメラRGBに於ける白の応答の比で色変換を行ったが、第３の実施の形態では、カメラRGBから照明色変更に最適な色空間にて白の応答の比をとるマトリックスを作成する。
【００５０】
具体的には、予めカメラの分光感度から光源を変えた場合の色変換で最適な色空間を求めておく。この色空間への３×３の変換マトリックスをMとする。図１１において、ステップＳ１〜Ｓ１０は、第１の実施の形態と同様である。ステップＳ４２では、変換マトリックスMを使用して、色変換マトリックスMを次のように算出する。
【００５１】
ある領域の照明光源に対する白の応答が(Rwa,Gwa,Bwa)の照明下の各画素の色成分(Ra,Ga,Ba)から、白の応答が(Rws,Gws,Bws)で表される周囲照明下の各画素の色成分(Rs,Gs,Bs)への色変換は、式(19)の様に表される。
【数１８】
2008131579.tif 000020
但し、
【数１９】
2008131579.tif 000021
【数２０】
2008131579.tif 000022
とする。
【００５２】
従って、ステップＳ４２で求めるマトリックスM’は、
【数２１】
2008131579.tif 000023
【数２２】
2008131579.tif 000024
となる。
【００５３】
ステップＳ４３では、
【数２３】
2008131579.tif 000025
に従い、各画素の色変換を行う。その後は、第１の実施の形態と同様に、他の領域に付いても色変換を行う（ステップＳ１３、Ｓ１４、Ｓ１５、Ｓ４２〜Ｓ４３）。
【００５４】
次に、変換マトリックスMの決定方法を図１２に従って説明する。照明Xの照明下で多数の色票（N色）を撮影して得られた色成分データ(Rai,Gai,Bai)(i=0,1,...,N-1)を用意し（ステップＳ１０１）、照明Xとは別の照明Y下で同じ色票を照明以外同じ撮影条件で撮影して得られた色成分データ(Rsi',Gsi',Bsi')(i=0,1,...,N-1)を用意する（ステップＳ１０２）。(Rai,Gai,Bai)(i=0,1,...,N-1)を式(24)で変換して得られる色成分データ(Rsi,Gsi,Bsi)(i=0,1,...,N-1) （ステップＳ１０３）、と(Rsi',Gsi',Bsi')(i=0,1,...,N-1)の色差（N色の平均）ΔEが最小になる様、Mの９個の成分を最適化する。
【数２４】
2008131579.tif 000026
但し、照明X下の白に対する色成分データ(Rwa,Gwa,Bwa)、照明Y下の白に対する色成分データ(Rws',Gws',Bws')であり、
【数２５】
2008131579.tif 000027
【数２６】
2008131579.tif 000028
【数２７】
2008131579.tif 000029
【００５５】
尚、ΔE の評価（ステップＳ１０８）は、(Rsi,Gsi,Bsi)および(Rsi',Gsi',Bsi')をXYZ空間に変換し（ステップＳ１０４、Ｓ１０５）、さらにCIE LAB空間に変換してから（ステップＳ１０６、Ｓ１０７）、行われる。MRGB→XYZはカメラの分光感度に依存した色空間から測色値XYZへの変換マトリックスで、予めカメラの分光感度から算出されているものである。また(Xws',Yws',Zws')は照明Yの白色点である。
【００５６】
以上のように構成された第３の実施の形態のデジタルカメラ１００では、次のような作用効果を奏する。
（１）カメラの分光感度に依存した色空間から照明色変更に最適な色空間に変換してから処理を行うので、白以外の色も精度高く適切に色変換される。すなわち、主要被写体領域の色を、フラッシュを使用しなかったような色合いの画像、すなわち周囲照明により照明された色の画像に、簡単にしかも精度高く補正（変換）することができる。
【００５７】
−第４の実施の形態−
第４の実施の形態のデジタルカメラは、第１の実施の形態のデジタルカメラ１００と同様であるので、第１の実施の形態の図１を参照することとし、その説明を省略する。図１３は、本実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。第１の実施の形態の図２のフローと同様なステップには同一ステップ番号を付している。
【００５８】
第１〜３の実施の形態では、カメラの分光感度に依存した色空間、若しくは照明色変換に最適な色空間にて白の応答の比をとる処理を行っていた。第４の実施の形態では、白の応答の比を取るのではなく、異なる色温度の組み合わせ毎に、色温度１照明下のカメラの色成分データRGB１→色温度２照明下のカメラの色成分データRGB２への最適な色変換マトリックスMoptを想定される組み合わせについて複数記憶しておき、主要被写体の照明（フラッシュと背景照明の混合照明）、及び、背景照明の色温度を推定した後、照明条件に適切なマトリックスMoptを読み出して照明色変換を行う。
【００５９】
各領域の照明色を変換したい場合は、主にフラッシュの影響の強い照明下の色から、背景照明として2500K〜10000Kの色温度の照明下の色に変換する場合を想定しておけばよい。そこで2500Kから10000Kまで500Kおきに３×３の変換マトリックスMoptの９つの係数を予め算出し、デジタルカメラ１００などの画像処理装置内に記憶しておく。
【００６０】
図１３において、ステップＳ１〜Ｓ１０は、第１の実施の形態と同様である。ステップＳ６１では、記憶している複数の変換マトリックスMoptから適切な変換マトリックスMoptを選択して読み出す。適切な変換マトリックスMoptを選択する場合、ステップＳ９において推定したフラッシュ有りで撮影した画像中の主要被写体Aにおける照明光源の情報とステップＳ１０において算出した周囲照明光源の情報を使用する。すなわち、これらの照明光源の色温度の組み合わせに相当する適切な変換マトリックスMoptをメモリから選択して読み出す。
【００６１】
背景照明の色温度が、予め変換データを記憶している色温度と一致する条件がない場合は、近い条件のデータから補間して撮影条件に適した３×３の変換マトリックスMoptを決定する。
【００６２】
ステップＳ６２では、読み出したマトリックスMopt、若しくは補間により求めたマトリックスMoptを用いて、次式に従って各画素の色変換を行う。
【数２８】
2008131579.tif 000030
【００６３】
対象領域の全画素に付いて色変換が終了したら（ステップＳ１３）、他の領域に付いても同様に照明色の推定を行い（ステップＳ１５）、最適な変換マトリックスMoptを決定し（ステップＳ６１）、色変換を行う（ステップＳ６２）。画像中の全領域について色変換を終了したら（ステップＳ１４）、変換結果の画像を出力して終了する。
【００６４】
次に、予め作成しておく変換マトリックスMoptの決定方法を図１４に従って説明する。照明Xの照明下で多数の色票（N色）を撮影して得られた色成分データ(Rai,Gai,Bai)(i=0,1,...,N-1)を用意し（ステップＳ２０１）、照明Xとは別の照明Y下で同じ色票を照明以外同じ撮影条件で撮影して得られた色成分データ(Rsi',Gsi',Bsi')(i=0,1,...,N-1)を用意する（ステップＳ２０２）。(Rai,Gai,Bai)(i=0,1,...,N-1)を式(28)で変換して得られる色成分データ(Rsi,Gsi,Bsi)(i=0,1,...,N-1) （ステップＳ２０３）と(Rsi',Gsi',Bsi')(i=0,1,...,N-1)の色差（N色の平均）ΔEが最小になる様、Moptの９個の成分を最適化する。
【００６５】
尚、ΔE の評価（ステップＳ２０８）は、第３の実施の形態と同様に、(Rsi,Gsi,Bsi)および(Rsi',Gsi',Bsi')をXYZ空間に変換し（ステップＳ２０４、Ｓ２０５）、さらにCIE LAB空間に変換してから（ステップＳ２０６、Ｓ２０７）、行われる。MRGB→XYZはカメラの分光感度に依存する色空間から測色値XYZへの変換マトリックスで、予めカメラの分光感度から算出されているものである。また(Xws',Yws',Zws')は照明Yの白色点である。
【００６６】
以上のように構成された第４の実施の形態のデジタルカメラ１００では、次のような作用効果を奏する。
（１）予め複数の変換マトリックスMoptを作成しておくので、変換マトリックスを作成する処理が不要となり、処理が軽くなり迅速となる。
−その他の変形例−
尚、上記の例では、領域分割を被写体毎に分割しているが、図３の様にブロック分割している場合、ブロックの境界でブロック歪みを生じる。従って色変換の異なる領域の境界では、例えば１００画素程度ずつを境界領域として、隣接する領域の色変換で算出される色成分と当該領域の色変換で算出される色成分を用いて補間することにより、色変換が滑らかに変化するよう補正する。
【００６７】
また境界のみで複数の色変換の違いを補間するのではなく、各領域毎に代表点に於ける白色点を決定し、画像面内で２次元白色点分布関数を近似し色変換を行っても良い。
【００６８】
また、上記実施の形態では、デジタルカメラ１００で処理する例を説明した。しかし、デジタルカメラ１００で処理する上記説明したプログラムを、パーソナルコンピュータで処理させるようにしてもよい。この場合は、画像データファイルに、フラッシュユニットの発光の有無、各領域毎の測距データ、測光データ、焦点距離ｆなどの情報が含まれているものとする。
【００６９】
図１５は、パーソナルコンピュータで処理する場合を示す図である。パーソナルコンピュータ２０１は、デジタルカメラ２０２、ＣＤ−ＲＯＭなどの記録媒体２０３、他のコンピュータ２０４などと接続され、処理対象の画像データの提供を受ける。パーソナルコンピュータ２０１は、提供された画像データに対して、上記説明した画像処理を行う。コンピュータ２０４は、インターネットやその他の電気通信回線２０５を経由して接続される。
【００７０】
パーソナルコンピュータ２０１が画像処理のために実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ２０１内にインストールされる。パーソナルコンピュータ２０１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。
【００７１】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施の形態であるデジタルカメラ１００の構成を示す図である。
【図２】第１の実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【図３】画像をブロックで分割する例を示す図である。
【図４】画像を被写体毎に分割する例を示す図である。
【図５】フラッシュユニット１０７を使用しない場合と使用した場合の露出条件とそれぞれの被写体の明るさの関係を示す表である。
【図６】被写体Bのフラッシュユニット１０７による明るさLbの算出を説明する図である。
【図７】フラッシュ有りで撮影した画像中の被写体A, Bに於ける周囲照明とフラッシュによる明るさを示す表である。
【図８】第１の実施の形態の変形例２のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【図９】第２の実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【図１０】取得した画像の輝度分布ヒストグラムの一例を示す図である。
【図１１】第３の実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【図１２】変換マトリックスMの決定方法を説明する図である。
【図１３】第４の実施の形態のデジタルカメラ１００の制御装置１０４が実行する画像処理プログラムのフローチャートを示す図である。
【図１４】変換マトリックスMoptの決定方法を説明する図である。
【図１５】パーソナルコンピュータで処理する場合を示す図である。
【符号の説明】
【００７３】
１００  デジタルカメラ
１０１  被写体
１０２  撮影レンズ
１０３  撮像素子
１０４  制御装置
１０５  メモリ
１０６  レンズ駆動部
１０７  フラッシュユニット
【図１】
2008131579.tif 000031
【図２】
2008131579.tif 000032
【図３】
2008131579.tif 000033
【図４】
2008131579.tif 000034
【図５】
2008131579.tif 000035
【図６】
2008131579.tif 000036
【図７】
2008131579.tif 000037
【図８】
2008131579.tif 000038
【図９】
2008131579.tif 000039
【図１０】
2008131579.tif 000040
【図１１】
2008131579.tif 000041
【図１２】
2008131579.tif 000042
【図１３】
2008131579.tif 000043
【図１４】
2008131579.tif 000044
【図１５】
2008131579.tif 000045