(57)【要約】【課題】多バンド画像データを用いて、より正確に被写体を照明する光源の色温度を推定可能にする画像処理装置の提供。【解決手段】Ｎ種類（３＜Ｎ）の色のフィルタを有するイメージセンサで撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置１０である。Ｎ種類の色の画像データを入力する手段１１と、入力したＮ種類の色のうちＭ種類（３≦Ｍ＜Ｎ又は３＜Ｍ≦Ｎ）の色の画像データから、光源の第１の色温度を推定する手段１２と、入力したＮ種類の色のうち光源の第１の色温度の推定に用いるＭ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ又は３＜Ｐ≦Ｎ）の色の画像データから、光源の第２の色温度を推定する手段１３と、手段１２が推定した光源の第１の色温度と手段１３が推定した光源の第２の色温度とに基づき光源の最終的な色温度を決定する手段１４とを有する。【選択図】図４
2015041805.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置であって、
前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段と、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段と、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段と、
前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記光源色温度決定手段が、所定の条件に従い、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度のいずれか一方を選択することによって、前記光源の色温度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記光源色温度決定手段が、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とをパラメータとし、それぞれのパラメータに対し所定の重み付けに基づく演算を行なうことによって、前記光源の色温度を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いるＭ種類の色と、前記第２の光源色温度推定手段が前記光源の第２の色温度の推定に用いるＰ種類の色の一部の色が同じであることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
さらに、前記多バンド画像データ入力手段によって入力された多バンド画像データの画像領域を複数のブロックに分割する多バンド画像領域分割手段を有し、
前記多バンド画像領域分割手段によって分割されたそれぞれのブロックに対して、前記第１の光源色温度推定手段による前記光源の第１の色温度の推定、前記第２の光源色温度推定手段による前記光源の第２の色温度の推定、前記光源色温度決定手段による前記光源の色温度の決定をするようにしたことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理方法であって、
前記Ｎ種類の色の画像データを入力し、
入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定し、
入力した前記Ｎ種類の色のうち、前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定し、
推定した前記光源の第１の色温度と、前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定することを特徴とする画像処理方法。
【請求項７】
所定の条件に従い、推定した前記光源の第１の色温度と、推定した前記光源の第２の色温度のいずれか一方を選択することによって、前記光源の色温度を決定することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
推定した前記光源の第１の色温度と、推定した前記光源の第２の色温度とをパラメータとし、それぞれのパラメータに対し所定の重み付けに基づく演算を行なうことによって、前記光源の色温度を決定することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記光源の第１の色温度の推定に用いるＭ種類の色と、前記光源の第２の色温度の推定に用いるＰ種類の色の一部の色が同じであることを特徴とする請求項６〜８のいずれかに記載の画像処理方法。
【請求項１０】
前記Ｎ種類の色の画像データを入力した後、入力された多バンド画像データの画像領域を複数のブロックに分け、
それぞれのブロックに対して、前記光源の第１の色温度の推定、前記光源の第２の色温度の推定、前記光源の色温度の決定を順に行うことを特徴とする請求項６〜９のいずれかに記載の画像処理方法。
【請求項１１】
Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置に備わるコンピュータであって、
前記コンピュータを、
前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、
前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段
として機能させるための画像処理プログラムを記録したコンピュータ。
【請求項１２】
前記光源色温度決定手段が、所定の条件に従い、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度のいずれか一方を選択することによって、前記光源の色温度を決定することを特徴とする請求項１１に記載の画像処理プログラムを記録したコンピュータ。
【請求項１３】
前記光源色温度決定手段が、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とをパラメータとし、それぞれのパラメータに対し所定の重み付けに基づく演算を行なうことによって、前記光源の色温度を決定することを特徴とする請求項１１に記載の画像処理プログラムを記録したコンピュータ。
【請求項１４】
前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いるＭ種類の色と、前記第２の光源色温度推定手段が前記光源の第２の色温度の推定に用いるＰ種類の色の一部の色が同じであることを特徴とする請求項１１〜１３のいずれかに記載の画像処理プログラムを記録したコンピュータ。
【請求項１５】
前記画像処理プログラムが、前記コンピュータを、さらに、前記多バンド画像データ入力手段によって入力された多バンド画像データの画像領域を複数のブロックに分割する多バンド画像領域分割手段として機能させ、
前記多バンド画像領域分割手段によって分割されたそれぞれのブロックに対して、前記第１の光源色温度推定手段による前記光源の第１の色温度の推定、前記第２の光源色温度推定手段による前記光源の第２の色温度の推定、前記光源色温度決定手段による前記光源の色温度の決定をするようにしたことを特徴とする請求項１１〜１４のいずれかに記載の画像処理プログラムを記録したコンピュータ。
【請求項１６】
Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置に備わるコンピュータが読み取り可能な画像処理プログラムであって、
前記コンピュータを、
前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、
前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、
前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段
として機能させるための画像処理プログラム。
【請求項１７】
前記光源色温度決定手段が、所定の条件に従い、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度のいずれか一方を選択することによって、前記光源の色温度を決定することを特徴とする請求項１６に記載の画像処理プログラム。
【請求項１８】
前記光源色温度決定手段が、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とをパラメータとし、それぞれのパラメータに対し所定の重み付けに基づく演算を行なうことによって、前記光源の色温度を決定することを特徴とする請求項１６に記載の画像処理プログラム。
【請求項１９】
前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いるＭ種類の色と、前記第２の光源色温度推定手段が前記光源の第２の色温度の推定に用いるＰ種類の色の一部の色が同じであることを特徴とする請求項１６〜１８のいずれかに記載の画像処理プログラム。
【請求項２０】
前記画像処理プログラムが、前記コンピュータを、さらに、前記多バンド画像データ入力手段によって入力された多バンド画像データの画像領域を複数のブロックに分割する多バンド画像領域分割手段として機能させ、
前記多バンド画像領域分割手段によって分割されたそれぞれのブロックに対して、前記第１の光源色温度推定手段による前記光源の第１の色温度の推定、前記第２の光源色温度推定手段による前記光源の第２の色温度の推定、前記光源色温度決定手段による前記光源の色温度の決定をするようにしたことを特徴とする請求項１６〜１９のいずれかに記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、従来のＲＧＢ３原色のカラーフィルタよりも色数が多いカラーフィルタを備える多バンドデジタルカメラで撮影される被写体の多バンド画像データから、被写体を照明する光源の色温度を、より正確に推定する画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータに関する。
【背景技術】
【０００２】
従来のＲＧＢ３原色のカラーフィルタを備えるデジタルカメラでは、専用の光源検出センサに代わり、撮影された３バンドの画像データから、被写体を照明する光源の色温度を推定する技術が一般的になっている。
【０００３】
ＲＧＢ３原色画像データから被写体を照射する光源の色温度を推定する方法としては、例えば、特許文献１に、その一例が開示されている。
【０００４】
また、近年、被写体の色再現性を向上させるために、３バンドよりも多い複数種類の色のカラーフィルタを用いる多バンドデジタルカメラの研究開発が行われている。色再現性を向上させるためには、撮影された多バンドの画像データから、被写体を照明する光源の色温度をより正確に推定する必要がある。
【０００５】
多バンドの画像データから被写体を照明する光源の色温度を推定する方法としては、例えば、特許文献２に、６種類の色のカラーフィルタを用いて被写体の多バンド画像データを取得し、その６原色の画像データを色数削減処理によって３原色の画像データに変換した後、その３原色の画像データを用いて、被写体を照明する光源の色温度を推定する方法が開示されている。
【０００６】
詳しくは、特許文献２には、撮影された６種類の色の画像データを３種類の色に色数を削減する方法として、６種類の色のうち、分光感度が近い２種類の色をそれぞれ加算平均する方法や、単純に６種類の色のうち、最も一般的なＲＧＢに近い分光感度を持つ３種類の色をそのまま用いる方法が開示されている。
なお、色数削減処理により得られた３種類の色の画像データを用いて被写体を照明する光源の色温度を推定する方法としては、従来のＲＧＢ３原色による被写体を照明する光源の色温度を推定するためのアルゴリズムを用いることが記載されている。
【０００７】
ここで、従来、一般的に用いられているＲＧＢ３原色の画像データから、被写体を照明する光源の色温度を推定する基本的な方法の一例を説明する。
【０００８】
なお、光源の色温度の推定に先立ち、例えば、被写体を撮影したときのイメージセンサが出力した撮像データ（ＲＡＷデータ）をダウンサンプリングすることによって、例えば４０×３０画素のＲ、Ｇ、Ｂ画像データを取得する。
例えば４０００×３０００画素のＲＧＢベイヤー配列のＲＡＷデータに対して、縦横１００×１００画素のブロックに分け、それぞれの縦横１００×１００画素のブロックにおけるＲ、Ｇ、Ｂそれぞれの画素の平均値を求め、それぞれのブロック（縦横１００×１００画素）を１画素とすることで、ダウンサンプリングした４０×３０画素のＲ、Ｇ、Ｂ画像データが得られる。なお、得られた４０×３０画素のＲ、Ｇ、Ｂ画素データは、イメージセンサにおける図示しない記録部に記録される。記録部に記録された４０×３０画素のＲ、Ｇ、Ｂ画素データを入力することで取り出すことができる。
【０００９】
光源の色温度の推定に際しては、まず、ダウンサンプリングして取得したＲ，Ｇ，Ｂ画像データにおける全ての画素に対して、それぞれの色度値（Ｒ／Ｇ,Ｂ／Ｇ）を求める。
次に、求めた各画素の色度値を、例えば、図１に示す（Ｒ／Ｇ，Ｂ／Ｇ）色度図上にプロットする。
次に、予め設定しておいた、例えば、図１に示すような、色度図上での各種の光源の色温度エリア判定基準に従い、プロットした全ての点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。
次に、集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表１に示すような条件に従い、被写体を照明する光源の色温度を推定する。
【００１０】
【表１】
2015041805.tif 000003
【００１１】
なお、図２に示すように、例えば、手前を照明する光源が蛍光灯であって、奥を照明する光源が水銀灯であるような、画面内における異なる位置に異なる複数種類の光源が存在する被写体画像においては、手前も奥も違和感のない色再現を実現するためには、画面内の領域に応じて被写体を照明する光源の色温度を検出する必要がある。
その場合、図３に示すように、被写体の画面内を複数のブロックに分け、それぞれのブロックに対して、上述した従来の一般的なＲＧＢ３原色画像データから被写体を照明する光源の色温度の推定方法を使えば、それぞれのブロックにおける被写体を照明する光源の色温度を推定することは可能である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−３０６３２０号公報
【特許文献２】特開２０１１−４２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、上記特許文献２に記載されている多バンド画像データから被写体を照明する光源の色温度を推定する方法では、６原色（Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２）から３原色（Ｒ、Ｇ、Ｂ）に減色処理する一つの方法として、例えば（Ｒ１＋Ｒ２）／２＝Ｒ、（Ｇ１＋Ｇ２）／２＝Ｇ、（Ｂ１＋Ｂ２）／２＝Ｂのように、分光感度が近い２種類の色をそれぞれ加算平均している。
しかし、このような加算平均による減色処理によって新たに得られたＲＧＢ３色の画像データは、本来の６種類の色のうちの２種類の色の混色となり、それぞれの色に対応する分光感度が、本来の色に比べてブロードな分布となる。このブロードなＲＧＢ３色の画像データを用いて被写体を照明する光源の色温度を推定すると、従来の一般的な３原色を用いて被写体を照明する光源の色温度を推定する方法よりも、光源の色温度の推定精度が劣る可能性がある。
【００１４】
また、上記特許文献２に記載されている方法では、６原色（Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２）から３原色（Ｒ、Ｇ、Ｂ）に減色処理する他の方法として、混色せずに、単純に６種類の色のうち「一般的な３原色」に最も近い分光感度を持つ３種類の色の画像データをそのまま用いて被写体を照明する光源の色温度を推定している。
しかし、６種類の色のうち３種類の色の画像データをそのまま用いて被写体を照明する光源の色温度を推定する方法では、従来の一般的な３原色を用いて被写体を照明する光源の色温度を推定する方法と同等の光源の色温度の推定精度しか確保できず、多バンド撮影によるメリットが全く生かされないという問題がある。
【００１５】
また、被写体の画面内を複数のブロックに分けて、それぞれのブロックにおける被写体を照明する光源の色温度を推定するようにすると、色温度の推定に用いる画素の数、即ち色温度推定のサンプルポイントの数が少なくなる。このため、画面内における異なる位置に異なる複数種類の光源が存在する被写体画像において、画面内のブロックごとに従来の一般的な３原色を用いる光源の色温度を推定する方法や上記特許文献２に記載の光源の色温度を推定する方法を用いると、それぞれのブロックにおける被写体を照明する光源の色温度の推定精度が低下するという問題がある。
【００１６】
本発明は、上記従来の課題を解決するために提案されたものであり、多バンドデジタルカメラで撮影された被写体の多バンド画像データを用いて、より正確に被写体を照明する光源の色温度を推定することを可能にする画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータを提供することを目的としている。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明による画像処理装置は、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置であって、前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段と、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段と、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段と、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段とを有することを特徴としている。
【００１８】
また、本発明による画像処理方法は、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理方法であって、前記Ｎ種類の色の画像データを入力し、入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定し、入力した前記Ｎ種類の色のうち、前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定し、推定した前記光源の第１の色温度と、前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定することを特徴としている。
【００１９】
また、本発明による画像処理プログラムを記録したコンピュータは、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置に備わるコンピュータであって、前記コンピュータを、前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段として機能させるための画像処理プログラムを記録している。
【００２０】
また、本発明による画像処理プログラムは、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサを用いて被写体を撮影した画像データから、被写体を照明する光源の色温度を推定する画像処理装置に備わるコンピュータが読み取り可能な画像処理プログラムであって、前記コンピュータを、前記Ｎ種類の色の画像データを入力する多バンド画像データ入力手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する第１の光源色温度推定手段、前記多バンド画像データ入力手段が入力した前記Ｎ種類の色のうち、前記第１の光源色温度推定手段が前記光源の第１の色温度の推定に用いる前記Ｍ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する第２の光源色温度推定手段、前記第１の光源色温度推定手段が推定した前記光源の第１の色温度と、前記第２の光源色温度推定手段が推定した前記光源の第２の色温度とに基づき、被写体を照明する光源の色温度を決定する光源色温度決定手段として機能させることを特徴としている。
【発明の効果】
【００２１】
本発明によれば、多バンドデジタルカメラで撮影された被写体の多バンド画像データを用いて、より正確に被写体を照明する光源の色温度を推定することを可能にする画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータが得られる。
【図面の簡単な説明】
【００２２】
【図１】ダウンサンプリングして取得した被写体の画像データにおける全ての画素を色度図上にプロットし、色度図上での予め設定した各種の光源の色温度エリア判定基準に従い、プロットした点についての光源の色温度のエリア判定を行うための、色度図及びエリア判定基準の一例を示すグラフである。
【図２】被写体画面内の異なる位置に異なる複数種類の光源が存在するシーンの一例を示す説明図である。
【図３】図２の画面を複数のブロックに分割する一例を示す説明図である。
【図４】本発明の第１実施形態にかかる画像処理装置を備えた、５バンドデジタルカメラにおけるＡＷＢ（オートホワイトバランス）補正に関わる画像処理のブロック図である。
【図５】図４の多バンドデジタルカメラに備わる５バンドのカラーフィルタの画素の配置の一例を示す説明図である。
【図６】図４の多バンドデジタルカメラに備わる５バンドのカラーフィルタにおける各色の分光感度の一例を示すグラフである。
【図７】（Ｒ／Ｇ，Ｂ／Ｇ）色度図における被写体の色分布の一例を示す説明図である。
【図８】（Ｏｒ／Ｇ,Ｃｙ／Ｇ）色度図における図７と同じ被写体の色分布の一例を示す説明図である。
【図９】第１及び第２の光源色温度推定手段における色温度推定処理の変形例を示す説明図で、(a)は第１の光源色温度推定手段における第１の色温度推定処理の変形例を示すフローチャート、(b)は第２の光源色温度推定手段における第２の色温度推定処理の変形例を示すフローチャートである。
【図１０】本発明の第２実施形態にかかる画像処理装置を備えた、５バンドデジタルカメラにおけるＡＷＢ（オートホワイトバランス）補正に関わる画像処理のブロック図である。
【発明を実施するための形態】
【００２３】
実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサで被写体を撮影したＮ種類の色の画像データのうち、Ｍ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定するとともに、更に、光源の第１の色温度の推定に用いるＭ種類の色とは少なくとも一部の色又は色数が異なる、Ｐ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定し、推定した２つの光源の色温度に基づき、被写体を照明する光源の色温度を決定するようにしている。
【００２４】
このようにすれば、上記特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた光源の色温度の推定処理において内在する、光源の色温度の推定精度の劣化を抑えて、３種類より多い色数の、多バンドの画像データによるより細やかな色表現ができる。しかも、同一の多バンドの画像において、最大種類の色数以下の異なる色数（又は色）による複数の光源色温度推定手段を用いて被写体を照明する光源の色温度の推定処理を行い、夫々の光源色温度推定手段により推定した光源の色温度に基づき、被写体を照明する光源の最終的な色温度を決定するようにすることで、夫々の光源色温度推定手段による光源の色温度の推定結果を総合的に判断することができ、より精度の高い被写体を照明する光源の色温度を決定することができるようになる。
【００２５】
また、本発明においては、Ｎ種類（３＜Ｎ）の色のカラーフィルタを有するイメージセンサで被写体を撮影した画像を複数のブロックに分け、それぞれのブロックに対して、光源の第１の色温度の推定、光源の第２の色温度の推定、光源の最終的な色温度の決定をするようにすると好ましい。
【００２６】
被写体の画面内を複数のブロックに分けると、それぞれのブロックにおける画素サンプルの数が少なくなるが、本発明によれば、それぞれのブロックにおいて、上述したように、特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた光源の色温度の推定処理に比べて、より精度の高い被写体を照明する光源の色温度を決定することができる。このため、本発明によれば、画面内における異なる位置に異なる複数種類の光源が存在する場合に、被写体を撮影した画像を複数のブロックに分けても、それぞれのブロックに対して、光源の第１の色温度の推定、光源の第２の色温度の推定、光源の最終的な色温度の決定をするようにすることで、それぞれのブロックの被写体を照明する光源の色温度の推定精度の劣化を抑えて、画面内のそれぞれの領域に位置する被写体を照明する光源の色温度を高精度に検出することができる。
【００２７】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。
【００２８】
第１実施形態
図４は本発明の第１実施形態にかかる画像処理装置を備えた、５バンドデジタルカメラにおけるＡＷＢ（オートホワイトバランス）補正に関わる画像処理のブロック図である。図５は図４の多バンドデジタルカメラに備わる５バンドのカラーフィルタの画素の配置の一例を示す説明図である。図６は図４の多バンドデジタルカメラ備わる５バンドのカラーフィルタにおける各色の分光感度の一例を示す説明図である。図４中、一点鎖線で囲んだ部分が本発明の第１実施形態にかかる画像処理装置に対応する構成である。
【００２９】
第１実施形態の画像処理装置１０は、図４に示すように、多バンド画像データ入力手段１１と、第１の光源色温度推定手段１２と、第２の光源色温度推定手段１３と、光源色温度決定手段１４を有している。図４中、１５は５バンドデモザイキング部、１６は５バンドから３バンドへの色変換部、１７はＷＢ（ホワイトバランス）補正手段、２０はイメージセンサである。
【００３０】
多バンド画像データ入力手段１１は、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５バンドのイメージセンサの図示しない記録部に記録されているＮ種類（ここではＮ＝５）の色の画像データを入力する。
【００３１】
第１の光源色温度推定手段１２は、多バンド画像データ入力手段１１が入力したＮ種類の色のうちＭ種類（３≦Ｍ＜Ｎ  又は  ３＜Ｍ≦Ｎ）の色の画像データから、被写体を照明する光源の第１の色温度を推定する。ここでは、説明の便宜上、第１の光源色温度推定手段１２は、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５種類の色のうち、Ｒ、Ｇ、Ｂの３種類の色の画像データから、被写体を照明する光源の第１の色温度を推定するものとする。なお、光源の第１の色温度の推定方法については後述する。
【００３２】
第２の光源色温度推定手段１３は、多バンド画像データ入力手段１１が入力したＮ種類の色のうち、第１の光源色温度推定手段１２が光源の第１の色温度の推定に用いるＭ種類の色とは少なくとも一部の色又は色数が異なる、Ｎ種類の色のうちＰ種類（３≦Ｐ＜Ｎ  又は  ３＜Ｐ≦Ｎ）の色の画像データから、被写体を照明する光源の第２の色温度を推定する。ここでは、説明の便宜上、第２の光源色温度推定手段１３は、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５種類の色のうち、Ｏｒ、Ｇ、Ｃｙの３種類の色の画像データから、被写体を照明する光源の第２の色温度を推定するものとする。なお、光源の第２の色温度の推定方法については後述する。
【００３３】
光源色温度決定手段１４は、第１の光源色温度推定手段１２が推定した光源の第１の色温度と、第２の光源色温度推定手段１３が推定した光源の第２の色温度とに基づき、被写体を照明する光源の最終的な色温度を決定する。なお、最終的な光源の色温度の決定方法については後述する。
【００３４】
なお、図４に示すデジタルカメラのイメージセンサ２０は、例えば、図５に示すような、４×４の繰り返しパターンを持つ、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５種類の色のカラーフィルタで覆われている。Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれのカラーフィルタは、例えば、図６に示すような分光特性を有している。図５の例では、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの画素配分の割合が、それぞれ、２／１６，８／１６，２／１６，２／１６．２／１６となっている。
なお、ここでは、説明の便宜上、５色のカラーフィルタを有するイメージセンサ２０の有効画素は、例えば、２５６０×１９２０画素であるものとする。
その他、図４のデジタルカメラは、図示しないダウンサンプリング画像取得手段を備えている。ダウンサンプリング画像取得手段は、イメージセンサ２０に出力されたＲＡＷ画像データから所定の縮小したＲＡＷ画像データを取得する。縮小したＲＡＷ画像データの取得方法については、その一例を後述する。
【００３５】
このように構成された第１本実施形態の画像処理装置を用いた被写体を照明する光源の色温度の推定から最終的な色温度の決定までの処理の流れを説明する。
光源の色温度の推定に先立ち、図示しないダウンサンプリング画像取得手段が、イメージセンサ２０の有効画素を縦横６４×６４画素のブロックに分け、それぞれの縦横６４×６４画素のブロックにおけるＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれの画素の平均値を求め、それぞれのブロック（縦横６４×６４画素）を１画素とすることにより、４０×３０画素のＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙの縮小したＲＡＷ画像データを取得する。得られた縮小ＲＡＷ画像データは、イメージセンサ２０における図示しない記録部に記録する。
なお、ダウンサンプリング画像取得手段は、４０×３０画素のＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙの縮小したＲＡＷ画像データを得る際に、縦横６４×６４画素のブロックにおけるＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれの画素の平均値を求めるが、各色を混色させていない。このため、上記特許文献２に記載の減色処理の一方法として分光感度が近い２種類の色をそれぞれ加算平均するのとは異なり、それぞれの色に対応する分光感度が、本来の色に比べてブロードな分布となることはない。
【００３６】
光源の色温度の推定に際しては、まず、多バンド画像データ入力手段１１が、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５バンドのイメージセンサ２０の記録部に記録されているＮ種類（ここではＮ＝５）の色の縮小ＲＡＷ画像データを入力する。
【００３７】
次に、第１の光源色温度推定手段１２が、被写体を照明する光源の第１の色温度を推定する。
詳しくは、第１の光源色温度推定手段１２は、多バンド画像データ入力手段１１により入力された縮小ＲＡＷ画像データにおけるＲ、Ｇ、Ｂの全ての画素に対して、それぞれの画素の色度値（Ｒ／Ｇ,Ｂ／Ｇ）を求める。
次いで、第１の光源色温度推定手段１２は、求めたそれぞれの画素の色度値（Ｒ／Ｇ,Ｂ／Ｇ）を、例えば、図７に示す（Ｒ／Ｇ，Ｂ／Ｇ）色度図上にプロットする。そして、例えば、図７に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全ての画素の色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表２に示すような条件に従い、被写体を照明する光源の第１の色温度を推定する。
【００３８】
【表２】
2015041805.tif 000004
なお、図７に示すエリア５（その他）は、光源の色温度が、被写体を照明する光源の色温度のエリア基準（エリア１〜４、エリア６）にも、光源が照射したときの被写体の色のエリア基準（エリア７〜９）のいずれにも属さないエリアである。
図７の例では、プロットした点群の分布（被写体の色分布）が、エリア３（晴天）、エリア４（蛍光灯）、エリア７（曇天下肌色）、エリア８（晴天下肌色）に一部属し、大部分の点は、エリア１〜４、エリア６、エリア７〜９のいずれにも属さない。また、プロットした点の集計値が最大となるエリアが、エリア４（蛍光灯）とエリア８（晴天下肌色）の２つのエリアとなっている。このため、図７の（Ｒ／Ｇ，Ｂ／Ｇ）色度図における被写体の色分布からは、色温度が蛍光灯であるか、光源ではなく外光下の被写体の色温度であるかを推定し難い。
このため、図７の例の場合には、第１の光源色温度推定手段１２は、表２に従い(c)のエリア５（その他）の色温度を第１の色温度として推定する。
【００３９】
次に、第２の光源色温度推定手段１３が、被写体を照明する光源の第２の色温度を推定する。
詳しくは、第２の光源色温度推定手段１３は、多バンド画像データ入力手段１１により入力された同じ被写体の縮小ＲＡＷ画像データにおけるＯｒ、Ｇ、Ｃｙの全ての画素に対して、それぞれの画素の色度値（Ｏｒ／Ｇ, Ｃｙ／Ｇ）を求める。
次いで、第２の光源色温度推定手段１３は、求めたそれぞれの画素の色度値（Ｏｒ／Ｇ, Ｃｙ／Ｇ）を、例えば、図８に示す（Ｏｒ／Ｇ, Ｃｙ／Ｇ）色度図上にプロットする。そして、例えば、図８に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全ての画素の色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度のエリアに属するプロットした点の個数を集計する。集計した各光源の色温度のエリアに属するプロットした点の個数の大小の順位から、例えば、次の表３に示すような条件に従い、被写体を照明する光源の第２の色温度を推定する。
【００４０】
【表３】
2015041805.tif 000005
【００４１】
図８の例では、プロットした点群の分布（被写体の色分布）が、エリア４に集中しており、集計値が最大となるエリアが、エリア４（蛍光灯）となっている。このため、被写体の（Ｏｒ／Ｇ，Ｃｙ／Ｇ）色度図における色分布からは、被写体を照明する光源の色温度が、蛍光灯の色温度であると明瞭に推定できる。
このため、図８の例の場合には、第２の光源色温度推定手段１３は、表３に従い(d)のエリア４（蛍光灯）の色温度を第２の色温度として推定する。
【００４２】
最後に、光源色温度決定手段１４は、第１の光源色温度推定手段１２が推定した光源の第１の色温度と第２の光源色温度推定手段１３が推定した光源の第２の色温度とに基づき、例えば、次の表４に示すような条件に従い、被写体を照明する光源の最終的な色温度を決定する。
【００４３】
【表４】
2015041805.tif 000006
【００４４】
上記図７及び図８の例の場合には、第１の光源色温度推定手段１２が推定した第１の光源色温度が(c)のエリア５（その他）の色温度、第２の光源色温度推定手段１３が推定した第２の光源色温度が(d)のエリア４（蛍光灯）の色温度である。ここで、表４に従うと、色温度決定手段１４が決定する光源の最終的な色温度は、(d)のエリア４（蛍光灯）の色温度となる。
【００４５】
なお、光源色温度決定手段１４が、第１の光源色温度推定手段１２が推定した光源の第１の色温度と第２の光源色温度推定手段１３が推定した光源の第２の色温度とに基づき、被写体を照明する光源の最終的な色温度を決定する条件としては、上記表４に示すような条件に限定されるものではなく、実際の撮影状況に応じて条件を設定しても良い。
【００４６】
また、光源色温度決定手段１４による光源の最終的な色温度の決定は、上記表４に示すような条件に従い、光源の第1の色温度と光源の第２の色温度のいずれか一方を選択するといった択一的な条件選択のほかに、被写体の色分布の重心位置や、サンプルポイントの分散も考慮して、第１の光源色温度推定手段１２が推定した光源の第１の色温度と第２の光源色温度推定手段１３が推定した光源の第２の色温度とを複数のパラメータとするとともに、それぞれのパラメータに対する重み付けを行っておくことによって、第１及び第２の光源色温度推定手段１２、１３が推定したパラメータに対する重み付けに基づく演算を行うことによって、被写体を照明する光源の最終的な色温度を算出するようにしてもよい。
【００４７】
例えば、第１の光源色温度推定手段１２が、図９(a)に示すように、色度図（図７）におけるプロットした点の分布の重心位置やプロットした点の分布の分散などを評価値ｈ１、ｈ２・・・として算出する。また、被写体を撮影したときの撮影条件である、露出の度合いや、ストロボの有無などに基づき重みｗ１,ｗ２・・・を定める。そして、第１の光源色温度推定手段１２が、第１の光源色温度判定関数ｆ１（ｈ１,ｈ２・・・ｗ１，ｗ２）を用いて光源の第１の色温度を判定するようにする。
また、第２の光源色温度推定手段１３が、図９(b)に示すように、色度図（図８）におけるプロットした点の分布の重心位置やプロットした点の分布の分散などを評価値ｇ１，ｇ２・・・として算出する。また、被写体を撮影したときの撮影条件である、露出の度合いや、ストロボの有無などに基づき重みｖ１,ｖ２・・・を定める。そして、第２の光源色温度推定手段１３が、第２の光源色温度判定関数ｆ２（ｇ１，ｇ２・・・ｖ１，ｖ２）を用いて光源の第２の色温度を判定するようにする。
そして、光源色温度決定手段１４が、第１の光源色温度判定関数ｆ１（ｈ１,ｈ２・・・ｗ１，ｗ２）、第２の光源色温度判定関数ｆ２（ｇ１，ｇ２・・・ｖ１，ｖ２）に対して、それぞれ所定の重み付けｔ１、ｔ２に基づく演算ｔ１＊ｆ１() ＋ ｔ２＊ｆ２()を行ない、光源の最終的な色温度を決定するようにする。
【００４８】
また、光源色温度決定手段１４は、第１の光源色温度推定手段１２が推定した光源の第１の色温度が表２の(a)となった場合、第２の光源色温度推定手段１３による光源の第２の色温度の推定を経ることなく、上記表２の(a)を光源の最終的な色温度と決定するようにするのが好ましい。このようにすれば、光源色温度検出部全体の処理の高速化が図れる。
【００４９】
なお、第１実施形態の画像処理装置１０により、被写体を照明する光源の色温度が決定された後の、５バンドデジタルカメラによるＷＢ補正は、次の手順によって行われる。
５バンドイメージセンサ２０の図示しない記録部に記録されているＲＧＢＯｒＣｙの全画像データが、多バンド画像入力手段１１により入力されて、５バンドデモザイキング部１５に転送される。転送されたデータは、５バンドデモザイキング部１５によりＲ、Ｇ、Ｂ、Ｏｒ、Ｃyの５バンドのビットマップ画像に変換される。変換された５バンドのビットマップ画像は、５バンド３バンド色変換部１６により３バンドのＲＧＢ画像に変換される。
変換されたＲＧＢ画像データは、光源色温度決定手段１４で決定された被写体を照明する光源の最終的な色温度に従い、ＷＢ補正手段１７によりＲ、Ｇ、Ｂ画像信号のそれぞれに予め設定されているゲインをかけてＷＢ調整が行われた後、最終的にＲ’、Ｇ’、Ｂ’ 画像データとして出力される。その後は図示しないノイズ除去、エッジ強調、色調整、画像圧縮などの画像処理が施され、背面液晶表示部に表示され、また、最終的にファイルとしてメモリカードに保存される。
【００５０】
第１実施形態の画像処理装置１０及び画像処理方法によれば、上記特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた光源の色温度の推定処理において内在する、光源の色温度の推定精度の劣化を抑えて、３種類より多い色数の、多バンドの画像データによるより細やかな色表現ができる。しかも、同一の多バンドの画像において、最大種類の色数以下の異なる色数（又は色）による複数の光源色温度推定手段１２、１３が被写体を照明する光源の色温度の推定処理を行い、光源色温度決定手段１４が夫々の光源色温度推定手段１２、１３により推定した光源の色温度に基づき、被写体を照明する光源の最終的な色温度を決定するようにしたので、夫々の光源色温度推定手段１２、１３による光源の色温度の推定結果を総合的に判断することができ、より精度の高い被写体を照明する光源の色温度を決定することができる。
【００５１】
なお、第１実施形態における図４の例では、第１の光源色温度推定手段１２が、Ｒ、Ｇ、Ｂの３種類の色を使用し、第２の光源色温度推定手段１３が、Ｏｒ、Ｇ、Ｃｙの３種類の色を使用したが、第１及び第２の光源色温度推定手段１２、１３が使用する色の種類の組み合わせや色数は、これらに限定されるものではなく、例えば、第１の光源色温度推定手段１２が、Ｒ、Ｇ、Ｃｙの３種類の色を使用し、第２の光源色温度推定手段１３が、Ｏｒ、Ｇ、Ｂの３種類の色を使用するようにしてもよい。さらには、第１及び第２の光源色温度推定手段１２、１３の両方又はいずれか一方の光源色温度推定手段が、４〜５種類の色を使用するようにしてもよい。
【００５２】
また、例えば、デジタルカメラに用いるカラーフィルタがＲＧＢＣＭＹの６種類の色の場合、第１の光源色温度推定手段１２が、Ｒ、Ｇ、Ｂの３種類の色を使用し、第２の光源色温度推定手段１３が、Ｃ、Ｍ、Ｙの３種類の色を使用するようにしてもよい。
【００５３】
更に、第１実施形態における図４の例では、第１の光源色温度推定手段１２と第２の光源色温度推定手段１３とが、Ｇの色を共通して使用しているが、Ｇ以外の色を共通に使用するようにしてもよい。
【００５４】
また、第１実施形態の画像処理装置１０は、多バンド画像入力手段１１、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
あるいは、第１実施形態の画像処理装置１０は、多バンド画像入力手段１１、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
【００５５】
第２実施形態
図１０は本発明の第２実施形態にかかる画像処理装置を備えた、５バンドデジタルカメラにおけるＡＷＢ（オートホワイトバランス）補正に関わる画像処理のブロック図である。
【００５６】
第２実施形態の画像処理装置１０’は、図１０に示すように第１実施形態の画像処理装置１０に多バンド画像領域分割手段１１−５を加えて構成されている。
多バンド画像領域分割手段１１−５は、多バンド画像データ入力手段１１によって入力された多バンド画像データの画像領域を複数のブロックに分割する。
その他の構成は、第1実施形態の画像処理装置１０と略同じである。
【００５７】
このように構成された第２の実施形態の画像処理装置１０’における被写体を照明する光源の色温度の推定から最終的な色温度の決定までの処理の流れを説明する。ここでは、説明の便宜上、５色のカラーフィルタ配置を有するイメージセンサの有効画素は、例えば、２５６０×１９２０画素であるものとする。
また、第２実施形態では、図２に示した被写体画面内の異なる位置に異なる複数種類の光源が存在する被写体画像における光源の色温度を推定するものとする。
【００５８】
スペースバリアントに被写体を照明する光源の色温度を推定するに先立ち、図示しないダウンサンプリング画像取得手段が、まず、イメージセンサ２０の有効画素を縦横３２×３２画素のブロックに分け、それぞれの縦横３２×３２画素のブロックにおけるＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙそれぞれの画素の平均値を求め、それぞれのブロック（縦横３２×３２画素）を１画素とすることにより、８０×６０画素のＲ、Ｇ、Ｂ、Ｏｒ、Ｃｙの縮小したＲＡＷ画像を得る。得られた縮小ＲＡＷ画像データは、イメージセンサ２０の記録部に記録する。
【００５９】
光源の色温度の推定に際しては、まず、多バンド画像データ入力手段１１が、Ｒ、Ｇ、Ｂ、Ｏｒ、Ｃｙの５バンドのイメージセンサ２０の記録部に記録されているＮ種類（ここではＮ＝５）の色の縮小ＲＡＷ画像データを入力する。
次いで、多バンド画像領域分割手段１１−５が、多バンド画像データ入力手段１１により入力された、この８０×６０画素の縮小したＲＡＷ画像を更に、例えば、図３に示すように、２６×２０画素の９つのブロックに分割する。
【００６０】
第２の実施形態の画像処理装置１０’では、以後、多バンド画像領域分割手段１１−５により分割されたそれぞれのブロックに対して、第１の実施形態で示した方法と同様に、第１の光源色温度推定手段１２による光源の第１の色温度の推定、第２の光源色温度推定手段１３による光源の第２の色温度の推定、光源色温度決定手段１４による光源の最終的な色温度の決定、といったそれぞれの処理を行う。
【００６１】
被写体の画面内を複数のブロックに分けると、それぞれのブロックにおける画素サンプルの数が少なくなるが、第２実施形態の画像処理装置１０’及び画像処理方法によれば、それぞれのブロックにおいて、上述したように、特許文献２に記載の方法のような６種類の色から３種類の色への色数減色処理及び従来の一般的な３原色の画像データを用いた色温度の推定処理に比べて、より精度の高い被写体を照明する光源の色温度を決定することができる。このため、第２実施形態の画像処理装置１０’によれば、それぞれのブロックの被写体を照明する光源の色温度の推定精度の劣化を抑えて、画面内における異なる位置に複数種類の光源の光が照明される被写体を撮影した画像に対しても、画面内のそれぞれの領域に位置する被写体を照明する光源の色温度を高精度に検出することができる。
【００６２】
なお、第２実施形態の画像処理装置１０’は、多バンド画像入力手段１１、多バンド画像領域分割手段１１−５、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
あるいは、第２実施形態の画像処理装置１０’は、多バンド画像入力手段１１、多バンド画像領域分割手段１１−５、第１の光源色温度推定手段１２、第２の光源色温度推定手段１３、光源色温度決定手段１４として機能させるための画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。
【産業上の利用可能性】
【００６３】
本発明の画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムを記録したコンピュータは、多バンドデジタルカメラで撮影される被写体の多バンド画像データから、被写体を照明する光源の色温度を推定することが求められる分野に有用である。
【符号の説明】
【００６４】
１０，１０’    画像処理装置
１１            多バンド画像データ入力手段
１１−５        多バンド画像領域分割手段
１２            第１の光源色温度推定手段
１３            第２の光源色温度推定手段
１４            光源色温度決定手段
２０            多バンドイメージセンサ
【図１】
2015041805.tif 000007
【図４】
2015041805.tif 000008
【図５】
2015041805.tif 000009
【図６】
2015041805.tif 000010
【図７】
2015041805.tif 000011
【図８】
2015041805.tif 000012
【図９】
2015041805.tif 000013
【図１０】
2015041805.tif 000014
【図２】
2015041805.tif 000015
【図３】
2015041805.tif 000016