(57)【要約】【課題】本発明は、ホワイトバランス制御の成功率を高めることのできるカラー撮像装置及び画像処理プログラムを提供することを目的とする。【解決手段】本発明のカラー撮像装置は、被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類部（Ｓ１６，Ｓ１７）と、前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出部と、を含むカラー撮像装置であって、前記算出部は、前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定する（Ａ’，Ｂ’，Ｃ’）ことを特徴とする。【選択図】      図３
2008042644.tif 000002
【特許請求の範囲】
【請求項１】
被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類部と、
前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出部と、
を含むカラー撮像装置であって、
前記算出部は、
前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定する
ことを特徴とするカラー撮像装置。
【請求項２】
請求項１に記載のカラー撮像装置において、
前記算出部は、
前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定する
ことを特徴とするカラー撮像装置。
【請求項３】
請求項１又は請求項２に記載のカラー撮像装置において、
前記算出部は、
前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定する
ことを特徴とするカラー撮像装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載のカラー撮像装置において、
前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット部をさらに含み、
前記リミット部は、
前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行う
ことを特徴とするカラー撮像装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載のカラー撮像装置において、
前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理部を更に含む
ことを特徴とするカラー撮像装置。
【請求項６】
被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類手順と、
前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出手順と、
を含む画像処理プログラムであって、
前記算出手順では、
前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定する
ことを特徴とする画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムにおいて、
前記算出手順では、
前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定する
ことを特徴とする画像処理プログラム。
【請求項８】
請求項６又は請求項７に記載の画像処理プログラムにおいて、
前記算出手順では、
前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定する
ことを特徴とする画像処理プログラム。
【請求項９】
請求項６〜請求項８の何れか一項に記載の画像処理プログラムにおいて、
前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット手順をさらに含み、
前記リミット手順では、
前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行う
ことを特徴とする画像処理処理プログラム。
【請求項１０】
請求項６〜請求項９の何れか一項に記載の画像処理プログラムにおいて、
前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理手順を更に含む
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラなどのカラー撮像装置、及び、ディジタルカメラなどで撮影したカラー画像を処理する画像処理プログラムに関する。
【背景技術】
【０００２】
窓から太陽光の差し込む電球室内をディジタルカメラで撮影した場合など、被写界中が異なる色の２種類の照明光で照明されていた場合は、ディジタルカメラによる自動ホワイトバランス制御は難しいとされている。
このため、特許文献１には、２種類の照明光の加重平均色を被写界全域の照明色とみなし、その照明色に最適なホワイトバランス制御量でホワイトバランス制御を行う技術が開示されている。各照明色の加重は、その照明色で照明された物体の存在領域が広いほど大きく設定される。このように、２種類の照明光の中間色を被写界全体の照明色とみなせば、フレーミングを少しずつ変えながら撮影された複数の画像間に色の連続性を与えることができる。
【特許文献１】特開平８−２５１６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に記載の技術では、被写界中にサイズ及び照明色の異なる２つの被写体が存在していた場合、仮に、ユーザが小さい方の被写体を重視していたとしても、大きい被写体の照明色が重視される可能性が高い。このため、ユーザの満足するホワイトバランス制御が行われないことがあった。
そこで本発明は、ホワイトバランス制御の成功率を高めることのできるカラー撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明のカラー撮像装置は、被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類部と、前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出部と、を含むカラー撮像装置であって、前記算出部は、前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定することを特徴とする。
【０００５】
なお、前記算出部は、前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定することが望ましい。
また、前記算出部は、前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定することが望ましい。
また、本発明の何れかのカラー撮像装置は、前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット部をさらに含み、前記リミット部は、前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行うことが望ましい。
【０００６】
また、本発明の何れかのカラー撮像装置は、前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理部を更に含むことが望ましい。
また、本発明の画像処理プログラムは、被写界を撮影したカラー画像中の複数の小領域を、その照明色により複数グループに分類する分類手順と、前記複数グループの各々の照明色の加重平均色を前記被写界の照明色とみなし、その照明色に最適なホワイトバランス制御量を、前記カラー画像に対するホワイトバランス制御量として算出する算出手順と、を含む画像処理プログラムであって、前記算出手順では、前記複数グループの各々の照明色の加重を、前記複数グループの各々の領域サイズ及び輝度に応じて設定することを特徴とする。
【０００７】
なお、前記算出手順では、前記複数グループの各々の照明色の加重を、前記カラー画像の撮影前に行われた前記被写界の照明種類の判定結果に応じて設定することが望ましい。
また、前記算出手順では、前記複数グループの各々の照明色の加重を、前記カラー画像中に存在する被写体の照明種類に応じて設定することが望ましい。
また、本発明の何れかの画像処理プログラムは、前記加重平均色の算出値、又は前記ホワイトバランス制御量の算出値が許容範囲に収まるよう、その算出値を調整するリミット手順をさらに含み、前記リミット手順では、前記複数グループの各々に関する許容範囲を、前記加重と同等の加重で加重平均し、それによって得られる加重平均範囲を用いて前記調整を行うことが望ましい。
【０００８】
また、本発明の何れかの画像処理プログラムは、前記算出されたホワイトバランス制御量で前記カラー画像に対しホワイトバランス制御を施す処理手順を更に含むことが望ましい。
【発明の効果】
【０００９】
本発明によれば、ホワイトバランス制御の成功率を高めることのできるカラー撮像装置及び画像処理プログラムが実現する。
【発明を実施するための最良の形態】
【００１０】
［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態は、ディジタルカメラシステムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの構成図である。図１に示すとおり、本システムは、一眼レフレックスタイプのディジタルカメラ本体１と、それに装着された交換レンズ２とからなる。
【００１１】
ディジタルカメラ本体１には、クイックリターンミラー１１、シャッタ１３、画像撮影用のカラー撮像素子１２、被写界監視用の測光部２０、本システムの各部を制御するＣＰＵ１５、ＣＰＵ１５の動作プログラムを格納したＲＯＭ１６、ＣＰＵ１５の動作中に用いられるＲＡＭ１７、レリーズ釦１９などの操作釦、少なくとも１フレーム分のカラー画像信号を格納可能なフレームメモリ１４、ディジタルカメラ本体１に装着されたカードメモリ１８Ａへデータの読み書きを行う記録部１８などが備えられる。
【００１２】
非撮影時、被写界からの光束は、交換レンズ２を介してクイックリターンミラー１１へ入射すると、そこで反射し、不図示のペンタプリズムや、測光部２０内のレンズ２０Ａを介して測光部２０内のカラー撮像素子２０Ｂに入射し、その撮像面近傍に被写界の像を形成する。このカラー撮像素子２０Ｂは、被写界監視用なので、画像撮影用のカラー撮像素子１２よりも解像度が低く、その画素数は、例えば１００５である。通常、このカラー撮像素子２０Ｂは、連続的に駆動され、その駆動中にカラー撮像素子２０Ｂから順次出力されるカラー画像信号（以下、「撮影前画像信号」という。）は、ＣＰＵ１５へと順次送出される。
【００１３】
撮影時、クイックリターンミラー１１が跳ね上がり、シャッタ１３が開放されると、被写界からの光束は、カラー撮像素子１２へ入射し、その撮像面近傍に被写界の像を形成する。このカラー撮像素子１２の画素数は、例えば１２００万である。この撮影時には、カラー撮像素子１２が駆動され、このときカラー撮像素子１２から出力される１フレーム分のカラー画像信号（以下、「撮影画像信号」という。）は、フレームメモリ１４へ一時的に格納される。この撮影画像信号には、ＣＰＵ１５によってホワイトバランス処理などの画像処理や圧縮処理などが施された後、記録部１８を介してカードメモリ１８Ａへと記録される。
【００１４】
なお、撮影に当たり、ＣＰＵ１５は、測光部２０や交換レンズ２などを介して、ユーザの設定したスポット測光エリアやＡＦ測距点などの各種の撮影情報を取り込む。その撮影情報についても、この撮影画像信号と共にカードメモリ１８Ａへ記録される。
また、上述した画像処理や圧縮処理の一部又は全部は、ＣＰＵ１５とは別に設けられた画像処理回路、圧縮処理回路が実行してもよいが、ここでは、ＣＰＵ１５が実行するものとして説明する。
【００１５】
次に、ホワイトバランス処理に関わるＣＰＵ１５の動作を説明する。
図２は、ホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。この動作プログラムは、ＲＯＭ１６に予め書き込まれている。
図２に示すとおり、ＣＰＵ１５は、測光部２０から撮影前画像信号を取り込み（ステップＳ１１）、その撮影前画像信号から被写界の配色を示す評価値を抽出し（ステップＳ１２）、その評価値と予め用意されたデータベースとに基づき被写界の照明種類が自然光である可能性が高いか、それとも人工光（蛍光灯や電球）である可能性が高いかを判定する（ステップＳ１３）。これらステップＳ１１，Ｓ１２，Ｓ１３による照明種類の判定は、レリーズ釦１４が全押しされない限り（ステップＳ１４ＮＯ）繰り返される。なお、この判定は、被写界を照明する照明光の種類が１つであるとの前提に立つ。前述したデータベースには、照明種類が既知である各種の画像の情報が含まれており、それら画像の配色と、被写界の配色との相関を調べることにより、被写界の照明種類を判定することが可能となる。この判定結果（自然光／人工光）は、後のステップＳ１８で利用される。
【００１６】
レリーズ釦１４が全押しされると（ステップＳ１４ＹＥＳ）、ＣＰＵ１５は、クイックリターンミラー１１、シャッタ１３、カラー撮像素子１２など、撮影に関する部分を駆動して被写界の撮影を行い、撮影画像信号を取得する（ステップＳ１５）。さらに、ＣＰＵ１５は、その撮影画像信号に基づき、撮影時における被写界の照明色を推定する（ステップＳ１６〜Ｓ１８）。この推定は、被写界を照明する照明光の種類が複数であるとの前提に立つ。この推定（ステップＳ１６〜Ｓ１８）の詳細は、後に詳述する。
【００１７】
さらに、ＣＰＵ１５は、推定した照明色に最適なホワイトバランスゲイン、すなわち、その照明色で照明された無彩色物体の色付きを無くすためのホワイトバランスゲインを算出し（ステップＳ１９）、そのホワイトバランスゲインを撮影画像信号に対し乗算してホワイトバランス処理を施す（ステップＳ２０）。ＣＰＵ１５は、このこのホワイトバランス処理後の撮影画像信号を、圧縮処理し、さらにカードメモリ１８Ａへ記録する（ステップＳ２１）。
【００１８】
次に、図３、図４を参照して上述した推定の手順（ステップＳ１６〜Ｓ１８）を詳しく説明する。
（ステップＳ１６）
図３上部に示すのは、撮影画像信号が示す被写界の画像（撮影画像Ｉ）の概念である。ＣＰＵ１５は、この撮影画像Ｉを等面積の小領域Ａ1，Ａ2，Ａ3，…に分割し、それら小領域Ａ1，Ａ2，Ａ3，…の各々の色Ｃ1，Ｃ2，Ｃ3，…を算出する。小領域Ａiの色Ｃiは、小領域Ａi内の平均色である。なお、このとき、小領域Ａ1，Ａ2，Ａ3，…の各々の輝度Ｙ1，Ｙ2，Ｙ3…も算出される。小領域Ａiの輝度Ｙiは、小領域Ａi内の平均輝度である。
【００１９】
続いて、ＣＰＵ１５は、色Ｃ1，Ｃ2，Ｃ3，…に基づき小領域Ａ1，Ａ2，Ａ3，…の各々が無彩色領域であるか否かを判定すると共に、無彩色領域であるものについては、その照明種類が自然光、蛍光灯、電球の何れに該当するかを判定し、その該当する照明種類により小領域Ａ1，Ａ2，Ａ3，…を３つの大きなグループ（自然光グループ、蛍光灯グループ、電球グループ）に分類する。その際には、小領域Ａiの色Ｃiが、自然光で照明された無彩色物体の色範囲Ｅn、蛍光灯で照明された無彩色物体の色範囲Ｅf、電球で照明された無彩色物体の色範囲Ｅlの何れかに属するか否か、また、何れかに属する場合には、色範囲Ｅn，Ｅf，Ｅlの何れに属するかが調べられる。
【００２０】
（ステップＳ１７）
ＣＰＵ１５は、自然光グループ（色範囲Ｅn）に属する各小領域を、その色によりさらに細かい小グループｅ1，ｅ2，ｅ3，…に分類する。この分類の結果、図３（Ａ）に示すとおり、自然光グループ（色範囲Ｅn）の色ヒストグラムが作成される。図３（Ａ）の縦軸は、領域数Ｆである。
【００２１】
同様に、ＣＰＵ１５は、蛍光灯グループ（色範囲Ｅf）に属する各小領域を、その色によりさらに細かい小グループｅ1，ｅ2，ｅ3，…に分類する。この分類の結果、図３（Ｂ）に示すとおり、蛍光灯グループ（色範囲Ｅf）の色ヒストグラムが作成される。
同様に、ＣＰＵ１５は、電球グループ（色範囲Ｅl）に含まれる各小領域を、その色によりさらに細かい小グループｅ1，ｅ2，ｅ3，…に分類する。この分類の結果、図３（Ｃ）に示すとおり、電球グループ（色範囲Ｅl）の色ヒストグラムが作成される。
【００２２】
なお、本ステップにおける小グループへの分類は、ステップＳ１６における大きなグループへの分類と同時に行われてもよいが、ここでは、説明上、両者の分類が順番に行われることとした。
続いて、ＣＰＵ１５は、自然光グループのヒストグラム（図３（Ａ））から、領域数Ｆが第１位の第１小グループｅn1と、領域数Ｆが第２位の第２小グループｅn2とを見出し、第１小グループｅn1の色Ｃn1と、第２小グループｅn2の色Ｃn2とをそれぞれ算出する。第１小グループｅn1の色Ｃn1は、第１小グループｅn1に属する小領域の平均色であり、第２小グループｅn2の色Ｃn2は、第２小グループｅn2に属する小領域の平均色である。
【００２３】
そして、ＣＰＵ１５は、第１小グループｅn1の色Ｃn1と、第２小グループｅn2の色Ｃn2とを下式（１ｎ）で加重平均し、それによって得られた加重平均色Ｃnを、撮影時に被写界を照明した自然光の照明色とみなす（図３（Ａ’）参照）。
Ｃn＝Ｗn1Ｃn1＋Ｗn2Ｃn2  …（１ｎ）
但し、式（１ｎ）において、色Ｃn，Ｃn1，Ｃn2は、それぞれ２つの成分を持ったベクトルであり、加重Ｗn1，Ｗn2は、それぞれスカラーである。以下、色を表す２つの成分を、色温度成分（単位：ミレッド）と、黒体軌跡からの乖離成分との組み合わせとする。
【００２４】
また、加重Ｗn1，Ｗn2は、第１小グループｅn1の輝度Ｙn1及び領域数Ｆn1と、第２小グループｅn2の輝度Ｙn2及び領域数Ｆn2とに応じて設定される。
具体的に、第１小グループｅn1の色Ｃn1に付与すべき加重Ｗn1は、第１小グループｅn1の輝度Ｙn1が高いほど、また、第１小グループｅn1の領域数Ｆn1が多いほど、大きく設定される。
【００２５】
また、第２小グループｅn2の色Ｃn2に付与すべき加重Ｗn2は、第２小グループｅn2の輝度Ｙn2が高いほど、また、第２小グループｅn2の領域数Ｆn2が多いほど、大きく設定される。
したがって、本ステップで推定される自然光の照明色Ｃnには、自然光グループのうち、高輝度かつ多数派の小領域の色が反映される。
【００２６】
なお、上述した第１小グループｅn1の輝度Ｙn1は、第１小グループｅn1に属する小領域の平均輝度であり、第１小グループｅn1の領域数Ｆn1は、第１小グループｅn1に属する小領域の総数であり、第２小グループｅn2の輝度Ｙn2は、第２小グループｅn2に属する小領域の平均輝度であり、第２小グループｅn2の領域数Ｆn2は、第２小グループｅn2に属する小領域の総数である。
【００２７】
同様に、ＣＰＵ１５は、蛍光灯グループのヒストグラム（図３（Ｂ））から、領域数Ｆが第１位の第１小グループｅf1と、領域数Ｆが第２位の第２小グループｅf2とを見出し、第１小グループｅf1の色Ｃf1と、第２小グループｅf2の色Ｃf2とをそれぞれ算出する。第１小グループｅf1の色Ｃf1は、第１小グループｅf1に属する小領域の平均色であり、第２小グループｅf2の色Ｃf2は、第２小グループｅf2に属する小領域の平均色である。
【００２８】
そして、ＣＰＵ１５は、第１小グループｅf1の色Ｃf1と、第２小グループｅf2の色Ｃf2とを下式（１ｆ）で加重平均し、それによって得られた加重平均色Ｃfを、撮影時に被写界を照明した蛍光灯の照明色とみなす（図３（Ｂ’）参照）。
Ｃf＝Ｗf1Ｃf1＋Ｗf2Ｃf2  …（１ｆ）
但し、式（１ｆ）において、色Ｃf，Ｃf1，Ｃf2は、それぞれ２つの成分を持ったベクトルであり、加重Ｗf1，Ｗf2は、それぞれスカラーである。
【００２９】
また、加重Ｗf1，Ｗf2は、第１小グループｅf1の輝度Ｙf1及び領域数Ｆf1と、第２小グループｅf2の輝度Ｙf2及び領域数Ｆf2とに応じて設定される。
具体的に、第１小グループｅf1の色Ｃf1に付与すべき加重Ｗf1は、第１小グループｅf1の輝度Ｙf1が高いほど、また、第１小グループｅf1の領域数Ｆf1が多いほど、大きく設定される。
【００３０】
また、第２小グループｅf2の色Ｃf2に付与すべき加重Ｗf2は、第２小グループｅf2の輝度Ｙf2が高いほど、また、第２小グループｅf2の領域数Ｆf2が多いほど、大きく設定される。
したがって、本ステップで推定される蛍光灯の照明色Ｃfには、蛍光灯グループのうち、高輝度かつ多数派の小領域の色が反映される。
【００３１】
なお、上述した第１小グループｅf1の輝度Ｙf1は、第１小グループｅf1に属する小領域の平均輝度であり、第１小グループｅf1の領域数Ｆf1は、第１小グループｅf1に属する小領域の総数であり、第２小グループｅf2の輝度Ｙf2は、第２小グループｅf2に属する小領域の平均輝度であり、第２小グループｅf2の領域数Ｆf2は、第２小グループｅf2に属する小領域の総数である。
【００３２】
同様に、ＣＰＵ１５は、電球グループのヒストグラム（図３（Ｃ））から、領域数Ｆが第１位の第１小グループｅl1と、領域数Ｆが第２位の第２小グループｅl2とを見出し、第１小グループｅl1の色Ｃl1と、第２小グループｅl2の色Ｃl2とをそれぞれ算出する。第１小グループｅl1の色Ｃl1は、第１小グループｅl1に属する小領域の平均色であり、第２小グループｅl2の色Ｃl2は、第２小グループｅl2に属する小領域の平均色である。
【００３３】
そして、ＣＰＵ１５は、第１小グループｅl1の色Ｃl1と、第２小グループｅl2の色Ｃl2とを下式（１ｌ）で加重平均し、それによって得られた加重平均色Ｃlを、撮影時に被写界を照明した電球の照明色とみなす（図３（Ｂ’）参照）。
Ｃl＝Ｗl1Ｃl1＋Ｗl2Ｃl2  …（１ｌ）
但し、式（１ｌ）において、色Ｃl，Ｃl1，Ｃl2は、それぞれ２つの成分を持ったベクトルであり、加重Ｗl1，Ｗl2は、それぞれスカラーである。
【００３４】
また、加重Ｗl1，Ｗl2は、第１小グループｅl1の輝度Ｙl1及び領域数Ｆl1と、第２小グループｅl2の輝度Ｙl2及び領域数Ｆl2とに応じて設定される。
具体的に、第１小グループｅl1の色Ｃl1に付与すべき加重Ｗl1は、第１小グループｅl1の輝度Ｙl1が高いほど、また、第１小グループｅl1の領域数Ｆl1が多いほど、大きく設定される。
【００３５】
また、第２小グループｅl2の色Ｃl2に付与すべき加重Ｗl2は、第２小グループｅl2の輝度Ｙl2が高いほど、また、第２小グループｅl2の領域数Ｆl2が多いほど、大きく設定される。
したがって、本ステップで推定される自然光の照明色Ｃlには、電球グループのうち、高輝度かつ多数派の小領域の色が反映される。
【００３６】
なお、上述した第１小グループｅl1の輝度Ｙl1は、第１小グループｅl1に属する小領域の平均輝度であり、第１小グループｅl1の領域数Ｆl1は、第１小グループｅl1に属する小領域の総数であり、第２小グループｅl2の輝度Ｙl2は、第２小グループｅl2に属する小領域の平均輝度であり、第２小グループｅl2の領域数Ｆl2は、第２小グループｅl2に属する小領域の総数である。
【００３７】
（ステップＳ１８）
ＣＰＵ１５は、図４に示すとおり、ステップＳ１７で推定した自然光の照明色Ｃnと、蛍光灯の照明色Ｃfと、電球の照明色Ｃlとを下式（２）で加重平均し、それによって得られた加重平均色Ｃを、撮影時における被写界の照明色とみなす。
Ｃ＝ＷnＣn＋ＷfＣf＋ＷlＣl  …（２）
但し、式（２）において、色Ｃ，Ｃn，Ｃf，Ｃlは、それぞれ２つの成分を持ったベクトルであり、加重Ｗn，Ｗf，Ｗlは、それぞれスカラーである。
【００３８】
また、加重Ｗn，Ｗf，Ｗlは、自然光グループの輝度Ｙn及び領域数Ｆnと、蛍光灯グループの輝度Ｙf及び領域数Ｆfと、電球グループの輝度Ｙl及び領域数Ｆlと、ステップＳ１３における最新の判定結果（人工光／自然光）とに応じて設定される。
具体的に、自然光グループの加重Ｗnは、自然光グループの輝度Ｆnが高いほど、また、自然光グループの領域数Ｆnが多いほど、また、判定結果が「自然光」であるときほど、大きく設定される。
【００３９】
また、蛍光灯グループの加重Ｗfは、蛍光灯グループの輝度Ｆfが高いほど、また、蛍光灯グループの領域数Ｆfが多いほど、また、判定結果が「人工光」であるときほど、大きく設定される。
また、電球グループの加重Ｗlは、電球グループの輝度Ｆlが高いほど、また、電球グループの領域数Ｆkが多いほど、また、判定結果が「人工光」であるときほど、大きく設定される
なお、ここでは、自然光グループの輝度Ｙnを、自然光グループの第１小グループｅn1の輝度Ｙn1とし、自然光グループの領域数Ｆnを、自然光グループの第１小グループｅn1の領域数Ｆn1とする。また、蛍光灯グループの輝度Ｙfを、蛍光灯グループの第１小グループｅf1の輝度Ｙf1とし、蛍光灯グループの領域数Ｆfを、蛍光灯グループの第１小グループｅf1の領域数Ｆf1とする。また、電球グループの輝度Ｙlを、電球グループの第１小グループｅl1の輝度Ｙl1とし、電球グループの領域数Ｆlを、電球グループの第１小グループｅl1の領域数Ｆl1とする（ステップＳ１８の説明終了）。
【００４０】
以上、本システムのＣＰＵ１５は、撮影画像Ｉ中の無彩色の小領域を、その色により複数のグループに分類すると共に（ステップＳ１６，Ｓ１７）、自然光の照明色Ｃnと、蛍光灯の照明色Ｃfと、電球の照明色Ｃlとをそれぞれ推定し（ステップＳ１７）、それら照明色Ｃn，Ｃf，Ｃlの加重平均色Ｃを、撮影時における被写界の照明色とみなす（ステップＳ１８）。そして、ＣＰＵ１５は、照明色Ｃn，Ｃf，Ｃlの加重Ｗn，Ｗf，Ｗlを、各グループの輝度Ｙn，Ｙf，Ｙlと、各グループの領域数Ｆn，Ｆf，Ｆlとの双方に応じて設定する。
【００４１】
図５は、撮影時に被写界を照明する各照明光の支配度の一例を示す図である。図５の色平面は、各照明光の照明色を示している。色平面上の距離が短いほど、照明色の相関が高いことを示す。また、図５の縦軸は、各照明光の支配度、すなわち、被照明物体のサイズと輝度とを総合した値を示している。縦軸方向の高さが高いほど、支配度が強いことを示す。
【００４２】
本システムにおいて算出される被写界の照明色Ｃ（以下、「算出照明色Ｃ」と称す。）は、図５中に×印を付したように、各照明光の照明色Ｃn，Ｃf，Ｃlの中間色であり、しかも、支配度が１位である照明光（図では自然光）の照明色Ｃnとの相関が最も高く、支配度が２位である照明光（図では蛍光灯）の照明色Ｃfとの相関が次に高く、支配度が３位である照明光（図では電球）の照明色Ｃlとの相関が最も低くなる傾向にある。つまり、複数種類の照明光の各々の支配度が、算出照明色Ｃに対して的確に反映される。
【００４３】
例えば、図３上部に示したように、被写界中に、夕焼けで照らされた比較的大きな白い船と、蛍光灯で照らされた比較的大きな灰色のビルとが存在し、両者のサイズが同程度であり、かつ、前者の方が高輝度であったとする。このとき、被写界における支配度は、船の方が高い。この場合、本システムのホワイトバランス処理は、支配度の高い白い船をより白く再現する方向に働く。このように白い船の支配度が高ければ、ユーザも白い船を重要視している可能性が高いので、このホワイトバランス処理にユーザが満足する可能性も高い。
【００４４】
さらに、本システムのＣＰＵ１５は、ステップＳ１８において、照明色Ｃn，Ｃf，Ｃlの加重Ｗn，Ｗf，Ｗlに対し、撮影直前の照明判定（ステップＳ１３）の結果をも反映させる。したがって、撮影直前の被写界に大幅な変化（大きな物体が横切る等）が無い限り、ホワイトバランス制御に成功する確率は、より高まる。
なお、本システムのＣＰＵ１５は、ステップＳ１８において、自然光グループの輝度Ｙnを、自然光グループに属する第１小グループｅn1の輝度Ｙn1としたが、第１小グループｅn1の輝度Ｙn1と第２小グループｅn2の輝度Ｙn2とを両者の領域数Ｆn1，Ｆn2で加重平均したものとしてもよい。その場合、蛍光灯グループの輝度Ｙfは、第１小グループｅf1の輝度Ｙf1と第２小グループｅf2の輝度Ｙf2とを両者の領域数Ｆf1，Ｆf2で加重平均したものとなる。また、電球グループの輝度Ｙlは、第１小グループｅl1の輝度Ｙl1と第２小グループｅl2の輝度Ｙl2とを両者の領域数Ｆl1，Ｆl2で加重平均したものとなる。
【００４５】
また、本システムのＣＰＵ１５は、ステップＳ１８において、自然光グループの領域数Ｆnを、自然光グループに属する第１小グループｅn1の領域数Ｆn1としたが、自然光グループの総領域数としてもよい。その場合、蛍光灯グループの領域数Ｆfは、蛍光灯グループの総領域数となり、電球グループの領域数Ｆlは、電球グループの総領域数となる。
また、本システムのＣＰＵ１５は、照明色Ｃn，Ｃf，Ｃlを加重平均してからホワイトバランスゲインを算出したが、照明色Ｃn，Ｃf，Ｃlの各々に最適なホワイトバランスゲインを算出してから、それらを加重平均してもよい。その加重平均の加重の設定を、前述した設定と同様に行えば、同じ効果を得ることができる。
【００４６】
また、本システムのＣＰＵ１５は、カードメモリ１８Ａへ記録する情報を、ホワイトバランス処理後の撮影画像信号としたが、ホワイトバランス処理前の撮影画像信号にホワイトバランスゲインの情報を付加したものとしてもよい。
また、本システムのＣＰＵ１５は、以下の各処理の幾つかを実行し、ホワイトバランス制御の成功率を更に向上させてもよい。
（１）撮影画像Ｉに対し顔認識処理を施し、撮影画像Ｉ中に人物が存在するか否かを判定する。人物が存在した場合には、その存在領域やその周辺領域の色に基づき、その人物の照明色を判定し、さらに、その照明色の属する小グループを調べる。ステップＳ１７におけるヒストグラムの作成では、その小グループの領域数を大きめに計上する。
（２）（１）と同じ手順で人物の照明色を判定し、さらに、その照明色の属する大きなグループ（自然光グループ、蛍光灯グループ、電球グループ）を調べる。ステップＳ１８における加重の設定では、その大グループに対応する加重を、大きめに設定する。
（３）撮影情報（スポット測光エリア、ＡＦ測距点の位置など）に基づき、撮影画像Ｉにおける主要被写体位置を推定する。そして、その主要被写体やその周辺領域の色に基づき、その主要被写体の照明色を判定し、さらに、その照明色の属する小グループを調べる。ステップＳ１７におけるヒストグラムの作成では、その小グループの領域数を大きめに計上する。
（４）（３）と同じ手順で主要被写体の照明色を判定し、さらに、その照明色の属する大きなグループ（自然光グループ、蛍光灯グループ、電球グループ）を調べる。ステップＳ１８における加重の設定では、その大グループに対応する加重を大きめに設定する。
（５）撮影情報に基づき、被写界における主要被写体の輝度を認識する。そして、その輝度が所定の閾値以上であるか否か判定する。その輝度が閾値以上であった場合、ステップＳ１７における自然光グループのヒストグラムの作成では、色温度の高い小グループの領域数を、少なめに計上する。
（６）（５）と同じ手順で主要被写体の輝度を認識する。そして、ステップＳ１８における各加重の設定では、各加重を、その輝度に応じて調節する。具体的には、主要被写体の輝度が所定の閾値以上であったときには、自然光グループに対応する加重を大きめに設定し、輝度が所定の閾値未満であったときには、人工光グループ（蛍光灯グループ及び電球グループ）に対応する加重を大きめに設定する。
【００４７】
［第２実施形態］
以下、本発明の第２実施形態を説明する。本実施形態も、ディジタルカメラシステムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。
図６は、本実施形態のホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。図６に点線で示すとおり、第１実施形態との相違点は、ステップＳ１８とステップＳ１９との間に、算出照明色Ｃの色温度成分にリミッタをかける手順（ステップＳ１８’）が挿入された点にある。
【００４８】
図７は、ステップＳ１８’を説明する概念図である。
一般的に、算出照明色の色温度成分にリミッタをかける場合、その照明種類が自然光であるときには、図７（Ａ）に示すような自然光用のリミッタ特性（但し、リミット範囲は、被写体輝度によって異なる。）を使用し、その照明種類が蛍光灯であるときには、図７（Ｂ）に示すような蛍光灯用のリミッタ特性（但し、リミット範囲は、被写体輝度によって異なる。）を使用し、その照明種類が電球であるときには、図７（Ｃ）に示すような電球用のリミッタ特性（但し、リミット範囲は、被写体輝度によって異なる。）を使用する。これらの図７（Ａ），（Ｂ），（Ｃ）に明らかなとおり、被写体輝度が同じであっても、自然光と、蛍光灯と、電球との間では、リミット範囲（Ｔmin，Ｔmax）が互いに異なる。
【００４９】
本実施形態のＣＰＵ１５は、予め、これら３種類のリミッタ特性をそれぞれ認識している。そして、ステップＳ１８’において、ＣＰＵ１５は、これら３種類のリミッタ特性を加重平均し、それによって得られる特性をリミッタ特性として、算出照明色Ｃの色温度成分にリミッタをかける。その加重平均では、自然光用のリミッタ特性の加重、蛍光灯用のリミッタ特性の加重、電球用のリミッタ特性の加重を、それぞれステップＳ１８で設定した加重Ｗn，Ｗf，Ｗlと同等に設定する。
【００５０】
但し、リミッタ特性の全てを加重平均すると演算量が増えるので、実際の動作は、次のとおり行われる。
すなわち、ＣＰＵ１５は、先ず、撮影情報から認識した主要被写体の輝度Ｙ0に応じて自然光用のリミッタ特性（図７（Ａ））を参照し、輝度Ｙ0に対応するリミット範囲（Ｔnmin ，Ｔnmax）を認識する。また、その輝度Ｙ0に応じて蛍光灯用のリミッタ特性（図７（Ｂ））を参照し、輝度Ｙ0に対応するリミット範囲（Ｔfmin，Ｔfmax）を認識する。また、輝度Ｙ0に応じて電球用のリミッタ特性（図７（Ｃ））を参照し、輝度Ｙ0に対応するリミット範囲（Ｔlmin，Ｔlmax）を認識する。
【００５１】
ＣＰＵ１５は、それらのリミット範囲（Ｔnmin ，Ｔnmax），（Ｔfmin，Ｔfmax），（Ｔlmin，Ｔlmax）を式（３）で加重平均し、リミット範囲（Ｔmin，Ｔmax）を得る（図７（Ｄ）参照）。
Ｔmax＝ＷnＴnmax＋ＷfＴfmax＋ＷlＴlmax
Ｔmin＝ＷnＴnmin＋ＷfＴfmin＋ＷlＴlmin  …（３）
なお、式（３）は、色温度Ｔmax，Ｔnmax，Ｔlmax，Ｔmin，Ｔnmin，Ｔfmin，Ｔlminの単位が、式（２）における色Ｃ，Ｃn，Ｃf，Ｃlの色温度成分の単位（ここでは、ミレッド）と同じであることを前提とした。この場合、式（３）における加重Ｗn，Ｗf，Ｗlの値は、式（２）における加重Ｗn，Ｗf，Ｗlの値と同じになる。しかし、単位を変えた場合は、加重Ｗn，Ｗf，Ｗlの値も変える必要がある。
【００５２】
そして、ＣＰＵ１５は、取得したリミット範囲（Ｔmin，Ｔmax）と、算出照明色Ｃの色温度成分とを比較し、その色温度成分が下限値Ｔminを下回っていた場合は、その色温度成分の値を下限値Ｔminと同じ値に置換（クリップ）し、上限値Ｔmaxを上回っていた場合は、その色温度成分の値を上限値Ｔmaxと同じ値に置換（クリップ）する（ステップＳ１８’の説明終了）。
【００５３】
以上、本実施形態によれば、自然光用のリミッタ特性（図７（Ａ））と、蛍光灯用のリミッタ特性（図７（Ｂ））と、電球用のリミッタ特性（図７（Ｃ））とを加重平均し、しかも、その加重を、ステップＳ１８で設定した加重と同じに設定するので、複数種類の照明光の各々の支配度が、リミット範囲（Ｔmin，Ｔmax）に対しても的確に反映される。したがって、ホワイトバランス処理が失敗に終わる可能性は、より小さく抑えられる。
【００５４】
なお、本実施形態のＣＰＵ１５は、リミットの対象を、算出照明色Ｃの色温度成分のみとしたが、色温度成分と乖離成分との双方としてもよい。
［その他の実施形態］
なお、上述した実施形態では、一眼レフレックスタイプのディジタルカメラ（少なくともクイックリターンミラーと被写体監視用のカラー撮像素子とを搭載。）を説明したが、コンパクトタイプのディジタルカメラ（クイックリターンミラーと被写体監視用のカラー撮像素子とを非搭載。）にも、本発明は適用可能である。その場合、撮影前画像信号の取得と、撮影画像信号の取得との双方を、画像撮影同一のカラー撮像素子（画像撮影用のカラー撮像素子）によって行うことになる。
【図面の簡単な説明】
【００５５】
【図１】本システムの構成図である。
【図２】第１実施形態のホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。
【図３】ステップＳ１６，Ｓ１７を説明する図である。
【図４】ステップＳ１８を説明する図である。
【図５】撮影時に被写界を照明する各照明光の支配度の一例を示す図である。
【図６】第２実施形態のホワイトバランス処理に関わるＣＰＵ１５の動作フローチャートである。
【図７】ステップＳ１８’を説明する概念図である。
【符号の説明】
【００５６】
１…ディジタルカメラ本体、２…交換レンズ，１１…クイックリターンミラー，１３…シャッタ，１２…画像撮影用のカラー撮像素子，１３…シャッタ，２０…測光部，１５…ＣＰＵ
【図１】
2008042644.tif 000003
【図２】
2008042644.tif 000004
【図３】
2008042644.tif 000005
【図４】
2008042644.tif 000006
【図５】
2008042644.tif 000007
【図６】
2008042644.tif 000008
【図７】
2008042644.tif 000009