(57)【要約】【課題】  例えば屋外光と屋内光等の複数種類の光源が混在したミックス光源であっても適切なホワイトバランス制御を可能とする。【解決手段】  スポットＷＢ演算部２０２は、撮像部２０１より出力される画像データに基づいて、ホワイトバランスの制御処理に係る複数の評価値を演算し、マルチ調整演算部２０７は、それら複数の評価値に基づいて、ホワイトバランスを制御するためのホワイトバランス制御値を演算し、ホワイトバランス制御部２１０は、そのホワイトバランス制御値に基づいて、撮像部２０１より出力される画像データのホワイトバランスを制御する。【選択図】  図２
2006203557.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
前記撮像手段より出力される複数の画像データの各々の一部分の領域の画像データに基づいて、ホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算手段と、
前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮像手段による撮像処理を操作するための操作手段を更に有し、
前記複数の画像の各々は、前記操作手段が操作される度に得られることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記操作手段の操作により、焦点調整を開始させるための操作と、設定された焦点条件に基づいて本撮像を開始させるための操作とが行われる特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
被写体像を撮像する撮像手段と、
前記撮像手段より出力される画像データを複数の領域に分割する分割手段と、
前記分割手段により分割された画像データである複数の分割画像データから任意の複数の分割画像データを選択する選択手段と、
前記選択手段により選択された複数の分割画像データに基づいてホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算手段と、
前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御手段とを有することを特徴とする撮像装置。
【請求項５】
前記複数の画像データの各々の色温度を算出する第１の色温度算出手段と、
前記第１の色温度算出手段により算出された色温度を表示手段上に表示させる表示制御手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項６】
選択された複数の分割画像データの各々の色温度を算出する第１の色温度算出手段と、
前記第１の色温度算出手段により算出された色温度を表示手段上に表示させる表示制御手段とを更に有することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記第１の色温度算出手段により算出された色温度に基づいて、前記ホワイトバランス制御値演算手段にて前記ホワイトバランス制御値が算出される場合に前記評価値とともに使用される色温度を算出する第２の色温度算出手段を更に有し、
前記表示制御手段は、前記第１の色温度算出手段により算出される色温度とともに、前記第２の色温度算出手段により算出される色温度を前記表示手段上に表示させることを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記ホワイトバランス制御手段によりホワイトバランスが制御された後の画像データとともに前記ホワイトバランス制御値を記録媒体に記録する記録手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
前記ホワイトバランス制御手段によりホワイトバランスが制御された後の画像データとともに、前記前記ホワイトバランス制御値を得るための画像データを記録媒体に記録する記録手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項１０】
被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段より出力される複数の画像データの各々の一部分の領域の画像データに基づいて、ホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算ステップと、
前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１１】
被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段より出力される画像データを複数の領域に分割する分割ステップと、
前記分割手段により分割された画像データである複数の分割画像データから任意の複数の分割画像データを選択する選択ステップと、
前記選択手段により選択された複数の分割画像データに基づいてホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算ステップと、
前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１０又は１１に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段で得られた画像データのホワイトバランス制御処理が可能な撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
従来、複数の色フィルタを有する撮像手段で撮影された画像に対するホワイトバランス処理としては、例えば、次のようなオートホワイトバランス処理及びプリセットホワイトバランス処理が挙げられる。
【０００３】
（オートホワイトバランス処理）
撮像素子から出力される撮影画像データにおける白色（無彩色）の部分を検出し、当該検出結果（白色部分）から、撮影画像における被写体に対する照射光源の色温度を求め、当該色温度に基づいたホワイトバランス制御値（白色部分の被写体領域を無彩色にするための制御値）を、撮像素子から出力される撮影画像データに対して乗算する。
【０００４】
（プリセットホワイトバランス処理）
特定の色温度の光源により照射された被写体（物体）を撮影した場合に、撮影画像から無彩色と思われる被写体領域を検出し、その被写体領域の画像データが無彩色となるように、撮像素子から出力される撮影画像データへ乗算処理（ホワイトバランス演算処理）を行う。また、このようなプリセットホワイトバランス処理では、例えば、太陽光が光源として照射されている被写体を撮影する場合に、太陽光の色温度に対応したホワイトバランス制御値を選択する太陽光ホワイトバランスモードや、タングステン電球光を光源として照射されている被写体を撮影する場合に、タングステン電球光の色温度に対応したホワイトバランス制御値を選択するタングステンホワイトバランスモード、あるいは本撮影に先立ち白い被写体(白紙)を撮影し、その撮影画像のホワイトバランス制御値を用いてホワイトバランス制御を行うマニュアルホワイトバランスモード等がある（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００２−１３５７８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のホワイトバランス補正処理は、均一光源下では、高い精度でホワイトバランスの白判別を行うことができると考えられるが、例えば、室内の窓際の被写体を撮影したような、屋外光と室内の蛍光灯とのミックス光源などの場合、屋外光である比較的高い色温度の光源下では白く、屋内の電球光の低い色温度の光源下では赤味になってしまい適切なホワイトバランス制御が行なわれなくなるといった問題がある。
【０００７】
そこで、本発明の目的は、例えば屋外光と屋内光等の複数種類の光源が混在したミックス光源であっても適切なホワイトバランス制御を可能とすることにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の第１の態様は、被写体像を撮像する撮像手段と、前記撮像手段より出力される複数の画像データの各々の一部分の領域の画像データに基づいて、ホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算手段と、前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御手段とを有することを特徴とする。
【０００９】
本発明の撮像装置の第２の態様は、被写体像を撮像する撮像手段と、前記撮像手段より出力される画像データを複数の領域に分割する分割手段と、前記分割手段により分割された画像データである複数の分割画像データから任意の複数の分割画像データを選択する選択手段と、前記選択手段により選択された複数の分割画像データに基づいてホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算手段と、前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御手段とを有することを特徴とする。
【００１０】
本発明の撮像装置の制御方法の第１の態様は、被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、前記撮像手段より出力される複数の画像データの各々の一部分の領域の画像データに基づいて、ホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算ステップと、前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御ステップとを有することを特徴とする。
【００１１】
本発明の撮像装置の制御方法の第２の態様は、被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、前記撮像手段より出力される画像データを複数の領域に分割する分割ステップと、前記分割手段により分割された画像データである複数の分割画像データから任意の複数の分割画像データを選択する選択ステップと、前記選択手段により選択された複数の分割画像データに基づいてホワイトバランスを制御するためのホワイトバランス制御値を演算するホワイトバランス制御値演算ステップと、前記ホワイトバランス制御値に基づいて、前記撮像手段より出力される画像データのホワイトバランスを制御するホワイトバランス制御ステップとを有することを特徴とする。
【００１２】
本発明のプログラムは、前記撮像装置の制御方法の第１又は第２の態様をコンピュータに実行させることを特徴とする。
【００１３】
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、例えば屋外光と屋内光等の複数種類の光源が混在したミックス光源であっても適切なホワイトバランス制御が可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係るデジタルカメラの要部構成を示すブロック図である。
先ず、画像処理装置１０６及びその周辺の構成要素について説明する。１０１は、複数のレンズ群で構成される撮影レンズ、１０２はシャッタ、１０３は光学像を電気信号に変換する色フィルタを有する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１０５はタイミング発生回路であって、撮像素子１０３、Ａ／Ｄ変換器１０４に対してクロック信号や制御信号を供給する。このタイミング発生回路１０５は、後述するメモリ制御回路１０７及びマイコン１２０により制御されている。
【００１７】
１０６は画像処理回路であり、Ａ／Ｄ変換器１０４からのデータ、あるいはメモリ制御回路１０７からのデータに対して、所定の画素補間処理やＷＢモード選択手段１１５により設定されているホワイトバランスモードに基づいたホワイトバランス補正処理、現像処理等を行う。露光制御回路１１３、測距制御回路１１４はマイコン１２０により制御され公知のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行っている。１０７はメモリ制御回路であり、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０６、画像表示メモリ１１０、メモリ１１１、圧縮・伸長回路１１２を制御する。
【００１８】
Ａ／Ｄ変換器１０４のデータが、画像処理回路１０６、メモリ制御回路１０７、画像表示メモリ１１０あるいはメモリ１１１に書き込まれる。１１０は画像表示メモリ、１０９はＴＦＴ、ＬＣＤ等から成る画像表示部であり、画像表示メモリ１１０に書き込まれた表示用の画像データは画像表示回路１０８により画像表示部１０９に表示される。１１１は撮影した静止画像を格納するためのメモリであり、所定枚数の静止画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合であっても、該メモリ１１１に対して高速かつ大量の画像書き込みを行うことが可能となる。
【００１９】
１１２は適応離散コサイン変換（ＡＤＣＴ）等により画像データをＪＰＥＧデータとして圧縮伸長する圧縮伸長回路であり、メモリ１１１に格納された画像データを読み込んで圧縮処理あるいは伸長処理を行い、処理を終えたデータをメモリ１１１に書き込む。１１３は絞りやシャッタ１０２を制御する露光制御回路である。１１４は測距制御回路であって、その出力に基づき、撮影レンズ１０１のフォーカシングを制御する。１２０は上記構成のデジタルカメラを制御するシステム制御回路であるところのマイコンである。
【００２０】
次に、各操作部材について説明する。１１５、１１６、１１７、１１８及び１１９は、マイコン１２０の各種の動作指示を入力するための操作部材であり、スイッチやダイアルにより構成される。ここで、これらの操作部材を具体的に説明する。
【００２１】
１１５はホワイトバランスモード選択スイッチ(以下、ＷＢスイッチと称す)であり、該ＷＢスイッチ１１５を操作することにより、先に説明したオートホワイトバランスモード（ＡＷＢ）、太陽光ホワイトバランスモード、タングステンホワイトバランスモード、色温度指定ホワイトホワイトバランスモード、マニュアルホワイトバランスモード等の各種プリセットホワイトバランスモードを選択可能である。さらに本実施形態ではこれらホワイトバランスモードに加え、マルチスポットホワイトバランスモード（マルチスポットＷＢモード）を有し、ユーザが選択可能なように構成されている。
【００２２】
１１６はレリーズスイッチ（以下、スイッチＳＷ１と称す）であり、不図示のレリーズボタンの半押しでオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の撮影準備動作開始を指示する。１１７はレリーズスイッチ（以下、スイッチＳＷ２と称す）であり、不図示のレリーズボタンの全押しでオンとなり、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、メモリ制御回路１０７を介してメモリ１１１に画像データを書き込む露光処理、画像処理回路６やメモリ制御回路１０７での演算を用いて設定されているホワイトバランスモードに応じた、ホワイトバランス補正処理、現像処理、メモリ１１１から画像データを読み出し、圧縮伸長回路１１２で圧縮を行い、記録媒体１Ａに画像データを書き込む記録処理、という一連の処理の動作開始を指示する。
【００２３】
次に、デジタルカメラと接続される各構成要素及び付属部材について説明する。１１９は電源制御回路であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り換えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びマイコン１２０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。１２２はメモリカードやハードディスク等の記録媒体とのインタフェース（Ｉ／Ｆ）、１２３はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
【００２４】
なお、本実施形態では記録媒体を取り付けるインタフェース１２２及びコネクタ１２３を１系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わないが、また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００２５】
インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。
【００２６】
１Ａはメモリカードやハードディスク等の記録媒体であり、該記録媒体１Ａは、半導体メモリや磁気ディスク等から構成される記録部１Ａ３、デジタルカメラとのインタフェース（Ｉ／Ｆ）１Ａ１、コネクタ１Ａ２を備えている。
【００２７】
次に、図１に示される構成のデジタルカメラにおいて画像処理部１０６に注目して、その動作を説明する。図２は、画像処理部１０６の動作を説明するためのブロック図である。
【００２８】
デジタルカメラにおいて、撮像部２０１は図１の１０１から１０５に相当し、撮像素子１０３により読み出しＡ／Ｄ変換された撮影画像データ（色フィルタの出力データ）２１５を出力する。撮像部２０１から出力された撮影画像データ２１５は、以下の画像処理が行われる。
【００２９】
ホワイトバランス制御部２１０は、撮像部２０１から出力された撮影画像データ２１５に対して、ホワイトバランス制御のための補正処理を施す。現像処理部２１１は、ホワイトバランス制御部２１０による処理後画像データに対して、カラーマトリックス変換等による現像処理を施し、非可逆圧縮符号化処理を施すことで、ＪＰＥＧ画像データを生成する。画像記録部２１２は、現像処理部２１１で得られたＪＰＥＧ画像データをファイル化し記録媒体２１３へ記録する。
【００３０】
ここでさらに具体的に説明する。まず、ホワイトバランス制御部２１０は、ホワイトバランス制御値２１７に基づいて、上記のホワイトバランス制御のための演算処理を実行するが、ホワイトバランス制御値２１７は、次のようにして生成される。
【００３１】
オートホワイトバランス（ＡＷＢ）演算部２０３は、撮像部２０１から出力された撮影画像データ２１５を構成する各色成分データ（色フィルタの出力データ）に対して白色判別処理を行なうことで、ＡＷＢ制御値２０４を求め、これをＷＢモード選択部２０９に対して出力する。
【００３２】
オートホワイトバランス（ＡＷＢ）演算部２０３によるＡＷＢ制御値２０４の算出方法を、図１０を参照しながら説明する。図１０に示すように、オートホワイトバランス（ＡＷＢ）演算部２０３は、白色判別演算処理部１００２、白色判別評価処理部１００３、積分演算処理部１００４及びホワイトバランス演算処理部１００５を備える。またここでは、撮像素子に例えば図９に示されるような複数の色フィルタが備えられている場合を例に挙げて説明する。図９に示すフィルタは、Ｒ（レッド）、Ｇｒ１（グリーン１）、Ｇｒ２（グリーン２）、及びＢ（ブルー）の配列を持つ原色フィルタで構成されている。
【００３３】
ホワイトバランス処理で用いるＡＷＢ制御値２０４を求めるために、先ず、図９に示したような色フィルタを有する撮像素子で得られた撮影画像データ（アナログ）は、ディジタル化（Ａ／Ｄ変換）されディジタル色成分データとして入力される。以下の白色判別演算処理部１００２、白色判別評価処理部１００３及び積分演算処理部１００４での処理は、一画面内の各色成分データについて行われる。
【００３４】
白判別演算処理部１００２は、入力されたディジタル色成分データを受け取り、該ディジタル色成分データにおいて、図９に示した色フィルタの色配列（ベイヤー配列）のＲ、Ｇｒ１、Ｇｒ２、及びＢの２画素×２画素（上記図９のグレーで塗られた１組）を一組として、例えば、次の式１及び式２に従った演算処理を実行し、該演算結果であるＣｘ及びＣｙデータを、白色判別評価処理部１００３へ供給する。
Ｃｘ＝｛Ｒ−Ｂ｝／Ｙｉ・・・（式１）
Ｃｙ＝｛（Ｒ＋Ｂ）−（Ｇｒ１＋Ｇｒ２）｝／Ｙｉ・・・（式２）
【００３５】
ここで、白色判別評価処理部１００３へ供給されるＣｘ及びＣｙデータは、ディジタル色成分データを、Ｃｘ−Ｃｙ軸からなる２次元の色度座標上に表現した座標データである。また、Ｙｉは、例えば、Ｒ、Ｇｒ１、Ｇｒ２、及びＢの平均値で表される色信号の輝度レベルに相当する値であり、このＹｉで正規化することで、白判定が輝度レベルに依存することがなくなる。
【００３６】
白色判別評価処理部１００３は、白判別演算処理部１００２からのＣｘ及びＣｙデータが、ホワイトバランス調整処理を行なうための白色（無彩色）データであるか否かの判別を行なう。
【００３７】
具体的には、まず、図１１は、Ｃｘ及びＣｙデータで表される色度座標上の白色と判別される評価領域１１０２（以下、白色判別領域と称す）を示したものである。白色判別領域１１０２は、理想的な黒体輻射の色度に近似した直線１１０１の付近の領域に設けられ、自然光や人工光等の光源を表す色度座標が含まれた領域である。
【００３８】
従って、白色判別評価処理部１００３は、図１１に示した色度座標上において、白判別演算処理部８０３からのＣｘ及びＣｙデータにより示されるＣｘ及びＣｙ座標が白色判別領域１００２内に含まれる場合、このときのＣｘ及びＣｙデータの演算に用いられた一組の色成分データを、積分演算処理部１００４へ供給する。積分演算処理部１００４は、白色判別評価処理部１００３からの色成分データを、色成分毎に加算する。
【００３９】
上述の白色判別演算処理部１００２、白色判別評価処理部１００３、及び積分演算処理部１００４での処理が、一画面内の各色成分データについて行われると、ホワイトバランス演算処理部１００５は、積分演算処理部１００５で得られた演算結果、すなわちＲ成分の積分値ＳｕｍＲ、Ｇｒ１成分の積分値ＳｕｍＧｒ１、Ｇｒ２成分の積分値ＳｕｍＧｒ２、及びＢ成分の積分値ＳｕｍＢを以って、各色成分毎のホワイトバランス制御値ＷＢＲ、ＷＢＧｒ１、ＷＢＧｒ２、及びＷＢＢを次の式３〜式６によって求める。
ＷＢＲ＝｛（ＳｕｍＲ＋ＳｕｍＧｒ１＋ＳｕｍＧｒ２＋ＳｕｍＢ）／４｝／ＳｕｍＲ・・・（式３）
ＷＢＧｒ１＝｛（ＳｕｍＲ＋ＳｕｍＧｒ１＋ＳｕｍＧｒ２＋ＳｕｍＢ）／４｝／ＳｕｍＧｒ１・・・（式４）
ＷＢＧｒ２＝｛（ＳｕｍＲ＋ＳｕｍＧｒ１＋ＳｕｍＧｒ２＋ＳｕｍＢ）／４｝／ＳｕｍＧｒ２・・・（式５）
ＷＢＢ＝｛（ＳｕｍＲ＋ＳｕｍＧｒ１＋ＳｕｍＧｒ２＋ＳｕｍＢ ）／４｝／ＳｕｍＢ・・・（式６）
【００４０】
従って、これらのＡＷＢ制御値２０４であるＷＢＲ、ＷＢＧｒ１、ＷＢＧｒ２、及びＷＢＢに基いて、撮影画像の各色成分データに対してホワイトバランス補正処理が行なわれることになる。
【００４１】
ＷＢモード選択部２０９に対しては、ＡＷＢ制御値２０４と共に、ＷＢ制御値２０６（１）〜ＷＢ制御値２０６（Ｎ）、およびマルチＷＢ制御値２０８が供給される（Ｎはプリセットホワイトバランスの数）。ＷＢ制御値２０６（１）〜ＷＢ制御値２０６（Ｎ）はそれぞれ、様々な被写体を照射する光源の色温度に対応したプリセットされたホワイトバランス制御値であり、調整演算部２０５（１）〜調整演算部２０５（Ｎ）により生成される。
【００４２】
不揮発性メモリ２１４には調整演算部２０５（１）〜調整演算部２０５（Ｎ）で使用するデータが保存されており、そのデータはそれぞれ、予めされたデジタルカメラの撮像素子の色フィルタの特性の個体差を吸収するように上記複数の基準プリセットホワイトバランス制御値に対して予め調整されたデータある。調整演算部２０５（１）〜調整演算部２０５（Ｎ）はそのデータを用いて演算処理を実行することで、デジタルカメラでの調整されたＷＢ制御値２０６（１）〜ＷＢ制御値２０６（Ｎ）を生成する。
【００４３】
また、マルチスポットＷＢが選択されている場合は、撮像部２０１から出力された撮影画像データ２１５のうち、図４に示す撮影フレーム４００で示される撮影画像データ２１５の中から中央部の所定領域４０１（ＷＢ検出領域）の撮影画像データを抽出したデータが、スポットＷＢ演算部２０２に入力される。スポットＷＢ演算部２０２では、抽出されたＷＢ検出領域４０１の画像データを構成する各色成分データに対して白色判別処理を行なうことで、撮影フレーム４００内の中央部のみの撮影画像データを対象としたＷＢ制御値であるスポットＷＢ制御値２１６を求め不揮発性メモリ２１４に保存する。マルチ調整演算部２０７ではスポットＷＢ制御値２１６を基に演算処理を実行することでマルチＷＢ制御値２０８を生成する。
【００４４】
従って、上述のようにして調整演算部２０５（１）〜調整演算部２０５（Ｎ）、及びマルチ調整演算部２０７で生成されたＷＢ制御値２０６（１）〜ＷＢ制御値２０６（Ｎ）、及びマルチＷＢ制御値２０８がＡＷＢ制御値２０４と共に、ＷＢモード選択部２０９に対して供給される。なお、ホワイトバランスモードとしてマルチスポットＷＢが選択されている場合のデジタルカメラにおける撮影動作については後述する。
【００４５】
ＷＢモード選択部２０９は、ＡＷＢ制御値２０４、及びＷＢ制御値２０５（１）〜ＷＢ制御値２０５（Ｎ）とマルチＷＢ制御値２０８の中から選択した制御値２１７を出力する。例えば、デジタルカメラがオートホワイトバランスモードに設定された場合、ＷＢモード選択部２０９は、ＡＷＢ制御値２０４をホワイトバランス制御部２１０に対して出力する。
【００４６】
ホワイトバランス制御部２１０は、ＷＢモード選択部２０９からの制御値２１７に基づき、撮像部２０１から出力された撮影画像データ２１５を構成する各色成分データ毎にゲインをかけることで、撮影画像データ２１５のホワイトバランス制御処理を実行する。現像処理部２１１は、ホワイトバランス制御部２１０による処理後画像データに対して、カラーマトリックス変換等による現像処理（輝度信号Ｙと色差信号Ｐｒ／Ｐｂの現像処理）を施し、さらに非可逆圧縮符号化処理を施すことで、ＪＰＥＧ画像データを生成し、画像記録部２１２により画像ファイル化され当該画像ファイルを記録媒体２１３へ記録する。
【００４７】
上記のように構成されたデジタルカメラにおいて、マルチスポットＷＢモードが選択されている場合の撮影動作について説明する。
【００４８】
まず、本実施形態におけるマルチスポットＷＢモードの動作を簡単に説明する。マルチスポットＷＢモードが選択された場合、連続した３回の撮影動作を１回の撮影とし、最初の２回の撮影動作がスポットＷＢ制御値を求めるための予備撮影、３回目の撮影した画像データが記録すべき対象となる本撮影とし、２回の予備撮影により求められたスポットＷＢ制御値２１６からマルチスポットＷＢ制御値２０７を求め本撮影の画像データのホワイトバランス制御処理を行うように構成されている。
【００４９】
次に図３のフローチャートを用いて、マルチスポットホワイトバランス撮影について説明する。
【００５０】
ステップＳ３０１では、上記のように本実施形態では連続した３回の撮影動作を一回の撮影とするので撮影回数を計測するためのカウント値Ｎを３に初期化する。
【００５１】
ステップＳ３０２では、先に図１の説明で述べたようにレリーズスイッチを構成するＳＷ１、ＳＷ２の操作に応答し、ＡＦ処理、ＡＥ処理、露光処理までの一連の撮影処理が行われ撮影データがメモリに一時保存される。ステップＳ３０３では、撮影回数を計測するカウント値Ｎを−１する。
【００５２】
ステップＳ３０４では、ステップＳ３０３の撮影処理が予備撮影か本撮影かを判定する。この判定は先に説明したように、本実施形態では連続した３回の撮影処理の最初の２回がスポットＷＢ値を求めるための予備撮影、３回目が画像データが記録すべき対象となる本撮影である。よってステップＳ３０４で行う判定は、一連の撮影動作の何回目の撮影処理かの判定が行われる。ここでは３回目の撮影処理か否かを判定することにより、該撮影がＷＢ値を求めるための予備撮影か本撮影かを判断している。すなわちカウント値Ｎが０か否かが判定される。
【００５３】
ステップＳ３０４で、該撮影処理が本撮影ではないと判断した場合は、ステップＳ３１０に進みスポットＷＢ演算部２０２にてスポットＷＢ演算を行う。結果はメモリ２１４に保存する。予備撮影は２回の撮影処理で完了するので、ステップＳ３０２〜ステップＳ３１０を繰り返すことになる。ここで撮影者は、この予備撮影をホワイトバランス補正処理の対象としたい光源が含まれる場所を撮影フレームの中心に配置して撮影を行うことで、対象となる被写体のホワイトバランス制御値を指定することが可能となる。ステップＳ３０２〜ステップＳ３１０が２回繰り返されステップＳ３０４で本撮影であると判断されるとステップＳ３０５に進む。
【００５４】
ステップＳ３０５では、ステップＳ３１０で得られメモリ２１４に保存されている２回分のスポットＷＢ制御値を用いてマルチ調整演算部２０７にて所定の演算を行い本撮影での撮影データに使用するホワイトバランス制御値（マルチＷＢ制御値２０８）を演算しステップＳ３０６に進む。
【００５５】
ステップＳ３０６では、ステップＳ３０２で得られた撮影データに対して、ステップＳ３０５で演算したマルチＷＢ制御値２０８を用いてホワイトバランス制御部２１０によりホワイトバランス補正制御処理を実行しステップＳ３０７に進む。
【００５６】
ステップＳ３０７では現像処理部２１１にて現像処理を施し、さらに非可逆圧縮符号化処理を施すことで、ＪＰＥＧ画像データを生成しステップＳ３０８に進む。ステップＳ３０８では画像記録部２１２によりＪＰＥＧ画像データをファイル化しステップＳ３０９に進む。ステップＳ３０９では該画像ファイルを記録媒体２１３へ記録し一連のマルチスポットホワイトバランス撮影を終了する。
【００５７】
次に、スポットＷＢ演算部２０２、及びマルチ調整演算部２０７によりマルチホワイトバランス制御値を求める過程を簡単に説明する。
【００５８】
図９に示すように、Ｒ（レッド）、Ｇｒ１（グリーン１）、Ｇｒ２（グリーン２）及びＢ（ブルー）の配列を持つ原色フィルタで構成されているとすると、スポットＷＢ演算部２０２により演算される手順は、図１０で示した手順と同様であり、撮影フレーム４００内全体の撮影画像データに対して行うか、中央部の所定領域４０１の撮影画像データを対象としてホワイトバランス制御値の演算を行うかの違いである。演算されたスポットＷＢ制御値はメモリに保存される。本実施形態では予備撮影が２回であるので所定領域４０１に対するスポットＷＢ制御値が２つ得られ保存されることになる。そして本撮影時にマルチ調整演算部２０７にてメモリ２１４に保存されているスポットＷＢ制御値に基づきマルチＷＢ制御値２０８が演算されることになる。例えば色成分Ｒ（レッド）に対して得られたＷＢ制御値をＳＰＯＴＷＢＲ１、ＳＰＯＴＷＢＲ２とすると、マルチ調整演算部２０７では、次の式７に従った演算処理を実行する。
ＭｕｌｔｉＷＢＲ＝（ＳＰＯＴＷＢＲ１＋ＳＰＯＴＷＢＲ２）／２・・・（式７）
【００５９】
同様の演算がＧ１、Ｇ２、Ｂの各色成分に対しても行われ、撮影画像データ全体に対してホワイトバランス補正制御処理が行われる。なお、マルチホワイトバランス制御値を求める方法はこれに限られるわけではなく、色温度別に光源の占める割合を求め、その求められた適切なミックス比に対応したホワイトバランス制御値を求めるよう構成してもよく、適宜処理されるものである。
【００６０】
以上の実施形態では、連続した３回の撮影動作を一回の撮影とし、最初の２回の撮影動作がＷＢ値を求めるための予備撮影、３回目の撮影した画像データが記録すべき対象となる本撮影としたが、予備撮影の回数は、適宜変更可能なように構成されてもよい。
【００６１】
またマルチスポットＷＢ選択下では、レリーズスイッチ操作による撮影処理毎に予備撮影を行いスポットＷＢ演算が行われるように構成されているが、これをレリーズスイッチ操作ではなく、別の操作スイッチ（例えばスポットＷＢスイッチと呼ぶ）を設け、該スポットＷＢスイッチが操作される毎に予備撮影を行いスポットＷＢ演算を行うようにし、レリーズスイッチで本撮影を行うように構成してもよい。このような構成では、スポットＷＢスイッチを操作する回数が任意とすることが可能で、より多くのスポットＷＢ演算からマルチホワイトバランス制御値を求め本撮影に適応することに有効となる。
【００６２】
また、所定の操作がされるまではメモリに記憶されているスポットＷＢ制御値に基づきマルチＷＢ制御値を複数の本撮影に適応するように構成することも可能である。すなわち同じマルチＷＢ制御値を連続して使用されるように構成してもよい。このような構成では連続撮影の場合などには、特に有効となる。ここでの所定の操作とはデジタルカメラの電源をオフする、ホワイトバランスモード選択スイッチが再度操作される、レリーズスイッチがオフされる等が考えられる。
【００６３】
以上説明したように、本実施形態の撮影手順によればホワイトバランスモードとして、複数回の操作部材の操作毎に撮影画面内の所定領域の撮影画像データに対応したホワイトバランス制御値を求め、該複数のホワイトバランス制御値より本撮影に適応するマルチホワイトバランス制御値を演算し撮影画像データに適応するホワイトバランスモードを用意したので、撮影者は、ミックス光源などの撮像条件において撮影される撮影画像データに対して、適切なホワイトバランス制御値によりホワイトバランス補正を行うことが可能な撮影手段を得ることができる。
【００６４】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本発明の第２の実施形態に係るデジタルカメラの要部構成は、図１と同じであり、その説明は省略する。
【００６５】
本実施形態の特徴は、図７に示すように撮影領域に対応した撮影画像データを複数の画像データに分割し、分割された画像データの中から任意の複数個所の画像データからホワイトバランス制御値を求め、撮影画像データに対してホワイトバランス補正制御を施すことである。本実施形態では図７（ａ）に示すように２５分割されているものとする。
【００６６】
次に、図５を用いてマルチスポットＷＢモードが選択されている場合についてその動作を説明する。なお、図５において、符号の下２桁の番号が図２と同一のものはその動作はほぼ同じであり、本実施形態では説明の簡単化のため説明を省略する。
【００６７】
ＷＢ領域分割部５１８は、撮影画像データ５１５を２５の画像データに分割し、撮影者により予め選択されている領域に対応した複数の画像データを抽出し、その画像データをスポットＷＢ演算部５０２に入力する。スポットＷＢ演算部５０２では、その画像データを構成する各色成分データに対して白色判別処理を行なうことで、選択されている各々領域の撮影画像データを対象としたＷＢ制御値であるスポットＷＢ制御値５１６を求め、これをメモリ５１４に保存する。
【００６８】
マルチ調整演算部５０７では、複数の領域に対応したスポットＷＢ制御値を基に演算処理を実行することでマルチＷＢ制御値５０８を生成する。従って、上述のようにして調整演算部５０５（１）〜調整演算部５０５（Ｎ）、及びマルチ調整演算部５０７で生成されたＷＢ制御値５０６（１）〜ＷＢ制御値５０６（Ｎ）、及びマルチＷＢ制御値が５０８、ＡＷＢ制御値５０４と共に、ＷＢモード選択部５０９に対して供給される。ＷＢモード選択部５０９は、ＡＷＢ制御値５０４、及びＷＢ制御値５０５（１）〜ＷＢ制御値５０５（Ｎ）とマルチスポットＷＢ制御値５０７の中から選択した制御値５１７を出力する。
【００６９】
次に図６のフローチャートを用いて、本実施形態のマルチスポットホワイトバランス撮影について説明する。
【００７０】
ステップＳ６０１では、撮影者は２５分割された撮影領域の中から任意の領域を選択する。選択する領域数は任意でよく、予め設定されている数が設定できるものとする。例えば、この選択可能な領域数が４と設定されている場合は、撮影者は４領域以下で任意の数の領域を選択する。この領域の選択方法の例として、図７（ｂ）に示すユーザインタフェースを用いて説明する。
【００７１】
マルチスポット選択釦７０２を操作してマルチスポットＷＢモードが選択されると画像表示部７０１に撮影領域に対応した２５分割された画像７０３が表示される。撮影者は、領域選択指標７０４を、操作スイッチ７０５〜７０８を操作して２５分割された領域の中からスポットホワイトバランス演算の対象としたい領域に移動させ、設定スイッチ７０９を押下することにより領域決定を行う。選択された領域は選択されたことを示す指標が表示される。図７（ｂ）では領域６、１３が選択決定されたことを示している。本実施形態ではこの選択された領域をスポットＷＢ領域と呼ぶ。スポットＷＢ領域の選択が終了すると、ステップＳ６０２に進む。
【００７２】
ステップＳ６０２では、レリーズスイッチを構成するＳＷ１、ＳＷ２の操作に応答し、ＡＦ処理、ＡＥ処理、露光処理までの一連の撮影処理が行われ撮影データがメモリに一時保存される。
【００７３】
ステップＳ６０３では、ＷＢ領域分割部５１８により撮影画像データ５１５からステップＳ６０１で選択されたスポットＷＢ領域に対応したデータを抽出し、その画像データがスポットＷＢ演算部５０２に入力され、各選択されているスポットＷＢ領域に対してスポットＷＢ演算を行う。結果はメモリ５１４に保存する。ステップＳ６０４では、ステップＳ６０３で得られメモリ５１４に保存されている複数のスポットＷＢ演算値を用いてマルチ調整演算部５０８にて所定の演算を行い本撮影での撮影データに使用するホワイトバランス制御値（マルチＷＢ制御値５０８）を演算しステップＳ６０５に進む。
【００７４】
ステップＳ６０５では、ステップＳ６０２で得られた撮影データに対して、ステップＳ６０４で演算したマルチＷＢ制御値５０８を用いてホワイトバランス制御部５１０によりホワイトバランス補正制御処理を実行しステップＳ６０６に進む。
【００７５】
ステップＳ６０６では現像処理部５１１にて現像処理を施し、さらに非可逆圧縮符号化処理を施すことで、ＪＰＥＧ画像データを生成しステップＳ６０７に進む。ステップＳ６０７では画像記録部５１２によりＪＰＥＧ画像データをファイル化しステップＳ６０8に進む。ステップＳ６０８では該画像ファイルを記録媒体５１３へ記録し一連のマルチスポットホワイトバランス撮影を終了する。
【００７６】
以上説明したように、本実施形態の撮影手順によればホワイトバランスモードとして、撮影画面の領域から、撮影時にホワイトバランス制御値算出の演算に使用する領域を指定して撮影を行い、指定した複数の領域に対応したホワイトバランス制御値を求め、該複数のホワイトバランス制御値から撮影画像データに適応するホワイトバランスモード制御値を求めるホワイトバランスモードを用意したので、撮影者は、ミックス光源などの撮像条件において撮影された画像に対して適切ホワイトバランス制御値によりホワイトバランス補正を行うことが可能な撮影手段を得ることができる。
【００７７】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本発明の第３の実施形態は、第１の実施形態の変形例であり、そのデジタルカメラの要部構成は、図１、図２と同じであるためその説明は省略する。
【００７８】
本実施形態の特徴は、マルチスポットＷＢモードが選択時の撮影動作において、スポットＷＢ制御値を撮影者に知らしめる表示手段を有することである。図８に本実施形態にかかる表示を説明するファインダ内表示の例を示す。図８（ａ）はファインダ８００を示し、８０１は視野枠、８０２は図４に示すＷＢ検出領域４０１を示す枠である。８０３はホワイトバランス表示用セグメント、８０４はシャッタ秒時表示用セグメント、８０５は絞り値表示用セグメントである。
【００７９】
次に、第１の実施形態で説明した図３のフローチャートの流れに沿って、ホワイトバランス表示用セグメント８０３について図８（ｂ）を用いて説明する。図８（ｂ）において８０３（ａ）は、色温度を示すスケールで本実施形態では２０００Ｋ〜１００００Ｋまで１０００Ｋステップで刻まれている。８０３（ｂ）はマルチスポットＷＢモード選択状態であることを示すセグメントでマルチスポットＷＢモードが選択されると点灯する。
【００８０】
マルチスポットＷＢモード選択状態で撮影動作が行われると、まず１回目の予備撮影が行われる（ステップＳ３０３）。予備撮影では、スポットＷＢ演算部２０２にてスポットＷＢ演算が行われるが（ステップＳ３１０）、スポットＷＢ演算部２０２では、ＷＢ領域の色温度とＷＢ領域のスポットＷＢ制御値２１６が求められる。求められたＷＢ領域の色温度は、スケール８０３（ａ）にあわせて指標８０３（ｃ）にて表示される。
【００８１】
次に２回目の予備撮影が行われる（ステップＳ３０３）と１回目の予備撮影と同様にスポットＷＢ演算部２０２にてスポットＷＢ演算が行われ（ステップＳ３１０）、スポットＷＢ演算部２０２では、ＷＢ領域の色温度とＷＢ領域のスポットＷＢ制御値２１６が求められる。求められたＷＢ領域の色温度は、指標８０３（ｄ）にて表示される。色温度を示す指標は予備撮影が行われる毎に追加表示される。本実施形態では予備撮影は２回の撮影処理で完了するので、２回分の指標が表示されることになる。続いて本撮影が行われると、求められた２つのＷＢ領域の色温度を用いてマルチ調整演算部２０７にて所定の演算を行い、マルチＷＢ制御値２０８を演算するのに使用される色温度とマルチＷＢ制御値２０８が求められる。求められた色温度は、指標８０３（ｅ）にて表示される。
【００８２】
以上の実施形態では、第１の実施形態に適応した場合について説明したが、第２の実施形態の構成にも適応できるものである。つまり、複数の領域のうち選択された各々の領域の画像から求められる色温度の指標が表示され、それらに加えて、本撮影が行われると、マルチＷＢ制御値５０８を演算するのに使用される色温度の指標が表示される。また、表示形態は、図８に示したスケール表示でなくてもよく、色温度（ケルビン値）を表示するなど適宜構成されるものである。
【００８３】
以上説明したように、本実施形態の撮影手順によればホワイトバランスモードとして、複数回の操作部材の操作毎に撮影画面内の所定領域の撮影画像データに対応したホワイトバランス制御値を求め、該複数のホワイトバランス制御値より本撮影に適応するマルチホワイトバランス制御値を演算し撮影画像データに適応するホワイトバランスモードを用意し、さらに操作部材の操作毎に撮影画面内の所定領域の撮影画像データに対応した色温度を表示するようにした。よって撮影者は、ミックス光源などの撮像条件において撮影される撮影画像データに対して適応される各光源の色温度を適切に把握することが可能である。
【００８４】
さらに最終的に撮影画像に適応されるホワイトバランス補正の基準となる色温度も表示するようにした。よって撮影者は、ミックス光源などの撮像条件において撮影される撮影画像データに対して撮像装置が補正するホワイトバランスの制御値を把握することが可能となり、また値が撮影者の意図する値に対して適切であるか否かも容易に把握することが可能となる。
【００８５】
＜変形例＞
次に、上記実施形態の変形例について説明する。
上記の各実施形態では、ホワイトバランスの施された撮影画像データをファイル化し記録媒体へ記録するようにしているが、第１の実施形態においては、スポットＷＢ制御値の演算に使用した撮影データやＷＢ検出領域の画像データ、又はスポットＷＢ制御値データをファイル化し記録媒体へ記録するようにしてもよい。このファイル化方法としては、本撮影のホワイトバランスが制御された画像ファイルに付加し一つのファイルとして記録媒体へ記録する手段も有効である。このようにスポットＷＢ制御値データ等を同一ファイルに付加しておくことで、後でどのようなホワイトバランス補正処理が撮影画像データに施されたことが容易に確認することが可能となる。特に以上の各実施形態では撮影画像データをＪＰＥＧ画像データとしてファイル化しているが、撮像素子からの出力を可逆圧縮符号化し、該符号化画像データをそのまま記録媒体するいわゆるＲＡＷモードである場合では、後でコンピュータ上で付加されているＷＢ検出領域の画像データを用いて撮影時と同条件でホワイトバランス補正処理を施すことも可能となる。
【００８６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８９】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１〜第３の実施形態に係るデジタルカメラの要部構成を示す図である。
【図２】本発明の第１の実施形態に係るデジタルカメラの画像処理部の動作を説明するための図である。
【図３】本発明の第１の実施形態の動作を示すフローチャートである。
【図４】本発明の第１の実施形態における撮影フレームを説明するための図である。
【図５】本発明の第２の実施形態に係るデジタルカメラの画像処理部の動作を説明するための図である。
【図６】本発明の第２の実施形態の動作を示すフローチャートである。
【図７】本発明の第２の実施形態におけるユーザインタフェースを示す図である。
【図８】本発明の第３の実施形態におけるファインダ内の表示例を示す図である。
【図９】撮像素子の色フィルタの配列を示す図である。
【図１０】オートホワイトバランス（ＡＷＢ）演算部によるＡＷＢ制御値の算出方法を説明するための図である。
【図１１】Ｃｘ及びＣｙデータで表される色度座標上の白色と判別される評価領域を示す図である。
【符号の説明】
【００９２】
２０１、５０１  撮像部
２０２、５０２  スポットＷＢ演算部
２０３、５０３  ＡＷＢ演算部
２０４、５０４  ＡＷＢ制御値
２０５、５０５  調整演算部
２０６、５０６  ＷＢ制御値
２０７、５０７  マルチ調整演算部
２０８、５０８  マルチＷＢ制御値
２０９、５０９  ＷＢモード選択部
２１０、５１０  ホワイトバランス制御部
２１１、５１１  現像処理部
２１２、５１２  画像記憶部
２１３、５１３  記録媒体
２１４、５１４  不揮発性メモリ
２１５、５１５  撮像画像データ
２１６、５１６  スポットＷＢ制御値
２１７、５１７  制御値
５１８  ＷＢ領域分割部
【図１】
2006203557.tif 000003
【図２】
2006203557.tif 000004
【図３】
2006203557.tif 000005
【図４】
2006203557.tif 000006
【図５】
2006203557.tif 000007
【図６】
2006203557.tif 000008
【図７】
2006203557.tif 000009
【図８】
2006203557.tif 000010
【図９】
2006203557.tif 000011
【図１０】
2006203557.tif 000012
【図１１】
2006203557.tif 000013