(57)【要約】【課題】撮像画像に基づいた画像の色再現性を向上させることを課題とする。【解決手段】撮像画像に基づいた生画像データＤ１に撮像機種を含む撮像条件情報Ｉ１が添付された生画像ファイルＦ１を取得し、前記撮像条件情報Ｉ１から前記撮像画像の撮像機種を特定し、特定した撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルＦ１に基づいた画像データＤ２のホワイトバランスを判定するためのホワイトバランス判定範囲Ｒ１を表す情報を取得し、取得した情報で表されるホワイトバランス判定範囲Ｒ１に含まれる前記画像データＤ２由来の色に基づいて前記画像データＤ２のホワイトバランスを調整する。【選択図】図１
2010226365.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得する生画像ファイル取得手段と、
前記撮像条件情報から前記撮像画像の撮像機種を特定する機種特定手段と、
特定された撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する判定範囲取得手段と、
取得された情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整するホワイトバランス調整手段とを備えることを特徴とするホワイトバランス処理装置。
【請求項２】
前記判定範囲取得手段は、機種に依存しない共通色空間で画像のホワイトバランスを判定するための元ホワイトバランス判定範囲であって黒体放射軌跡に基づいた元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換して前記ホワイトバランス判定範囲を表す情報を取得することを特徴とする請求項１に記載のホワイトバランス処理装置。
【請求項３】
前記判定範囲取得手段は、前記共通色空間を前記撮像機種に応じた色空間へ変換するための変換手段を用いて前記元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換し、
前記ホワイトバランス調整手段は、前記変換手段を用いて、前記画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換することを特徴とする請求項２に記載のホワイトバランス処理装置。
【請求項４】
前記元ホワイトバランス判定範囲は、前記共通色空間上で黒体放射軌跡から一定距離内の空間とされていることを特徴とする請求項２又は請求項３に記載のホワイトバランス処理装置。
【請求項５】
前記ホワイトバランス調整手段は、前記画像データのホワイトバランスを調整した後に調整後の画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換することを特徴とする請求項１〜請求項４のいずれか一項に記載のホワイトバランス処理装置。
【請求項６】
前記ホワイトバランス調整手段は、前記生画像データを前記撮像機種に応じた色空間で表された前記画像データに変換する画像変換手段を有し、前記撮像機種に応じた色空間で表された前記ホワイトバランス判定範囲に含まれる前記画像データ由来の色を無彩色に変換するように前記画像データのホワイトバランスを調整することを特徴とする請求項１〜請求項５のいずれか一項に記載のホワイトバランス処理装置。
【請求項７】
前記共通色空間は、ＵＣＳ色度座標で表される空間であることを特徴とする請求項２〜請求項４のいずれか一項に記載のホワイトバランス処理装置。
【請求項８】
撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得する生画像ファイル取得工程と、
前記撮像条件情報から前記撮像画像の撮像機種を特定する機種特定工程と、
特定された撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する判定範囲取得工程と、
取得された情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整するホワイトバランス調整工程とを備えることを特徴とするホワイトバランス処理方法。
【請求項９】
撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得する生画像ファイル取得機能と、
前記撮像条件情報から前記撮像画像の撮像機種を特定する機種特定機能と、
特定された撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する判定範囲取得機能と、
取得された情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整するホワイトバランス調整機能とをコンピューターに実現させることを特徴とするホワイトバランス処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に基づいた画像データのホワイトバランスを調整する技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の画像入力装置には、撮像画像を表すＲＡＷ画像データ（生画像データ）を生成し、撮像条件を表すヘッダー情報を添付して、ＲＡＷ画像ファイルを生成するものがある。このＲＡＷ画像データに基づいた画像データに対して、ホワイトバランスを調整する処理が行われている。
【０００３】
特許文献１記載のホワイトバランス制御方法は、画像を複数のブロックに分割し、各ブロックの色信号を表す色空間座標をホワイトバランス判定空間座標に変換し、ホワイトバランス判定空間内に光源推定領域と高彩度判定領域とを設定し、光源推定領域におけるホワイトバランス判定空間座標の分布に基づいて光源の種類を推定した後、該推定された光源の種類と高彩度判定領域におけるホワイトバランス判定空間座標の分布とに基づいて光源の種類を決定し、決定された光源の種類に基づいてホワイトバランス制御情報を算出している。光源推定領域は、撮像機種とは無関係にＲ／Ｇ−Ｂ／Ｇ平面上で直線により区切られた領域とされている。高彩度判定領域は、撮像機種とは無関係にＲ／Ｇ−Ｂ／Ｇ平面上で矩形状の領域とされている。
【０００４】
特許文献２記載のホワイトバランス調整方法は、（Ｂ−Ｇ）−（Ｒ−Ｇ）平面上に白検出範囲を設定し、白検出範囲内にある画素を検出し、検出した画素の各色の画像データを色毎に積算し、得られる色毎の積算値に基づいて２色のゲイン値を算出し、ホワイトバランスを調整する。白検出範囲は、撮像機種とは無関係にＢ−Ｇ_min≦Ｂ−Ｇ≦Ｂ−Ｇ_maxかつＲ−Ｇ_min≦Ｒ−Ｇ≦Ｒ−Ｇ_maxを満たす矩形状の領域とされている。
【０００５】
特許文献３記載のホワイトバランス調整装置は、Ｂ／Ｇ−Ｒ／Ｇ平面上に白検出枠を設定し、この白検出枠を通過した信号Ｒｗ，Ｇｗ，Ｂｗを積分し、積分された信号Ｒｓ，Ｇｓ，Ｂｓからホワイトバランスのゲインを算出している。白検出枠のＢ／Ｇは、α以上β以下の範囲とされている。白検出枠のＲ／Ｂの下限は、α≦Ｂ／Ｇ≦γの場合にＲ＋２Ｂ＝εＧを満たす直線とされ、γ＜Ｂ／Ｇ≦βの場合に２Ｒ＋Ｂ＝２ηＧを満たす直線とされている。白検出枠の上限は、α≦Ｂ／Ｇ≦δの場合にＲ＋２Ｂ＝ζＧを満たす直線とされ、δ＜Ｂ／Ｇ≦βの場合に２Ｒ＋Ｂ＝２θＧを満たす直線とされている。白検出枠の範囲は、撮像機種とは無関係に設定されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３０６３２０号公報
【特許文献２】特開２００２−２７４９１号公報
【特許文献３】特開平７−１６２８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像入力装置で生成されるＲＡＷ画像データ及びデモザイク処理後の画像データは、撮像素子の特性等に応じて異なる機器依存色空間で表される。特許文献１〜３記載の技術は、撮像機種の違いが考慮されていないため、画像の色再現性が適切でないことがある。また、撮像機種に応じた機器依存色空間で画像データのホワイトバランスを判定するための空間を設定する場合、複数の線分で囲まれた領域を設定しても、画像の色再現性が適切でないことがある。
【０００８】
以上を鑑み、本発明は、撮像画像に基づいた画像の色再現性を向上させることを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、撮像画像に基づいた生画像データに撮像機種を含む撮像条件情報が添付された生画像ファイルを取得し、前記撮像条件情報から前記撮像画像の撮像機種を特定し、特定した撮像機種に基づいて、該撮像機種に応じた色空間において、前記生画像ファイルに基づいた画像データのホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得し、取得した情報で表されるホワイトバランス判定範囲に含まれる前記画像データ由来の色に基づいて前記画像データのホワイトバランスを調整することを特徴とする。
すなわち、撮像機種に応じた色空間においてホワイトバランスを判定するための空間を表す情報が取得され、該情報で表されるホワイトバランス判定範囲に含まれる画像データ由来の色に基づいて画像データのホワイトバランスが調整される。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。従って、本発明によると、撮像画像に基づいた画像の色再現性を向上させることができる。
【００１０】
ところで、上述したホワイトバランス調整は、画像入力装置で生成された画像データを取得したコンピューター（画像出力装置を含む）、画像入力装置自体、等で実行可能である。
生画像ファイルに基づいた画像データには、生画像データにデモザイク処理を行った画像データ、該画像データにγ（ガンマ）補正等の補正を行った画像データ、生画像データ、等が含まれる。
ホワイトバランス判定範囲は、撮像機種に応じた色空間に対応する空間であればよく、色空間が同じになる場合には異なる撮像機種で同じ空間とされてもよい。また、ホワイトバランス判定範囲は、撮像機種に応じた色空間毎に、撮像時の光源の条件等に応じて複数設けられてもよい。
画像データ由来の色には、ホワイトバランス判定範囲に含まれる色を有する画素の平均の色、画像を分割した領域のうちホワイトバランス判定範囲に含まれる色を有する領域の平均の色、各画素を輝度等の明るさに応じて区分した区分のうちホワイトバランス判定範囲に含まれる色を有する区分の平均の色、等が含まれる。
画像データ由来の色に基づいてホワイトバランスを調整することには、画像を分割した領域毎に画素の色情報を積算した色情報（平均した色情報を含む）に基づいた調整、輝度等の明るさに応じて区分された区分毎に画素の色情報を積算した色情報に基づいた調整、画素毎の色情報に基づいた調整、等が含まれる。
【００１１】
ホワイトバランス判定範囲を表す情報の取得は、機種に依存しない共通色空間で画像のホワイトバランスを判定するための元ホワイトバランス判定範囲であって黒体放射軌跡に基づいた元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換することによってもよい。この元ホワイトバランス判定範囲は、前記共通色空間上で黒体放射軌跡から一定距離内の空間とされていてもよい。これにより、画像の色再現性がさらに向上する。ここで、前記共通色空間は、ＵＣＳ色度座標で表される空間であってもよい。ＵＣＳ色度座標には、国際照明委員会（ＣＩＥ）で規定されたCIE 1960 UCS色度座標、CIE 1976 UCS色度座標、が含まれる。また、黒体放射軌跡から一定距離内とされた元ホワイトバランス判定範囲を表す情報には、元ホワイトバランス判定範囲内の離散的な複数の点を表す座標の集合が含まれる。
【００１２】
また、前記共通色空間を前記撮像機種に応じた色空間へ変換するための変換手段を用いて前記元ホワイトバランス判定範囲を表す情報を前記撮像機種に応じた色空間へ変換し、前記変換手段を用いて、前記画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換してもよい。これにより、機器独立色空間で表される画像データを効率よく生成することができる。
【００１３】
さらに、前記画像データのホワイトバランスを調整した後に調整後の画像データを前記撮像機種に応じた色空間から機器独立色空間へ変換してもよい。これにより、撮像機種に応じてホワイトバランス調整が行われた機器独立色空間の画像データを生成することができる。
【００１４】
上述した発明は、生画像ファイル取得手段と機種特定手段と判定範囲取得手段とホワイトバランス調整手段とを備えるホワイトバランス処理装置、該装置を備えるシステム、生画像ファイル取得工程と機種特定工程と判定範囲取得工程とホワイトバランス調整工程とを備えるホワイトバランス処理方法、生画像ファイル取得機能と機種特定機能と判定範囲取得機能とホワイトバランス調整機能とをコンピューターに実現させるホワイトバランス処理プログラム、該プログラムを記録したコンピューター読み取り可能な媒体、等に適用可能である。
【図面の簡単な説明】
【００１５】
【図１】第一の実施形態に係るホワイトバランス処理装置１の構成を模式的に例示するブロック図である。
【図２】ホワイトバランス処理装置１を含むコンピューターシステムを例示するブロック図である。
【図３】ＲＡＷ画像ファイルＦ１及び画像データＤ１〜Ｄ６の構造を模式的に例示する図である。
【図４】元ホワイトバランス判定範囲ＲＵ１及びホワイトバランス判定範囲Ｒ１を例示する図である。
【図５】ホワイトバランスを判定する区分Ｒ２２を抽出する様子を模式的に例示する図である。
【図６】ホワイトバランス処理を例示するフローチャートである。
【図７】第二の実施形態に係るホワイトバランス処理を例示するフローチャートである。
【図８】第三の実施形態に係る元ホワイトバランス判定範囲ＲＵ２，ＲＵ３を例示する図である。
【発明を実施するための形態】
【００１６】
（１）第一の実施形態：
図１に示すように、本発明の第一の実施形態に係るホワイトバランス処理装置１は、同図に示す各部Ｕ１〜Ｕ１６を備えている。ホワイトバランス処理装置１は、ＲＡＷ画像ファイル（生画像ファイル）Ｆ１を取得してＲＡＷ画像データ（生画像データ）Ｄ１の現像処理を行い、ホワイトバランスを調整した画像データＤ６を生成する。このホワイトバランス処理装置１は、例えば、図２に示すコンピューターシステムに実現される。
【００１７】
図２に示すコンピューターシステムは、画像処理装置であるパーソナルコンピューター（ＰＣ）１００と、画像入力装置であるデジタルスチルカメラ（ＤＳＣ）２００とから構成されている。本実施形態のホワイトバランス処理装置１はＰＣ１００であり、本実施形態のホワイトバランス処理方法はＰＣ１００で実施される。むろん、本発明のホワイトバランス処理装置は、ＤＳＣであってもよいし、ＰＣとＤＳＣの両方に含まれてもよく、互いに協働するＰＣとＤＳＣとのシステムであってもよい。画像処理装置は、印刷装置、表示装置、等の画像出力装置を用いてもよいし、ネットワーク接続した複数のコンピューターを用いてもよい。画像入力装置は、ビデオカメラ等を用いてもよい。また、コンピューターシステムは、画像処理装置と画像入力装置とが一体化された装置を用いてもよい。
【００１８】
ＰＣ１００では、ＣＰＵ（Central Processing Unit）１１１、半導体メモリー１１２，１１３、記憶装置１１４、入力装置１１５、出力装置１１６、インターフェイス（Ｉ／Ｆ）１１７〜１１９、ディスクドライブ１２０、等がバス１０１に接続されて互いに情報を入出力可能とされている。ＣＰＵ１１１は、ＲＯＭ（Read Only Memory）１１２に書き込まれたプログラムに従ってＲＡＭ（Random Access Memory）１１３をワークエリアとして使用しながらＰＣ全体の動作を制御する。
【００１９】
記憶装置１１４は、オペレーティングシステム（ＯＳ）、アプリケーションプログラム（ＡＰＬ）、機器独立ＲＧＢ色空間と撮像機種に応じた機器依存ＲＧＢ色空間とを変換するための色変換マトリクスＭRGB、ＹＵＶ色空間と機器独立ＲＧＢ色空間とを変換するための色変換マトリクスＭYUVRGB、CIE 1960 UCS色度座標で表される元ホワイトバランス判定範囲ＲＵ１を表す情報、各種閾値、等を記憶している。記憶装置１１４を構成するメモリーには、ハードディスク（磁気ディスク）、不揮発性半導体メモリー、等を用いることができる。
本実施形態のＡＰＬには、ホワイトバランス処理装置の各部Ｕ１〜Ｕ８，Ｕ１１〜Ｕ１５に対応した部分を有するホワイトバランス処理プログラムが含まれている。むろん、ＯＳにホワイトバランス処理プログラムが含まれてもよい。色変換マトリクスＭRGBは、撮像機種毎に用意されている。色変換マトリクスＭYUVRGBは、撮像機種に依存しない情報である。元ホワイトバランス判定範囲を表す情報は、画像を区分した区分毎の色情報をホワイトバランス調整に用いるか否かを判定するための空間をＵＣＳ色度座標で表す情報である。図４に示すように、元ホワイトバランス判定範囲ＲＵ１は、ＵＣＳ色度座標上で色温度２８００〜８０００Ｋの範囲を含む黒体放射軌跡ＬＵ１に沿った領域とされている。元ホワイトバランス判定範囲ＲＵ１は、機器依存ＲＧＢ色空間のＲ／Ｇ−Ｂ／Ｇ平面上に変換されて使用される。該Ｒ／Ｇ−Ｂ／Ｇ平面上のホワイトバランス判定範囲Ｒ１は、色温度２８００〜８０００Ｋの範囲を含む黒体放射軌跡Ｌ１に沿った領域とされる。
【００２０】
入力装置１１５は、キーボードやマウス（ポインティングデバイス）といった操作入力装置等で構成することができる。出力装置１１６は、ディスプレイやプリンターといった画像出力装置等で構成することができる。通信Ｉ／Ｆ１１７は、ＰＣ１００をネットワーク接続するためのインターフェイスである。Ｉ／Ｆ１１８は、画像入力装置に対して情報を入出力するためのインターフェイスであり、ＤＳＣのＩ／Ｆ２１４等に接続される。カードＩ／Ｆ１１９のスロットには、不揮発性半導体メモリーを用いたメモリーカードＭ１を着脱可能に挿入することができる。ディスクドライブは、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等のコンピューター読み取り可能な記録媒体Ｍ２を着脱可能に挿入することができる。ホワイトバランス処理プログラムは、該プログラムを記録した記録媒体Ｍ２からＰＣ１００にインストールされてもよいし、該プログラムを記録したサーバーコンピューターからネットワークを介して記憶装置１１４にダウンロードされてもよい。
【００２１】
ＤＳＣ２００は、光学系の各部２０１〜２０５と制御系の各部２１１〜２１５を備えている。
光学系には、レンズ２０１を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部２０２、レンズ駆動部２０２の動作を制御するレンズ駆動制御部２０３、レンズ２０１を介して受光面に入力された光をアナログの電気信号に変換する撮像素子２０４、撮像素子２０４から出力されたアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路２０５、等が設けられている。撮像素子２０４は、例えば単板方式のＣＣＤ（Charge Coupled Device）を用いて構成される。この場合、撮像素子２０４の受光面側には、画素毎に所定の要素色（例えば、Ｒ，Ｇ，Ｂ）のうち一色を配置したカラーフィルターが設けられる。
【００２２】
制御系の各部２１１〜２１５並びにレンズ駆動制御部２０３及びＡ／Ｄ変換回路２０５は、バス２１０に接続され、互いに情報を入出力可能とされている。制御部２１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、タイマー、等を有し、ＲＯＭに書き込まれたプログラムに従ってＲＡＭをワークエリアとして使用しながらＤＳＣ全体の動作を制御する。操作部２１２は、押しボタンスイッチといった複数のスイッチ等で構成することができる。表示部２１３は、液晶ディスプレイ、発光ダイオード、等で構成することができる。Ｉ／Ｆ２１４は、画像処理装置に対して情報を入出力するためのインターフェイスである。カードＩ／Ｆ２１５のスロットには、メモリーカードＭ１を着脱可能に挿入することができる。
【００２３】
図１に示すホワイトバランス処理装置１は、上述したハードウェアとソフトウェアとが協働して構築される。本実施形態のホワイトバランス処理装置１は、Ｕ１〜Ｕ５，Ｕ１１〜Ｕ１３に対応するプログラムがＲＡＷ現像モジュールを構成し、Ｕ６〜Ｕ８，Ｕ１４，Ｕ１５に対応するプログラムが一つの自動補正モジュールＭＤ１を構成している。ＲＡＷ現像モジュールは、ＲＡＷ画像ファイルＦ１を取得して機器依存ＲＧＢ色空間の画像データＤ２を生成する機能、及び、ホワイトバランス調整用の調整パラメータを受け取って画像圧縮可能な画像データＤ５を生成する機能をコンピューターに実現させる。以下、ホワイトバランス処理装置の各部を説明する。
【００２４】
ＲＡＷ画像ファイル取得部Ｕ１は、図３（ａ）に例示するようなＲＡＷ画像ファイルＦ１を取得する。本実施形態のＲＡＷ画像ファイルＦ１は、撮像画像に基づいたＲＡＷ画像データＤ１に撮像条件を表すヘッダー情報（撮像条件情報）Ｉ１が添付されたデータ構造とされている。ＲＡＷ画像データＤ１は、画素ＰＩ１毎にＲ，Ｇ，Ｂのいずれかの色情報Ｉ３を階調値として有するベイヤデータとする。ヘッダー情報Ｉ１は、撮像機種を表す機種情報Ｉ２、絞りF値、シャッタースピードTv、ISO感度、等の撮像条件を表す情報を有している。ＲＡＷ画像ファイルには、Exif（Exchangeable image file format）2.2規格（Exifは社団法人電子情報技術産業協会の登録商標）に従ったフォーマットのファイル等を用いることができる。
以上より、ＲＡＷ画像ファイル取得部Ｕ１は、生画像ファイル取得手段を構成し、生画像ファイル取得工程及び生画像ファイル取得機能に対応している。
【００２５】
ヘッダー取得部Ｕ２は、ＲＡＷ画像ファイルＦ１から機種情報Ｉ２等を含むヘッダー情報Ｉ１を取得する。これにより、ヘッダー情報Ｉ１から撮像画像の撮像機種が特定される。
以上より、ヘッダー取得部Ｕ２は、機種特定手段を構成し、機種特定工程及び機種特定機能に対応している。
【００２６】
判定範囲取得部Ｕ３は、機種情報Ｉ２に応じたＲＧＢ色空間（所定の色空間）においてＲＡＷ画像ファイルＦ１に基づいた画像データＤ２のホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する。図４の右側には、機器依存ＲＧＢ色空間のＲ／Ｇ−Ｂ／Ｇ平面においてホワイトバランス判定範囲Ｒ１が例示されている。ここで、Ｒ／ＧはＲＧＢ色空間のＧ成分に対するＲ成分の比を表し、Ｂ／ＧはＲＧＢ色空間のＧ成分に対するＢ成分の比を表している。本実施形態では、図４の左側に例示するCIE 1960 UCS色度座標上の元ホワイトバランス判定範囲ＲＵ１を機器依存ＲＧＢ色空間に変換して機種別のホワイトバランス判定範囲Ｒ１を生成している。ここで、横軸はｕ軸、縦軸はｖ軸である。元ホワイトバランス判定範囲ＲＵ１は、ＵＣＳ色度座標上で画像のホワイトバランスを判定するための空間であり、黒体放射軌跡ＬＵ１に基づいた空間である。従って、元ホワイトバランス判定範囲ＲＵ１は、撮像機種とは無関係な共通のホワイトバランス判定範囲とされている。
【００２７】
図４の黒体放射軌跡ＬＵ１，Ｌ１上には、タングステン（色温度約２８００Ｋ）の座標Ｐ１、蛍光灯（色温度約３８００〜４５００Ｋ）の座標Ｐ２、太陽光（色温度約５２００〜５５００Ｋ）の座標Ｐ３、曇天（色温度約６５００Ｋ）の座標Ｐ４、晴天日陰（色温度約７５００〜８０００Ｋ）の座標Ｐ５を示している。図４の右側に示すように、屋内光源であるタングステンの座標Ｐ１と蛍光灯の座標Ｐ２は、屋外光源である太陽光の座標Ｐ３や曇天の座標Ｐ４や晴天日陰の座標Ｐ５よりもＢ／Ｇが大きく、すなわち、青側とされている。
【００２８】
本実施形態の元ホワイトバランス判定範囲ＲＵ１は、ＵＣＳ色度座標において、２８００〜８０００Ｋを含む色温度Ｔmin〜Ｔmax（Ｋ）の範囲内で黒体放射軌跡ＬＵ１から一定距離ｄ１内の空間とされている。図４では、色温度Ｔminの境界部を直線ＬＵ２で示し、色温度Ｔmaxの境界部を直線ＬＵ３で示し、黒体放射軌跡ＬＵ１からｕ軸側の境界部を曲線ＬＵ４で示し、黒体放射軌跡ＬＵ１からｖ軸側の境界部を曲線ＬＵ５で示している。黒体放射軌跡ＬＵ１から離れた色度座標ｕ，ｖの色温度（相関色温度）は、JIS Z8725:1999（光源の分布温度及び色温度・相関色温度の測定方法）にも規定されるように、色度座標ｕ，ｖの点から黒体放射軌跡ＬＵ１に垂線を下ろしたときの交点の色温度である。直線ＬＵ２，ＬＵ３は、黒体放射軌跡ＬＵ１と直交する等色温度線としている。曲線ＬＵ４，ＬＵ５は、該曲線ＬＵ４，ＬＵ５上の任意の点から黒体放射軌跡ＬＵ１に垂線を下ろしたときの交点までの距離ｄ１が一定となる曲線としている。距離ｄ１は、様々な設定とすることができ、例えばCIE 1960 UCS色度座標上で０．０１〜０．１程度とすることができる。
【００２９】
元ホワイトバランス判定範囲ＲＵ１を表す情報は、処理の都合上、元ホワイトバランス判定範囲ＲＵ１内で離散的に配列した複数の点を表す座標の集合としている。例えば、色温度Ｔmin〜Ｔmax内で境界部の色温度Ｔmin，Ｔmaxを含む色温度をＴm（ｍ＝１，２，…，Ｍ。Ｍは３以上の整数）、曲線ＬＵ４〜ＬＵ５の範囲内でｕ軸側をマイナスとして境界部の距離ｄ１，−ｄ１を含む黒体放射軌跡ＬＵ１からの距離をｄn（ｎ＝１，２，…，Ｎ。Ｎは３以上の整数）とする。この場合、Ｔmとｄnの各組み合わせに対応するそれぞれの点Ｐmnの色度座標ｕmn，ｖmnの集合を元ホワイトバランス判定範囲ＲＵ１の情報とすることができる。このような元ホワイトバランス判定範囲を表す情報ＩＲ１が図１の判定情報記憶部Ｕ９に記憶されている。
むろん、元ホワイトバランス判定範囲ＲＵ１を表す情報は、ＵＣＳ色度座標上で元ホワイトバランス判定範囲の境界部を表す複数の座標の集合等でもよい。
【００３０】
判定情報記憶部Ｕ９は、記憶装置１１４、記録媒体Ｍ１，Ｍ２、サーバーコンピューター、等に該当する。判定情報記憶部Ｕ９は、元ホワイトバランス判定範囲ＲＵ１や画像データの色空間を変換するための色変換マトリクスも記憶している。例えば、機器独立ＲＧＢ色空間から撮像機種に応じた機器依存ＲＧＢ色空間へ変換するための色変換マトリクスＭRGBは、機器独立ＲＧＢ色空間内の座標（Ｒ，Ｇ，Ｂ）を機器依存ＲＧＢ色空間内の座標（Ｒd，Ｇd，Ｂd）に色変換するための３×３行列の情報である。
【数１】
2010226365.tif 000003
色変換マトリクスＭRGBは、機種毎に用意され、判定情報記憶部Ｕ９に記憶される。
【００３１】
また、ＹＵＶ色空間から機器独立ＲＧＢ色空間へ変換するための色変換マトリクスＭYUVRGBは、ＹＵＶ色空間内の座標（Ｙ，u，ｖ）を機器独立ＲＧＢ色空間内の座標（Ｒ，Ｇ，Ｂ）に色変換するための３×３行列の情報である。
【数２】
2010226365.tif 000004
ＵＣＳ色度座標を機器依存ＲＧＢ色空間に変換するためには、色変換マトリクスＭ1＝ＭRGB・ＭYUVRGBを利用すればよい。本実施形態の判定範囲取得部Ｕ３は、判定情報記憶部Ｕ９から元ホワイトバランス判定範囲の情報ＩＲ１及び色変換マトリクスを取得し、該色変換マトリクスを用いて元ホワイトバランス判定範囲ＲＵ１を表す情報ＩＲ１を撮像機種に応じたＲＧＢ色空間へ変換してホワイトバランス判定範囲Ｒ１を表す情報を取得する。この判定範囲取得部Ｕ３は、判定範囲取得手段を構成し、判定範囲取得工程及び判定範囲取得機能に対応している。また、色変換マトリクスＭ1は、ＵＣＳ色度座標を撮像機種に応じた色空間へ変換するための変換手段を構成し、変換工程及び変換機能に対応している。
【００３２】
ＲＡＷデコード部Ｕ４は、ＲＡＷ画像ファイルＦ１に対してＲＡＷ画像データＤ１のデコード処理を行い、ＲＡＷ画像データＤ１を得る。デモザイク部Ｕ５は、ＲＡＷ画像データＤ１の各画素ＰＩ１に色情報を補うデモザイク処理を行い、図３（ｂ）に示すように画素ＰＩ１毎にＲ，Ｇ，Ｂの色情報Ｉ４を階調値として有する画像データＤ２を生成する。この画像データＤ２は、機器依存ＲＧＢ色空間で表され撮像画像に基づいた画像データであり、ホワイトバランス調整の対象となる画像データとなる。本実施形態では、Ｕ４，Ｕ５の各部が画像変換手段を構成し、画像変換工程及び画像変換機能に対応している。
区分別ゲイン値算出部Ｕ６は、画像データＤ２の各画素ＰＩ１の輝度Ｙを求め、図５に示すように各画素ＰＩ１を輝度Ｙの大きさに並べ、並べた順に画素ＰＩ１を同数ずつ区分し、輝度区分Ｒ２１毎にホワイトバランスのゲイン値Ｒ／Ｇ，Ｂ／Ｇを算出する。
【００３３】
区分別ゲイン値算出部Ｕ６は、元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスＭ1を用いて、画像データＤ２を撮像機種に応じたＲＧＢ色空間から機器独立色空間であるＹＵＶ色空間へ変換する。ここで、ＲＡＷ現像モジュールが機器依存ＲＧＢ色空間の画像データＤ２を生成する仕様であるため、ＹＵＶ色空間への色変換が必要となる。
機器依存ＲＧＢ色空間の画像データＤ２から輝度Ｙを算出するためには、各画素ＰＩ１の色情報Ｒd，Ｇd，Ｂdを色変換マトリクスＭ1の逆行列Ｍ1-1で変換すればよい。そこで、区分別ゲイン値算出部Ｕ６は、逆行列Ｍ1-1を利用して各画素ＰＩ１の輝度Ｙを計算し、各画素ＰＩ１を順に並べる。
【００３４】
図５は、各画素ＰＩ１が順に並べられた様子をヒストグラムで例示している。図５の上段では、輝度Ｙの大きさの順に画素ＰＩ１を同数ずつ区分し、各輝度区分Ｒ２１に対して輝度Ｙの小さい区分から大きい区分へ順に通し番号ｉ＝１〜６を付している。この場合、区分別ゲイン値算出部Ｕ６は、輝度区分１〜６のそれぞれについてホワイトバランスのゲイン値Ｒ／Ｇ，Ｂ／Ｇを算出する。本実施形態のゲイン値Ｒ／Ｇ，Ｂ／Ｇは、各輝度区分Ｒ２１内の各画素ＰＩ１のゲイン値Ｒ／Ｇ，Ｂ／Ｇの相加平均値としているが、同ゲイン値Ｒ／Ｇ，Ｂ／Ｇの総和、相乗平均値、等としてもよい。ゲイン値Ｒ／Ｇ，Ｂ／Ｇは、画像データＤ２中の画素の色情報Ｉ４に基づいた輝度区分Ｒ２１毎の色情報である。
【００３５】
区分抽出部Ｕ７は、複数の輝度区分Ｒ２１からホワイトバランス調整に用いる輝度区分Ｒ２２を抽出する。
【００３６】
図５の下段は、ホワイトバランス調整に用いる輝度区分Ｒ２２を抽出する様子を模式的に示している。本実施形態の区分抽出部Ｕ７は、輝度区分Ｒ２１のうちゲイン値Ｒ／Ｇ，Ｂ／Ｇがホワイトバランス判定範囲Ｒ１に含まれる輝度区分Ｒ２２を抽出する。図５の下段に示す抽出結果Ｉ５は、抽出された輝度区分Ｒ２２に丸印が付されている。
【００３７】
調整パラメータ決定部Ｕ８は、抽出された輝度区分Ｒ２２のゲイン値Ｒ／Ｇ，Ｂ／Ｇに基づいて、ホワイトバランス調整用の調整パラメータPr，Pbを決定する。調整パラメータPr，Pbは、輝度区分Ｒ２２のゲイン値Ｒ／Ｇ，Ｂ／Ｇの相加平均値等とされる。従って、調整パラメータPr，Pbは、画像データＤ２の各画素ＰＩ１を明るさに応じて区分した区分のうちホワイトバランス判定範囲Ｒ１に含まれる画像データＤ２由来の色を表している。なお、輝度区分Ｒ２２が抽出されなかった場合には、ホワイトバランス調整が行われないよう、調整パラメータを例えばPr＝Pb＝１に設定する。
調整実行部Ｕ１１は、調整パラメータPr，Pbに基づいて画像データＤ２のホワイトバランスを調整する。すなわち、ホワイトバランスの調整は、撮像機種に応じたホワイトバランス判定範囲Ｒ１に含まれる画像データＤ２由来の色に基づいて行われる。本実施形態の調整実行部Ｕ１１は、調整パラメータPr，Pbで表される色を無彩色に変換するように画像データＤ２のホワイトバランスを調整する。
【００３８】
機器独立色空間変換部Ｕ１２は、元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスＭRGBを用いて、ホワイトバランス調整後の画像データＤ３を撮像機種に応じたＲＧＢ色空間からｓＲＧＢ色空間等の機器独立ＲＧＢ色空間へ変換する。画像データＤ３を機器依存ＲＧＢ色空間から機器独立ＲＧＢ色空間へ変換するためには、画像データＤ３の各画素の色情報を色変換マトリクスＭRGBの逆行列ＭRGB-1で変換すればよい。そこで、機器独立色空間変換部Ｕ１２は、逆行列ＭRGB-1を利用して機器独立ＲＧＢ色空間で表される画像データＤ３を精製する。
本実施形態では、Ｕ４〜Ｕ８，Ｕ１１，Ｕ１２の各部がホワイトバランス調整手段を構成し、ホワイトバランス調整工程及びホワイトバランス調整機能に対応している。
【００３９】
γ補正部Ｕ１３は、色空間変換後の画像データＤ４に対して、画像出力装置の出力特性の下で適切な明るさの階調となるようにγ補正を行う。画像圧縮部Ｕ１４は、γ補正後の画像データＤ５をＪＰＥＧ（Joint Photographic Experts Group）形式等の所定の画像形式に圧縮する。画像出力部Ｕ１５は、圧縮後の画像データＤ６を画像記憶部Ｕ１６に記憶したり画像出力装置へ出力したりする。画像記憶部Ｕ１６は、記憶装置１１４、記録媒体Ｍ１，Ｍ２、サーバーコンピューター、等に該当する。
なお、画像データＤ１〜Ｄ６は、いずれも撮像画像に基づいた画像データといえる。従って、本発明によるホワイトバランス調整は、ＲＡＷ画像データＤ１、機器依存色空間でγ補正された画像データ、機器依存色空間で圧縮された画像データ、のいずれに適用されてもよい。
【００４０】
図６は、ＰＣ１００のＣＰＵ１１１によって行われるホワイトバランス処理を例示している。図６に示す処理は、ＯＳの存在下でホワイトバランス処理プログラムが起動されているときに行われる。以下、本ホワイトバランス処理装置１の動作、作用及び効果を説明する。
【００４１】
図６に示す処理を開始すると、カードＩ／Ｆ１１９に接続されたメモリーカードＭ１等からＲＡＷ画像ファイルＦ１を取得する（ステップＳ１０２。以下、「ステップ」の記載を省略）。むろん、記憶装置１１４、記録媒体Ｍ２、サーバーコンピューター、等からＲＡＷ画像ファイルを取得してもよい。Ｓ１０４では、ＲＡＷ画像ファイルＦ１からヘッダー情報Ｉ１を取得し、このヘッダー情報Ｉ１から機種情報Ｉ２を取得する。これにより、撮像画像の撮像機種が特定される。Ｓ１０６では、機種情報Ｉ２に基づいて、記憶装置１１４等からＹＵＶ色空間を撮像機種に応じたＲＧＢ色空間に変換するための色変換マトリクスＭ1＝ＭRGB・ＭYUVRGBを取得する。Ｓ１０８では、記憶装置１１４等から元ホワイトバランス判定範囲ＲＵ１を表す情報を取得する。Ｓ１１０では、元ホワイトバランス判定範囲ＲＵ１を表す複数の点Ｐmnの色度座標ｕmn，ｖmnを色変換マトリクスＭ1の要素に掛け合わせて撮像機種に応じたＲＧＢ色空間へ変換し、機種別のＲ／Ｇ−Ｂ／Ｇ平面においてホワイトバランス判定範囲Ｒ１を表す複数の点の座標（Ｒmn，Ｂmn）を求める。
Ｒmn＝（ｒ12ｕmn＋ｒ13ｖmn）／（ｒ22ｕmn＋ｒ23ｖmn）  …(3)
Ｂmn＝（ｒ32ｕmn＋ｒ33ｖmn）／（ｒ22ｕmn＋ｒ23ｖmn）  …(4)
以上の処理により、元ホワイトバランス判定範囲ＲＵ１を表す情報からホワイトバランス判定範囲Ｒ１を表す情報を取得することができる。
【００４２】
Ｓ１１２では、デコード処理によりＲＡＷ画像ファイルＦ１からＲＡＷ画像データＤ１を取得する。Ｓ１１４では、ＲＡＷ画像データＤ１に対してデモザイク処理を行い、画素ＰＩ１毎にＲ，Ｇ，Ｂの色情報Ｉ４を有する画像データＤ２を取得する。Ｓ１１６では、色変換マトリクスＭ1（変換手段）を用いて画像データＤ２の画素ＰＩ１毎に輝度Ｙを求める。具体的には、Ｒ，Ｇ，Ｂの色情報を逆行列Ｍ1-1に掛け合わせて輝度Ｙを算出する。
Ｙ＝ｓ11Ｒ＋ｓ12Ｇ＋ｓ13Ｂ  …(5)
輝度算出の際に元ホワイトバランス判定範囲の色変換に使用した色変換マトリクスＭ1を用いるので、機器独立色空間で表される画像データを効率よく生成することができる。
【００４３】
Ｓ１１８では、図５に示すように各画素ＰＩ１を輝度Ｙの大きさ順に画素ＰＩ１を同数ずつ区分し、輝度区分Ｒ２１毎にホワイトバランスのゲイン値Ｒ／Ｇ，Ｂ／Ｇを算出する。本実施形態では、輝度区分ｉの各画素ＰＩ１のゲイン値Ｒ／Ｇを相加平均した値（Riとする）を輝度区分ｉのゲイン値Ｒ／Ｇとし、輝度区分ｉの各画素ＰＩ１のゲイン値Ｂ／Ｇを相加平均した値（Biとする）を輝度区分ｉのゲイン値Ｂ／Ｇとしている。
【００４４】
Ｓ１２０では、複数の輝度区分Ｒ２１のうち、ゲイン値Ri，Biがホワイトバランス判定範囲Ｒ１に含まれる輝度区分Ｒ２２を抽出する。輝度区分Ｒ２２が抽出された場合、Ｓ１２２では、抽出された輝度区分Ｒ２２のゲイン値Ri，Biを平均して調整パラメータPr，Pbとする。輝度区分Ｒ２２が抽出されなかった場合、例えばPr＝Pb＝１とする。Ｓ１２４では、調整パラメータPr，Pbで表される色を無彩色に変換するように、すなわち、画像全体としてＲＧＢの各色成分の座標が（Pr×Ｇ，Ｇ，Pb×Ｇ）で表される色を座標（Ｇ，Ｇ，Ｇ）に変換するように、画像データＤ２のホワイトバランスを調整する。例えば、画像データＤ２の各色成分Ｒ，Ｇ，Ｂの相加平均をAr，Ag，Abとすると、ホワイトバランス調整後に画像データＤ３の各色成分Ｒ，Ｇ，Ｂの相加平均がAr／Pr，Ag，Ab／Pbとなるように画像データＤ２を調整すればよい。各画素ＰＩ１の色成分Ｒ，Ｇ，Ｂの変換は、単純に色成分Ｒ，Ｂに１／Pr，１／Pbを乗じる変換、色成分Ｒ，Ｇ，Ｂに対する調整パラメータPr，Pbに応じた係数のγ変換、等を採用することができる。
以上の処理により、ホワイトバランスの調整は、撮像機種に応じたホワイトバランス判定範囲Ｒ１に含まれる画像データＤ２由来の色を無彩色に変換するように行われる。
なお、Ｓ１２４では、露出の調整をしてもよい。
【００４５】
Ｓ１２６では、色変換マトリクスＭRGBを用いて画像データＤ３を機器依存ＲＧＢ色空間から機器独立ＲＧＢ色空間へ変換する。具体的には、画像データＤ３における各画素のＲ，Ｇ，Ｂの色情報を３×３の逆行列ＭRGB-1に掛け合わせる。これにより、撮像機種に応じてホワイトバランス調整が行われた機器独立色空間の画像データを生成することができる。変換後の画像データＤ４は、Ｓ１２８でγ補正が行われる。γ補正後の画像データＤ５は、Ｓ１３０で所定の画像形式に圧縮される。そして、ＰＣ１００は、Ｓ１３２で圧縮後の画像データＤ６を記憶装置１１４等に記憶したり画像出力装置へ出力したりして、処理を終了する。
【００４６】
以上説明したように、撮像画像に基づいた画像データのホワイトバランスは、撮像機種に応じた色空間のホワイトバランス判定範囲に含まれる画像データ由来の色に基づいて調整される。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。
また、ホワイトバランス判定範囲は、複数の線分で囲まれた領域ではなく、よりきめ細やかな境界を有する領域とされている。さらに、ホワイトバランス判定範囲は、ＵＣＳ色度座標上で黒体放射軌跡に基づいた元ホワイトバランス判定範囲から変換された機器依存色空間で表される領域とされている。
従って、本実施形態のホワイトバランス処理装置１、ホワイトバランス処理方法及びホワイトバランス処理プログラムは、撮像画像に基づいた画像の色再現性を向上させることができる。
【００４７】
さらに、撮像機種に応じた色変換マトリクスＭRGBが用意されているため、ホワイトバランスを調整するため撮像機種毎に色票を撮像してホワイトバランス調整用の調整パラメータを決める必要が無い。従って、画像の色再現性を容易に向上させることができる。
【００４８】
（２）第二の実施形態：
図７は、第二の実施形態に係るホワイトバランス処理装置が行うホワイトバランス処理を例示している。本実施形態のホワイトバランス処理装置は、元ホワイトバランス判定範囲を用いずに機種情報に応じたホワイトバランス判定範囲を取得する。図７のフロー中に示したように、記憶装置１１４には、機種情報Ｉ２とホワイトバランス判定範囲Ｒ１を表す情報ＩＲ２とを撮像機種毎に対応づけた機種毎範囲情報Ｔ１が記憶され、元ホワイトバランス判定範囲を表す情報が記憶されていなくてもよい。それ以外のホワイトバランス処理装置のブロック構成は、第一の実施形態と同様とすることができる。また、本実施形態のＳ１０２〜Ｓ１０４，Ｓ１１２〜Ｓ１３２の処理も、第一の実施形態と同様とすることができる。
【００４９】
本実施形態では、Ｓ１０４で機種情報Ｉ２を取得して撮像機種を特定した後、機種毎範囲情報Ｔ１から当該取得した機種情報Ｉ２に対応するホワイトバランス判定範囲を表す情報ＩＲ２を取得する。この情報ＩＲ２は、撮像機種に応じたＲＧＢ色空間においてＲＡＷ画像ファイルＦ１に基づいた画像データＤ２のホワイトバランスを判定するための空間を表している。その後、デコード処理とデモザイク処理を行い（Ｓ１１２〜Ｓ１１４）、画像データＤ２のホワイトバランスを調整する（Ｓ１１６〜Ｓ１２４）。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。従って、本実施形態も、撮像画像に基づいた画像の色再現性を向上させる効果が得られる。
【００５０】
（３）第三の実施形態：
図８は、撮像機種に応じた色空間毎に撮像時の光源の条件に応じたホワイトバランス判定範囲Ｒ２，Ｒ３を用いてホワイトバランスを調整する第三の実施形態を示している。本実施形態のホワイトバランス処理装置は、画像データＤ２の被写体輝度Bvに基づいて撮像時の光源の条件を判定し、判定した光源の条件と画像データＤ２中の画素ＰＩ１の色情報とに基づいて画像データＤ２のホワイトバランスを調整する。被写体輝度Bvは、ヘッダー情報Ｉ１に含まれる絞りF値、シャッタースピードTv、及び、ISO感度を用いて算出することができる。
Av＝2 log2（F）          …(6)
Tv'＝−log2（Tv）          …(7)
Sv＝log2（ISO／3.125）    …(8)
Bv＝Av＋Tv'−Sv          …(9)
被写体輝度が高い場合、撮像時の光源は通常、太陽光、晴天日陰、曇天、等の屋外の光源となる。一方、被写体輝度が低い場合、撮像時の光源は通常、タングステン、蛍光灯、等の屋内の光源となる。そこで、ホワイトバランス処理装置は、被写体輝度Bvと閾値THBvとを対比し、被写体輝度Bvが比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、被写体輝度Bvが比較的低い場合に撮像時の光源の条件を屋内光源と判定する。なお、閾値THBvは屋外の光源の輝度と屋内の光源の輝度との間の輝度になるように設定している。閾値THBvは、複数設けられてもよい。むろん、個々の光源の種類を判別するための閾値を複数用意し、撮像時の光源の条件として個々の光源の種類を判定するようにしてもよい。また、被写体輝度に対する閾値は、輝度区分の明るさ、画像中の領域の位置、等に応じて変わる閾値でもよい。
【００５１】
図８に示すように、屋内光源であるタングステンの座標Ｐ１と蛍光灯の座標Ｐ２は、屋外光源である太陽光の座標Ｐ３や曇天の座標Ｐ４や晴天日陰の座標Ｐ５よりも色温度の低い位置とされている。そこで、蛍光灯の座標Ｐ２と太陽光の座標Ｐ３との間に等色温度線ＬＵ７を設定し、等色温度線ＬＵ７から色温度の高い領域を屋外光源用元ホワイトバランス判定範囲ＲＵ２とし、等色温度線ＬＵ７から色温度の低い領域を屋内光源用元ホワイトバランス判定範囲ＲＵ３とする。両元ホワイトバランス判定範囲ＲＵ２，ＲＵ３を合わせた形状は、第一の実施形態の元ホワイトバランス判定範囲ＲＵ１の形状としてある。むろん、条件別元ホワイトバランス判定範囲ＲＵ２，ＲＵ３の形状は、一例に過ぎず、一部が互いに重なる形状としてもよい。
【００５２】
次に、図６を利用して本実施形態のホワイトバランス処理装置の動作を説明する。Ｓ１０２でＲＡＷ画像ファイルＦ１を取得すると、Ｓ１０４でＲＡＷ画像ファイルＦ１から、機種情報Ｉ２、絞りF値、シャッタースピードTv、ISO感度、等を含むヘッダー情報Ｉ１を取得し、Ｓ１０６でＹＵＶ色空間を機器依存ＲＧＢ色空間に変換するための色変換マトリクスＭ1を取得する。Ｓ１０８では、まず、上記式(9)に従って、絞りF値、シャッタースピードTv及びISO感度から被写体輝度Bvを算出する。Bv≧THBv（又はBv＞THBv）の場合、撮像時の光源の条件を屋外光源と判定し、記憶装置１１４等から屋外光源用元ホワイトバランス判定範囲ＲＵ２を表す情報を取得する。一方、Bv＜THBv（又はBv≦THBv）の場合、撮像時の光源の条件を屋内光源と判定し、記憶装置１１４等から屋内光源用元ホワイトバランス判定範囲ＲＵ３を表す情報を取得する。
Ｓ１１０では、元ホワイトバランス判定範囲ＲＵ２又はＲＵ３を表す複数の点Ｐmnの色度座標ｕmn，ｖmnを色変換マトリクスＭ1の要素に掛け合わせて撮像機種に応じたＲＧＢ色空間へ変換し、機種別のＲ／Ｇ−Ｂ／Ｇ平面においてホワイトバランス判定範囲Ｒ２又はＲ３を表す複数の点の座標（Ｒmn，Ｂmn）を求める。むろん、ホワイトバランス判定範囲Ｒ２，Ｒ３を表す情報を撮像機種毎に用意して記憶装置１１４等に記憶させておき、撮像機種に対応するホワイトバランス判定範囲Ｒ２又はＲ３を表す情報を機種毎範囲情報から取得するようにしてもよい。
【００５３】
その後、デコード処理とデモザイク処理を行い（Ｓ１１２〜Ｓ１１４）、画素毎に輝度Ｙを算出して輝度区分ｉ毎にゲイン値Ri，Biを算出し（Ｓ１１６〜Ｓ１１８）、ホワイトバランス判定範囲Ｒ２又はＲ３内の輝度区分ｉを抽出し（Ｓ１２０）、抽出した輝度区分ｉのゲイン値Ri，Biを平均して調整パラメータPr，Pbとし（Ｓ１２２）、画像データＤ２のホワイトバランスを調整する（Ｓ１２４）。これにより、撮像機種に応じて画像データのホワイトバランスが調整される。これにより、屋外判定時には不適切な色温度の領域（ＲＵ３）の色が除外され、屋内判定時には不適切な色温度の領域（ＲＵ２）が除外される。従って、被写体に合った光源の条件で画像データのホワイトバランスが調整され、画像の色再現性がさらに向上する。
【００５４】
（４）その他変形例：
本発明のホワイトバランス処理装置は、様々な構成が可能である。例えば、ホワイトバランス処理装置の各部は、一部又は全部がＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで構成されてもよい。
上述したホワイトバランス処理の各ステップの順番は、適宜、変更可能である。例えば、Ｓ１１２のデコード処理やＳ１１４のデモザイク処理は、Ｓ１０２〜Ｓ１１０の間で行ってもよい。
撮像条件を表す撮像条件情報は、ヘッダー情報のみならず、生画像ファイルのフッター情報等でもよい。
画像データのホワイトバランスの調整は、ＲＧＢ色空間で行うのみならず、ＣＭＹ（シアン、マゼンタ、イエロー）色空間等の他の空間で行ってもよい。
元ホワイトバランス判定範囲を表す色度座標は、CIE 1976 UCS色度座標等の他の座標であってもよい。
【００５５】
ホワイトバランス判定範囲は、輝度等の明るさに応じて範囲の変わる領域とされてもよい。
ホワイトバランス判定範囲内に含まれるか否かの判定を行うＳ１１８のゲイン値の算出は、画像を分割した領域毎に行ってもよいし、明度等の明るさに応じて区分した区分毎に行ってもよい。
Ｓ１２０の区分の抽出は、撮像時の光源の条件等に応じた抽出とされてもよい。
【００５６】
なお、本発明は、上述した実施例や変形例に限られず、上述した実施例及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施例及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
【符号の説明】
【００５７】
１…ホワイトバランス処理装置、１００…パーソナルコンピューター、２００…デジタルスチルカメラ、Ｄ１…ＲＡＷ画像データ（生画像データ）、Ｄ２〜Ｄ６…画像データ、Ｆ１…ＲＡＷ画像ファイル（生画像ファイル）、Ｉ１…ヘッダー情報（撮像条件情報）、Ｉ２…機種情報、Ｉ３，Ｉ４…色情報、Ｉ５…抽出結果、Ｌ１，ＬＵ１…黒体放射軌跡、ＰＩ１…画素、Ｒ１〜Ｒ３…ホワイトバランス判定範囲、Ｒ２１，Ｒ２２…輝度区分、ＲＵ１〜ＲＵ３…元ホワイトバランス判定範囲。
【図１】
2010226365.tif 000005
【図２】
2010226365.tif 000006
【図３】
2010226365.tif 000007
【図４】
2010226365.tif 000008
【図５】
2010226365.tif 000009
【図６】
2010226365.tif 000010
【図７】
2010226365.tif 000011
【図８】
2010226365.tif 000012