(57)【要約】【課題】撮像画像に基づいた画像の色再現性を向上させることを課題とする。【解決手段】撮像画像に基づいた画像データＤ２を取得し、撮像条件を表す情報Ｉ１から得られる被写体輝度Bvに基づいて撮像時の光源の条件を判定し、判定された光源の条件と前記画像データＤ２中の画素ＰＩ１の色情報Ｉ４とに基づいて、前記画像データＤ２のホワイトバランスを調整する。また、前記被写体輝度Bvが比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、前記被写体輝度Bvが比較的低い場合に撮像時の光源の条件を屋内光源と判定し、判定された光源の条件が屋内光源である場合、屋外光源である場合よりも青側の色を含む色の中から無彩色に変換する色を決定してもよい。【選択図】図１
2010226364.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に基づいた画像データを取得する画像データ取得手段と、
前記画像データの被写体輝度に基づいて撮像時の光源の条件を判定する光源条件判定手段と、
判定された光源の条件と前記画像データ中の画素の色情報とに基づいて、前記画像データのホワイトバランスを調整するホワイトバランス調整手段とを備えることを特徴とするホワイトバランス処理装置。
【請求項２】
前記ホワイトバランス調整手段は、前記画像データに由来し前記判定された光源の条件に応じた色を無彩色に変換するように前記画像データのホワイトバランスを調整することを特徴とする請求項１に記載のホワイトバランス処理装置。
【請求項３】
前記光源条件判定手段は、前記被写体輝度が比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、前記被写体輝度が比較的低い場合に撮像時の光源の条件を屋内光源と判定し、
前記ホワイトバランス調整手段は、判定された光源の条件が屋内光源である場合、屋外光源である場合よりも青側の色を含む色の中から無彩色に変換する色を決定することを特徴とする請求項１又は請求項２に記載のホワイトバランス処理装置。
【請求項４】
前記画像データ取得手段は、撮像条件を表す撮像条件情報を有する生画像ファイルを取得するとともに、該生画像ファイルに基づいて前記画像データを取得し、
前記光源条件判定手段は、前記撮像条件情報から前記被写体輝度を取得し、該被写体輝度に基づいて撮像時の光源の条件を判定することを特徴とする請求項１〜請求項３のいずれか一項に記載のホワイトバランス処理装置。
【請求項５】
前記ホワイトバランス調整手段は、所定の色空間において前記画像データのホワイトバランスを判定するためのホワイトバランス判定範囲のうち前記判定された光源の条件に応じた部分に含まれる前記画像データ由来の色を無彩色に変換するように前記画像データのホワイトバランスを調整することを特徴とする請求項１〜請求項４のいずれか一項に記載のホワイトバランス処理装置。
【請求項６】
前記ホワイトバランス調整手段は、所定の色空間において、前記画像データのホワイトバランスを判定するための判定範囲であって前記判定された光源の条件に応じた判定範囲であるホワイトバランス判定範囲に含まれる前記画像データ中の色を無彩色に変換するように前記画像データのホワイトバランスを調整することを特徴とする請求項１〜請求項４のいずれか一項に記載のホワイトバランス処理装置。
【請求項７】
撮像画像に基づいた画像データを取得する画像データ取得工程と、
前記画像データの被写体輝度に基づいて撮像時の光源の条件を判定する光源条件判定工程と、
判定された光源の条件と前記画像データ中の画素の色情報とに基づいて、前記画像データのホワイトバランスを調整するホワイトバランス調整工程とを備えることを特徴とするホワイトバランス処理方法。
【請求項８】
撮像画像に基づいた画像データを取得する画像データ取得機能と、
前記画像データの被写体輝度に基づいて撮像時の光源の条件を判定する光源条件判定機能と、
判定された光源の条件と前記画像データ中の画素の色情報とに基づいて、前記画像データのホワイトバランスを調整するホワイトバランス調整機能とをコンピューターに実現させることを特徴とするホワイトバランス処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に基づいた画像データのホワイトバランスを調整する技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の画像入力装置は、撮像画像を表すＲＡＷ画像データ（生画像データ）を生成する。このＲＡＷ画像データに基づいた画像データに対して、ホワイトバランスを調整する処理が行われている。
【０００３】
特許文献１記載のホワイトバランス制御方法は、画像を複数のブロックに分割し、各ブロックの色信号を表す色空間座標をホワイトバランス判定空間座標に変換し、ホワイトバランス判定空間内に光源推定領域と高彩度判定領域とを設定し、光源推定領域におけるホワイトバランス判定空間座標の分布に基づいて光源の種類を推定した後、該推定された光源の種類と高彩度判定領域におけるホワイトバランス判定空間座標の分布とに基づいて光源の種類を決定し、決定された光源の種類に基づいてホワイトバランス制御情報を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３０６３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、決定される光源の種類が被写体に合っておらず、画像の色再現性が適切でないことがある。
【０００６】
以上を鑑み、本発明は、撮像画像に基づいた画像の色再現性を向上させることを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は、撮像画像に基づいた画像データを取得し、前記画像データの被写体輝度に基づいて撮像時の光源の条件を判定し、判定した光源の条件と前記画像データ中の画素の色情報とに基づいて、前記画像データのホワイトバランスを調整することを特徴とする。
すなわち、画像データのホワイトバランスは、被写体輝度に基づいて判定された光源の条件に基づいて調整される。これにより、被写体に合った光源の条件で画像データのホワイトバランスが調整される。従って、本発明によると、撮像画像に基づいた画像の色再現性を向上させることができる。
【０００８】
ところで、上述したホワイトバランス調整は、画像入力装置で生成された画像データを取得したコンピューター（画像出力装置を含む）、画像入力装置自体、等で実行可能である。
撮像画像に基づいた画像データには、生画像データにデモザイク処理を行った画像データ、該画像データにγ（ガンマ）補正等の補正を行った画像データ、生画像データ自体、等が含まれる。
画像データを取得する際、撮像条件を表す撮像条件情報を有する生画像ファイルを取得するとともに、該生画像ファイルに基づいて前記画像データを取得してもよい。
撮像時の光源の条件には、複数ある光源の種類を分類する条件、個々の光源の種類、等が含まれる。むろん、判定される光源の条件は、二種類でもよいし、三種類以上でもよい。
画像データ中の画素の色情報に基づいてホワイトバランスを調整することには、画像を分割した領域毎に画素の色情報を積算した色情報（平均した色情報を含む）に基づいた調整、輝度等の明るさに応じて区分された区分毎に画素の色情報を積算した色情報に基づいた調整、画素毎の色情報に基づいた調整、等が含まれる。
【０００９】
ホワイトバランスの調整は、前記画像データに由来し前記判定された光源の条件に応じた色を無彩色に変換するようにしてもよい。これにより、画像の色再現性がさらに向上する。ここで、画像データに由来する色には、光源の条件に応じて選択された領域又は区分の色情報を積算した色情報で表される色、光源の条件に応じて選択された複数の画素の色情報を積算した色情報で表される色、等が含まれる。
【００１０】
また、前記被写体輝度が比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、前記被写体輝度が比較的低い場合に撮像時の光源の条件を屋内光源と判定し、判定された光源の条件が屋内光源である場合、屋外光源である場合よりも青側の色を含む色の中から無彩色に変換する色を決定してもよい。これにより、画像の色再現性がさらに向上する。
【００１１】
さらに、ホワイトバランスの調整は、ホワイトバランス判定範囲に含まれる前記画像データ由来の色を無彩色に変換するようにしてもよい。これにより、画像の色再現性がさらに向上する。
【００１２】
上述した発明は、画像データ取得手段と光源条件判定手段とホワイトバランス調整手段とを備えるホワイトバランス処理装置、該装置を備えるシステム、画像データ取得工程と光源条件判定工程とホワイトバランス調整工程とを備えるホワイトバランス処理方法、画像データ取得機能と光源条件判定機能とホワイトバランス調整機能とをコンピューターに実現させるホワイトバランス処理プログラム、該プログラムを記録したコンピューター読み取り可能な媒体、等に適用可能である。
【図面の簡単な説明】
【００１３】
【図１】第一の実施形態に係るホワイトバランス処理装置１の構成を模式的に例示するブロック図である。
【図２】ホワイトバランス処理装置１を含むコンピューターシステムを例示するブロック図である。
【図３】ＲＡＷ画像ファイルＦ１及び画像データＤ１〜Ｄ６の構造を模式的に例示する図である。
【図４】ホワイトバランス判定範囲Ｒ１を例示する図である。
【図５】ホワイトバランスを判定する領域Ｒ２３を抽出する様子を模式的に例示する図である。
【図６】ホワイトバランス処理を例示するフローチャートである。
【図７】第二の実施形態に係るホワイトバランス処理を例示するフローチャートである。
【図８】第三の実施形態に係るホワイトバランス処理を例示するフローチャートである。
【図９】第三の実施形態に係るホワイトバランス判定範囲Ｒ２，Ｒ３を例示する図である。
【発明を実施するための形態】
【００１４】
（１）第一の実施形態：
図１に示すように、本発明の第一の実施形態に係るホワイトバランス処理装置１は、同図に示す各部Ｕ１〜Ｕ１６を備えている。ホワイトバランス処理装置１は、ＲＡＷ画像ファイル（生画像ファイル）Ｆ１を取得してＲＡＷ画像データ（生画像データ）Ｄ１の現像処理を行い、ホワイトバランスを調整した画像データＤ６を生成する。このホワイトバランス処理装置１は、例えば、図２に示すコンピューターシステムに実現される。
【００１５】
図２に示すコンピューターシステムは、画像処理装置であるパーソナルコンピューター（ＰＣ）１００と、画像入力装置であるデジタルスチルカメラ（ＤＳＣ）２００とから構成されている。本実施形態のホワイトバランス処理装置１はＰＣ１００であり、本実施形態のホワイトバランス処理方法はＰＣ１００で実施される。むろん、本発明のホワイトバランス処理装置は、ＤＳＣであってもよいし、ＰＣとＤＳＣの両方に含まれてもよく、互いに協働するＰＣとＤＳＣとのシステムであってもよい。画像処理装置は、印刷装置、表示装置、等の画像出力装置を用いてもよいし、ネットワーク接続した複数のコンピューターを用いてもよい。画像入力装置は、ビデオカメラ等を用いてもよい。また、コンピューターシステムは、画像処理装置と画像入力装置とが一体化された装置を用いてもよい。
【００１６】
ＰＣ１００では、ＣＰＵ（Central Processing Unit）１１１、半導体メモリー１１２，１１３、記憶装置１１４、入力装置１１５、出力装置１１６、インターフェイス（Ｉ／Ｆ）１１７〜１１９、ディスクドライブ１２０、等がバス１０１に接続されて互いに情報を入出力可能とされている。ＣＰＵ１１１は、ＲＯＭ（Read Only Memory）１１２に書き込まれたプログラムに従ってＲＡＭ（Random Access Memory）１１３をワークエリアとして使用しながらＰＣ全体の動作を制御する。
【００１７】
記憶装置１１４は、オペレーティングシステム（ＯＳ）、アプリケーションプログラム（ＡＰＬ）、色変換マトリクス（Matrix）、ホワイトバランス判定範囲Ｒ１を表す情報、閾値THBv，THR，THB、等を記憶している。記憶装置１１４を構成するメモリーには、ハードディスク（磁気ディスク）、不揮発性半導体メモリー、等を用いることができる。
本実施形態のＡＰＬには、ホワイトバランス処理装置の各部Ｕ１〜Ｕ１５に対応した部分を有するホワイトバランス処理プログラムが含まれている。むろん、ＯＳにホワイトバランス処理プログラムが含まれてもよい。色変換マトリクスには、機器独立ＲＧＢ色空間と撮像機種に応じた機器依存ＲＧＢ色空間とを変換するための情報が含まれている。ホワイトバランス判定範囲を表す情報は、画像を分割した領域毎の色情報をホワイトバランス調整に用いるか否かを判定するための空間を表す情報である。図４に示すように、ホワイトバランス判定範囲Ｒ１は、機器依存ＲＧＢ色空間のＲ／Ｇ−Ｂ／Ｇ平面上で色温度２８００〜８０００Ｋの範囲を含む黒体放射軌跡Ｌ１に沿った領域とされている。THBvは、撮像時の光源の条件を判定するための閾値であり、撮像画像に対応する被写体輝度Bvに対する閾値である。THR，THBは、判定された光源の条件に応じてホワイトバランス判定範囲Ｒ１を用いた判定を行う領域を抽出するための閾値であり、領域の色情報に対する閾値である。
【００１８】
入力装置１１５は、キーボードやマウス（ポインティングデバイス）といった操作入力装置等で構成することができる。出力装置１１６は、ディスプレイやプリンターといった画像出力装置等で構成することができる。通信Ｉ／Ｆ１１７は、ＰＣ１００をネットワーク接続するためのインターフェイスである。Ｉ／Ｆ１１８は、画像入力装置に対して情報を入出力するためのインターフェイスであり、ＤＳＣのＩ／Ｆ２１４等に接続される。カードＩ／Ｆ１１９のスロットには、不揮発性半導体メモリーを用いたメモリーカードＭ１を着脱可能に挿入することができる。ディスクドライブは、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等のコンピューター読み取り可能な記録媒体Ｍ２を着脱可能に挿入することができる。ホワイトバランス処理プログラムは、該プログラムを記録した記録媒体Ｍ２からＰＣ１００にインストールされてもよいし、該プログラムを記録したサーバーコンピューターからネットワークを介して記憶装置１１４にダウンロードされてもよい。
【００１９】
ＤＳＣ２００は、光学系の各部２０１〜２０５と制御系の各部２１１〜２１５を備えている。
光学系には、レンズ２０１を駆動して焦点（ピント）の位置や焦点距離を調整するレンズ駆動部２０２、レンズ駆動部２０２の動作を制御するレンズ駆動制御部２０３、レンズ２０１を介して受光面に入力された光をアナログの電気信号に変換する撮像素子２０４、撮像素子２０４から出力されたアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路２０５、等が設けられている。撮像素子２０４は、例えば単板方式のＣＣＤ（Charge Coupled Device）を用いて構成される。この場合、撮像素子２０４の受光面側には、画素毎に所定の要素色（例えば、Ｒ，Ｇ，Ｂ）のうち一色を配置したカラーフィルターが設けられる。
【００２０】
制御系の各部２１１〜２１５並びにレンズ駆動制御部２０３及びＡ／Ｄ変換回路２０５は、バス２１０に接続され、互いに情報を入出力可能とされている。制御部２１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、タイマー、等を有し、ＲＯＭに書き込まれたプログラムに従ってＲＡＭをワークエリアとして使用しながらＤＳＣ全体の動作を制御する。操作部２１２は、押しボタンスイッチといった複数のスイッチ等で構成することができる。表示部２１３は、液晶ディスプレイ、発光ダイオード、等で構成することができる。Ｉ／Ｆ２１４は、画像処理装置に対して情報を入出力するためのインターフェイスである。カードＩ／Ｆ２１５のスロットには、メモリーカードＭ１を着脱可能に挿入することができる。
【００２１】
図１に示すホワイトバランス処理装置１は、上述したハードウェアとソフトウェアとが協働して構築される。本実施形態のホワイトバランス処理装置１は、Ｕ１〜Ｕ５，Ｕ１１〜Ｕ１３に対応するプログラムがＲＡＷ現像モジュールを構成し、Ｕ６〜Ｕ１０，Ｕ１４，Ｕ１５に対応するプログラムが一つの自動補正モジュールを構成している。以下、ホワイトバランス処理装置の各部を説明する。
ＲＡＷ画像ファイル取得部Ｕ１は、図３（ａ）に例示するようなＲＡＷ画像ファイルＦ１を取得する。本実施形態のＲＡＷ画像ファイルＦ１は、撮像画像に基づいたＲＡＷ画像データＤ１に撮像条件を表すヘッダー情報（撮像条件情報）Ｉ１が添付されたデータ構造とされている。ＲＡＷ画像データＤ１は、画素ＰＩ１毎にＲ，Ｇ，Ｂのいずれかの色情報Ｉ３を階調値として有するベイヤデータとする。ヘッダー情報Ｉ１は、撮像機種を表す機種情報Ｉ２、絞りF値、シャッタースピードTv、ISO感度、等の撮像条件を表す情報を有している。ＲＡＷ画像ファイルには、Exif（Exchangeable image file format）2.2規格（Exifは社団法人電子情報技術産業協会の登録商標）に従ったフォーマットのファイル等を用いることができる。
【００２２】
ヘッダー取得部Ｕ２は、ＲＡＷ画像ファイルＦ１から機種情報Ｉ２等を含むヘッダー情報Ｉ１を取得する。これにより、ヘッダー情報Ｉ１から撮像画像の撮像機種が特定される。判定範囲取得部Ｕ３は、機種情報Ｉ２に応じたＲＧＢ色空間（所定の色空間）においてＲＡＷ画像ファイルＦ１に基づいた画像データＤ２のホワイトバランスを判定するためのホワイトバランス判定範囲を表す情報を取得する。図４には、機器依存ＲＧＢ色空間のＲ／Ｇ−Ｂ／Ｇ平面においてホワイトバランス判定範囲Ｒ１が例示されている。ここで、Ｒ／ＧはＲＧＢ色空間のＧ成分に対するＲ成分の比を表し、Ｂ／ＧはＲＧＢ色空間のＧ成分に対するＢ成分の比を表している。ホワイトバランス判定範囲を表す情報は、ホワイトバランス判定範囲内で離散的に配列した複数の点を表すＲ／Ｇ−Ｂ／Ｇ平面上の座標の集合、Ｒ／Ｇ−Ｂ／Ｇ平面上でホワイトバランス判定範囲の境界部を表す複数の座標の集合、等で表すことができる。ホワイトバランス判定範囲を表す情報は、撮像機種毎に用意され、例えば機種情報に対応づけられて記憶装置１１４に記憶される。むろん、国際照明委員会（ＣＩＥ）で規定されたＵＣＳ色度座標等の座標上で黒体放射軌跡に基づいた元ホワイトバランス判定範囲を表す情報を記憶装置１１４に記憶させておいてもよい。この場合、該元ホワイトバランス判定範囲を表す情報を撮像機種に応じた色空間へ変換すれば、ホワイトバランス判定範囲を表す情報を取得することができる。本実施形態の判定範囲取得部Ｕ３は、機種別のホワイトバランス判定範囲を表す複数の情報の中から機種情報Ｉ２に対応する情報を選択する。
【００２３】
ＲＡＷデコード部Ｕ４は、ＲＡＷ画像ファイルＦ１に対してＲＡＷ画像データＤ１のデコード処理を行い、ＲＡＷ画像データＤ１を得る。デモザイク部Ｕ５は、ＲＡＷ画像データＤ１の各画素ＰＩ１に色情報を補うデモザイク処理を行い、図３（ｂ）に示すように画素ＰＩ１毎にＲ，Ｇ，Ｂの色情報Ｉ４を階調値として有する画像データＤ２を生成する。この画像データＤ２は、機器依存ＲＧＢ色空間で表され撮像画像に基づいた画像データであり、ホワイトバランス調整の対象となる画像データとなる。本実施形態では、Ｕ１，Ｕ４，Ｕ５の各部が画像データ取得手段を構成し、画像データ取得工程及び画像データ取得機能に対応している。
領域別ゲイン値算出部Ｕ６は、図５に示すように、画像データＩ２を画像の領域Ｒ２１毎に分割したとして、該領域Ｒ２１毎にホワイトバランスのゲイン値Ｒ／Ｇ，Ｂ／Ｇを算出する。本実施形態のゲイン値Ｒ／Ｇ，Ｂ／Ｇは、各領域Ｒ２１内の各画素ＰＩ１のゲイン値Ｒ／Ｇ，Ｂ／Ｇの相加平均値としているが、同ゲイン値Ｒ／Ｇ，Ｂ／Ｇの総和、相乗平均値、等としてもよい。ゲイン値Ｒ／Ｇ，Ｂ／Ｇは、画像データＤ２中の画素の色情報Ｉ４に基づいた領域Ｒ２１毎の色情報である。
【００２４】
被写体輝度算出部Ｕ７は、ヘッダー情報Ｉ１に含まれる絞りF値、シャッタースピードTv、及び、ISO感度を用いて、ホワイトバランス調整対象の画像データＤ２の被写体輝度Bvを算出する。ここで、
Av＝2 log2（F）          …(1)
Tv'＝−log2（Tv）          …(2)
Sv＝log2（ISO／3.125）    …(3)
とすると、
AV＋Tv'＝Bv＋Sv    …(4)
なる関係があるため、以下の式により被写体輝度Bvを求めることができる。
Bv＝Av＋Tv'−Sv
＝2 log2（F）−log2（Tv）−log2（ISO／3.125）    …(5)
【００２５】
判定実行部Ｕ８は、画像データの被写体輝度Bvに基づいて撮像時の光源の条件を判定する。被写体輝度が高い場合、撮像時の光源は通常、太陽光（色温度約５２００〜５５００Ｋ）、晴天日陰（色温度約７５００〜８０００Ｋ）、曇天（色温度約６５００Ｋ）、等の屋外の光源となる。一方、被写体輝度が低い場合、撮像時の光源は通常、タングステン（色温度約２８００Ｋ）、蛍光灯（色温度約３８００〜４５００Ｋ）、等の屋内の光源となる。そこで、本実施形態の判定実行部Ｕ８は、被写体輝度Bvと閾値THBvとを対比し、被写体輝度Bvが比較的高い場合に撮像時の光源の条件を屋外光源と判定する一方、被写体輝度Bvが比較的低い場合に撮像時の光源の条件を屋内光源と判定する。なお、閾値THBvは屋外の光源の輝度と屋内の光源の輝度との間の輝度になるように設定している。
本実施形態では、Ｕ２，Ｕ７，Ｕ８の各部が光源条件判定手段を構成し、光源条件判定工程及び光源条件判定機能に対応している。
【００２６】
なお、被写体輝度を用いずに撮像時の光源を特定しようとすると被写体の色によっては、撮像時の光源がタングステンや蛍光灯であるのに撮像時の光源が太陽光、晴天日陰又は曇天であると誤判定したり、撮像時の光源が太陽光や晴天日陰であるのに撮像時の光源がタングステン又は蛍光灯であると誤判定したりすることがある。これにより、撮影時と異なる光源の条件で画像データのホワイトバランスが調整されることとなる。
本発明では、撮像時の光源の条件が被写体輝度に基づいて判定されるので、このような誤判定が生じ難く、被写体に合った光源の条件で画像データのホワイトバランスが調整される。
【００２７】
領域抽出部Ｕ９は、画像の複数の領域Ｒ２１からホワイトバランス調整に用いる領域を抽出する。
【００２８】
図５は、画像データＤ２からホワイトバランス調整に用いる領域Ｒ２３を抽出する様子を模式的に示している。図５の上段では、各領域Ｒ２１に通し番号ｉ＝１〜２０を付している。本実施形態の領域抽出部Ｕ９は、まず、判定された光源の条件と領域Ｒ２１毎のゲイン値Ｒ／Ｇ，Ｂ／Ｇとに基づいてホワイトバランス調整に用いる領域Ｒ２２を一次抽出する。図５の中段に示す抽出結果Ｉ５は、抽出された領域Ｒ２２に丸印が付されている。次に、領域抽出部Ｕ９は、領域Ｒ２２のうちゲイン値Ｒ／Ｇ，Ｂ／Ｇがホワイトバランス判定範囲Ｒ１に含まれる領域Ｒ２３を二次抽出する。図５の下段に示す抽出結果Ｉ６は、抽出された領域Ｒ２３に丸印が付されている。
【００２９】
図４には、機器依存ＲＧＢ色空間のＲ／Ｇ−Ｂ／Ｇ平面において、上述した各光源の座標Ｐ１〜Ｐ５を黒体放射軌跡Ｌ１上に示している。図４に示すように、屋内光源であるタングステンの座標Ｐ１と蛍光灯の座標Ｐ２は、屋外光源である太陽光の座標Ｐ３や曇天の座標Ｐ４や晴天日陰の座標Ｐ５よりもＢ／Ｇが大きく、すなわち、青側とされている。そこで、本実施形態の領域抽出部Ｕ９は、各ゲイン値Ｒ／Ｇ，Ｂ／Ｇと閾値THR，THBとを対比し、屋外光源と判定された場合にはＲ／ＧがTHR以上若しくはより大か、又は、Ｂ／ＧがTHB以下若しくはより小の領域Ｒ２２を一次抽出し、屋内光源と判定された場合にはＲ／ＧがTHR以下若しくはより小か、又は、Ｂ／ＧがTHB以上若しくはより大の領域Ｒ２２を一次抽出する。これにより、Ｒ／Ｇ−Ｂ／Ｇ平面において、ホワイトバランス判定範囲Ｒ１のうち、屋外光源時には青側の領域Ｒ１２が使用されず、屋内光源時には赤側の領域Ｒ１４がホワイトバランス調整に使用されないこととなる。なお、閾値THR，THBは図４のように屋外の光源の各ゲイン値と屋内の光源の各ゲイン値との間の値になるように設定している。
【００３０】
なお、座標（THR，THB）を通る線でホワイトバランス調整に用いるホワイトバランス判定範囲Ｒ１を分けることも可能である。しかしながら、ホワイトバランス判定範囲Ｒ１は黒体放射軌跡Ｌ１に沿って細長くされた領域であるため、領域Ｒ１１，Ｒ１３は少ない。従って、領域Ｒ１１，Ｒ１３が屋外判定時と屋内判定時の両方で使用されてもホワイトバランス処理はほとんど増えず、逆にゲイン値Ｒ／Ｇ，Ｂ／Ｇを閾値THR，THBとだけ対比することによってホワイトバランス処理が軽減される。
【００３１】
調整パラメータ決定部Ｕ１０は、二次抽出された領域Ｒ２３のゲイン値Ｒ／Ｇ，Ｂ／Ｇに基づいて、ホワイトバランス調整用の調整パラメータPr，Pbを決定する。調整パラメータPr，Pbは、領域Ｒ２３のゲイン値Ｒ／Ｇ，Ｂ／Ｇの相加平均値等とされる。従って、調整パラメータPr，Pbは、画像データＤ２に由来し判定実行部Ｕ８で判定された光源の条件に応じた色を表している。なお、領域Ｒ２３が二次抽出されなかった場合には、ホワイトバランス調整が行われないよう、調整パラメータを例えばPr＝Pb＝１に設定する。
調整実行部Ｕ１１は、調整パラメータPr，Pbに基づいて画像データＤ２のホワイトバランスを調整する。すなわち、ホワイトバランスの調整は、特定された光源の条件と画像データＤ２中の画素の色情報Ｉ４とに基づいて行われる。本実施形態の調整実行部Ｕ１１は、調整パラメータPr，Pbで表される色を無彩色に変換するように画像データＤ２のホワイトバランスを調整する。
本実施形態では、Ｕ６，Ｕ９〜Ｕ１１の各部がホワイトバランス調整手段を構成し、ホワイトバランス調整工程及びホワイトバランス調整機能に対応している。
【００３２】
機器独立色空間変換部Ｕ１２は、ホワイトバランス調整後の画像データＤ３を撮像機種に応じたＲＧＢ色空間からｓＲＧＢ色空間等の機器独立ＲＧＢ色空間へ変換する。γ補正部Ｕ１３は、色空間変換後の画像データＤ４に対して、画像出力装置の出力特性の下で適切な明るさの階調となるようにγ補正を行う。画像圧縮部Ｕ１４は、γ補正後の画像データＤ５をＪＰＥＧ（Joint Photographic Experts Group）形式等の所定の画像形式に圧縮する。画像出力部Ｕ１５は、圧縮後の画像データＤ６を画像記憶部Ｕ１６に記憶したり画像出力装置へ出力したりする。画像記憶部Ｕ１６は、記憶装置１１４、記録媒体Ｍ１，Ｍ２、サーバーコンピューター、等に該当する。
なお、画像データＤ１〜Ｄ６は、いずれも撮像画像に基づいた画像データといえる。従って、本発明によるホワイトバランス調整は、ＲＡＷ画像データＤ１、機器独立色空間に変換された画像データ、γ補正された画像データ、圧縮された画像データ、のいずれに適用されてもよい。
【００３３】
図６は、ＰＣ１００のＣＰＵ１１１によって行われるホワイトバランス処理を例示している。図６に示す処理は、ＯＳの存在下でホワイトバランス処理プログラムが起動されているときに行われる。以下、本ホワイトバランス処理装置１の動作、作用及び効果を説明する。
図６に示す処理を開始すると、カードＩ／Ｆ１１９に接続されたメモリーカードＭ１等からＲＡＷ画像ファイルＦ１を取得する（ステップＳ１０２。以下、「ステップ」の記載を省略）。むろん、記憶装置１１４、記録媒体Ｍ２、サーバーコンピューター、等からＲＡＷ画像ファイルを取得してもよい。Ｓ１０４では、ＲＡＷ画像ファイルＦ１から、機種情報Ｉ２、絞りF値、シャッタースピードTv、ISO感度、等を含むヘッダー情報Ｉ１を取得する。Ｓ１０６では、機種情報Ｉ２に基づいて記憶装置１１４等から機種別のホワイトバランス判定範囲Ｒ１を表す情報を取得する。
【００３４】
Ｓ１０８では、デコード処理によりＲＡＷ画像ファイルＦ１からＲＡＷ画像データＤ１を取得する。Ｓ１１０では、ＲＡＷ画像データＤ１に対してデモザイク処理を行い、画素ＰＩ１毎にＲ，Ｇ，Ｂの色情報Ｉ４を有する画像データＤ２を取得する。Ｓ１１２では、図５に示すように画像データＤ２を分割した領域Ｒ２１毎にゲイン値Ｒ／Ｇ，Ｂ／Ｇを算出する。本実施形態では、分割された領域ｉの各画素ＰＩ１のゲイン値Ｒ／Ｇを相加平均した値（Riとする）を領域ｉのゲイン値Ｒ／Ｇとし、領域ｉの各画素ＰＩ１のゲイン値Ｂ／Ｇを相加平均した値（Biとする）を領域ｉのゲイン値Ｂ／Ｇとしている。
Ｓ１１４では、上記式(5)に従って、絞りF値、シャッタースピードTv及びISO感度から被写体輝度Bvを算出する。Ｓ１１６では、被写体輝度Bvと閾値THBvとを対比して撮像時の光源の条件を判定する。
【００３５】
Bv≧THBv（又はBv＞THBv）の場合、被写体輝度が比較的高く、撮像時の光源の条件は屋外光源と判定されたことになる。この場合、Ｓ１１８で領域Ｒ２１の中から例えばRi≧THR又はBi≦THBの領域Ｒ２２を一次抽出する。一方、Bv＜THBv（又はBv≦THBv）の場合、被写体輝度が比較的低く、撮像時の光源の条件は屋内光源と判定されたことになる。この場合、Ｓ１２０で領域Ｒ２１の中から例えばRi≦THR又はBi≧THBの領域Ｒ２２を一次抽出する。
以上より、判定された光源の条件が屋外光源である場合には屋内光源である場合よりも赤側の色を含む色の中から無彩色に変換する色が決定されることとなり、判定された光源の条件が屋内光源である場合には屋外光源である場合よりも青側の色を含む色の中から無彩色に変換する色が決定されることとなる。
【００３６】
Ｓ１２２では、一次抽出された領域Ｒ２２のうち、ゲイン値Ri，Biがホワイトバランス判定範囲Ｒ１に含まれる領域Ｒ２３を二次抽出する。
領域Ｒ２２の一次抽出が行われていないと、例えば、屋外判定時なのに屋内光源であるタングステン（図４のＰ１）又は蛍光灯（図４のＰ２）を含む青側の領域Ｒ１２の色がホワイトバランス調整に用いられることとなる。屋外光源として不適切な青側の領域Ｒ１２の色に基づいてホワイトバランスが調整されるため、撮像画像に基づいた画像の色再現性が十分でなくなることがある。屋内判定時についても、同様である。
本ホワイトバランス処理装置１は、屋外判定時には不適切な青側の領域Ｒ１２の色が除外され、屋内判定時には不適切な赤側の領域Ｒ１４が除外される。
【００３７】
領域Ｒ２３が二次抽出された場合、Ｓ１２４では、二次抽出された領域Ｒ２３のゲイン値Ri，Biを平均して調整パラメータPr，Pbとする。領域Ｒ２３が二次抽出されなかった場合、例えばPr＝Pb＝１とする。Ｓ１２６では、調整パラメータPr，Pbで表される色を無彩色に変換するように、すなわち、画像全体としてＲＧＢの各色成分の座標が（Pr×Ｇ，Ｇ，Pb×Ｇ）で表される色を座標（Ｇ，Ｇ，Ｇ）に変換するように、画像データＤ２のホワイトバランスを調整する。例えば、画像データＤ２の各色成分Ｒ，Ｇ，Ｂの相加平均をAr，Ag，Abとすると、ホワイトバランス調整後に画像データＤ３の各色成分Ｒ，Ｇ，Ｂの相加平均がAr／Pr，Ag，Ab／Pbとなるように画像データＤ２を調整すればよい。各画素ＰＩ１の色成分Ｒ，Ｇ，Ｂの変換は、単純に色成分Ｒ，Ｂに１／Pr，１／Pbを乗じる変換、色成分Ｒ，Ｇ，Ｂに対する調整パラメータPr，Pbに応じた係数のγ変換、等を採用することができる。
以上の処理により、ホワイトバランスの調整は、ホワイトバランス判定範囲Ｒ１のうち、判定された光源の条件に応じた部分に含まれる画像データＤ２由来の色を無彩色に変換するように行われる。
なお、Ｓ１２６では、露出の調整をしてもよい。
【００３８】
Ｓ１２８では、機種別のＲＧＢ色空間とされている画像データＤ３を機器独立ＲＧＢ色空間へ変換する。これにより、撮像機種に応じてホワイトバランス調整が行われた機器独立色空間の画像データを生成することができる。変換後の画像データＤ４は、Ｓ１３０でγ補正が行われる。γ補正後の画像データＤ５は、Ｓ１３２で所定の画像形式に圧縮される。そして、ＰＣ１００は、Ｓ１３４で圧縮後の画像データＤ６を記憶装置１１４等に記憶したり画像出力装置へ出力したりして、処理を終了する。
【００３９】
以上説明したように、撮像画像に基づいた画像データのホワイトバランスは、被写体輝度Bvに基づいて判定された光源の条件に基づいて調整される。これにより、被写体に合った光源の条件で画像データＤ２のホワイトバランスが調整される。従って、本実施形態のホワイトバランス処理装置１、ホワイトバランス処理方法及びホワイトバランス処理プログラムは、撮像画像に基づいた画像の色再現性を向上させることができる。
【００４０】
（２）第二の実施形態：
上述したホワイトバランス処理の各ステップの順番は、適宜、変更可能である。例えば、Ｓ１０８のデコード処理やＳ１１０のデモザイク処理は、Ｓ１０２〜Ｓ１０６の間で行ってもよい。Ｓ１１４の被写体輝度の算出は、Ｓ１０４〜Ｓ１１２の間で行ってもよい。また、画像データＤ２を分割した領域Ｒ２１から先にゲイン値Ｒ／Ｇ，Ｂ／Ｇがホワイトバランス判定範囲Ｒ１内となる領域を一次抽出し、その後、抽出した領域から光源の条件の判定結果に応じた領域を二次抽出してもよい。
【００４１】
図７は、第二の実施形態に係るホワイトバランス処理装置が行うホワイトバランス処理を例示している。本ホワイトバランス処理装置のブロック構成は、第一の実施形態と同様とすることができる。また、本実施形態のＳ１０２〜Ｓ１１２，Ｓ１２４〜Ｓ１３４の処理も、第一の実施形態と同様とすることができる。
本実施形態では、Ｓ１１２終了後、画像データの各領域Ｒ２１からゲイン値Ri，Biがホワイトバランス判定範囲Ｒ１内となる領域ｉを一次抽出する（Ｓ１２２）。その後、被写体輝度Bvを算出し（Ｓ１１４）、閾値THBvと対比し（Ｓ１１６）、屋外判定時に領域ｉの中から例えばRi≧THR又はBi≦THBの領域を二次抽出し（Ｓ１１８）、屋内判定時に領域ｉの中から例えばRi≦THR又はBi≧THBの領域を二次抽出する（Ｓ１２０）。二次抽出される領域は、第一の実施形態の領域Ｒ２３と同じになる。そして、本実施形態も、撮像画像に基づいた画像の色再現性を向上させる効果が得られる。
【００４２】
（３）第三の実施形態：
図８と図９は、ゲイン値をホワイトバランス調整に用いる画像の領域を一度に抽出する第三の実施形態を示している。本実施形態では、図９に示すように、屋外判定時に用いるホワイトバランス判定範囲Ｒ２と、屋内判定時に用いるホワイトバランス判定範囲Ｒ３とを、撮像機種毎に用意している。ここで、屋外光源用ホワイトバランス判定範囲Ｒ２は、第一の実施形態のホワイトバランス判定範囲Ｒ１から青側の領域Ｒ１２を除外した領域としてある。屋内光源用ホワイトバランス判定範囲Ｒ３は、第一の実施形態のホワイトバランス判定範囲Ｒ１から赤側の領域Ｒ１４を除外した領域としてある。むろん、条件別ホワイトバランス判定範囲Ｒ２，Ｒ３の形状は、一例に過ぎず、互いに重ならない形状としてもよい。
【００４３】
図８に示すホワイトバランス処理では、Ｓ１０４終了後、被写体輝度Bvを算出している（Ｓ１１４）。ここで、被写体輝度Bvを閾値THBvと対比し（Ｓ１１６）、屋外判定時に機種情報Ｉ２に基づいて記憶装置１１４等から屋外光源用ホワイトバランス判定範囲Ｒ２を表す情報を取得し（Ｓ２０２）、屋内判定時に機種情報Ｉ２に基づいて記憶装置１１４等から屋内光源用ホワイトバランス判定範囲Ｒ３を表す情報を取得する。その後、デコード処理、デモザイク処理、領域ｉ毎のゲイン値Ri，Biを算出する処理を行い（Ｓ１０８〜Ｓ１１２）、ゲイン値Ri，Biが条件別ホワイトバランス判定範囲（Ｒ２又はＲ３）内となる領域を抽出する（Ｓ１２２）。抽出される領域は、第一の実施形態の領域Ｒ２３と同じになる。従って、Ｓ１２４〜Ｓ１２６では、特定された光源の条件に応じたホワイトバランス判定範囲に含まれる画像データＤ２の色を無彩色に変換するようにホワイトバランスを調整することとなる。
本実施形態によると、撮像画像に基づいた画像の色再現性を向上させる効果が得られるうえ、ホワイトバランス処理を高速化させることができる。
【００４４】
（４）その他変形例：
本発明のホワイトバランス処理装置は、様々な構成が可能である。例えば、ホワイトバランス処理装置の各部は、一部又は全部がＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで構成されてもよい。
撮像条件を表す撮像条件情報は、ヘッダー情報のみならず、生画像ファイルのフッター情報等でもよい。
画像データのホワイトバランスの調整は、機器依存ＲＧＢ色空間で行うのみならず、機器独立ＲＧＢ色空間、ＣＭＹ（シアン、マゼンタ、イエロー）色空間、ＹＵＶ色空間、ＨＳＢ色空間、Ｙｘｙ色空間、ＣＩＥ ＸＹＺ色空間、ＣＩＥ Ｌ*ｕ*ｖ*、ＣＩＥ Ｌ*ａ*ｂ*色空間、等で行ってもよい。
【００４５】
ホワイトバランス判定範囲は、輝度等の明るさに応じて範囲の変わる領域とされてもよい。
ホワイトバランス判定範囲内に含まれるか否かの判定を行うＳ１１２のゲイン値の算出は、画像の各画素の明るさに応じて区分された区分毎に行ってもよい。例えば、Ｓ１１２で、画像データの各画素の輝度を求め、画像データの各画素を輝度の大きさ順に並べ、並べた順に画素を同数ずつ区分し、区分毎にゲイン値Ｒ／Ｇ，Ｂ／Ｇの相加平均値を算出してもよい。
【００４６】
被写体輝度Bvに対する閾値は、複数設けられてもよい。例えば、THBvout＞THBvinとされた閾値THBvout，THBvinを用意してもよい。この場合、図６のＳ１１６において、Bv≧THBvoutの場合には、被写体輝度が比較的高く、光源の条件を屋外光源と判定してＳ１１８に進んでもよい。Bv≦THBvinの場合には、被写体輝度が比較的低く、光源の条件を屋内光源と判定してＳ１２０に進んでもよい。THBvin＜Bv＜THBvoutの場合には、被写体輝度が高くも低くもなく、光源の条件を中間的な条件と判断してＳ１２２に進んでもよい。むろん、個々の光源の種類を判別するための閾値を複数用意し、撮像時の光源の条件として個々の光源の種類を判定するようにしてもよい。
また、被写体輝度に対する閾値は、画像中の領域の位置、明るさに応じて区分した区分の明るさ、等に応じて変わる閾値でもよい。
さらに、ホワイトバランス判定範囲のうち使用する領域を決めるための閾値THR，THBは、画像の明るさ等に応じて変わる閾値でもよい。
さらに、画像のヘッダー情報Ｉ１に屋内で撮影したのか、屋外で撮影したのかを示す情報が含まれていれば、この情報に基づいて領域の抽出を行っても良い。但し、通常はこのような情報は含まれていないため、輝度に基づいて屋外と屋内とを判別するようにすればよい。
【００４７】
なお、本発明は、上述した実施例や変形例に限られず、上述した実施例及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術並びに上述した実施例及び変形例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も含まれる。
【符号の説明】
【００４８】
１…ホワイトバランス処理装置、１００…パーソナルコンピューター、２００…デジタルスチルカメラ、Ｄ１…ＲＡＷ画像データ（生画像データ）、Ｄ２〜Ｄ６…画像データ、Ｆ１…ＲＡＷ画像ファイル（生画像ファイル）、Ｉ１…ヘッダー情報（撮像条件情報）、Ｉ２…機種情報、Ｉ３，Ｉ４…色情報、Ｉ５，Ｉ６…抽出結果、Ｌ１…黒体放射軌跡、ＰＩ１…画素、Ｒ１〜Ｒ３…ホワイトバランス判定範囲、Ｒ１１〜Ｒ１４…部分領域、Ｒ２１〜Ｒ２３…画像の領域。
【図１】
2010226364.tif 000003
【図２】
2010226364.tif 000004
【図３】
2010226364.tif 000005
【図４】
2010226364.tif 000006
【図５】
2010226364.tif 000007
【図６】
2010226364.tif 000008
【図７】
2010226364.tif 000009
【図８】
2010226364.tif 000010
【図９】
2010226364.tif 000011