(57)【要約】【課題】良好な調整パラメータを自動的に得る。【解決手段】画像処理装置は、入力される画像データに対して、当該画像データに対応する第１のパラメータを用いた画像再現処理を行い（ステップＳ１００３）、当該画像データの特徴量を算出するために用いられる画素を再現画像データの画素のうちから判定し、判定した画素に対応する当該画像データに基づいて、当該画像データの特徴量を算出する（ステップＳ１００４）。次に、画像処理装置は、算出した特徴量に基づいて、第２のパラメータを決定し（ステップＳ１００５）、第２のパラメータを用いて、当該画像データの画像再現処理を行う（ステップＳ１００６）。【選択図】図１０
2007164730.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理手段と、
前記画像データの特徴量を算出するために用いられる画素を、前記第１の画像再現処理手段により生成される再現画像データの画素のうちから判定する画素判定手段と、
前記画素判定手段により判定された画素に対応する前記画像データに基づいて、前記画像データの特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定手段と、
前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画素判定手段は、所望の領域が指定された場合、指定された領域に該当する前記再現画像データの部分データの画素のうちから、前記画像データの特徴量を算出するために用いられる画素を判定し、前記特徴量算出手段は、前記画素判定手段により判定された画素に対応する前記画像データに基づいて、前記指定された領域に該当する前記画像データの部分データの特徴量を算出し、前記パラメータ決定手段は、前記画像データの部分データの特徴量に基づいて、前記第２のパラメータを決定し、前記第２の画像再現処理手段は、前記第２のパラメータを用いて、前記画像データの部分データに対する画像再現処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
以前指定された領域について前記特徴量算出手段により算出された特徴量を保持する特徴量保持手段と、
以前指定された領域と今回指定された領域との差分領域を検知する差分領域検知手段とを更に有し、
前記特徴量算出手段は、前記差分領域検知手段により検知された差分領域の特徴量を算出し、前記差分領域の特徴量と前記特徴量保持手段により保持される特徴量とに基づいて、今回指定された領域に該当する前記画像データの部分データの特徴量を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理手段と、
前記第１の画像再現処理手段により生成される再現画像データの特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定手段と、
前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理手段とを有することを特徴とする画像処理装置。
【請求項５】
前記特徴量算出手段は、所望の領域が指定された場合、指定された領域に該当する前記再現画像データの部分データから前記再現画像データの部分データの特徴量を算出し、前記パラメータ決定手段は、前記再現画像データの部分データの特徴量に基づいて、前記第２のパラメータを決定し、前記第２の画像再現処理手段は、前記第２のパラメータを用いて、前記指定された領域に該当する前記画像データの部分データに対する画像再現処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の画像再現処理手段により生成される前記再現画像データを保持する保持手段を更に有することを特徴とする請求項２又は５に記載の画像処理装置。
【請求項７】
前記第１の画像再現処理手段は、所望の領域が指定された場合、指定された領域に該当する前記画像データに対してのみ画像再現処理を行うことを特徴とする請求項２又は５に記載の画像処理装置。
【請求項８】
前記特徴量算出手段により以前指定された領域について算出された特徴量を保持する特徴量保持手段と、
以前指定された領域と今回指定された領域との差分領域を検知する差分領域検知手段とを更に有し、
前記特徴量算出手段は、前記差分領域検知手段により検知された差分領域の特徴量を算出し、前記差分領域の特徴量と前記特徴量保持手段により保持される特徴量とに基づいて、今回指定された領域に該当する前記再現画像データの部分データの特徴量を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記第１の画像再現処理手段は、前記画像データに対して、ホワイトバランス処理、γ調整処理、ゲイン調整処理及び色調整処理のうちの少なくとも一つを実行することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
ＲＡＷデータに対して色補間処理を行うことによって、前記画像データを生成する色補間処理手段を更に有することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記第１のパラメータは、前記ＲＡＷデータを生成する撮像装置において設定されたパラメータであることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
画像処理装置による画像処理方法であって、
入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理ステップと、
前記画像データの特徴量を算出するために用いられる画素を、前記第１の画像再現処理ステップにより生成される再現画像データの画素のうちから判定する画素判定ステップと、
前記画素判定ステップにより判定された画素に対応する前記画像データに基づいて、前記画像データの特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにより算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定ステップと、
前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理ステップとを含むことを特徴とする画像処理方法。
【請求項１３】
画像処理装置による画像処理方法であって、
入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理ステップと、
前記第１の画像再現処理ステップにより生成される再現画像データの特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにより算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定ステップと、
前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理ステップとを含むことを特徴とする画像処理方法。
【請求項１４】
請求項１２又は１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正パラメータを用いて画像データの再現処理を行う画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置は、ＣＭＯＳ、ＣＣＤ等の撮像素子により被写体光学像を光電変換して撮影画像の電気信号を得て、この電気信号をデジタルデータに変換したＲＡＷデータに対して色補間処理を施す。さらに撮像装置は、ホワイトバランス調整処理、ガンマ調整処理、色調整処理などを行い記録する。
【０００３】
ここで、デジタルスチルカメラにおいて、記録される撮影画像の画像データは、非常に多くの情報量を持つ。そこで、ＪＰＥＧ符号化などの画像圧縮方式により画像データ量を減らして記録媒体に記録することが広く行われている。
【０００４】
これに対し、前述のＲＡＷデータをそのまま、又は公知の可逆符号化により符号化したデータを記録媒体に記録しておき、パソコン等の外部装置により色補間処理、ホワイトバランス調整処理、ガンマ調整処理、色調整処理といった再現処理を行うこともある。この方式は撮像素子の信号をほぼそのまま再現できる形で記録しておき、後で再現処理を行うので、撮像装置内で再現処理を行って記録する方式に比べて、画像の編集に対する耐性が高い。
【０００５】
外部装置により画像の再現処理を行う際、ユーザは画像調整用のパラメータを自由に設定し、そのパラメータが適用された画像を確認しながら適当なパラメータを決定することとなる。
【０００６】
撮像装置内で色補間後の画像データに対して行われる各調整処理では、撮影時の設定に応じて予め定められた調整値や、画像データを解析した結果から算出した調整値を用いて調整処理を行うことが一般的である。
【０００７】
しかしながら、この撮像装置内で決定された調整値は必ずしも全ての画像に対して好適であるとは限らない。
【０００８】
上記問題に対し、調整処理後の結果画像をユーザに提示し、ユーザが結果画像を確認しながら調整量を決定する方法が提案されている（特許文献１参照）。
【０００９】
【特許文献１】特開２００２−１８５９７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、この場合ユーザが結果画像を確認しつつ、試行錯誤して調整量を決定しなくてはならず、やはり煩雑であるという問題がある。
【００１１】
そこで、本発明の目的は、良好な調整パラメータを自動的に得ることにある。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置の第１の態様は、入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理手段と、前記画像データの特徴量を算出するために用いられる画素を、前記第１の画像再現処理手段により生成される再現画像データの画素のうちから判定する画素判定手段と、前記画素判定手段により判定された画素に対応する前記画像データに基づいて、前記画像データの特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定手段と、前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理手段とを有することを特徴とする。
本発明の画像処理装置の第２の態様は、入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理手段と、前記第１の画像再現処理手段により生成される再現画像データの特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定手段と、前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理手段とを有することを特徴とする。
本発明の画像処理方法の第１の態様は、画像処理装置による画像処理方法であって、入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理ステップと、前記画像データの特徴量を算出するために用いられる画素を、前記第１の画像再現処理ステップにより生成される再現画像データの画素のうちから判定する画素判定ステップと、前記画素判定ステップにより判定された画素に対応する前記画像データに基づいて、前記画像データの特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにより算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定ステップと、前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理ステップとを含むことを特徴とする。
本発明の画像処理方法の第２の態様は、画像処理装置による画像処理方法であって、入力される画像データに対して、前記画像データに対応する第１のパラメータを用いた画像再現処理を行う第１の画像再現処理ステップと、前記第１の画像再現処理ステップにより生成される再現画像データの特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップにより算出された特徴量に基づいて、第２のパラメータを決定するパラメータ決定ステップと、前記第２のパラメータを用いて、前記画像データの画像再現処理を行う第２の画像再現処理ステップとを含むことを特徴とする。
本発明のプログラムは、前記画像処理方法の第１又は第２の態様をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１３】
本発明においては、画像データに対応する第１のパラメータを用いた画像再現処理によって再現画像データを生成し、その再現画像データに基づいて当該画像データを再現するためのパラメータを求めている。従って、本発明によれば、良好な調整パラメータを自動的に得ることが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１５】
−第１の実施形態−
先ず、本発明の第１の実施形態について説明する。本発明の第１の実施形態では、ＲＡＷデータに対するホワイトバランス(以下、ＷＢと記す)調整における自動補正処理を説明する。なお、ＲＡＷデータとは、ＣＭＯＳ、ＣＣＤ等の撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換した画像データである。
【００１６】
ＲＡＷデータとしては、例えば図３に示すＲＧＢの配列をした画像データであるＢａｙｅｒ配列があるが、各画素１つの色情報しか持たないため、色補間処理で周りの画素から色情報を補間することで、各画素Ｒ，Ｇ，Ｂの３つの色情報を持つデータに変換する。
【００１７】
色補間後の画像データにホワイトバランス調整処理、ゲイン調整処理、ガンマ調整処理、色調整処理などを行い、画像出力装置で出力する画像を再現する。以下、これらのＲＡＷデータに対する調整処理を画像再現処理、画像再現処理後の画像を再現画像と記述する。また、ＲＡＷデータに色補間を施した画像データを色補間ＲＡＷデータと記述する。
【００１８】
以下、図面を参照して、本発明の第１の実施形態を説明する。図１は第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１において、読込部１００は公知のＣＣＤ素子などで構成されている撮像装置などで画像を読み込む。入力部１０１はキーボードやポインティング装置で構成されており、ユーザは入力部１０１を操作しデータの入力や操作の指示を行う。蓄積部１０２はバイナリデータやメタデータを蓄積するものであり、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＦカード、ＳＤカード、メモリスティック等で構成される。表示部１０３は蓄積部１０２に蓄積されたバイナリデータを表示したり、読込部１００で読み込まれた画像データを表示するものであり、ＣＲＴや液晶である場合が多い。
【００１９】
ＣＰＵ１０４は上記の処理の全てに関わり、ＲＯＭ１０４とＲＡＭ１０５はその処理に必要なメモリや作業領域を提供する。また、図１０のフローチャートを参照して後述する本実施形態の処理手順を実現するための制御プログラムはＲＯＭ１０４又は蓄積部１０２に格納されている。
【００２０】
まず、本実施形態で示す画像処理装置が読み込む画像データのフォーマットの例を図２に示す。画像データは、バイトオーダ、各データへのオフセット等からなるヘッダ２０１、撮影で使用した機種情報２０２、撮影日時やフラッシュの有無といった撮影時付属情報２０３、ＲＡＷデータを再現処理するために撮像装置が撮影時に設定したガンマ調整値やホワイトバランス調整値(ＷＢ調整値)といった画像再現用パラメータ２０４、サムネイルデータ２０５、主画像のＲＡＷデータ２０６からなる。なお、サムネイルデータ２０５は撮像装置内でＲＡＷデータに画像再現処理を施し、それを縮小して生成した画像データである。
【００２１】
次に、本発明の第１の実施形態に係る画像処理装置の処理の流れを、図１０のフローチャートに従って説明する。
【００２２】
ステップＳ１００１において、図２で示したフォーマットの画像データを読込部１００が読み込む。ステップＳ１００２において、ＣＰＵ１０４は、画像データから機種情報２０２とヘッダ２０１を読み込み、ヘッダ２０１からＲＡＷデータのサイズと各データへのオフセット値を取得する。そしてＣＰＵ１０４は、このオフセット値を基に画像再現用パラメータ２０４とＲＡＷデータ２０６を取得する。
【００２３】
ステップＳ１００３において、ＣＰＵ１０４は、ＲＡＷデータに画像再現用パラメータを適用して画像再現処理を行う。以下、ステップＳ１００３の画像再現処理について図１１のフローチャートを参照して詳しく説明する。
【００２４】
ＣＰＵ１０４は、ステップＳ１１０１でＲＡＷデータの色補間処理を行う。ここで、ＲＡＷデータとしては例えばＢａｙｅｒ配列があるが、各画素１つの色情報しか持たないため、色補間処理で周りの画素から色情報を補間することで、各画素Ｒ，Ｇ，Ｂの３つの色情報を持つデータに変換する。
【００２５】
ＣＰＵ１０４は、ステップＳ１１０２で色補間ＲＡＷデータにＷＢ調整処理を行う。本実施形態では、撮像装置内部で算出したＷＢ調整値を用いてＷＢ調整を行う。撮像装置が算出したＷＢ調整は、例えば、Ｒ、Ｂ成分に対するゲインデータで図２の画像再現用パラメータに格納されており、ステップＳ１００２で読み込まれるので、これを色補間ＲＡＷデータに適用する。
【００２６】
ＣＰＵ１０４は、ステップＳ１１０３では、撮影時に撮像装置で設定されたゲイン調整値を用いて、ＷＢ調整された色補間ＲＡＷデータのゲインを調整する。ゲインについては、各画素のＲＧＢそれぞれの値に設定された調整値を掛け合わせることで調整する。ここで、調整値については、調整量を直感的に分かり易くするため、対数表現を利用する。本実施形態では、−２〜＋２までの値を調整量として選択できるようにする。選択した調整量を、２を底とした指数値として算出する。この値をゲイン調整値とする。
【００２７】
ステップＳ１１０４では、ＣＰＵ１０４は、各画素のゲイン調整された色補間ＲＡＷデータに対してγ調整処理を行う。γ調整で用いるγ曲線については、機種毎に設定される。そのため、カメラの機種とγ曲線との関係を表した対応表を予め用意し、これを参照することでガンマ調整を行う。この他、撮像装置内で図２の画像再現用パラメータ部分に曲線情報を格納し、これを参照する方法を用いてもよい。
【００２８】
ステップＳ１１０５では、ＣＰＵ１０４は、γ調整された色補間ＲＡＷデータの色調整処理を行う。色調整処理とは、画像中のＲ，Ｇ，Ｂ値を表現する色空間を変換する処理で、例えば撮像機種依存のＲＧＢ空間を一般的な標準色空間であるｓＲＧＢ空間やＡｄｏｂｅＲＧＢ空間に変換する。色変換処理では例えば、一方の色空間における値を、それに対応する他方の色空間における値に変換する変換式を用いて色変換を行う。あるいは、対応関係を予め記述した対応表を参照することで色変換処理を行ってもよい。
【００２９】
ステップＳ１００３の画像再現処理に続いて、ステップＳ１００４では、ステップＳ１１０１で生成された色補間ＲＡＷデータと、ステップＳ１１０２〜ステップＳ１１０５の処理で生成された再現画像とから特徴量を算出する。この際、まず再現画像を解析して、ＷＢ調整の補正値を決定するのに用いる画素を選択する。ここで、「ＷＢ調整の補正値を決定するのに用いる画素」について説明する。
【００３０】
ＷＢ調整処理における調整量の算出方法として、画像全体のＲ，Ｇ，Ｂ値の平均がグレーになるという仮定に基づき算出する方法がある。この方法を図４に示す画像で説明する。画像サイズは簡易的に３×３とし、再現画像の各画素値はＲｎ，Ｇｎ，Ｂｎ(ｎ＝１〜９)とする。まず、ＣＰＵ１０４は、画像内のＲ，Ｇ，Ｂそれぞれの平均値を以下の式１により算出する。
【００３１】
【数１】
2007164730.tif 000003
【００３２】
ＣＰＵ１０４は、この平均値がグレーつまり、ａｖｅＲ：ａｖｅＧ：ａｖｅＢ＝１：１：１になるように調整値を決定するため、調整値は（ａｖｅＧ／ａｖｅＲ，１，ａｖｅＧ／ａｖｅＢ）と算出される。このように求めた調整値を画像の各画素にかけることでＷＢの調整を行う。
【００３３】
以上の説明では、画像中の全ての画素を平均し、これをグレーにするようにＷＢ調整値を求めている。しかし、実際の画像では画像全体の画素値平均がグレーにならない場合がある。このような場合には、上述の方法で算出したＷＢ調整値を適用しても画像全体が黄色がかったり、緑がかったりする等、良好なＷＢがとれない。そこで、画像中からなるべく白色に近い画素だけを選択し、選択した画素値の平均がグレーになるようにＷＢ調整値を求める。更には、画像中の高輝度部、低輝度部がＷＢ調整値を求める際に影響を与えてしまい、良好なＷＢがとれない場合もあるため、所定の範囲内の輝度値をもつ画素だけを選択するようにしても良い。「ＷＢ調整の補正値を決定するのに用いる画素」とは、このように定められた範囲内の輝度値、低い彩度値を持つ画素を指す。
【００３４】
ステップＳ１００４では、再現画像内の画素の輝度値、彩度値が所定の範囲内にある場合、その画素位置に対応する色補間ＲＡＷデータ内の画素値を参照して特徴量を算出する。つまり、再現画像からは特徴量算出に用いる画素を選択し、その画像中の位置を求める。色補間ＲＡＷデータからは、その位置に対応した画素の画素値を抽出して特徴量算出を行う。なお、色補間ＲＡＷデータは撮像装置の機種に依存する画像データであるのに対して、再現画像は撮像装置の機種に依存しない画像データである。そのため、画素値選択に用いる画像として再現画像を用いることにより、画素値を選択する際の画像解析における閾値などを機種毎に設定する必要がない。従って、どのような撮像機種によって撮影された画像データに対しても画一的に画像解析処理を行うことができる。
【００３５】
色補間ＲＡＷデータから特徴量を算出する処理の流れを図１２に示す。ステップＳ１２０１において、ＣＰＵ１０４は、特徴量抽出に必要となる変数の初期化を行う。ｘ，ｙは画素を走査する際の変数、ｓｕｍＲ，ｓｕｍＧ，ｓｕｍＢは輝度値、彩度値による判定で抽出した画素に対応する色補間ＲＡＷデータの画素値の合算値、ｋは抽出した画素を数えるカウンタである。
【００３６】
この他、特徴量算出に用いる変数としては、
Ｐ（ｘ，ｙ）：再現画像の画素
Ｐ´（ｘ，ｙ）：色補間ＲＡＷデータの画素
Ｙ（ｘ，ｙ）：再現画像中の注目画素の輝度値
Ｔｈ＿ｍｉｎ、Ｔｈ＿ｍａｘ：輝度値を判定する際の閾値の最大値と最小値
Ｔｈ＿Ｓ：彩度値を判定する閾値
Ｗｉｄｔｈ、Ｈｅｉｇｈｔ：色補間ＲＡＷデータの幅、高さ
【００３７】
なお、輝度値と彩度値の閾値について、本実施形態では予め定めておいた閾値を用いるものとして説明を行うが、あるいは、ユーザが閾値を設定する様に構成しても良い。また、色補間ＲＡＷデータや再現画像に対して解析を行い、適応的に決定する様に構成しても良い。
【００３８】
ステップＳ１２０２で、ＣＰＵ１０４は、再現画像の注目画素Ｐ（ｘ，ｙ）の輝度Ｙと彩度値Ｓを算出する。
【００３９】
まず、Ｒ、Ｇ、Ｂ値から輝度Ｙを算出する。算出方法としては例えばＲ，Ｇ，ＢからＹ，Ｃｂ，Ｃｒ(Ｙが輝度、Ｃｂ・Ｃｒがそれぞれ青成分・赤成分の色差)に変換する。この変換式としては、以下の式２を用いる。
【００４０】
【数２】
2007164730.tif 000004
【００４１】
また、彩度値ＳはＣｂ、Ｃｒの値を用いて式３から算出する。
【００４２】
【数３】
2007164730.tif 000005
【００４３】
ステップＳ１２０３では、ＣＰＵ１０４は、彩度値Ｓが閾値以内にあるか判定する。（Ｓ＜＝Ｔｈ＿Ｓ）
【００４４】
判定結果が真の場合はステップＳ１２０４に流れ、偽の場合にはステップＳ１２０６に流れる。
【００４５】
続いて、ＣＰＵ１０４は、ステップＳ１２０４で輝度値Ｙが閾値以内にあるか判定する。（Ｔｈ＿ｍｉｎ＜＝Ｙ＜＝Ｔｈ＿ｍａｘ）
【００４６】
判定結果が真の場合はステップＳ１２０５に流れ、偽の場合にはステップＳ１２０６に流れる。
【００４７】
ステップＳ１２０５において、ＣＰＵ１０４は、現在の注目画素の位置に対応する色補間ＲＡＷデータの画素Ｐ´（ｘ，ｙ）の画素値（Ｒ値，Ｇ値，Ｂ値）をｓｕｍＲ，ｓｕｍＧ，ｓｕｍＢに加算する。
【００４８】
ＣＰＵ１０４は、ステップＳ１２０６で注目画素を横方向に走査する。続くステップＳ１２０７において、ＣＰＵ１０４は、横方向の走査が画像の右端まで達していないか判定する。
【００４９】
判定結果が真の場合はステップＳ１２０２に流れ、偽の場合にはステップＳ１２０８に流れる。
【００５０】
ステップＳ１２０８で、ＣＰＵ１０４は、注目画素を次の行の先頭に移動し、縦方向に走査する。
【００５１】
ステップＳ１２０９で、ＣＰＵ１０４は、縦方向の走査が画像の下端まで達していないか判定する。
【００５２】
判定結果が真の場合はステップＳ１２０２に流れ、偽の場合にはステップＳ１２１０に流れる。
【００５３】
ステップＳ１２１０において、ＣＰＵ１０４は、ステップＳ１２０３、ステップＳ１２０４の判定の結果、彩度値も輝度値も閾値以内にある画素数を調べ、画素数が０の場合、ステップＳ１２１２で特徴量を（１，１，１）とする。
【００５４】
ステップＳ１２１０において、ＣＰＵ１０４は画素数が０でないと判定された場合、ステップＳ１２１１でｓｕｍＲ，ｓｕｍＧ，ｓｕｍＢの平均値（ｓｕｍＲ／ｋ，ｓｕｍＧ／ｋ，ｓｕｍＢ／ｋ）を算出し、これを特徴量（ａｖｅＲ，ａｖｅＧ，ａｖｅＢ）とする。
【００５５】
ステップＳ１００５において、ＣＰＵ１０４は、ステップＳ１００４で算出した特徴量からＷＢ調整の補正値を算出する。ここで、前述の算出方法により補正値は（ａｖｅＧ／ａｖｅＲ，１，ａｖｅＧ／ａｖｅＢ）となる。
【００５６】
ステップＳ１００６において、ＣＰＵ１０４は、色補間ＲＡＷデータに画像再現処理を行う。ステップＳ１００３でも同様に色補間ＲＡＷデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータである。これに対し、ステップＳ１００６では、ＣＰＵ１０４は、調整パラメータとして、ステップＳ１００４、ステップＳ１００５において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行う。
【００５７】
本実施形態では補正パラメータとしてＷＢ調整パラメータについて述べているため、ステップＳ１００６では、ステップＳ１００４、ステップＳ１００５から決定されたＷＢ調整パラメータを用いて画像再現処理を行う。なお、ＷＢ調整パラメータ以外の調整パラメータについてはステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【００５８】
以上説明したように、本発明の第１の実施形態によれば、色補間ＲＡＷデータを撮影時に撮像装置が記録した画像再現用パラメータで一度再現処理した画像を解析し、その結果に基づき補正値を算出することができる。これにより、良好なＷＢ調整パラメータを決定することが可能となる。
【００５９】
−第２の実施形態−
次に、本発明の第２の実施形態について説明する。本発明の第２の実施形態では、画像解析を行う領域をユーザが指定する場合に、一度色補間ＲＡＷデータ全体に画像再現処理を行い記憶領域に保持しておく。ユーザから領域指定の変更があった場合には、保持してある再現画像内の指定領域部分の画像解析を行うことで補正処理を行う方法を説明する。例として、色補間ＲＡＷデータを画像再現処理する際のゲイン調整の自動補正処理を説明する。なお、本実施形態では、第１の実施形態と異なる部分のみ説明する。
【００６０】
第２の実施形態における処理の流れを図１３に示す。なお、ステップＳ１００１、ステップＳ１００２の処理は第１の実施形態の図１０と同様のため同じ番号を付与し、説明を省略する。また、本実施形態に係る画像処理装置の構成も、図１に示した構成と同様であるため、説明は省略する。
【００６１】
ステップＳ１３０１において、ＣＰＵ１０４は、色補間ＲＡＷデータに対して画像再現用パラメータを適用して画像再現処理を行い、画像再現した画像をステップＳ１３０３でユーザからの終了指示が入力されるまで記憶領域に保持する。
【００６２】
ステップＳ１３０２において、ＣＰＵ１０４は、ユーザからの入力を判定する。判定結果が真ならステップＳ１３０３に流れ、偽ならステップＳ１３０２に流れる。ユーザからの入力方法としては、例えばキーボードやマウスがあり、これらを用いたユーザの操作を検出することで入力判定を行う。
【００６３】
ステップＳ１３０３において、ＣＰＵ１０４は、ユーザからの入力が終了指定かどうかの判定を行う。判定結果が真ならステップＳ１３０４に流れ、偽ならステップＳ１３０９に流れ、ステップＳ１３０１で保持した再現画像を消去し、処理を終了する。終了指定とは、例えば対象としている画像ファイルに対する処理を終了する場合である。
【００６４】
ステップＳ１３０４において、ＣＰＵ１０４は、ユーザからの入力が領域指定かどうかの判定を行う。判定結果が真ならステップＳ１３０５に流れ、偽ならステップＳ１３０２に流れる。ここで、ユーザの領域指定は、例えばＵＩ上の画像に矩形領域を表示させることにより指定させ、矩形領域への指示が行われたかどうかで判定を行う。また、ユーザの領域指定が確認された場合、ＣＰＵ１０４は、ユーザが指定する領域の位置情報を取得する。ここで位置情報とは、例えば図４に示すように指定領域の左上の座標値（Ｌｘ，Ｌｙ）と右下の座標値（Ｒｘ，Ｒｙ）とする。
【００６５】
なお、ＵＩ上の画像に表示させる指定領域としては矩形領域でなくてもよい。円形などの画像内の領域を表現できる形であればよい。また、領域指定方法についても、キーボードから数値を入力する方法を用いてもよい。例えば円形であれば中心の座標と半径の画素数で領域を指定できる。
【００６６】
ステップＳ１３０５において、ＣＰＵ１０４は、ゲイン調整の補正に用いる特徴量を算出する。ステップＳ１３０４で指定した領域と対応するステップＳ１３０１で保持した再現画像における領域から算出する。特徴量としては領域内の平均輝度値を算出する。
【００６７】
以下で特徴量の算出方法を詳細に説明する。図１４に特徴量を算出する流れを示す。ステップＳ１４０１において、特徴量算出に必要となる変数の初期化を行う。各変数の説明を以下に示す。
ｘ，ｙ：走査開始画素
ｉ，ｊ：横方向、縦方向の走査回数
Ｐ（ｘ，ｙ）：再現画像の画素
Ｐ´（ｘ，ｙ）：色補間ＲＡＷデータの画素
Ｙ（ｘ，ｙ）：再現画像中の注目画素の輝度値
Ｗｉｄｔｈ：横方向の走査数
Ｈｅｉｇｈｔ：縦方向の走査数
ｓｕｍＹ：再現画像内の指定領域における輝度値の合計値とする。
【００６８】
ここで、図６において指定領域の走査について説明する。走査の開始地点は指定領域の左上の画素よりｘ，ｙの初期値は（ｘ，ｙ）=（Ｌｘ，Ｌｙ）となる。また、横方向、縦方向の走査数はＲｘ−Ｌｘ、Ｒｙ−Ｌｙより、ＷｉｄｔｈとＨｅｉｇｈｔの初期値はＷｉｄｔｈ＝Ｒｘ−Ｌｘ、Ｈｅｉｇｈｔ＝Ｒｙ−Ｌｙとなる。ｓｕｍＹ、ｉ、ｊについてはそれぞれ０を初期値とする。
【００６９】
ステップＳ１４０２において、ＣＰＵ１０４は、再現画像内の注目する画素の輝度値を算出する。算出方法については第１の実施形態で述べているので省略する。
【００７０】
ステップＳ１４０３において、ＣＰＵ１０４は、ステップＳ１４０２で算出した輝度値ＹをｓｕｍＹに加算する。
【００７１】
ステップＳ１４０４でＣＰＵ１０４は注目画素を横方向に走査する。ステップＳ１４０５で、ＣＰＵ１０４は、横方向の走査が指定領域の右端まで達していないか判定する。判定結果が真の場合はステップＳ１４０２に流れ、偽の場合にはステップＳ１４０６に流れる。
【００７２】
ステップＳ１４０６で、ＣＰＵ１０４は、注目画素を次の行の先頭に移動し、縦方向に走査する。ステップＳ１４０７で、ＣＰＵ１０４は、縦方向の走査が指定領域の下端まで達していないか判定する。判定結果が真の場合はステップＳ１４０２に流れ、偽の場合にはステップＳ１４０８に流れる。
【００７３】
ステップＳ１４０８において、ＣＰＵ１０４は、特徴量として指定領域内の平均輝度（ｓｕｍＹ／Ｗｉｄｔｈ＊Ｈｅｉｇｈｔ）を算出する。
【００７４】
ステップＳ１３０６において、ＣＰＵ１０４は、ステップＳ１３０５で算出した特徴量からゲイン調整パラメータを決定する。調整パラメータの決定方法としては、例えば図５に示すような平均輝度と調整パラメータの対応表を予め用意しておき、これを参照することで調整パラメータを決定する。なお、ここで示すパラメータ−２〜＋２は第１の実施形態のゲイン調整で説明した調整量と同様のものである。なお、図５で示した対応関係は一例であって、他の対応関係であっても良い。
【００７５】
ステップＳ１３０７において、ＣＰＵ１０４は、色補間ＲＡＷデータに画像再現処理を行う。ステップＳ１３０１でも同様に色補間ＲＡＷデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータである。これに対し、ステップＳ１３０７では、調整パラメータとして、ステップＳ１３０５、ステップＳ１３０６において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行う。本実施形態では補正パラメータとしてゲイン調整パラメータについて述べているため、ステップＳ１３０７では、ステップＳ１３０５、ステップＳ１３０６から決定されたゲイン調整パラメータを用いて画像再現処理を行う。なお、ゲイン調整パラメータ以外の調整パラメータについてステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【００７６】
ステップＳ１３０８において、ステップＳ１３０７で処理した再現画像をユーザの結果確認用に表示する。その後、ステップＳ１３０２に流れ、再びユーザからの入力判定処理を行う。
【００７７】
以上説明したように、本発明の第２の実施形態では、ユーザからの解析領域の指定を伴う構成であり、色補間ＲＡＷデータを再現処理した画像を記憶領域に保持しておく。このため、指定領域が変更された場合にも、その都度、色補間ＲＡＷデータの再現処理を行うことなく補正パラメータを決定することができる。また、本実施形態では、色補間ＲＡＷデータを撮影時に撮像装置が記録した画像再現用パラメータで一度再現処理した画像を解析し、その結果に基づき補正値を算出することにより良好なゲイン調整パラメータを決定することが可能となる。なお、本実施形態では補正パラメータとしてゲイン調整パラメータを例にとり説明した。
【００７８】
−第３の実施形態−
次に、本発明の第３の実施形態について説明する。第２の実施形態では、ユーザの領域指定を伴う自動補正において、撮像装置が記録した調整パラメータで色補間ＲＡＷデータを画像再現処理し、再現処理後の画像を保持する方法をゲイン調整パラメータを例にとり説明した。第３の実施形態ではＷＢ調整パラメータを例にとり説明する。なお、本実施形態では、第１、第２の実施形態と異なる部分についてのみ説明を行う。また、本実施形態に係る画像処理装置の構成も、図１に示した構成と同様であるため、説明は省略する。
【００７９】
第３の実施形態における処理の流れを図１５に示す。なお、ステップＳ１００１、ステップＳ１００２、ステップＳ１００５、ステップＳ１００６の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０１〜ステップＳ１３０４、ステップＳ１３０８の処理は第２の実施形態の図１３と同様であるため、それらに同じ番号を付与し、説明を省略する。
【００８０】
ステップＳ１５０１において、ＣＰＵ１０４は、ＷＢ調整の補正に用いる特徴量を算出する。ステップＳ１３０４で指定した領域の位置情報、ステップＳ１３０１で保持した再現画像、ステップＳ１００２で取得した色補間ＲＡＷデータから特徴量を算出する。このステップＳ１５０１の処理は第１の実施形態のステップＳ１００４と似ているが次の点で異なる。ステップＳ１００４では再現画像全体を解析して輝度値と彩度値の判定を行うが、ステップＳ１５０１では再現画像内の指定領域部分だけを解析して輝度値と彩度値の判定を行う点で異なる。
【００８１】
図１６にステップＳ１５０１の処理の流れを示す。なお、ステップＳ１２０２〜ステップＳ１２１２の処理は第１の実施形態の図１２と同様のため同じ番号を付与し、説明を省略する。
【００８２】
ステップＳ１６０１において、ｓｕｍＲ，ｓｕｍＧ，ｓｕｍＢは輝度値、彩度値の判定より抽出した画素に対応する色補間ＲＡＷデータの画素値の合算値、ｋは判定で抽出した画素を数えるカウンタである。
【００８３】
この他、特徴量算出に用いる変数としては、
ｘ，ｙ：走査開始画素
ｉ,ｊ：横方向、縦方向の走査回数
Ｐ（ｘ，ｙ）：再現画像の画素
Ｐ´（ｘ，ｙ）：色補間ＲＡＷデータの画素
Ｙ（ｘ，ｙ）：再現画像中の注目画素の輝度値
Ｗｉｄｔｈ：横方向の走査数
Ｈｅｉｇｈｔ：縦方向の走査数
【００８４】
なお、ｓｕｍＲ，ｓｕｍＧ，ｓｕｍＢの初期値はｓｕｍＲ＝ｓｕｍＧ＝ｓｕｍＢ＝０とし、ｘ，ｙ，Ｗｉｄｔｈ，Ｈｅｉｇｈｔの初期値については第２の実施形態のステップＳ１４０１で設定した値と同じ値とする。
【００８５】
図１６におけるステップＳ１２０２〜ステップＳ１２０４、ステップＳ１２１０〜ステップＳ１２１２の処理は第１の実施形態の図１２と同様の処理となる。また、ステップＳ１４０４〜ステップＳ１４０７までの処理は第２の実施形態の図１４と同様の処理となるため、それらは同じ番号を付与し、説明を省略する。
【００８６】
以上説明したように、本発明の第３の実施形態では、第１の実施形態に加えユーザからの解析領域の指定を伴う構成であり、色補間ＲＡＷデータを再現処理した画像を記憶領域に保持しておく。このため、指定領域が変更された場合にも、その都度、色補間ＲＡＷデータの再現処理を行うことなく補正パラメータを決定することができる。本実施形態では補正パラメータとしてＷＢ調整パラメータを例にとり説明した。
【００８７】
−第４の実施形態−
次に、本発明の第４の実施形態について説明する。本発明の第４の実施形態では、画像解析を行う領域をユーザが指定する自動補正において、色補間ＲＡＷデータに画像再現処理を行う際、画像全体に対して再現処理を行うのではなく、指定領域だけに対して再現処理を行う方法を説明する。なお、本実施形態では、第１、第２、第３の実施形態と異なる部分についてのみ説明を行う。また、本実施形態に係る画像処理装置の構成も、図１に示した構成と同様であるため、説明は省略する。
【００８８】
第４の実施形態における処理の流れを図１７に示す。なお、ステップＳ１００１、ステップＳ１００２、ステップＳ１００６の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０２〜ステップＳ１３０４、ステップＳ１３０６〜ステップＳ１３０８の処理は第２の実施形態の図１３と同様のため同じ番号を付与し、説明を省略する。
【００８９】
第２、第３の実施形態では、一度色補間ＲＡＷデータ全体を再現処理する。領域の指定があった場合にはこの再現画像における指定領域部分を参照して補正パラメータを決定する。これに対し、第４の実施形態では、色補間ＲＡＷデータにおける指定領域部分のみを再現処理し、この再現画像を用いて補正パラメータを決定する。
【００９０】
第４の実施形態ではステップＳ１００２の処理の後、ユーザから指定された領域部分だけについて画像再現処理を行う。ステップＳ１００２の処理後、ＣＰＵ１０４は、ユーザからの解析領域の指定を受け付ける。ステップＳ１３０２で、ＣＰＵ１０４はユーザの入力判定を行い、ステップＳ１３０３で入力指示が終了指定かどうかの判定を行い、更にステップＳ１３０４で入力が領域指定を示すものかどうかの判定を行う。
【００９１】
ステップＳ１７０１において、ＣＰＵ１０４は、色補間ＲＡＷデータのうちステップＳ１３０４で取得した指定領域部分だけを再現処理する。例えば指定領域が（（Ｌｘ，Ｌｙ）、（Ｒｘ，Ｒｙ））の場合、色補間ＲＡＷデータ中で（Ｌｘ，Ｌｙ）を画像データの左上の画素とし、この画素を横方向に長さＲｘ−Ｌｘ分の走査、縦方向に長さＲｙ−Ｌｙ分走査する。このようにして、色補間ＲＡＷデータの中で指定された領域部分だけを走査して画像再現処理を行う。
【００９２】
ステップＳ１７０２において、ＣＰＵ１０４は、ゲイン調整の補正に用いる特徴量をステップＳ１７０１で再現画像から算出する。特徴量としては領域内の平均輝度値を算出する。
【００９３】
図１８に特徴量を算出する流れを示す。ステップＳ１８０１において、ＣＰＵ１０４は、特徴量算出に必要となる変数の初期化を行う。各変数の説明を以下に示す。
ｘ，ｙ：画素を走査する際の変数
Ｐ（ｘ，ｙ）：再現画像の画素
Ｐ´（ｘ，ｙ）：色補間ＲＡＷデータの画素
Ｙ（ｘ，ｙ）：再現画像中の注目画素の輝度値
Ｗｉｄｔｈ：横方向の走査数
Ｈｅｉｇｈｔ：縦方向の走査数
ｓｕｍＹ：再現画像内の指定領域における輝度値の合計値とする。
ｘ，ｙの初期値については、指定領域だけ再現処理されている画像を走査するため、ｘ＝０，ｙ＝０となる。その他の変数の初期値については第２の実施形態のステップＳ１４０１で設定した値と同じ値とする。
【００９４】
ステップＳ１４０２〜ステップＳ１４０８までの処理は第２の実施形態の図１４と同様のため同じ番号を付与し、説明を省略する。
【００９５】
第１の実施形態で色補間ＲＡＷデータ全体を再現処理していたのに対し、本発明の第４の実施形態はＲＡＷデータ内の指定領域部分だけを再現処理する点で異なる。このため、指定領域が変更された場合にも、その都度、色補間ＲＡＷデータ全体の再現処理を行うことなく補正パラメータを決定することができ、処理時間を短縮できる。本実施形態では補正パラメータとしてゲイン調整パラメータを例にとり説明した。
【００９６】
−第５の実施形態−
第４の実施形態では、ユーザの領域指定を伴う自動補正において、指定領域だけを再現処理する方法をゲイン調整パラメータを例にとり説明した。第５の実施形態ではＷＢ調整パラメータを例にとり説明する。なお、本実施形態では、第１、第２、第３、第４の実施形態と異なる部分についてのみ説明を行う。また、本実施形態に係る画像処理装置の構成も、図１に示した構成と同様であるため、説明は省略する。
【００９７】
第５の実施形態における処理の流れを図１９に示す。なお、ステップＳ１００１、ステップＳ１００２、ステップＳ１００５、ステップＳ１００６の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０２〜ステップＳ１３０４、ステップＳ１３０８の処理は第２の実施形態の図１３と同様である。また、ステップＳ１７０１の処理は第４の実施形態の図１７と同様のため、それらは同じ番号を付与し、説明を省略する。
【００９８】
第２、第３の実施形態では、一度色補間ＲＡＷデータ全体を再現処理する。領域の指定があった場合にはこの再現画像における指定領域部分を参照して補正パラメータを決定する。これに対し第５の実施形態では、色補間ＲＡＷデータにおける指定領域部分のみを再現処理し、この再現画像を用いて補正パラメータを決定する。
【００９９】
ステップＳ１９０１において、ＣＰＵ１０４は、ＷＢ調整の補正に用いる特徴量を算出する。ＳＵ１３０４で指定した領域の位置情報、ステップＳ１３０１で保持した再現画像、ステップＳ１００２で取得したＲＡＷデータから特徴量を算出する。
【０１００】
図２０に特徴量を算出する流れを示す。ステップＳ２００１において、ＣＰＵ１０４は、特徴量抽出に必要となる変数の初期化を行う。変数については第１の実施形態のステップＳ１００４で説明したためここでは省略する。ただし、第５の実施形態では、指定領域部分のみの再現画像となるため、再現画像と色補間ＲＡＷデータにおける座標系が図７に示すように異なる。そのため、それぞれの画素は以下のように表す。
Ｐ（ｘ，ｙ）：再現画像の画素
Ｐ´（Ｌｘ＋ｘ，Ｌｙ＋ｙ）：色補間ＲＡＷデータの画素
また、Ｗｉｄｔｈ、Ｈｅｉｇｈｔについては、ステップＳ１３０４で指定した領域の幅と高さであるため、Ｗｉｄｔｈ＝Ｒｘ−Ｌｘ、Ｈｅｉｇｈｔ＝Ｒｙ−Ｌｙとなる。
【０１０１】
図２０におけるステップＳ１２０２〜ステップＳ１２１１までの処理は第１の実施形態の図１２と同様のため同じ番号を付与し、説明を省略する。
【０１０２】
第１の実施形態で色補間ＲＡＷデータ全体を再現処理していたのに対し、本発明の第５の実施形態は色補間ＲＡＷデータ内の指定領域部分だけを再現処理する点で異なる。このため、指定領域が変更された場合にも、その都度、色補間ＲＡＷデータ全体の再現処理を行うことなく補正パラメータを決定することができ、処理時間を短縮できる。本実施形態では補正パラメータとしてＷＢ調整パラメータを例にとり説明した。
【０１０３】
−第６の実施形態−
次に、本発明の第６の実施形態について説明する。本発明の第６の実施形態では、画像解析を行う領域をユーザが指定する自動補正において、色補間ＲＡＷデータに画像再現処理を反復して行う際、前回指定された領域の位置情報と特徴量とを保持する。これによって、指定領域が変更された際に補正パラメータ決定処理を高速に行うことができる。なお、本実施形態では、第１、第２、第３、第４、第５の実施形態と異なる部分についてのみ説明を行う。また、本実施形態に係る画像処理装置の構成も、図１に示した構成と同様であるため、説明は省略する。
【０１０４】
第６の実施形態における処理の流れを図２１に示す。なお、ステップＳ１００１、ステップＳ１００２の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０１〜ステップＳ１３０４、ステップＳ１３０６〜ステップＳ１３０８の処理は第２の実施形態の図１３と同様のため、それらに同じ番号を付与し、説明を省略する。
【０１０５】
第６の実施形態では、指定領域が変更された場合、変更前後の差分領域を検知し、差分領域部分だけから特徴量を算出する。前回指定した領域における特徴量を保持しておき、これに差分領域部分の特徴量を加算もしくは減算することにより、現在指定している領域における特徴量を算出する。例えば、図８のような領域変更が起こった場合には、ａは変更前の領域から減少した領域、ｂは変更前後で変わらない領域、ｃは変更前の領域から増加した領域である。そのため、変更後の特徴量は、
(変更後の特徴量)＝(変更前の領域における特徴量)−(ａ領域における特徴量)＋(ｃ領域における特徴量)
で算出できる。このため、変更前の領域における特徴量を保持しておけば、a領域の特徴量とｂ領域の特徴量だけを算出すれば、現在指定する領域の特徴量が算出できる。このような方法で特徴量を算出する処理の詳細な説明を以下で述べる。
【０１０６】
ステップＳ２１０１において、ＣＰＵ１０４は、領域指定が一回目かどうか判定する。判定が真の場合は、ステップＳ２１０５に流れる。この場合、前回指定領域の保持がないため、第２の実施形態のステップＳ１３０５の説明で示したように、指定領域内の輝度値の平均値を算出する。ステップＳ２１０１の判定が偽の場合はステップＳ２１０２に流れる。
【０１０７】
ステップＳ２１０２、ステップＳ２１０３において、ＣＰＵ１０４は、領域指定前後の差分領域における特徴量を算出する。指定領域の変更状態としては図９のＡ〜Ｄに示す４通りが基本となる。このような領域変更に伴う差分領域を検出するためには、図９の（１）〜（９）の色付き領域を考慮する必要がある。
【０１０８】
これらの領域の位置情報は図８で示した座標の移動を例にすると、以下のように表せる。
（１）((min(L1x,L2x),min(L1y,L2y)),(max(L1x,L2x),max(L1y,L2y)))
（２）((min(L1x,L2x),max(L1y,L2y)),(max(L1x,L2x),min(R1y,R2y)))
（３）((min(L1x,L2x),min(R1y,R2y)),(max(L1x,L2x),max(R1y,R2y)))
（４）((max(L1x,L2x),min(R1y,R2y)),(min(R1x,R2x),max(L1y,L2y)))
（５）((max(L1x,L2x),max(R1y,R2y)),(min(R1x,R2x),min(L1y,L2y)))
（６）((max(L1x,L2x),min(R1y,R2y)),(min(R1x,R2x),max(R1y,R2y)))
（７）((min(R1x,R2x),min(L1y,L2y)),(max(R1x,R2x),max(L1y,L2y)))
（８）((min(R1x,R2x),max(L1y,L2y)),(max(R1x,R2x),min(R1y,R2y)))
（９）((min(R1x,R2x),min(L1y,L2y)),(max(R1x,R2x),max(R1y,R2y)))
【０１０９】
ここで、（５）は重なり領域、（２）、（４）、（６）、（８）は差分領域となる。また、（１）、（３）、（７）、（９）については先のＡ〜Ｄ４通りの変更状態により差分領域となる場合とならない場合がある領域である。
【０１１０】
ステップＳ２１０２で、ＣＰＵ１０４は、（５）以外のそれぞれの領域毎に、特徴量として領域内の輝度合算値を算出する。この際、各領域が増加領域の場合にはそれぞれの領域内の輝度合算値の符号をプラスにし、減少領域の場合には符号をマイナスにする。
各領域の増減の判定方法としては、
（１）の領域については、
L1x=<L2xかつL1y=<L2y：増加領域
L2x=<L1xかつL2y=<L1y：減少領域
（２）の領域については
L1x=<L2x：減少領域
L1x>L2x：増加領域
（３）の領域については、
L2x=<L1xかつR2y>=R1y：増加領域
L2x>L1xかつR2y<R1y：減少領域
（４）の領域については、
L1y=<L2y：増加領域
L1y>L2y：減少領域
（６）の領域については、
R1y=<R2y：増加領域
R1y>R2y：減少領域
（７）の領域については、
R1x=<R2xかつL1y=<L2y：増加領域
R2x=<R1xかつL2y=<L1y：減少領域
（８）の領域については、
R1x=<R2x：増加領域
R1x>R2x：減少領域
（９）の領域については、
R1x=<R2xかつR1y=<R2y：増加領域
R1x>R2xかつR1y>R2y：減少領域
【０１１１】
以上の判定を基に各領域における特徴量の符号を決定する。なお、（１）、（３）、（７）、（９）の領域については上記で示す範囲にあてはまらない場合は差分領域ではないので、輝度値の合算値は算出しない。また、輝度値の合算値の算出方法については第２の実施形態のステップＳ１４０１〜ステップＳ１４０８と同様でよい。
【０１１２】
ステップＳ２１０３において、ＣＰＵ１０４は、ステップＳ２１０２で算出した各領域における輝度値の合算値を加算して差分領域全体の輝度値の合算値を算出する。
【０１１３】
ステップＳ２１０４において、ＣＰＵ１０４は、前回指定した領域における輝度値の合算値にステップＳ２１０３で算出した差分領域全体の輝度値の合算値を加算し、現在指定している領域における輝度値の合算値を算出する。更にＣＰＵ１０４は、この輝度値の合算値と指定領域の画素数から輝度値の平均値を算出する。なお、現在指定している領域の画素数については、ステップＳ１３０４で取得した指定領域の位置情報から算出する。
【０１１４】
ステップＳ１３０６において、ＣＰＵ１０４は、ステップＳ１３０５で算出した輝度値の平均値からゲイン調整パラメータを決定する。
【０１１５】
ステップＳ１３０７において、ＣＰＵ１０４は、色補間ＲＡＷデータに画像再現処理を行う。ステップＳ１３０１でも同様に色補間ＲＡＷデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータである。これに対し、ステップＳ１３０７では、調整パラメータとして、ステップＳ２１０１〜ステップＳ１３０６において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行う。
【０１１６】
本実施形態では補正パラメータとしてゲイン調整パラメータについて述べているため、ステップＳ１３０７では、ステップＳ１７０２、ステップＳ１３０６から決定されたゲイン調整パラメータを用いて画像再現処理を行う。なお、ゲイン調整パラメータ以外の調整パラメータについてステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【０１１７】
ステップＳ２１０４において、ＣＰＵ１０４は、現在の指定領域における位置情報と、輝度値の合計値を記憶領域に保持する。
【０１１８】
なお、第６の実施形態においては、色補間ＲＡＷデータ全体を画像再現処理してからユーザの領域指定処理を行う構成で説明したが、第３、第４の実施形態のように、ユーザの領域指定処理を行ってから、指定領域部分のみを画像再現する構成としても良い。この構成とする場合、一度目の領域指定の際には色補間ＲＡＷデータ全体を画像再現するが、その後の領域指定については、前回指定領域との差分領域部分の色補間ＲＡＷデータのみ再現処理すればよい。
【０１１９】
以上説明したように、本発明の第６の実施形態によれば、ユーザからの解析領域の指定を伴う自動補正において、指定された領域の位置情報とその領域における特徴量(実施形態では輝度値の合算値)とを保持しておく。そして、領域変更があった場合には差分領域だけの特徴量を算出する。そのため、画像を参照する領域が削除できるので、補正パラメータを決定する処理時間を短縮でき、結果として素早く補正結果をユーザに提示できる。
【０１２０】
−第７の実施形態−
次に、本発明の第７の実施形態について説明する。第６の実施形態では、画像解析を行う領域をユーザが指定する自動補正において、補正パラメータとしてゲイン調整パラメータを例として、前回指定された領域の位置情報と特徴量とを保持し、領域変更があった場合には、差分領域だけの特徴量を算出する。これによって、第６の実施形態では、指定領域が変更された際に補正パラメータ決定処理を高速に行うことができる。第７の実施形態では補正パラメータとしてＷＢ調整パラメータを例にとり説明を行う。なお、本実施形態では、第１、第２、第３、第４、第５、第６の実施形態と異なる部分についてのみ説明を行う。また、本実施形態に係る画像処理装置の構成も、図１に示した構成と同様であるため、説明は省略する。
【０１２１】
第７の実施形態における処理の流れを図２２に示す。なお、ステップＳ１００１、ステップＳ１００２の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０１〜ステップＳ１３０４、ステップＳ１３０６〜ステップＳ１３０８の処理は第２の実施形態の図１３と同様である。また、ステップＳ２１０１の処理は第６の実施形態の図２１と同様のため、それらは同じ番号を付与し、説明を省略する。
【０１２２】
ステップＳ２２０１において、ＣＰＵ１０４は、領域変更前後の各差分領域毎に、色補間ＲＡＷデータにおけるＲＧＢ値の合計値を算出する。なお、ここでも、第１の実施形態で説明した「ＷＢ調整の補正値を決定するのに用いる画素」をステップＳ１３０１で再現処理した画像から検出し、検出した画素の位置に対応する色補間ＲＡＷデータのＲＧＢ値を参照する。また、差分領域の位置情報の求め方については第６の実施形態で説明したためここでは省略する。
【０１２３】
ステップＳ２２０２において、ＣＰＵ１０４は、ステップＳ２２０１で算出した各差分領域のＲＧＢ値の合算値を加算し、差分領域全体のＲＧＢ値の合算値を算出する。
【０１２４】
ステップＳ２２０３において、ＣＰＵ１０４は、前回指定した領域におけるＲＧＢ値の合算値にステップＳ２２０２で算出した差分領域全体のＲＧＢ値の合算値を加算し、現在指定している領域におけるＲＧＢ値の合算値を算出する。更にＣＰＵ１０４は、このＲＧＢ値の合算値と指定領域の画素数からＲＧＢ値それぞれの平均値を算出する。なお、現在指定している領域の画素数については、ステップＳ１３０４で取得した指定領域の位置情報から算出する。
【０１２５】
ステップＳ１３０６において、ＣＰＵ１０４は、ステップＳ２２０３で算出したＲＧＢ値それぞれの平均値からＷＢ調整パラメータを決定する。
【０１２６】
ステップＳ１３０７において、ＣＰＵ１０４は、色補間ＲＡＷデータに画像再現処理を行う。ステップＳ１３０１でも同様に色補間ＲＡＷデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータである。これに対し、ステップＳ１３０７では、調整パラメータとして、ステップＳ２２０１〜ステップＳ１３０６において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行う。
【０１２７】
本実施形態では補正パラメータとしてＷＢ調整パラメータについて述べているため、ステップＳ１３０７では、ＣＰＵ１０４は、ステップＳ１３０６で決定されたＷＢ調整パラメータを用いて画像再現処理を行う。なお、ＷＢ調整パラメータ以外の調整パラメータについてステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【０１２８】
ステップＳ１３０８において、ＣＰＵ１０４は、ステップＳ１３０７で処理した再現画像をユーザの結果確認用に表示する。
【０１２９】
ステップＳ２２０４において、ＣＰＵ１０４は、現在の指定領域における位置情報とＲＧＢそれぞれの合計値とを記憶領域に保持する。
【０１３０】
なお、第７の実施形態においては、色補間ＲＡＷデータ全体を画像再現処理してからユーザの領域指定処理を行う構成で説明したが、第３、第４の実施形態のように、ユーザの領域指定処理を行ってから、指定領域部分のみを画像再現する構成としても良い。この構成とする場合、一度目の領域指定の際には色補間ＲＡＷデータ全体を画像再現するが、その後の領域指定については、前回指定領域との差分領域部分の色補間ＲＡＷデータのみ再現処理すればよい。
【０１３１】
以上説明したように、本発明の第７の実施形態によれば、ユーザからの解析領域の指定を伴う自動補正において、指定された領域の位置情報と、その領域における特徴量(実施例ではＲＧＢそれぞれの値の合算値)を保持しておく。そして、領域変更があった場合には差分領域だけの特徴量を算出する。そのため、画像を参照する領域が削除できるので、補正パラメータを決定する処理時間を短縮でき、結果として素早く補正結果をユーザに提示できる。
【０１３２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。
【０１３３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１３４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１３５】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１３６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【０１３７】
【図１】本発明の第１乃至第７の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第１乃至第７の実施形態における画像再現処理を行う対象となる画像データのファイルフォーマットの一例を示す図である。
【図３】Ｂａｙｅｒ配列を示す図である。
【図４】ＷＢ調整処理を説明するための図である。
【図５】平均輝度とゲイン調整パラメータの対応表の一例を示した図である。
【図６】指定領域の走査方法を説明するための図である。
【図７】ＲＡＷ画像の座標系と指定領域再現画像の座標系との関係を示した図である。
【図８】領域変更前後における差分領域、重なり領域について示した図である。
【図９】変更前後における各領域の位置関係を示した図である。
【図１０】本発明の第１の実施形態における処理の流れを示した図である。
【図１１】本発明の第１の実施形態における画像調整処理の流れを示した図である。
【図１２】本発明の第１の実施形態における特徴量を算出する処理の流れを示した図である。
【図１３】本発明の第２の実施形態における処理の流れを示した図である。
【図１４】本発明の第２の実施形態における特徴量を算出する処理の流れを示した図である。
【図１５】本発明の第３の実施形態における処理の流れを示した図である。
【図１６】本発明の第３の実施形態における特徴量を算出する処理の流れを示した図である。
【図１７】本発明の第４の実施形態における処理の流れを示した図である。
【図１８】本発明の第４の実施形態における特徴量を算出する処理の流れを示した図である。
【図１９】本発明の第５の実施形態における処理の流れを示した図である。
【図２０】本発明の第５の実施形態における特徴量を算出する処理の流れを示した図である。
【図２１】本発明の第６の実施形態における処理の流れを示した図である。
【図２２】本発明の第７の実施形態における処理の流れを示した図である。
【符号の説明】
【０１３８】
１００  読込部
１０１  入力部
１０２  蓄積部
１０３  表示部
１０４  ＣＰＵ
１０５  ＲＯＭ
１０６  ＲＡＭ
【図１】
2007164730.tif 000006
【図２】
2007164730.tif 000007
【図３】
2007164730.tif 000008
【図４】
2007164730.tif 000009
【図５】
2007164730.tif 000010
【図６】
2007164730.tif 000011
【図７】
2007164730.tif 000012
【図８】
2007164730.tif 000013
【図９】
2007164730.tif 000014
【図１０】
2007164730.tif 000015
【図１１】
2007164730.tif 000016
【図１２】
2007164730.tif 000017
【図１３】
2007164730.tif 000018
【図１４】
2007164730.tif 000019
【図１５】
2007164730.tif 000020
【図１６】
2007164730.tif 000021
【図１７】
2007164730.tif 000022
【図１８】
2007164730.tif 000023
【図１９】
2007164730.tif 000024
【図２０】
2007164730.tif 000025
【図２１】
2007164730.tif 000026
【図２２】
2007164730.tif 000027