(57)【要約】【課題】  撮影環境、被写体構成など関連性をもった複数枚の画像に対し、類似する特徴をもつ画像に対しては同じ調整パラメータを自動的に決定し、画像処理を行う。【解決手段】  第一の画像再現用パラメータを用いて画像再現処理を行った第一の再現画像からＲＡＷ画像データを類似判定し、類似した第一の再現画像に対するＲＡＷ画像データの補正特徴量を算出し、算出した補正特徴量から第二の画像再現用パラメータを算出し、算出した第二の画像再現用パラメータを用いてRAW画像データに対して画像再現処理を行う。【選択図】  図９
2007208911.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により被写体光学像を光電変換した後、A/D変換を施したRAW画像データについて、画像処理装置で画像処理を行う方法であって、
第一の画像再現用パラメータを用いて画像再現処理を行い、第一の再現画像を得る第一の画像再現処理工程と、
前記第一再現画像から前記RAW画像データの類似画像を判定する類似画像判定処理工程と、
前記類似画像判定処理工程で類似と判定された前記RAW画像データに対する補正特徴量を算出する補正特徴量算出工程と、
前記補正特徴量算出工程で算出した補正特徴量より、第二の画像再現用パラメータを算出する第二の画像再現用パラメータ算出工程と、
前記第二の画像再現用パラメータを用いて、前記RAW画像データに対して画像再現処理を行う第二の画像再現処理工程と
を持つことを特徴とする画像処理方法。
【請求項２】
前記補正特徴量算出工程が、前記第一の再現画像から補正特徴量を算出するために用いる画素を判定する画素判定処理工程と、
前記画素判定処理工程で選択された画素の位置に対応する、前記第一の再現画像に対応する前記RAW画像データの画素値から補正特徴量を算出するRAW補正特徴量算出工程と
からなることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第一の画像再現用パラメータとは、前記画像処理装置で予め用意したパラメータ、もしくは、前記RAW画像データ毎に前記撮像装置が決定したパラメータであることを特徴とする請求項1乃至2のいずれかに記載の画像処理方法。
【請求項４】
前記第二の画像再現用パラメータを用いて、全ての画像に対して前記第二の画像再現処理を行うことを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
【請求項５】
前記第二の画像再現用パラメータを用いて、前記類似画像判定処理工程で類似すると判定された前記第一の再現画像に対応するRAW画像データについてのみ、前記第二の画像再現処理を行うことを特徴とする請求項１乃至３のいずれかに記載の画像処理方法。
【請求項６】
前記類似画像判定処理工程で、類似すると判定されなかった前記第一の再現画像が３枚以上であれば、対応するRAW画像データの処理を再帰的に行い、１枚もしくは２枚である場合には、各々について補正特徴量算出を行い前記第二の画像再現用パラメータを算出し、それぞれに前記第二の画像再現処理を行い前記第二の再現画像を得ることを特徴とする請求項１乃至３のいずれかに記載の画像処理方法法。
【請求項７】
前記第一の画像再現処理工程とは、前記RAW画像データを色補間した色補間RAWデータに対して、ホワイトバランス調整処理、ガンマ調整処理、ゲイン調整処理、色調整処理の少なくとも1つを行う工程であることを特徴とする請求項1乃至６のいずれかにに記載の画像処理方法。
【請求項８】
前記第二の画像再現用パラメータ算出処理工程とは、第一の画像再現用パラメータのうち少なくとも1つを算出する工程であり、前記第二の画像再現処理工程では、画像再現用パラメータとして、前記パラメータ算出処理で算出したパラメータと、第一の画像再現用パラメータを用いて画像再現処理を行うことを特徴とする請求項７記載の画像処理方法。
【請求項９】
撮像装置により被写体光学像を光電変換した後、A/D変換を施したRAW画像データについて、画像処理を行う装置であって、
第一の画像再現用パラメータを用いて画像再現処理を行い、第一の再現画像を得る第一の画像再現処理手段と、
前記第一再現画像から前記RAW画像データの類似画像を判定する類似画像判定処理手段と、
前記類似画像判定処理手段で類似と判定された前記RAW画像データに対する補正特徴量を算出する補正特徴量算出手段と、
前記補正特徴量算出手段で算出した補正特徴量より、第二の画像再現用パラメータを算出する第二の画像再現用パラメータ算出手段と、
前記第二の画像再現用パラメータを用いて、前記RAW画像データに対して画像再現処理を行う第二の画像再現処理手段と
を持つことを特徴とする画像処理装置。
【請求項１０】
前記補正特徴量算出手段が、前記第一の再現画像から補正特徴量を算出するために用いる画素を判定する画素判定処理手段と、
前記画素判定処理手段で選択された画素の位置に対応する、前記第一の再現画像に対応する前記RAW画像データの画素値から補正特徴量を算出するRAW補正特徴量算出手段と
からなることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
請求項１乃至８のいずれかに記載の方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び装置に関し、特にデジタルカメラにより撮影して得られたデジタル画像データを処理する画像処理方法及び装置に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置は、CMOS、CCD等の撮像素子により被写体光学像を光電変換して撮影画像の電気信号を得て、この電気信号をデジタルデータに変換したRAWデータに対し、色補間処理を施し、さらにホワイトバランス調整処理、ガンマ調整処理、色調整処理などを行い記録する。
【０００３】
ここで、デジタルスチルカメラにおいて、記録される撮影画像の画像データは、非常に多くの情報量を持つ。そこで、JPEG符号化などの画像圧縮方式により画像データ量を減らして記録媒体に記録することが広く行われている。
【０００４】
これに対し、前述のRAWデータをそのまま、もしくは公知の可逆符号化により符号化したデータを記録媒体に記録しておき、パソコン等の外部装置により画像の前述の色補間処理、また、ホワイトバランス調整処理、ガンマ調整処理、色調整処理といった再現処理を行うことも行われている。この方式は撮像素子の信号をほぼそのまま再現できる形で記録しておき、後で再現処理を行うので、撮像装置内で再現処理を行って記録する方式に比べて、画像の編集に対する耐性が高い。
この外部装置により画像の再現処理を行う際、ユーザは画像調整用のパラメータを自由に設定し、そのパラメータが適用された画像を確認しながら適当なパラメータを決定することとなる。
【０００５】
一方、デジタルスチルカメラで連写撮影した画像などのように、撮影環境、被写体構成など関連性をもった複数枚の画像に対し、上述のような画像調整を行う場合に、各画像毎にユーザが画像調整を行っていたのでは効率的でない。そのため、複数画像の特徴を解析し、それらの画像に対し一括して適用するパラメータを自動決定する方法が提案されている（特許文献１参照）。
【特許文献１】特開２０００−９８５１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
連写撮影した際、必ずしも全ての画像の特徴が類似するわけではない。例えば電球のフリッカーなどの影響により、連写画像の中で他の画像に比べ露出の低い画像が含まれてしまう場合などがある。このような場合、一連の画像に一括したパラメータを適用すると、好適な画像調整が行われない画像が生じてしまうという問題がある。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、撮影環境、被写体構成など関連性をもった複数枚の画像に対し画像調整パラメータを自動決定する方式において、類似する特徴をもつ画像に対しては同じ調整パラメータを決定することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画像処理装置は、撮像装置により被写体光学像を光電変換した後、A/D変換を施したRAW画像データについて、第一の画像再現用パラメータを用いて画像再現処理を行い、第一の再現画像を得る第一の画像再現処理手段と、前記第一の再現画像から前記RAW画像データの類似画像を判定する類似画像判定処理手段と、前記類似画像判定処理手段で類似と判定された前記RAW画像データに対する補正特徴量を算出する補正特徴量算出手段と、前記補正特徴量算出手段で算出した補正特徴量より、第二の画像再現用パラメータを算出する第二の画像再現用パラメータ算出手段と、前記第二の画像再現用パラメータを用いて、前記RAW画像データに対して画像再現処理を行う第二の画像再現処理手段とを備える。
【０００９】
さらに、撮像装置により被写体光学像を光電変換した後、A/D変換を施したRAW画像データについて、画像処理装置で画像処理を行う方法であって、第一の画像再現用パラメータを用いて画像再現処理を行い、第一の再現画像を得る第一の画像再現処理工程と、前記第一再現画像から前記RAW画像データの類似画像を判定する類似画像判定処理工程と、前記類似画像判定処理工程で類似と判定された前記RAW画像データに対する補正特徴量を算出する補正特徴量算出工程と、前記補正特徴量算出工程で算出した補正特徴量より、第二の画像再現用パラメータを算出する第二の画像再現用パラメータ算出工程と、前記第二の画像再現用パラメータを用いて、前記RAW画像データに対して画像再現処理を行う第二の画像再現処理工程とを備える。
【発明の効果】
【００１０】
本発明によれば、複数画像に対する自動補正を行う場合に、各画像の特徴量を類似判定し、類似する画像だけから補正パラメータを算出するため、複数画像の中に特徴が異なる画像が含まれている場合についても良好な補正結果を得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を示す実施形態を図面を参照して説明する。
【００１２】
（第一の実施形態）
第一の実施例では、複数枚のRAWデータに対するホワイトバランス(以下、WB)調整における自動補正について説明する。なお、RAWデータとは、CMOS、CCD等の撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換した画像データである。RAWデータとしては、例えば図3に示すRGBの配列をした画像データであるBayer配列があるが、各画素１つの色情報しか持たないため、色補間処理で周りの画素から色情報を補間することで、各画素R,G,Bの3つの色情報を持つデータに変換する。色補間後の画像データにホワイトバランス調整処理、ゲイン調整処理、ガンマ調整処理、色調整処理などを行い、画像出力装置で出力する画像を再現する。以下これらのRAWデータに対する調整処理を画像再現処理、画像再現処理後の画像を再現画像と記述する。また、RAWデータに色補間を施した画像データを色補間RAWデータと記述する。
【００１３】
以下、図面を参照して、本発明の好適な実施形態を説明する。図１は第一の実施形態の構成を示すブロック図である。図1において、読込部100は公知のCCD素子などで構成されている撮像装置などで画像を読み込む。入力部101はキーボードやポインティング装置で構成されており、ユーザは入力部101を操作しデータの入力や操作の指示を行う。蓄積部102はバイナリデータやメタデータを蓄積するものであり、ハードディスク、CD-ROM、DVD-ROM、メモリカード等で構成される。表示部103は蓄積部102に蓄積されたバイナリデータを表示したり、読込部100で読み込まれた画像データを表示するものであり、CRTや液晶である場合が多い。
【００１４】
CPU104は上記の処理のすべてに関わり、ROM104とRAM105はその処理に必要なメモリや作業領域を提供する。また、図9のフローチャートを参照して後述する本実施形態の処理手順を実現するための制御プログラムはROM104もしくは蓄積部102に格納されている。
【００１５】
まず、本実施形態で示す画像処理装置が読み込む画像データのフォーマットの例を図2に示す。画像データはバイトオーダ、各データへのオフセット、などからなるヘッダ201、撮影で使用した機種情報202、撮影日時やフラッシュの有無といった撮影時付属情報203、RAWデータを再現処理するために、撮像装置が撮影時に設定したガンマ調整値やホワイトバランス調整値(WB調整値)といった画像再現用パラメータ204、サムネイルデータ205、主画像のRAWデータ206からなる。なお、サムネイルデータ205は撮像装置内でRAWデータに画像再現処理を施し、それを縮小して生成した画像データである。
【００１６】
次に、本発明による画像処理装置の処理の流れを、図9のフローチャートにしたがって説明する。
【００１７】
ステップS901において、変数の初期化を行う。各変数を以下に示す。
【００１８】
sumR、sumG、sumB：類似画像の特徴量の合算値 (初期値：sumR=0、sumG=0、sumB=0)
ステップS902において、選択フォルダ内のサムネイル画像を図4で示すようにユーザに提示する。図4において、401はフォルダツリーで、ユーザは補正したい画像が保存されているフォルダを開く。これに対応し、フォルダ内の画像のサムネイル画像を402に示すように一覧表示する。サムネイル画像は、図2のヘッダー201にある各データへのオフセット値から、サムネイルデータ205を読み込み表示する、もしくは、RAWデータ206を読み込み、色補間、縮小処理を行い、その後画像再現処理を行った縮小再現画像をサムネイル画像として表示しても良い。
【００１９】
ステップS903において、ユーザが補正したい画像を選択する。ユーザは、一覧表示されたサムネイル画像をクリックすることで画像を選択する。この際、選択した画像をユーザが確認し易いように、画像の背景部分406の色を変える、もしくは、407のように画像にチェックマークを描くようにする。また、選択された画像の解除については、もう一度その画像をクリックした際に選択を解除するようにしても良いし、403のような選択解除ボタンを用意し、選択画像を一括で解除するようにしても良い。
【００２０】
ユーザが画像を選択後、404の補正開始ボタンを押すことで補正を開始する。この際、図5で示すように、選択された画像のファイル名と画像IDの対応表Aを作成する。
【００２１】
ステップS904で、対応表Aに登録された画像を再現処理し、再現画像を対応する画像IDと供に記憶領域に保持する。ステップS904の詳細な処理の流れを図10に示す。
【００２２】
図10のステップS1001において、対応表Aに登録された画像を先頭から順に処理する際用いるループ変数nを１に初期化する。
【００２３】
ステップS1002において、対応表Aのn行目の画像ファイル名を参照し、画像データを読み込む。
【００２４】
ステップS1003において、画像データから機種情報202とヘッダー201を読み込み、ヘッダー201からRAWデータのサイズと各データへのオフセット値を取得する。このオフセット値をもとに画像再現用パラメータ204とRAWデータ206を取得する。なお、ステップS1003で読み込んだ各データは以降の処理で再度使用するため、画像IDと対応付けて保持しておく。
【００２５】
ステップS1004において、RAWデータに画像再現用パラメータを適用して画像再現処理を行う。
【００２６】
画像再現処理については、図11の流れ図を参照して詳しく説明する。
【００２７】
ステップS1101でRAWデータを色補間処理する。
【００２８】
ここで、RAWデータとしては例えば図3に示すBayer配列があるが、Bayer配列は各画素１つの色情報しか持たないため、色補間処理で周りの画素から色情報を補間することで、各画素R,G,Bの3つの色情報を持つデータに変換する。
【００２９】
ステップS1102で色補間RAWデータにWB調整処理を行う。本実施例では、カメラ内部で算出したWB調整値を用いてWB調整を行う。カメラが算出したWB調整は、例えば、R、B成分に対するゲインデータで図2の画像再現用パラメータに格納されており、ステップS1003で読み込まれるので、これを色補間RAWデータに適用する。
【００３０】
ステップS1103では、撮影時に撮像装置で設定されたゲイン調整値を用いてRAWデータのゲインを調整する。ゲインについては、各画素のRGBそれぞれの値に設定された調整値を掛け合わせることで調整する。ここで、調整値については、調整量を直感的に分かり易くするため、対数表現を利用する。本実施例では、-2〜+2までの値を調整量として選択できるようにする。選択した調整量を2を底とした指数値として算出する。この値をゲイン調整値とする。
【００３１】
ステップS1104では、画像データの各画素に対してγ調整処理を行う。γ調整で用いるγ曲線については、機種毎に設定される。そのため、カメラの機種とγ曲線との関係を表した対応表を予め用意し、これを参照することでガンマ調整を行う。この他、撮像装置内で図2の画像再現用パラメータ部分に曲線情報を格納し、これを参照する方法を用いてもよい。
【００３２】
ステップS1105では、RAWデータの色調整処理を行う。色調整処理とは、画像中のR,G,B値を表現する色空間を変換する処理で、例えば撮像機種依存のRGB空間を一般的な標準色空間であるsRGB空間やAdobeRGB空間に変換する。色変換処理では例えば、一方の色空間における値を、それに対応する他方の色空間における値に変換する変換式を用いて色変換を行う。あるいは、対応関係を予め記述した対応表を参照することで色変換処理を行ってもよい。
【００３３】
ステップS1005において、再現画像を画像IDと対応させて記憶領域に保持する。
【００３４】
ステップS1006において、変数nを1増加する。
【００３５】
ステップS1008において、対応表Aを最後の行まで参照したかどうかを判定する。判定結果が偽の場合には、ステップS1002に流れ、判定結果が真の場合は図１０による処理、つまりステップS904の処理は終了し、処理は次のステップS905に流れる。
【００３６】
ステップS905において、ステップS904の処理より得られた再現画像から画像類似判定に用いる類似判定用特徴量を算出する。ステップS905の処理の流れを図12に示す。
【００３７】
図１２のステップS1201において、対応表Aに登録された画像を先頭から順に処理する際用いるループ変数nを１に初期化する。
【００３８】
ステップS1202において、対応表Aのn行目の画像IDを参照する。
【００３９】
ステップS1203において、ステップS1202で参照した画像IDに対応する再現画像から類似判定用特徴量を算出する。再現画像はステップS1005の処理で保持したものを用いる。第一の実施形態では類似判定用特徴量として画像の平均色相を算出する。ここで、平均色相の算出方法としては、RGB値をCb、Cr (青成分・赤成分の色差)に変換し、それぞれの平均値aveCb、aveCrを算出し、これらの2成分がなす角度を求める方法で算出する。平均色相を算出する流れを図13に示す。
【００４０】
ステップS1301において、変数を初期化する。各変数を以下に示す。
x,y：再現画像の注目座標(初期値：x=y=0)
abeH：平均色相
sumCb、sumCr：Cb、Crの合算値(初期値：sumCb=0 、sumCr=0)
Width、Height：再現画像の幅、高さ
ステップS1302において、以下に示す式(1)よりCb,Crを算出する。
【００４１】
Cb = -0.1687 * R -0.3312 * G + 0.5000 * B
Cr = 0.5000 * R -0.4187 * G -0.0813 * B
…………（１）
ステップS1303において、Cb,CrをそれぞれsumCb,sumCrに加算する。
【００４２】
ステップS1304において、注目画素を横方向に走査する。
【００４３】
ステップS1305において、横方向の走査が画像の右端まで達していないか判定する。
【００４４】
判定結果が真の場合はステップS1302に流れ、偽の場合にはステップS1306に流れる。
【００４５】
ステップS1306で注目画素を次の行の先頭に移動する。
【００４６】
ステップS1307において、縦方向の走査が画像の下端まで達していないか判定する。判定結果が真の場合はステップS1302に流れ、偽の場合にはステップS1308に流れる。
【００４７】
ステップS1308において、sumCb,sumCrと画素数からCb,Crそれぞれの平均値を算出する。
【００４８】
ステップS1309において、平均色相aveHを以下の(2)に示す式で算出する。(hはラジアン単位)
h= arctan( aveCr / aveCb )(aveCb>=0 かつaveCr>=0   →h = h
aveCb<0  かつaveCr>=0   →h =π- h
aveCb<0  かつaveCr<0    →h =π+ h
aveCb>=0 かつaveCr<0    →h =2π- h)
aveH=  h * 180.0 /π
…………（２）
ステップS1204において、ステップS1203で算出した平均色相を類似判定用特徴量として対応表Aに追加登録し、図6に示すような対応表Bを作成する。
【００４９】
ステップS1205において、変数nを1増加する。
【００５０】
ステップS1206において、対応表Aを最後の行まで参照したかどうかを判定する。判定結果が偽の場合には、ステップS1202に流れ、判定結果が真の場合は図12による処理、つまりステップS905の処理は終了し、処理は次のステップS906に流れる。
【００５１】
ステップS906において、対応表Bに登録されている類似判定用特徴量を参照して、画像の類似判定を行う。判定方法としては、例えば各々の類似判定用特徴量の標準偏差値を求め、所定の閾値より標準偏差値が低い場合には特徴量が類似しているとし、逆に高い場合には類似していないと判定する。また、判定結果に基づき、図７に示すように類似画像と類似しない画像の2つの対応表C、対応表Dを作成する。
【００５２】
なお、本実施形態では、説明を簡単にするため、平均色相のみを用いて画像類似判定を行う方法を説明したが、この他に各画像について色相ヒストグラムを算出しておき、これを類似判定するように構成しても良い。また、色相以外にも、彩度や輝度など他の特徴量を用いて判定するのであっても良い。また、あるいは、各画像について複数種の特徴量を算出して、各特長量の類似度から総合的に判定して各画像の類似度を判定するように構成しても良い。
【００５３】
ステップS907において、ステップS906で類似画像として判定された画像から補正パラメータ算出で用いる補正用特徴量を算出する。ステップS907の処理の流れを図14に示す。
【００５４】
ステップS1401において、対応表Cに登録された画像を先頭から順に処理する際用いるループ変数nを１に初期化する。
【００５５】
ステップS1402において、対応表Aのn行目の画像ファイル名を参照する。
【００５６】
ステップS1403において、ステップS1402で参照した画像ファイル名に対応する再現画像から補正用特徴量を算出する。再現画像はステップS1005で保持したものを用いる。補正用特徴量の算出方法を図15に示す。図15の処理では再現画像の各画素のうち、WB調整の補正値を決定するのに用いる画素を選択し、この画素から補正用特徴量を求める。ここで、「WB調整の補正値を決定するのに用いる画素」について説明する。
【００５７】
WB調整処理における調整量を算出方法として、画像全体のR,G,B値の平均がグレーになるという仮定に基づき算出する方法がある。この方法を図3に示す画像で説明する。画像サイズは簡易的に3×3とし、各画素値はRn,Gn,Bn(n=1〜9)とする。まず、画像内のR,G,Bそれぞれの平均値
【００５８】
【数１】
2007208911.tif 000003
を算出する。この平均値がグレーつまり、aveR：aveG：aveB=1：1：1になるように調整値を決定するため、調整値は(aveG/aveR,1,aveG/aveB)と算出される。このように求めた調整値を画像の各画素にかけることでWBの調整を行う。
【００５９】
以上の説明では、画像中の全ての画素を平均し、これをグレーにするようにWB調整値を求めている。しかし、実際の画像では画像全体の画素値平均がグレーにならない場合がある。このような場合には、上述の方法で算出したWB調整値を適用しても画像全体が黄色がかったり緑がかったりするなど、良好なWBがとれない。そこで、画像中からなるべく白色に近い画素だけを選択し、選択した画素値の平均がグレーになるようにWB調整値を求める。更には、画像中の高輝度部、低輝度部がWB調整値を求める際に影響を与えてしまい、良好なWBがとれない場合もあるため、所定の範囲内の輝度値をもつ画素だけを選択するようにしても良い。
【００６０】
ここで、「WB調整の補正値を決定するのに用いる画素」とは、この定められた範囲内の輝度値、低い彩度値を持つ画素を示す。
【００６１】
ステップS1403では、再現画像内の画素の輝度値、彩度値が、所定の範囲内にある場合、その画素位置に対応する色補間RAWデータ内の画素値を参照して特徴量を算出する。つまり、再現画像からは特徴量算出に用いる画素を選択し、その画像中の位置を求める。色補間RAWデータからは、その位置に対応した画素の画素値を抽出して特徴量算出を行う。なお、色補間RAWデータは撮像装置の機種に依存する画像データであるのに対して、再現画像は撮像装置の機種に依存しない画像データである。そのため、画素値選択に用いる画像として再現画像を用いることにより、画素値を選択する際の画像解析における閾値などを機種毎に設定する必要がない。このため、どのような撮像機種によって撮影された画像データに対しても画一的に画像解析処理を行うことができる。
【００６２】
図15の処理の流れを説明する。
【００６３】
ステップS1501において、特徴量抽出に必要となる変数の初期化を行う。x,yは画素を走査する際の変数、sumR,sumG,sumBは輝度値、彩度値による判定で抽出した画素に対応する色補間RAWデータの画素値の合算値、kは抽出した画素を数えるカウンタである。
【００６４】
この他特徴量算出に用いる変数としては、
P(x,y)：再現画像の画素
P'(x,y)：色補間RAWデータの画素
Y(x,y)：再現画像中の注目画素の輝度値
Th_min、Th_max：輝度値を判定する際の閾値の最大値と最小値
Th_S：彩度値を判定する閾値
Width、Height：色補間RAWデータの幅、高さ
なお、輝度値と彩度値の閾値について、本実施例では予め定めておいた閾値を用いるものとして説明を行うが、あるいは、ユーザが閾値を設定する様に構成しても良い。また、RAWデータや再現画像に対して解析を行い、適応的に決定する様に構成しても良い。
【００６５】
ステップS1502で再現画像の注目画素P(x,y)の輝度Yと彩度値Sを算出する。
【００６６】
まず、R、G、B値から輝度Yを算出する。算出方法としては例えばR,G,BからY,Cb,Cr(Yが輝度、Cb・Crがそれぞれ青成分・赤成分の色差)に変換する。この変換式としては、以下の式(2)を用いる。
【００６７】
Y = 0.2990 * R + 0.5870 * G + 0.1140 * B
Cb = -0.1687 * R -0.3312 * G + 0.5000 * B
Cr = 0.5000 * R -0.4187 * G -0.0813 * B
…………（２）
また、彩度値SはCb、Crの値を用いて式(3)から算出する。
【００６８】
【数２】
2007208911.tif 000004
ステップS1503で彩度値Sが閾値以内にあるか判定する。(S<=Th_S)
判定結果が真の場合はステップS1504に流れ、偽の場合にはステップS1506に流れる。
【００６９】
ステップS1504で輝度値Yが閾値以内にあるか判定する。(Th_min<=Y<=Th_max) 
判定結果が真の場合はステップS1505に流れ、偽の場合にはステップS1506に流れる。
【００７０】
ステップS1505において、現在の注目画素の位置に対応する色補間RAWデータの画素P'(x,y)の画素値(R,G,B値)をsumR,sumG,sumBに加算する。
【００７１】
ステップS1506で注目画素を横方向に走査する。
【００７２】
ステップS1507で横方向の走査が画像の右端まで達していないか判定する。
【００７３】
判定結果が真の場合はステップS1502に流れ、偽の場合にはステップS1508に流れる。
【００７４】
ステップS1508で注目画素を次の行の先頭に移動する。
【００７５】
ステップS1509で縦方向の走査が画像の下端まで達していないか判定する。
【００７６】
判定結果が真の場合はステップS1502に流れ、偽の場合にはステップS1510に流れる。
【００７７】
ステップS1510においてステップS1503、S1504の判定の結果彩度値も輝度値も閾値以内にある画素数を調べ、画素数が0の場合ステップS1512で特徴量を(1,1,1)とする。
【００７８】
ステップS1510において画素数が0でないと判定された場合、ステップS1511でsumR,sumG,sumBの平均値(sumR/k,sumG/k,sumB/k)を算出し、これを特徴量(aveR,aveG,aveB)とする。
【００７９】
ステップS1404において、ステップS1403で算出した補正用特徴量を図8に示すような対応表Eに登録する。
【００８０】
ステップS1405において、変数nを1増加する。
【００８１】
ステップS1406において、対応表Cを最後の行まで参照したかどうかを判定する。判定結果が偽の場合には、ステップS1402に流れ、判定結果が真の場合は図14による処理、つまりステップS907の処理は終了し、処理は次のステップS908に流れる。
【００８２】
ステップS908において、対応表Eに登録されている画像の各補正用特徴量を合成して一つの補正用特徴量を算出する。ステップS908の詳細な処理の流れを図16に示す。以下でその流れを説明する。
【００８３】
ステップS1601において、対応表Eに登録された画像を先頭から順に処理する際用いるループ変数mを１に初期化する。
【００８４】
ステップS1602では、対応表Eのm行目の補正用特徴量を参照する。
【００８５】
ステップS1603では、ステップS1602で参照した補正用特徴量aveR,aveG,aveBをsumR,sumG,sumBそれぞれに加算する。
【００８６】
ステップS1604において、変数mを1増加する。
【００８７】
ステップS1605において、対応表Eに登録されている全ての補正用特徴量を参照したかどうか判定する。判定結果が偽の場合には、ステップS1602に流れ、真の場合はステップS1606に流れる。
【００８８】
ステップS1606において、ステップS1603で加算した特徴量の平均値を算出して、図16による処理、すなわちステップS908の特徴量算出処理を終了する。
【００８９】
続くステップS909において、類似画像に対する補正パラメータを算出する。ステップS908で求めた補正用特徴量からWB調整パラメータを算出し、これを補正パラメータとする。ここで、前述の算出方法により補正値は(sumG/sumR,1sumG/sumB)となる。
【００９０】
ステップS910では、特徴量が類似する画像にステップS909で算出したWB調整パラメータを適用して画像再現処理を行う。
【００９１】
ステップS910の詳細な処理の流れを図17に示す。以下でその流れを説明する。
【００９２】
ステップS1701において、対応表Eに登録された画像を先頭から順に処理する際用いるループ変数mを１に初期化する。
【００９３】
ステップS1702において、対応表Eのm行目の画像IDを参照する。
【００９４】
ステップS1703において、対応表Eのm行目の画像IDに対応するRAWデータにステップS909で算出したWB調整パラメータを適用して画像再現処理する。なお、再現処理で用いるWB調整パラメータ以外の画像調整用パラメータ、RAWデータ、機種情報についてはステップS1003で保持した各データを参照する。
【００９５】
ステップS1004でも同様にRAWデータに画像再現処理を行ったが、各調整で用いた調整パラメータは全て、撮像装置で撮影時に記録されたパラメータである。これに対し、ステップS1703では、WB調整パラメータとして、前述までのステップで算出した補正パラメータを用いて再現処理を行う点で異なる。
【００９６】
ステップS1704で変数mを1増加する。
【００９７】
ステップS1705で対応表Eに登録されている全ての画像IDを参照したかどうか判定する。判定結果が偽の場合には、ステップS1702に流れ、真の場合は図17で示した処理、すなわち図９のステップS910の再現処理は終了し、図９による処理も終了する。
【００９８】
以上説明した例では、特徴量が類似しないと判定された画像については特に本発明による処理で得たWB値を適用していないが、これらについては、撮影時のWBパラメータを用いて再現する。
【００９９】
あるいは、特徴量が類似しない画像についても本発明による処理で得たWB値を適用するように変形するのは容易である。この場合、ステップS1401では対応表Cではなく対応表Aを参照するように構成する。
【０１００】
またあるいは、特徴量が類似しない画像を、あらたな画像セットとし、本発明による処理によりそれらの画像についてWBを算出するように、再帰的に処理するよう変形することも可能である。その場合、最後に残った画像が2枚以下になった場合は、それぞれについて上記説明で述べたような処理を行ってWB値を算出して適用すればよい。
【０１０１】
以上説明したように、本実施例によれば、複数画像に対してWB調整処理を行う場合に、各画像の特徴量を解析し、類似する画像だけから調整パラメータを算出するため、複数画像の中に特徴がことなる画像が含まれている場合についても良好なWB調整処理が可能となる。
【０１０２】
本実施例では、第一の画像再現処理において、撮影時に記録したWB調整パラメータを適用するとして説明したが、これはあるいはシステムが予め定めた調整パラメータを用いて再現処理を行うように構成しても良い。また、パラメータが撮影した装置依存であるような場合には、予め機種とパラメータの対応表を用意しておき、ステップS1003で取得した機種情報とこの対応表から調整パラメータを決定し、その調製パラメータを用いるように構成しても良い。
【０１０３】
（第二の実施形態）
第一の実施形態では、類似画像判定の結果に基づきWB調整パラメータの補正値を決定する自動補正処理について説明した。第二の実施形態では、更に別の特徴量による類似判定の結果に基づきゲイン調整パラメータについても補正する場合を説明する。
【０１０４】
なお、本実施例では、第一の実施例と異なる部分のみ説明する。
【０１０５】
第二の実施形態における処理の流れを図18に示す。なお、ステップS901〜ステップS904、ステップS905は第一の実施例の図9と同様のため同じ番号を付与し、説明を省略する。
【０１０６】
第一の実施形態では、平均色相により判定した類似画像からWB調整パラメータの補正パラメータを算出した。第二の実施例では更に平均輝度で類似判定した類似画像からゲイン調整パラメータの補正パラメータを算出する。
【０１０７】
ステップS1801で類似判定用特徴量として平均色相と平均輝度値を算出する。ステップS1801での処理の流れを図19に示す。なお、ステップS1201、ステップS1202、ステップS1205、ステップS1205は第一の実施例の図12と同様のため同じ番号を付与し、説明を省略する。
【０１０８】
ステップS1901において、類似判定特徴量として平均色相と平均輝度を算出する。ステップS1901の処理の流れを図20に示す。なお、図20のステップS1301〜ステップS1308は第一の実施例の図13と同様のため同じ番号を付与し、説明を省略する。
【０１０９】
ステップS2001において輝度を算出する。算出方法については第一の実施例ステップS1502で説明したのでここでは省略する。
【０１１０】
ステップS2002において、ステップS2001で算出した輝度値を加算する。
【０１１１】
ステップS2003において、ステップS2002より得られる輝度値の合算値と画素数から平均輝度を算出する。
【０１１２】
ステップS1902において、ステップS1901で算出した類似判定特徴量である平均輝度値と平均色相を対応表Bに登録する。（第二の実施形態における対応表は省略する。）
ステップS1802において、対応表Bに登録した平均色相に基づき画像を類似判定する。ここでの類似判定方法については、第一の実施形態のステップS906で説明したためここでは省略する。
【０１１３】
ステップS1803において、ステップS1801で対応表Bに登録した平均輝度に基づき画像を類似判定する。他の画像と似た明るさの画像を対応表Gに、そうでない画像については対応表Hに登録する。類似判定の方法は、特徴量を平均輝度値としてステップS906と同様の流れ出で行う。
【０１１４】
ステップS1804において、対応表Cに登録された画像からWB調整パラメータの補正に用いる特徴量を算出し、ステップS180５において、算出した各WB補正用特徴量を合成し、1つのWB補正用特徴量を算出する。算出方法については第一の実施形態のステップS907、ステップS908で詳しく説明したため、ここでは省略する。
【０１１５】
ステップS1806において、ステップS1805で算出したWB補正用特徴量からWB調整パラメータの補正値を算出する。算出方法は第一の実施例ステップS909で説明したため、ここでは省略する。
【０１１６】
ステップS1807において、対応表Gに登録された画像からゲイン調整パラメータの補正に用いる特徴量を算出し、ステップS1808において、算出した各ゲイン補正用特徴量を合成し、１つのゲイン補正用特徴量を算出する。算出方法については第一の実施形態のステップS907で対応表をG、特徴量を平均輝度値とした場合と同様のため、ここでは説明を省略する。
【０１１７】
ステップS1809において、ステップS1808で算出したゲイン補正用特徴量である平均輝度値よりゲイン調整パラメータを決定する。ゲイン調整パラメータは例えば、図21に示すような平均輝度とゲイン調整パラメータの対応表を予め用意しておき、これを参照することにより決定する。
【０１１８】
ステップS1810において、対応表Cに登録されている画像に対して画像再現処理を行う。ここで、対応表Cの画像はステップS1803で明るさに基づき対応表Gと対応表Hに分けたため、対応表Gの画像を再現処理した後に対応表Hの画像を再現処理する。
【０１１９】
ステップS1810の処理の流れを図22に示す。
【０１２０】
ステップS2201において、対応表Gに登録された画像を先頭から順に処理する際に用いるループ変数mを１に初期化する。
【０１２１】
ステップS2202において、対応表Gのm行目の画像IDを参照する。
【０１２２】
ステップS2203において、対応表Gのm行目の画像IDに対応するRAWデータにステップS1806で決定したWB調整パラメータとステップS1809で決定したゲイン調整パラメータを適用して画像再現処理する。なお、再現処理で用いるWB調整パラメータとゲイン調整パラメータ以外の画像調整用パラメータ、RAWデータ、機種情報についてはステップS1003で保持した各データを参照する。
【０１２３】
ステップS1004でも同様にRAWデータに画像再現処理を行ったが、各調整で用いた調整パラメータは全て、撮像装置で撮影時に記録されたパラメータである。これに対し、ステップS2203では、WB調整パラメータ、ゲイン調整パラメータとして、前述までのステップで算出した補正パラメータを用いて再現処理を行う点で異なる。
【０１２４】
ステップS2204で変数mを1増加する。
【０１２５】
ステップS2205で対応表Gに登録されている全ての画像IDを参照したかどうか判定する。判定結果が偽の場合には、ステップS2202に流れ、真の場合はステップS2206に流れる。
【０１２６】
ステップS2206において、対応表Hに登録された画像を先頭から順に処理する際に用いるループ変数mを１に初期化する。
【０１２７】
ステップS2207において、対応表Hのm行目の画像IDを参照する。
【０１２８】
ステップS2208において、対応表Hのm行目の画像IDに対応するRAWデータにステップS1806で決定したWB調整パラメータとステップS1003で保持したゲイン調整パラメータを適用して画像再現処理する。なお、再現処理で用いるその他の画像調整用パラメータ、RAWデータ、機種情報についてはステップS1003で保持した各データを参照する。
【０１２９】
ステップS2209で変数mを1増加する。
【０１３０】
ステップS2210で対応表Hに登録されている全ての画像IDを参照したかどうか判定する。判定結果が偽の場合には、ステップS2202に流れ、真の場合は処理を終了する。
【０１３１】
なお、ステップS2208の再現処理で用いるゲイン調整パラメータについては、撮影時に記録されたものを用いて説明しているが、第一の実施例の類似判定で類似していないと判定された画像に対して行う調整処理として説明した方法を用いても良い。
【０１３２】
以上説明したように、第二の実施例によれば、複数画像に自動補正を行う場合に、複数種の特徴量で画像を分類し、それぞれの特徴に良好な調整パラメータを決定することが可能となる。
【０１３３】
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３６】
【図１】第一、第二の実施形態による、データ処理装置の構成を示すブロック図である。
【図２】第一、第二の実施形態による、画像再現処理を行う対象となる画像データのファイルフォーマットの一例を示す図である。
【図３】Bayer配列を示す図である。
【図４】複数画像をユーザが選択する際のユーザインタフェースの一例を示した図である。
【図５】画像IDと画像ファイル名の対応表を示した図である。
【図６】画像IDと画像ファイル名と類似判定用特徴量の対応表を示した図である。
【図７】類似判定の結果に基づき新しく対応表を作る際の説明を示した図である。
【図８】画像IDと画像ファイル名と補正用特徴量の対応表を示した図である。
【図９】実施形態1の処理の流れを示した図である。
【図１０】実施形態1における複数画像を各々画像再現する処理を示した図である。
【図１１】実施形態1における画像調整処理の詳細な処理の流れを示した図である。
【図１２】実施形態1における複数画像から各々の類似判定用特徴量を算出する処理の流れを示した図である。
【図１３】実施形態1における平均色相を算出する処理の流れを示した図である。
【図１４】実施形態1における複数画像から各々の補正用特徴量を算出する処理の流れを示した図である。
【図１５】実施形態1における補正用特徴量を算出する詳細な処理の流れを示した図である。
【図１６】実施形態1における特徴量を合成する際の処理の流れを示した図である。
【図１７】実施形態1における対応表Eに登録された画像を画像再現する処理の流れを示した図である。
【図１８】実施形態2の処理の流れを示した図である。
【図１９】実施形態2における複数画像から類似判定用特徴量を算出する処理の流れを示した図である。
【図２０】実施形態2における類似判定用特徴量を算出する詳細な処理の流れを示した図である。
【図２１】平均輝度とゲイン調整パラメータの対応表の一例を示した図である。
【図２２】実施形態2における対応表Gと対応表Hに登録された画像に画像再現処理する際の処理の流れを示した図である。
【符号の説明】
【０１３７】
１００  読込部
１０１  入力部
１０２  蓄積部
１０３  表示部
１０４  ＣＰＵ
１０５  ＲＯＭ
１０６  ＲＡＭ
【図１】
2007208911.tif 000005
【図２】
2007208911.tif 000006
【図３】
2007208911.tif 000007
【図４】
2007208911.tif 000008
【図５】
2007208911.tif 000009
【図６】
2007208911.tif 000010
【図７】
2007208911.tif 000011
【図８】
2007208911.tif 000012
【図９】
2007208911.tif 000013
【図１０】
2007208911.tif 000014
【図１１】
2007208911.tif 000015
【図１２】
2007208911.tif 000016
【図１３】
2007208911.tif 000017
【図１４】
2007208911.tif 000018
【図１５】
2007208911.tif 000019
【図１６】
2007208911.tif 000020
【図１７】
2007208911.tif 000021
【図１８】
2007208911.tif 000022
【図１９】
2007208911.tif 000023
【図２０】
2007208911.tif 000024
【図２１】
2007208911.tif 000025
【図２２】
2007208911.tif 000026