(57)【要約】【課題】調整パラメータを自動的に決定するのに必要な処理を削減できるようにする。【解決手段】色補間RAWデータを撮影時に撮像装置が記録した画像再現用パラメータでRAWデータを一度再現処理した画像を解析し、その解析結果に基づいて補正値を算出するようにすることにより、RAWデータを対象とした場合に、指定領域を変更する度にRAWデータの再現処理が必要となり、結果確認用画像をユーザに表示するまでに時間が多くかかる問題点を解決して、補正パラメータを決定する処理時間を短縮できるようにして、補正結果を素早くユーザに提示できるようにする。【選択図】図１３
2007184867.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、
前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、
前記領域指定処理工程において指定された領域に対応する部分画像を解析し、部分画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い、第２の再現画像を生成する第２の画像再現処理工程と、
前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、
前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有することを特徴とする画像処理方法。
【請求項２】
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理して第１の再現画像を生成する第１の画像再現処理工程と、
前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、
前記画像再現処理工程において生成された第１の再現画像のうち、前記領域指定処理工程において指定された領域に対応する部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、
前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された前記第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行なって第２の再現画像を生成する第２の画像再現処理工程と、
前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、
前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有することを特徴とする画像処理方法。
【請求項３】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、
前記第１の画像再現処理工程において生成された部分再現画像を解析して特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出した特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出した第２の画像再現用パラメータを前記RAWデータ全体に適用して全体再現画像を得る第２の画像再現処理工程とを有することを特徴とする画像処理方法。
【請求項４】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、
前記第１の画像再現処理工程において算出した部分再現画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、
前記画素判定処理工程において選択された画素の位置に対応するRAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータ全体に適用して全体画像を得る第２の画像再現処理工程とを有することを特徴とする画像処理方法。
【請求項５】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、
前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、部分画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを適用して第２の画像再現処理を行い第２の再現画像を得る第２の画像再現処理工程と、
前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、
前記特徴量算出処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域とから差分領域を検出する差分領域検出処理工程と、
前記差分領域の特徴量を算出する差分領域特徴量算出処理工程と、
前記領域指定処理工程において前回指定された領域に対する特徴量と前記差分領域の特徴量とから今回指定された領域の特徴量を合成する特徴量合成処理工程とからなることを特徴とする画像処理方法。
【請求項６】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、
前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、
前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い第２の画像再現画像を得る第２の画像再現処理工程とを有し、
前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、
前記画素判定処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域から差分領域を検出する差分領域検出処理工程と、前記差分領域のみ画素判定処理を行う差分領域画素判定処理工程とからなり、
前記特徴量算出処理工程は、前記差分領域画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から差分領域の画像の特徴量を算出する差分領域特徴量算出処理工程と、前記領域指定処理工程において前回指定された領域に対応する特徴量と前記差分領域の画像の特徴量から今回指定された領域の特徴量を合成する特徴量合成処理工程とからなることを特徴とする画像処理方法。
【請求項７】
前記第１の画像再現用パラメータは、画像処理装置で予め用意したパラメータ、撮像装置内で機種毎に設定されたパラメータまたは撮像装置内が決定したパラメータの何れかであることを特徴とする請求項１〜６の何れか１項に記載の画像処理方法。
【請求項８】
前記第１の画像再現処理工程において用いられる第１の画像再現用パラメータは、前記RAWデータを色補間した色補間RAWデータに対して、ホワイトバランス調整処理、ガンマ調整処理、ゲイン調整処理、色調整処理の少なくとも１つであることを特徴とする請求項１〜６の何れか１項に記載の画像処理方法。
【請求項９】
前記パラメータ算出処理工程は、前記第１の画像再現処理工程において用いられる第１の画像再現用パラメータのうち、少なくとも１つの画像再現用パラメータを算出する工程であり、前記第２の画像再現処理工程では、前記画像再現用パラメータとして、前記パラメータ算出処理工程において算出したパラメータと、前記第１の画像再現用パラメータとを用いて画像再現処理を行なうことを特徴とする請求項１〜８の何れか１項に記載の画像処理方法。
【請求項１０】
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理手段と、
前記画像再現処理手段により生成された画像中の領域を指定する領域指定処理手段と、
前記領域指定処理手段により指定された領域に対応する部分画像を解析し、部分画像の特徴量を算出する特徴量算出処理手段と、
前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、
前記パラメータ算出処理手段により算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い、第２の再現画像を生成する第２の画像再現処理手段と、
前記第２の画像再現処理手段により生成された第２の再現画像を画像表示装置に表示する画像表示手段と、
前記領域指定処理手段から画像表示手段の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持手段とを有することを特徴とする画像処理装置。
【請求項１１】
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理して第１の再現画像を生成する第１の画像再現処理手段と、
前記画像再現処理手段により生成された画像中の領域を指定する領域指定処理手段と、
前記画像再現処理手段により生成された第１の再現画像のうち、前記領域指定処理手段により指定された領域に対応する部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理手段と、
前記画素判定処理手段により選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理手段と、
前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、
前記パラメータ算出処理手段により算出された前記第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行なって第２の再現画像を生成する第２の画像再現処理手段と、
前記第２の画像再現処理手段により生成された第２の再現画像を画像表示装置に表示する画像表示手段と、
前記領域指定処理手段から画像表示手段の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持手段とを有することを特徴とする画像処理装置。
【請求項１２】
画像中の領域を指定する領域指定処理手段と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理手段により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理手段と、
前記第１の画像再現処理手段により生成された部分再現画像を解析して特徴量を算出する特徴量算出処理手段と、
前記特徴量算出処理手段により算出した特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、
前記パラメータ算出処理手段により算出した第２の画像再現用パラメータを前記RAWデータ全体に適用して全体再現画像を得る第２の画像再現処理手段とを有することを特徴とする画像処理装置。
【請求項１３】
画像中の領域を指定する領域指定処理手段と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理手段により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理手段と、
前記第１の画像再現処理手段により算出した部分再現画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理手段と、
前記画素判定処理手段により選択された画素の位置に対応するRAWデータの画素値から画像の特徴量を算出する特徴量算出処理手段と、
前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、
前記パラメータ算出処理手段により算出された第２の画像再現用パラメータを前記RAWデータ全体に適用して全体画像を得る第２の画像再現処理手段とを有することを特徴とする画像処理装置。
【請求項１４】
画像中の領域を指定する領域指定処理手段と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理手段と、
前記領域指定処理手段により指定された領域に対応する前記第１の再現画像の部分画像を参照し、部分画像の特徴量を算出する特徴量算出処理手段と、
前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを適用して第２の画像再現処理を行い第２の再現画像を得る第２の画像再現処理手段と、
前記領域指定処理手段により前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理手段とを有し、
前記特徴量算出処理手段は、前記領域指定処理手段により今回指定された領域と前回指定された領域とから差分領域を検出する差分領域検出処理手段と、
前記差分領域の特徴量を算出する差分領域特徴量算出処理手段と、
前記領域指定処理手段により前回指定された領域に対する特徴量と前記差分領域の特徴量とから今回指定された領域の特徴量を合成する特徴量合成処理手段とからなることを特徴とする画像処理装置。
【請求項１５】
画像中の領域を指定する領域指定処理手段と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理手段と、
前記領域指定処理手段により指定された領域に対応する前記第１の再現画像の部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理手段と、
前記画素判定処理手段により選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理手段と、
前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、
前記パラメータ算出処理手段により算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い第２の画像再現画像を得る第２の画像再現処理手段とを有し、
前記領域指定処理手段により前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理手段とを有し、
前記画素判定処理手段は、前記領域指定処理手段により今回指定された領域と前回指定された領域から差分領域を検出する差分領域検出処理手段と、前記差分領域のみ画素判定処理を行う差分領域画素判定処理手段とからなり、
前記特徴量算出処理手段は、前記差分領域画素判定処理手段により選択された画素の位置に対応する前記RAWデータの画素値から差分領域の画像の特徴量を算出する差分領域特徴量算出処理手段と、前記領域指定処理手段により前回指定された領域に対応する特徴量と前記差分領域の画像の特徴量から今回指定された領域の特徴量を合成する特徴量合成処理手段とからなることを特徴とする画像処理装置。
【請求項１６】
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、
前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、
前記領域指定処理工程において指定された領域に対応する部分画像を解析し、部分画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い、第２の再現画像を生成する第２の画像再現処理工程と、
前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、
前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理して第１の再現画像を生成する第１の画像再現処理工程と、
前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、
前記画像再現処理工程において生成された第１の再現画像のうち、前記領域指定処理工程において指定された領域に対応する部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、
前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された前記第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行なって第２の再現画像を生成する第２の画像再現処理工程と、
前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、
前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、
前記第１の画像再現処理工程において生成された部分再現画像を解析して特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出した特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出した第２の画像再現用パラメータを前記RAWデータ全体に適用して全体再現画像を得る第２の画像再現処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１９】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、
前記第１の画像再現処理工程において算出した部分再現画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、
前記画素判定処理工程において選択された画素の位置に対応するRAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータ全体に適用して全体画像を得る第２の画像再現処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、
前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、部分画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを適用して第２の画像再現処理を行い第２の再現画像を得る第２の画像再現処理工程と、
前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、
前記特徴量算出処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域とから差分領域を検出する差分領域検出処理工程と、
前記差分領域の特徴量を算出する差分領域特徴量算出処理工程と、
前記領域指定処理工程において前回指定された領域に対する特徴量と前記差分領域の特徴量とから今回指定された領域の特徴量を合成する特徴量合成処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２１】
画像中の領域を指定する領域指定処理工程と、
撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、
前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、
前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、
前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、
前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い第２の画像再現画像を得る第２の画像再現処理工程とを有し、
前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、
前記画素判定処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域から差分領域を検出する差分領域検出処理工程と、前記差分領域のみ画素判定処理を行う差分領域画素判定処理工程とからなり、
前記特徴量算出処理工程は、前記差分領域画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から差分領域の画像の特徴量を算出する差分領域特徴量算出処理工程と、前記領域指定処理工程において前回指定された領域に対応する特徴量と前記差分領域の画像の特徴量から今回指定された領域の特徴量を合成する特徴量合成処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２２】
請求項１６〜２１の何れか１項に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び装置に関し、特にデジタルカメラにより撮影して得られたデジタル画像データを処理する画像処理方法及び装置に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置は、CMOS、CCD等の撮像素子により被写体光学像を光電変換して撮影画像の電気信号を得て、この電気信号をデジタルデータに変換してRAWデータ（撮像素子から得られた電気信号を単純にデジタル化したデータ）を生成する。そして、このRAWデータに対し、色補間処理を施し、さらにホワイトバランス調整処理、ガンマ調整処理、色調整処理などを行い記録媒体に記録する。
【０００３】
ここで、デジタルスチルカメラにおいて、記録される撮影画像の画像データは、非常に多くの情報量を有している。そこで、JPEG符号化などの画像圧縮方式により画像データ量を減らして記録媒体に記録することが広く行われている。
【０００４】
これに対し、前述のRAWデータをそのまま、もしくは公知の可逆符号化により符号化したデータを記録媒体に記録しておくことがある。この場合、パソコン等の外部装置により画像の前述の色補間処理、また、ホワイトバランス調整処理、ガンマ調整処理、色調整処理といった再現処理を行なうことになる。
【０００５】
この方式は、撮像素子の信号をほぼそのまま再現できる形で記録しておき、後で再現処理を行なうので、撮像装置内で再現処理を行って記録する方式に比べて、画像の編集に対する耐性が高い。しかし、外部装置により画像の再現処理を行なう際に、ユーザは画像調整用のパラメータを自由に設定し、そのパラメータが適用された画像を確認しながら適当なパラメータを決定することとなる。
【０００６】
【特許文献１】特開２００２-１８５９７２号公報
【特許文献２】特開２００２-２３８０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
撮像装置内で色補間後の画像データに対して行われる各調整処理では、撮影時の設定に応じて予め定められた調整値や、画像データを解析した結果から算出した調整値を用いて調整処理を行なうことが一般的である。しかしながら、この撮像装置内で決定された調整値は、必ずしも全ての画像に対して好適であるとは限らない。
【０００８】
上記問題に対し、特許文献１では画像再現処理後の結果画像をユーザに提示し、ユーザが結果画像を確認しながら調整量を決定する方法が提案されている。また、特許文献２では画像再現処理後の結果画像をユーザに提示し、ユーザが指定した領域部分だけを解析して調整パラメータを決定する方法が提案されている。
【０００９】
しかし、これらの方法の場合には、ユーザが結果画像を確認しつつ、試行錯誤して調整量を決定しなくてはならない問題点があった。また、特許文献２のように領域を指定する方法では、RAWデータを対象とした場合に、指定領域を変更する度にRAWデータの再現処理が必要となる。このため、結果確認用画像をユーザに表示するまでに時間がかかり操作性が悪くなってしまうという問題もあった。
本発明は前述の問題点を鑑みてなされたものであり、調整パラメータを自動的に決定するのに必要な処理を削減できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像処理方法は、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、前記領域指定処理工程において指定された領域に対応する部分画像を解析し、部分画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い、第２の再現画像を生成する第２の画像再現処理工程と、前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理して第１の再現画像を生成する第１の画像再現処理工程と、前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、前記画像再現処理工程において生成された第１の再現画像のうち、前記領域指定処理工程において指定された領域に対応する部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された前記第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行なって第２の再現画像を生成する第２の画像再現処理工程と、前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有することを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、前記第１の画像再現処理工程において生成された部分再現画像を解析して特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出した特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出した第２の画像再現用パラメータを前記RAWデータ全体に適用して全体再現画像を得る第２の画像再現処理工程とを有することを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、前記第１の画像再現処理工程において算出した部分再現画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、前記画素判定処理工程において選択された画素の位置に対応するRAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータ全体に適用して全体画像を得る第２の画像再現処理工程とを有することを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、部分画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを適用して第２の画像再現処理を行い第２の再現画像を得る第２の画像再現処理工程と、前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、前記特徴量算出処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域とから差分領域を検出する差分領域検出処理工程と、前記差分領域の特徴量を算出する差分領域特徴量算出処理工程と、前記領域指定処理工程において前回指定された領域に対する特徴量と前記差分領域の特徴量とから今回指定された領域の特徴量を合成する特徴量合成処理工程とからなることを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い第２の画像再現画像を得る第２の画像再現処理工程とを有し、前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、前記画素判定処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域から差分領域を検出する差分領域検出処理工程と、前記差分領域のみ画素判定処理を行う差分領域画素判定処理工程とからなり、前記特徴量算出処理工程は、前記差分領域画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から差分領域の画像の特徴量を算出する差分領域特徴量算出処理工程と、前記領域指定処理工程において前回指定された領域に対応する特徴量と前記差分領域の画像の特徴量から今回指定された領域の特徴量を合成する特徴量合成処理工程とからなることを特徴とする。
【００１１】
本発明の画像処理装置は、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理手段と、前記画像再現処理手段により生成された画像中の領域を指定する領域指定処理手段と、前記領域指定処理手段により指定された領域に対応する部分画像を解析し、部分画像の特徴量を算出する特徴量算出処理手段と、前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、前記パラメータ算出処理手段により算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い、第２の再現画像を生成する第２の画像再現処理手段と、前記第２の画像再現処理手段により生成された第２の再現画像を画像表示装置に表示する画像表示手段と、前記領域指定処理手段から画像表示手段の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持手段とを有することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理して第１の再現画像を生成する第１の画像再現処理手段と、前記画像再現処理手段により生成された画像中の領域を指定する領域指定処理手段と、前記画像再現処理手段により生成された第１の再現画像のうち、前記領域指定処理手段により指定された領域に対応する部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理手段と、前記画素判定処理手段により選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理手段と、前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、前記パラメータ算出処理手段により算出された前記第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行なって第２の再現画像を生成する第２の画像再現処理手段と、前記第２の画像再現処理手段により生成された第２の再現画像を画像表示装置に表示する画像表示手段と、前記領域指定処理手段から画像表示手段の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持手段とを有することを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、画像中の領域を指定する領域指定処理手段と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理手段により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理手段と、前記第１の画像再現処理手段により生成された部分再現画像を解析して特徴量を算出する特徴量算出処理手段と、前記特徴量算出処理手段により算出した特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、前記パラメータ算出処理手段により算出した第２の画像再現用パラメータを前記RAWデータ全体に適用して全体再現画像を得る第２の画像再現処理手段とを有することを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、画像中の領域を指定する領域指定処理手段と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理手段により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理手段と、前記第１の画像再現処理手段により算出した部分再現画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理手段と、前記画素判定処理手段により選択された画素の位置に対応するRAWデータの画素値から画像の特徴量を算出する特徴量算出処理手段と、前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、前記パラメータ算出処理手段により算出された第２の画像再現用パラメータを前記RAWデータ全体に適用して全体画像を得る第２の画像再現処理手段とを有することを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、画像中の領域を指定する領域指定処理手段と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理手段と、前記領域指定処理手段により指定された領域に対応する前記第１の再現画像の部分画像を参照し、部分画像の特徴量を算出する特徴量算出処理手段と、前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを適用して第２の画像再現処理を行い第２の再現画像を得る第２の画像再現処理手段と、前記領域指定処理手段により前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理手段とを有し、前記特徴量算出処理手段は、前記領域指定処理手段により今回指定された領域と前回指定された領域とから差分領域を検出する差分領域検出処理手段と、前記差分領域の特徴量を算出する差分領域特徴量算出処理手段と、前記領域指定処理手段により前回指定された領域に対する特徴量と前記差分領域の特徴量とから今回指定された領域の特徴量を合成する特徴量合成処理手段とからなることを特徴とする。
また、本発明の画像処理装置のその他の特徴とするところは、画像中の領域を指定する領域指定処理手段と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理手段と、前記領域指定処理手段により指定された領域に対応する前記第１の再現画像の部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理手段と、前記画素判定処理手段により選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理手段と、前記特徴量算出処理手段により算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理手段と、前記パラメータ算出処理手段により算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い第２の画像再現画像を得る第２の画像再現処理手段とを有し、前記領域指定処理手段により前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理手段とを有し、前記画素判定処理手段は、前記領域指定処理手段により今回指定された領域と前回指定された領域から差分領域を検出する差分領域検出処理手段と、前記差分領域のみ画素判定処理を行う差分領域画素判定処理手段とからなり、前記特徴量算出処理手段は、前記差分領域画素判定処理手段により選択された画素の位置に対応する前記RAWデータの画素値から差分領域の画像の特徴量を算出する差分領域特徴量算出処理手段と、前記領域指定処理手段により前回指定された領域に対応する特徴量と前記差分領域の画像の特徴量から今回指定された領域の特徴量を合成する特徴量合成処理手段とからなることを特徴とする。
【００１２】
本発明のプログラムは、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、前記領域指定処理工程において指定された領域に対応する部分画像を解析し、部分画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い、第２の再現画像を生成する第２の画像再現処理工程と、前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のプログラムの他の特徴とするところは、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理して第１の再現画像を生成する第１の画像再現処理工程と、前記画像再現処理工程において生成された画像中の領域を指定する領域指定処理工程と、前記画像再現処理工程において生成された第１の再現画像のうち、前記領域指定処理工程において指定された領域に対応する部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された前記第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行なって第２の再現画像を生成する第２の画像再現処理工程と、前記第２の画像再現処理工程において生成された第２の再現画像を画像表示装置に表示する画像表示工程と、前記領域指定処理工程から画像表示工程の処理を反復して行なう間、前記第１の再現画像を記録媒体に保持しておく第１の再現画像保持工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、前記第１の画像再現処理工程において生成された部分再現画像を解析して特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出した特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出した第２の画像再現用パラメータを前記RAWデータ全体に適用して全体再現画像を得る第２の画像再現処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータにおいて、前記領域指定処理工程により指定された部分領域を第１の画像再現用パラメータを用いて画像再現処理して部分再現画像を生成する第１の画像再現処理工程と、前記第１の画像再現処理工程において算出した部分再現画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、前記画素判定処理工程において選択された画素の位置に対応するRAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータ全体に適用して全体画像を得る第２の画像再現処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、部分画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを適用して第２の画像再現処理を行い第２の再現画像を得る第２の画像再現処理工程と、前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、前記特徴量算出処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域とから差分領域を検出する差分領域検出処理工程と、前記差分領域の特徴量を算出する差分領域特徴量算出処理工程と、前記領域指定処理工程において前回指定された領域に対する特徴量と前記差分領域の特徴量とから今回指定された領域の特徴量を合成する特徴量合成処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のプログラムのその他の特徴とするところは、画像中の領域を指定する領域指定処理工程と、撮像素子により被写体光学像を光電変換した後でA/D変換を施したRAWデータを第１の画像再現用パラメータを用いて画像再現処理を行い第１の再現画像を生成する第１の画像再現処理工程と、前記領域指定処理工程において指定された領域に対応する前記第１の再現画像の部分画像を参照し、特徴量を算出するために用いる画素を選択する画素判定処理工程と、前記画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から画像の特徴量を算出する特徴量算出処理工程と、前記特徴量算出処理工程において算出された特徴量から第２の画像再現用パラメータを算出するパラメータ算出処理工程と、前記パラメータ算出処理工程において算出された第２の画像再現用パラメータを前記RAWデータに適用して第２の画像再現処理を行い第２の画像再現画像を得る第２の画像再現処理工程とを有し、前記領域指定処理工程において前回指定された領域の情報とそれに対応する特徴量を記録媒体に保持しておく特徴量保持処理工程とを有し、前記画素判定処理工程は、前記領域指定処理工程において今回指定された領域と前回指定された領域から差分領域を検出する差分領域検出処理工程と、前記差分領域のみ画素判定処理を行う差分領域画素判定処理工程とからなり、前記特徴量算出処理工程は、前記差分領域画素判定処理工程において選択された画素の位置に対応する前記RAWデータの画素値から差分領域の画像の特徴量を算出する差分領域特徴量算出処理工程と、前記領域指定処理工程において前回指定された領域に対応する特徴量と前記差分領域の画像の特徴量から今回指定された領域の特徴量を合成する特徴量合成処理工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、色補間RAWデータを撮影時に撮像装置が記録した画像再現用パラメータでRAWデータを一度再現処理した画像を解析し、その解析結果に基づいて補正値を算出するようにしたので、調整パラメータを自動的に決定するのに要する処理を削減することが可能となり、補正パラメータを決定する処理時間を短縮することが可能ととなり、結果として補正結果を素早くユーザに提示することができる。
【発明を実施するための最良の形態】
【００１４】
（第１の実施形態）
第１の実施形態では、RAWデータに対するホワイトバランス(以下WB)調整における自動補正処理を説明する。なお、本実施形態においてRAWデータとは、CMOS、CCD等の撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換した画像データである。
【００１５】
RAWデータとしては、例えば図３に示すRGBの配列をした画像データであるBayer配列があるが、各画素１つの色情報しか持たないため、色補間処理で周りの画素から色情報を補間することで、各画素R,G,Bの３つの色情報を持つデータに変換する。色補間後の画像データにホワイトバランス調整処理、ゲイン調整処理、ガンマ調整処理、色調整処理などを行い、画像出力装置で出力する画像を再現する。以下これらのRAWデータに対する調整処理を画像再現処理、画像再現処理後の画像を再現画像と記述する。また、RAWデータに色補間を施した画像データを色補間RAWデータと記述する。
【００１６】
以下、図面を参照して、本発明の好適な実施形態を説明する。
図１は、第１の実施形態の構成を示すブロック図である。図１において、読込部１００は公知のCCD素子などで構成されている撮像装置などで画像を読み込む。入力部１０１はキーボードやポインティング装置で構成されており、ユーザは入力部１０１を操作しデータの入力や操作の指示を行なう。
【００１７】
蓄積部１０２はバイナリデータやメタデータを蓄積するものであり、ハードディスク、CD-ROM、DVD-ROM、CFカード、SDカード、メモリスティック等で構成される。表示部１０３は蓄積部１０２に蓄積されたバイナリデータを表示したり、読込部１００で読み込まれた画像データを表示するものであり、CRTや液晶である場合が多い。
【００１８】
ＣＰＵ１０４は、上記の処理のすべてに関わり、ＲＯＭ１０５とＲＡＭ１０６はその処理に必要なメモリや作業領域を提供する。また、図１０のフローチャートを参照して後述する本実施形態における画像処理手順を実現するための制御プログラムはＲＯＭ１０５もしくは蓄積部１０２に格納されている。
【００１９】
まず、本実施形態で示す画像処理装置が読み込む画像データのフォーマットの例を図２に示す。
図２に示すように、画像データはヘッダー２０１、機種情報２０２、撮影時付属情報２０３、画像再現用パラメータ２０４、サムネイルデータ２０５及びRAWデータ２０６等からなっている。
【００２０】
ヘッダー２０１は、バイトオーダ、各データへのオフセットなどからなる。機種情報２０２は、撮影で使用した機種を示す情報である。撮影時付属情報２０３は、撮影日時やフラッシュの有無といった撮影時に関する情報である。画像再現用パラメータ２０４は、RAWデータを再現処理するために、撮像装置が撮影時に設定したガンマ調整値やホワイトバランス調整値(WB調整値)といった情報である。サムネイルデータ２０５は、撮像装置内でRAWデータに画像再現処理を施し、それを縮小して生成した画像データである。RAWデータ２０６は主画像のデータである。
【００２１】
次に、本実施形態による画像処理装置の処理手順を、図１０のフローチャートにしたがって説明する。
先ず、ステップＳ１００１において、図２で示したフォーマットの画像データを読み込む。次に、ステップＳ１００２において、画像データから機種情報２０２とヘッダー２０１を読み込み、ヘッダー２０１からRAWデータのサイズと各データへのオフセット値を取得する。このオフセット値をもとに画像再現用パラメータ２０４とRAWデータ２０６を取得する。次に、ステップＳ１００３でRAWデータに画像再現用パラメータを適用して画像再現処理を行なう。
【００２２】
以下に、ステップＳ１００３で行なう画像再現処理について、図１１のフローチャートを参照して詳しく説明する。
先ず、ステップＳ１１０１でRAWデータを色補間処理する。ここで、RAWデータとしては例えばBayer配列があるが、各画素は１つの色情報しか持たないため、色補間処理で周りの画素から色情報を補間することで、各画素R,G,Bの３つの色情報を持つデータに変換する。
【００２３】
次に、ステップＳ１１０２で色補間RAWデータにWB調整処理を行なう。本実施形態では、カメラ内部で算出したWB調整値を用いてWB調整を行なう。カメラが算出したWB調整は、例えば、R、B成分に対するゲインデータで図２の画像再現用パラメータに格納されており、ステップＳ１１０２で読み込まれるので、これを色補間RAWデータに適用する。
【００２４】
次に、ステップＳ１１０３において、撮影時に撮像装置で設定されたゲイン調整値を用いてRAWデータのゲインを調整する。ゲインについては、各画素のRGBそれぞれの値に設定された調整値を掛け合わせることで調整する。ここで、調整値については、調整量を直感的に分かり易くするため、対数表現を利用する。本実施形態では、-２〜+２までの値を調整量として選択できるようにする。選択した調整量を、「２」を底とした指数値として算出する。この値をゲイン調整値とする。
【００２５】
次に、ステップＳ１１０４において、画像データの各画素に対してγ調整処理を行なう。γ調整処理で用いるγ曲線については、機種毎に設定される。そのため、カメラの機種とγ曲線との関係を表した対応表を予め用意し、これを参照することでガンマ調整を行なう。この他、撮像装置内で図２の画像再現用パラメータ部分に曲線情報を格納し、これを参照する方法を用いてもよい。
【００２６】
次に、ステップＳ１１０５において、RAWデータの色調整処理を行なう。色調整処理とは、画像中のR,G,B値を表現する色空間を変換する処理である。例えば、撮像機種依存のRGB空間を一般的な標準色空間であるsRGB空間やAdobeRGB空間に変換する。色変換処理では例えば、一方の色空間における値を、それに対応する他方の色空間における値に変換する変換式を用いて色変換を行なう。あるいは、対応関係を予め記述した対応表を参照することで色変換処理を行ってもよい。
【００２７】
次に、ステップＳ１００３の画像再現処理に続いて、ステップＳ１００４において、色補間RAWデータと再現画像から特徴量を算出する。この際、まず再現画像を解析して、WB調整の補正値を決定するのに用いる画素を選択する。ここで、「WB調整の補正値を決定するのに用いる画素」について説明する。
WB調整処理における調整量を算出方法として、画像全体のR,G,B値の平均がグレーになるという仮定に基づき算出する方法がある。この方法を図４に示す画像で説明する。
【００２８】
画像サイズは簡易的に３×３とし、各画素値はRn,Gn,Bn(n=１〜９)とする。まず、画像内のR,G,Bそれぞれの平均値を以下の式を用いて算出する。
【００２９】
【数１】
2007184867.tif 000003
【００３０】
この平均値がグレーつまり、aveR：aveG：aveB=１：１：１になるように調整値を決定するため、調整値は(aveG/aveR,１,aveG/aveB)と算出される。このように求めた調整値を画像の各画素にかけることでWBの調整を行なう。
【００３１】
以上の説明では、画像中の全ての画素を平均し、これをグレーにするようにWB調整値を求めている。しかし、実際の画像では画像全体の画素値平均がグレーにならない場合がある。
【００３２】
このような場合には、上述の方法で算出したWB調整値を適用しても画像全体が黄色がかったり緑がかったりするなど、良好なWBがとれない。そこで、画像中からなるべく白色に近い画素だけを選択し、選択した画素値の平均がグレーになるようにWB調整値を求める。
【００３３】
更には、画像中の高輝度部、低輝度部がWB調整値を求める際に影響を与えてしまい、良好なWBがとれない場合もあるため、所定の範囲内の輝度値をもつ画素だけを選択するようにしてもよい。「WB調整の補正値を決定するのに用いる画素」とは、この定められた範囲内の輝度値、低い彩度値を持つ画素を示す。
【００３４】
ステップＳ１００４では、再現画像内の画素の輝度値、彩度値が、所定の範囲内にある場合、その画素位置に対応する色補間RAWデータ内の画素値を参照して特徴量を算出する。つまり、再現画像からは特徴量算出に用いる画素を選択し、その画像中の位置を求める。色補間RAWデータからは、その位置に対応した画素の画素値を抽出して特徴量算出を行なう。
【００３５】
なお、色補間RAWデータは撮像装置の機種に依存する画像データであるのに対して、再現画像は撮像装置の機種に依存しない画像データである。そのため、画素値選択に用いる画像として再現画像を用いることにより、画素値を選択する際の画像解析における閾値などを機種毎に設定する必要がない。このため、どのような撮像機種によって撮影された画像データに対しても画一的に画像解析処理を行なうことができる。
【００３６】
図１２に、色補間RAWデータから特徴量を算出する手順を示す。
先ず、ステップＳ１２０１において、特徴量抽出に必要となる変数の初期化を行なう。x,yは画素を走査する際の変数、sumR,sumG,sumBは輝度値、彩度値による判定で抽出した画素に対応する色補間RAWデータの画素値の合算値、kは抽出した画素を数えるカウンタである。
【００３７】
この他の特徴量算出に用いる変数としては、「P(x,y)：再現画像の画素」、「P'(x,y)：色補間RAWデータの画素」、「Y(x,y)：再現画像中の注目画素の輝度値」、「Th＿min、Th＿max：輝度値を判定する際の閾値の最大値と最小値」、「Th＿S：彩度値を判定する閾値」、「Width、Height：色補間RAWデータの幅、高さ」等である。
【００３８】
なお、輝度値と彩度値の閾値について、本実施形態では予め定めておいた閾値を用いるものとして説明を行なうが、あるいは、ユーザが閾値を設定するように構成してもよい。また、RAWデータや再現画像に対して解析を行い、適応的に決定するように構成してもよい。
【００３９】
ステップＳ１２０２で再現画像の注目画素P(x,y)の「輝度Ｙ」と「彩度値Ｓ」を算出する。
まず、R、G、B値から「輝度Ｙ」を算出する。算出方法としては例えばR,G,BからY,Cb,Cr(Yが輝度、Cb・Crがそれぞれ青成分・赤成分の色差)に変換する。この変換式としては、以下の式(１)を用いる。
【００４０】
【数２】
2007184867.tif 000004
【００４１】
また、「彩度値Ｓ」はCb、Crの値を用いて式(２)から算出する。
【００４２】
【数３】
2007184867.tif 000005
【００４３】
次に、ステップＳ１２０３において、「彩度値Ｓ」が閾値以内にあるか判定する(S<=Th＿S)。この判定結果が真の場合はステップＳ１２０４に進み、偽の場合にはステップＳ１２０６に進む。
【００４４】
次に、ステップＳ１２０４において、輝度値Yが閾値以内にあるか判定する(Th＿min<=Y<=Th＿max)。この判定の結果が真の場合はステップＳ１２０５に進み、偽の場合にはステップＳ１２０６に進む。
【００４５】
次に、ステップＳ１２０５において、現在の注目画素の位置に対応する色補間RAWデータの画素P'(x,y)の画素値(R,G,B値)をsumR,sumG,sumBに加算する。
次に、ステップＳ１２０６において、注目画素を横方向に走査する。その後、ステップＳ１２０７において、横方向の走査が画像の右端まで達していないか判定する。
【００４６】
ステップＳ１２０７の判定結果が真の場合はステップＳ１２０２に進み、偽の場合にはステップＳ１２０８に進む。ステップＳ１２０８では、注目画素を次の行の先頭に移動し、縦方向に走査する。次に、ステップＳ１２０９において、縦方向の走査が画像の下端まで達していないか判定する。この判定の結果が真の場合はステップＳ１２０２に進み、偽の場合にはステップＳ１２１０に進む。
【００４７】
ステップＳ１２１０においては、ステップＳ１２０３、ステップＳ１２０４の判定の結果彩度値も輝度値も閾値以内にある画素数を調べ、画素数が「０」の場合ステップＳ１２１２に進んで特徴量を(１,１,１)とする。
【００４８】
一方、ステップＳ１２１０の判定の結果が「０」でない場合、ステップＳ１２１１に進んでsumR,sumG,sumBの平均値(sumR/k,sumG/k,sumB/k)を算出し、これを特徴量(aveR,aveG,aveB)とする。
【００４９】
図１０のフローチャートの説明に戻る。
ステップＳ１００５においては、ステップＳ１００４で算出した特徴量からWB調整の補正値を算出する。ここで、前述の算出方法により補正値は(aveG/aveR,１,aveG/aveB)となる。
【００５０】
次に、ステップＳ１００６において、色補間RAWデータに画像再現処理を行なう。ステップＳ１００３でも同様に色補間RAWデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータである。
【００５１】
これに対し、ステップＳ１００６では、調整パラメータとして、ステップＳ１００４、ステップＳ１００５において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行なう。本実施形態では補正パラメータとしてWB調整パラメータについて述べているため、ステップＳ１００６では、ステップＳ１００４、ステップＳ１００５から決定されたWB調整パラメータを用いて画像再現処理を行なう。なお、WB調整パラメータ以外の調整パラメータについてステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【００５２】
以上説明したように、本発明の第１の実施形態によれば、色補間RAWデータを撮影時に撮像装置が記録した画像再現用パラメータでRAWデータを一度再現処理した画像を解析し、その結果に基づいて補正値を算出するようにしたので、より良好なWB調整パラメータを決定することが可能となる。
【００５３】
（第２の実施形態）
第２の実施形態では、画像解析を行なう領域をユーザが指定する場合に、一度色補間RAWデータ全体に画像再現処理を行い記憶領域に保持しておく。ユーザから領域指定の変更があった場合には、保持してある再現画像内の指定領域部分の画像解析を行なうことで補正処理を行なう方法を説明する。例として、色補間RAWデータを画像再現処理する際のゲイン調整の自動補正処理を説明する。なお、本実施形態では、第１の実施形態と異なる部分のみ説明する。
【００５４】
図１３に、第２の実施形態における処理手順を示す。なお、ステップＳ１００１、ステップＳ１００２の処理は、第１の実施形態で説明した図１０のフローチャートと同様のため同じ番号を付与し、説明を省略する。
【００５５】
ステップＳ１３０１においては、画像再現処理を行いこの画像再現した画像を、ステップＳ１３０３でユーザからの終了指示が入力されるまで記憶領域に保持する。
次に、ステップＳ１３０２においては、ユーザからの入力の有無を判定する。この判定結果が真ならステップＳ１３０３に進み、偽ならステップＳ１３０２にて待機する。ユーザからの入力方法としては、例えばキーボードやマウスがあり、これらを用いたユーザの操作を検出することで入力判定を行なう。
【００５６】
次に、ステップＳ１３０３において、ユーザからの入力が終了指定かどうかを判定する。この判定結果が偽ならステップＳ１３０４に進む。また、真ならステップＳ１３０９に進んで、ステップＳ１３０１で保持した再現画像を消去し、処理を終了する。本実施形態における終了処理とは、例えば対象としている画像ファイルに対する処理を終了する場合である。
【００５７】
一方、ステップＳ１３０４に進んだ場合、ユーザからの入力が領域指定かどうかの判定を行なう。この判定結果が真ならステップＳ１３０５に進み、偽ならステップＳ１３０２に進む。ここで、ユーザの領域指定は、例えばＵＩ上の画像に矩形領域を表示させることにより指定させ、矩形領域への指示が行われたかどうかで判定を行なう。
【００５８】
また、ユーザの領域指定が確認された場合、ユーザが指定する領域の位置情報を取得する。ここで位置情報とは、例えば図６に示すように指定領域の左上の座標値(Lx,Ly)と右下の座標値(Rx,Ry)とする。
【００５９】
なお、ＵＩ上の画像に表示させる指定領域としては矩形領域でなくてもよい。円形などの画像内の領域を表現できる形であればよい。また、領域指定方法についても、キーボードから数値を入力する方法を用いてもよい。例えば円形であれば中心の座標と半径の画素数で領域を指定できる。
【００６０】
ステップＳ１３０５において、ゲイン調整の補正に用いる特徴量を算出する。ステップＳ１３０４で指定した領域と対応するステップＳ１３０１で保持した再現画像における領域から算出する。特徴量としては領域内の平均輝度値を算出する。
【００６１】
以下で、図１４の特徴量を算出する流れを示すフローチャートを参照しながら、特徴量の算出方法を詳細に説明する。
ステップＳ１４０１において、特徴量算出に必要となる変数の初期化を行なう。各変数の説明を以下に示す。「x,y：走査開始画素」、「i,j：横方向、縦方向の走査回数」、「P(x,y)：再現画像の画素」、「P'(x,y)：色補間RAWデータの画素」、「Y(x,y)：再現画像中の注目画素の輝度値」、「Width：横方向の走査数」、「Height：縦方向の走査数」、「sumY：再現画像内の指定領域における輝度値の合計値」とする。
【００６２】
ここで、図６において指定領域の走査について説明する。走査の開始地点は指定領域の左上の画素よりx,yの初期値は(x,y)=(Lx,Ly)となる。また、横方向、縦方向の走査数は「Rx-Lx、Ry-Ly」より、WidthとHeightの初期値はWidth=Rx-Lx、Height＝Ry-Lyとなる。「sumY、i,j」についてはそれぞれ「０」を初期値とする。
【００６３】
ステップＳ１４０２において、再現画像内の注目する画素の輝度値を算出する。算出方法については第１の実施形態で述べているので省略する。
次に、ステップＳ１４０３において、ステップＳ１４０２で算出した輝度値YをsumYに加算する。
【００６４】
次に、ステップＳ１４０４において、注目画素を横方向に走査する。
次に、ステップＳ１４０５において、横方向の走査が指定領域の右端まで達していないか判定する。この判定結果が真の場合はステップＳ１４０２に進み、偽の場合にはステップＳ１４０６に進む。
【００６５】
ステップＳ１４０６においては、注目画素を次の行の先頭に移動し、縦方向に走査する。次に、ステップＳ１４０７においては、縦方向の走査が指定領域の下端まで達していないか判定する。この判定結果が真の場合はステップＳ１４０２に進み、偽の場合にはステップＳ１４０８に進む。ステップＳ１４０８においては、特徴量として指定領域内の平均輝度(sumY/Width*Height)を算出する。
【００６６】
以下、図１３のフローチャートの説明に戻る。
ステップＳ１３０６においては、ステップＳ１３０５で算出した特徴量からゲイン調整パラメータを決定する。調整パラメータの決定方法としては、例えば図５に示すような平均輝度と調整パラメータの対応表を予め用意しておき、これを参照することで調整パラメータを決定する。なお、ここで示す「パラメータ-２〜+２」は、第１の実施形態のゲイン調整で説明した調整量と同様のものである。なお、図５で示した対応関係は一例であって、他の対応関係であってもよい。
【００６７】
次に、ステップＳ１３０７において、色補間RAWデータに画像再現処理を行なう。ステップＳ１３０１でも同様に色補間RAWデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータである。
【００６８】
これに対し、ステップＳ１３０７では、調整パラメータとして、ステップＳ１３０５、ステップＳ１３０６において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行なう。
【００６９】
本実施形態では補正パラメータとしてゲイン調整パラメータについて述べているため、ステップＳ１３０７では、ステップＳ１３０５、ステップＳ１３０６から決定されたゲイン調整パラメータを用いて画像再現処理を行なう。なお、ゲイン調整パラメータ以外の調整パラメータについてステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【００７０】
次に、ステップＳ１３０８において、ステップＳ１３０７で処理した再現画像をユーザの結果確認用に表示する。その後、ステップＳ１３０２に進み、再びユーザからの入力判定処理を行なう。
【００７１】
以上説明したように、本発明の第２の実施形態では、第１の実施形態の構成に加えて、ユーザからの解析領域の指定を伴う構成であり、色補間RAWデータを再現処理した画像を記憶領域に保持しておくようにしている。このため、指定領域が変更された場合にも、その都度色補間RAWデータの再現処理を行なうことなく補正パラメータを決定することができる。なお、本実施形態では、補正パラメータとしてゲイン調整パラメータを一例として説明した。
【００７２】
（第３の実施形態）
前述した第２の実施形態では、ユーザの領域指定を伴う自動補正において、撮像装置が記録した調整パラメータでRAWデータを画像再現処理し、再現処理後の画像を保持する方法をゲイン調整パラメータを例にとり説明した。第３の実施形態ではWB調整パラメータを例にとり説明する。なお、本実施形態では、第１及び第２の実施形態と異なる部分についてのみ説明を行なう。
【００７３】
図１５に、第３の実施形態における処理手順を示す。なお、ステップＳ１００１、ステップＳ１００２、ステップＳ１００５、ステップＳ１００６の処理は第１の実施形態の図１０と同様のため、また、ステップＳ１３０１〜ステップＳ１３０４、ステップＳ１３０８の処理は第２の実施形態の図１３と同様のため同じ番号を付与し、説明を省略する。
【００７４】
ステップＳ１５０１において、WB調整の補正に用いる特徴量を算出する。この特徴量の算出処理は、ステップＳ１３０４で指定した領域の位置情報、ステップＳ１３０１で保持した再現画像、ステップＳ１００２で取得した色補間RAWデータから特徴量を算出する。このステップＳ１５０１の処理は第１の実施形態のステップＳ１００４と似ている。
【００７５】
しかしながら、ステップＳ１００４では再現画像全体を解析して輝度値と彩度値の判定を行なうのに対して、ステップＳ１５０１では再現画像内の指定領域部分だけを解析して輝度値と彩度値の判定を行なう点で異なる。
【００７６】
図１６に、ステップＳ１５０１で行なう特徴量の算出処理手順を示す。なお、ステップＳ１２０２〜ステップＳ１２０５、ステップＳ１２１０〜ステップＳ１２１２の処理は、第１の実施形態の図１２と同様である。また、ステップＳ１４０４〜ステップＳ１４０７の処理は図１４と同様であるため同じ番号を付与し、説明を省略する。
【００７７】
ステップＳ１６０１において、sumR,sumG,sumBは輝度値、彩度値の判定より抽出した画素に対応する色補間RAWデータの画素値の合算値、kは判定で抽出した画素を数えるカウンタである。
【００７８】
この他特徴量算出に用いる変数としては、「x,y：走査開始画素」、「i,j：横方向、縦方向の走査回数」、「P(x,y)：再現画像の画素」、「P'(x,y)：色補間RAWデータの画素」、「Y(x,y)：再現画像中の注目画素の輝度値」、「Width：横方向の走査数」、「Height：縦方向の走査数」である。なお、sumR,sumG,sumBの初期値はsumR=sumG=sumB=０とし、x,y,Width,Heightの初期値については第２の実施形態のステップＳ１４０１で設定した値と同じ値とする。
【００７９】
図１６におけるステップＳ１２０２〜ステップＳ１２０５、ステップＳ１２１０〜ステップＳ１２１２の処理は第１の実施形態の図１２と同様の処理である。また、ステップＳ１４０４〜ステップＳ１４０７までの処理は、第２の実施形態の図１４と同様の処理となるため、同じ番号を付与して説明を省略する。
【００８０】
以上説明したように、本発明の第３の実施形態では、第１の実施形態に加えユーザからの解析領域の指定を伴う構成であり、色補間RAWデータを再現処理した画像を記憶領域に保持しておく。このため、指定領域が変更された場合にも、その都度色補間RAWデータの再現処理を行なうことなく補正パラメータを決定することができる。本実施形態では補正パラメータとしてWB調整パラメータを一例にして説明した。
【００８１】
（第４の実施形態）
第４の実施形態では、画像解析を行なう領域をユーザが指定する自動補正において、色補間RAWデータに画像再現処理を行なう際、画像全体に対して再現処理を行なうのではなく、指定領域だけに対して再現処理を行なう方法を説明する。なお、本実施形態では、第１〜第３の実施形態と異なる部分についてのみ説明を行なう。
【００８２】
図１７に、第４の実施形態における処理手順を示す。なお、図１７のフローチャートにおいて、ステップＳ１００１及びステップＳ１００２の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０２〜ステップＳ１３０４、ステップＳ１３０６〜ステップＳ１３０８の処理は第２の実施形態の図１３と同様であるため同じ番号を付与し、説明を省略する。
【００８３】
前述した第２の実施形態及び第３の実施形態では、一度色補間RAWデータ全体を再現処理する。そして、領域の指定があった場合にはこの再現画像における指定領域部分を参照して補正パラメータを決定するようにしていた。
【００８４】
これに対し、第４の実施形態では、色補間RAWデータにおける指定領域部分のみを再現処理し、この再現画像を用いて補正パラメータを決定するようにしている。そして、第４の実施形態では、ステップＳ１００２の処理の後、ユーザから指定された領域部分だけについて画像再現処理を行なう。
【００８５】
ステップＳ１００２の処理後、ユーザからの解析領域の指定を受けつける。ステップＳ１３０２でユーザからの入力判定を行い、ステップＳ１３０３で入力が終了指定かどうかの判定を行い、更にステップＳ１３０４で入力が領域指定を示すものかどうかの判定を行なう。
【００８６】
ステップＳ１７０１において、色補間RAWデータのうちステップＳ１３０４で取得した指定領域部分だけを再現処理する。例えば、指定領域が((Lx,Ly)、(Rx,Ry))の場合、色補間RAWデータ中で(Lx,Ly)を画像データの左上の画素とし、この画素を横方向に長さRx-Lx分の走査、縦方向に長さRy-Ly分走査することで、色補間RAWデータの中で指定された領域部分だけを走査して画像再現処理を行なう。
【００８７】
ステップＳ１７０２において、ゲイン調整の補正に用いる特徴量をステップＳ１７０１で再現画像から算出する。特徴量としては領域内の平均輝度値を算出する。
【００８８】
図１８に特徴量を算出する手順の流れを示す。
先ず、ステップＳ１８０１において、特徴量算出に必要となる変数の初期化を行なう。各変数の説明を以下に示す。「x,y：画素を走査する際の変数」、「P(x,y)：再現画像の画素」、「P'(x,y)：色補間RAWデータの画素」、「Y(x,y)：再現画像中の注目画素の輝度値」、「Width：横方向の走査数」、「Height：縦方向の走査数」、「sumY：再現画像内の指定領域における輝度値の合計値」とする。
【００８９】
「x,y」の初期値については、指定領域だけ再現処理されている画像を走査するため、「x=０,y=０」となる。その他の変数の初期値については第２の実施形態ステップＳ１４０１で設定した値と同じ値とする。
【００９０】
図１８のフローチャートにおいて、ステップＳ１４０２及びステップＳ１４０２、ステップＳ１４０８の処理は第２の実施形態で説明した図１４のフローチャートと同様である。また、ステップＳ１２０６〜ステップＳ１２０９の処理は図１２のフローチャートと同様であるため同じ番号を付与し、説明を省略する。
【００９１】
第１の実施形態で色補間RAWデータ全体を再現処理していたのに対し、本発明の第４の実施形態はRAWデータ内の指定領域部分だけを再現処理する点で異なる。このため、指定領域が変更された場合にも、その都度色補間RAWデータ全体の再現処理を行なうことなく補正パラメータを決定することができ、処理時間を短縮できる。なお、本実施形態では、補正パラメータとしてゲイン調整パラメータを一例として説明した。
【００９２】
（第５の実施形態）
前記第４の実施形態では、ユーザの領域指定を伴う自動補正において、指定領域だけを再現処理する方法をゲイン調整パラメータを例にとり説明した。第５の実施形態では、WB調整パラメータを例にとり説明する。なお、本実施形態では、第１〜第４の実施形態と異なる部分についてのみ説明を行なう。
【００９３】
図１９のフローチャートに、第５の実施形態における処理手順を示す。なお、図１９において、ステップＳ１００１、ステップＳ１００２、ステップＳ１００５及びステップＳ１００６の処理は、前述した第１の実施形態の図１０で説明した処理と同様である。また、ステップＳ１３０２〜ステップＳ１３０４、ステップＳ１３０８の処理は、第２の実施形態の図１３と同様である。また、ステップＳ１７０１の処理は第４の実施形態の図１７と同様であるため、これらのステップ番号は同じ番号を付与し、説明を省略する。
【００９４】
前述した第２の実施形態及び第３の実施形態では、一度色補間RAWデータ全体を再現処理する。そして、領域の指定があった場合にはこの再現画像における指定領域部分を参照して補正パラメータを決定するようにしていた。これに対して、第５の実施形態では、色補間RAWデータにおける指定領域部分のみを再現処理し、この再現画像を用いて補正パラメータを決定するようにしている。
【００９５】
図１９において、ステップＳ１００１〜ステップＳ１７０１の処理が終わると、ステップＳ１９０１において、WB調整の補正に用いる特徴量を算出する。これは、ステップＳ１３０４で指定した領域の位置情報、ステップＳ１７０１で保持した再現画像、ステップＳ１００２で取得したRAWデータから特徴量を算出する。
【００９６】
特徴量を算出する手順を説明するフローチャートを図２０に示す。
先ず、ステップＳ２００１において、特徴量抽出に必要となる変数の初期化を行なう。初期する変数については第１の実施形態のステップＳ１００４で説明したためここでは省略する。ただし、第５の実施形態では、指定領域部分のみの再現画像となるため、再現画像と色補間RAWデータにおける座標系が図７に示すように異なる。
【００９７】
そのため、それぞれの画素は以下のように、「P(x,y)：再現画像の画素」、「P'(Lx+x,Ly+y)：色補間RAWデータの画素」と表す。また、Width,Heightについては、ステップＳ１３０４で指定した領域の幅と高さであるため、Width=Rx-Lx、Height＝Ry-Lyとなる。なお、図２０におけるステップＳ１２０２〜ステップＳ１２１１までの処理は、第１の実施形態の図１２と同様であるため、同じ番号を付与し、説明を省略する。
【００９８】
第１の実施形態で、色補間RAWデータ全体を再現処理していたのに対し、本発明の第５の実施形態は、RAWデータ内の指定領域部分だけを再現処理する点で異なる。このため、指定領域が変更された場合にも、その都度色補間RAWデータ全体の再現処理を行なうことなく補正パラメータを決定することができ、処理時間を短縮できる。本実施形態では補正パラメータとしてWB調整パラメータを例にとり説明した。
【００９９】
（第６の実施形態）
第６の実施形態では、画像解析を行なう領域をユーザが指定する自動補正において、色補間RAWデータに画像再現処理を反復して行なう際、前回指定された領域の位置情報と、特徴量を保持することにより、指定領域が変更された際に補正パラメータ決定処理を高速に行なう方法を説明する。なお、本実施形態では、第１〜第５の実施形態と異なる部分についてのみ説明を行なう。
【０１００】
第６の実施形態における特有の処理手順を図２１に示す。なお、ステップＳ１００１、ステップＳ１００２の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０１〜ステップＳ１３０４、ステップＳ１３０６〜ステップＳ１３０９の処理は第２の実施形態の図１３と同様である。したがって、これらのステップには同じ番号を付与し、説明を省略する。
【０１０１】
第６の実施形態では、指定領域が変更された場合、変更前後の差分領域を検知し、差分領域部分だけから特徴量を算出する。前回指定した領域における特徴量を保持しておき、これに差分領域部分の特徴量を加算もしくは減算することにより、現在指定している領域における特徴量を算出する。
【０１０２】
例えば、図８のような領域変更が起こった場合には、aは変更前の領域から減少した領域、bは変更前後で変わらない領域、cは変更前の領域から増加した領域である。そのため、変更後の特徴量は、
(変更後の特徴量)＝
(変更前の領域における特徴量)−(a領域における特徴量)＋(c領域における特徴量)
で算出することができる。
【０１０３】
このため、変更前の領域における特徴量を保持しておけば、a領域の特徴量とb領域の特徴量だけを算出すれば、現在指定する領域の特徴量が算出できる。このような方法で特徴量を算出する処理の詳細な説明を以下で述べる。
【０１０４】
図２１のフローチャートにおいて、ステップＳ１００１〜ステップＳ１３０４の処理が終わると、次に、ステップＳ２１０１において、領域指定が一回目かどうか判定する。この判定が真の場合は、ステップＳ２１０６に進む。この場合、前回指定領域の保持がないため、第２の実施形態のステップＳ１３０５の説明で示したように、指定領域内の輝度値の平均値を算出する。
【０１０５】
一方、ステップＳ２１０１の判定が偽の場合はステップＳ２１０２に進む。ステップＳ２１０２、ステップＳ２１０３においては、領域指定前後の差分領域における特徴量を算出する。指定領域の変更状態としては、図９のＡ〜Ｄに示す４通りが基本となる。このような領域変更に伴う差分領域を検出するためには、図９の（１）〜（９）の斜線領域を考慮する必要がある。
【０１０６】
これらの領域の位置情報は図８で示した座標の移動を例にすると、以下のように表せる。
（１）( (min(L１x,L２x) , min(L１y,L２y)) , (max(L１x,L２x) , max(L１y,L２y)) )
（２）( (min(L１x,L２x) , max(L１y,L２y)) , (max(L１x,L２x) , min(R１y,R２y)) )
（３）( (min(L１x,L２x) , min(R１y,R２y)) , (max(L１x,L２x) , max(R１y,R２y)) )
（４）( (max(L１x,L２x) , min(R１y,R２y)) , (min(R１x,R２x) , max(L１y,L２y)) )
（５）( (max(L１x,L２x) , max(R１y,R２y)) , (min(R１x,R２x) , min(L１y,L２y)) )
（６）( (max(L１x,L２x) , min(R１y,R２y)) , (min(R１x,R２x) , max(R１y,R２y)) )
（７）( (min(R１x,R２x) , min(L１y,L２y)) , (max(R１x,R２x) , max(L１y,L２y)) )
（８）( (min(R１x,R２x) , max(L１y,L２y)) , (max(R１x,R２x) , min(R１y,R２y)) )
（９）( (min(R１x,R２x) , min(L１y,L２y)) , (max(R１x,R２x) , max(R１y,R２y)) )
【０１０７】
ここで、（５）は重なり領域、（２）、（４）、（６）、（８）は差分領域となる。また、（１）、（３）、（７）、（９）については先のＡ〜Ｄの４通りの変更状態により、差分領域となる場合とならない場合がある領域である。
【０１０８】
ステップＳ２１０２で、前記（５）の領域以外のそれぞれの領域毎に、特徴量として領域内の輝度合算値を算出する。この際、各領域が増加領域の場合にはそれぞれの領域内の輝度合算値の符号をプラスにし、減少領域の場合には符号をマイナスにする。各領域の増減の判定方法としては、（１）の領域については、「L１x=<L２x、かつL１y=<L２y：増加領域」、「L２x=<L１x、かつL２y=<L１y：減少領域」とする。
【０１０９】
（２）の領域については、「L１x=<L２x：減少領域」、「L１x>L２x：増加領域」とする。
（３）の領域については、「L２x=<L１x、かつR２y>=R１y：増加領域」、「L２x>L１xかつ、R２y<R１y：減少領域」とする。
（４）の領域については、「L１y=<L２y：増加領域」、「L１y>L２y：減少領域」とする。
（６）の領域については、「R１y=<R２y：増加領域」、「R１y>R２y：減少領域」とする。
（７）の領域については、「R１x=<R２x、かつL１y=<L２y：増加領域」、「R２x=<R１x、かつL２y=<L１y：減少領域」とする。
（８）の領域については、「R１x=<R２x：増加領域」、「R１x>R２x：減少領域」とする。
（９）の領域については、「R１x=<R２xかつR１y=<R２y：増加領域」、「R１x>R２xかつR１y>R２y：減少領域」とする。
【０１１０】
以上の判定を基に各領域における特徴量の符号を決定する。なお、（１）、（３）、（７）、（９）の領域については前記で示す範囲にあてはまらない場合は差分領域ではないので、輝度値の合算値は算出しない。また、輝度値の合算値の算出方法については第２の実施形態のステップＳ１４０１〜S１４０８と同様でよい。
【０１１１】
次に、ステップＳ２１０３において、ステップＳ２１０２で算出した各領域における輝度値の合算値を加算して差分領域全体の輝度値の合算値を算出する。
次に、ステップＳ２１０４において、前回指定した領域における輝度値の合算値にステップＳ２１０３で算出した差分領域全体の輝度値の合算値を加算し、現在指定している領域における輝度値の合算値を算出する。更にステップＳ１７０２にてこの輝度値の合算値と指定領域の画素数から輝度値の平均値を算出する。なお、現在指定している領域の画素数については、ステップＳ１３０４で取得した指定領域の位置情報から算出する。
【０１１２】
次に、ステップＳ１３０６において、ステップＳ１７０２あるいはステップＳ２１０６で算出した輝度値の平均値からゲイン調整パラメータを決定する。
次に、ステップＳ１３０７において、色補間RAWデータに画像再現処理を行なう。ステップＳ１３０１でも同様に色補間RAWデータに画像再現処理を行なったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータであった。
【０１１３】
これに対し、ステップＳ１３０７では、調整パラメータとして、ステップＳ２１０１〜ステップＳ１３０６において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行なう。本実施形態では補正パラメータとしてゲイン調整パラメータについて述べているため、ステップＳ１３０７ではステップＳ１３０６で決定されたゲイン調整パラメータを用いて画像再現処理を行なう。そして、画像再現処理後の画像をステップＳ１３０８で表示する。なお、ゲイン調整パラメータ以外の調整パラメータについて、ステップＳ１００２で取得した撮影時の画像再現用パラメータを用いることができる。
【０１１４】
次に、ステップＳ２１０５において、現在の指定領域における位置情報と、輝度値の合計値を記憶領域に保持する。
【０１１５】
なお、第６の実施形態においては、RAWデータ全体を画像再現処理してからユーザの領域指定処理を行なう構成で説明したが、第３及び第４の実施形態のように、ユーザの領域指定処理を行ってから、指定領域部分のみを画像再現する構成としてもよい。この構成とする場合、一度目の領域指定の際にはRAWデータ全体を画像再現するが、その後の領域指定については、前回指定領域との差分領域部分のRAWデータのみ再現処理すればよい。
【０１１６】
以上説明したように、本発明の第６の実施形態によれば、ユーザからの解析領域の指定を伴う自動補正において、指定された領域の位置情報と、その領域における特徴量(実施形態では輝度値の合算値)を保持しておき、領域変更があった場合には差分領域だけの特徴量を算出する。そのため、画像を参照する領域が削除できるので、補正パラメータを決定する処理時間を短縮でき、結果として素早く補正結果をユーザに提示できる。
【０１１７】
（第７の実施形態）
前述した第６の実施形態では、画像解析を行なう領域をユーザが指定する自動補正において、補正パラメータとしてゲイン調整パラメータを例として、前回指定された領域の位置情報と、特徴量を保持することにより、指定領域が変更された際に補正パラメータ決定処理を高速に行なう方法を説明した。第７の実施形態では補正パラメータとしてWB調整パラメータを例にとり説明を行なう。なお、本実施形態では、第１〜第６の実施形態と異なる部分についてのみ説明を行なう。
【０１１８】
第７の実施形態における処理手順を図２２に示す。なお、ステップＳ１００１、ステップＳ１００２、ステップＳ１００５、ステップＳ１００６の処理は第１の実施形態の図１０と同様である。また、ステップＳ１３０１〜ステップＳ１３０４、ステップＳ１３０８の処理は第２の実施形態の図１３と同様である。また、ステップＳ２１０１の処理は第６の実施形態の図２１と同様であるため、これらの処理については同じ番号を付与し、説明する。
【０１１９】
図２２に示したように、ステップＳ１００１〜ステップＳ２１０１の処理が終わると、ステップＳ２２０１において、領域変更前後の各差分領域毎に、色補間RAWデータにおけるRGB値の合計値を算出する。なお、ここでも、第１の実施形態で説明した「WB調整の補正値を決定するのに用いる画素」をステップＳ１３０１で再現処理した画像から検出し、検出した画素の位置に対応する色補間RAWデータのRGB値を参照する。また、差分領域の位置情報の求め方については第６の実施形態で説明したためここでは省略する。また、領域指定が一回目の場合は、ステップＳ２２０５に進み、この場合、指定領域内のRGB値の合算値を算出する。
【０１２０】
次に、ステップＳ２２０２において、ステップＳ２２０１で算出した各差分領域のRGB値の合算値を加算し、差分領域全体のRGB値の合算値を算出する。
【０１２１】
次に、ステップＳ２２０３において、前回指定した領域におけるRGB値の合算値にステップＳ２２０２で算出した差分領域全体のRGB値の合算値を加算し、現在指定している領域におけるRGB値の合算値を算出する。更に、このRGB値の合算値と指定領域の画素数からRGB値それぞれの平均値を算出する。なお、現在指定している領域の画素数については、ステップＳ１３０４で取得した指定領域の位置情報から算出する。
【０１２２】
次に、ステップＳ１００５において、ステップＳ２２０３あるいはステップＳ２２０５で算出したRGB値それぞれの平均値からWB調整パラメータを決定する。
次に、ステップＳ１００６において、色補間RAWデータに画像再現処理を行なう。ステップＳ１３０１でも同様に色補間RAWデータに画像再現処理を行ったが、各調整で用いた調整パラメータは、撮像装置で撮影時に記録されたパラメータであった。
【０１２３】
これに対し、ステップＳ１００６では、調整パラメータとして、ステップＳ２２０１〜ステップＳ１００５において撮像装置が記録したパラメータを補正した補正パラメータを用いて再現処理を行なう。本実施形態では、補正パラメータとしてWB調整パラメータについて述べているため、ステップＳ１００６では、ステップＳ１００５で決定されたWB調整パラメータを用いて画像再現処理を行なう。なお、WB調整パラメータ以外の調整パラメータについてステップＳ１００２で取得した撮影時の画像再現用パラメータを用いる。
【０１２４】
次に、ステップＳ１３０８において、ステップＳ１００６で処理した再現画像をユーザの結果確認用に表示する。
次に、ステップＳ２２０４において、現在の指定領域における位置情報と、RGBそれぞれの合計値を記憶領域に保持する。
【０１２５】
なお、第７の実施形態においては、RAWデータ全体を画像再現処理してからユーザの領域指定処理を行なう構成で説明したが、第３の実施形態及び第４の実施形態のように、ユーザの領域指定処理を行ってから、指定領域部分のみを画像再現する構成としてもよい。このような構成とする場合、一度目の領域指定の際にはRAWデータ全体を画像再現するが、その後の領域指定については、前回指定領域との差分領域部分のRAWデータのみ再現処理すればよい。
【０１２６】
以上説明したように、本発明の第７の実施形態によれば、ユーザからの解析領域の指定を伴う自動補正において、指定された領域の位置情報と、その領域における特徴量(実施形態ではRGBそれぞれの値の合算値)を保持しておき、領域変更があった場合には差分領域だけの特徴量を算出する。そのため、画像を参照する領域が削除できるので、補正パラメータを決定する処理時間を短縮でき、結果として素早く補正結果をユーザに提示できる。
【０１２７】
（本発明に係る他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。この他に、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づいて行なわれる機能も含む。例えば、前記機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３０】
【図１】本発明の実施形態を示し、データ処理装置の構成を示すブロック図である。
【図２】第１〜第７の実施形態による、画像再現処理を行なう対象となる画像データのファイルフォーマットの一例を示す図である。
【図３】Bayer配列を示す図である。
【図４】WB調整処理を説明する際の図である。
【図５】平均輝度とゲイン調整パラメータの対応表の一例を示した図である。
【図６】指定領域の走査方法に関する図である。
【図７】RAW画像の座標系と指定領域再現画像の座標系の関係を表した図である。
【図８】領域変更前後における差分領域、重なり領域について示した図である。
【図９】変更前後における各領域の位置関係を示した図である。
【図１０】第１の実施形態における画像処理手順を示したフローチャートである。
【図１１】第１の実施形態における画像調整処理手順を示したフローチャートである。
【図１２】第１の実施形態における特徴量を算出する手順を示したフローチャートである。
【図１３】第２の実施形態における画像処理手順を示したフローチャートである。
【図１４】第２の実施形態における特徴量を算出する手順を示したフローチャートである。
【図１５】第３の実施形態における画像処理手順を示したフローチャートである。
【図１６】第３の実施形態における特徴量を算出する手順を示したフローチャートである。
【図１７】第４の実施形態における画像処理手順を示したフローチャートである。
【図１８】第４の実施形態における特徴量を算出する手順を示したフローチャートである。
【図１９】第５の実施形態における画像処理手順を示したフローチャートである。
【図２０】第５の実施形態における特徴量を算出する手順を示したフローチャートである。
【図２１】第６の実施形態における画像処理手順を示したフローチャートである。
【図２２】第７の実施形態における画像処理手順を示したフローチャートである。
【符号の説明】
【０１３１】
１００  読込部
１０１  入力部
１０２  蓄積部
１０３  表示部
１０４  ＣＰＵ
１０５  ＲＯＭ
１０６  ＲＡＭ
【図１】
2007184867.tif 000006
【図２】
2007184867.tif 000007
【図３】
2007184867.tif 000008
【図４】
2007184867.tif 000009
【図５】
2007184867.tif 000010
【図６】
2007184867.tif 000011
【図７】
2007184867.tif 000012
【図８】
2007184867.tif 000013
【図９】
2007184867.tif 000014
【図１０】
2007184867.tif 000015
【図１１】
2007184867.tif 000016
【図１２】
2007184867.tif 000017
【図１３】
2007184867.tif 000018
【図１４】
2007184867.tif 000019
【図１５】
2007184867.tif 000020
【図１６】
2007184867.tif 000021
【図１７】
2007184867.tif 000022
【図１８】
2007184867.tif 000023
【図１９】
2007184867.tif 000024
【図２０】
2007184867.tif 000025
【図２１】
2007184867.tif 000026
【図２２】
2007184867.tif 000027