【手続補正書】
【提出日】平成24年4月9日(2012.4.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影パラメータを取得する第一の取得手段と、
撮像デバイスが前記撮影パラメータを使用して撮影した撮影画像データを入力する入力手段と、
前記撮影パラメータから得られる前記撮像デバイスの光学伝達関数、および、前記撮影パラメータに依存する前記撮影画像データのノイズ量に基づき決まる、前記撮影画像データが表す撮影画像の暈けを補正するための補正データを取得する第二の取得手段とを有し、
前記ノイズ量が多い場合の前記補正データによる補正の度合いは、前記ノイズ量が少ない場合の前記補正データによる補正の度合いよりも小さいことを特徴とする画像処理装置。
【請求項２】
さらに、前記補正データに基づく暈け補正を前記撮影画像に施す補正手段を有することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記第二の取得手段は、前記撮影画像の暈けを補正するために、前記撮影画像の各画素の補正データを取得することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
前記第二の取得手段は、前記撮影画像に含まれるノイズ量を計算する計算手段を有することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項５】
前記入力手段は、さらに、前記撮像デバイスに光が入力しない状態において前記撮像デバイスが出力するダーク画像データを入力し、
前記計算手段は、前記ダーク画像データから得られるノイズ量を前記撮影パラメータに基づき補正して、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項4に記載された画像処理装置。
【請求項６】
さらに、前記撮像デバイスの受光面に光が当った場合に発生するノイズ量を記憶する記憶手段を有し、
前記入力手段は、さらに、前記撮像デバイスに光が入力しない状態において前記撮像デバイスが出力するダーク画像データを入力し、
前記計算手段は、前記ダーク画像データから得られるノイズ量、並びに、前記撮影パラメータおよび注目画素の画素値に基づき前記記憶手段から得られるノイズ量から、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項4に記載された画像処理装置。
【請求項７】
前記入力手段は、さらに、前記撮像デバイスに配置された遮光された画素が出力する光学黒データを入力し、
前記計算手段は、前記光学黒データから得られるノイズ量を前記撮影パラメータに基づき補正して、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項4に記載された画像処理装置。
【請求項８】
さらに、撮影パラメータとノイズ量の対応関係を記憶する記憶手段を有し、
前記計算手段は、前記取得された撮影パラメータと前記対応関係に基づき、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項4に記載された画像処理装置。
【請求項９】
前記第二の取得手段は、前記撮影パラメータに基づく計算により前記撮影画像が含むノイズ量を取得して前記補正データを取得することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項１０】
第一および第二の取得手段、入力手段を有する画像処理装置の画像処理方法であって、
前記第一の取得手段が、撮影パラメータを取得し、
前記入力手段が、撮像デバイスが前記撮影パラメータを使用して撮影した撮影画像データを入力し、
前記第二の取得手段が、前記撮影パラメータから得られる前記撮像デバイスの光学伝達関数、および、前記撮影パラメータに依存する前記撮影画像データのノイズ量に基づき決まる、前記撮影画像データが表す撮影画像の暈けを補正するための補正データを取得し、
前記ノイズ量が多い場合の前記補正データによる補正の度合いは、前記ノイズ量が少ない場合の前記補正データによる補正の度合いよりも小さいことを特徴とする画像処理方法。
【請求項１１】
画像処理装置を請求項1から請求項9の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明にかかる画像処理は、撮影パラメータを取得し、撮像デバイスが前記撮影パラメータを使用して撮影した撮影画像データを入力し、前記撮影パラメータから得られる前記撮像デバイスの光学伝達関数、および、前記撮影パラメータに依存する前記撮影画像データのノイズ量に基づき決まる、前記撮影画像データが表す撮影画像の暈けを補正するための補正データを取得し、前記ノイズ量が多い場合の前記補正データによる補正の度合いは、前記ノイズ量が少ない場合の前記補正データによる補正の度合いよりも小さいことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
また、ストロボ発光時には、ストロボ305に近い領域302の光電変換素子のノイズも熱によって大きくなる。そのため、ダーク画像105における領域302の画素値は、ダーク画像105全体の平均画素値よりも大きな値をとる傾向がある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
次に、画像処理部121は、状態検知部131から撮影パラメータ107を取得する(S203)。撮影パラメータ107が決まると、撮像光学系101のOTFを測定またはシミュレーションによって求めることが可能である。撮影パラメータ107によって撮像光学系101のOTFが異なるため、撮像光学系101の暈けを補正するには、撮影パラメータ107の取得は必須である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
次に、画像処理部121は、詳細は後述するが、ノイズ量推定部111によりダーク画像105からノイズ量112を推定し(S204)、前処理部106により前処理を実行する(S205)。そして、暈け補正部108により、補正係数補間部113を介して取得した補正係数115を用いて、前処理後の撮影画像104の暈けを低減する処理（暈け補正）を行う(S206)。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
ところで、ISO感度の設定が高い場合、通常、撮影画像104の画素値を増幅する処理を行う。そのため、ISO感度の設定が高い状態で撮影された撮影画像104は、前処理部106または後処理部119において画素値が増幅される。撮影画像104に含まれるノイズも設定されたISO感度に応じて増幅されることになる。そのため、ダーク画像105から得た標準偏差を、単純に、撮影画像104のノイズ量とすることはできない。そこで、ダーク画像105から得た標準偏差を、設定されたISO感度に応じた所定の割合で増幅し、増幅結果を実質的なノイズ量112とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
なお、ノイズ量112として標準偏差を用いる例を示したが、画素値の分散や最大値と最小値の差などの指標も、ノイズが大きい場合に大きくなり、ノイズが小さい場合に小さくなることから、ノイズの大きさを表す指標になり得る。従って、ノイズ量112として、標準偏差に限らず、分散や最大値と最小値の差を用いてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
撮影パラメータ107、画素位置114、ノイズ量112の組み合わせは膨大であり、すべての組み合わせについて補正係数115を記憶すれば、補正係数記憶部116が記憶するデータ量は膨大になる。そこで、補正係数記憶部116は、撮影パラメータ107、画素位置114、ノイズ量112の各代表値に対応する補正係数を記憶する。従って、補正係数補間部113は、入力した撮影パラメータ107、画素位置114、ノイズ量112の組み合わせに隣接する代表値の補正係数を補正係数記憶部116から取得する。そして、それら補正係数から撮影パラメータ107、画素位置114、ノイズ量112の組み合わせに対応する補正係数115を補間演算する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
図5Aはノイズがない場合のMTFを説明する図である。図5A左は被写体のMTFであり、撮像光学系101による暈けがない場合は被写体の撮影画像も同等のMTFを示す。図5A中は撮像光学系101による暈けが加わった場合の撮影画像のMTFを示し、高周波数ほどMTFの値が小さくなる。なお、被写体として点光源を想定するため、図5A中は撮像光学系101のMTFでもある。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
図5B右は、図5B左に対応する撮影画像にWienerフィルタによる暈け補正を施した撮影画像のMTFを表す。Wienerフィルタは、撮像光学系101のMTFに対するノイズ成分の割合が大きくなる周波数域において補正の度合いを低下する。その結果、ノイズ成分の割合が大きい高周波数域において補正の度合いが小さくなり、図5B右に示す領域51cのように、ノイズの増大が抑制される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
また、低周波数域と中間周波数域において、図5B中に示すMTFは1に近付き、当該周波数域において暈けが補正される。つまり、図5B中のMTFに対応する撮影画像を得るような暈け補正は、暈け補正の効果とノイズ増大の弊害が適度にバランスしたものと言え、望ましい暈け補正である。しかし、このようなバランスを得るにはノイズ量を正確に推定する必要がある。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
また、図5C右は、図5B左に対応する撮影画像にWienerフィルタによる暈け補正を施した撮影画像のMTFを表すが、実際よりもノイズ量を大きく推定した場合を表している。つまり、実際よりもノイズ量を大きく推定したため、領域52bに示すように高周波数域におけるノイズの増加は抑制されるが、中間周波数域でのMTFが低下し、暈け補正は不充分である。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
次に、暈け補正部108は、撮影画像104の全画素を処理したか否かを判定し(S105)、未了であれば注目画素を移動して(S106)、処理をステップS101に戻す。また、全画素の処理が終了した場合は、暈け補正を終了する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
また、撮影画像104に含まれる各周波数成分の補正すべき度合いは、画素位置と撮影条件に応じて変化する。例えばノイズ量が大きい画素位置や、ISO感度の設定が高い撮影条件においてはノイズ量が大きくなり、その結果、撮影画像104の各周波数成分を補正すべき度合いは小さくなる。本実施例においては、画素位置と撮影条件により、異なるノイズ特性に対して、適応的に周波数成分の補正の度合いを変化させることで、ノイズと暈け補正の度合いのバランスを良好に保つことができる。