(57)【要約】      （修正有）【課題】固定パターンノイズが知覚されにくい動画像を生成する。【解決手段】撮像時の露出の条件に基づいてノイズの分散を導出し、ノイズの分散に応じたホワイトノイズを固定パターンノイズに重畳させたノイズ画像を生成する。固定パターンノイズマップとノイズ画像のそれぞれから、被写体の移動速度に応じて人間の視覚において感度のある空間周波数の情報を抽出して複数の空間周波数帯域ごとに分割する。複数の空間周波数帯域ごとに分割されたノイズ画像を、複数の空間周波数帯域ごとに分割された固定パターンノイズマップに基づいてマスキングした後に合成して固定パターンノイズ知覚量を算出する。【選択図】図２
2015088914.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮像した際の露出に関する条件に基づいて、当該動画像におけるノイズの特性を導出するノイズ特性導出手段と、
前記動画像における被写体の移動速度を取得する移動速度取得手段と、
前記移動速度取得手段により取得された、前記動画像における被写体の移動速度に応じた、光に対する視覚の感度を表す情報を取得する視覚特性取得手段と、
前記動画像と、前記ノイズ特性導出手段により導出されたノイズの特性と、前記視覚特性取得手段により取得された情報とに基づいて、前記動画像に含まれる固定パターンノイズに前記ノイズの特性に基づくノイズを重畳させた場合の当該固定パターンノイズの知覚のされやすさを評価した値である固定パターンノイズ知覚量を導出する固定パターンノイズ知覚量導出手段と、
前記固定パターンノイズ知覚量導出手段により導出された固定パターンノイズ知覚量に基づいて、前記動画像に含まれるノイズを低減するノイズ低減手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記固定パターンノイズ知覚量導出手段は、
前記固定パターンノイズに対して、前記ノイズ特性導出手段により導出された特性のノイズが重畳された画像であるノイズ画像を生成するノイズ画像生成手段と、
前記固定パターンノイズを表す固定パターンノイズ画像と前記ノイズ画像とを、それぞれ空間周波数の関数に変換する変換手段と、
前記空間周波数の関数に変換された前記固定パターンノイズ画像と前記ノイズ画像とに対して、コントラスト感度と空間周波数との関係を表す空間視覚特性をそれぞれ乗算する空間視覚特性乗算手段と、
前記空間視覚特性が乗算された前記固定パターンノイズ画像と前記ノイズ画像とを、を、それぞれ空間周波数帯域ごとに分割する帯域分割手段と、
前記空間周波数ごとに分割された固定パターンノイズ画像と、前記空間周波数帯域ごとに分割されたノイズ画像とに基づいて、前記空間周波数帯域のごとの前記固定パターンノイズ知覚量である部分ノイズ知覚量を算出する部分ノイズ知覚量算出手段と、
前記部分ノイズ知覚量算出手段により算出された部分ノイズ知覚量を合成して前記固定パターンノイズ知覚量を算出する固定パターンノイズ知覚量算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記帯域分割手段は、空間周波数の特性が、空間周波数領域における円周方向の特性と半径方向の特性との結合で定義される帯域分割フィルタ、もしくは、空間周波数の特性が、空間周波数領域における縦方向の特性と横方向の特性との結合で定義される帯域分割フィルタを用いて、前記固定パターンノイズ画像と前記ノイズ画像を、空間周波数帯域ごとに分割することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記移動速度取得手段は、前記動画像が撮像された際の撮像装置の角速度に基づいて、、前記動画像における被写体の移動速度を導出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記移動速度取得手段は、前記動画像における動きベクトルを導出し、導出した動きベクトルに基づいて、前記動画像における被写体の移動速度を導出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項６】
前記ノイズ低減手段は、
前記固定パターンノイズ知覚量導出手段により導出された固定パターンノイズ知覚量に基づいて、前記動画像に含まれるノイズを低減するためのフィルタに対するゲインを導出するノイズリダクション制御手段と、
前記ノイズリダクション制御手段により導出されたゲインを前記フィルタのフィルタ係数に乗算し、前記ゲインを乗算したフィルタ係数に基づいて、前記動画像に含まれるノイズを低減する処理を行うノイズリダクション処理手段と、を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記ノイズ低減手段は、
前記固定パターンノイズ知覚量導出手段により導出された固定パターンノイズ知覚量に基づいて、前記動画像におけるカットオフ周波数を導出するノイズリダクション制御手段と、
前記ノイズリダクション制御手段により導出されたカットオフ周波数に基づいて、前記動画像に含まれるノイズを低減する処理を行うノイズリダクション処理手段と、を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
動画像を撮像した際の露出に関する条件に基づいて、当該動画像におけるノイズの特性を導出するノイズ特性導出工程と、
前記動画像における被写体の移動速度を取得する移動速度取得工程と、
前記移動速度取得工程により取得された、前記動画像における被写体の移動速度に応じた、光に対する視覚の感度を表す情報を取得する視覚特性取得工程と、
前記動画像と、前記ノイズ特性導出工程により導出されたノイズの特性と、前記視覚特性取得工程により取得された情報とに基づいて、前記動画像に含まれる固定パターンノイズに前記ノイズの特性に基づくノイズを重畳させた場合の当該固定パターンノイズの知覚のされやすさを評価した値である固定パターンノイズ知覚量を導出する固定パターンノイズ知覚量導出工程と、
前記固定パターンノイズ知覚量導出工程により導出された固定パターンノイズ知覚量に基づいて、前記動画像に含まれるノイズを低減するノイズ低減工程と、を有することを特徴とする画像処理方法。
【請求項９】
前記固定パターンノイズ知覚量導出工程は、
前記固定パターンノイズに対して、前記ノイズ特性導出工程により導出された特性のノイズが重畳された画像であるノイズ画像を生成するノイズ画像生成工程と、
前記固定パターンノイズを表す固定パターンノイズ画像と前記ノイズ画像とを、それぞれ空間周波数の関数に変換する変換工程と、
前記空間周波数の関数に変換された前記固定パターンノイズ画像と前記ノイズ画像とに対して、コントラスト感度と空間周波数との関係を表す空間視覚特性をそれぞれ乗算する空間視覚特性乗算工程と、
前記空間視覚特性が乗算された前記固定パターンノイズ画像と前記ノイズ画像とを、を、それぞれ空間周波数帯域ごとに分割する帯域分割工程と、
前記空間周波数ごとに分割された固定パターンノイズ画像と、前記空間周波数帯域ごとに分割されたノイズ画像とに基づいて、前記空間周波数帯域のごとの前記固定パターンノイズ知覚量である部分ノイズ知覚量を算出する部分ノイズ知覚量算出工程と、
前記部分ノイズ知覚量算出工程により算出された部分ノイズ知覚量を合成して前記固定パターンノイズ知覚量を算出する固定パターンノイズ知覚量算出工程と、
を有することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記帯域分割工程は、空間周波数の特性が、空間周波数領域における円周方向の特性と半径方向の特性との結合で定義される帯域分割フィルタ、もしくは、空間周波数の特性が、空間周波数領域における縦方向の特性と横方向の特性との結合で定義される帯域分割フィルタを用いて、前記固定パターンノイズ画像と前記ノイズ画像を、空間周波数帯域ごとに分割することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記移動速度取得工程は、前記動画像が撮像された際の撮像装置の角速度に基づいて、、前記動画像における被写体の移動速度を導出することを特徴とする請求項８〜１０の何れか１項に記載の画像処理方法。
【請求項１２】
前記移動速度取得工程は、前記動画像における動きベクトルを導出し、導出した動きベクトルに基づいて、前記動画像における被写体の移動速度を導出することを特徴とする請求項８〜１０の何れか１項に記載の画像処理方法。
【請求項１３】
前記ノイズ低減工程は、
前記固定パターンノイズ知覚量導出工程により導出された固定パターンノイズ知覚量に基づいて、前記動画像に含まれるノイズを低減するためのフィルタに対するゲインを導出するノイズリダクション制御工程と、
前記ノイズリダクション制御工程により導出されたゲインを前記フィルタのフィルタ係数に乗算し、前記ゲインを乗算したフィルタ係数に基づいて、前記動画像に含まれるノイズを低減する処理を行うノイズリダクション処理工程と、を有することを特徴とする請求項８〜１２の何れか１項に記載の画像処理方法。
【請求項１４】
前記ノイズ低減工程は、
前記固定パターンノイズ知覚量導出工程により導出された固定パターンノイズ知覚量に基づいて、前記動画像におけるカットオフ周波数を導出するノイズリダクション制御工程と、
前記ノイズリダクション制御工程により導出されたカットオフ周波数に基づいて、前記動画像に含まれるノイズを低減する処理を行うノイズリダクション処理工程と、を有することを特徴とする請求項８〜１２の何れか１項に記載の画像処理方法。
【請求項１５】
請求項８〜１４の何れか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、画像の固定パターンノイズを低減するために用いて好適なものである。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等の撮像装置に備わるＣＣＤやＣＭＯＳセンサといった固体撮像素子の固定パターンノイズは、その画面上での位置が固定されており目立ちやすい。デジタルカメラの場合、撮像時に、固体撮像素子への入射光を遮光することで暗黒画像を撮影し、当該暗黒画像から固定パターンノイズの画像を出力する。この固定パターンノイズの画像を撮像画像から減算することで固定パターンノイズを除去するという方法が知られている（特許文献１を参照）。
しかし、デジタルビデオカメラで動画像を撮像する場合にはシャッターを切ることで固体撮像素子への入射光を遮光することができない。したがって、上述した方法では固定パターンノイズのみを除去することができない。そこで、敢えて固定パターンノイズにランダムノイズを付加することでランダムノイズ化し、ノイズリダクションを行う方法がある（特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３１１０８６号公報
【特許文献２】特開２００４−２８９２４１号公報
【非特許文献】
【０００４】
【非特許文献１】S. Daly, "The Visible Differences Predictor: An algorithm for the assessment of image fidelity," in A.B. Watson, editor, Digital Image and Human Vision, pages 179-206, Cambridge, MA, MIT Press, 1993.
【非特許文献２】J.Laird, M. Pelz, E. Montag, and S. Daly: "Spatio-Velocity CSF as a Function of Retinal Velocity Using Unstabilized Stimuli", Proc. of SPIE, 6057,(2006)
【非特許文献３】D. Kelly, Motion and vision. II. Stabilized spatio-temporal threshold surface, JOSA, 69, pp. 1340-1349 (1979)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画像において、固定パターンノイズは、画像内の被写体の移動速度に応じて見えが変わる。このため、単純なノイズリダクションを行っただけでは、画像内の被写体の移動速度によって、固体パターンノイズが見えてしまう。
本発明は、このような問題点に鑑みてなされたものであり、固定パターンノイズが知覚されにくい動画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、動画像を撮像した際の露出に関する条件に基づいて、当該動画像におけるノイズの特性を導出するノイズ特性導出手段と、前記動画像における被写体の移動速度を取得する移動速度取得手段と、前記移動速度取得手段により取得された、前記動画像における被写体の移動速度に応じた、光に対する視覚の感度を表す情報を取得する視覚特性取得手段と、前記動画像と、前記ノイズ特性導出手段により導出されたノイズの特性と、前記視覚特性取得手段により取得された情報とに基づいて、前記動画像に含まれる固定パターンノイズに前記ノイズの特性に基づくノイズを重畳させた場合の当該固定パターンノイズの知覚のされやすさを評価した値である固定パターンノイズ知覚量を導出する固定パターンノイズ知覚量導出手段と、前記固定パターンノイズ知覚量導出手段により導出された固定パターンノイズ知覚量に基づいて、前記動画像に含まれるノイズを低減するノイズ低減手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、固定パターンノイズが知覚されにくい動画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】デジタルカメラの構成を示す図である。
【図２】画像処理部の構成の第１の例を示す図である。
【図３】視覚周波数応答特性を表す図である。
【図４】移動速度取得部の構成の第１の例を示す図である。
【図５】固定パターンノイズ特性取得部の構成を示す図である。
【図６】ノイズ特性推定部の構成を示す図である。
【図７】固定パターンノイズ知覚量導出部の構成の第１の例を示す図である。
【図８】fanl(θ)を示す図である。
【図９】domk(ρ)を示す図である。
【図１０】帯域分割された空間周波数領域の第１の例を示す図である。
【図１１】マスキング強度と帯域分割画像の関係を示す図である。
【図１２】ノイズリダクション制御部の構成の第１の例を示す図である。
【図１３】ノイズリダクション処理部の構成の第１の例を示す図である。
【図１４】画像処理部の構成の第２の例を示す図である。
【図１５】移動速度取得部の構成の第２の例を示すブロック図である。
【図１６】ノイズリダクション制御部の構成の第２の例を示す図である。
【図１７】ノイズリダクション処理部の構成の第２の例を示す図である。
【図１８】固定パターンノイズ知覚量導出部の構成の第２の例を示す図である。
【図１９】帯域分割された空間周波数領域の第２の例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、図面に基づいて本発明の実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
本実施形態では、人間による固定パターンノイズの知覚されやすさを表現する固定パターンノイズ知覚量を算出する。ここで、固定パターンノイズ知覚量は、ノイズ感度モデルに基づき、固定パターンノイズの知覚しやすさをマップ化したノイズマップである。この固定パターンノイズ知覚量に基づいて、撮像画像のノイズを低減する処理を行う。ここで、ノイズ感度モデルに関しては、例えば、非特許文献１に記載の技術がある。本実施形態では、非特許文献１に記載のノイズ感度モデルを用いる場合を例に挙げて説明する。
【００１０】
従来のノイズリダクション処理では、ランダムノイズを低減したために、固定パターンノイズがより目立ってしまうという問題があった。そこで、本実施形態は、画像内の被写体の動きに応じた人間の視感度の変化に応じて、固定パターンノイズの周波数特性およびランダムノイズの周波数特性を考慮して最適なノイズリダクション処理を施す。これにより、任意の移動する被写体に対し、敢えてランダムノイズをやや残すことで固定パターンノイズを知覚しにくい動画像を生成することができる。
【００１１】
＜システム全体の構成＞
図１は、本実施形態の画像処理装置を含むデジタルカメラ（撮像装置）の構成の一例を示すブロック図である。本実施形態では、デジタルカメラは、動画像を撮像できるものである。
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタおよびＣＭＯＳやＣＣＤ等のセンサ（固体撮像素子）、を含み、被写体の光量を検知する。
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。
信号処理部１０３は、Ａ／Ｄ変換部１０２で変換されたデジタル値に、デモザイキング処理、ホワイトバランス処理およびガンマ処理などを行い、デジタル画像を生成する。
【００１２】
画像処理部１０４は、信号処理部１０３で生成されたデジタル画像に対するノイズ低減処理を行う。
エンコーダ部１０５は、ノイズ低減処理が行われたデジタル画像をＪＰＥＧ等の映像圧縮フォーマットに変換する処理を行う。
メディアインタフェース（Ｉ／Ｆ）１０６は、メディア１０７につなぐためのインタフェースである。メディア１０７は、例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカードまたはＵＳＢメモリである。
【００１３】
ＣＰＵ１０８は、デジタルカメラの各構成の処理の全てに関わり、ＲＯＭ１０９やＲＡＭ１１０に格納された命令を順に読み込み、処理を実行する。そして、ＣＰＵ１０８は、システムバス１１５を介して、デジタルカメラの各構成を制御する。ＲＯＭ１０９とＲＡＭ１１０は、ＣＰＵ１０８が実行する処理に必要なプログラム、データ、作業領域等をＣＰＵ１０８に提供する。
【００１４】
撮像系制御部１１１は、フォーカスを合わせる、シャッターを開く、絞りを調節する等の、ＣＰＵ１０８から指示された撮像系の制御を行う。
操作部１１２は、ボタンやモードダイヤル等を有し、これらを介して入力されたユーザ指示を受け取る。ユーザ指示としては、ＩＳＯ感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。これらの撮影設定は、ＣＰＵ１０８によって、デジタルカメラの撮影条件に反映されると共に、ＲＡＭ１１０に記憶される。
【００１５】
Ｄ／Ａ変換部１１３は、前記ノイズ低減処理が行われたデジタル画像に対しアナログ変換を行い、その結果を撮像画像データとして出力する。表示部１１４は、Ｄ／Ａ変換部１１３から受け取った撮像画像データの表示を行う。表示部１１４としては、例えば、液晶ディスプレイが用いられる。
ジャイロセンサ１１６は、デジタルカメラの角速度を検出するためのセンサである。
【００１６】
＜画像処理部１０４＞
図２は、画像処理部１０４の構成の一例を示すブロック図である。本実施形態では、画像処理部１０４が画像処理装置に相当する。
端子２０１から、信号処理部１０３で生成されたデジタル画像が入力される。
移動速度取得部２０２は、標準的な観察環境でデジタル画像（動画像）を観察する際の、デジタル画像内の被写体の移動速度ｖR[deg/sec]を取得する。具体的な移動速度取得処理については後述する。被写体そのものが動いていなくても、デジタルカメラが動くことにより、デジタル画像内では被写体は動くことになる。尚、以下の説明では、デジタル画像内では被写体の移動速度を、必要に応じて被写体の移動速度と称する。
【００１７】
視覚特性データ記憶部２０３は、被写体の移動速度ｖRに応じた視覚周波数応答特性をテーブルまたは関係式として記憶する。
視覚特性参照部（視覚特性取得部）２０４は、移動速度取得部２０２より取得した、被写体の移動速度ｖRに基づき、当該移動速度ｖRで移動する被写体を人間が追従視する際の視覚周波数応答特性を取得する。
図３は、被写体の移動速度に応じた視覚周波数応答特性の変化を表す図である。本実施形態では、非特許文献２に記載の視覚周波数応答特性を用いる。具体的には、視覚周波数応答特性は以下の（１）式〜（４）式で定義される。
【００１８】
【数１】
2015088914.tif 000003
【００１９】
被写体の移動速度ｖRは、移動速度取得部２０２で取得されるものである。また、ｕは水平方向の空間周波数（水平周波数）であり、ｖは垂直方向の空間周波数（垂直周波数）である。また、例えば、ｓ1＝6.1、ｓ2＝7.3、ｐ1＝45.9、ｃ0＝0.6329、ｃ1＝0.8404、ｃ2＝0.7986である。
【００２０】
図３において、視覚周波数応答特性３０１は、被写体の移動速度ｖRが０[deg/sec]であるときの視覚周波数応答特性であり、視覚周波数応答特性３０２は、被写体の移動速度ｖRが１０[deg/sec]であるときの視覚周波数応答特性である。
尚、視覚周波数応答特性は、図３（（１）式〜（４）式）に示すものに限定されない。追従視時の視覚周波数応答特性は、被写体の動きが大きくなるにつれて、コントラスト感度のピークが低周波側へシフトするバンドパス特性であればよい。例えば、非特許文献３に記載の視覚周波数応答特性等、他の視覚周波数応答特性や実測データ等を視覚周波数応答特性として用いてもよい。
【００２１】
固定パターンノイズ特性取得部２０５は、固体撮像素子に特有の固定パターンノイズの特性を取得する。具体的な固定パターンノイズ取得処理については後述する。
ノイズ特性推定部２０６は、撮像系にて発生するノイズの特性を推定する。具体的なノイズ特性推定処理については後述する。
固定パターンノイズ知覚量導出部２０７は、追従視とノイズの周波数特性とを考慮した固定パターンノイズ知覚量を導出する。この固定パターンノイズ知覚量は、固定パターンノイズ特性取得部２０５で取得された固定パターンノイズの特性、ノイズ特性推定部２０６で推定されたノイズの特性および視覚特性参照部２０４で取得された視覚周波数応答特性に応じて導出される。具体的な固定パターンノイズ知覚量導出処理については後述する。
【００２２】
ノイズリダクション制御部２０８は、固定パターンノイズ知覚量導出部２０７で導出された固定パターンノイズ知覚量に基づいて、ノイズリダクションフィルタへ乗算するゲインを算出する。ノイズリダクション制御部２０８で算出されたゲインは、ノイズリダクション処理部２０９へ送信される。具体的なゲイン算出処理については後述する。
ノイズリダクション処理部２０９は、信号処理部１０３から入力されるデジタル画像に対して、ノイズリダクション制御部２０８で算出されたゲインを用いてノイズリダクション処理を施す。具体的なノイズリダクション処理については後述する。ノイズリダクション処理が施されたデジタル画像は、端子２１０から出力される。
【００２３】
＜移動速度取得部２０２＞
図４は、移動速度取得部２０２の構成の一例を示すブロック図である。被写体の移動速度ｖRを取得する際の処理の一例を図４に基づいて説明する。
撮像情報取得部４０１は、信号処理部１０３で生成されたデジタル画像の撮像時の諸条件情報をＲＡＭ１１０から取得する。ここで、撮像時の諸条件情報は、例えば、焦点距離ｆ[mm]、センサ（固体撮像素子）のサイズｗ×ｈ[mm]、露光時間ｔ[sec]およびフレームレートＦＲ[fps]である。撮像時の諸条件情報の取得方法はこれに限られない。例えば、exif情報から、諸条件情報を取得しても良い。
【００２４】
ジャイロセンサ情報取得部４０２は、信号処理部１０３で生成されたデジタル画像の撮像時のジャイロセンサ情報をジャイロセンサ１１６から取得する。ここで、ジャイロセンサ情報は、例えば、デジタルカメラの角速度ω[deg/sec]である。
移動速度算出部４０３は、撮像情報取得部４０１で取得された諸条件情報とジャイロセンサ情報取得部４０２で取得されたジャイロセンサ情報に基づいて、次の処理を行う。すなわち、移動速度算出部４０３は、撮像時に被写体が動いていないとしたときのデジタル画像内の被写体の移動速度ｖR[deg/sec]を算出する。
まず、移動速度算出部４０３は、撮像部１０１の撮像光学系の画角θlens[deg]と、撮像時の１秒あたりのデジタルカメラの移動角度θgyro[deg]とを、以下の（５）式、（６）式により算出する。
【００２５】
【数２】
2015088914.tif 000004
【００２６】
このとき、被写体が移動していないとすると、観察画角θview中の１秒あたりの移動角度θmove（観察画角θviewの単位時間あたりの変化量）は、以下の（７）式から算出される。
【００２７】
【数３】
2015088914.tif 000005
【００２８】
ここで、ユーザは、標準的な観察距離として、観察ディスプレイの縦の長さ（高さ）の３倍の距離から被写体を観察しているとする。観察ディスプレイの画角の縦横比が９：１６であるとするとき、観察画角θviewは、以下の（８）式から算出される。
【００２９】
【数４】
2015088914.tif 000006
【００３０】
よって、被写体の移動速度ｖR[deg/sec]は、以下の（９）式で定義される。
【００３１】
【数５】
2015088914.tif 000007
【００３２】
移動速度算出部４０３は、（５）式〜（９）式に基づいて被写体の移動速度ｖR[deg/sec]を算出して端子４０４へ出力する。
【００３３】
＜固定パターンノイズ特性取得部２０５＞
図５は、固定パターンノイズ特性取得部２０５の構成の一例を示すブロック図である。固定パターンノイズの特性を取得する際の処理の一例を図５に基づいて説明する。
撮像条件取得部５０１は、信号処理部１０３で生成されたデジタル画像の撮像時の撮像条件をＲＡＭ１１０から取得する。ここで、撮像条件は、例えば、ＩＳＯ感度である。
固定パターンノイズ特性記憶部５０２は、固定パターンノイズマップとＩＳＯ感度との関係を示す関係式またはテーブルを記憶する。
固定パターンノイズ情報取得部５０３は、撮像条件取得部５０１で取得された撮像条件に応じた固定パターンノイズマップFPN(x,y)を固定パターンノイズ特性記憶部５０２から取得して端子５０４へ出力する。固定パターンノイズマップFPN(x,y)は、（x,y）の位置（画素）における固定パターンノイズの大きさを表す固定パターンノイズ画像である。また、固定パターンノイズマップFPN(x,y)は、例えば、信号処理部１０３で生成されたデジタル画像iin(x,y)と同じ大きさを有する。
【００３４】
＜ノイズ特性推定部（ノイズ特性導出部）２０６＞
図６は、ノイズ特性推定部２０６の構成の一例を示すブロック図である。ノイズ特性を推定する際の処理の一例を図６に基づいて説明する。
端子６０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。ここで、ｘは水平（横）方向の位置（画素）を示し、ｙは垂直（縦）方向の位置（画素）を示す。デジタル画像iin(x,y)は、例えば、(x,y)で表される位置の輝度値や画素値である。
平均値算出部６０２は、デジタル画像iin(x,y)の（各位置(x,y)における）平均値avginを算出し、ノイズ情報取得部６０４へ送信する。
撮像条件取得部６０３は、デジタル画像iin(x,y)を撮像した際の撮像条件をＲＡＭ１１０から取得する。ここで、撮像条件とは、撮像時の露出に関する条件である。本実施形態では、撮像条件取得部３０３は、撮像条件として、ＩＳＯ感度、レンズの絞り値および露光時間を取得する。
【００３５】
ノイズ特性記憶部６０５は、前記撮像条件と、デジタル画像iin(x,y)の平均値avginと、ノイズの分散σnとの関係を、テーブルまたは関係式として記憶する。
ノイズ情報取得部６０４は、撮像条件取得部６０３で取得された撮像条件と、平均値算出部６０２で算出された平均値avginとに対応するノイズの分散σnをノイズ特性記憶部６０５から取得する。そして、端子６０６から、ノイズの分散σnがノイズ特性として出力される。
【００３６】
＜固定パターンノイズ知覚量導出部２０７＞
図７は、固定パターンノイズ知覚量導出部２０７の構成の一例を示すブロック図である。固定パターンノイズ知覚量を導出する際の処理の一例を図７に基づいて説明する。
端子７０１より、固定パターンノイズ特性取得部２０５で取得された固定パターンノイズマップFPN(x,y)が入力される。
端子７０２より、ノイズ特性推定部２０６で得られたノイズの分散σnが入力される。
ノイズ画像生成部７０３は、固定パターンノイズマップFPN(x,y)と同じサイズのホワイトノイズ画像nw(x,y)を、ノイズの分散がσnとなるように生成する。ここで、ホワイトノイズ画像nw(x,y)は、（x,y）の位置（画素）におけるホワイトノイズの大きさを表す。ノイズ画像生成部７０３は、固定パターンノイズマップFPN(x,y)とホワイトノイズ画像nw(x,y)とを加算することでノイズ画像n(x,y)を生成する。このように、ノイズ画像生成部７０３は、固体パターンノイズに重畳させるホワイトノイズを示す画像を、疑似的なシミュレーションにより生成する。尚、固体パターンノイズに重畳させるノイズを示す画像を、疑似的なシミュレーションにより生成できれば、必ずしもホワイトノイズを使用する必要はない。
【００３７】
フーリエ変換部７０４は、固定パターンノイズマップFPN(x,y)とホワイトノイズ画像nw(x,y)のそれぞれに対してフーリエ変換を施す。これにより、固定パターンノイズマップFPN(x,y)とホワイトノイズ画像nw(x,y)の空間周波数の情報がそれぞれ生成される。以下では、固定パターンノイズマップFPN(x,y)をフーリエ変換して空間周波数の関数にした結果を、IFPN(u,v)と表記する。また、ノイズ画像n(x,y)をフーリエ変換して空間周波数の関数にした結果を、N(u,v)と表記する。ここで、ｕは水平方向の空間周波数（水平周波数）であり、ｖは垂直方向の空間周波数（垂直周波数）である。
【００３８】
空間視覚特性乗算部７０５は、フ―リ変換後の固定パターンノイズマップIFPN(u,v)とフーリエ変換後のノイズ画像N(u,v）に対し、端子７１１から入力される視覚周波数応答特性CSF(ρ,vR)をそれぞれ乗算する。
【００３９】
以下では、フーリエ変換後の固定パターンノイズマップIFPN(u,v)に視覚周波数応答特性CSF(ρ,vR)を乗算した結果を、IV(u,v)と表記する。また、フーリエ変換後のノイズ画像N(u,v）に視覚周波数応答特性CSF(ρ,vR)を乗算した結果を、NV(u,v)と表記する。IV(u,v）は、人間の視覚において感度のある空間周波数における固定パターンノイズの信号を表す。NV(u,v）は、人間の視覚において感度のある空間周波数におけるホワイトノイズの信号を表す。
【００４０】
帯域分割部７０６は、以下の（１０）式で表される、固定パターンノイズマップに対する帯域分割情報Isk,l(u,v)を算出する。また、帯域分割部７０６は、以下の（１１）式で表される、ノイズ画像に対する帯域分割情報Nsk,l(u,v)を算出する。帯域分割周波数情報Isk,l(u,v)は、フーリエ変換と視覚周波数応答特性の乗算とが行われた固定パターンノイズマップIV(u,v)を、複数の空間周波数帯域ごとに分割した情報である。帯域分割周波数情報Nsk,l(u,v)は、フーリエ変換と視覚周波数応答特性の乗算とが行われたノイズ画像NV(u,v)を、複数の空間周波数帯域ごとに分割した情報である。
【００４１】
【数６】
2015088914.tif 000008
【００４２】
帯域分割フィルタcortexk,l(u,v)は、空間周波数領域における半径方向の特性と円周方向の特性とを結合することにより得られるものであり、以下の（１２）式および（１３）式のように定義される。
【００４３】
【数７】
2015088914.tif 000009
【００４４】
cortex＿polk,l(ρ,θ)は、帯域分割フィルタcortexk,l(u,v)を極座標で表現したものである。（１２）式および（１３）式において、Ｋは空間周波数帯域の半径方向における分割数であり、Ｌは、空間周波数帯域の円周方向における分割数である。一般にはＫ＝６、Ｌ＝６である。（１２）式に示すdomk(ρ)、base(ρ)、fanl(θ)は、以下の（１４）式〜（２２）式で定義される。
【００４５】
【数８】
2015088914.tif 000010
【００４６】
【数９】
2015088914.tif 000011
【００４７】
【数１０】
2015088914.tif 000012
【００４８】
図８は、Ｌ＝６の場合のfanl(θ)を模式的に示す図である。図８において、横軸は角度であり、縦軸は応答である。図９は、Ｋ＝６の場合のdomk(ρ)を模式的に示す図である。図８において、横軸は正規化周波数であり、縦軸は応答である。図９において、横軸は正規化周波数であり、縦軸は応答である。
図１０は、帯域分割フィルタcortexk,l(u,v)により分割された空間周波数領域を模式的に示す図である。図１０において、横軸、縦軸は、とも正規化周波数空間である。図１０では、各フィルタの半値周波数を、太い実線で示す。
【００４９】
ここでは、人間の視覚は、画像の空間周波数が低周波であるか高周波であるかという区別と、画像の空間周波数の方向（縦方向、横方向、斜め方向）という区別をしているものと考え、これら区別される空間周波数の領域を１つの領域として定義する。この１つの領域が、図１０の太線で囲まれている領域に対応する。図１０において、固定パターンノイズマップとノイズ画像の空間周波数が、同じ領域内にある場合、当該ノイズ画像に基づくホワイトノイズは固定パターンノイズ上では、人間の視覚により認識しづらくなる。
【００５０】
逆フーリエ変換部７０７は、帯域分割周波数情報Isk,l(u,v)、Nsk,l(u,v)に対して、逆フーリエ変換を施し、複数の空間周波数帯域に分割された固定パターンノイズマップとノイズ画像をそれぞれ生成する。以下では、固定パターンノイズマップに対する帯域分割周波数情報Isk,l(u,v)の逆フーリエ変換の結果として得られる帯域分割画像をisk,l(x,y)と表記する。一方、ノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)の逆フーリエ変換の結果として得られる帯域分割画像をnsk,l(x,y)と表記する。各帯域分割画像は、帯域分割フィルタcortexk,l(u,v)により分割される各空間周波数帯域の画像である。
【００５１】
ノイズマスク部（部分ノイズ知覚量算出部）７０８は、固定パターンノイズマップの帯域分割画像isk,l(x,y)に基づいて、ノイズ画像の帯域分割画像nsk,l(x,y)に対するマスキングを施す。これにより、知覚されるノイズ画像である知覚ノイズ画像Pk,l(x,y) （部分ノイズ知覚量）が算出される。知覚ノイズ画像Pk,l(x,y)は、空間周波数帯域ごとに算出される。ここでいうマスキングとは、固定パターンノイズにホワイトノイズを重畳させることにより、当該固定パターンノイズが人間にどのくらい知覚されづらくなるのかを評価することをいう。
ノイズマスク部７０８の具体的な処理の一例を説明すると、まず、ノイズマスク部７０８は、マスキング強度Tek,l(x,y)を、以下の（２３）式〜（２５）式により算出する。
【００５２】
【数１１】
2015088914.tif 000013
【００５３】
本実施形態では、（２３）式〜（２５）式において、Ｗ＝６、Ｑ＝０．７、ｂ＝４、ｓ＝０．８とする。図１１は、この場合における、マスキング強度Tek,l(x,y) と帯域分割画像isk,l(x,y)との関係の一例を示す図である。図８において、横軸は、帯域分割画像isk,l(x,y)の強度を対数スケールで表したものである。縦軸は、マスキング強度Tek,l(x,y)の強度を対数スケールで表したものである。ノイズマスク部４０８は、このマスキング強度Tek,l(x,y)を用いて、知覚ノイズ画像Pk,l(x,y)を、以下の（２６）式により計算する。
【００５４】
【数１２】
2015088914.tif 000014
【００５５】
（２６）式において、ｍは、固定パターンノイズマップiFPN(x,y)の平均値である。
固定パターンノイズ知覚量算出部７０９は、以下の（２７式）に基づいて、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、固定パターンノイズ知覚量P(x,y)を算出する。固定パターンノイズ知覚量P(x,y)は、端子７１０から出力される。
【００５６】
【数１３】
2015088914.tif 000015
【００５７】
＜ノイズリダクション制御部２０８＞
図１２は、ノイズリダクション制御部２０８の構成の一例を示すブロック図である。ノイズリダクションフィルタに対するゲインを制御する際の処理の一例を図１２に基づいて説明する。
端子１２０１より、固定パターンノイズ知覚量導出部２０７で導出された固定パターンノイズ知覚量P(x,y)が入力される。
【００５８】
低域通過フィルタ処理部１２０２は、固定パターンノイズ知覚量P(x,y)に低域通過フィルタ処理を施す。以下では、低域通過フィルタ処理が施された固定パターンノイズ知覚量をPl(x,y)と表記する。
ゲイン算出部１２０３は、固定パターンノイズ知覚量Pl(x,y)に基づいて、ノイズリダクションフィルタに対するゲインg(x,y)を算出する。ここで、ゲインg(x,y)は、以下の（２８）式より算出される。ただし、ゲインg(x,y)の算出方法は、以下の（２８）式に限定されない。
g(x,y)＝ｋ1×Pl(x,y)＋ｋ2  ・・・（２８）
（２８）式において、ｋ1、ｋ2は、固定パターンノイズ知覚量Pl(x,y)が大きいときにゲインg(x,y)が小さくなり、固定パターンノイズ知覚量Pl(x,y)が小さいときにゲインg(x,y)が大きくなるようにするための一次式である。これにより、固定パターンノイズ知覚量Pl(x,y)が大きいときにノイズリダクションを弱くすることができ、固定パターンノイズ知覚量Pl(x,y)へのマスキングを強めることができる。ゲイン算出部１２０３は、算出したゲインg(x,y)を端子１２０４へ出力する。
【００５９】
＜ノイズリダクション処理部２０９＞
図１３は、ノイズリダクション処理部２０９の構成の一例を示すブロック図である。信号処理部１０３で生成されたデジタル画像iin(x,y)のノイズを低減する際の処理の一例を図１３に基づいて説明する。
端子１３０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。
フィルタ係数設定部１３０２は、ＲＯＭ１０９に記憶されているノイズリダクションフィルタのフィルタ係数を設定する。
端子１３０３より、ノイズリダクション制御部２０８で算出されたゲインg(x,y)が入力される。
乗算部１３０４は、フィルタ係数設定部１３０２で設定されたフィルタ係数と、端子１３０３から入力されたゲインg(x,y)とを乗算したものをノイズリダクション係数としてノイズリダクション処理部１３０５に出力する。
ノイズリダクション処理部１３０５は、乗算部１３０４で算出されたノイズリダクション係数を用いて、デジタル画像iin(x,y)に対してノイズリダクション処理を実行する。ノイズリダクション処理が実行されたデジタル画像は、端子１３０６から出力される。
【００６０】
以上のように本実施形態では、撮像時の露出の条件に基づいてノイズの分散σnを導出し、ノイズの分散σnに応じたホワイトノイズを固定パターンノイズに重畳させたノイズ画像を生成する。固定パターンノイズマップとノイズ画像のそれぞれから、被写体の移動速度ｖRに応じて人間の視覚において感度のある空間周波数の情報を抽出して複数の空間周波数帯域ごとに分割する。複数の空間周波数帯域ごとに分割されたノイズ画像を、複数の空間周波数帯域ごとに分割された固定パターンノイズマップに基づいてマスキングした後に合成して固定パターンノイズ知覚量P(x,y)を算出する。固定パターンノイズ知覚量P(x,y)が大きい場合には、固定パターンノイズが知覚されやすいので、デジタル画像iin(x,y)に対するノイズの低減量を抑制する。このように、固定パターンノイズの知覚されやすさを表現する固定パターンノイズ知覚量P(x,y)を算出し、これを低減するようにノイズリダクションを制御する。したがって、ノイズリダクションのかけすぎによる固定パターンノイズの強調を抑える画像処理を実現することができる。よって、被写体の移動速度に応じた固定パターンノイズが知覚されにくい動画像を生成することができる。
【００６１】
（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、画像内の被写体の移動速度ｖRを、ジャイロセンサ情報を用いて算出する場合を例に挙げて説明した。このようにすると、被写体も移動している場合、画像内の被写体の移動速度ｖRを正しく算出することができない虞がある。そこで、本実施形態では、画像内の動きベクトルを用いて被写体の移動速度ｖRを算出することで、被写体の移動に対応して、固定パターンノイズの抑制を行う。
このように本実施形態と第１の実施形態とは、被写体の移動速度ｖRを算出する際の処理と構成が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１３に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００６２】
＜画像処理部１４００＞
図１４は、画像処理部１４００の構成の一例を示すブロック図である。図１４に示す画像処理部１４００は、図２に示した画像処理部１０４に置き換わる。
信号処理部１０３で生成されたデジタル画像は、端子１４０１から、ノイズ特性推定部２０６およびノイズリダクション処理部２０９に加えて移動速度取得部１４０２にも入力される。
移動速度取得部１４０２は、標準的な観察環境でデジタル画像を観察する際の、デジタル画像内の被写体の移動速度ｖR[deg/sec]を、信号処理部１０３で生成されたデジタル画像に基づいて取得する。
視覚特性データ記憶部２０３からノイズリダクション処理部２０９までの構成および処理は、第１の実施形態と同一である。
【００６３】
＜移動速度取得部１４０２＞
図１５は、移動速度取得部１４０２の構成の一例を示すブロック図である。被写体の移動速度ｖRを取得する際の処理の一例を図１５に基づいて説明する。
端子１５０１より、信号処理部１０３で生成されたデジタル画像が入力される。端子１５０１から入力したデジタル画像は、フレームメモリ１５０２に書き込まれる。
動きベクトル算出部１５０３は、端子１５０１から入力した、現在のフレームのデジタル画像と、フレームメモリ１５０２から入力した、遅延したデジタル画像（例えば１フレーム前のデジタル画像）とを、それぞれ複数のブロック（領域）に分割する。分割するブロックのサイズは、例えば、128×128pixelや256×256pixelである。動きベクトル算出部１５０３は、ブロックごとに、動き成分ｄ[pixel]を計算し、移動速度算出部１５０４に入力する。
【００６４】
移動速度算出部１５０４は、ＲＡＭ１１０に記憶されたフレームレートＦＲ[fps]の情報を取得する。そして、移動速度算出部１５０４は、フレームレートＦＲ[fps]と、動きベクトル算出部１５０３で算出された動き成分ｄと、に基づいて、被写体の移動速度ｖR[deg/sec]を算出する。ユーザが、標準的な観察距離である、観察ディスプレイの縦の長さ（高さ）の３倍の距離から被写体を観察しているとすると、被写体の移動速度ｖR[deg/sec]は以下の（２９）式で算出される。尚、観察するディスプレイはＦＨＤであるとする。
【００６５】
【数１４】
2015088914.tif 000016
【００６６】
移動速度算出部１５０４は、（２９）式の計算を行うことにより算出した、ブロックごとの被写体の移動速度ｖR[deg/sec]を端子１５０５へ出力する。
以上のように本実施形態では、被写体自体の移動があっても、固定パターンノイズを知覚しにくくなるようなノイズリダクションを施すことができる。また、被写体の移動速度ｖRを被写体ごとに算出することができる。これにより、被写体ごとに固定パターンノイズを知覚しにくくなるようなノイズリダクションを施すことができる。
【００６７】
（第３の実施形態）
次に、第３の実施形態について説明する。第１、第２の実施形態では、ノイズリダクションフィルタのフィルタ係数に対するゲインを制御することで、固定パターンノイズが知覚しにくくなるようにデジタル画像を補正する場合を例に挙げて説明した。この手法では、ノイズが存在する空間周波数帯域を抑制できていないため、ノイズが想定より残ってしまう虞がある。そこで、本実施形態では、ノイズを抑制する空間周波数帯域を制御することで、固定パターンノイズの知覚量を制御する。
【００６８】
このように本実施形態と第１、第２の実施形態とは、ノイズを抑制するための構成および処理が主として異なる。具体的に、本実施形態と第１、第２の実施形態とは、画像処理部１０４、１４００のノイズリダクション制御部２０８およびノイズリダクション処理部２０９の構成および処理が異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図１５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００６９】
＜ノイズリダクション制御部１６００＞
図１６は、ノイズリダクション制御部１６００の構成の一例を示すブロック図である。ノイズリダクション処理のカットオフ周波数を制御する際の処理の一例を図１６に基づいて説明する。
端子１２０１より、固定パターンノイズ知覚量導出部２０７で導出された固定パターンノイズ知覚量P(x,y)が入力される。
【００７０】
低域通過フィルタ処理部１２０２は、固定パターンノイズ知覚量P(x,y)に低域通過フィルタを施す。以下では、低域通過フィルタ処理が施された固定パターンノイズ知覚量をPl(x,y)と表記する。
カットオフ周波数算出部１６０１は、固定パターンノイズ知覚量Pl(x,y)に基づいて、ノイズリダクション処理のカットオフ周波数を算出する。ここで、カットオフ周波数fc(x,y)は、以下の（３０）式より算出される。ただし、カットオフ周波数fc(x,y)の算出方法は、以下の（３０）式に限定されない。
fc(x,y)＝ｋ1×Pl(x,y)＋ｋ2  ・・・（３０）
ｋ1、ｋ2は、固定パターンノイズ知覚量Pl(x,y)が大きいときにカットオフ周波数fc(x,y)が大きくなり、固定パターンノイズ知覚量Pl(x,y)が小さいときにカットオフ周波数fc(x,y)が小さくなるようにするための一次式である。これにより、固定パターンノイズ知覚量Pl(x,y)が大きいときにノイズリダクションのカットオフ周波数を高くすることができ、固定パターンノイズ知覚量Pl(x,y)へのマスキングを強めることができる。カットオフ周波数算出部１６０１は、算出したカットオフ周波数fc(x,y)を端子１２０４へ出力する。
【００７１】
＜ノイズリダクション処理部１７００＞
図１７は、ノイズリダクション処理部１７００の構成の一例を示すブロック図である。信号処理部１０３で生成されたデジタル画像iin(x,y)のノイズを低減する際の処理の一例を図１７に基づいて説明する。
端子１７０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。
端子１７０２より、固定パターンノイズ知覚量導出部２０７で算出されたカットオフ周波数fc(x,y)が入力される。
【００７２】
領域分割部１７０３は、端子１７０２から入力したカットオフ周波数fc(x,y)に基づいて、デジタル画像iin(x,y)における適当な大きさの領域のそれぞれにおけるカットオフ周波数fc(x,y)の代表値を算出する。各領域のカットオフ周波数fc(x,y)の代表値は、平均値でも、最も頻度の多い値でもよい。
ノイズリダクション係数設定部１７０４は、領域ごとに、カットオフ周波数fc(x,y)の代表値に基づいて、ＲＯＭ１０９に記憶されているフィルタ係数の候補からひとつを選択し、選択したフィルタ係数をノイズリダクション係数として設定する。ＲＯＭ１０９には、フィルタ係数とカットオフ周波数fc(x,y)の代表値との関係を表す関係式またはテーブルが記憶されている。ノイズリダクション係数設定部１７０４は、カットオフ周波数fc(x,y)の代表値に対応するフィルタ係数をノイズリダクション係数として設定する。
ノイズリダクション処理部１７０５は、ノイズリダクション係数設定部１７０４で設定されたノイズリダクション係数を用いて、デジタル画像iin(x,y)に対してノイズリダクション処理を実行する。ノイズリダクション処理が実行されたデジタル画像は、端子１７０６から出力される。
【００７３】
以上のように本実施形態では、各領域のカットオフ周波数fc(x,y)の代表値に応じて、デジタル画像iin(x,y)に対するノイズの低減量を制御するようにした。したがって、ノイズの低減量を空間周波数で制御することができる。これにより、より精度よくノイズの制御ができる。
【００７４】
（第４の実施形態）
次に、第４の実施形態について説明する。第１〜第３の実施形態では、固定パターンノイズ知覚量導出部２０７の帯域分割部７０６での処理に、cortexフィルタとして知られるフィルタを用いた場合を例に挙げて説明した。しかし、cortexフィルタは、周波数特性が非常に特殊な形のフィルタである為、演算処理が重くなる。そこで、本実施形態では、cortexフィルタを、空間周波数領域における縦方向と横方向のフィルタを結合した簡易な帯域分割フィルタに置き換えることで、演算処理を軽くする。このように本実施形態と第１〜第３の実施形態とでは、帯域分割フィルタが異なることによる構成および処理が主として異なる。具体的に、本実施形態と第１〜第３の実施形態とは、固定パターンノイズ知覚量導出部２０７の構成および処理が異なる。したがって、本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図１７に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００７５】
＜ノイズ知覚量算出の処理＞
図１８は、固定パターンノイズ知覚量導出部１８００の構成を示す図である。
端子７０１より、固定パターンノイズ特性取得部２０５で取得された固定パターンノイズマップFPN(x,y)が入力される。
端子７０２より、ノイズ特性推定部２０６で得られたノイズの分散σnが入力される。
ノイズ画像生成部７０３は、固定パターンノイズマップFPN(x,y)と同じサイズのホワイトノイズ画像nw(x,y)を、ノイズの分散がσnとなるように生成する。そして、ノイズ画像生成部７０３は、固定パターンノイズマップFPN(x,y)とホワイトノイズ画像nw(x,y)を加算することでノイズ画像n(x,y)を生成する。
帯域分割部１８０１は、帯域分割フィルタを用いて、固定パターンノイズマップFPN(x,y)を、複数の空間周波数帯域ごとに分割し、固定パターンノイズマップに対する帯域分割周波数情報Isk,l(u,v)を生成する。同様に、帯域分割部１８０１は、帯域フィルタを用いて、ノイズ画像n(x,y) 、複数の空間周波数帯域ごとに分割し、ノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)を生成する。帯域分割周波数情報Isk,l(u,v)、Nsk,l(u,v)は、以下の（３１）式、（３２）式で求めることができる。
【００７６】
【数１５】
2015088914.tif 000017
【００７７】
（３１）式、（３２）式において、ｋは水平（横）方向のインデックス、ｌは垂直（縦）方向のインデックスである。また、（３１）式、（３２）式において、帯域分割フィルタfilterbankk,l(u,v)は、以下の（３３）式のように定義される。
【００７８】
【数１６】
2015088914.tif 000018
【００７９】
（３３）式において、Ｋは水平（横）方向の空間周波数帯域の分割数であり、Ｌは垂直（縦）方向の空間周波数帯域の分割数である。本実施形態では、Ｋ＝６、Ｌ＝６とする。
図１９は、帯域分割フィルタfilterbankk,l(u,v)により複数に分割された空間周波数領域を模式的に示す図である。図１９において、横軸、縦軸は、とも正規化周波数空間である。図１９では、各フィルタの半値周波数を、太い実線で示す。
ノイズマスク部７０８は、固定パターンノイズマップに対する帯域分割画像isk,l(x,y)に基づいて、ノイズ画像に対する帯域分割周波数情報Nsk,l(x,y)に対するマスキングを施す。これにより、人間に知覚されるノイズ画像である知覚ノイズ画像Pk,l(x,y)が算出される。知覚ノイズ画像Pk,l(x,y)は、空間周波数帯域ごとに算出される。
固定パターンノイズ知覚量算出部７０９は、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、固定パターンノイズ知覚量P(x,y)を算出する。
【００８０】
以上のように本実施形態では、cortexフィルタのような特殊なフィルタを使うことなく、簡易な処理で固定パターンノイズを知覚しにくくする画像処理を実現することができる。
尚、本実施形態では、周波数域での乗算を行うことで帯域分割を行ったが、空間域での畳みこみ演算を行うことで帯域分割を実現することも可能である。また、本実施形態に対しては、ウェーブレットなど公知の帯域分割フィルタを適用することが可能である。また、本実施形態では、第１の実施形態の帯域分割フィルタを変更する場合を例に挙げて説明したが、本実施形態を第２、第３の実施形態にも適用できる。
【００８１】
前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８２】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００８３】
１０１  撮像部、１０４  画像処理部、１０８  ＣＰＵ
【図１】
2015088914.tif 000019
【図２】
2015088914.tif 000020
【図３】
2015088914.tif 000021
【図４】
2015088914.tif 000022
【図５】
2015088914.tif 000023
【図６】
2015088914.tif 000024
【図７】
2015088914.tif 000025
【図８】
2015088914.tif 000026
【図９】
2015088914.tif 000027
【図１０】
2015088914.tif 000028
【図１１】
2015088914.tif 000029
【図１２】
2015088914.tif 000030
【図１３】
2015088914.tif 000031
【図１４】
2015088914.tif 000032
【図１５】
2015088914.tif 000033
【図１６】
2015088914.tif 000034
【図１７】
2015088914.tif 000035
【図１８】
2015088914.tif 000036
【図１９】
2015088914.tif 000037