(57)【要約】【課題】画像を破綻させずに、固定パターンノイズが知覚されない映像を提供可能な画像処理装置を提供すること。【解決手段】本発明は、固定パターンノイズを取得する固定パターンノイズ取得手段（図２、２０２）と、ランダムノイズを取得するランダムノイズ取得手段（図２、２０３）と、前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段（図２、２０４）と、前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段（図２、２０５）とを備えることを特徴とする画像処理装置である。【選択図】図２
2015177528.tif 000002
【特許請求の範囲】
【請求項１】
固定パターンノイズを取得する固定パターンノイズ取得手段と、
ランダムノイズを取得するランダムノイズ取得手段と、
前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段と、
前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記固定パターンノイズ除去強度決定手段は、前記ランダムノイズの量が大きくなるに従って、前記固定パターンノイズ除去の強度を弱くすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記固定パターンノイズ除去強度決定手段は、前記取得したランダムノイズ及び前記取得した固定パターンノイズに基づき、固定パターンノイズの知覚量を取得する固定パターンノイズ知覚量取得手段を備え、前記取得した固定パターンノイズの知覚量が大きくなるに従って、前記固定パターンノイズ除去の強度を弱くすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記固定パターンノイズ知覚量取得手段は、
前記固定パターンノイズと、前記ランダムノイズとに対する、帯域毎に分割された画像データを生成する帯域分割手段と、
前記固定パターンノイズに対する帯域分割された画像データを、前記ランダムノイズに対する帯域毎に分割された画像データに基づいてマスキングするノイズマスク手段と、
前記ノイズマスク手段から出力された帯域毎の画像データを合成することで、固定パターンノイズの知覚量を算出する固定パターンノイズ知覚量算出手段と
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
固定パターンノイズを取得する固定パターンノイズ取得手段と、
動画に含まれるフレーム間における被写体の移動速度を取得する移動速度取得手段と、
前記取得した移動速度に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段と、
前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段と
を備えることを特徴とする画像処理装置。  
【請求項６】
前記移動速度取得手段は、
ジャイロセンサ情報を取得するジャイロセンサ情報取得手段と、
前記取得したジャイロセンサ情報に基づき、前記移動速度を算出する移動速度算出手段と
を備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記移動速度取得手段は、
映像の動きベクトルを算出する動きベクトル算出手段と、
前記算出した動きベクトルに基づき、前記移動速度を算出する移動速度算出手段と
を備えることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記固定パターンノイズ除去強度決定手段は、前記移動速度が大きくなるに従って、前記固定パターンノイズ除去の強度を弱くすることを特徴とする請求項５乃至７の何れか一項に記載の画像処理装置。
【請求項９】
前記取得した移動速度に基づき、空間周波数と、応答との関係を示す特性である視覚特性を取得する視覚特性取得手段をさらに備え、
前記固定パターンノイズ除去強度決定手段は、前記取得した固定パターンノイズ及び前記取得した視覚特性に基づき固定パターンノイズの知覚量を算出する固定パターンノイズ知覚量算出手段を備えることを特徴とする請求項５乃至８の何れか一項に記載の画像処理装置。
【請求項１０】
前記固定パターンノイズ知覚量算出手段は、前記取得した視覚特性と、前記取得した固定パターンノイズの周波数特性とを乗算し、当該乗算結果のパワーをとることにより、固定パターンノイズの知覚量を算出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記固定パターンノイズ低減手段は、周辺の類似領域を用いて補間することで、固定パターンノイズを除去することを特徴とする請求項１乃至１０の何れか一項に記載の画像処理装置。
【請求項１２】
前記固定パターンノイズ除去強度決定手段は、補間処理を実行する領域を変化させることで、固定パターンノイズ除去の強度を変更することを特徴とした請求項１１に記載の画像処理装置。
【請求項１３】
固定パターンノイズを取得する固定パターンノイズ取得ステップと、
ランダムノイズを取得するランダムノイズ取得ステップと、
前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定ステップと、
前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減ステップと
を備えることを特徴とする画像処理方法。
【請求項１４】
固定パターンノイズを取得する固定パターンノイズ取得ステップと、
画像内の被写体の移動速度を取得する移動速度取得ステップと、
前記取得した移動速度に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定ステップと、
前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減ステップと
を備えることを特徴とする画像処理方法。  
【請求項１５】
コンピュータを、請求項１乃至１２の何れか一項に記載の画像処理装置として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。具体的には、本発明は、画像の固定パターンノイズを低減する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。
【０００３】
デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像データを得るためには混入したノイズを低減する必要がある。
【０００４】
ノイズの発生要因は上述のように複数あるが、ノイズは大別すると、ランダムノイズと、固定パターンノイズとに分けられる。ランダムノイズとは、撮像毎に発生位置が変化するノイズである。一方で固定パターンノイズとは、複数回の撮像にわたって発生位置が変化しないノイズであり、同一ノイズとして画像データに混入する。
【０００５】
特に、固定パターンノイズには、パン撮影時など画像内の被写体が動く状況では、ノイズが顕著に目立つという性質がある。被写体は移動しているのに固定パターンノイズは移動しないため、ノイズが浮かび上がって見え、劣化が目立ってしまう。このため、固定パターンノイズを低減する手法が従来から多く提案されている。特許文献３では、固定パターンノイズが発生している領域を周辺の類似領域を用いて補間することで、固定パターンノイズを除去する手法を提案している。具体的には、画像データにおける固定パターンノイズの発生領域に対してメディアンフィルタをかけている。また、非特許文献１の手法を用いて、周辺のテクスチャを用いて固定パターンノイズが発生している領域を補間しても良い。これらの手法は、固定パターンノイズのみを低減できるうえ、固定パターンノイズの強度の変化にもロバストであるという利点がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３１１０８６号公報
【特許文献２】特開２００４−２８９２４１号公報
【特許文献３】特開２００５−１１０１７６号公報
【非特許文献】
【０００７】
【非特許文献１】Telea, A. “An image inpainting technique based on the fast marching method.” Journal of graphics tools 9.1 (2004)
【非特許文献２】J.Laird et. al.. “Spatio-Velocity CSF as a Function of Retinal Velocity Using Unstabilized Stimuli”, SPIE, 6057,(2006)
【非特許文献３】D. Kelly, Motion and vision. II. Stabilized spatio-temporal threshold surface, JOSA, 69, pp. 1340-1349 (1979)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献３または非特許文献１を用いても、固定パターンノイズは撮影条件やノイズの特性によって固定パターンノイズの知覚量が変化するため、最適な固定パターンノイズ除去の強度を決定することができない場合がある。固定パターンノイズの知覚要因としては、一般に以下の二つがある。一つは、ランダムノイズである。固定パターンノイズは、ランダムノイズによってその見えがマスクされ、ランダムノイズが多いほど目立たないという特性がある。もう一つは、動画撮影におけるパン速度である。人間の視覚特性として、被写体の移動速度が変化すると、視覚の空間周波数応答特性が変化するという現象が知られている。このため、低周波の固定パターンノイズはパン速度が速いほど目立ち、高周波の固定パターンノイズはパン速度が遅いほど目立つ。
【０００９】
そこで本発明は、固定パターンノイズの知覚要因に応じて、固定パターンノイズ除去の強度を変化させることにより、画像を破綻させることなく固定パターンノイズを目立ちにくくすることができる。
【課題を解決するための手段】
【００１０】
本発明は、画像処理装置であって、固定パターンノイズを取得する固定パターンノイズ取得手段と、ランダムノイズを取得するランダムノイズ取得手段と、前記ランダムノイズの量に基づき、固定パターンノイズ除去の強度を決定する固定パターンノイズ除去強度決定手段と、前記決定した強度に従って、固定パターンノイズを除去する固定パターンノイズ低減手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明では、固定パターンノイズの知覚要因に応じて、固定パターンノイズ除去の強度を変化させる。これにより、画像を破綻させずに、固定パターンノイズを目立ちにくくすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る画像処理装置を備えるデジタルカメラ全体の構成を示すブロック図である。
【図２】実施例１に係る画像処理部の構成を示すブロック図である。
【図３】実施例１に係る固定パターンノイズ取得部の動作を示すフローチャートである。
【図４】実施例１に係る固定パターンノイズ低減部の構成を示すブロック図である。
【図５】補間対象領域を特定する補間領域情報の一例を示す図である。
【図６】実施例１に係る補間処理部の動作を示すフローチャートである。
【図７】実施例１に係る固定パターンノイズ除去強度決定部の構成を示すブロック図である。
【図８】実施例１に係る補間領域情報決定部の動作を示すフローチャートである。
【図９】ランダムノイズ量と、振幅閾値thとの関係を示すグラフである。
【図１０】実施例２に係る固定パターンノイズ除去強度決定部の構成を示すブロック図である。
【図１１】実施例２に係る固定パターンノイズ知覚量取得部の構成を示すブロック図である。
【図１２】空間視覚特性を表すグラフである。
【図１３】帯域分割フィルタの特性を示す図である。
【図１４】マスキング強度を示すグラフである。
【図１５】実施例３に係る画像処理部の構成を示すブロック図である。
【図１６】実施例３に係る移動速度取得部の構成を示すブロック図である。
【図１７】実施例３に係る固定パターンノイズ除去強度決定部の動作を示すフローチャートである。
【図１８】画像内の被写体の移動速度vRと、振幅閾値thとの関係を示すグラフである。
【図１９】実施例４に係る画像処理部の構成を示すブロック図である。
【図２０】実施例４に係る移動速度取得部の構成を示すブロック図である。
【図２１】実施例５に係る画像処理部の構成を示すブロック図である。
【図２２】被写体の移動速度に応じて異なる、視覚の空間周波数応答特性を示すグラフである。
【図２３】実施例５に係る固定パターンノイズ除去強度決定部の構成を示すブロック図である。
【図２４】実施例５に係る固定パターンノイズ知覚量取得部の構成を示すブロック図である。
【図２５】実施例５に係る補間領域情報決定部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１４】
［実施例１］
本実施例では、固定パターンノイズの知覚要因の一つ、ランダムノイズの量に応じて固定パターンノイズ除去の強度を切り替える。ランダムノイズの量が多い場合は、固定パターンノイズが知覚されにくいため、固定パターンノイズ除去の強度を抑える。一方で、ランダムノイズの量が少ない場合は、固定パターンノイズは知覚され易いため、固定パターンノイズ除去の強度を強め、固定パターンノイズが知覚されるのを防ぐ。
【００１５】
＜システム全体の構成＞
図１は、本発明に係る画像処理装置を備えるデジタルカメラ全体の構成を示すブロック図である。
【００１６】
撮像部101は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。A/D変換部102は、被写体の光量をデジタル値に変換する。信号処理部103は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。画像処理部104は、上記デジタル画像に対するノイズ低減処理を行う。エンコーダ部105は、ノイズ低減後のデジタル画像をJPEG等の映像圧縮フォーマットに変換する処理を行う。メディアインタフェース106は、メディア107（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインタフェースである。CPU108は各構成の処理全てに関わり、ROM109やRAM110に格納された命令を順に読み込み処理を実行し、システムバス115を介して各構成を制御する。ROM109及びRAM110は、その処理に必要なプログラム、データ、作業領域などをCPU108に提供する。撮像系制御部111は、CPU108からの指示に従い、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、撮像系の制御を行う。操作部112は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。ユーザー指示としては、ISO感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。CPU108は、これらの撮影設定に従って処理を行い、デジタルカメラの撮影条件に反映させると共に、これらの撮影設定をRAM110に記憶させる。D/A変換部113は、上記ノイズ低減後のデジタル画像に対しアナログ変換を行う。表示部114は、一般的には液晶ディスプレイが広く用いられており、D/A変換部113から受け取ったデータに基づき撮影画像を表示する。
【００１７】
＜画像処理部の構成＞
図２は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、ランダムノイズの特性に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示できる。
【００１８】
端子201からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202では、固定パターンノイズを画像データ形式で取得する。ランダムノイズ取得部203では、撮像系にて発生するランダムノイズを動画データ形式で取得する。固定パターンノイズ除去強度決定部204では、ランダムノイズの量から、固定パターンノイズ除去の強度を設定するパラメータを決定する。固定パターンノイズ低減部205では、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子206からは、固定パターンノイズが除去されたデジタル画像データが出力される。
【００１９】
＜固定パターンノイズ取得部の動作＞
本実施例では、撮像素子を遮光状態にして複数回撮影し、撮影により取得した複数の画像データを平均化することで、固定パターンノイズを示す画像データを取得する。当該取得処理は、デジタルビデオカメラの起動時や撮影直前、撮影直後のいずれの時点で実行しても良い。尚、本発明は、当該固定パターンノイズ取得方法に限定されない。例えば、ISO感度などの撮影条件に応じて、予め固定パターンノイズを記憶しておき、撮影時に当該記憶した固定パターンノイズを参照しても良い。
【００２０】
以下では、本実施例における固定パターンノイズ取得部の処理を図３のフローチャートを用いて説明する。
【００２１】
ステップS301では、撮像素子を遮光状態に設定する。
【００２２】
ステップS302では、撮像素子が遮光された状態で、nフレームの撮影処理を行い、ノイズのみの撮影データを取得する。以下では、iフレーム目の撮影データをD(i,x,y)と表記する。ここで、x,yは撮像素子の横画素及び縦画素のインデックスであり、iはフレーム番号を表す(1 ≦ i ≦ n)。また、撮影データD(i,x,y)には、固定パターンノイズとともにランダムノイズも含まれている。
【００２３】
ステップS303では、撮影データD(i,x,y)から、固定パターンノイズデータFPNを取得する。具体的には、n個の撮影データを平均化することで、ランダムノイズを低減し、固定パターンノイズのみを取得する。当該処理は以下の式（１）で表現される。
【００２４】
【数１】
2015177528.tif 000003
【００２５】
＜ランダムノイズ取得部の動作＞
本実施例では、固定パターンノイズ取得部202で取得したD(i,x,y)及びFPN(x,y)を用いて、撮影データに含まれるランダムノイズ映像データRN(i, x, y)を取得する。ここで、ランダムノイズとは、時間的に変動するノイズ成分のことを指す。尚、本発明は、当該ランダムノイズ取得方法に限定されない。例えば、ISO感度などの撮影条件に応じて、予めランダムノイズの特性を記憶しておき、撮影時に当該記憶したランダムノイズの特性を参照しても良い。
【００２６】
以下では、本実施例におけるランダムノイズ取得部の処理を具体的に説明する。まず、固定パターンノイズデータFPN(x,y)に対して、平均画素値avgFPNを計算する。
【００２７】
【数２】
2015177528.tif 000004
【００２８】
ここで、X及びYは、固定パターンノイズデータFPNにおける横画素数及び縦画素数である。次に、D(i,x,y)から固定パターンノイズの振幅を差し引くことにより、ランダムノイズ映像データRN(i, x, y)を取得する。当該処理は具体的に以下の式（３）で表わされる。
【００２９】
【数３】
2015177528.tif 000005
【００３０】
＜固定パターンノイズ低減部の構成＞
固定パターンノイズ低減部205では、固定パターンノイズが発生している領域に対して、周辺画素を用いた補間処理を施すことで、固定パターンノイズを低減する。以下では、メディアンフィルタを用いて固定パターンノイズを除去する手法について説明するが、本発明はこの手法に限定されない。例えば、非特許文献１に記載の手法を用いて、周辺のテクスチャ情報に基づき固定パターンノイズが発生している領域を補間しても良い。また、テンプレートマッチング処理等を用いて、周辺から類似領域を検索し、画素値を置換しても良い。
【００３１】
図４は、固定パターンノイズ低減部205の構成を示すブロック図である。端子401からは、信号処理部103で処理されたデジタル画像データを入力する。補間領域情報取得部402では、補間処理を実行する画素を指定する補間領域情報が取得される。図５に補間領域情報の例を示す。図中、白色領域が補間処理を実行する領域 (補間対象となる領域)で、黒色領域が補間処理を実行しない領域である。本実施例では、固定パターンノイズの振幅が大きい領域を補間対象の領域に設定することで、固定パターンノイズが適切に除去される。本実施例では、補間領域は、固定パターンノイズ除去強度決定部204が備える補間領域情報決定部704にて決定される。この処理の詳細は後述する。補間処理部403は、補間対象画素に対してメディアンフィルタをかけることで、補間対象画素を周辺画素に置換する。
【００３２】
＜補間処理部の動作＞
補間処理部403における具体的な処理を、図６のフローチャートを用いて説明する。
【００３３】
ステップS601では、着目画素を選択する。
【００３４】
ステップS602では、選択した着目画素に対して、固定パターンノイズ除去処理を実行すべきか否かを判断する。具体的には、補間領域情報を参照し、着目画素が補間対象画素であるか否かを判断する。着目画素に対して、固定パターンノイズを除去すべきと判断されれば、ステップS603に移行し、そうでなければ、ステップS604に移行する。
【００３５】
ステップS603では、着目画素に対して補間処理を実行する。本実施例では、補間処理として２次元メディアンフィルタ処理を施すことで、固定パターンノイズの除去を行う。例えば、３×３サイズの領域を用いた場合、９個の画素値を小さい順に並べ、メディアン値である小さい方から５番目の画素値を求めれば良い。
【００３６】
ステップS604では、全画素に対する処理が完了したか否かを判断する。判断の結果、全画素に対する処理が完了していない場合、ステップS601に移行し、そうでなければ、処理を終了する。
【００３７】
＜固定パターンノイズ除去強度決定部の構成＞
固定パターンノイズ除去強度決定部204は、固定パターンノイズを除去するか否かを判断するために用いられる補間領域情報をランダムノイズの量に基づいて決定し、固定パターンノイズ除去の強度を設定する。具体的には、補間対象領域 (図５中の白色領域)を多くすることで固定パターンノイズ低減の効果を高めることができる。また、補間対象領域を少なくすることで、固定パターンノイズ低減の効果を弱め、補間処理に伴う画質劣化を抑えることができる。
【００３８】
図７は、固定パターンノイズ除去強度決定部204の構成を示すブロック図である。端子701からは、ランダムノイズ取得部203で取得したランダムノイズ映像データRN(i, x, y)を入力する。端子702からは、固定パターンノイズ取得部202で取得した固定パターンノイズデータFPN(x,y)を入力する。ランダムノイズ量計算部703は、ランダムノイズ映像データRN(i, x, y)に対するランダムノイズ量を計算する。ランダムノイズ量としては、ノイズ量の分散を計算しても良いし、フレーム平均PSNR (Peak Signal to Noise Ratio)やSSIM(Structural SIMilarity)等を計算しても良い。補間領域情報決定部704は、前記計算したノイズ量に基づき、補間領域情報を決定する。
【００３９】
＜補間領域情報決定部の動作＞
補間領域情報決定部704では、固定パターンノイズ除去の対象領域を決定することで、固定パターンノイズ除去の強度を変更する。本実施例では、固定パターンノイズデータFPN(x,y)の各画素に対してノイズの振幅を計算し、その振幅に対して閾値処理を施すことで、補間領域情報を決定する。閾値を小さくすることで補間対象領域の面積の総和が大きくなり、固定パターンノイズ除去の強度を強めることができる。反対に、閾値を大きくすることで補間対象領域の面積の総和が小さくなり、固定パターンノイズ除去の強度を弱めることができる。尚、本発明は、上記の補間領域情報の決定方法に限定されない。例えば、算出したランダムノイズの量に基づいて、データベースから予め設計及び格納された補間領域情報を取得してもよい。
【００４０】
以下では、補間領域情報決定部704の動作について、図８のフローチャートを用いて、具体的に説明する。
【００４１】
ステップS801では、ランダムノイズ量計算部703により算出されたランダムノイズ量に基づき、固定パターンノイズの振幅閾値thを取得する。ここで、振幅閾値thは、ランダムノイズ量が大きくなるにつれて振幅閾値thも大きくなるという関係に従って決定される。例えば、図９に示す関係を表す式を予め記憶しておき、算出されたランダムノイズ量を当該式に代入することで、振幅閾値thは決定される。図９に示す関係を表す式を用いて振幅閾値thを決定することで、ランダムノイズ量が少ないほど振幅閾値thは小さく補間対象領域の面積の総和は大きくなり、固定パターンノイズ除去の効果は大きくなる。
【００４２】
ステップS802では、着目画素の固定パターンノイズデータを取得する。以下では、着目画素の固定パターンノイズデータをFPN(xi, yi)と表記する。
【００４３】
ステップS803では、着目画素に対するFPN(xi,yi)と、振幅閾値thとを用いてR(xi,yi)を算出することで補間領域情報を決定する。ここで、R(x,y)は、位置(x,y)において補間処理を実行するか否かを表現するマップである。R(xi, yi) =1のときに補間処理は実行され、R(xi,yi)=0のときに補間処理は実行されない。R(xi, yi)の値は、具体的に以下の式（４）により算出される。
【００４４】
【数４】
2015177528.tif 000006
【００４５】
ステップS804では、処理が全画素に対して行われたか否かを判断する。判断の結果、全画素に対して処理が完了していない場合、ステップS802に移行し、そうでなければ、処理を終了する。
【００４６】
以上、本実施例によれば、ランダムノイズの量に応じて固定パターンノイズ除去の強度を決定することで、画質の劣化を抑え、かつ、固定パターンノイズが知覚されない映像を提供できる。尚、本実施例では、補間領域を変更することで、固定パターンノイズ除去の強度を調整していたが、本発明はこれに限定されない。例えば、補間領域を変更するのではなく、メディアンフィルタのタップ数を変更することで、固定パターンノイズ除去の強度を調整しても良い。
【００４７】
［実施例２］
実施例１では、ランダムノイズの量に応じて固定パターンノイズ除去の強度を設定していた。本実施例では、固定パターンノイズの周波数特性と、ランダムノイズの周波数特性との類似度が固定パターンノイズの知覚量に影響するという現象に注目する。例えば、固定パターンノイズが低周波の場合、低周波のランダムノイズが加わった場合と、高周波のランダムノイズが加わった場合とでは、後者のほうが固定パターンノイズを知覚し易い。このような現象はマスキング効果と呼ばれ、人間が周波数選択性や方位選択性といった処理機構に基づいてノイズを知覚しているために生じる。このことを踏まえて、本実施例では、固定パターンノイズの周波数特性と、ランダムノイズの周波数特性との両方を考慮して固定パターンノイズの知覚量を算出し、固定パターンノイズ除去の強度を決定する。以下では、実施例１からの差分について説明する。
【００４８】
＜固定パターンノイズ除去強度決定部の構成＞
固定パターンノイズ除去強度決定部204は、ランダムノイズの周波数特性と、固定パターンノイズの周波数特性とに基づいて固定パターンノイズの知覚量を算出する。次に、固定パターンノイズ除去強度決定部204は、算出した知覚量に基づいて、固定パターンノイズが除去される補間対象領域を決定し、固定パターンノイズ除去の強度を決定する。
【００４９】
図１０は、固定パターンノイズ除去強度決定部204の構成を示すブロック図である。端子1001からは、ランダムノイズ取得部203で取得したランダムノイズ映像データRN(i, x, y)を入力する。端子1002からは、固定パターンノイズ取得部202で取得した固定パターンノイズデータFPN(x,y)を入力する。固定パターンノイズ知覚量取得部1003では、ランダムノイズ映像データRN(i, x, y)及び固定パターンノイズデータFPN(x,y)に対する固定パターンノイズの知覚量を取得する。補間領域情報決定部1004では、前記取得した固定パターンノイズの知覚量に基づき、補間領域情報を決定する。
【００５０】
＜固定パターンノイズ知覚量取得部の動作＞
図１１は、固定パターンノイズ知覚量取得部1003の構成を示すブロック図である。固定パターンノイズ知覚量取得部の動作を、図１１を用いて説明する。
【００５１】
端子1101より、固定パターンノイズ取得部202から固定パターンノイズデータFPN(x,y)を入力する。
【００５２】
端子1102より、ランダムノイズ取得部203からランダムノイズ映像データRN(i, x, y)を入力する。
【００５３】
ノイズ画像生成部1103は、ランダムノイズ映像データRN(i,x,y)から、固定パターンノイズをマスクするランダムノイズ画像を表す画像データn(x,y)を生成する。n(x,y)は、例えばRN(i,x,y)から任意の１フレームを選択することで生成しても良い。
【００５４】
フーリエ変換部1104は、画像データに対してフーリエ変換を施し、空間周波数情報を生成する。以下、固定パターンノイズデータFPN(x,y)のフーリエ変換結果をIFPN(u,v)、ノイズ画像データn (x,y) のフーリエ変換結果をN(u,v)と表記する。
【００５５】
空間視覚特性乗算部1105は、画像データのフーリエ変換結果に対し、端子1111から入力される空間視覚特性であるVTF(u,v)を乗算する。VTF(u,v)は、VTF(u,v)= VTFsx(u) ×VTFsy(v)と定義される。ここで、VTFsx(u) は横方向の空間視覚特性、VTFsy(v)は縦方向の空間視覚特性である。VTFsx(u)及びVTFsy(v)は、それぞれ以下の式（５）及び式（６）で定義される。
【００５６】
【数５】
2015177528.tif 000007
【００５７】
【数６】
2015177528.tif 000008
【００５８】
ここで、画素ピッチをp(mm)、視距離をR(mm)、映像の横画素数をNx、縦画素数をNyとする。これらの値は、一般的なユーザー観察環境に基づいて定める。尚、VTFsx(u) 及びVTFsy(v)は、次式（７）で表される空間視覚特性VTF(f) を、視距離と、画面ピッチと、画素数とに応じて周波数空間でサンプリングしたものであり、基本形は同じである。
【００５９】
【数７】
2015177528.tif 000009
【００６０】
空間視覚特性を表すグラフを、図１２に示す。以下では、IFPN(u,v)に対する空間視覚特性VTF(u,v)の乗算結果をIV(u,v)と、N(u,v)に対する空間視覚特性VTF(u,v)の乗算結果をNV(u,v)と表記する。
【００６１】
帯域分割部1106は、IV(u,v)及びNV(u,v)それぞれに対し、以下の式（８）及び式（９）で表現される帯域分割処理を実行する。Isk,l(u,v)はデジタル画像に対する帯域分割された空間周波数情報であり、Nsk,l(u,v)はホワイトノイズ画像に対する帯域分割された空間周波数情報である。
【００６２】
【数８】
2015177528.tif 000010
【００６３】
【数９】
2015177528.tif 000011
【００６４】
帯域分割フィルタcortexk,l(u,v)は、半径方向及び円周方向を結合し、次のように定義する。
【００６５】
【数１０】
2015177528.tif 000012
【００６６】
【数１１】
2015177528.tif 000013
【００６７】
cortex_polk,l(ρ,θ) はcortexk,l(u,v)を極座標で表現したものである。Kは半径方向、Lは円周方向の帯域分割数であり、一般にはK=6,L=6を用いる。domk (ρ)、base (ρ)、fanl(θ)の定義は次の通りである。
【００６８】
【数１２】
2015177528.tif 000014
【００６９】
ここで
【００７０】
【数１３】
2015177528.tif 000015
【００７１】
である。L=6の場合のfanl(θ)を表すグラフを図１３（ａ）に示す。図１３（ａ）において、横軸は正規化周波数、縦軸は応答である。
【００７２】
【数１４】
2015177528.tif 000016
【００７３】
ここで
【００７４】
【数１５】
2015177528.tif 000017
【００７５】
【数１６】
2015177528.tif 000018
【００７６】
であり、
【００７７】
【数１７】
2015177528.tif 000019
【００７８】
である。K=6の場合のdomk(ρ)を表すグラフを図１３（ｂ）に示す。図１３（ｂ）において、横軸は正規化周波数、縦軸は応答である。
【００７９】
図１３（ｃ）は、帯域分割フィルタcortexk,l(u,v)による帯域分割を、横軸、縦軸ともに正規化周波数の空間上に示した模式図である。図１３（ｃ）では、各フィルタの半値周波数を、太い実線で示している。
【００８０】
逆フーリエ変換部1107は、帯域分割後の空間周波数情報に対して、逆フーリエ変換を施し、帯域分割画像データを生成する。以下では、デジタル画像に対するIsk,l(u,v)の逆フーリエ変換結果をisk,l(x,y)と、ホワイトノイズ画像に対するNsk,l(u,v) の逆フーリエ変換結果をnsk,l(x,y)と表記する。
【００８１】
ノイズマスク部1108は、逆フーリエ変換部1107から、帯域分割画像データisk,l(x,y) 及びnsk,l(x,y)を受け取る。ノイズマスク部1108は、帯域分割されたノイズ画像データnsk,l(x,y)に基づいて、帯域分割された画像データisk,l (x,y)に対するマスキングを施し、知覚されるノイズ画像データPk,l(x,y)を帯域毎に算出する。まず、マスキング強度Tek,l (x,y)を以下の式（１０）により算出する。
【００８２】
【数１８】
2015177528.tif 000020
【００８３】
ここで、
【００８４】
【数１９】
2015177528.tif 000021
【００８５】
であり、本実施例では W = 6, Q = 0.7,b= 4, s = 0.8とする。図１４は、この場合において、マスキング強度（isk,l(x,y)と、Tek,l (x,y)との関係）を示すグラフである。図１４では、横軸がisk,l(x,y)の強度を対数スケールで、縦軸がTek,l (x,y)の強度を対数スケールで表している。このTek,l (x,y)を用いて、以下の式（１１）によりPk,l(x,y)を算出する。
【００８６】
【数２０】
2015177528.tif 000022
【００８７】
ここで、mはFPN(x,y)の平均値である。
【００８８】
固定パターンノイズ知覚量算出部1109は、以下の式（１２）に基づいて帯域毎の知覚ノイズ画像データPk,l(x,y)を合成し、固定パターンノイズ知覚量データP(x,y)を算出する。P(x,y)は、位置(x,y)における固定パターンノイズ知覚量を表す。
【００８９】
【数２１】
2015177528.tif 000023
【００９０】
そして、端子1110より、固定パターンノイズ知覚量データP(x,y)を出力する。
【００９１】
［実施例３］
実施例１及び実施例２では、ランダムノイズの量に応じて固定パターンノイズ除去の強度を決定する方法について述べた。しかしながら動画撮影時においては、固定パターンノイズの知覚量（知覚の程度）は、ランダムノイズの量だけではなく、動画におけるフレーム間の被写体の相対移動速度にも依存する。被写体の相対移動速度とは、例えば、カメラのパン速度である。
【００９２】
特に、撮像素子で発生する白色ノイズでは、動画におけるフレーム間で被写体の移動速度が大きくなるにつれ、固定パターンノイズが知覚されにくくなる。本実施例では、カメラの移動速度に応じて固定パターンノイズ除去の強度を切り替える。以下では、実施例１からの差分について説明する。
【００９３】
＜画像処理部の構成＞
図１５は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、カメラの移動速度に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示する。
【００９４】
端子1501からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202では、固定パターンノイズを画像データ形式で取得する。移動速度取得部1502では、フレーム間の被写体の移動速度vR[deg/sec]を取得する。移動速度取得部1502の具体的な処理は後述する。固定パターンノイズ除去強度決定部1503では、フレーム間の被写体の移動速度に基づき、固定パターンノイズ除去の強度を設定するパラメータを決定する。本実施例においては、固定パターンノイズ低減部205では、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子1504からは、固定パターンノイズが除去されたデジタル画像データが出力される。
【００９５】
＜移動速度取得部の動作＞
図１６は、移動速度取得部1502の構成を示すブロック図である。移動速度取得部の動作を、図１６を用いて説明する。
【００９６】
撮像情報取得部1601は、信号処理部103から入力されるデジタル画像データに対する撮像時の諸条件情報（撮像情報）をRAM110から取得する。ここで、撮像時の諸条件情報とは、焦点距離f[mm]、センササイズw×h[mm]、露光時間t[sec]、及びフレームレートFR[fps]である。尚、撮像時の諸条件情報の取得方法はこれに限らず、任意の方法を利用できる。例えば、撮像時の諸条件情報をexif情報から取得しても良い。
【００９７】
ジャイロセンサ情報取得部1602は、信号処理部103から入力されるデジタル画像データに対する撮像時のジャイロセンサ情報をジャイロセンサ116から取得する。ここで、ジャイロセンサ情報とは、角速度ω[deg/sec]である。
【００９８】
移動速度算出部1603は、取得した撮像情報及びジャイロセンサ情報に基づき、撮像時の被写体が動いていないとしたときのフレーム間の被写体の移動速度vR [deg/sec]を算出する。まず、撮像光学系の画角θlens[deg]及び撮像時の１秒あたりの移動角度θgyroを、以下の式（１３）及び式（１４）により算出する。
【００９９】
【数２２】
2015177528.tif 000024
【０１００】
【数２３】
2015177528.tif 000025
【０１０１】
このとき、被写体が移動していないとすると、観察画角θview中の１秒あたりの移動角度θmoveは以下の式（１５）から算出される。
【０１０２】
【数２４】
2015177528.tif 000026
【０１０３】
ここで、ユーザーは、標準的な観察距離として、観察ディスプレイの縦の長さの３倍の距離から観察しているとする。観察ディスプレイの画角の縦横比が９：１６であるとするとき、観察画角θviewは以下の式（１６）から算出される。
【０１０４】
【数２５】
2015177528.tif 000027
【０１０５】
移動速度vR[deg/sec]は以下の式（１７）により算出される。
【０１０６】
【数２６】
2015177528.tif 000028
【０１０７】
端子1604からは、前記算出した移動速度vR [deg/sec]が出力される。
【０１０８】
＜固定パターンノイズ除去強度決定部の動作＞
固定パターンノイズ除去強度決定部1503は、フレーム間の被写体の移動速度に基づいて、固定パターンノイズが除去される補間対象領域を決定し、固定パターンノイズ除去の強度を決定する。
【０１０９】
以下では、固定パターンノイズ除去強度決定部1503の動作について、図１７のフローチャートを用いて、具体的に説明する。
【０１１０】
ステップS1701では、移動速度取得部1502により算出された移動速度vRに基づき、固定パターンノイズの振幅閾値thを取得する。ここで、振幅閾値thは、移動速度vRに対して単調増加の関数を用いて決定される。振幅閾値thと、フレーム間の被写体の移動速度vRとの関係の一例を、図１８に示す。このような関数を用いて振幅閾値thを決定することで、フレーム間の被写体の移動速度vRが遅いほど振幅閾値thは小さく補間対象領域の面積の総和は大きくなり、固定パターンノイズ除去の効果は大きくなる。
【０１１１】
ステップS1702では、固定パターンノイズデータFPN(x,y)から、着目画素の固定パターンノイズデータを選択する。以下では、着目画素を(xi, yi)とし、着目画素の固定パターンノイズデータをFPN(xi, yi)と表記する。
【０１１２】
ステップS1703では、着目画素に対するFPN(xi,yi)と、振幅閾値thとを用いてR(xi,yi)を算出し、着目画素が補完対象となるか否かを決定する。ここで、R(x,y)は、位置(x,y)において補間処理を実行するか否かを表現するマップである。R(xi, yi) =1のときに補間処理は実行され、R(xi,yi)=0のときに補間処理は実行されない。R(xi, yi)の値は、実施例１と同様に式（４）により決定される。
【０１１３】
ステップS1704では、処理が全画素に対して行われたかを判断する。判断の結果、全画素に対して処理が完了していれば、ステップS1702に移行し、そうでなければ、処理を終了する。
【０１１４】
以上、本実施例によれば、カメラの移動速度に応じて固定パターンノイズ除去の強度を決定することで、画質の劣化を抑え、かつ、固定パターンノイズが知覚されない映像を提供できる。
【０１１５】
［実施例４］
実施例３では、画像内（フレーム間）の被写体の移動速度をジャイロセンサ情報から算出した。しかしながら、被写体も実際に移動している場合、ジャイロセンサ情報のみをからでは画像内の被写体の移動速度を正しく算出できないという課題があった。そこで本実施例では、画像内の被写体の動きベクトルから画像内の被写体の移動速度を算出することで、被写体の移動に対応した固定パターンノイズ除去の制御を行う。以下では、実施例３からの差分について説明する。
【０１１６】
＜画像処理部の構成＞
図１９は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、被写体の移動速度に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示できる。
【０１１７】
端子1901からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202では、固定パターンノイズを画像データ形式で取得する。移動速度取得部1902では、端子1901から入力したデジタル画像データに基づき、画像内の被写体の移動速度vR[deg/sec]を取得する。ここで、画像内の被写体の移動速度とは、被写体と、カメラとの間の相対的な位置関係の変化の割合のことを指す。移動速度取得部1902の具体的な処理は後述する。固定パターンノイズ除去強度決定部1503では、画像内の被写体の移動速度から、固定パターンノイズ除去の強度を設定するパラメータを決定する。本実施例においては、固定パターンノイズ低減部205では、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子1903からは、固定パターンノイズが除去されたデジタル画像データが出力される。
【０１１８】
＜移動速度取得部の動作＞
図２０は、移動速度取得部1902の構成を示すブロック図である。移動速度取得部の動作を、図２０を用いて説明する。
【０１１９】
端子2001より、信号処理部103で処理されたデジタル画像データが入力される。このデジタル画像データは、フレームメモリ2002へと入力される。
【０１２０】
動きベクトル算出部2003では、端子2001から入力された画像データと、フレームメモリ2002から入力された遅延画像データとに対し、領域分割処理を実行する。分割ブロックは128×128pixelや256×256pixelのサイズで良い。動きベクトル算出部2003は、該分割ブロックごとに、動き成分d[pixel]を計算し、計算結果を移動速度算出部2004に対して出力する。
【０１２１】
移動速度算出部2004は、RAM110に記憶されたフレームレート設定情報FR[fps]を取得し、前記動き成分dから画像内の被写体の移動速度vR[deg/sec]を算出する。ユーザーが、標準的な観察距離である、ディスプレイの縦の長さの３倍の距離から観察しているとき、画像内の被写体の移動速度vR[deg/sec]は、以下の式（１８）により算出される。尚、観察するディスプレイは、ＦＨＤであるとする。
【０１２２】
【数２７】
2015177528.tif 000029
【０１２３】
式（１８）により算出した、ブロックごとの移動速度vR[deg/sec]は、端子2005より、固定パターンノイズ除去強度決定部1503へ出力される。
【０１２４】
以上、本実施例によれば、画像内の被写体の移動速度を被写体ごとに算出することができる。これにより、カメラではなく被写体が移動した場合にも、固定パターンノイズ除去の強度を適切に設定できる。
【０１２５】
［実施例５］
実施例３及び実施例４では、固定パターンノイズが白色ノイズであるという仮定の下、画像内の被写体の移動速度に応じて固定パターンノイズ除去の強度を決定していた。しかしながら、撮像素子の特性によっては、固定パターンノイズが白色ノイズであるとは限らない。このような場合、固定パターンノイズの知覚量は、画像内の被写体の移動速度と、固定パターンノイズの周波数特性とによって決まる。具体的には、固定パターンノイズが高周波の場合には、画像内の被写体の移動速度が増加するに伴い固定パターンノイズの知覚量は低下する。反対に、固定パターンノイズが低周波の場合には、画像内の被写体の移動速度が増加するに伴い固定パターンノイズの知覚量は増加する。
【０１２６】
本実施例では、固定パターンノイズの周波数特性と、画像内の被写体の移動速度との両方を考慮して固定パターンノイズ除去の強度を決定する。具体的には、画像内の被写体の移動速度によって定まる視覚の空間周波数応答特性と、固定パターンノイズとに基づいて、固定パターンノイズの知覚量を算出し、当該算出した固定パターンノイズの知覚量に基づいて、固定パターンノイズ除去の強度を決定する。以下では、実施例３からの差分について説明する。
【０１２７】
＜画像処理部の構成＞
図２１は、本実施例に係る画像処理部104が備える固定パターンノイズ除去処理に関する構成を示すブロック図である。画像処理部104は、画像内の被写体の移動速度に応じて、固定パターンノイズ除去の強度を変更する。これにより、固定パターンノイズが知覚されず、かつ、破綻のない画像を提示する。
【０１２８】
端子2101からは、信号処理部103で処理されたデジタル画像データを入力する。固定パターンノイズ取得部202は、固定パターンノイズを画像データ形式で取得する。移動速度取得部1902は、端子2101から入力したデジタル画像データに基づき、画像内の被写体の移動速度vR[deg/sec]を取得する。視覚特性取得部2103は、移動速度取得部1902により取得した移動速度vRに基づき、当該速度で移動する被写体を人間が追従視する際の、視覚の空間周波数応答特性を取得する。固定パターンノイズ除去強度決定部2104は、画像内の被写体の移動速度に基づき決定された視覚の空間周波数応答特性と、固定パターンノイズの周波数特性とに基づき、固定パターンノイズの知覚量を算出する。そして、固定パターンノイズ除去強度決定部2104は、当該算出した固定パターンノイズの知覚量に基づき、固定パターンノイズ除去の強度を設定するパラメータを決定する。固定パターンノイズ低減部205は、前記決定されたパラメータに従って、固定パターンノイズ除去の処理を実行する。端子2105からは、固定パターンノイズが除去されたデジタル画像データが出力される。
【０１２９】
＜視覚特性取得部の動作＞
視覚特性取得部2103は、移動速度取得部1902より取得した移動速度vRに基づき、移動速度vRで移動する被写体を人間が追従視する際の視覚の空間周波数応答特性を取得する。図２２は、被写体の移動速度に応じた視覚特性（空間周波数応答特性）の変化を表す図である。図２２に示すように、10deg/secにおける視覚特性と、0deg/secにおける視覚特性とは異なる。本実施例では、以下の式（１９）で与えられる視覚特性を用いる（非特許文献２を参照）。
【０１３０】
【数２８】
2015177528.tif 000030
【０１３１】
ここで、
【０１３２】
【数２９】
2015177528.tif 000031
【０１３３】
として定義される。vRは、分割領域ごとに算出された動きベクトルにより決定される。例えば、動きベクトルの平均値をそのままvRとしても良い。また、本実施例では、s1=6.1、s2= 7.3、p1=45.9、c0 = 0.6329、c1 = 0.8404、c2 = 0.7986、である。
【０１３４】
尚、本実施例では、固定パターンノイズの知覚量を算出するのに、式（１９）に示す視覚特性（空間周波数応答特性）を用いるが、本発明は式（１９）に示す視覚特性に限定されない。本発明で用いる追従視時の視覚特性は、被写体の動きが大きくなるにつれて、感度のピークが低周波側へシフトするバンドパス特性であれば良く、他の視覚特性や実測データ等を用いても良い（例えば、非特許文献３を参照）。
【０１３５】
＜固定パターンノイズ除去強度決定部の構成＞
固定パターンノイズ除去強度決定部2104は、固定パターンノイズの周波数特性及び被写体速度に応じた視覚特性（空間周波数応答特性）に基づいて、固定パターンノイズを除去するか否かを判断するために用いられる補間領域情報を決定する。これにより、固定パターンノイズ除去強度決定部2104は、固定パターンノイズ除去の強度を設定する。
【０１３６】
図２３は、固定パターンノイズ除去強度決定部2104の構成を示すブロック図である。端子2301からは、固定パターンノイズ取得部202で取得した固定パターンノイズデータFPN(x, y)を入力する。端子2302からは、視覚特性取得部2103で取得した視覚特性データCSF (ρ,vR)を入力する。固定パターンノイズ知覚量取得部2303は、固定パターンノイズデータFPN(x, y)及び視覚特性データCSF (ρ,vR)を用いて、固定パターンノイズの知覚量を計算し、取得する。補間領域情報決定部2304は、前記取得した固定パターンノイズの知覚量に基づき、補間領域情報を決定する。端子2305からは、補間領域情報が出力される。
【０１３７】
＜固定パターンノイズ知覚量取得部の構成＞
図２４は、本実施例に係る固定パターンノイズ知覚量取得部2303の構成を示すブロック図である。固定パターンノイズ知覚量取得部2303は、固定パターンノイズデータFPN(x,y)に対して視覚特性VTF(u,v)を乗算し、そのパワーをとる（絶対値の２乗を計算する）ことで固定パターンノイズ知覚量を算出する。以下では、固定パターンノイズ知覚量取得部における各処理について具体的に説明する。
【０１３８】
端子2401からは、固定パターンノイズデータFPN(x,y)を入力する。
【０１３９】
フーリエ変換部2402では、固定パターンノイズデータFPN(x,y)に対してフーリエ変換を施し、FFPN(u,v)を取得する。
【０１４０】
空間視覚特性乗算部2403は、FFPN(u,v)に対し、視覚特性VTF(u,v)を乗算する。尚、VTF(u,v)は、VTF(u,v)=VTFsx(u)×VTFsy(v)で定義される。ここで、VTFsx(u) は横方向の空間視覚特性、VTFsy(v)は縦方向の空間視覚特性である。VTFsx(u)及びVTFsy(v)は、それぞれ以下の式（２０）及び式（２１）で定義される。      
【０１４１】
【数３０】
2015177528.tif 000032
【０１４２】
【数３１】
2015177528.tif 000033
【０１４３】
ここで、画素ピッチをp(mm)、視距離をR(mm)、映像の横画素数をNx、縦画素数をNyとする。これらの値は、一般的なユーザー観察環境に基づいて定める。尚、関数CSFは、視覚特性取得部2103で取得されたものであり、端子2404から入力される。
【０１４４】
固定パターンノイズ知覚量算出部2405は、固定パターンノイズの知覚量を表す数値FPNvalを出力する。具体的にFPNvalは、以下の式（２２）によって算出される。
【０１４５】
【数３２】
2015177528.tif 000034
【０１４６】
ここで、Wは画像の幅であり、Hは画像の高さである。
【０１４７】
＜補間領域情報決定部の動作＞
補間領域情報決定部2304では、固定パターンノイズ除去の対象領域を決定することで、固定パターンノイズ除去の強度を変更する。本実施例では、固定パターンノイズデータFPN(x,y)の各画素に対してノイズの振幅を計算し、その振幅に対して閾値処理を施すことで補間領域情報を決定する。尚、閾値処理で用いる閾値は、固定パターンノイズの知覚量FPNvalに応じて決定する。
【０１４８】
以下では、補間領域情報決定部2304の動作について、図２５のフローチャートを用いて、具体的に説明する。
【０１４９】
ステップS2501では、固定パターンノイズの知覚量FPNvalに基づき、固定パターンノイズの振幅閾値thを取得する。ここで、振幅閾値thは、FPNvalが大きくなるにつれて振幅閾値thも大きくなるという関係に従って決定される。
【０１５０】
ステップS2502では、着目画素の固定パターンノイズデータを取得する。以下では、着目画素の固定パターンノイズデータをFPN(xi, yi)と表記する。
【０１５１】
ステップS2503では、着目画素に対するFPN(xi,yi)と、振幅閾値thとを用いてR(xi,yi)を算出することで補完領域情報を決定する。ここで、R(x,y)は、位置(x,y)において補間処理を実行するか否かを表現するマップである。R(xi, yi) =1のときに補間処理は実行され、R(xi,yi)=0のときに補間処理は実行されない。R(xi, yi)の値は、具体的に以下の式（２３）により算出される。
【０１５２】
【数３３】
2015177528.tif 000035
【０１５３】
ステップS2504では、処理が全画素に対して行われたか否かを判断する。判断の結果、全画素に対して処理が完了していない場合、ステップS2502に移行し、そうでなければ、処理を終了する。
【０１５４】
以上、本実施例によれば、画像内の被写体の移動速度と、固定パターンノイズの周波数特性とに基づき、固定パターンノイズの知覚量が決定され、当該決定された固定パターンノイズの知覚量に基づき、最適な固定パターンノイズ除去処理を実行することができる。
【０１５５】
［実施例６］
上述の実施例では、固定パターンノイズが発生している領域を周辺の類似領域を用いて補間することで固定パターンノイズを除去していた。しかしながら、本発明はこれに限定されず、フィルタリング処理等を用いて固定パターンノイズを除去しても良い。例えば、Non Local Menas法等の適応的フィルタリング処理では、画像構造の類似度に応じて周辺領域の画素を加重平均することで、好適に固定パターンノイズを除去できる。
【０１５６】
［他の実施例］
前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明の目的が達成される。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１５７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることができる。
【０１５８】
また、コンピュータが読み出したプログラムコードを実行することによって、前述した実施例の機能が実現される。他に、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施例の機能が実現され得る。
【０１５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施例の機能が実現され得る。
【０１６０】
尚、本発明は、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体から、そのプログラムを、パソコン通信など通信ラインを介して要求者に配信する場合にも適用できる。
【図１】
2015177528.tif 000036
【図２】
2015177528.tif 000037
【図３】
2015177528.tif 000038
【図４】
2015177528.tif 000039
【図５】
2015177528.tif 000040
【図６】
2015177528.tif 000041
【図７】
2015177528.tif 000042
【図８】
2015177528.tif 000043
【図９】
2015177528.tif 000044
【図１０】
2015177528.tif 000045
【図１１】
2015177528.tif 000046
【図１２】
2015177528.tif 000047
【図１３】
2015177528.tif 000048
【図１４】
2015177528.tif 000049
【図１５】
2015177528.tif 000050
【図１６】
2015177528.tif 000051
【図１７】
2015177528.tif 000052
【図１８】
2015177528.tif 000053
【図１９】
2015177528.tif 000054
【図２０】
2015177528.tif 000055
【図２１】
2015177528.tif 000056
【図２２】
2015177528.tif 000057
【図２３】
2015177528.tif 000058
【図２４】
2015177528.tif 000059
【図２５】
2015177528.tif 000060