(57)【要約】【課題】被写体の動きに応じて変化する人間の視覚の感度を考慮したノイズリダクション処理を行う。【解決手段】画像処理装置は、入力された画像信号から画像の動きを算出し、算出された画像の動きに対応する人間の視覚特性を取得し、取得された視覚特性に基づいて、入力された画像信号に適用するノイズリダクション処理を決定する。【選択図】図３
2015097357.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
入力された画像信号から画像の動きを算出する算出手段と、
算出された前記画像の動きに対応する人間の視覚特性を取得する取得手段と、
取得された前記視覚特性に基づいて、前記入力された画像信号に適用するノイズリダクション処理を決定する決定手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記視覚特性に基づいて、前記入力された画像信号に適用可能な複数のノイズリダクション処理後の画質をそれぞれ評価する評価手段を更に備え、
前記決定手段は、前記評価手段の評価結果に基づいて、前記入力された画像信号に適用するノイズリダクション処理を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価手段は、前記入力された画像信号に適用可能な複数のノイズリダクション処理後の画質の評価値をそれぞれ算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
所定のフィルタ係数を有するフィルタ特性を取得するフィルタ特性取得手段を更に備え、
前記評価手段は、前記視覚特性と前記フィルタ特性を用いて前記入力された画像信号を処理することにより、前記評価値を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記決定手段は、前記フィルタ特性取得手段によって取得されたフィルタ特性を用いて算出された前記評価値が最小となるときのノイズリダクション処理を決定することを特徴とすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記評価手段は、前記入力された画像信号に適用するノイズリダクション処理後のボケ劣化量とノイズ残留量を算出し、該ボケ劣化量と該ノイズ残留量に基づいて前記評価値を算出することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記評価手段は、前記ボケ劣化量と前記ノイズ残留量を重み付き線形和することによって前記評価値を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記評価手段は、前記評価値として、前記入力された画像信号におけるノイズレスの状態の空間周波数特性に基づいて画質劣化量を算出することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、前記評価値が最小となるときのノイズリダクションを決定することを特徴とすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
画像処理装置の制御方法であって、
入力された画像信号から画像の動きを算出する算出工程と、
算出された前記画像の動きに対応する人間の視覚特性を取得する取得工程と、
取得された前記視覚特性に基づいて、前記入力された画像信号に適用するノイズリダクション処理を決定する決定工程とを備えることを特徴とする画像処理装置の制御方法。
【請求項１１】
請求項１乃至請求項１０のいずれか１項に記載の画像処理装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のノイズを低減する画像処理装置に関する。
【背景技術】
【０００２】
映像のデジタル化に伴い、デジタル画像に対するノイズ低減技術が重要となっている。近年、より良好なノイズ低減を実現する為、被写体の動きに応じて適応的な処理を施すノイズリダクション手法が提案されている。例えば特許文献1では、動き検出処理により、静止画領域と動画領域を判定し、静止画領域には面間処理（フレーム巡回型ノイズリダクション）を適用し、動画領域には面内処理（空間ノイズノイズリダクション）を施している。また、特許文献2では、動きベクトルの大きさに伴い、ノイズリダクションの強度を変更している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-235319号公報
【特許文献２】特開2012-222740号公報
【非特許文献】
【０００４】
【非特許文献１】J.Laird, M. Pelz, E. Montag, and S. Daly: “Spatio-Velocity CSF as a Function of Retinal Velocity using Unstabilized Stimuli”, Proc. of SPIE, 6057,(2006)
【非特許文献２】D. Kelly, Motion and vision. II. Stabilized spatio-temporal threshold surface, JOSA, 69, pp. 1340-1349 (1979)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動画において、被写体の動きに応じて人間の視覚の感度が変化するという視覚特性が知られている。具体的には、被写体が動いている部分において低周波のノイズが載ると目立ちやすくなり、逆に高周波のノイズが載った場合にはあまり目立たない。また、速く動いている被写体をぼかしても劣化は知覚されにくいが、静止している被写体をぼかした場合は劣化が知覚されやすい。
【０００６】
しかしながら、従来手法では、被写体の動き量に応じた人間の視覚の感度の変化が考慮されていないため、被写体のうち、同じ速度で動いている領域には同程度のノイズリダクションが適用される。このため、ノイズリダクションが強すぎて被写体に鮮鋭性劣化が発生してしまったり、逆にノイズリダクションが弱すぎて被写体にノイズが残留してしまうといった課題があった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、被写体の動きに応じて変化する人間の視覚の感度を考慮したノイズリダクション処理を行い、ノイズが少なくかつ鮮鋭感劣化の少ない動画を表示することを目的とする。
ことを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、入力された画像信号から画像の動きを算出する算出手段と、算出された前記画像の動きに対応する人間の視覚特性を取得する取得手段と、取得された前記視覚特性に基づいて、前記入力された画像信号に適用するノイズリダクション処理を決定する決定手段とを備える。
【発明の効果】
【０００９】
被写体の動きに応じて変化する人間の視覚の感度を考慮したノイズリダクション処理を行うことができ、ノイズが少なくかつ鮮鋭感劣化の少ない動画を表示できる。
【図面の簡単な説明】
【００１０】
【図１】第一実施形態による画像処理装置の構成を示すブロック図。
【図２】第一実施形態による画像処理部の構成を示すブロック図。
【図３】第一実施形態よるノイズ低減部の構成を示すブロック図。
【図４】被写体の移動速度に応じた視覚特性を示す模式図。
【図５】第一実施形態によるノイズリダクション選択部の構成を示すブロック図。
【図６】ノイズリダクション処理の周波数特性の一例を示す模式図。
【図７】第一実施形態による画質評価部の構成を示すブロック図。
【図８】第一実施形態によるボケ量算出部の構成を示すブロック図。
【図９】第一実施形態によるノイズ量算出部の構成を示すブロック図。
【図１０】第二実施形態における画質評価部の構成を示すブロック図。
【図１１】第三実施形態におけるノイズ低減部の構成を示すブロック図。
【図１２】第三実施形態におけるノイズリダクション選択部の構成を示すブロック図。
【図１３】第三実施形態における画質評価部の構成を示すブロック図。
【発明を実施するための形態】
【００１１】
［第一実施形態］
本実施形態による画像処理装置は、被写体の動きに応じて変化する人間の視感の感度に応じて、被写体の周波数特性及びノイズの周波数特性を考慮して最適なノイズリダクション処理を選択する。具体的にはまず、画像処理装置は、映像の動きベクトルの大きさから視覚周波数応答特性を決定する。次に、画像処理装置は、決定した視覚周波数応答特性をもとに、複数のノイズリダクション処理の候補に対して被写体のボケ劣化量を表す数値とノイズの残留量を表す数値を計算し、これらの数値が最良となるノイズリダクション処理を決定する。なお、本実施形態による画像処理装置は、画像を所定の領域に分割し、分割された領域それぞれに対してノイズリダクション処理を施すものとする。
【００１２】
＜画像処理装置の構成＞
図１は本実施形態による画像処理装置の構成を示すブロック図である。図１は画像処理装置としてデジタルカメラの構成を示している。撮像部101は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。A/D変換部102は、被写体の光量をデジタル値に変換する。信号処理部103は、A/D変換部102で変換されたデジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像の信号を生成する。画像処理部104は、信号処理部103で生成されたデジタル画像に対してノイズ低減処理を行う。エンコーダ部105は、画像処理部104でノイズ低減された後のデジタル画像をJPEG等の映像圧縮フォーマットに変換する処理を行う。メディアインタフェース（I/F）106は、メディア107（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインタフェースである。
【００１３】
CPU108は各構成の処理全てに関わり、ROM109やRAM110に格納された命令を順に読み込み処理を実行する。そして、CPU108はシステムバス115を介して各構成を制御する。また、ROM109とRAM110は、処理に必要なプログラム、データ、作業領域などをCPU108に提供する。撮像制御部111は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU108からの指示によって撮像系の制御を行う。操作部112は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。ユーザー指示としては、ISO感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。これらの撮影設定はCPU108で処理が行われ、デジタルカメラの撮影条件に反映されると共に、RAM110に記憶される。D/A変換部113は、画像処理部104でノイズ低減されたデジタル画像に対しアナログ変換を行う。表示部114は、一般的には液晶ディスプレイが広く用いられており、D/A変換部113から受け取った撮影画像の表示を行う。
【００１４】
＜画像処理部104の構成＞
図２は、本実施形態による画像処理部104の構成を示す図である。端子201には、信号処理部103で生成されたデジタル画像信号が入力される。端子201に入力されたデジタル画像信号は、動きベクトル算出部202とフレームメモリ203に入力される。フレームメモリ203は入力された画像信号を１フレーム分を遅延させた遅延画像信号を動きベクトル算出部202へ入力する。動きベクトル算出部202は、端子201から入力された画像信号と、フレームメモリ203から入力された遅延画像信号をもとに、動きベクトルを計算し、ノイズ低減部204に入力する。カメラ設定取得部205は、RAM110に記憶された、ISO感度設定、シャッター速度設定、Ｆ値設定等の撮影設定情報を取得する。ノイズ特性記憶部206は、ISO感度、シャッター速度、Ｆ値に応じたノイズ特性を、テーブルもしくは関係式を用いて関連付けて記憶する。本実施形態におけるノイズ特性は、ノイズ量と自己相関関数から表される。ノイズ情報取得部207は、ノイズ特性記憶部206より取得した撮影設定情報に基づき、ノイズ特性記憶部206からノイズ特性を取得し、画像に含まれるノイズ情報としてノイズ低減部204に送信する。ノイズ低減部204は、ノイズ情報取得部207から入力されたノイズ情報、端子201から入力されたデジタル画像信号、動きベクトル算出部202から入力された動きベクトルに基づき、最適なノイズリダクション処理を施す。ノイズリダクション処理が施されたデジタル画像信号は、端子208から出力される。
【００１５】
＜ノイズ低減部204の構成＞
図３は、本実施形態によるノイズ低減部204の構成を示す図である。端子301には、信号処理部103で生成されたデジタル画像信号が入力される。端子302には、動きベクトル算出部202で算出された動きベクトルが入力される。端子303には、ノイズ情報取得部207で取得されたノイズ情報が入力される。デジタル画像信号と動きベクトルは、領域分割部304に入力される。領域分割部304は、入力されたデジタル画像信号と動きベクトルを、適当な大きさのブロックに分割する。１ブロックの単位（サイズ）は、例えば３２×３２や６４×６４などとしてもよい。ブロック分割された動きベクトルは、視覚特性取得部305へ入力される。視覚特性取得部305は、入力された動きベクトルに対応する被写体の移動速度を求め、その速度で移動する被写体を人間が追従視する際の人間の視覚の感度の値を取得する。ノイズリダクション選択部306は、領域分割部304から入力される領域分割後のデジタル画像信号、視覚特性取得部305から入力される人間の視覚の感度の値、及び端子303から入力されるノイズ情報から、最適なノイズリダクション処理の係数を決定する。ノイズリダクション処理部307は、決定されたノイズリダクション処理の係数を用いて、ノイズリダクション処理を実行する。
【００１６】
本実施形態では、非特許文献1に記載される視覚特性を用いる。具体的には、非特許文献1では、視覚特性は、空間周波数によって知覚できる輝度の変化量が異なるというコントラスト感度関数によって表現され、以下の式で与えられる。
2015097357.tif 000003
ここで、
2015097357.tif 000004
として定義される。なお、ρ[cycles/degree]は空間周波数であり、vRは、領域分割された動きベクトルにより決定される値である。vRは、例えば、１ブロックにおける動きベクトルの平均値をそのままvRとしてもよい。また、s1=6.1、s2= 7.3、p1=45.9、c0 = 0.6329、c1 = 0.8404、c2 = 0.7986、p1 = 45.9である。
【００１７】
図４は、被写体の移動速度に応じた視覚特性の変化を表す図である。図４には、視覚特性として前述のコントラスト感度が表されており、静止被写体をを観察する状況（被写体の速度が0[deg/sec]）と動被写体と観察（追従）する状況（被写体の速度が10[deg/sec]）の視覚特性が描かれている。なお、本実施形態では非特許文献1による視覚特性を例に説明するが、これに限定されない。例えば、非特許文献2など、他の視覚特性や実測データ等を用いてもよい。図４にも示されるように、一般に、視覚特性は、バンドパスの特性を持っていることが知られている。例えば、静止被写体を観察する状況では、視覚周波数応答特性は4〜5cycles/degreeあたりにピークをもつバンドパス特性となる。これに対して、動被写体を追従する状況では、高周波側の感度が弱くなり、低周波側の感度が強くなることが知られている。このため、本実施形態で用いる追従視時の視覚特性は、被写体の動きが大きくなるにつれて、感度のピークが低周波側へシフトするバンドパス特性であればよい。
【００１８】
＜ノイズリダクション選択部306の構成＞
図５はノイズリダクション選択部306の構成を表す図である。端子501には、領域分割部304からデジタル画像信号が入力される。端子502には、端子303からノイズ情報が入力される。端子503には、視覚特性取得部305で取得された視覚特性が入力される。フィルタ係数設定部504は、ROM109に記憶されている、デジタル画像信号に適用可能なノイズリダクションのフィルタ係数候補からひとつを選択し、設定する。フィルタ特性取得部505は、フィルタ係数設定部504によって設定されたフィルタ係数を有するフィルタの周波数応答特性（以下、フィルタ特性）をROM109から取得する。図６は、フィルタ特性の一例を示す図である。
【００１９】
画質評価部506は、デジタル画像信号、フィルタ特性、及び視覚特性から、ノイズリダクション処理後の画質の評価値（以下、画像評価値）を計算する。画質評価部506の具体的な処理に関しては後述する。ノイズリダクション決定部507は、画質評価部506から出力された評価結果に基づき、最適なノイズリダクション処理の係数を決定する。例えば、画質評価部506から出力された値が最小となるフィルタ係数を最適なノイズリダクション処理の係数として決定してもよい。このように、本実施形態では、画質評価部の506出力値に基づきノイズリダクションを切り替える。これにより、被写体の周波数特性や動き量に最適なノイズリダクション処理を適用できる。例えば、細かいテクスチャをもつ被写体に対して、テクスチャが低速度の場合にはテクスチャを残すことを優先し、テクスチャが判別できないほど速く動いている場合は、ノイズ低減を優先するといった処理が可能である。
【００２０】
＜画質評価部506の構成＞
図７は、本実施形態による画質評価部506の構成を示す図である。端子701には、端子501からデジタル画像信号が入力される。端子702には、端子502からノイズ情報が入力される。端子703には、端子503から視覚特性が入力される。端子704には、フィルタ特性取得部505で取得されたフィルタ特性が入力される。ボケ量算出部705は、デジタル画像信号、フィルタ特性、及び視覚特性とから、ノイズリダクション処理後のボケ劣化量の推定値を計算する。また、ノイズ量算出部706は、ノイズ情報、フィルタ特性、及び視覚特性とから、ノイズリダクション処理後のノイズ残留量の推定値を計算する。ボケ量算出部705及びノイズ量算出部706の具体的な処理に関しては後述する。評価値統合部707は、ボケ劣化量推定値およびノイズ残留量推定値を統合し、ひとつの画質評価値を得て端子708に出力する。例えば、ボケ劣化量推定値とノイズ残留量推定値の重み付き線形和を画質評価値として出力してもよい。
【００２１】
＜ボケ量算出処理部＞
図８は、ボケ量算出部705の構成を示す図である。端子801には、端子701からデジタル画像信号が入力される。端子802には、端子703から視覚特性が入力される。端子803には、端子704からフィルタ特性が入力される。以下では、デジタル画像信号をi(x,y)、視覚特性をvtf(ρ)、フィルタ特性をr(u,v)として、ボケ量算出部705の処理を具体的に説明する。
【００２２】
フーリエ変換部804は、デジタル画像信号i(x,y)に対してフーリエ変換処理を施す。i(x,y)のフーリエ変換結果を、以下ではI(u,v)として表す。視覚特性乗算部805は、I(u,v)に対して、空間視覚特性であるVTF(u,v)を乗算する。VTF(u,v)は、入力された視覚特性vtf(ρ)を用いて以下のように計算される。まず、vtf(ρ)のρの単位は[cycles/degree]であるため、I(u,v)と単位が一致するようにvtf(ρ)をリサンプリングする必要がある。具体的には、VTFsx(u) を横方向の空間視覚特性、VTFsy(v)を縦方向の空間視覚特性とすると、これらはそれぞれ以下の式で定義される。
2015097357.tif 000005
2015097357.tif 000006
ここで、画素ピッチをp(mm)、視距離をR(mm)、画像の横画素数をNx、縦画素数をNyである。これらの値は、一般的なユーザー観察環境に基づいて定められる。そして、空間視覚特性であるVTF(u,v)は、VTFsx(u) 及びVTFsy(v)を用いて、以下の式で定義される。
2015097357.tif 000007
視覚特性乗算部805は、VTF(u,v)をI(u,v)に乗算して得たI_vtf(u,v)を出力する。
【００２３】
フィルタ特性乗算部806は、視覚特性乗算部805の出力であるI_vtf(u,v)に対して端子803から入力されたフィルタ特性r(u,v)を乗算することで、I_vtf_filt(u,v)を得る。ボケ量計算部807は、視覚特性乗算部805の出力であるI_vtf(u,v)及びフィルタ特性乗算部806の出力であるI_vtf_filt(u,v)を用いて、ノイズリダクションに伴う被写体のボケ劣化量Bvalを推定する。具体的には、ボケ劣化量Bvalは、以下の式のように、I_vtf(u,v)とI_vtf_filt(u,v)の周波数パワースペクトルの差分の絶対値を総和することで算出される。
2015097357.tif 000008
ボケ量計算部807は、このように推定したボケ劣化量Bvalを出力する。
【００２４】
＜ノイズ量算出部706の構成＞
図９は、ノイズ量算出部706の構成を示す図である。端子901には、端子702からノイズ情報が入力される。端子902には、703から視覚特性が入力される。端子903には、端子704からフィルタ特性が入力される。ノイズ画像生成部904は、端子901から入力されたノイズ情報を用いて、ノイズ画像n(x,y)を以下の手順で生成する。
【００２５】
ノイズ画像生成部904はまず、デジタル画像信号と同じサイズのホワイトノイズ画像信号nw(x,y)を、所定のパワーとなる様に生成する。ノイズ画像生成部904は次に、生成したホワイトノイズ画像信号nw(x,y)に対して下記の演算を施して、カメラのノイズ画像信号n(x,y)を推定する。
2015097357.tif 000009
ここでαは、ノイズ情報のうちのノイズ量に関する補正項である。また、c(x,y)は、ノイズ情報のうちの自己相関関数のフーリエ変換結果とパワースペクトラムが一致するように求められた係数である。
【００２６】
フーリエ変換部905は、ノイズ画像信号n(x,y)に対してフーリエ変換処理を施す。n(x,y)のフーリエ変換結果を、以下ではN(u,v)として表す。視覚特性乗算部906は、N(u,v)に対して、VTF(u,v)を乗算する。VTF(u,v)は、入力された視覚特性vtf(ρ)を用いて以下のように計算される。まず、vtf(ρ)のρの単位は[cycles/degree]であるため、I(u,v)と単位が一致するようにvtf(ρ)をリサンプリングする必要がある。具体的には、VTFsx(u)を横方向の空間視覚特性、VTFsy(v)を縦方向の空間視覚特性とすると、これらはそれぞれ以下の式で定義される。
2015097357.tif 000010
2015097357.tif 000011
ここで、画素ピッチをp(mm)、視距離をR(mm)、画像の横画素数をNx、縦画素数をNyである。これらの値は、一般的なユーザー観察環境に基づいて定められる。そして、空間視覚特性であるVTF(u,v)は、VTFsx(u) 及びVTFsy(v)を用いて、以下の式で定義される。
2015097357.tif 000012
視覚特性乗算部906は。VTF(u,v)をI(u,v)に乗算することで、N_vtf(u,v)を得て、これを出力する。
【００２７】
フィルタ特性乗算部907は、視覚特性乗算部906の出力であるI_vtf(u,v)に対してフィルタ特性r(u,v)を乗算することで、I_vtf_filt(u,v)を得る。ノイズ量計算部908は、フィルタ特性乗算部907の出力であるN_vtf_filt(u,v)を用いて、ノイズリダクションに伴うノイズの残留量Nvalを推定する。具体的には、N_vtf_filt(u,v)のパワーの絶対値を総和することで算出される。
2015097357.tif 000013
ノイズ量計算部908は、このように推定したノイズ残留量Nvalを出力する。
【００２８】
以上、本実施形態によれば、被写体の動きに伴う人間の視覚の感度の変化、ノイズの特性及び被写体の特性に応じてノイズリダクション処理を変更できる。これにより、人間が知覚するノイズの残留量が少なく、かつ解像感劣化の少ないという特徴を有する動画ノイズ低減を実現することができる。
【００２９】
［第二実施形態］
第一実施形態では、画質評価部506は、ボケ劣化量の推定値とノイズ残留量の推定値の二つの推定値から総合的な画質評価値を計算するため、回路規模及び計算量が大きなものとなっていた。そこで本実施形態では、一つの推定値から総合的な画質評価値を計算する。具体的には、入力されるデジタル画像信号とノイズ情報とを用いて、ノイズレスの状態の理想的な被写体の空間周波数特性を推定し、その推定結果に基づいて総合的な画質評価値を算出する。本実施形態によれば、第一実施形態より回路規模を減らすことができる。以下では、第一実施形態との変更箇所について説明する。
【００３０】
＜画質評価部506の構成＞
図１０は、本実施形態による画質評価部506の構成を示す図である。端子1001には、端子501からデジタル画像信号が入力される。端子1002には、端子502からノイズ情報が入力される。端子1003には、端子503から視覚特性が入力される。端子1004には、フィルタ特性取得部505で取得されたフィルタ特性が入力される。以下では、ノイズリダクション処理前のデジタル画像信号をi(x,y)、視覚特性をvtf(ρ)、フィルタ特性をr(u,v)として、画質評価部506の処理を具体的に説明する。
【００３１】
ノイズ画像生成部1005は、端子901から入力されたノイズ情報を用いて、ノイズ画像信号n(x,y)を生成する。ノイズ画像信号の生成方法は、第一実施形態において説明した方法と同様である。フーリエ変換部1006は、デジタル画像信号i(x,y)およびノイズ画像信号n(x,y)に対してフーリエ変換処理を施す。i(x,y)のフーリエ変換結果を、以下ではI(u,v)として、n(x,y)のフーリエ変換結果をN(u,v)として表す。
【００３２】
被写体特性推定部1007は、I(u,v)及びN(u,v)から、ノイズレスの理想的な被写体の空間周波数特性S(u,v)を推定する。本実施形態では、スペクトルサブトラクション法によりS(u,v)を推定するが、これに制限されない。以下では、S(u,v)の推定処理について具体的に述べる。スペクトルサブトラクション法では、フーリエ変換後のデジタル画像信号I(u,v)とノイズ画像信号N(u,v)のスペクトル差分をとることで、S(u,v)を推定する。具体的にはS(u,v)は以下の式で与えられる。
2015097357.tif 000014
【００３３】
視覚特性乗算部1008は、S(u,v)及びI(u,v)に対して、空間視覚特性であるVTF(u,v)を乗算し、S_vtf(u,v)及びI_vtf(u,v)を計算する。VTF(u,v)は、第一実施形態で用いたものと同様である。フィルタ特性乗算部1009は、視覚特性乗算部1008の出力であるI_vtf(u,v)に対してフィルタ特性r(u,v)を乗算することで、I_vtf_filt(u,v)を得る。
【００３４】
画質劣化量計算部1010は、視覚特性乗算部1008の出力であるS_vtf(u,v)及びフィルタ特性乗算部1009の出力であるI_vtf_filt(u,v)を用いて、画質劣化量Qvalを推定する。具体的には、S_vtf(u,v)とI_vtf_filt(u,v)の差分パワーの絶対値を総和することで算出される。
2015097357.tif 000015
画質劣化量計算部1010は、このように推定した画質劣化量Ovalを画質評価値として出力する。
【００３５】
以上、本実施形態によれば、第一実施形態よりも回路規模を減らしながらも、第一実施形態と同様に、人間が知覚するノイズの残留量が少なく、かつ解像感劣化の少ないという特徴を有する動画ノイズ低減を実現することができる。
【００３６】
［第三実施形態］
第一実施形態では、ノイズリダクション処理の係数を変更することによって最適なノイズリダクションを提供した。しかしながら、本発明はフィルタ型のノイズリダクション処理の係数最適化に限定されるものではない。そこで本実施形態では、デジタル画像信号に適用可能な複数の異なるノイズリダクション処理の中から、被写体の動きに応じて領域ごとに適切な処理を選択することで、任意のノイズリダクションアルゴリズムに対して、ノイズ残留量及び解像感劣化の少ない動画を提示する。ここで、ノイズリダクションアルゴリズムはフィルタ型である必要はなく、確率的な手法などであってもよい。以下では、第一実施形態との変更箇所について説明する。なお、本実施形態では、ノイズリダクション処理の候補数が2である場合の構成例を説明するが、これに限定されない。
【００３７】
＜ノイズ低減部204の構成＞
図１１は、本実施形態によるノイズ低減部204の構成を示す図である。端子1101には、信号処理部103で生成されたデジタル画像の信号が入力される。端子1102には、動きベクトル算出部202で算出された動きベクトルが入力される。端子1103には、ノイズ情報取得部207で取得されたノイズ情報が入力される。領域分割部1104は、入力されたデジタル画像信号および動きベクトルを、適当な大きさのブロックに分割する。ブロック分割された画像信号は、第一のノイズリダクション処理部1105、第二のノイズリダクション処理部1106へと入力され、各々のノイズリダクション処理が施される。ブロック分割された動きベクトルは、視覚特性取得部1107へと入力される。視覚特性取得部1107は、入力された動きベクトルに基づき、被写体の移動速度を求め、その速度で移動する被写体を人間が追従視する際の人間の視覚の感度の値を取得する。ノイズリダクション選択部1108は、領域分割部1104から入力されるデジタル画像信号、第一および第二ノイズリダクション処理部から入力されるデジタル画像信号、視覚特性取得部1107から入力される視覚特性、及び端子1103から入力されるノイズ情報から、最適なノイズリダクション処理を決定し、画像を出力する。
【００３８】
＜ノイズリダクション選択部1108の構成＞
図１２は本実施形態によるノイズリダクション選択部1108の構成を示す図である。端子1201には、領域分割部1104から領域分割されたデジタル画像信号が入力される。端子1202には、端子1103からノイズ情報が入力される。端子1203には、視覚特性取得部1107から視覚特性が入力される。端子1204には、第一のノイズリダクション処理部1105から第一のノイズリダクション処理が施されたデジタル画像信号が入力される。端子1205には、第二のノイズリダクション処理部1106から第二のノイズリダクション処理が施されたデジタル画像信号が入力される。
【００３９】
画質評価部1206は、デジタル画像信号、ノイズ情報、フィルタ特性、及び視覚特性から、ノイズリダクション処理後の画質劣化度合いの推定値を計算する。本実施形態では、ノイズリダクション処理の候補数が2であるため、画質評価部1206は2つ存在する。一方には第一のノイズリダクション処理部1105から出力されたデジタル画像信号が入力され、他方には第二のノイズリダクション処理部1106から出力されたデジタル画像信号が入力される。ノイズリダクション決定部1207は、画質評価部1206の出力値に基づき、最適なノイズリダクション処理を決定する。たとえば、第一および第二のノイズリダクション処理部1105、1106の二つのノイズリダクション処理のうち、画質劣化量推定値が最小となる画像を出力してもよい。
【００４０】
＜画質評価部1206の構成＞
図１３は、本実施形態による画質評価部1206の構成を示す図である。端子1301には、端子1021からデジタル画像信号が入力される。端子1302には、端子1202からノイズ情報が入力される。端子1303には、端子1203から視覚特性が入力される。端子1304には、第一のノイズリダクション処理部1105または第二のノイズリダクション処理部1106からノイズリダクション処理後のデジタル画像信号が入力される。以下では、ノイズリダクション処理前のデジタル画像信号をi(x,y)、視覚特性をvtf(ρ)、フィルタ特性をr(u,v)、ノイズリダクション処理後の画像信号をinr(x,y)として、画質評価部の処理を具体的に説明する。
【００４１】
ノイズ画像生成部1305は、端子1302から入力されたノイズ情報を用いて、ノイズ画像信号n(x,y)を生成する。ノイズ画像信号の生成方法は、第一実施形態において説明した方法と同様である。フーリエ変換部1306は、i(x,y)、 n(x,y)、inr(x,y)に対してフーリエ変換処理を施す。以下では、i(x,y)のフーリエ変換結果をI(u,v)、n(x,y)のフーリエ変換結果をN(u,v)、inr(x,y)のフーリエ変換結果をInr(u,v)として表す。被写体特性推定部1307は、I(u,v)及びN(u,v)から、ノイズレスの理想的な被写体の空間周波数特性S(u,v)を推定する。S(u,v)の推定方法は第二実施形態と同様である。視覚特性乗算部1308は、S(u,v)及びInr(u,v)に対して、空間視覚特性であるVTF(u,v)を乗算し、S_vtf(u,v)及びInr_vtf(u,v)を計算する。VTF(u,v)は、第一実施形態で用いたものと同様である。
【００４２】
画質劣化量計算部1309は、視覚特性乗算部1308の出力であるS_vtf(u,v)及びInr_vtf(u,v)を用いて、画質劣化量Qvalを推定する。具体的には、S_vtfとInr_vtfの差分パワーの絶対値を総和することで算出される。
2015097357.tif 000016
画質劣化量計算部1309は、このように推定した画質劣化量Ovalを画質評価値として出力する。
【００４３】
以上、本実施形態によれば、第一実施形態と同様に、人間が知覚するノイズの残留量が少なく、かつ解像感劣化の少ないという特徴を有する動画ノイズ低減を実現することができる。さらに、本実施形態によれば、複数のノイズリダクション処理の中から、被写体の動きに応じて領域ごとに適切な処理を選択することもできる。
【００４４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015097357.tif 000017
【図２】
2015097357.tif 000018
【図３】
2015097357.tif 000019
【図４】
2015097357.tif 000020
【図５】
2015097357.tif 000021
【図６】
2015097357.tif 000022
【図７】
2015097357.tif 000023
【図８】
2015097357.tif 000024
【図９】
2015097357.tif 000025
【図１０】
2015097357.tif 000026
【図１１】
2015097357.tif 000027
【図１２】
2015097357.tif 000028
【図１３】
2015097357.tif 000029