(57)【特許請求の範囲】
【請求項１】
入力画像を複数の解像度画像に分解する多重解像度分解部と、
１フレーム前の巡回画像を参照画像として保持するフレームメモリと、
前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像と前記参照画像の間で動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する動き補償部と、
前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する巡回型ノイズリダクション部と、
前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する多重解像度合成部と、
を備える画像処理装置。
【請求項２】
前記基準画像の解像度が、前記入力画像の画像情報に基づいて設定される請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、
該セレクタを制御するセレクタ制御部と、
を備え、
該セレクタ制御部が、前記基準画像の解像度が一定となるように前記セレクタを切り替える請求項２に記載の画像処理装置。
【請求項４】
前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、
該セレクタを制御するセレクタ制御部と、
を備え、
該セレクタ制御部が、前記入力画像のフレームレートが高くなるほど前記基準画像の解像度が低くなるように、前記セレクタを切り替える請求項２に記載の画像処理装置。
【請求項５】
前記基準画像以外の解像度画像に対し空間フィルタを適用してノイズリダクションを行うフレーム内ノイズリダクション部を備える請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
入力画像を複数の解像度画像に分解する工程と、
前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する工程と、
前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する工程と、
前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する工程と、
前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する工程と、
を備える画像処理方法。
【請求項７】
入力画像を複数の解像度画像に分解する処理と、
前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する処理と、
前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する処理と、
前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する処理と、
前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する処理と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像信号に対してノイズ低減を行うのに好適な画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
ノイズ低減方法の一つとして、特許文献１のように、動画像のフレーム画像間で合成を行うことにより、時間方向に無相関なノイズを低減する方法が知られている。特許文献１では、現フレームの画像である基準画像と１フレーム前の参照画像との間で画像間の動きを示す動きベクトルが算出され、その動きベクトルを用いて参照画像に対して動き補償が行われ、動き推定の成否に応じた加算重みに基づいて、基準画像と動き補償が行われた参照画像との重みづけ合成が行われる。そして、重みづけ合成された結果は、ノイズ低減画像として出力されるとともに、フレームメモリに保持されて次のフレームの参照画像として利用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４７９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、動画像の高画素化が進んでおり、特に、４Ｋ解像度（３８４０×２１６０）の普及が進んできている。このような高画素の動画像に対して、特許文献１のような巡回型ノイズ低減処理を適用する場合、参照画像を保持するためのフレームメモリへのアクセス量が大幅に増大し、リアルタイム処理が困難になるという課題がある。【０００５】
本発明は、上述した事情に鑑みてなされたものであって、巡回型ノイズ低減処理を適切に行いつつ、フレームメモリへのアクセス量を削減することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、入力画像を複数の解像度画像に分解する多重解像度分解部と、１フレーム前の巡回画像を参照画像として保持するフレームメモリと、前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像と前記参照画像の間で動きベクトルを検出する動きベクトル検出部と、前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する動き補償部と、前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する巡回型ノイズリダクション部と、前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する多重解像度合成部と、を備える画像処理装置である。【０００７】
上記第１の態様に係る画像処理装置によれば、入力画像が多重解像度分解部によって複数の解像度を有する画像に分解される。分解された画像のうち入力画像よりも解像度の低い画像の一つを基準画像、フレームメモリに保持された１フレーム前の巡回画像を参照画像として、基準画像と参照画像の間の動きベクトルが動きベクトル検出部によって検出される。そして、動き補償部によって、検出された動きベクトルに基づいて参照画像に対する動き補償が行われることにより、動き補償画像が生成される。生成された動き補償画像は、巡回型ノイズリダクション部によって基準画像と合成されてノイズ低減基準画像が生成される。続いて、多重解像度合成部によって、このノイズ低減基準画像と、分解された画像のうち基準画像以外の解像度を有する画像とが合成される。【０００８】
このように、入力画像よりも解像度の低い画像の一つに対してのみ、巡回型ノイズリダクション部による巡回型ノイズ低減処理が行われるため、巡回型ノイズ低減処理を行う際に必要となるフレームメモリの容量及びフレームメモリへのアクセス量を削減することができる。【０００９】
また、一般的に、高解像度の表示デバイスは画素ピッチも細かく、近年のスマートフォン等では肉眼では画素を認識できないほどの画素ピッチとなっている。この場合、１画素単位でのノイズ低減処理を行ったとしても、主観評価においてノイズ低減の効果はほとんどないため、低周波成分に対してのみノイズ低減を行う方が効果的であり、消費電力の点からも効率的である。【００１０】
上記第１の態様に係る画像処理装置において、前記基準画像の解像度が、前記入力画像の画像情報に基づいて設定される構成としてもよい。【００１１】
この構成によれば、入力画像の解像度、フレームレート等の画像情報に基づいて、フレキシブルに巡回型ノイズ低減処理が行われる基準画像の解像度が設定される。そのため、様々な画像信号が入力された場合であっても、フレームメモリの容量及びフレームメモリへのアクセス量を削減することができる。【００１２】
上記第１の態様に係る画像処理装置において、前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、該セレクタを制御するセレクタ制御部と、を備え、該セレクタ制御部が、前記基準画像の解像度が一定となるように前記セレクタを切り替える構成としてもよい。【００１３】
この構成によれば、セレクタが、セレクタ制御部によって、巡回型ノイズ低減処理が行われる基準画像の解像度が一定となるように切り替えられる。
このようにすることで、巡回型ノイズリダクション部とフレームメモリの間のデータ量を常に一定に抑えることができ、高解像度の画像信号であっても消費電力が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。【００１４】
上記第１の態様に係る画像処理装置において、前記入力画像の画像サイズに基づいて前記基準画像の解像度を設定するセレクタと、該セレクタを制御するセレクタ制御部と、を備え、該セレクタ制御部が、前記入力画像のフレームレートが高くなるほど前記基準画像の解像度が低くなるように、前記セレクタを切り替える構成としてもよい。【００１５】
この構成によれば、セレクタが、セレクタ制御部によって、入力画像のフレームレートが高くなるほど巡回型ノイズ低減処理が行われる基準画像の解像度が低くなるように切り替えられる。【００１６】
このようにすることで、入力画像が高フレームレートの画像信号であっても、巡回型ノイズリダクション部とフレームメモリの間のデータ量が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
これは、フレームレートが高くなると、視感上ローパスフィルタ効果が表れるため、高周波ノイズの影響を認識しにくくなるという人間の視覚特性を利用したものである。【００１７】
上記第１の態様に係る画像処理装置において、前記基準画像以外の解像度画像に対し空間フィルタを適用してノイズ低減処理を行うフレーム内ノイズリダクション部を備える構成としてもよい。【００１８】
本発明の第２の態様は、入力画像を複数の解像度画像に分解する工程と、前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する工程と、前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する工程と、前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する工程と、前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する工程と、を備える画像処理方法である。【００１９】
本発明の第３の態様は、入力画像を複数の解像度画像に分解する処理と、前記複数の解像度画像のうち前記入力画像よりも解像度の低い画像の１つを基準画像とし、該基準画像とフレームメモリに保持された１フレーム前の巡回画像である参照画像の間で動きベクトルを検出する処理と、前記動きベクトルに基づいて前記参照画像に動き補償を行って動き補償画像を生成する処理と、前記基準画像と前記動き補償画像とを合成して新たな巡回画像となるノイズ低減基準画像を生成する処理と、前記ノイズ低減基準画像と前記複数の解像度画像のうち前記基準画像以外の解像度画像とを合成する処理と、をコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【００２０】
本発明によれば、巡回型ノイズリダクションを行う際に必要となるフレームメモリの容量及びアクセス量を削減することができるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１及び第２の実施形態に係る画像処理システムの構成例を示した図である。
【図２】図１の画像処理システムに備えられるノイズ低減部の概略構成を示した図である。
【図３】図２に示されるノイズ低減部における各ノードの画像の一例を示す図表である。
【図４】図２に示されるノイズ低減部において制御パラメータ（Ｄ１，Ｄ２）＝（１，０）とした場合の等価回路を示す図である。
【図５】図２に示されるノイズ低減部において制御パラメータ（Ｄ１，Ｄ２）＝（０，０）とした場合の等価回路を示す図である。
【図６】本発明の第１の実施形態のノイズ低減部の制御例を示す図表である。
【図７】図２に示されるノイズ低減部における処理を示すフローチャートである。
【図８】本発明の第２の実施形態のノイズ低減部の制御例を示す図表である。
【発明を実施するための形態】
【００２２】
以下に、本発明に係る画像処理システムの実施形態について、図面を参照して詳細に説明する。
【００２３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理システム１を示す図である。画像処理システム１は、例えば、動画像を撮影して映像データを記録するデジタルビデオカメラ、動画撮影機能付きデジタルスチルカメラ等である。
【００２４】
画像処理システム１は、撮像部１００と、カメラ画像処理部２００と、ノイズ低減部（画像処理装置）３００と、記録部４００と、パラメータ設定部（セレクタ制御部）５００とを備えている。撮像部１００は、カメラ画像処理部２００及びパラメータ設定部５００に接続されている。カメラ画像処理部２００及びパラメータ設定部５００は、ノイズ低減部３００に接続されている。ノイズ低減部３００は、記録部４００に接続されている。
【００２５】
撮像部１００は、光学レンズ、イメージセンサ、ＡＤ（Analog-to-Digital）変換器等で構成され、光学レンズによってイメージセンサ上に結像された光情報を電気情報に変換し、更にＡＤ変換器等でデジタル信号に変換する。例えば、フレームレートが６０ｆｐｓの動画像を撮影する場合であれば、１秒間に６０回撮像動作を繰り返し、フレーム画像を表すデジタル信号を逐次後段に供給する。
【００２６】
カメラ画像処理部２００は、撮像部１００より供給されるデジタル信号を画像化するための処理を行う。例えば、ホワイトバランス補正、Ｙ／Ｃ変換、階調変換、色補正等が主要な処理内容である。また、単板式のイメージセンサの場合には、デモザイク処理も行う。
【００２７】
ノイズ低減部３００は、カメラ画像処理部２００より供給される画像信号ＮＲＩＮに対して、パラメータ設定部５００で設定された制御パラメータＤ１，Ｄ２に基づいてノイズ低減処理を行う。詳細は後述する。
【００２８】
記録部４００は、ノイズ低減部３００より供給されるノイズ低減後画像信号ＮＲＯＵＴをメモリカード等の外部メディアに保存する。
【００２９】
パラメータ設定部５００は、撮像部１００から供給される画像の解像度、フレームレート等の画像情報に基づいて、制御パラメータＤ１，Ｄ２を設定する。
【００３０】
なお、本実施形態において、画像処理を行うカメラ画像処理部２００及びノイズ低減部３００は、画像処理エンジンと称される単一のシリコンチップ上の回路として実装されている。
【００３１】
以下、ノイズ低減部３００について、図２を参照して詳しく説明する。
図２に示されるように、ノイズ低減部３００は、多重解像度分解部３０１と、フレーム内ノイズリダクション部３１１，３２１と、フレームメモリ３３１と、動きベクトル検出部３３２と、動き補償部３３３と、巡回型ノイズリダクション部３３０と、多重解像度合成部３０２とを備えている。
【００３２】
多重解像度分解部３０１は、ダウンサンプリング部３１０，３２０と、セレクタ３１２，３２２とを備えている。
【００３３】
ダウンサンプリング部３１０，３２０は、不図示のローパスフィルタと画素間引き部とで構成されている。例えば、入力された画像に対し、下記のような３×３ガウシアンフィルタを適用した後で、縦横１画素おきに間引くことでダウンサンプリングが行われる。
【００３４】
【数１】
0006714078.tif 000002
【００３５】
セレクタ３１２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ２に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
【００３６】
セレクタ３２２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ１に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
【００３７】
多重解像度分解部３０１の前段は、セレクタ３１２の入力端子０にカメラ画像処理部２００から供給される画像信号ＮＲＩＮが入力され、セレクタ３１２の入力端子１にダウンサンプリング部３１０で画像信号ＮＲＩＮがダウンサンプリングされた信号が入力されるように構成されている。
【００３８】
多重解像度分解部３０１の後段は、セレクタ３２２の入力端子０にセレクタ３１２からの出力信号が入力され、セレクタ３２２の入力端子１にダウンサンプリング部３２０でセレクタ３１２からの出力信号がダウンサンプリングされた信号が入力されるように構成されている。
【００３９】
なお、本実施形態では、多重解像度分解部３０１において、前段と後段の２段でダウンサンプリングを行っているが、これに限定されず、１段であってもよく、或いは、３段以上のダウンサンプリングを行うこととしてもよい。
【００４０】
フレーム内ノイズリダクション部３１１，３２１は、注目画素に対して空間的に隣接する画素又は領域の情報を用いてノイズ低減を行うように構成されている。例えば、以下の（１）式で表されるようなバイラテラルフィルタを用いることができる。
【００４１】
【数２】
0006714078.tif 000003
ただし、ｋ（ｐ）は正規化関数で、以下の（２）式で表される。
【００４２】
【数３】
0006714078.tif 000004
ここで、ｐは注目画素の位置、ｐ’は領域Ω内に含まれる参照画素の位置で、Ａは画素値を表す。Ａｐは注目画素の画素値、Ａｐ’は参照画素の画素値、ＡＮＲｐはノイズ低減後の注目画素値である。また、ｇｄは距離係数であり、一般的には注目画素位置を中心とするガウシアン型関数が用いられる。ｇｒは注目画素値と参照画素値の差分（Ａｐ−Ａｐ’）が大きいほど小さくなる単調減少関数が用いられる。
【００４３】
バイラテラルフィルタは、通常のガウシアンフィルタに画素値の差による評価関数を作用させたものであり、エッジ保存型のノイズ低減フィルタとして有効である。
【００４４】
動きベクトル検出部３３２は、セレクタ３２２からの出力信号を基準画像、フレームメモリ３３１に保持された１フレーム前の巡回画像を参照画像として、画素毎又は領域毎の動きベクトルを検出するように構成されている。動きベクトルを検出する方法としては、ブロックマッチング法等を採用することができる。
【００４５】
動き補償部３３３は、フレームメモリ３３１に保持された１フレーム前の巡回画像、すなわち参照画像に対し、動きベクトル検出部３３２で検出された動きベクトルを用いて動き補償を行い、その結果を動き補償画像として出力するように構成されている。
【００４６】
巡回型ノイズリダクション部３３０は、動き補償部３３３から出力される動き補償画像とセレクタ３２２から出力される基準画像とを合成することによりノイズ低減処理を行い、ノイズ低減基準画像を出力するように構成されている。
【００４７】
巡回型ノイズリダクション部３３０は、基準画像をＩ［ｎ］、参照画像をＩ［ｎ−１］、出力されるノイズ低減基準画像をＯ［ｎ］とすると、以下の式（３）で表される処理をすることにより、ノイズ低減処理が行われる。
【００４８】
Ｏ［ｎ］＝（１−α）・Ｉ［ｎ］＋α・Ｉ［ｎ−１］    ・・・（３）
但し、０≦α＜１
【００４９】
ここで、αは、画素毎又は領域毎に評価される係数であり、基準画像と参照画像との一致度が高いほど大きくなるように制御される。
【００５０】
評価関数としては、例えば、基準画像の注目画素と参照画像の注目画素との差分値、注目画素の周辺領域に対する差分絶対値和（ＳＡＤ：Summation  of  Absolute  Difference）等が用いられる。
【００５１】
フレームメモリ３３１は、巡回型ノイズリダクション部３３０で生成されたノイズ低減基準画像を巡回画像として保持するように構成されている。
【００５２】
多重解像度合成部３０２は、アップサンプリング部３４０，３５０と、加算器３４１，３５１と、セレクタ３４２，３５２とを備えている。
【００５３】
アップサンプリング部３４０，３５０は、バイリニア補間、バイキュービック補間等を用いて画素補間をすることでアップサンプリングが行われるように構成されている。
【００５４】
セレクタ３４２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ１に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
【００５５】
セレクタ３５２は、パラメータ設定部５００で設定された１ｂｉｔの制御パラメータＤ２に応じて、入力端子０又は入力端子１に入力された信号の一方を出力するように構成されている。
【００５６】
多重解像度合成部３０２の前段は、セレクタ３４２の入力端子０に巡回型ノイズリダクション部３３０から出力されたノイズ低減基準画像が入力され、セレクタ３４２の入力端子１に、アップサンプリング部３４０によってノイズ低減基準画像がアップサンプリングされた信号と、セレクタ３１２からの出力信号がフレーム内ノイズリダクション部３２１によってノイズ低減された信号とを加算した信号が入力されるように構成されている。
【００５７】
多重解像度合成部３０２の後段は、セレクタ３５２の入力端子０にセレクタ３４２から出力された信号が入力され、セレクタ３５２の入力端子１に、アップサンプリング部３５０によってセレクタ３４２からの出力信号がアップサンプリングされた信号と、画像信号ＮＲＩＮがフレーム内ノイズリダクション部３１１によってノイズ低減された信号とを加算した信号が入力されるように構成されている。
【００５８】
次に、上記構成を備える画像処理システム１の作用について説明する。
ユーザによる撮影が開始されると、撮像部１００において、光学レンズを介してイメージセンサ上に結像された被写体の光情報が電気情報に変換され、さらに、ＡＤ変換器等によりデジタル信号に変換される。変換されたデジタル信号は、カメラ画像処理部２００において、ホワイトバランス補正等の前処理が行われた後、画像信号ＮＲＩＮとしてノイズ低減部３００に入力される。
【００５９】
また、撮像部１００において予め設定される入力画像サイズ、フレームレート等の画像情報は、パラメータ設定部５００に出力される。
【００６０】
パラメータ設定部５００では、入力された画像情報に基づいて、ノイズ低減部３００を制御するための制御パラメータＤ１，Ｄ２が設定される。具体的には、パラメータ設定部５００に備えられる不図示のＣＰＵ（Central Processing Unit）が、パラメータ設定用のレジスタに制御パラメータＤ１，Ｄ２を書き込むことにより設定が行われる。
そして、ノイズ低減部３００において、設定された制御パラメータＤ１，Ｄ２に基づいてノイズ低減処理が行われ、ノイズ低減後画像信号ＮＲＯＵＴが出力される。
その後、ノイズ低減後画像信号ＮＲＯＵＴは、記録部４００に記録される。
【００６１】
次に、制御パラメータ（Ｄ１，Ｄ２）＝（１，１）と設定された場合のノイズ低減部３００の作用について説明する。
制御パラメータ（Ｄ１，Ｄ２）＝（１，１）と設定されているため、セレクタ３１２，３２２，３５２，３５２のいずれについても、各入力端子１に入力された信号が各出力端子に出力される。
【００６２】
高解像度画像であるカメラ画像処理部２００から供給される画像信号ＮＲＩＮは、フレーム内ノイズリダクション部３１１で空間フィルタが適用されてフレーム内でのノイズ低減が行われる。
なお、「高解像度」とは、ノイズ低減部３００の内部で中間生成される他の画像の解像度と比較して相対的に高い解像度であることを意味する。
【００６３】
一方で、画像信号ＮＲＩＮは、ダウンサンプリング部３１０によって１／２のサイズに縮小される。なお、本明細書において、「縮小」とは、縦サイズ及び横サイズの縮小を意味する。つまり、１／２のサイズに縮小される場合、データ量としては１／４となる。同様に、「拡大」とは、縦サイズ及び横サイズの拡大を意味する。つまり、２倍のサイズに拡大される場合、データ量としては４倍となる。
【００６４】
ダウンサンプリング部３１０によってダウンサンプリングされて１／２のサイズに縮小された画像（中解像度画像）は、フレーム内ノイズリダクション部３２１で空間フィルタが適用されてフレーム内でのノイズ低減が行われる。
【００６５】
一方で、この中解像度画像は、ダウンサンプリング部３２０によって更に１／２のサイズに縮小される。そのため、セレクタ３２２の出力信号は、画像信号ＮＲＩＮと比較すると１／４に縮小された画像（低解像度画像）となっている。言い換えると、画像信号ＮＲＩＮの１／４の周波数成分を有する画像信号である。
【００６６】
このように、多重解像度分解部３０１では、画像信号ＮＲＩＮが、高解像度画像、中解像度画像及び低解像度画像の３つの解像度画像に分解される。
【００６７】
続いて、３つの解像度画像のうち、低解像度画像を基準画像として、巡回型ノイズ低減処理が行われる。
まず、動きベクトル検出部３３２において、基準画像である低解像度画像と、フレームメモリ３３１に保持された１フレーム前のフレーム画像とから、ブロックマッチング法等を使用して、画素毎又は領域毎の動きベクトルを検出する。
【００６８】
なお、動きベクトルを検出せずに、フレーム間で動きがないものと想定し、動きベクトルをゼロとして扱うこととしてもよい。
次に、動き補償部３３３において、動きベクトル検出部３３２で検出された動きベクトルに基づいて、フレームメモリ３３１から読み出されたフレーム画像を現在の基準画像に一致させるように動き補償が行われて動き補償画像が生成される。
【００６９】
こうすることで、被写体に動きがある場合であっても、効率良く巡回型ノイズ低減処理を行うことができ、巡回型ノイズ低減処理の効果を高めることができる。
【００７０】
次に、巡回型ノイズリダクション部において、生成された動き補償画像と基準画像とが合成されて、低解像度のノイズ低減基準画像が生成される。
【００７１】
そして、生成された低解像度のノイズ低減基準画像は、フレーム内ノイズリダクション処理がなされた中解像度画像と解像度を一致させることにより合成される。具体的には、生成された低解像度のノイズ低減基準画像は、アップサンプリング部３４０で２倍のサイズに拡大されるとともに、加算器３４１によって、フレーム内ノイズリダクション部３２１から出力される画像と加算されて、中解像度のノイズ低減画像が生成される。
【００７２】
続いて、生成された中解像度のノイズ低減基準画像は、フレーム内ノイズリダクション処理がなされた高解像度画像と解像度を一致させることにより合成される。具体的には、生成された中解像度のノイズ低減画像は、アップサンプリング部３５０で２倍のサイズに拡大されるとともに、加算器３５１によって、フレーム内ノイズリダクション部３１１から出力される画像と加算されて、高解像度のノイズ低減画像が生成される。
【００７３】
このように、多重解像度合成部３０２では、巡回型ノイズ低減処理が施された低解像度のノイズ低減基準画像と、フレーム内ノイズ低減処理が施された中解像度及び高解像度のノイズ低減画像とがそれぞれの画像の解像度を一致させた上で合成される。
【００７４】
こうして生成された高解像度のノイズ低減画像は、ノイズ低減部３００からノイズ低減後画像信号ＮＲＯＵＴとして出力される。
【００７５】
このように、入力された画像信号ＮＲＩＮよりも解像度の低い画像の一つに対してのみ、巡回型ノイズリダクション部３３０による巡回型ノイズ低減処理が行われるため、巡回型ノイズ低減処理を行う際に必要となるフレームメモリ３３１の容量及びフレームメモリ３３１へのアクセス量を削減することができる。
【００７６】
図３は、図２に示されるノードＡ〜ノードＦにおける画像の例を示している。ノードＢにおける１段階ダウンサンプリング後の画像信号は、ノードＡにおける元解像度の画像信号と比べて１／２のサイズに縮小されている。また、ノードＣ及びノードＤにおける２段階ダウンサンプリング後の画像信号は、ノードＡにおける元解像度の画像信号と比べて１／４のサイズに縮小されている。このことは、巡回型ノイズ低減処理を行う際に必須となるフレームメモリ３３１へのアクセス量も大幅に削減できることを示している。
【００７７】
次に、制御パラメータ（Ｄ１，Ｄ２）＝（１，０）と設定された場合のノイズ低減部３００の作用について説明する。
制御パラメータ（Ｄ１，Ｄ２）＝（１，０）と設定されているため、セレクタ３１２，３５２では、各入力端子０に入力された信号が各出力端子に出力され、セレクタ３２２，３４２では、各入力端子１に入力された信号が各出力端子に出力される。よって、この場合の等価回路は、図４のようになる。
【００７８】
高解像度画像であるカメラ画像処理部２００から供給される画像信号ＮＲＩＮは、フレーム内ノイズリダクション部３２１で空間フィルタが適用されてフレーム内でのノイズ低減が行われる。
【００７９】
一方で、画像信号ＮＲＩＮは、ダウンサンプリング部３２０によって１／２のサイズに縮小される。
【００８０】
続いて、ダウンサンプリング部３２０によって１／２のサイズに縮小された画像（中解像度画像）を基準画像として、巡回型ノイズ低減処理が行われる。巡回型ノイズ低減処理については、既に説明しているためここでは説明を省略する。
【００８１】
巡回型ノイズ低減処理によって生成された中解像度のノイズ低減画像は、アップサンプリング部３４０で２倍のサイズに拡大されるとともに、加算器３４１によって、フレーム内ノイズリダクション部３２１から出力される画像と加算されて、高解像度のノイズ低減画像が生成される。
【００８２】
こうして生成された高解像度のノイズ低減画像は、ノイズ低減部３００からノイズ低減後画像信号ＮＲＯＵＴとして出力される。
【００８３】
制御パラメータ（Ｄ１，Ｄ２）＝（０，１）と設定された場合については、図４におけるダウンサンプリング部３２０の役割をダウンサンプリング部３１０が、フレーム内ノイズリダクション部３２１の役割をフレーム内ノイズリダクション部３１１が、アップサンプリング部３４０の役割をアップサンプリング部３５０が、加算器３４１の役割を加算器３５１が、それぞれ行う。従って、図４に示されるブロック図と等価となるため、説明を省略する。
【００８４】
制御パラメータ（Ｄ１，Ｄ２）＝（０，０）と設定された場合には、図５に示されるように、巡回型ノイズリダクションのみを行う構成となる。
【００８５】
このように、パラメータ設定部５００が、入力された画像情報に基づいて制御パラメータＤ１，Ｄ２を設定することにより、セレクタ３１２，３２２，３４２，３５２を制御する。これにより、巡回型ノイズリダクション部３３０において巡回型ノイズ低減処理が行われる基準画像の解像度を画像情報に応じて適切に決定することができる。結果として、フレームメモリ３３１の容量及びフレームメモリ３３１へのアクセス量を削減することができる。
【００８６】
図６は、本実施形態に係るノイズ低減部３００における制御の一例を示した図表であり、入力／出力解像度、すなわち、画像信号ＮＲＩＮ／ノイズ低減後画像信号ＮＲＯＵＴの解像度と、パラメータ設定部５００で設定される制御パラメータＤ１，Ｄ２と、基準画像の解像度との関係を示している。
【００８７】
本実施形態のパラメータ設定部５００は、画像信号ＮＲＩＮの解像度に応じて基準画像の解像度が一定になるように制御パラメータＤ１，Ｄ２を設定する。  パラメータ設定部５００は、各入力／出力解像度に対して制御パラメータＤ１，Ｄ２を関連付けたテーブルを有しており、このテーブルをもとにノイズ低減部３００のセレクタ３１２，３２２，３４２，３５２を切り替える制御を行うように構成されている。
【００８８】
図６に示される例では、画像信号ＮＲＩＮの解像度がフルＨＤ（High-Definition）解像度（水平１９２０×垂直１０８０）の場合、画像信号ＮＲＩＮの有する全ての周波数成分に対して巡回型ノイズ低減処理が行われる。画像信号ＮＲＩＮの解像度が４ｋ解像度（水平３８４０×垂直２１６０）では、１／２の周波数成分に対して、８ｋ解像度（水平７６８０×垂直４３２０）では、１／４の周波数成分に対してそれぞれ巡回型ノイズ低減処理が行われる。それ以上の周波数成分に対しては、フレーム内ノイズ低減処理が行われる。
【００８９】
これにより、巡回型ノイズリダクション部３３０とフレームメモリ３３１との間のデータ量を常に一定に抑えることができ、画像信号ＮＲＩＮが高い解像度を有する場合であっても消費電力が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
【００９０】
なお、本実施形態において、ノイズ低減部３００は、ハードウェアとして実装されているが、これに限定されることなく、ソフトウェアである画像処理プログラムをコンピュータに実行させることにより実装されてもよい。
以下、コンピュータが画像処理プログラムを実行することにより実現される画像処理方法の処理手順について図７を参照して説明する。
【００９１】
まず、ステップＳ１において画像信号ＮＲＩＮが入力されると、ステップＳ２において、画像信号ＮＲＩＮに対して多重解像度分解処理を行い、画像信号ＮＲＩＮを複数の解像度を有する画像に分解する。次に、ステップＳ３において、分解された複数の画像のうち画像信号ＮＲＩＮよりも低い解像度を有する画像（基準画像）と１フレーム前の巡回画像（参照画像）との間で動きベクトルを検出する。そして、ステップＳ４において、検出された動きベクトルに基づいて、参照画像に対して動き補償を行って動き補償画像を生成する。次に、ステップＳ５において、基準画像と動き補償画像とを合成することにより巡回型ノイズ低減処理を行ってノイズ低減基準画像を生成する。続いて、ステップＳ６において、多重解像度合成処理を行い、基準画像以外の解像度を有する画像とノイズ低減基準画像とを合成し、その結果をステップＳ７においてノイズ低減後画像信号ＮＲＯＵＴとして出力する。
【００９２】
（第２の実施形態）
本発明に係る画像処理装置の第２の実施形態について説明する。
本実施形態は、上述の第１の実施形態に対して、パラメータ設定部５００の構成が異なる。その他の点については、第１の実施形態と同様であるので説明は省略する。
【００９３】
図８は、本実施形態に係るノイズ低減部３００における制御の一例を示した図表であり、入力／出力解像度、すなわち、画像信号ＮＲＩＮ／ノイズ低減後画像信号ＮＲＯＵＴの解像度及びフレームレートと、パラメータ設定部５００で設定される制御パラメータＤ２，Ｄ１と、基準画像の解像度と、帯域幅との関係を示している。
【００９４】
本実施形態のパラメータ設定部５００は、入力信号である画像信号ＮＲＩＮのフレームレートが高くなるほど基準画像の解像度が小さくなるように制御パラメータＤ１，Ｄ２を設定する。パラメータ設定部５００は、各入力／出力解像度及び各フレームレートに対して制御パラメータＤ１，Ｄ２を関連付けたテーブルを有しており、このテーブルをもとに、ノイズ低減部３００のセレクタ３１２，３２２，３４２，３５２を切り替える制御を行うように構成されている。
【００９５】
上記設定は、人間の視覚特性に基づくものである。一般に、人間の視感の時間分解能はそれほど高くはない。例えば、人間の視感では、１００Ｈｚで明滅する非インバータ式の蛍光灯の明滅を認識できない。これは、つまり、１００ｆｐｓ以上のフレームレートで白と黒を繰り返す動画は、肉眼では灰色として認識されることを示しており、ランダムノイズも特にノイズ低減処理を行わなくても人間の目にはある程度時間軸方向に平滑化されて認識されることを示している。
【００９６】
図８に示される例では、画像信号ＮＲＩＮのフレームレートが３０ｆｐｓ及び６０ｆｐｓの場合、画像信号ＮＲＩＮの有する全ての周波数成分に対して巡回型ノイズ低減処理が行われる。画像信号ＮＲＩＮのフレームレートが１２０ｆｐｓでは、１／２の周波数成分に対して巡回型ノイズ低減処理が行われ、それ以上の周波数成分に対しては、フレーム内ノイズ低減処理が行われる。
【００９７】
これにより、画像信号ＮＲＩＮのフレームレートが高い場合であっても、巡回型ノイズリダクション部３３０とフレームメモリ３３１との間のデータ量が増大することなく効率的に巡回型ノイズ低減処理を行うことができる。
【００９８】
なお、図８では、画像信号ＮＲＩＮのフレームレートが３０ｆｐｓと６０ｆｐｓとの場合で、基準画像の解像度が等しくなるように制御されているが、これに限定されず、フレームレートが６０ｆｐｓの場合の基準画像の解像度を、フレームレートが３０ｆｐｓの場合の基準画像の解像度よりも小さくしてもよい。フレームレートが３０ｆｐｓから１２０ｆｐｓに向けて高くなるにしたがって、基準画像の解像度を段階的に小さくしてもよい。
【００９９】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述の実施形態では、ノイズ低減部３００が、セレクタ３１２，３２２，３４２，３５２を備え、画像信号ＮＲＩＮの画像情報、すなわち、画像サイズ、フレームレート等に応じてこれらが切り替えられる構成としたが、入力される画像信号ＮＲＩＮの画像情報が固定の場合には、セレクタ３１２，３２２，３４２，３５２を設けない構成としてもよい。
また、上述の実施形態では、巡回型ノイズ低減処理を行わない解像度画像については、フレーム内ノイズリダクション部３１１，３２１を備える構成としたが、フレーム内ノイズリダクション部３１１，３２１を備えない構成としてもよい。
【符号の説明】
【０１００】
１  画像処理システム
３００  ノイズ低減部（画像処理装置）
３０１  多重解像度分解部
３０２  多重解像度合成部
３１１，３２１  フレーム内ノイズリダクション部
３１２，３２２，３４２，３５２  セレクタ
３３０  巡回型ノイズリダクション部
３３１  フレームメモリ
３３２  動きベクトル検出部
３３３  動き補償部
５００  パラメータ設定部（セレクタ制御部）
【図１】
0006714078.tif 000005
【図２】
0006714078.tif 000006
【図３】
0006714078.tif 000007
【図４】
0006714078.tif 000008
【図５】
0006714078.tif 000009
【図６】
0006714078.tif 000010
【図７】
0006714078.tif 000011
【図８】
0006714078.tif 000012