(57)【要約】【課題】画像中のエッジ部がボケるのを防ぎつつ、エッジ周辺部を含む画像全体のノイズを低減することができる画像処理装置を提供する。【解決手段】画像処理装置１０００は、入力画像信号に対してウェーブレット変換を行うことにより、入力画像信号を高域信号成分および低域信号成分に分離するウェーブレット変換部１１０と、高域信号成分に対して時間積分処理を行うことにより、高域信号成分から時間軸方向のノイズを除去する時間積分型フィルタ部１２０とを備えている。【選択図】図１
2009219066.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号に対してサブバンド変換を行うことにより、前記入力画像信号を高域信号成分および低域信号成分に分離するサブバンド変換部と、
前記高域信号成分に対して時間積分処理を行うことにより、前記高域信号成分から時間軸方向のノイズを除去する時間積分型フィルタ部とを備えたことを特徴とする画像処理装置。
【請求項２】
前記高域信号成分および前記低域信号成分のうちで前記高域信号成分のみに対してサブバンド逆変換を行うことにより得られるエッジ信号を作成するエッジ信号作成部を含み、
前記時間積分型フィルタ部は、前記エッジ信号を前記高域信号成分として時間積分処理を行い、
更に、前記時間積分型フィルタ部により処理された前記エッジ信号と、前記低域信号成分とを加算するエッジ信号加算部が設けられていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記時間積分型フィルタ部は、フィルタ入力信号中の微小振幅値の信号成分に対して時間積分処理を行い、時間積分処理後の信号と、前記フィルタ入力信号中の微小振幅値の信号成分を除去するコアリング処理を行った信号とを加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記高域信号成分中の微小振幅値の信号成分を除去するコアリング処理部と、
前記コアリング処理部で得られる高域信号成分と、前記低域信号成分とに対してサブバンド逆変換を行うサブバンド逆変換部と、
前記高域信号成分中の微小振幅値の信号成分を抽出する微小信号抽出部と、
前記微小信号抽出部で抽出された微小振幅値の高域信号成分に対してサブバンド逆変換を行うことにより得られる微小振幅値のエッジ信号を作成する微小エッジ信号作成部とを備え、
前記時間積分型フィルタ部は、前記微小振幅値のエッジ信号を前記高域信号成分として時間積分処理を行い、
更に、前記時間積分型フィルタ部により処理された前記微小振幅値のエッジ信号と、前記サブバンド逆変換部で得られる信号とを加算するエッジ信号加算部が設けられていることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記時間積分型フィルタ部は、フィルタ入力信号と、前のフレームのフィルタ処理された信号とを所定の比率で加算する巡回型フィルタを含むことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記時間積分型フィルタ部は、前記巡回型フィルタで処理された信号における微小振幅値の信号成分を除去するコアリング処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記時間積分型フィルタ部は、時間積分処理の時定数を変更可能に構成されていることを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
前記入力画像信号の動きを検出する動き検出部を備え、
前記時間積分型フィルタ部は、前記動き検出部により前記動きが検出された位置において前記時定数を変更することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記動き検出部は、前記入力画像信号の差分検出により前記動きを検出することを特徴とする請求項８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばウェーブレット変換等の多重解像度変換を利用して、画像のノイズを低減する画像処理装置に関する。
【背景技術】
【０００２】
従来、映像信号のノイズを低減する技術として、多重解像度変換の１つであるウェーブレット変換（Wavelet Transform）を利用したノイズ低減技術が知られている。ウェーブレット変換を利用したノイズ低減技術では、以下のように画像のノイズを低減している。
【０００３】
まず、ウェーブレット変換を用いて、画像信号を、低域信号成分を含む低周波帯域と、高域信号成分を含む高周波帯域のサブバンドとに分離して、更に低周波帯域の画像信号に対して同様の処理を繰り返す。これにより、画像信号を周波数帯域毎のサブバンドに分離した周波数帯域画像信号（以下、サブバンド画像信号とする）を生成する。
【０００４】
次に、高域信号成分を含む高周波帯域のサブバンド画像信号に対して、微小振幅値の信号成分を除去するコアリング処理を行う。そして、コアリング処理後の高域信号成分のサブバンド画像信号を含めて、分離された複数のサブバンド画像信号を合成することにより、ウェーブレット逆変換を行う。これにより、高域信号成分に含まれる微小振幅のノイズ成分のみが抑制された画像信号が再構成される。
【０００５】
このようなノイズ低減技術によれば、コアリング処理を行う高周波数帯域を選択することで特定の周波数成分を有したノイズを低減したり、コアリング処理の条件を変更することでノイズの低減量を変更でき、きめ細かなノイズ低減処理を行うことができる。
【０００６】
ウェーブレット変換の具体的な手法として、Daubechiesの基底やHaarの基底が知られている。Daubechiesの基底は、帯域分離の精度は高いが、フィルタ係数が複雑となる。これに対し、Haarの基底は、帯域分離の精度は低いが、フィルタ係数が「１」、「−１」の２つのみで簡単に構成できる。一般的な民間用機器等には、ハードウエアの規模が小さくて済むHaarの基底が利用されている。
【０００７】
図１３は、Haarの基底に基づいてノイズを低減する従来の画像処理装置の基本的な構成を示している。ここでは、サブバンドに分離する回数を２回とした例を示している。以下、サブバンドに分離する回数をレベルという。すなわち、入力される画像信号をレベル０とし、この入力画像信号に対して１回のサブバンド分離を行った結果をレベル１と呼び、この結果に対して更にもう１回のサブバンド分離を行った結果をレベル２と呼ぶ。
【０００８】
図１３に示されるように、画像処理装置５０００は、ウェーブレット変換部７１０と、コアリング処理部７４０と、ウェーブレット逆変換部７３０とを備えている。画像信号がウェーブレット変換部７１０に入力されると、ウェーブレット変換部７１０でウェーブレット変換が行われる。これにより、入力画像信号が周波数帯域毎のサブバンドに分離され、複数のサブバンド画像信号が生成される。このとき、複数のサブバンド画像信号としては、画像信号の低域信号成分を含む低周波帯域と、高域信号成分を含む１以上の高周波帯域とが生成される。
【０００９】
コアリング処理部７４０は、ウェーブレット変換部７１０で得られる高域信号成分に対して微小振幅記号を０にすることで、高域信号成分に含まれるノイズを除去する。ウェーブレット逆変換部７３０は、コアリング処理後の高域信号成分と、ウェーブレット変換部１２０により変換された低域信号成分とに対して、ウェーブレット逆変換を行う。これにより、画像信号が再構成され、ノイズが除去された画像が出力される。
【００１０】
図１４は従来の画像処理装置５０００の動作を説明するための図である。図１４（ａ）に示されるように、この例では、入力画像の右側が明るくて、左側が暗く、全体にノイズがある。図１４（ｂ）は、図１４（ａ）に示された入力画像のＸ方向の信号振幅を示している。図１４（ｃ）は、この入力画像をウェーブレット変換部７１０により変換することで得られる高域信号成分の１つを示しており、図に示されるように高域信号成分はノイズを有する。そこで、コアリング処理部７４０により高域信号成分に対してコアリング処理を行うことにより、高域信号成分中のノイズが除去される。
【００１１】
ただし、高域信号成分の振幅に対し、ノイズの振幅を一律に低下させるコアリング処理を行った場合、図１４（ｃ）のエッジ部Ｍ（入力画像の明領域と暗領域の境界）を構成する高域信号成分も低下させてしまい、出力画像のエッジ部がボケてしまうことがあった。
【００１２】
そこで、特許文献１は、コアリング対象の高域信号成分の各位置がエッジ部Ｍに相当するか否かを、当該コアリング対象より高レベルの高域信号成分の対応位置の信号値から判断して、エッジ部Ｍのコアリングの閾値をエッジ部以外の閾値よりも小さく設定している。図１５（ａ）はその結果を示しており、エッジ周辺部Ｎの高域信号成分の低下を防ぎつつ、エッジ周辺部Ｎ以外のノイズが除去されている。
【特許文献１】特開２００３−１３４３５２号公報（特に、段落００６８）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来の画像信号処理装置においては、図１５（ａ）に示されるように、エッジ部Ｍを含むエッジ周辺部Ｎでコアリングの閾値を低下させてしまうために、エッジ部周辺部Nのノイズが除去されずに残ってしまうという問題があった。図１５（ｂ）は図１５（ａ）に対応する出力画像であり、エッジ周辺部Ｎに残るノイズを示している。
【００１４】
本発明は、上記従来の問題を解決するためになされたもので、画像中のエッジ部がボケるのを防ぎつつ、エッジ部周辺を含む画像全体のノイズを低減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、入力画像信号に対してサブバンド変換を行うことにより、前記入力画像信号を高域信号成分および低域信号成分に分離するサブバンド変換部と、前記高域信号成分に対して時間積分処理を行うことにより、前記高域信号成分から時間軸方向のノイズを除去する時間積分型フィルタ部とを備えた構成を有している。
【００１６】
この構成により、高域信号成分に対して時間積分処理が行われる。画像信号のノイズは、時間軸方向に変化する特性を持つので、時間積分処理を行うことにより、高域信号成分からノイズを除去できる。この時間積分処理では、エッジ周辺のノイズも他の部分と同様に除去される。また、時間積分処理を行っても、エッジ部の信号値は低下しない。したがって、画像中のエッジ部がボケるのを防ぎつつ、エッジ部周辺を含む画像全体のノイズを低減することができる。
【００１７】
また、本発明に係る画像処理装置は、前記高域信号成分および前記低域信号成分のうちで前記高域信号成分のみに対してサブバンド逆変換を行うことにより得られるエッジ信号を作成するエッジ信号作成部を含み、前記時間積分型フィルタ部は、前記エッジ信号を前記高域信号成分として時間積分処理を行い、更に、前記時間積分型フィルタ部により処理された前記エッジ信号と、前記低域信号成分とを加算するエッジ信号加算部が設けられている構成を有している。
【００１８】
この構成により、高域信号成分のみに対してサブバンド逆変換を行うことにより得られるエッジ信号を作成し、エッジ信号を高域信号成分として時間積分処理を行う。したがって、高域信号成分を１つの時間積分型フィルタ部で処理でき、構成を簡素にすることができる。
【００１９】
また、本発明に係る画像処理装置において、前記時間積分型フィルタ部は、フィルタ入力信号中の微小振幅値の信号成分に対して時間積分処理を行い、時間積分処理後の信号と、前記フィルタ入力信号中の微小振幅値の信号成分を除去するコアリング処理を行った信号とを加算する構成を有している。
【００２０】
この構成により、時間積分型フィルタ部において、フィルタ入力信号中の微小振幅値の信号成分に対して時間積分処理を行う。これにより、微小振幅値の信号成分以外の信号成分に対しては、時間積分処理を適用しないので、動いている物のエッジ部にボケが生じるのを防ぐことができる。
【００２１】
また、本発明に係る画像処理装置は、前記高域信号成分中の微小振幅値の信号成分を除去するコアリング処理部と、前記コアリング処理部で得られる高域信号成分と、前記低域信号成分とに対してサブバンド逆変換を行うサブバンド逆変換部と、前記高域信号成分中の微小振幅値の信号成分を抽出する微小信号抽出部と、前記微小信号抽出部で抽出された微小振幅値の高域信号成分に対してサブバンド逆変換を行うことにより得られる微小振幅値のエッジ信号を作成する微小エッジ信号作成部とを備え、前記時間積分型フィルタ部は、前記微小振幅値のエッジ信号を前記高域信号成分として時間積分処理を行い、更に、前記時間積分型フィルタ部により処理された前記微小振幅値のエッジ信号と、前記サブバンド逆変換部で得られる信号とを加算するエッジ信号加算部が設けられている構成を有している。
【００２２】
この構成により、高域信号成分中の微小振幅値の信号成分を抽出し、微小振幅値の高域信号成分に対してサブバンド逆変換を行うことにより得られる微小振幅値のエッジ信号を作成し、微小振幅値のエッジ信号を高域信号成分として時間積分処理を行う。これにより、微小振幅値の信号成分以外の信号成分に対しては、時間積分処理を適用しないので、動いている物のエッジ部にボケが生じるのを防ぐことができ、かつ、エッジ信号を時間積分処理するので、高域信号成分を１つの時間積分型フィルタで処理でき、構成を簡素にすることができる。
【００２３】
また、本発明に係る画像処理装置において、前記時間積分型フィルタ部は、フィルタ入力信号と、前のフレームのフィルタ処理された信号とを所定の比率で加算する巡回型フィルタを含む構成を有している。これにより、時間積分処理によるノイズ除去を好適に行うことができる。
【００２４】
また、本発明に係る画像処理装置において、前記時間積分型フィルタ部は、前記巡回型フィルタで処理された信号における微小振幅値の信号成分を除去するコアリング処理を行う構成を有している。これにより、巡回型フィルタが出力する過去のノイズの影響を低減することができる。
【００２５】
また、本発明に係る画像処理装置において、前記時間積分型フィルタ部は、時間積分処理の時定数を変更可能に構成されている。これにより、時間積分処理の効果を調整し、ノイズ除去を好適に行うことができる。
【００２６】
また、本発明に係る画像処理装置は、前記入力画像信号の動きを検出する動き検出部を備え、前記時間積分型フィルタ部は、前記動き検出部により前記動きが検出された位置において前記時定数を変更する構成を有している。これにより、動いている物のエッジ部にボケが生じるのを防ぐことができる。
【００２７】
また、本発明に係る画像処理装置において、前記動き検出部は、前記入力画像信号の差分検出により前記動きを検出する構成を有している。これにより、入力画像信号の動きを好適に検出することができる。
【発明の効果】
【００２８】
本発明は、高域信号成分に対して時間積分処理を行うことにより、高域信号成分から時間軸方向のノイズを除去することで、画像中のエッジ部がボケるのを防ぎつつ、エッジ部周辺を含む画像全体のノイズを低減することができるという効果を有する画像処理装置を提供することができるものである。
【発明を実施するための最良の形態】
【００２９】
（第１の実施の形態）
以下、本発明の第１の実施の形態における画像処理装置について、図面を用いて説明する。
【００３０】
本発明の第１の実施の形態の画像処理装置１０００の構成を図１に示す。図１において、画像処理装置１０００は、ウェーブレット変換部１１０と、時間積分型フィルタ部１２０と、ウェーブレット逆変換部１３０とを備えている。なお、本実施の形態の例では、サブバンドに分離する回数が２回である。
【００３１】
ウェーブレット変換部１１０は、入力される画像信号に対してウェーブレット変換を行うことにより、低域信号成分（低周波信号成分）を含む低周波帯域と、高域信号成分（高周波信号成分）を含む１以上の高周波帯域とに分離された周波数帯域毎のサブバンド画像信号に変換する。ウェーブレット変換部１１０は、本発明のサブバンド変換部の一例であり、ウェーブレット変換はサブバンド変換の一例である。
【００３２】
ウェーブレット変換部１１０は、レベル１変換部１１１およびレベル２変換部１１２を備えている。レベル１変換部１１１は入力画像信号に対して、１回目（レベル１）のウェーブレット変換を行う。レベル２変換部１１２は１回目のウェーブレット変換後の画像信号に対して、２回目（レベル２）のウェーブレット変換を行う。
【００３３】
時間積分型フィルタ部１２０は、ウェーブレット変換部１１０で得られる高域信号成分に対して時間積分処理を行うことにより、高域信号成分から時間軸方向のノイズを除去する。時間積分型フィルタ部１２０は、第１高域信号時間積分部１２１および第２高域信号時間積分部１２２を備えている。第１高域信号時間積分部１２１は、レベル１変換部１１１で得られる高域信号成分に対して、時間積分処理を行う。第２高域信号時間積分部１２２は、レベル２変換部１１２で得られる高域信号成分に対して、時間積分処理を行う。
【００３４】
ウェーブレット逆変換部１３０は、時間積分型フィルタ部１２０によりノイズが除去された高域信号成分と、ウェーブレット変換部１１０で得られる低域信号成分とに対して、ウェーブレット逆変換を行う。このウェーブレット逆変換により、ノイズが除去された高域信号成分と、低域信号成分とが合成されて、画像信号が再構成され、これが出力画像信号となる。ウェーブレット逆変換部１３０は、サブバンド画像信号を合成するサブバンド逆変換部の一例であり、ウェーブレット逆変換はサブバンド逆変換の一例である。
【００３５】
ウェーブレット逆変換部１３０は、レベル１逆変換部１３１およびレベル２逆変換部１３２を備えている。レベル２逆変換部１３２は、第２高域信号時間積分部１２２により時間軸方向のノイズが除去された高域信号成分と、レベル２変換部１１２で得られる低域信号成分とに対して、ウェーブレット逆変換を行う。レベル１逆変換部１３１は、レベル２逆変換部１３２で得られる信号成分と、第１高域信号時間積分部１２１により時間軸方向のノイズが除去された高域信号成分とに対して、ウェーブレット逆変換を行う。
【００３６】
次に、本発明の第１の実施の形態における画像処理装置１０００の動作について、図に基づいて説明する。
画像処理装置１０００は、図１に示される構成により、多重解像度変換の１つであるウェーブレット変換を用いて、画像信号に含まれるノイズの低減処理を行う。本実施の形態では、Haarの基底に基づいて、水平周波数および垂直周波数の周波数帯域において、サブバンド変換が行われる。サブバンドに分離する回数は２回である。
【００３７】
まず、ウェーブレット変換部１１０によるウェーブレット変換の手順について説明する。図２（ａ）は、入力画像信号をレベル２までのサブバンドに変換するための入力画像信号の各サンプルの取得位置を示した図である。信号Ｓ００〜Ｓ３３は、画素単位でそれぞれ遅延した入力画像信号を示しており、マトリクス状に画素信号Ｓ００〜Ｓ３３が配列されている。各入力画像信号は、信号Ｓ００から信号Ｓ０３に向かって水平方向に１画素ずつ遅延し、信号Ｓ００から信号Ｓ３３に向かって垂直方向に１画素ずつ遅延している。
【００３８】
図２（ｂ）は、入力画像信号をレベル２までのサブバンドに変換した後のサブバンド分離状態を示す図である。図２（ｂ）において、「１」、「２」等の数字はウェーブレット変換のレベルを示し、「Ｌ」は低周波数帯域を示し、「Ｈ」は高周波帯域を示している。また、水平方向の周波数ＦＨは左側にて低域、右側にて高域であり、垂直方向の周波数ＦＶは上側にて低域、下側にて高域である。
【００３９】
入力画像信号に対してウェーブレット変換を行うことにより、入力画像信号は、水平低域垂直低域「１ＬＬ」、水平高域垂直低域「１ＨＬ」、水平低域垂直高域「１ＬＨ」および水平高域垂直高域「１ＨＨ」の周波数帯域に分離される。ここで、「１ＬＬ」は低域信号成分であり、「１ＨＬ」、「１ＬＨ」および「１ＨＨ」は高域信号成分である。レベル２のウェーブレット変換では、レベル１のウェーブレット変換後の低域信号成分「１ＬＬ」に対して、更にウェーブレット変換を行う。この結果、図２（ｂ）に示されるように、「１ＬＬ」が水平低域垂直低域「２ＬＬ」、水平高域垂直低域「２ＨＬ」、水平低域垂直高域「２ＬＨ」および水平高域垂直高域「２ＨＨ」の周波数帯域に分離される。上記同様に、「２ＬＬ」は低域信号成分であり、「２ＨＬ」、「２ＬＨ」および「２ＨＨ」は高域信号成分である。
【００４０】
図３は、ウェーブレット変換部１１０によるウェーブレット変換の手順を示す図である。ここでは、図３を参照して、図２（ａ）に示された入力画像信号の各サンプルから、図２（ｂ）に示されたサブバンドで分離された周波数帯域毎の変換信号を生成する手順を説明する。
【００４１】
Haarの基底におけるウェーブレット変換は、式（１）に示されるように、レベル０の低域信号（図３（ａ）の各サンプル値）を入力画像信号として、レベルｎの低周波帯域からレベルｎ＋１の各周波数成分に変換する漸化式の形式で表される。式（１）中の「ＬＬ」の右側の符号について、「Ｖ」は垂直位置、「Ｈ」は水平位置を表しており、式（１）により垂直位置Ｖ、水平位置Ｈの変換信号が表される（変換記号は、サブバンド変換されたサブバンド画像信号を指す、以下同じ）。
【数１】
2009219066.tif 000003
【００４２】
図３（ａ）は、式（１）におけるレベル０の低域信号（入力画像信号の各サンプル）を示す図であり、図２（ａ）と同一である。図３（ｂ）は、レベル１のウェーブレット変換後の結果を示す図である。ウェーブレット変換部１１０のレベル１変換部１１１がレベル０の低域信号に式（１）の処理を行い、その結果、入力画像信号の低域信号成分０ＬＬが、レベル１の変換信号１ＬＬ、１ＨＬ、１ＬＨおよび１ＨＨに変換される。レベル１の低域信号成分である１ＬＬ０，０、１ＬＬ０，１、１ＬＬ１，０および１ＬＬ１，１は抽出され、これら抽出された成分は次に説明するレベル２のウェーブレット変換に用いられる。
【００４３】
図３（ｃ）は、レベル２のウェーブレット変換後の結果を示す図である。レベル２変換部１１２がレベル１のウェーブレット変換で得られた低域信号成分１ＬＬに式（１）の処理を行い、その結果、レベル１の低域信号成分１ＬＬがレベル２の変換信号２ＬＬ、２ＨＬ、２ＬＨおよび２ＨＨに変換される。変換後の各信号の位置は、それぞれ１／２にダウンコンバートされるので、図３（ｃ）に示す位置になる。
【００４４】
ウェーブレット変換により得られたレベル２の変換信号のうち、低域信号成分２ＬＬ０，０はウェーブレット逆変換部１３０のレベル２逆変換部１３２に入力される（以下では、垂直位置Ｖ＝０、水平位置Ｈ＝０の信号に着目して本発明の処理を説明するが、他の位置の信号も同様に処理されることは勿論である。）。一方、高域信号成分２ＨＬ０，０、２ＬＨ０，０および２ＨＨ０，０はそれぞれ時間積分型フィルタ部１２０の第２高域信号時間積分部１２２に入力される。また、ウェーブレット変換により得られたレベル１の変換信号のうち、高域信号成分１ＨＬ０，０、１ＬＨ０，０および１ＨＨ０，０はそれぞれ時間積分型フィルタ部１２０の第１高域信号時間積分部１２１に入力される。
【００４５】
次に、時間積分型フィルタ部１２０について、図４〜図６を参照して詳細に説明する。図１を用いて説明したように、時間積分型フィルタ部１２０は、高域信号成分１ＨＬ０，０、１ＬＨ０，０、１ＨＨ０，０、２ＨＬ０，０、２ＬＨ０，０、２ＨＨ０，０のそれぞれに対して、個別に時間積分処理を行うことにより、各高域信号成分からノイズを除去する。時間積分型フィルタ部１２０の第１高域信号時間積分部１２１は、レベル１変換部１１１で得られるレベル１の高域信号成分１ＨＬ０，０、１ＬＨ０，０、１ＨＨ０，０に対して時間積分処理を行い、レベル１の高域信号成分から時間軸方向のノイズを除去する。第２高域信号時間積分部１２２は、レベル２変換部１１２で得られるレベル２の高域信号成分２ＨＬ０，０、２ＬＨ０，０、２ＨＨ０，０に対して時間積分処理を行い、レベル２の高域信号成分から時間軸方向のノイズを除去する。
【００４６】
図４は、第１高域信号時間積分部１２１および第２高域信号時間積分部１２２の具体例として、巡回型（Infinite Impulse Response：以下ＩＩＲと称する）フィルタ１２００の構成を示す図である。ＩＩＲフィルタ１２００は、当該ＩＩＲフィルタ１２００への入力信号（フィルタ入力信号）と、前のフレームでフィルタ処理された信号とを所定の比率で加算する構成を有している。
【００４７】
図４に示されるように、ＩＩＲフィルタ１２００は、フレーム遅延メモリ１２０１と、乗算器１２０２ａ、１２０２ｂと、加算器１２０３とを備えている。フレーム遅延メモリ１２０１には、１フレーム前にフィルタ処理がなされたノイズ除去後の高域信号成分が記憶される。ＩＩＲフィルタ１２００のパラメータである時定数をｋ（０＜ｋ＜１）とした場合、フィルタ入力信号である高域信号成分が乗算器１２０２ａで（１−ｋ）倍され、フレーム遅延メモリ１２０１に記憶されているノイズ除去後の高域信号成分が乗算器１２０２ｂでｋ倍される。
【００４８】
そして、乗算器１２０２ａ、１２０２ｂで乗算された各高域信号成分が加算器１２０３により加算される。すなわち、加算器１２０３により、（フィルタ入力信号である高域信号成分）：（１フレーム前にフィルタ処理された高域信号成分）＝（１−ｋ）：ｋとする比率で、両高域信号成分が加算される。
【００４９】
このようにして、ＩＩＲフィルタ１２００は、フィルタ入力信号である高域信号成分と、１フレーム前にフィルタ処理された高域信号成分とを所定の比率（（１−ｋ）：ｋ）で加算することで、フィルタ入力信号である高域信号成分に対して時間積分処理を行い、時間軸方向のノイズを除去する。なお、フレーム遅延メモリに２フレーム以上前のフレームでフィルタ処理された信号を記憶しておき、これを用いてフィルタ処理を行ってもよい。
【００５０】
図５および図６は、図４のＩＩＲフィルタ１２００によるノイズ除去処理を示している。図５（ａ）はノイズを含む入力画像信号の一例を示す図である。入力画像は、図１５（ａ）に示された画像と同様に、右側が明るくて、左側が暗く、画像全体にノイズがある。図５（ｂ）は入力画像信号をウェーブレット変換部１１０により変換することで得られる高域信号成分の１つを示している。ここでは、高域信号成分１ＨＨ０，０を例示している。図５（ｂ）中のＭは入力画像の明領域および暗領域の境界部（エッジ部とする）の位置を指し、Ｐはエッジ周辺部を指している。
【００５１】
図６（ａ）は、図５（ｂ）に示される高域信号成分１ＨＨ０，０のエッジ部Ｍおよびエッジ周辺部Ｐにおける時間軸方向の信号強度の変化を示す。図６（ａ）に示されるように、入力画像信号中の高域信号成分１ＨＨ０，０は、ノイズによって時間軸方向に変動している。従って、時間積分型フィルタ部１２０を用いて時間軸方向の積算を行うと、図６（ｂ）に示すように、高域信号成分のエッジ部Ｍおよびエッジ周辺部Ｐの双方において、ノイズによる時間変動が無くなる。
【００５２】
図６（ｃ）は、ノイズ除去後の高域信号成分の信号強度を示しており、時間軸方向のノイズを除去することにより、エッジ部Ｍの信号強度を低下させることなく、エッジ周辺部Pを含めた画像全体においてノイズを除去することができる。なお、ここでは、レベル１の高域信号成分１ＨＨ０，０に対するノイズ除去の手順を説明したが、レベル１の１ＨＬ０，０、１ＬＨ０，０、レベルの２の２ＨＬ０，０、１ＬＨ０，０、１ＨＨ０，０に対しても同様の処理が行われ、時間軸方向のノイズが除去される。
【００５３】
以下の説明では、ノイズ除去後の高域信号成分には、「’」を付加して示す。すなわち、ノイズ除去後のレベル１の高域信号成分は１ＨＬ’０，０、１ＬＨ’０，０および１ＨＨ’０，０と表され、ノイズ除去後のレベル２の高域信号成分は２ＨＬ’０，０、２ＬＨ’０，０および２ＨＨ’０，０と表される。ノイズ除去後のレベル１の高域信号成分１ＨＬ’０，０、１ＬＨ’０，０および１ＨＨ’０，０はレベル１逆変換部１３１にそれぞれ入力され、ノイズ除去後のレベル２の高域信号成分２ＨＬ’０，０、２ＬＨ’０，０および２ＨＨ’０，０はレベル２逆変換部１３２にそれぞれ入力される。
【００５４】
次に、ウェーブレット逆変換部１３０による処理の手順について、図７を参照して説明する。
【００５５】
Haarの基底におけるウェーブレット逆変換は、式（２）に示されるように、レベルｎ＋１の各周波帯域からレベルｎの低周波数帯域に変換する漸化式の形式で表される。「ＬＬ」の右側の符号については、「Ｖ」は垂直位置、「Ｈ」は水平位置を表している。
【数２】
2009219066.tif 000004
【００５６】
図７（ａ）はウェーブレット逆変換部１３０に入力されるレベル２の変換信号を示す。上述したように、ウェーブレット逆変換部１３０のレベル２逆変換部１３２には、ウェーブレット変換部１１０から低域信号成分２ＬＬ０，０が入力され、時間積分型フィルタ部１２０からノイズ除去後のレベル２の高域信号成分２ＨＬ’０，０、２ＬＨ’０，０および２ＨＨ’０，０が入力される。
【００５７】
図７（ｂ）は、レベル２のウェーブレット逆変換後の結果を示す図である。レベル２逆変換部１３２が、レベル２の低域信号成分２ＬＬ０，０と、ノイズ除去後の高域信号成分２ＨＬ’０，０、２ＬＨ’０，０、２ＨＨ’０，０とに対して、式（２）のウェーブレット逆変換を行い、レベル１の低域信号成分１ＬＬ’０，０に逆変換する。
【００５８】
図７（ｃ）は、レベル１のウェーブレット逆変換後の結果を示す図である。レベル１逆変換部１３１が、レベル２逆変換部１３２により得られるレベル１の低域信号成分１ＬＬ’０，０と、ノイズ除去後のレベル１の高域信号成分１ＨＬ’０，０、１ＬＨ’０，０、１ＨＨ’０，０とに対して、式（２）のウェーブレット逆変換を行うことにより、レベル０の低域信号成分０ＬＬ’０，０に逆変換し、これをノイズ除去後の画像信号として出力する。そして、式（２）によって、全成分の逆変換を行うことにより、ノイズ除去後の画像信号S００’、S０１’、・・・、S３３’を得ることができる。
【００５９】
図８（ａ）はノイズ除去後の出力画像信号の信号強度を示す。図８（ａ）に示されるように、出力画像信号は、図５（ａ）で示した入力画像信号と比較して、ノイズが除去されているのがわかる。図８（ｂ）はノイズ除去後の出力画像を示す。図８（ｂ）に示されるように、出力画像中のエッジ部Mにボケが無く、エッジ周辺部Ｐにおいてもノイズが除去されている。
【００６０】
このような本発明の第１の実施の形態の画像処理装置によれば、高域信号成分に対して時間積分処理が行われる。画像信号のノイズは、時間軸方向に変化する特性を持つので、時間積分処理を行うことにより、高域信号成分からノイズを除去できる。この時間積分処理では、エッジ周辺のノイズも他の部分と同様に除去される。また、時間積分処理を行っても、エッジ部の信号値は低下しない。したがって、画像中のエッジ部がボケるのを防ぎつつ、エッジ部周辺を含む画像全体のノイズを低減することができる。
【００６１】
また、本発明の第１の実施の形態の画像処理装置によれば、時間積分型フィルタ部は、フィルタ入力信号と、前のフレームのフィルタ処理された信号とを所定の比率で加算する巡回型フィルタを含む構成を有している。これにより、時間積分処理によるノイズ除去を好適に行うことができる。
【００６２】
次に、本発明の第１の実施の形態に係る画像処理装置の変形例について説明する。上述の実施の形態では、第１高域信号時間積分部１２１および第２高域信号時間積分部１２２が、図４に示されるＩＩＲフィルタ１２００のみで構成されていた。この場合、高域信号成分の振幅に関係なく全ての信号に対して時間積分処理が行われるので、動いている物のエッジ部にボケが生じ得る。以下に説明する変形例は、時間軸方向のノイズ除去を微小振幅の信号成分のみに対して行うことで、動いている物のエッジ部のボケを低減している。
【００６３】
図９は、本変形例における第１高域信号時間積分部１２１および第２高域信号時間積分部１２２の構成を示す。図９に示されるように、本変形例は、ＩＩＲフィルタ１２００と、コアリングフィルタ（コアリング処理部）１２０４と、微小信号抽出部１２０５と、加算部１２０３ｂとを備えている。ＩＩＲフィルタ１２００の構成は、図４で示す構成と同一である。
【００６４】
コアリングフィルタ１２０４は、入力信号のうちの閾値以下の成分を０にする構成であり、これにより、フィルタ入力信号である高域信号成分中の微小振幅値の信号成分を除去する処理を行う。図１０（ａ）はコアリング処理部１２０４の入出力特性の一例を示す図であり、微小振幅値の出力が０に設定されている。図１０（ａ）に示されるように、フィルタ入力信号の値が−ｔｈ１〜ｔｈ１の場合、当該信号成分は０値に置き換えられる。入力信号の値がｔｈ１〜ｔｈ２、−ｔｈ１〜−ｔｈ２（ｔｈ１＜ｔｈ２）の範囲では、出力信号は０から徐々に変化する。入力信号がｔｈ２以上または−ｔｈ２以下の場合、出力信号は入力信号と同じとなる。
【００６５】
微小信号抽出部１２０５は、入力信号のうちの閾値以下の成分を抽出する構成であり、これにより、フィルタ入力信号である高域信号成分中の微小振幅値の信号成分を抽出する。図１０（ｂ）は微小信号抽出部１２０５の入出力特性の一例を示す。図１０（ｂ）に示されるように、微小信号抽出部１２０５は、入力信号が−ｔｈ１〜ｔｈ１の場合に、入力信号と同じ値を出力する。また、入力信号がｔｈ１〜ｔｈ２、−ｔｈ１〜−ｔｈ２（ｔｈ１＜ｔｈ２）の範囲では、出力信号が徐々に０に近づく。更に、入力信号がｔｈ２以上また−ｔｈ２以下であれば、出力値は０になる。
【００６６】
図９に示した変形例の動作について説明する。ウェーブレット変換部１１０により分離された高域信号成分が入力されると、微小信号抽出部１２０５が高域信号成分中の微小振幅値の信号成分を抽出する。ＩＩＲフィルタ１２００は、微小信号抽出部１２０５により抽出された微小振幅値の信号成分に対して時間積分処理を行い、微小振幅値の信号成分からノイズを除去する。また、ウェーブレット変換部１１０により分離された高域信号成分が入力されると、コアリングフィルタ１２０４が高域信号成分中の微小振幅値の信号成分を０値にして除去するコアリング処理を行う。そして、ＩＩＲフィルタ１２００による時間積分処理後の信号と、コアリングフィルタ１２０４による処理後の信号とが加算部１２０３ｂで加算されて、ノイズ除去後の高域信号成分として出力される。
【００６７】
上記変形例によれば、時間積分型フィルタ部において、フィルタ入力信号中の微小振幅値の信号成分に対して時間積分処理を行う。これにより、微小振幅値の信号成分以外の信号成分に対しては、時間積分処理を適用しないので、動いている物のエッジ部にボケが生じるのを防ぐことができる。
【００６８】
（第２の実施の形態）
以下、本発明の第２の実施の形態における画像処理装置について、図面を用いて説明する。図１１は本発明の第２の実施の形態の画像処理装置２０００の構成を示す。
【００６９】
図１１において、画像処理装置２０００は、ウェーブレット変換部１１０と、ウェーブレット逆変換部５００と、動き検出部６００とを備えている。図１と同様に、サブバンドに分離する回数は２回である。
【００７０】
図１１は、図１と比較して、動き検出部６００が追加されている点と、ウェーブレット逆変換部５００の構成で相違する。なお、ウェーブレット逆変換部５００は、サブバンド画像信号を合成するサブバンド逆変換部の一例であり、ウェーブレット逆変換はサブバンド逆変換の一例である。
【００７１】
図１１に示されるように、ウェーブレット逆変換部５００は、エッジ信号作成部５１０と、時間積分型フィルタ部１２０ａと、エッジ信号加算部５２０とを備えている。ウェーブレット逆変換部５００は、ウェーブレット変換部１１０により変換された高域信号成分のみに基づいて後述のエッジ信号を作成し、このエッジ信号に含まれる時間方向のノイズの除去を行い、画像信号を再構成して、出力画像信号として出力する。動き検出部６００は、入力画像信号の動きを検出する。例えば、動き検出部６００は、入力画像信号の差分検出により、入力画像信号の動きを検出する。
【００７２】
エッジ信号作成部５１０は、ウェーブレット変換部１１０により変換された高域信号成分および低域信号成分のうちで高域信号成分のみに対してウェーブレット逆変換を行うことにより得られるエッジ信号を作成する。エッジ信号作成部５１０は、レベル１エッジ信号作成部５１１と、レベル２エッジ信号作成部５１２とを備えている。レベル１エッジ信号作成部５１１およびレベル２エッジ信号作成部５１２の具体的な機能および動作については後述する。
【００７３】
時間積分型フィルタ部１２０ａは、エッジ信号作成部５１０により生成されたエッジ信号に対して時間積分処理を行うことにより、エッジ信号から時間軸方向のノイズを除去する。ここで、図１で示した時間積分型フィルタ部１２０と異なり、時間積分型フィルタ部１２０ａは、１つのＩＩＲフィルタで構成される。具体的には、時間積分型フィルタ部１２０ａは図４の１つのＩＩＲフィルタ１２００で構成される。また、時間積分型フィルタ部１２０ａは図９の変形例の構成を有してもよい。但し、図４および図９では、入力は高域信号成分、出力はノイズ除去後の高域信号成分であるのに対し、時間積分型フィルタ部１２０ａの場合、エッジ信号が高域信号成分として処理され、ノイズ除去の対象となる。すなわち、入力はエッジ信号作成部５１０から入力されるエッジ信号、出力はノイズ除去後のエッジ信号となる。具体的な動作は、図４および図９を用いて説明した内容と同様である。
【００７４】
図１１に示されるように、時間積分型フィルタ部１２０ａには、動き検出部６００から動き検出結果が入力される。時間積分型フィルタ部１２０ａは、時間積分処理の時定数を変更可能に構成されており、動き検出部６００により動きが検出された位置において時定数ｋを減少させて、時間軸方向のノイズを除去する処理を行う。このように時定数ｋを減少することにより、動いている物がボケるのを防ぐことができる。
【００７５】
時定数ｋの値は予め設定され、画像処理装置の記憶部（メモリ）に記憶されており、時間積分型フィルタ部１２０ａにより読み出されて、時定数制御に使用されてよい。静止した位置と動きが検出された位置のそれぞれに対応して２つの時定数ｋが設定され、時定数ｋは動きの有無によって切り替えられてよい。また、動きの程度に応じて、時定数が変更されてもよい。この場合、時定数ｋは動き量の関数で表されてもよく、マップの形で設定されてもよい。
【００７６】
エッジ信号加算部５２０は、時間積分型フィルタ部１２０ａにより時間積分処理されたエッジ信号と、ウェーブレット変換部１１０で変換された低域信号成分とを加算することで、ノイズ除去された画像信号を再構成して、これを出力画像信号として出力する。
【００７７】
次に、本発明の第２の実施の形態における画像処理装置２０００の動作について、図に基づいて説明する。本実施の形態でも、Haarの基底に基づいたウェーブレット変換を行う例を説明する。サブバンドに変換する回数は２回である。
【００７８】
まず、ウェーブレット変換部１１０は、入力される画像信号に対してウェーブレット変換を行うことで、入力画像信号を低域信号成分および高域信号成分に分離する。ウェーブレット変換部１１０によるウェーブレット変換の手順は、第１の実施の形態と同様であり、図２および図３を用いて説明した通りである。ウェーブレット変換部１１０による変換により、入力画像信号がレベル１の変換信号１ＬＬ０，０、１ＨＬ０，０、１ＬＨ０，０および１ＨＨ０，０の各周波数帯域の成分に分離され、更にレベル１の低域信号成分１ＬＬが、レベル２の変換信号２ＬＬ０，０、２ＨＬ０，０、２ＬＨ０，０および２ＨＨ０，０の各周波数帯域の成分に分離される。この結果、入力画像信号が、低域信号成分２ＬＬ０，０と、高域信号成分１ＨＬ０，０、１ＬＨ０，０、１ＨＨ０，０、２ＨＬ０，０、２ＬＨ０，０および２ＨＨ０，０に分離される。なお、これらは前出の式（１）に従って算出される。
【００７９】
次に、エッジ信号作成部５１０は、ウェーブレット変換部１１０により変換された高域信号成分のみに対してウェーブレット逆変換を行うことでエッジ信号を作成する。ここで、レベルｎのエッジ信号は、次の式（３）に示されるように定義することができる。
ｎＥＬ２Ｖ，２Ｈ    ＝（  ｎＨＬＶ，Ｈ＋ｎＬＨＶ，Ｈ＋ｎＨＨＶ，Ｈ）／４
ｎＥＬ２Ｖ，２Ｈ＋１  ＝（−ｎＨＬＶ，Ｈ＋ｎＬＨＶ，Ｈ−ｎＨＨＶ，Ｈ）／４
ｎＥＬ２Ｖ＋１，２Ｈ  ＝（  ｎＨＬＶ，Ｈ−ｎＬＨＶ，Ｈ−ｎＨＨＶ，Ｈ）／４
ｎＥＬ２Ｖ＋１，２Ｈ＋１＝（−ｎＨＬＶ，Ｈ−ｎＬＨＶ，Ｈ＋ｎＨＨＶ，Ｈ）／４
・・・（３）
【００８０】
式（２）と式（３）を比較すると、式（３）には式（２）の低域信号成分がない（０である）。従って、式（３）により、低域信号成分を除外して、高域信号成分のみに対して、ウェーブレット逆変換が行われる。この変換結果は、高域信号成分を合成した画像信号であり、従ってエッジ部の情報を持っている。そこで、本発明では上述したように、この変換結果の信号をエッジ信号と定義する。
【００８１】
式（２）と式（３）より、次の式（４）が導出される。
ｎＬＬ２Ｖ，２Ｈ    ＝ｎ＋１ＬＬＶ，Ｈ／４＋ｎ＋１ＥＬ２Ｖ，２Ｈ
ｎＬＬ２Ｖ，２Ｈ＋１  ＝ｎ＋１ＬＬＶ，Ｈ／４＋ｎ＋１ＥＬ２Ｖ，２Ｈ＋１
ｎＬＬ２Ｖ＋１，２Ｈ  ＝ｎ＋１ＬＬＶ，Ｈ／４＋ｎ＋１ＥＬ２Ｖ＋１，２Ｈ
ｎＬＬ２Ｖ＋１，２Ｈ＋１＝ｎ＋１ＬＬＶ，Ｈ／４＋ｎ＋１ＥＬ２Ｖ＋１，２Ｈ＋１ 
・・・（４）
【００８２】
式（４）の通り、ｎレベルの低域信号成分は、（ｎ＋１）レベルのエッジ信号および低域信号成分で表すことができる。従って、エッジ信号成分と最上位レベルの低域信号成分があれば、最下位のレベル０の低域信号成分を復元することができる。
【００８３】
例えば、レベル２までウェーブレット変換を行った場合、水平位置１、垂直位置１のレベル０の信号成分０ＬＬ１，１は、次の式（５）のように表される。
０ＬＬ１，１＝１ＬＬ０，０／４＋１ＥＬ１，１
＝（２ＬＬ０，０／４＋２ＥＬ０，０）／４＋１ＥＬ１，１
＝２ＬＬ０，０／１６＋２ＥＬ０，０／４＋１ＥＬ１，１        ・・・（５）
【００８４】
そこで、エッジ信号作成部５１０のレベル２エッジ信号作成部５１２は、レベル２変換部１２２により変換された２ＨＬ０，０、２ＬＨ０，０および２ＨＨ０，０からレベル２のエッジ信号２ＥＬ１，１を作成する。レベル１エッジ信号作成部５１１は、レベル１変換部１２１により変換された１ＨＬ０，０、１ＬＨ０，０および１ＨＨ０，０からレベル１のエッジ信号１ＥＬ１，１を作成する。そして、エッジ信号作成部５１０は、レベル２エッジ信号作成部５１２により作成された２ＥＬ１，１の１／４と、レベル１エッジ信号作成部５１１により作成された２ＥＬ１，１とを加算して、エッジ信号を作成する。エッジ信号は式（６）の通りとなる。
エッジ信号＝２ＥＬ０，０／４＋１ＥＬ１，１      ・・・（６）
【００８５】
このような処理を全部の位置に関して行うことにより、エッジ信号作成部５１０は、ウェーブレット変換部１１０で得られる高域信号成分のみに対してウェーブレット逆変換を行うことで、エッジ信号を算出する。
【００８６】
時間積分型フィルタ部１２０ａは、エッジ信号作成部５１０により生成されたエッジ信号に対して時間積分処理を行うことにより、エッジ信号から時間軸方向のノイズを除去する。入力画像信号中のノイズの多くは、低域信号成分と比較して、高域信号成分に含まれている。エッジ信号は高域信号成分を加算することにより算出されるものであり、従って、入力画像信号に含まれるノイズは、低域信号成分２ＬＬ０，０ではなく、エッジ信号に多く含まれる。従って、時間積分型フィルタ部１２０ａで、エッジ信号に対して時間積分処理を行うことで、入力画像信号のノイズを効果的に除去することができる。
【００８７】
ここで、エッジ信号は高域信号成分のみに対してウェーブレット逆変換を行うことで得られるものである。そして、エッジ信号は式（３）を用いて説明したように、高域信号成分を加算することにより得られる。本実施の形態は、このようなエッジ信号を高域信号成分として時間積分処理を行うので、時間積分型フィルタ１２０ａ中のＩＩＲフィルタ１２００を１つで構成することができ、フレームメモリの節約をすることができる。この結果、時間積分型フィルタの構成を簡素にすることができる。
【００８８】
また、時間積分型フィルタ部１２０ａは、次のようにして、入力画像信号の動きに応じて時定数ｋを変更する。動き検出部６００は入力画像信号の動きを検出し、動き検出結果を時間積分型フィルタ部１２０ａに入力する。そして、時間積分型フィルタ部１２０ａは、動き検出部６００により動きが検出された位置において時定数ｋを減少させて、時間軸方向のノイズを除去する処理を行う。このように時定数ｋを減少することにより、動いている物がボケるのを防ぐことができる。
【００８９】
エッジ信号加算部５２０では、時間積分型フィルタ１２０ａにより時間積分処理がされたエッジ信号と、レベル２変換部１１２により変換された低域信号成分とを加算することで、ノイズ除去された出力画像信号を算出する。ここでは、式（５）に従って、エッジ信号と、低域信号成分２ＬＬ０，０の１／１６とを加算することで、レベル０の低域信号成分０ＬＬ’１，１を算出する。
【００９０】
このような本発明の第２の実施の形態の画像処理装置によれば、高域信号成分のみに対してサブバンド逆変換を行うことにより得られるエッジ信号を作成し、エッジ信号を高域信号成分として時間積分処理を行う。したがって、高域信号成分を１つの時間積分型フィルタで処理でき、構成を簡素にすることができる。
【００９１】
従来の一般的なウェーブレット逆変換と異なり、本実施の形態では、ウェーブレット逆変換処理が２段階で行われている。１段階目の処理は、エッジ信号作成処理であり、高域信号成分のみを対象として逆変換を行って、エッジ信号を作成する。エッジ信号は、中間段階の逆変換信号といえる。２段階目の処理は、エッジ信号加算処理であり、エッジ信号と低域信号が加算される。これにより、最終的な逆変換信号が算出され、逆変換処理が完成する。そして、本実施の形態では、１段階目の処理と２段階目の処理の間で時間積分処理が行われる。すなわち、１段階目の処理で得られる中間段階の逆変換信号が、時間積分処理の対象になる。これにより、ＩＩＲフィルタが１つでよくなり、フレームメモリが節約されて、構成が簡素になる。
【００９２】
また、本発明の第２の実施の形態の画像処理装置において、時間積分型フィルタ部は、時間積分処理の時定数を変更可能に構成されている。これにより、時間積分処理の効果を調整し、ノイズ除去を好適に行うことができる。
【００９３】
また、本発明の第２の実施の形態の画像処理装置によれば、入力画像信号の動きを検出する動き検出部を備え、時間積分型フィルタ部は、動き検出部により動きが検出された位置において時定数を変更する構成を有している。これにより、動いている物のエッジ部にボケが生じるのを防ぐことができる。
【００９４】
また、本発明の第２の実施の形態の画像処理装置において、動き検出部は、入力画像信号の差分検出により動きを検出する構成を有している。これにより、入力画像信号の動きを好適に検出することができる。
【００９５】
（第３の実施の形態）
以下、本発明の第３の実施の形態における画像処理装置について、図面を用いて説明する。図１２は第３の実施の形態の画像処理装置３０００の構成を示すブロック図である。
【００９６】
図１２において、画像処理装置３０００は、ウェーブレット変換部１１０と、コアリング処理部１４０と、ウェーブレット逆変換部１３０ａと、微小信号抽出部１５０と、微小エッジ信号作成部１６０と、時間積分型フィルタ部１２０ｂと、エッジ信号加算部１７０とを備えている。サブバンドに分離する回数は２回である。図１２のウェーブレット変換部１１０、コアリング処理部１４０およびウェーブレット逆変換部１３０ａは、図１３のウェーブレット変換部７１０、コアリング処理部７４０およびウェーブレット逆変換部７３０に相当する。
【００９７】
ウェーブレット変換部１１０は、入力される画像信号に対してウェーブレット変換を行うことにより、低域信号成分を含む低周波帯域と、高域信号成分を含む１以上の高周波帯域とに分離された周波数帯域毎のサブバンド画像信号に変換する。ウェーブレット変換部１１０は、本発明のサブバンド変換部の一例であり、ウェーブレット変換はサブバンド変換の一例である。ウェーブレット変換部１１０は、レベル１変換部１１１およびレベル２変換部１１２を備えている。レベル１変換部１１１は入力画像信号に対して１回目（レベル１）のウェーブレット変換を行い、レベル２変換部１１２は１回目のウェーブレット変換後の画像信号に対して２回目（レベル２）のウェーブレット変換を行う。
【００９８】
コアリング処理部１４０は、ウェーブレット変換部１１０で得られる高域信号成分中の微小振幅値の信号成分を除去するコアリング処理を行う。図１２に示されるように、コアリング処理部１４０は第１高域信号コアリング部１４１および第２高域信号コアリング部１４２を備えている。第１高域信号コアリング部１４１は、レベル１変換部１１１で得られる高域信号成分を処理し、第２高域信号コアリング部１４２は、レベル２変換部１１２で得られる高域信号成分を処理する。
【００９９】
ウェーブレット逆変換部１３０ａは、コアリング処理部１４０によりコアリング処理された高域信号成分と、ウェーブレット変換部１１０で得られる低域信号成分とに対して、ウェーブレット逆変換を行い、画像信号を再構成する。ウェーブレット逆変換部１３０ａは、サブバンド画像信号を合成するサブバンド逆変換部の一例であり、ウェーブレット逆変換はサブバンド逆変換の一例である。
【０１００】
ウェーブレット逆変換部１３０ａは、レベル１逆変換部１３１ａおよびレベル２逆変換部１３２ａを備えている。レベル２逆変換部１３２ａは、第２高域信号コアリング部１４２でコアリング処理が行われた高域信号成分と、ウェーブレット変換部１１０で得られる低域信号成分に対して、ウェーブレット逆変換を行う。レベル１逆変換部１３１ａは、レベル２逆変換部１３２ａで得られる信号成分と、第１高域信号コアリング部１４１でコアリング処理が行われた高域信号成分に対して、ウェーブレット逆変換を行う。これにより、分離されていた高域信号成分および低域信号成分が合成され、画像信号が再構成される。
【０１０１】
微小信号抽出部１５０は、ウェーブレット変換部１１０により変換された高域信号成分の中の微小振幅値の信号成分を抽出する。図１２に示されるように、微小信号抽出部１５０は第１微小信号抽出部１５１および第２微小信号抽出部１５２を備えている。第１微小信号抽出部１５１は、レベル１変換部１１１で得られるレベル１の高域信号成分の中の微小振幅値の信号成分を抽出する。第２微小信号抽出部１５２は、レベル２変換部１１２で得られるレベル２の高域信号成分の中の微小振幅値の信号成分を抽出する。
【０１０２】
微小エッジ信号作成部１６０は、微小信号抽出部１５０により抽出された微小振幅値の高域信号成分に対してウェーブレット逆変換を行うことで、微小振幅値のエッジ信号を作成する。
【０１０３】
図１２に示されるように、微小エッジ信号作成部１６０は、レベル１微小エッジ信号作成部１６１およびレベル２微小エッジ信号作成部１６２を備える。レベル２微小エッジ信号作成部１６２は、第２微小信号抽出部１５２により抽出された微小振幅値の高域信号成分に対してウェーブレット逆変換を行うことで、微小振幅値のレベル２のエッジ信号を作成する。レベル１微小エッジ信号作成部１６１は、第１微小信号抽出部１５１により抽出された微小振幅値の高域信号成分に対してウェーブレット逆変換を行うことで、微小振幅値のレベル１のエッジ信号を作成する。また、微小エッジ信号作成部１６０は、微小振幅値のレベル１およびレベル２のエッジ信号を加算して、微小振幅値のエッジ信号を作成する。
【０１０４】
微小振幅値のエッジ信号の具体的な作成方法は、第２の実施の形態でのエッジ信号の作成方法と同様の処理により作成される。但し、第２の実施の形態では、高域信号成分全体が処理されたのに対して、本実施の形態では、高域信号成分のうちの微小振幅値の信号成分が処理され、これにより、微小振幅値の信号成分が得られる。
【０１０５】
時間積分型フィルタ部１２０ｂは、微小エッジ信号作成部１６０により作成された微小振幅値のエッジ信号に対して時間積分処理を行うことにより、微小振幅値のエッジ信号から時間軸方向のノイズを除去する。ここで、時間積分型フィルタ部１２０ｂの構成は、図１１の時間積分型フィルタ１２０ａと同様でよく、図４または図９で示したフィルタ構成を１つだけ備える。但し、時間積分型フィルタ部１２０ｂの場合、入力は微小振幅値のエッジ信号、出力はノイズ除去された微小振幅値のエッジ信号となる。具体的な動作は、図４および図９を用いて説明した内容と同様である。
【０１０６】
エッジ信号加算部１７０は、時間積分型フィルタ部１２０ｂにより時間積分処理された微小振幅値のエッジ信号と、ウェーブレット逆変換部１３０ａで得られる画像信号とを加算することで、ノイズ除去された画像信号を再構成し、これを出力画像信号として出力する。
【０１０７】
次に、本発明の第３の実施の形態における画像処理装置３０００の動作について、図に基づいて説明する。本実施の形態でも、Haarの基底に基づいたウェーブレット変換を行う例を説明する。
【０１０８】
まず、ウェーブレット変換部１１０は、入力画像信号をウェーブレット変換することにより、低域信号成分および高域信号成分に分離する。高域信号成分はコアリング処理部１４０および微小信号抽出部１５０に、低域信号成分はウェーブレット逆変換部１３０ａに入力される。
【０１０９】
コアリング処理部１４０は、入力される高域信号成分中の微小振幅値の信号成分を除去する。コアリング処理後の高域信号成分はウェーブレット逆変換部１３０ａに入力される。ウェーブレット逆変換部１３０ａは、コアリング処理部１４０から入力される高域信号成分と、ウェーブレット変換部１１０から入力される低域信号成分とに対してウェーブレット逆変換を行い、画像信号を生成する。生成された画像信号はエッジ信号加算部１７０に入力される。
【０１１０】
微小信号抽出部１５０は、入力される高域信号成分中の微小振幅値の信号成分をレベル毎に抽出する。微小信号抽出部１５０により抽出された微小振幅値の高域信号成分は、微小エッジ信号作成部１６０に入力される。微小エッジ信号作成部１６０は、入力される微小振幅値の高域信号成分に対してウェーブレット逆変換を行い、微小振幅値のエッジ信号を作成する。微小振幅値のエッジ信号は、時間積分型フィルタ部１２０ｂに入力される。
【０１１１】
時間積分型フィルタ部１２０ｂは、入力される微小振幅値のエッジ信号に対して時間積分処理を行い、微小振幅値のエッジ信号から時間軸方向のノイズを除去する。時間積分処理が行われた微小振幅値のエッジ信号は、エッジ信号加算部１７０に入力される。エッジ加算部１７０は、時間積分型フィルタ部１２０ｂにより処理された微小振幅値のエッジ信号と、ウェーブレット逆変換部１３０ａから入力される画像信号とを加算して、ノイズ除去された出力画像信号を出力する。
【０１１２】
このような本発明の第３の実施の形態の画像処理装置によれば、高域信号成分中の微小振幅値の信号成分を抽出し、微小振幅値の高域信号成分に対してサブバンド逆変換を行うことにより得られる微小振幅値のエッジ信号を作成し、微小振幅値のエッジ信号を高域信号成分として時間積分処理を行う。これにより、微小振幅値の信号成分以外の信号成分に対しては、時間積分処理を適用しないので、動いている物のエッジ部にボケが生じるのを防ぐことができ、かつ、エッジ信号を時間積分処理するので、高域信号成分を１つの時間積分型フィルタで処理でき、構成を簡素にすることができる。
【０１１３】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【０１１４】
上記説明では、第２の実施の形態の画像処理装置２０００に動き検出部６００が設けられていた。同様の動き検出部は、第１および第３の実施の形態の画像処理装置１０００、３０００に設けられてもよい。そして、時間積分型フィルタ部は、動き検出部により動きが検出された位置において時定数ｋを減少させて、時間軸方向のノイズを除去する処理を行ってもよい。これにより、上述と同様に、動いている物がボケるのを防ぐことができる。
【０１１５】
また、第１〜第３の実施の形態における時間積分型フィルタ部の構成では、ＩＩＲフィルタの時定数ｋによって過去の信号の影響が出る。そこで、画像処理装置は、ノイズを除去した信号（フィルタ処理された信号）の出力時に微小振幅値の信号成分を除去するコアリング処理を行う構成を有してもよい。これにより、過去のノイズの影響を低減することができる。
【産業上の利用可能性】
【０１１６】
以上のように、本発明は、高域信号成分に対して時間積分処理を行うことにより、高域信号成分から時間軸方向のノイズを除去することで、画像中のエッジ部がボケるのを防ぎつつ、エッジ周辺部を含む画像全体のノイズを低減することができるという効果を有し、車に搭載されたカメラモニタ、撮像装置としてのビデオカメラ、画像表示機能を有するテレビジョン、画像記録機能を有するＤＶＤレコーダ等に用いられる画像処理装置等に有用である。
【図面の簡単な説明】
【０１１７】
【図１】本発明の第１の実施の形態における画像処理装置の構成を示すブロック図
【図２】（ａ）  入力画像信号の各サンプルの取得位置を示した図  （ｂ）  入力画像信号をレベル２までのサブバンドに変換した後のサブバンド分離状態を示す図
【図３】（ａ）  ウェーブレット変換の手順を示す図  （ｂ）  ウェーブレット変換の手順を示す図  （ｃ）  ウェーブレット変換の手順を示す図
【図４】時間積分型フィルタ部の具体例としてのＩＩＲフィルタの構成を示す図
【図５】（ａ）  ノイズ除去前の画像信号を示す図  （ｂ）  ノイズ除去前の高域信号成分を示す図
【図６】（ａ）  ノイズ除去前の時間軸方向の高域信号成分を示す図  （ｂ）  ノイズ除去後の時間軸方向の高域信号成分を示す図  （ｃ）  ノイズ除去後の高域信号成分を示す図
【図７】（ａ）  ウェーブレット逆変換の手順を示す図  （ｂ）  ウェーブレット逆変換の手順を示す図  （ｃ）  ウェーブレット逆変換の手順を示す図
【図８】（ａ）  ウェーブレット逆変換後のノイズが除去された出力画像信号を示す図  （ｂ）  ウェーブレット逆変換後のノイズが除去された出力画像を示す図
【図９】時間積分型フィルタ部の変形例の構成を示す図
【図１０】（ａ）  時間積分型フィルタ部の入出力特性の例を示す図  （ｂ）  時間積分型フィルタ部の入出力特性の例を示す図
【図１１】本発明の第２の実施の形態における画像処理装置を示すブロック図
【図１２】本発明の第３の実施の形態における画像処理装置を示すブロック図
【図１３】従来の画像処理装置の構成を示すブロック図
【図１４】（ａ）  入力画像の一例を示す図  （ｂ）  入力画像信号の一例を示す図  （ｃ）  入力画像信号の高域信号成分を示す図
【図１５】（ａ）  従来の画像処理装置によりノイズ除去された後の入力画像信号の高域信号成分を示す図  （ｂ）  従来の画像処理装置の出力画像の一例を示す図
【符号の説明】
【０１１８】
１０００、２０００、３０００  画像処理装置
１１０  ウェーブレット変換部
１２０、１２０ａ、１２０ｂ  時間積分型フィルタ部
１３０、１３０ａ  ウェーブレット逆変換部
１４０  コアリング処理部
１５０  微小信号抽出部
１６０  微小エッジ信号作成部
１７０  エッジ信号加算部
５００  ウェーブレット逆変換部
５１０  エッジ信号作成部
５２０  エッジ信号加算部
６００  動き検出部
１２００  ＩＩＲフィルタ
１２０１  フレーム遅延メモリ
１２０２ａ、１２０２ｂ  乗算器
１２０３、１２０３ｂ  加算器
１２０４  コアリングフィルタ
１２０５  微小信号抽出部
【図１】
2009219066.tif 000005
【図２】
2009219066.tif 000006
【図３】
2009219066.tif 000007
【図４】
2009219066.tif 000008
【図５】
2009219066.tif 000009
【図６】
2009219066.tif 000010
【図７】
2009219066.tif 000011
【図８】
2009219066.tif 000012
【図９】
2009219066.tif 000013
【図１０】
2009219066.tif 000014
【図１１】
2009219066.tif 000015
【図１２】
2009219066.tif 000016
【図１３】
2009219066.tif 000017
【図１４】
2009219066.tif 000018
【図１５】
2009219066.tif 000019