(57)【要約】【課題】コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制することができる画像処理装置を提供すること。【解決手段】ウェーブレット変換処理部１で変換された高域信号成分を含むサブバンド画像信号の微小振幅信号をコアリング処理部２で０値に変換し、ウェーブレット逆変換処理部３で、低域信号成分を含むサブバンド画像信号とコアリング処理されたサブバンド画像信号を正相または逆相の異なる組合せで合成して二つの画像信号を復元し、この二つの画像信号を所定の位相で合成して、出力画像信号でのエッジ波形を回転対称なエッジ波形として出力する。【選択図】図１
2007188211.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するサブバンド変換部と、前記高域信号成分を含むサブバンド画像信号の微小振幅値の信号成分の値を０値に変換するコアリング処理を行うコアリング処理部と、前記低域信号成分を含むサブバンド画像信号と前記コアリング処理されたサブバンド画像信号とを合成することで出力画像信号を生成するサブバンド逆変換部とを備え、前記サブバンド逆変換部は、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を一方の組合せに従い正相または逆相として合成することで一方の画像信号を復元する一方の復元部と、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を前記一方の組合せとは異なる他方の組合せに従い正相または逆相として合成することで他方の画像信号を復元する他方の復元部と、前記一方の画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成する復元画像合成部とを有したことを特徴とする画像処理装置。
【請求項２】
前記サブバンド変換部により変換された前記高域信号成分を含む一つ以上のサブバンド画像信号は、コアリング対象とコアリング非対象とに区分され、前記コアリング処理部は、前記コアリング対象の高域信号成分を含むサブバンド画像信号に対してのみコアリング処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記コアリング処理部は、供給された信号の絶対値が所定の閾値以下のときには、その信号を０値に変換して出力し、供給された信号の絶対値が前記所定の閾値を超えるときには、その信号の絶対値を閾値だけ減じた値に変換し出力するコアリング処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記コアリング処理部は、供給されたそれぞれの前記高域信号成分を含むサブバンド画像信号に対して、それぞれに設定された所定の閾値に基づいてコアリング処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記他方の復元部は、前記一方の画像信号よりも所定の画素分遅延した画像信号である前記他方の画像信号を復元し、前記復元画像合成部は、前記一方の画像信号を所定の画素分遅延させた画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記他方の復元部は、前記一方の画像信号よりも一画素分遅延した画像信号である前記他方の画像信号を復元することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記他方の復元部は、前記一方の画像信号よりも水平方向に一画素分遅延した画像信号である前記他方の画像信号を復元することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記サブバンド変換部は、ウェーブレット変換に基づいて、画像信号を水平周波数帯域および垂直周波数帯域で分割される多重サブバンド画像信号に変換することを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記サブバンド変換部は、水平周波数帯域に分割する分割数に比べて、垂直周波数帯域に分割する分割数を少なくしたことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の画像処理装置と、被写体を撮像する撮像素子を含み、前記撮像素子の撮像により生成した画像信号を前記画像処理装置に供給する撮像部と、前記画像処理装置により画像処理された画像信号を表示する表示部とを備えたことを特徴とする撮像装置。
【請求項１１】
画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するステップと、前記高域信号成分を含むサブバンド画像信号の微小振幅値の信号成分の値を０値に変換するコアリング処理を行うステップと、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を一方の組合せに従い正相または逆相として合成することで一方の画像信号を復元するステップと、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を前記一方の組合せとは異なる他方の組合せに従い正相または逆相として合成することで他方の画像信号を復元するステップと、前記一方の画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成するステップとを備えたことを特徴とする画像処理方法。
【請求項１２】
コンピュータに、画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するステップ、前記高域信号成分を含むサブバンド画像信号の微小振幅値の信号成分の値を０値に変換するコアリング処理を行うステップ、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を一方の組合せに従い正相または逆相として合成することで一方の画像信号を復元するステップ、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を前記一方の組合せとは異なる他方の組合せに従い正相または逆相として合成することで他方の画像信号を復元するステップ、前記一方の画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成するステップを実行させるためのプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号のノイズを低減させる画像処理装置、撮像装置および画像処理方法に関し、特に、画像信号を周波数帯域毎に分離された周波数帯域画像信号に変換するウェーブレット変換などの多重解像度変換手法を利用してノイズを低減させる画像処理装置、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、画像信号のノイズを低減させる手法として、多重解像度変換の一つであるウェーブレット変換を利用したノイズ低減手法が知られている（例えば、特許文献１参照）。
【０００３】
このようなノイズ低減手法では、まず、ウェーブレット変換に基づき、画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む高周波帯域とのサブバンドに分離し、さらに得られた低域信号成分を含む信号に対して同様の処理を繰り返すことで、周波数帯域毎のサブバンドに分離された周波数帯域画像信号（以下、サブバンド画像信号と呼ぶ）を生成する。
【０００４】
次に、これら周波数帯域毎の画像信号のなかで高域信号成分を有したサブバンド画像信号に対して、コアリング処理と呼ばれる微小振幅成分を除去するような処理を行う。さらに、コアリング処理されたサブバンド画像信号も含めて、分離された各サブバンド画像信号を合成することによりウェーブレット逆変換を行う。
【０００５】
このような処理を実行することにより、高域信号成分に含まれる微小な振幅のノイズ成文のみが抑制された画像信号が再構成される。
【０００６】
特に、このような手法によれば、コアリング処理を行う高周波帯域を選択することで、特定の周波数成分を有したノイズを低減させたり、コアリング処理の条件を変えることで、ノイズの低減量を変更できるなど、きめ細かなノイズ低減処理が可能となる。
【０００７】
また、ウェーブレット変換として、帯域分離の精度は高いがフィルタ係数が複雑となるＤａｕｂｅｃｈｉｅｓの基底や、帯域分離の精度は低いがフィルタ係数が「１」と「−１」との二つのみで構成されるＨａｒｒの基底と呼ばれる具体的手法があるが、民生用機器などではハードウェアの規模が小さくてすむＨａｒｒの基底が利用される。
【０００８】
図１３は、このようなＨａｒｒの基底に基づきノイズを低減させる従来の画像処理装置の基本的な構成を示したブロック図である。また、図１４は、従来の画像処理装置の動作を説明するための図である。
【０００９】
ここでは、画像信号に対して一次元のウェーブレット変換を行い、また、サブバンドに分離する回数を２回とした例を示している。
【００１０】
なお、以下、サブバンドに分離する回数をレベルと呼び説明する。すなわち、入力の画像信号をレベル０とし、この入力画像信号に対して一回の変換を行った結果をレベル１と呼び、この結果に対してさらに変換を行った結果をレベル２と呼ぶ。
【００１１】
図１３において、入力画像信号Ｓは、ウェーブレット変換処理部９１に供給され、Ｈａｒｒの基底に基づくレベル２のウェーブレット変換処理が実行される。
【００１２】
ウェーブレット変換処理部９１は、レベル２のウェーブレット変換を実行するため、図１４（ａ）に示すように、入力画像信号は、画素単位に時系列の信号Ｓ０、Ｓ１、Ｓ２、Ｓ３とする各サンプルに区分され、信号Ｓ０とＳ１、信号Ｓ２とＳ３というようにグループ化される。このような四つのサンプルに対してレベル２のウェーブレット変換が行われた結果、図１４（ｂ）に示すように、一回目の変換で各サンプルからレベル１のサブバンド分割された帯域Ｗｈ１の高域信号成分である高周波信号Ｓｈ１と帯域Ｗｌ１の低域信号成分である低周波信号が得られる。さらに二回目の変換で、帯域Ｗｌ１の低周波信号から、レベル２のサブバンド分割された帯域Ｗｈ２の高周波信号Ｓｈ２と帯域Ｗｌ２の低周波信号Ｓｌ２が得られる。
【００１３】
ウェーブレット変換処理部９１において、まず、入力画像信号は、遅延素子９１１で構成された４タップのシフトレジスタに供給される。これらのタップからは、サンプリング周期でシフトされながら、四つのサンプルとして画素単位で並んだ信号Ｓ０、Ｓ１、Ｓ２、Ｓ３が出力され、サブバンドに分離するための各フィルタに供給される。
【００１４】
ウェーブレット変換処理部９１は、このようなフィルタとして、加算器９１２を備えた低域フィルタと、減算器９１３を備えた高域フィルタとを有している。低域フィルタは、加算器９１２により、Ｈａｒｒの基底に基づくフィルタ係数が「１」と「１」とのフィルタ処理を実行する。また、高域フィルタは、減算器９１３により、Ｈａｒｒの基底に基づくフィルタ係数が「１」と「−１」とのフィルタ処理を実行する。
【００１５】
レベル１のウェーブレット変換を実行するため、信号Ｓ０およびＳ１は、高域フィルタ１Ｈ０と低域フィルタ１Ｌ０に供給される。また、低域フィルタ１Ｌ１は、レベル２の変換処理のためのフィルタであり、信号Ｓ２およびＳ３が供給される。
【００１６】
高域フィルタ１Ｈ０は、図１４（ｂ）で示した帯域Ｗｈ１の高周波信号Ｓｈ１を抽出し、低域フィルタ１Ｌ０は、図１４（ｂ）で示した帯域Ｗｌ１の低周波信号を抽出する。
【００１７】
このようにして、レベル１のウェーブレット変換が実行される。
【００１８】
次に、レベル２のウェーブレット変換を実行するため、低域フィルタ１Ｌ０からの信号と低域フィルタ１Ｌ１からの信号とが、高域フィルタ２Ｈ０と低域フィルタ２Ｌ０に供給される。
【００１９】
高域フィルタ２Ｈ０は、図１４（ｂ）で示した帯域Ｗｈ２の高周波信号Ｓｈ２を抽出し、低域フィルタ２Ｌ０は、図１４（ｂ）で示した帯域Ｗｌ２の低周波信号Ｓｌ２を抽出する。
【００２０】
このようにして、レベル２のウェーブレット変換が実行される。
【００２１】
このようなサブバンド毎に抽出された信号において、高域信号成分を有した信号、すなわち、高周波信号Ｓｈ１と高周波信号Ｓｈ２とがコアリング処理部９２に供給される。
【００２２】
コアリング処理部９２は、入力信号の振幅に対して非線形処理を行うコアリング回路９２１およびコアリング回路９２２を有している。
【００２３】
図１３では、コアリング回路９２１およびコアリング回路９２２として、ソフトコアリングと呼ばれるコアリング処理を行うコアリング回路を一例として示している。
【００２４】
すなわち、コアリング回路９２１およびコアリング回路９２２は、絶対値が閾値以下の入力信号を一律０値として出力し、入力信号の絶対値が閾値を超える場合には、入力信号の絶対値から閾値を減じた値の信号を出力する。
【００２５】
図１３では、コアリング回路９２１に閾値Ｔｈ１を設定し、コアリング回路９２２に閾値Ｔｈ２を設定した一例を示している。
【００２６】
コアリング処理部９２において、このような処理が実行されることにより、高周波信号Ｓｈ１や高周波信号Ｓｈ２に含まれる微少な振幅はノイズとみなされて０値に変換され、ノイズ低減されることとなる。
【００２７】
コアリング処理された高周波信号Ｓｈ１および高周波信号Ｓｈ２は、高周波信号Ｓｈ１’および高周波信号Ｓｈ２’としてウェーブレット逆変換処理部９３に供給される。また、ウェーブレット変換処理部９１で抽出された低周波信号Ｓｌ２もウェーブレット逆変換処理部９３に供給される。
【００２８】
ウェーブレット逆変換処理部９３は、供給されたサブバンド毎の信号を再構成するため、図１３では、加算器９３１と二分の一の割算器９３２とにより平均値演算を行う合成フィルタ１Ａ０および２Ａ０を有している。
【００２９】
合成フィルタ２Ａ０は、低周波信号Ｓｌ２と高周波信号Ｓｈ２’とを加算することで、図１４（ｂ）で示した帯域Ｗｌ１に対応した信号を再構成する。
【００３０】
すなわち、図１４（ｃ）に示すように、レベル１の高周波信号Ｓｈ１に対応した低周波信号Ｓｌ１’が復元される。
【００３１】
次に、合成フィルタ１Ａ０が、復元された低周波信号Ｓｌ１’と高周波信号Ｓｈ１’とを加算することで、図１４（ｃ）に示すように、入力の信号Ｓ０から高域のノイズ成分が低減された信号Ｓ０’が復元されることとなる。
【００３２】
なお、以上のような構成をＺ変換に基づく伝達関数として考えた場合、例えば、入力から高域フィルタ２Ｈ０の出力までの伝達関数は（１＋Ｚ-1−Ｚ-2−Ｚ-3）であり、低域フィルタ２Ｌ０の出力までの伝達関数は（１＋Ｚ-1＋Ｚ-2＋Ｚ-3）である。
【００３３】
よって、合成フィルタ２Ａ０によりそれぞれが合成されると、コアリング処理を無視した場合、合成フィルタ２Ａ０の出力までの伝達関数は（１＋Ｚ-1）となり、低域フィルタ１Ｌ０の出力までの伝達関数と等しくなる。
【００３４】
さらに、合成フィルタ１Ａ０により、合成フィルタ２Ａ０の出力までの伝達関数（１＋Ｚ-1）と高域フィルタ１Ｈ０の出力までの伝達関数（１−Ｚ-1）とが合成されると、合成フィルタ１Ａ０の出力までの伝達関数は（１）となる。
【００３５】
すなわち、コアリング処理を無視した場合、出力には入力の信号Ｓ０に等しい信号が得られることとなる。
【００３６】
また、例えば、合成フィルタ１Ａ０において減算処理を行うようにすることで、合成フィルタ２Ａ０の出力までの伝達関数（１＋Ｚ-1）から高域フィルタ１Ｈ０の出力までの伝達関数（１−Ｚ-1）が減算され、合成フィルタ１Ａ０の出力までの伝達関数は（Ｚ-1）となり、信号Ｓ１と等しい信号を出力することも可能である。
【００３７】
このように、ウェーブレット逆変換処理部９３において、低周波信号Ｓｌ２と各高周波信号とを合成するとき、それぞれの高周波信号の位相を正相または逆相とし、その組合せを変えることで所望の入力信号を復元することができる。
【００３８】
以上説明したように、図１３に示した従来の画像処理装置により、画像信号に重畳された高域信号成分のノイズを低減させることができる。
【特許文献１】特開２００３−１３４３５２号公報
【発明の開示】
【発明が解決しようとする課題】
【００３９】
しかしながら、従来の画像処理装置においては、高周波成分を含んだ画像エッジ付近においてもコアリング処理が行われるため、エッジの対称性が崩れ、例えばＲＧＢ（Red-Green-Blue）信号に対して画像処理を行うような場合、色ずれなどが生じるという課題があった。
【００４０】
図１５は、このような従来の画像処理装置において生じるエッジの非対称を説明するための図である。以下、図１５を参照しながら従来の画像処理装置における課題について説明する。
【００４１】
図１５（ａ）は、画像信号におけるエッジ付近の原信号Ｓ０と、図１３で示したウェーブレット変換処理部９１の各フィルタからの出力信号との波形を示した図である。
【００４２】
図１５（ａ）に示すように、低域フィルタ１Ｌ０からは、原信号Ｓ０に対してエッジ部分がなまった低周波信号Ｓｌ１が出力され、低域フィルタ２Ｌ０からは、原信号Ｓ０に対してさらにエッジ部分がなまった低周波信号Ｓｌ２が出力される。
【００４３】
一方、高域フィルタ１Ｈ０からは、正の振幅方向に突出するようなエッジ部分の高域信号成分である高周波信号Ｓｈ１が出力され、高域フィルタ２Ｈ０からは、より幅が広く正の振幅方向に突出するようなエッジ部分の高周波信号Ｓｈ２が出力される。
【００４４】
図１５（ｂ）は、コアリング処理を施さずウェーブレット逆変換を行う場合の各信号の波形を示した図である。
【００４５】
ウェーブレット逆変換処理部９３において、図１５（ｂ）の上から下への手順に沿った処理が実行される。
【００４６】
すなわち、合成フィルタ２Ａ０により、エッジ部分がなまった低周波信号Ｓｌ２に、原信号エッジ部分の高周波信号Ｓｈ２が加算されることで、エッジの傾きが修復され、低域フィルタ１Ｌ０の出力信号Ｓｌ１に等しい信号が復元される。
【００４７】
さらに、合成フィルタ２Ａ０により復元された信号に、原信号エッジ部分の高周波信号Ｓｈ１が加算されることで、エッジの傾きがさらに修復され、原信号Ｓ０に等しい信号が復元信号として復元される。
【００４８】
図１５（ｃ）は、コアリング処理を施した信号に対してウェーブレット逆変換を行う場合の各信号の波形を示した図である。
【００４９】
図１５（ｂ）と同様に、ウェーブレット逆変換処理部９３において、図１５（ｃ）の上から下への手順に沿った処理が実行される。
【００５０】
すなわち、高域フィルタ２Ｈ０からの高周波信号Ｓｈ２は、コアリング処理の閾値Ｔｈ２だけ振幅値が減少した高周波信号Ｓｈ２’に変換される。
【００５１】
このため、合成フィルタ２Ａ０により、低周波信号Ｓｌ２に対して振幅値が減少した高周波信号Ｓｈ２’を加算すると、この振幅値が減少したことにより、低域フィルタ１Ｌ０の出力信号Ｓｌ１のエッジ上部の一部に段差があるような信号が生成される。
【００５２】
さらに、高域フィルタ１Ｈ０からの高周波信号Ｓｈ１もコアリング処理の閾値Ｔｈ１だけ振幅値が減少した高周波信号Ｓｈ１’に変換される。
【００５３】
このため、合成フィルタ１Ａ０からは、図１５（ｃ）に示すように、原信号Ｓ０に対して、エッジ上部の一部に階段状の段差があるような復元信号が生成されることとなる。
【００５４】
すなわち、図１３に示す構成の場合、原信号Ｓ０のエッジに対して、図１５（ｃ）の最下部に示すような窪み量が閾値Ｔｈ２の四分の一である（Ｔｈ／４）の窪み、および窪み量が閾値Ｔｈ２の四分の一と閾値Ｔｈ１の二分の一とを加算した（Ｔｈ２／４＋Ｔｈ１／２）の窪みが生じる。
【００５５】
これにより、復元信号のエッジ上部において、原信号Ｓ０のエッジ上側の平坦部から（Ｔｈ２／４）および（Ｔｈ２／４＋Ｔｈ１／２）だけ階段状に振幅値が減少した復元信号が復元される。
【００５６】
このような階段状の段差により、復元信号のエッジは、エッジの中心に対して回転非対称なエッジとなるとともに、このようなエッジ対称性の崩れにより、原信号のエッジ波形に対してエッジ幅が広がったようなエッジとなる。
【００５７】
その結果、視覚的にはぼけたようなエッジとなり、またエッジの中心位相が定まらないような位相のずれが生じることとなる。
【００５８】
このため、例えば、ＲＧＢの各信号に対して画像処理を行い表示するような場合、エッジがぼけるとともに、ＲＧＢそれぞれの信号の位相がずれたようになり、画像中の境界部などにおいて偽色輪郭などが生じ、非常に見苦しくなるという不都合があった。
【００５９】
本発明は、上記課題を解決するためになされたもので、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００６０】
本発明の画像処理装置は、画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するサブバンド変換部と、前記高域信号成分を含むサブバンド画像信号の微小振幅値の信号成分の値を０値に変換するコアリング処理を行うコアリング処理部と、前記低域信号成分を含むサブバンド画像信号と前記コアリング処理されたサブバンド画像信号とを合成することで出力画像信号を生成するサブバンド逆変換部とを備え、前記サブバンド逆変換部は、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を一方の組合せに従い正相または逆相として合成することで一方の画像信号を復元する一方の復元部と、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を前記一方の組合せとは異なる他方の組合せに従い正相または逆相として合成することで他方の画像信号を復元する他方の復元部と、前記一方の画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成する復元画像合成部とを有した構成を有している。
【００６１】
この構成により、復元画像合成部は、画像のエッジ信号において、コアリング処理により生じた一方の非対称なエッジ信号と他方の非対称なエッジ信号とが合成されることとなる。
【００６２】
ここで、前記サブバンド変換部により変換された前記高域信号成分を含む一つ以上のサブバンド画像信号は、コアリング対象とコアリング非対象とに区分され、前記コアリング処理部は、前記コアリング対象の高域信号成分を含むサブバンド画像信号に対してのみコアリング処理を行う構成とした。
【００６３】
この構成により、コアリング処理を行う周波数帯域を選択することができ、特定の周波数成分のノイズを低減させることができる。
【００６４】
また、前記コアリング処理部は、供給された信号の絶対値が所定の閾値以下のときには、その信号を０値に変換して出力し、供給された信号の絶対値が前記所定の閾値を超えるときには、その信号の絶対値を閾値だけ減じた値に変換し出力するコアリング処理を行う構成とした。
【００６５】
この構成により、絶対値が閾値以下の信号が０値に変換され、絶対値が閾値を超える信号は絶対値から閾値を減じた値に変換されて、ノイズが低減される。
【００６６】
また、前記コアリング処理部は、供給されたそれぞれの前記高域信号成分を含むサブバンド画像信号に対して、それぞれに設定された所定の閾値に基づいてコアリング処理を行う構成とした。
【００６７】
この構成により、コアリング処理を行う周波数帯域において、ノイズの低減量を変更することができる。
【００６８】
また、前記他方の復元部は、前記一方の画像信号よりも所定の画素分遅延した画像信号である前記他方の画像信号を復元し、前記復元画像合成部は、前記一方の画像信号を所定の画素分遅延させた画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成する構成とした。
【００６９】
この構成により、一方の画像信号と他方の画像信号とを所定の位相で合成することができる。
【００７０】
また、前記他方の復元部は、前記一方の画像信号よりも一画素分遅延した画像信号である前記他方の画像信号を復元する構成とした。
【００７１】
この構成により、遅延処理または遅延のための構成を削減させることができる。
【００７２】
また、前記他方の復元部は、前記一方の画像信号よりも水平方向に一画素分遅延した画像信号である前記他方の画像信号を復元する構成とした。
【００７３】
この構成により、遅延処理または遅延のための構成を削減させるとともに、エッジ信号に対し、非対称なぼけのほぼ真ん中にエッジを設定することができ、より対称性のあるエッジ信号を得ることができる。
【００７４】
また、前記サブバンド変換部は、ウェーブレット変換に基づいて、画像信号を水平周波数帯域および垂直周波数帯域で分割される多重サブバンド画像信号に変換する構成とした。
【００７５】
この構成により、水平方向および垂直方向に分割されたサブバンド画像信号に対してノイズ低減の処理が施される。
【００７６】
また、前記サブバンド変換部は、水平周波数帯域に分割する分割数に比べて、垂直周波数帯域に分割する分割数を少なくした構成とした。
【００７７】
この構成により、ノイズの低減の効果を維持しながら、垂直方向に分割する処理または構成を削減させることができる。
【００７８】
また、本発明の撮像装置は、前記いずれかの画像処理装置と、被写体を撮像する撮像素子を含み、前記撮像素子の撮像により生成した画像信号を前記画像処理装置に供給する撮像部と、前記画像処理装置により画像処理された画像信号を表示する表示部とを備えた構成を有している。
【００７９】
この構成により、表示部に表示される画像は、その画像中のエッジ部などにおいて色にじみなどが抑制された画像が表示されることとなる。
【００８０】
さらに、本発明の画像処理方法は、画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するステップと、前記高域信号成分を含むサブバンド画像信号の微小振幅値の信号成分の値を０値に変換するコアリング処理を行うステップと、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を一方の組合せに従い正相または逆相として合成することで一方の画像信号を復元するステップと、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を前記一方の組合せとは異なる他方の組合せに従い正相または逆相として合成することで他方の画像信号を復元するステップと、前記一方の画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成するステップとを備えた構成を有している。
【００８１】
この構成により、画像のエッジ信号において、コアリング処理により生じた一方の非対称なエッジ信号と他方の非対称なエッジ信号とが合成されることとなる。
【００８２】
さらに、本発明のプログラムは、コンピュータに、画像信号を低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するステップ、前記高域信号成分を含むサブバンド画像信号の微小振幅値の信号成分の値を０値に変換するコアリング処理を行うステップ、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を一方の組合せに従い正相または逆相として合成することで一方の画像信号を復元するステップ、前記低域信号成分を含むサブバンド画像信号に、前記コアリング処理された一つ以上のサブバンド画像信号を前記一方の組合せとは異なる他方の組合せに従い正相または逆相として合成することで他方の画像信号を復元するステップ、前記一方の画像信号と前記他方の画像信号とを合成することで前記出力画像信号を生成するステップを実行させる構成を有している。
【００８３】
この構成により、画像のエッジ信号において、コアリング処理により生じた一方の非対称なエッジ信号と他方の非対称なエッジ信号とが合成されることとなる。
【発明の効果】
【００８４】
本発明によれば、低域信号成分とコアリング処理された高域信号成分とを、異なる正相および逆相の組合せで合成して二系統の画像信号を復元し、この二系統の画像信号をさらに合成しているので、それぞれに復元した画像信号のコアリング処理によるエッジ対称性の崩れに対し、原信号のエッジを中心にして回転対称のような波形とすることができ、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制することができる。
【発明を実施するための最良の形態】
【００８５】
以下、本発明の実施の形態について、図面を参照して説明する。
【００８６】
（実施の形態）
図１は本発明の実施の形態の画像処理装置の構成を示したブロック図である。
【００８７】
図１に示すように、本実施の形態の画像処理装置は、入力された入力画像信号を、その画像信号の低域信号成分を含む低周波帯域と高域信号成分を含む一つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するサブバンド変換部としてのウェーブレット変換処理部１と、ウェーブレット変換処理部１により変換された高域信号成分に対し、その高域信号成分における微小振幅値の信号成分の値を０値に変換するコアリング処理を行うコアリング処理部２と、低域信号成分とコアリング処理された高域信号成分とを合成することで、出力画像信号を生成するサブバンド逆変換部としてのウェーブレット逆変換処理部３とを備えている。
【００８８】
本実施の形態の画像処理装置は、多重解像度変換の一つであるウェーブレット変換を利用して画像信号に含まれるノイズの低減処理を行う。本実施の形態では、ウェーブレット変換におけるＨａｒｒの基底に基づき、入力画像信号を水平周波数および垂直周波数の二次元周波数帯域において、低周波信号成分である低域信号成分を含む低周波帯域と高周波信号成分である高域信号成分を含む高周波帯域とのサブバンドに分離する場合を示す。また、サブバンドに分離する回数として、水平方向にはレベル３である三回まで分離し、垂直方向にはレベル１である一回のみ分離する場合について説明する。
【００８９】
図２は、このような条件でウェーブレット変換するための分割例を示した図である。
【００９０】
図２（ａ）水平方向にレベル３、また垂直方向にレベル１までのサブバンドに分離するため、画像信号の各サンプルの分割を示した図である。
【００９１】
図２（ａ）において、信号Ｓ００からＳ１７までは画素単位でそれぞれ遅延した入力画像信号を示しており、信号Ｓ００から信号Ｓ０７に向かって水平方向に一画素ずつ遅延し、信号Ｓ００から信号Ｓ１０に向かって垂直方向に一画素遅延した入力画像信号を示している。
【００９２】
また、図２（ｂ）は、水平方向にレベル３、また垂直方向にレベル１まで分離したサブバンドの分割を示した図である。
【００９３】
図２（ｂ）において、数字はウェーブレット変換のレベルを示し、「Ｌ」は低周波帯域を示し、「Ｈ」は高周波帯域を示している。
【００９４】
すなわち、入力画像信号は、レベル１において水平低域垂直低域「１ＬＬ」、水平高域垂直低域「１ＨＬ」、水平低域垂直高域「１ＬＨ」、および水平高域垂直高域「１ＨＨ」の二次元周波数帯域に分離される。
【００９５】
さらに、水平低域垂直低域「１ＬＬ」のサブバンド画像信号は、レベル２において、水平低域「２Ｌ」および水平高域「２Ｈ」の水平周波数帯域に分離される。
【００９６】
さらに、水平低域「２Ｌ」のサブバンド画像信号は、レベル３において、水平低域「３Ｌ」および水平高域「３Ｈ」の水平周波数帯域に分離される。
【００９７】
図２（ｃ）は、図２（ａ）に示す各サンプルから図２（ｂ）のサブバンドで分割された周波数帯域毎のサブバンド画像信号を生成する手順を示した図である。すなわち、図２（ｃ）は、本実施の形態におけるウェーブレット変換の手順を示している。
【００９８】
図３は、ウェーブレット変換処理部１の各変換部の詳細な構成を示した図である。
【００９９】
図３に示すように、レベル１変換部１４は、四つの変換フィルタ１４１を備えている。変換フィルタ１４１は、図４（ａ）に示すようなＨａｒｒの基底に基づく演算を実行する。
【０１００】
すなわち、例えば、信号Ｓ００、Ｓ０１、Ｓ１０、およびＳ１１が供給される変換フィルタ１４１の出力ＬＬには、それぞれの信号が加算された信号が出力される。
【０１０１】
また、言い換えれば、変換フィルタ１４１の出力ＬＬは、水平方向および垂直方向の二次元のローパスフィルタとして機能するデジタルフィルタの出力である。
【０１０２】
一方、変換フィルタ１４１の出力ＨＬ、ＬＨ、およびＨＨは、入力信号に対する減算を含んだ演算結果を出力するため、少なくとも水平方向あるいは垂直方向のハイパスフィルタとして機能するデジタルフィルタの出力である。
【０１０３】
このように、変換フィルタ１４１が図４（ａ）に示すような演算処理を実行することにより、二次元フィルタとして機能し、図２（ｂ）に示すように、レベル１における水平低域垂直低域「１ＬＬ」、水平高域垂直低域「１ＨＬ」、水平低域垂直高域「１ＬＨ」、および水平高域垂直高域「１ＨＨ」の二次元周波数帯域に分離されたそれぞれの変換信号が出力される。
【０１０４】
レベル２変換部１５は、二つの変換フィルタ１５１を備えている。変換フィルタ１５１は、図４（ｂ）に示すようなＨａｒｒの基底に基づく演算を実行する。
【０１０５】
すなわち、例えば、変換信号１ＬＬ００および１ＬＬ０１が供給される変換フィルタ１５１の出力Ｌには、それぞれの信号が加算された信号が出力される。
【０１０６】
また、言い換えれば、変換フィルタ１５１の出力Ｌは、水平方向の一次元のローパスフィルタとして機能するデジタルフィルタの出力である。
【０１０７】
一方、変換フィルタ１５１の出力Ｈは、入力信号に対する減算を含んだ演算結果を出力するため、水平方向のハイパスフィルタとして機能するデジタルフィルタの出力である。
【０１０８】
このように、変換フィルタ１５１が図４（ｂ）に示すような演算処理を実行することにより一次元フィルタとして機能し、図２（ｂ）に示したように、レベル２における水平低域「２Ｌ」および水平高域「２Ｈ」の水平周波数帯域に分離されたそれぞれの変換信号が出力される。
【０１０９】
レベル３変換部１６は、一つの変換フィルタ１５１を備えている。レベル３変換部１６の変換フィルタ１５１の出力Ｌには、それぞれの信号が加算された信号が出力される。
【０１１０】
また、変換フィルタ１５１の出力Ｈには、一方の信号から他方の信号が減算された信号が出力される。
【０１１１】
このように、変換フィルタ１５１が図４（ｂ）に示すような演算処理を実行することにより、一次元フィルタとして機能し、図２（ｂ）に示したように、レベル３における水平低域「３Ｌ」および水平高域「３Ｌ」の水平周波数帯域に分離されたそれぞれの変換信号が出力される。
【０１１２】
ウェーブレット逆変換処理部３は、図１に示すように、低域変換信号３Ｌ００とコアリング処理された高域変換信号を、それぞれの高域変換信号について一方の組合せに従い正相または逆相とし、合成することで一方の画像信号を復元する第一の復元部３１と、低域変換信号３Ｌ００とコアリング処理された高域変換信号を、それぞれの高域変換信号について上記一方の組合せとは異なった他方の組合せに従い正相または逆相とし、合成することで他方の画像信号を復元する第二の復元部３２と、第一の復元部３１で復元された一方の画像信号と第二の復元部３２で復元された他方の画像信号とを合成することで出力画像信号Ｓ’を生成する復元画像合成部３３とを有している。
【０１１３】
なお、図１において、各合成部の入力に示す記号「＋」は正相で、記号「−」は正相に対して信号値の符号を反転した逆相で両信号を合成することを示している。例えば、合成部３１１は、信号３Ｌ００と３Ｈ００’とを正相で合成、すなわち、より具体的には信号３Ｌ００と３Ｈ００’と加算するような合成を行う。また、合成部３２１は、信号３Ｌ００を正相とし、信号３Ｈ００’を逆相として合成、すなわち、より具体的には信号３Ｌ００から信号３Ｈ００’を減算するような合成を行う。
【０１１４】
復元画像合成部３３は、第一の復元部３１で復元された画像信号Ｓ００’を所定の画素分遅延させ、遅延させた画像信号Ｓ００ｄ’を出力する遅延部３３１と、第二の復元部３２で復元した画像信号Ｓ１７’と遅延部３３１からの画像信号Ｓ００ｄ’とを合成し、出力画像信号Ｓ’を出力する合成部３３２とを備えている。
【０１１５】
このような画像処理装置において、ノイズを低減するための入力画像信号Ｓがサブバンド変換部としてのウェーブレット変換処理部１に供給される。
【０１１６】
ウェーブレット変換処理部１において、供給された入力画像信号Ｓは、シフトレジスタ１１およびラインメモリ１２に供給される。
【０１１７】
シフトレジスタ１１に供給された入力画像信号Ｓは、シフトレジスタ１１により、サンプル単位で遅延されながらサンプリング周期でシフトされ、シフトレジスタ１１からは、画素単位で時系列の信号、すなわち、水平方向の各信号Ｓ００、Ｓ０１、Ｓ０２、Ｓ０３、Ｓ０４、Ｓ０５、Ｓ０６、およびＳ０７がレベル１変換部１４に供給される。
【０１１８】
また、ラインメモリ１２に供給された入力画像信号Ｓは、ラインメモリ１２により一水平期間だけ遅延され、ラインメモリ１２からは一水平期間だけ遅延した信号が出力される。
【０１１９】
さらに、この信号は、シフトレジスタ１１と同様の機能を有したシフトレジスタ１３に供給される。これにより、シフトレジスタ１３からは、水平方向の各信号Ｓ１０、Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４、Ｓ１５、Ｓ１６、およびＳ１７がレベル１変換部１４へと出力される。
【０１２０】
このようにして、レベル１変換部１４には、図２（ａ）に示すような水平方向および垂直方向の画像サンプル信号がサンプリング周期でシフトされながら供給される。
【０１２１】
なお、一般に、ノイズは垂直方向の相関が水平方向に比べて低いため、このように、水平周波数帯域に分割する分割数に比べて、垂直周波数帯域に分割する分割数を少なくすることにより、ノイズ低減の効果を維持しながら、垂直方向に遅延させるためのラインメモリを削減でき、ハードウェア量の増加を抑制することができる。
【０１２２】
レベル１変換部１４は、シフトレジスタ１１およびシフトレジスタ１３から供給された図２（ａ）に示す各信号を用いてレベル１のウェーブレット変換を行う。
【０１２３】
これにより、レベル１変換部１４は、水平方向の２サンプルおよび垂直方向の２サンプルから、図２（ｃ）のレベル１変換結果に示すような四種類のレベル１のサブバンド画像信号（以下、適宜、変換信号と呼ぶ）を生成し、出力する。
【０１２４】
すなわち、例えば、レベル１変換部１４は、信号Ｓ００、Ｓ０１、Ｓ１０、およびＳ１１を用いて、水平低域垂直低域信号成分を含む変換信号１ＬＬ００、水平高域垂直低域信号成分を含む変換信号１ＨＬ００、水平低域垂直高域信号成分を含む変換信号１ＬＨ００、および水平高域垂直高域信号成分を含む変換信号１ＨＨ００を生成する。
【０１２５】
同様に、レベル１変換部１４は、例えば、信号Ｓ０６、Ｓ０７、Ｓ１６、およびＳ１７を用いて、変換信号１ＬＬ０３、１ＨＬ０３、１ＬＨ０３、および１ＨＨ０３を生成する。
【０１２６】
レベル１変換部１４で生成された水平低域垂直低域信号成分を含む各変換信号１ＬＬ００、１ＬＬ０１、１ＬＬ０２、および１ＬＬ０３は、レベル２のウェーブレット変換を行うレベル２変換部１５に供給される。
【０１２７】
また、レベル１変換部１４で生成された高域信号成分を含む変換信号は、以下で説明するコアリング処理部２に供給される。
【０１２８】
レベル２変換部１５は、図２（ｃ）に示すように、レベル１変換部１４で生成された水平低域垂直低域信号成分を含む各変換信号１ＬＬ００、１ＬＬ０１、１ＬＬ０２、および１ＬＬ０３から、レベル２の変換信号を生成する。
【０１２９】
すなわち、例えば、レベル２変換部１５は、変換信号１ＬＬ００および１ＬＬ０１を用いて、水平低域信号成分を含む変換信号２Ｌ００、および水平高域信号成分を含む変換信号２Ｈ００を生成し、同様に、変換信号１ＬＬ０２および１ＬＬ０３からもそれぞれの変換信号２Ｌ０１および２Ｈ０１を生成する。
【０１３０】
レベル２変換部１５で生成された水平低域信号成分を含む変換信号２Ｌ００および２Ｌ０１は、レベル３のウェーブレット変換を行うレベル３変換部１６に供給される。
【０１３１】
また、レベル２変換部１５で生成された高域信号成分を含む変換信号２Ｈ００および２Ｈ０１は、以下で説明するコアリング処理部２に供給される。
【０１３２】
レベル３変換部１６は、図２（ｃ）に示すように、レベル２変換部１５で生成された水平低域信号成分を含む各変換信号２Ｌ００および２Ｌ０１から、レベル３の変換信号を生成する。
【０１３３】
すなわち、レベル３変換部１６は、変換信号２Ｌ００および２Ｌ０１を用いて、水平低域信号成分を含む変換信号３Ｌ００、および水平高域信号成分を含む変換信号３Ｈ００を生成する。
【０１３４】
レベル３変換部１６で生成された水平低域信号成分を含む変換信号３Ｌ００は、以下で説明するウェーブレット逆変換処理部３に供給される。
【０１３５】
また、レベル３変換部１６で生成された高域信号成分を含む変換信号３Ｈ００は、以下で説明するコアリング処理部２に供給される。
【０１３６】
以上のようにして、ウェーブレット変換処理部１は、図２（ｂ）に例示するように、入力画像信号を、入力画像信号の低域信号成分を含む低周波帯域３Ｌと高域信号成分を含む一つ以上の高周波帯域１ＨＬ、１ＬＨ、１ＨＨ、２Ｈ、および３Ｈとに分割された周波数帯域毎のサブバンド画像信号であるそれぞれの変換信号に変換する。
【０１３７】
次に、レベル１変換部１４、レベル２変換部１５、およびレベル３変換部１６で生成された高域信号成分を含む変換信号は、コアリング処理部２に供給される。
【０１３８】
コアリング処理部２は、供給された高域信号成分を含む変換信号に対して、その高域信号成分に含まれる微小振幅成分を除去するようなコアリング処理を行う。
【０１３９】
なお、以下、低域信号成分のみを含む変換信号３Ｌ００を低域変換信号と呼び、その他、変換信号１ＨＬ００、１ＬＨ００、１ＨＨ００、１ＨＬ０３、１ＬＨ０３、１ＨＨ０３、２Ｈ００、２Ｈ０１および３Ｈ００のように高域信号成分を含む変換信号を高域変換信号と呼び説明する。
【０１４０】
コアリング処理部２は、供給された高域信号成分を含む各変換信号、すなわち高域変換信号の振幅値に対して図５に示すようなソフトコアリングと呼ばれる非線形処理を行う。
【０１４１】
図５に示すように、コアリング処理部２は、供給された高域変換信号の絶対値が所定の閾値Ｔｈ（以下、適宜、コアリング量と呼ぶ）以下のときには、その信号を一律０値に変換して出力し、変換信号の絶対値が所定の閾値Ｔｈを超えるときには、その信号の絶対値を閾値Ｔｈだけ減じた値に変換して出力する。
【０１４２】
コアリング処理部２において、このようなコアリング処理が実行されることにより、供給された高域変換信号に含まれる微小振幅値の信号成分はノイズとみなされて０値に変換され、ノイズ低減されることとなる。
【０１４３】
コアリング処理部２でコアリング処理されたそれぞれの高域変換信号は、次に説明するウェーブレット逆変換処理部３に供給される。
【０１４４】
なお、以下、コアリング処理部２において、各高域変換信号がコアリング処理されるとして説明するが、それぞれの高域変換信号に応じてコアリング処理を実施したり、しなかったりするような構成であってもよい。
【０１４５】
また、それぞれの高域変換信号に応じたコアリング量を設けるような構成であってもよく、このような変更可能な構成とすることにより、特定の周波数成分を有したノイズの低減や、ノイズの低減量を変更できるなど、きめ細かなノイズ低減処理が可能となる。
【０１４６】
以上のようにして、コアリング処理部２は、ウェーブレット変換処理部１により変換され、生成された高域信号成分に対して、その高域信号成分における微小振幅値の信号成分の値を０値に変換する。
【０１４７】
次に、ウェーブレット変換処理部１で生成された低域信号成分のみを含む低域変換信号３Ｌ００、およびコアリング処理部２でコアリング処理された高域変換信号がウェーブレット逆変換処理部３に供給される。
【０１４８】
ウェーブレット逆変換処理部３において、第一の復元部３１は、図２（ｂ）に示したサブバンド分割により生成された低域信号成分を含む低域変換信号３Ｌ００、およびこのようなサブバンド分割により生成され、コアリング処理された高域信号成分を含む各高域変換信号を、図６に示した手順で合成することにより、ウェーブレット逆変換処理を実行し、ノイズ低減された画像信号を復元する。
【０１４９】
第一の復元部３１において、合成部３１１は、低域変換信号３Ｌ００とコアリング処理された高域変換信号３Ｈ００’とを加算合成し、さらに加算合成により生成した信号の振幅を２分の１にすることにより、図６に示すように、レベル２に対応した低域信号成分を含む合成信号２Ｌ００’を生成する。
【０１５０】
すなわち、図７（ａ）に示すように、水平分割のとき、低域変換信号Ｌと高域変換信号Ｈとを加算した場合には、分割位置Ａに対応した信号が復元され、低域変換信号Ｌから高域変換信号Ｈを減算した場合には、分割位置Ｂに対応した信号が復元される。このため、低域変換信号３Ｌ００と高域変換信号３Ｈ００’とを加算合成することで、分割位置２Ｌ００に対応した合成信号２Ｌ００’が復元される。
【０１５１】
次に、合成部３１２は、合成部３１１で生成された合成信号２Ｌ００’とコアリング処理された高域変換信号２Ｈ００’とを加算合成し、さらに加算合成により生成した信号の振幅を２分の１にすることにより、図６に示すように、レベル１に対応した低域信号成分を含む合成信号１ＬＬ００’を生成する。
【０１５２】
さらに、合成部３１３は、合成部３１２で生成された低域成分を含む合成信号１ＬＬ００’とコアリング処理された高域変換信号１ＨＬ００’、１ＬＨ００’および１ＨＨ００’とをそれぞれ加算合成し、さらに加算合成により生成した信号の振幅を４分の１にすることにより、図６に示すように、画像信号のＳ００に対応し、ノイズ低減された画像信号Ｓ００’を復元する。
【０１５３】
すなわち、図７（ｂ）に示すように、水平および垂直分割のとき、低域変換信号ＬＬと高域変換信号ＨＬ、ＬＨおよびＨＨとを加算した場合には、分割位置Ａに対応した信号が復元され、例えば、低域変換信号ＬＬから高域変換信号ＨＬおよびＬＨを減算し、さらに高域変換信号ＨＨを加算した場合には、分割位置Ｄに対応した信号が復元される。
【０１５４】
このため、合成信号１ＬＬ００’と高域変換信号１ＨＬ００’、１ＬＨ００’および１ＨＨ００’とを加算合成することで、信号位置Ｓ００に対応した画像信号Ｓ００’が復元信号として復元されることとなる。
【０１５５】
以上、第一の復元部３１は、高域変換信号において、信号３Ｈ００’を正相とし、信号２Ｈ００’を正相とし、信号１ＨＬ００’を正相とし、信号１ＬＨ００’を正相とし、信号１ＨＨ００’を正相とするような組合せに従い、これらの高域変換信号と低域変換信号３Ｌ００とを加算する。
【０１５６】
このようにして、本実施の形態の第一の復元部３１は、高域変換信号を一方の組合せ、すなわち、すべて正相として変換信号の合成を行い、一方の画像信号、すなわち画像信号Ｓ００’を復元する。
【０１５７】
本実施の形態の画像処理装置は、ウェーブレット逆変換処理部３において、さらに、他方の復元部としての第二の復元部３２を備えたことを特徴とする。
【０１５８】
すなわち、ウェーブレット逆変換処理部３において、第二の復元部３２も、図２（ｂ）に示したサブバンド分割により生成された低域信号成分を含む低域変換信号３Ｌ００、およびこのようなサブバンド分割により生成され、コアリング処理された高域信号成分を含む各高域変換信号を、図６に示した手順で合成することにより、ウェーブレット逆変換処理を実行し、ノイズ低減された画像信号を復元する。
【０１５９】
第二の復元部３２において、合成部３２１は、低域変換信号３Ｌ００からコアリング処理された高域変換信号３Ｈ００’を減算合成し、さらに減算合成により生成した信号の振幅を２分の１にすることにより、図６に示すように、レベル２に対応した低域信号成分を含む合成信号２Ｌ０１’を生成する。
【０１６０】
すなわち、合成部３２１が減算合成を行うため、図７（ａ）に示すように、分割位置２Ｌ０１に対応した合成信号２Ｌ０１’が復元される。
【０１６１】
次に、合成部３２２は、合成部３２１で生成された合成信号２Ｌ０１’からコアリング処理された高域変換信号２Ｈ０１’を減算合成し、さらに減算合成により生成した信号の振幅を２分の１にすることにより、図６に示すように、レベル１に対応した低域信号成分を含む合成信号１ＬＬ０３’を生成する。
【０１６２】
さらに、合成部３２３は、合成部３２２で生成した低域信号成分を含む合成信号１ＬＬ０３’からコアリング処理された高域変換信号１ＨＬ０３’および１ＬＨ０３’のそれぞれを減算するとともに、高域変換信号１ＨＨ０３’を加算し、さらにこの演算合成により生成した信号の振幅を４分の１にすることにより、図６に示すように、画像信号のＳ１７に対応し、ノイズ低減された画像信号Ｓ１７’を復元する。
【０１６３】
すなわち、合成部３２３が図７（ｂ）に示す演算（ｂ４）に対応した演算を行うため、信号位置Ｓ１７に対応した画像信号Ｓ１７’が復元信号として復元されることとなる。
【０１６４】
以上、他方の復元部としての第二の復元部３２は、高域変換信号において、信号３Ｈ００’を逆相にし、信号２Ｈ０１’を逆相にし、信号１ＨＬ０３’を逆相にし、信号１ＬＨ０３’を逆相にし、信号１ＨＨ０３’を正相とするような組合せに従い、これらの高域変換信号と低域変換信号３Ｌ００とを加算する。
【０１６５】
このようにして、第二の復元部３２は、高域変換信号を他方の組合せに従った正相または逆相として変換信号の合成を行い、他方の画像信号、すなわち画像信号Ｓ１７’を復元する。
【０１６６】
また、ウェーブレット逆変換処理部３において、復元画像合成部３３は、第一の復元部３１で復元された画像信号と第二の復元部３２で復元された画像信号とをさらに合成することで出力画像信号Ｓ’を生成する。
【０１６７】
図６に示すように、第一の復元部３１で復元された画像信号Ｓ００’と第二の復元部３２で復元された画像信号Ｓ１７’とは画素位置が異なっている。
【０１６８】
遅延部３３１は、このように異なった画素位置の信号を所定の画素位置で合成するために設けられている。
【０１６９】
合成部３３２は、このように画像信号Ｓ００’が所定の画素位置に対応した位置に来た時点で、画像信号Ｓ００ｄ’と画像信号Ｓ１７’とを合成する。合成部３３２は、第二の復元部３２で復元された画像信号Ｓ１７’と遅延部３３１からの画像信号Ｓ００ｄ’とを加算し、さらに加算により生成した信号の振幅を２分の１にすることにより、ノイズ低減された出力画像信号Ｓ’を復元する。
【０１７０】
このように、本実施の形態の画像処理装置は、ウェーブレット逆変換処理部３において、第一の復元部３１と第二の復元部３２との２系統のウェーブレット逆変換処理を実行する機能を有しており、合成部３３２により２系統の出力信号を合成した信号を出力画像信号Ｓ’とすることにより、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制した画像処理装置を実現している。
【０１７１】
以下、このように構成された本実施の形態の画像処理装置の動作について、本発明の特徴とする画像のエッジに対する動作を中心に説明する。
【０１７２】
図８は、ウェーブレット逆変換処理部３において、画像の水平方向エッジ信号に対し、第一の復元部３１と第二の復元部３２とが、ウェーブレット逆変換処理を実行する基本的な動作を説明するために示した波形図である。
【０１７３】
図８（ａ）は、第一の復元部３１の合成部３１１が行うエッジ修復の様子を示した図である。また、図８（ｂ）は、第二の復元部３２の合成部３２１が行うエッジ修復の様子を示した図である。
【０１７４】
まず、第一の復元部３１の合成部３１１には、図８（ａ）に示すように、ウェーブレット変換処理部１のレベル３変換部１６から、入力画像信号Ｓに対してエッジ部分がなまった低域変換信号３Ｌ００と、コアリング処理部２から、正の振幅方向に突出するようなエッジ部分の高域信号成分を含んだ高域変換信号３Ｈ００’が供給される。
【０１７５】
合成部３１１は、エッジ部分がなまった低域変換信号３Ｌ００に、原信号エッジ部分の高域信号成分を含んだ高域変換信号３Ｈ００’を加算することで、エッジの傾きを修復し、変換信号２Ｌ００に対応した出力信号２Ｌ００’を復元する。
【０１７６】
このとき、上述したように、エッジ部分の高域信号成分を含んだ変換信号３Ｈ００は、コアリング処理部２でコアリング処理されるため、コアリング処理の閾値Ｔｈ３だけ振幅値が減少した高域変換信号３Ｈ００’に変換される。
【０１７７】
よって、図８（ａ）に示すように、合成部３１１で合成されたエッジ信号は、エッジ上側の平坦部から窪み量が閾値Ｔｈ３の２分の１である（Ｔｈ３／２）だけ下方向に窪んだ段差を有したエッジ信号となる。
【０１７８】
一方、第二の復元部３２の合成部３２１にも、ウェーブレット変換処理部１のレベル３変換部１６から低域変換信号３Ｌ００と、コアリング処理部２から高域変換信号３Ｈ００’が供給される。
【０１７９】
ここで、合成部３２１は、低域変換信号３Ｌ００に対し、符号反転、すなわち逆相にした高域変換信号３Ｈ００’である高域変換信号−３Ｈ００’を加算合成する。
【０１８０】
すなわち、図８（ｂ）に示すように、合成部３２１は、エッジ部分がなまった低域変換信号３Ｌ００に、負の振幅方向に突出するようなエッジ部分の高域信号成分を含んだ高域変換信号−３Ｈ００’を加算することで、エッジの傾きを修復し、変換信号２Ｌ０１に対応した出力信号２Ｌ０１’を復元する。
【０１８１】
このとき、上述のように高域変換信号３Ｈ００は閾値Ｔｈ３だけ振幅値が減少した高域変換信号３Ｈ００’に変換されているため、逆相の高域変換信号−３Ｈ００’は、振幅値が閾値Ｔｈ３だけ減少して負方向に突出するような信号波形となる。
【０１８２】
よって、図８（ｂ）に示すように、合成部３２１で合成されたエッジ信号は、エッジ下側の平坦部から窪み量が閾値Ｔｈ３の２分の１である（Ｔｈ３／２）だけ上方向に窪んだ段差を有したエッジ信号となる。
【０１８３】
図９は、ウェーブレット逆変換処理部３において、復元画像合成部３３の動作を説明するために示した図である。なお、ここでは、レベル３の高域変換信号３Ｈ００に対して閾値Ｔｈ３とするコアリング量でコアリング処理し、レベル２の高域変換信号２Ｈ００に対して閾値Ｔｈ２とするコアリング量でコアリング処理し、さらに、レベル１の高域変換信号１ＨＬ００や１ＨＬ０３などに対して閾値Ｔｈ１とするコアリング量でコアリング処理した例について説明する。
【０１８４】
図９において、図９（ａ）は第一の復元部３１から出力される画像信号Ｓ００’、図９（ｂ）は第二の復元部３２から出力される画像信号Ｓ１７’、図９（ｃ）は遅延部３３１から出力される信号Ｓ００ｄ’、図９（ｄ）は合成部３３２から出力される出力画像信号Ｓ’のそれぞれの波形、およびタイミングを示している。
【０１８５】
以下、図９を参照しながら、図８で示したようなエッジ部の段差による影響を、本実施の形態の画像処理装置により抑制する動作を中心に説明する。
【０１８６】
図９（ａ）に示すように、第一の復元部３１で復元された画像信号Ｓ００’のエッジ波形は、コアリング処理された高域成分を含む各変換信号との合成により、複数の段差を含んだエッジ波形となる。すなわち、レベル３からレベル１まで３段階でコアリング処理したため、画像信号Ｓ００’のエッジ波形は、エッジ上側の平坦部から、高域変換信号３Ｈ００’、高域変換信号２Ｈ００’、および高域変換信号１ＨＬ００’などによる減少量だけ下方向に窪んだ階段状の波形となる。
【０１８７】
このようなエッジ上側の平坦部からの減少量としては、まず、高域変換信号３Ｈ００に対するコアリング処理の閾値Ｔｈ３のみが影響する領域において、合成部３１１における図７（ａ）の演算（ａ１）によって閾値Ｔｈ３に相当する減少量が２分の１になった結果、図８に示したように（Ｔｈ３／２）となり、合成部３１２における図７（ａ）の演算（ａ１）によってさらに２分の１となった結果、（Ｔｈ３／４）となり、合成部３１３における図７（ｂ）の演算（ｂ１）によってさらに４分の１となった結果、図９に示すようにこの領域の減少量は（Ｔｈ３／１６）となる。
【０１８８】
また、高域変換信号３Ｈ００に対する閾値Ｔｈ３および高域変換信号２Ｈ００に対する閾値Ｔｈ２が影響する領域においての減少量としては、閾値Ｔｈ３のみが影響する領域の減少量（Ｔｈ３／１６）に加えて、合成部３１２における図７（ａ）の演算（ａ１）によって閾値Ｔｈ２に相当する減少量が２分の１になった結果、（Ｔｈ２／２）となり、合成部３１３における図７（ｂ）の演算（ｂ１）によってさらに４分の１となった結果、（Ｔｈ２／８）となり、その結果、図９に示すようにこの領域の減少量は（Ｔｈ３／１６＋Ｔｈ２／８）となる。
【０１８９】
また、高域変換信号３Ｈ００に対する閾値Ｔｈ３、高域変換信号２Ｈ００に対する閾値Ｔｈ２および高域変換信号１ＨＬ００などに対する閾値Ｔｈ１が影響する領域においての減少量としては、高域変換信号３Ｈ００に対する閾値Ｔｈ３および高域変換信号２Ｈ００に対する閾値Ｔｈ２が影響する領域においての減少量（Ｔｈ３／１６＋Ｔｈ２／８）に、合成部３１３における図７（ｂ）の演算（ｂ１）によって閾値Ｔｈ１に相当する減少量が４分の１になった結果である（Ｔｈ１／４）が加わり、その結果、図９に示すようにこの領域の減少量は（Ｔｈ３／１６＋Ｔｈ２／８＋Ｔｈ１／４）となる。
【０１９０】
このため、上述したように、画像信号Ｓ００’のエッジ波形は、原信号のエッジ波形に対してエッジ幅が広がったようなエッジ波形となり、視覚的にはぼけたようなエッジとなる。また、画像信号Ｓ００’のエッジ波形は、原信号のエッジ波形から時間方向に広がったようになるため、エッジずれが生じるとともにエッジの中心位相が定まらないような波形となる。
【０１９１】
また、図９（ｂ）に示すように、第二の復元部３２で復元された画像信号Ｓ１７’のエッジ波形も、コアリング処理された高域成分を含む各変換信号との合成により、複数の段差を含んだエッジ波形となる。すなわち、レベル３からレベル１まで３段階でコアリング処理したため、画像信号Ｓ１７’のエッジ波形は、エッジ下側の平坦部から、高域変換信号３Ｈ００’、高域変換信号２Ｈ０１’、および高域変換信号１ＨＬ０３’などによる減少量だけ上方向に窪んだ階段状の波形となる。このようなエッジ下側の平坦部からの減少量としても、第一の復元部３１の場合と同様であり、（Ｔｈ３／１６）、（Ｔｈ３／１６＋Ｔｈ２／８）、および（Ｔｈ３／１６＋Ｔｈ２／８＋Ｔｈ１／４）である減少量の３段階の段差となる。
【０１９２】
このため、画像信号Ｓ１７’のエッジ波形も、原信号のエッジ波形に対してエッジ幅が広がったようなエッジ波形となり、視覚的にはぼけたようなエッジとなる。また、画像信号Ｓ１７’のエッジ波形は、原信号のエッジ波形から時間反対方向に広がったようになるため、エッジずれが生じるとともにエッジの中心位相が定まらないような波形となる。
【０１９３】
また、第一の復元部３１は画素位置Ｓ００に対応した画像信号Ｓ００’を復元し、第二の復元部３２は画素位置Ｓ１７に対応した画像信号Ｓ１７’を同時に復元するため、図９（ａ）と図９（ｂ）に示すように、復元した信号の画素位置がずれている。このため、遅延部３３１は、画像信号Ｓ００’が所定の画素位置に来るまで、画像信号Ｓ００’を遅延させる。
【０１９４】
図９（ｃ）は、遅延部３３１により、所定の遅延量だけ画像信号Ｓ００’を遅延させた画像信号Ｓ００ｄ’のタイミングを示している。すなわち、図９（ｂ）と図９（ｃ）に示すように、画像信号Ｓ１７’における原信号の位相と遅延させた画像信号Ｓ００ｄ’における原信号の位相とが同位相となるような所定の遅延量だけ遅延部３３１が画像信号Ｓ００’を遅延させる。
【０１９５】
合成部３３２は、図９（ｂ）に示すような第二の復元部３２で復元された画像信号Ｓ１７’と図９（ｃ）に示すような遅延部３３１からの画像信号Ｓ００ｄ’との平均値演算を行う。図９（ｄ）は、このように画像信号Ｓ１７’と画像信号Ｓ００ｄ’との平均値演算を行った結果、合成部３３２から出力される出力画像信号Ｓ’のエッジ波形を示している。
【０１９６】
図９（ｄ）に示すように、まず、合成部３３２で合成された信号の波形は、原信号のエッジを中心にして、回転対称のような波形となる。すなわち、合成部３３２は、コアリング処理の影響を受けずに原信号の傾斜を復元したそれぞれの波形箇所を合成することとなるため、この合成により得られた出力画像信号Ｓ’の中心付近は原信号の傾斜を有しており、その結果、図９（ｄ）のようにエッジの中心位相が定まることとなる。
【０１９７】
よって、本実施の形態の画像処理装置によれば、コアリング処理部２でのコアリング処理によりノイズ低減できるとともに、コアリング処理による位相ずれをも抑制することができる。このため、例えば、ＲＧＢの各信号に対して画像処理を行い表示するような場合、ＲＧＢそれぞれの信号の位相を合わすことができ偽色輪郭などの発生を防ぐことができる。
【０１９８】
また、合成部３３２は画像信号Ｓ１７’と画像信号Ｓ００ｄ’との平均値を取っているため、階段状となる波形の範囲は広がるが、エッジの平坦部から段差部までの減少量は、画像信号Ｓ１７’や画像信号Ｓ００ｄ’の減少量に比べて半分となる。
【０１９９】
すなわち、図９（ａ）に示した画像信号Ｓ００’の場合、エッジ上側の平坦部からの減少量は、閾値Ｔｈ３のみが影響する（Ｔｈ３／１６）、閾値Ｔｈ３および閾値Ｔｈ２が影響する（Ｔｈ３／１６＋Ｔｈ２／８）、および閾値Ｔｈ３から閾値Ｔｈ１までが影響する（Ｔｈ３／１６＋Ｔｈ２／８＋Ｔｈ１／４）である。
【０２００】
これに対し、図９（ｄ）に示すように、出力画像信号Ｓ’の場合、エッジ上側の平坦部からの減少量は、閾値Ｔｈ３のみが影響する（Ｔｈ３／３２）、閾値Ｔｈ３および閾値Ｔｈ２が影響する（Ｔｈ３／３２＋Ｔｈ２／１６）、および閾値Ｔｈ３から閾値Ｔｈ１までが影響する（Ｔｈ３／３２＋Ｔｈ２／１６＋Ｔｈ１／８）であり、画像信号Ｓ１７’や画像信号Ｓ００ｄ’の減少量に比べて半分となる。このように、階段状となる波形の範囲は広くなるものの、画像ぼけとなる強度を半減できるため、コアリング処理によるエッジぼけも目立ちにくくすることができる。
【０２０１】
以上説明したように、本実施の形態の画像処理装置によれば、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制することが可能となる。
【０２０２】
図１０は、本実施の形態の画像処理装置の他の態様を示したブロック図である。図１０に示す画像処理装置は、図１の画像処理装置との比較において、ウェーブレット逆変換処理部４の第一の復元部４１および第二の復元部４２が図１の場合とは異なった画素を復元するような構成である。
【０２０３】
図１０において、ウェーブレット変換処理部１およびコアリング処理部２は、図１の画像処理装置と同様の構成であり説明は省略する。また、図１１は、図１０の構成において、生成されたサブバンド画像信号から、ノイズ低減された出力画像信号を復元する手順を示した図である。
【０２０４】
以下、図１０に示した画像処理装置の構成および動作について説明する。図１０に示すウェーブレット逆変換処理部４も、図１で説明した構成と同様に、低域変換信号３Ｌ００とコアリング処理された高域変換信号を、それぞれの高域変換信号について一方の組合せに従い正相または逆相とし、合成することで一方の画像信号を復元する第一の復元部４１と、低域変換信号３Ｌ００とコアリング処理された高域変換信号を、それぞれの高域変換信号について一方の組合せとは異なった他方の組合せに従い正相または逆相とし、合成することで他方の画像信号を復元する第二の復元部４２と、第一の復元部４１で復元された一方の画像信号と第二の復元部４２で復元された他方の画像信号とを合成することで出力画像信号Ｓ’を生成する復元画像合成部４３とを備えている。
【０２０５】
第一の復元部４１において、合成部４１１は、低域変換信号３Ｌ００とコアリング処理された高域変換信号３Ｈ００’とを加算合成し、さらに加算合成により生成した信号の振幅を２分の１にすることにより、図１１に示すように、レベル２に対応した低域信号成分を含む合成信号２Ｌ００’を生成する。
【０２０６】
次に、合成部４１２は、合成部４１１で生成された合成信号２Ｌ００’からコアリング処理された高域変換信号２Ｈ００’を減算合成し、さらに減算合成により生成した信号の振幅を２分の１にすることにより、図１１に示すように、レベル１に対応した低域信号成分を含む合成信号１ＬＬ０１’を生成する。
【０２０７】
さらに、合成部４１３は、合成部４１２で生成された低域成分を含む合成信号１ＬＬ０１’からコアリング処理された高域変換信号１ＨＬ０１’および１ＨＨ０１’を減算するとともに、高域変換信号１ＬＨ０１’を加算し、さらにこの演算合成により生成した信号の振幅を４分の１にすることにより、図１１に示すように、画像信号のＳ０３に対応し、ノイズ低減された画像信号Ｓ０３’を復元する。
【０２０８】
一方、第二の復元部４２において、合成部４２１は、低域変換信号３Ｌ００からコアリング処理された高域変換信号３Ｈ００’を減算合成し、さらに減算合成により生成した信号の振幅を２分の１にすることにより、図１１に示すように、レベル２に対応した低域信号成分を含む合成信号２Ｌ０１’を生成する。
【０２０９】
次に、合成部４２２は、合成部４２１で生成された合成信号２Ｌ０１’とコアリング処理された高域変換信号２Ｈ０１’とを加算合成し、さらに加算合成により生成した信号の振幅を２分の１にすることにより、図１１に示すように、レベル１に対応した低域信号成分を含む合成信号１ＬＬ０２’を生成する。
【０２１０】
さらに、合成部４２３は、合成部４２２で生成された低域信号成分を含む合成信号１ＬＬ０２’とコアリング処理された高域変換信号１ＨＬ０２’、１ＬＨ０２’および１ＨＨ０２’とを加算し、さらに加算合成により生成した信号の振幅を４分の１にすることにより、図１１に示すように、画像信号のＳ０４に対応し、ノイズ低減された画像信号Ｓ０４’を復元する。
【０２１１】
復元画像合成部４３は、第一の復元部４１で復元された画像信号Ｓ０３’を所定の画素分遅延させ、遅延させた画像信号Ｓ０３ｄ’を出力する遅延部４３１、および第二の復元部４２で復元した画像信号Ｓ０４’と遅延部４３１からの画像信号Ｓ０３ｄ’とを平均化演算して合成し、出力画像信号Ｓ’を出力する合成部４３２を備えた構成である。
【０２１２】
図１０の構成では、図１１に示すように画素位置が隣接した画像信号Ｓ０３’と画像信号Ｓ０４’とを同時に復元する。すなわち、第二の復元部４２は、第一の復元部４１で復元した一方の画像信号Ｓ０３’よりも水平方向に１画素分遅延した画像信号である他方の画像信号Ｓ０４’を復元する構成である。このような構成とすることにより、復元した画像信号の画素位置はそれぞれ隣接しているため、遅延部４３１のハードウエア量を削減できるとともに、エッジ信号に対し、合成部４３２での合成により非対称なエッジのほぼ真ん中にエッジを設定でき、より対称性のあるエッジ信号とした出力画像信号Ｓ’を得ることができる。
【０２１３】
以上説明したように、本実施の形態の画像処理装置によれば、ウェーブレット逆変換処理部において、復元画像合成部が、第一の復元部で復元した一方の画像信号と第二の復元部で復元した他方の画像信号とを平均演算により合成し、合成した信号を出力画像信号として出力する。
【０２１４】
すなわち、復元画像合成部は、画像のエッジ信号において、コアリング処理により生じた一方の非対称なエッジ信号と他方の非対称なエッジ信号とを所定の位相で合成することとなる。
【０２１５】
このため、出力画像信号でのエッジ波形は、コアリング処理により生じた段差の影響を抑止でき、回転対称なエッジ波形として出力することができる。
【０２１６】
よって、本実施の形態の画像処理装置によれば、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制した画像処理装置を提供することができる。
【０２１７】
図１２は、本実施の形態の画像処理装置を利用した装置の構成例を示したブロック図である。ここでは、電子カメラなど被写体を電子的に撮像する撮像装置の一例を挙げている。
【０２１８】
図１２に示すように、本撮像装置は、被写体を撮像するための光学系である撮像部６０と、撮像部６０からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する信号処理部５０と、出力画像信号を表示する表示部７０とを備えている。
【０２１９】
撮像部６０は、被写体を撮像するレンズ部６１と、このレンズ部６１により結像された像を取り込む撮像素子６２とを含み構成される。撮像素子６２は、レンズ部６１により結像された画像を電気的信号に変換し、撮像信号として信号処理部５０へ供給する。
【０２２０】
また、信号処理部５０において、まず、撮像素子６２からの撮像信号は、信号処理部５０のアナログフロントエンド（以下、ＡＦＥと呼ぶ）５１に供給される。ＡＦＥ５１は、供給された撮像信号の増幅処理などを行い、増幅された撮像信号をＡＤ（Analog to Digital）変換器５２に供給する。
【０２２１】
ＡＤ変換器５２は、アナログ信号である撮像信号をデジタル信号に変換し、デジタル信号に変換された撮像データが、画像信号として本実施の形態の画像処理装置５５に供給される。
【０２２２】
画像処理装置５５により、画像信号のノイズは低減され、ノイズ低減された画像信号がＤＡ（Digital to Analog）変換器５３および記録部５４に供給される。ＤＡ変換器５３は、デジタル信号である画像信号をアナログ信号に変換し、このアナログ信号は表示部７０に供給される。
【０２２３】
これによって、表示部７０には、ノイズ低減された被写体の画像が表示される。また、記録部５４は、例えば、画像データを記録するような記録媒体を備えており、ノイズ低減された被写体の画像が記録部５４の記録媒体に記録される。
【０２２４】
また、制御部５９は、信号処理部５０を全体制御する。特に、本実施の形態の画像処理装置５５は、上述したようにエッジの位相ずれを抑制したことを特徴としている。このため、本撮像装置において、表示部７０に表示される画像は、その画像中のエッジ部などにおいて色にじみなどが抑制された画像が表示されることとなる。
【０２２５】
なお、以上の説明では、ウェーブレット変換におけるＨａｒｒの基底に基づき、入力画像信号を水平垂直周波数の２次元周波数帯域において、低周波帯域と高周波帯域とのサブバンドに分離し、サブバンドに分離する回数として、水平方向にはレベル３まで分離し、垂直方向にはレベル１のみ分離する一例を挙げて説明したが、これらに限定されるものではなく、ウェーブレット変換、逆変換以外のサブバンド変換、逆変換を利用した画像処理装置にも適用することが可能であり、またＨａｒｒの基底以外の基底に基づいたウェーブレット変換、逆変換を利用した画像処理装置にも適用することが可能である。また、サブバンドへの分離として、２次元周波数帯域に限定されるものではなく、分離するレベルも任意のレベルまで周波数分離してもよい。
【０２２６】
また、コアリング処理部において各高域変換信号をコアリング処理するような一例を挙げて説明したが、それぞれの高域変換信号に応じてコアリング処理を選択的に実施するような構成であってもよい。
【０２２７】
すなわち、ウェーブレット変換出力部により変換したそれぞれの高域信号成分を、コアリング対象とコアリング非対象とに区分し、コアリング処理部がコアリング対象の高域信号成分に対してコアリング処理を行い、ウェーブレット逆変換処理部において、一方の復元部が、低域信号成分とコアリング処理された高域信号成分とコアリング非対象の高域信号成分とのそれぞれの高域信号成分を、それぞれの高域信号成分について一方の組合せに従い正相または逆相とし、合成することで一方の画像信号を復元し、他方の復元部が、低域信号成分とコアリング処理された高域信号成分とコアリング非対象の高域信号成分とのそれぞれの高域信号成分を、それぞれの高域信号成分について一方の組合せとは異なった他方の組合せに従い正相または逆相とし、合成することで他方の画像信号を復元するような構成であってもよい。
【０２２８】
また、コアリング処理部は、供給されたそれぞれの高域信号成分に対して、それぞれに設定された所定の閾値に基づいてコアリング処理を行うような構成であってもよい。
【０２２９】
また、本実施の形態の画像処理装置として、図１や図１０に示したような機能ブロックを用いて説明したが、例えば、マイクロコンピュータなどを利用して、ウェーブレット変換、逆変換およびコアリング処理を上述したような手順で実行させるような手法であってもよい。
【０２３０】
すなわち、画像信号に対して、その画像信号の低域信号成分を含む低周波帯域と高域信号成分を含む１つ以上の高周波帯域とで分割される周波数帯域毎のサブバンド画像信号に変換するステップと、変換された高域信号成分に対し、その高域信号成分における微小振幅値の信号成分の値を０値に変換するコアリング処理を行うステップと、低域信号成分とコアリング処理された高域信号成分を、それぞれの高域信号成分について一方の組合せに従い正相または逆相とし、合成することで一方の画像信号を復元するステップと、低域信号成分とコアリング処理された高域信号成分を、それぞれの高域信号成分について一方の組合せとは異なった他方の組合せに従い正相または逆相とし、合成することで他方の画像信号を復元するステップと、一方の復元部で復元された一方の画像信号と他方の復元部で復元された他方の画像信号とを合成することで出力画像信号を生成するステップとを備えた画像処理方法のプログラムを例えばメモリなどに記録しておき、マイクロコンピュータがこのメモリに記録されたプログラムを読み込み、そのプログラムの各ステップに従って実行することで、出力画像信号が生成されるような構成であってもよい。
【産業上の利用可能性】
【０２３１】
以上のように、本発明にかかる画像処理装置は、コアリング処理によりノイズを低減させながら、コアリング処理によるエッジのぼけや位相ずれを抑制することができるという効果を有し、撮像装置のカメラやビデオカメラ、撮像機能を有した携帯電話などの情報端末装置、さらには画像表示機能を有したテレビジョン、画像記録機能を有したＤＶＤ（Digital Versatile Disk）レコーダ等に利用できる。
【図面の簡単な説明】
【０２３２】
【図１】本発明の実施の形態における画像処理装置のブロック図
【図２】（ａ）本発明の実施の形態における画像処理装置の画像信号の各サンプルの分割を示した図  （ｂ）本発明の実施の形態における画像処理装置のサブバンドの分割を示した図  （ｃ）本発明の実施の形態における画像処理装置のウェーブレット変換の手順を示した図
【図３】本発明の実施の形態における画像処理装置のウェーブレット変換処理部の各変換部の詳細な構成を示した図
【図４】（ａ）本発明の実施の形態における画像処理装置のレベル１変換部の変換フィルタの演算処理を示す図  （ｂ）本発明の実施の形態における画像処理装置のレベル２変換部およびレベル３変換部の変換フィルタの演算処理を示す図
【図５】本発明の実施の形態における画像処理装置のコアリング処理を示す図
【図６】本発明の実施の形態における画像処理装置のウェーブレット逆変換の手順を示した図
【図７】（ａ）本発明の実施の形態における画像処理装置の水平分割時のウェーブレット逆変換の演算式と復元信号の復元位置とを示す図  （ｂ）本発明の実施の形態における画像処理装置の水平および垂直分割時のウェーブレット逆変換の演算式と復元信号の復元位置とを示す図
【図８】（ａ）本発明の実施の形態における画像処理装置の第一の復元部の合成部が行うエッジ修復の様子を示した波形図  （ｂ）本発明の実施の形態における画像処理装置の第二の復元部の合成部が行うエッジ修復の様子を示した波形図
【図９】（ａ）本発明の実施の形態における画像処理装置の第一の復元部から出力される画像信号の波形およびタイミングを示す図  （ｂ）本発明の実施の形態における画像処理装置の第二の復元部から出力される画像信号の波形およびタイミングを示す図  （ｃ）本発明の実施の形態における画像処理装置の遅延部から出力される信号の波形およびタイミングを示す図  （ｄ）本発明の実施の形態における画像処理装置の合成部から出力される出力画像信号の波形およびタイミングを示す図
【図１０】本発明の実施の形態における画像処理装置の他の態様のブロック図
【図１１】本発明の実施の形態における画像処理装置の他の態様のウェーブレット逆変換の手順を示した図
【図１２】本発明の実施の形態における画像処理装置を利用した撮像装置のブロック図
【図１３】従来の画像処理装置のブロック図
【図１４】（ａ）従来の画像処理装置の入力信号のサンプル例を示す図  （ｂ）従来の画像処理装置のウェーブレット変換の例を示す図  （ｃ）従来の画像処理装置のウェーブレット逆変換の例を示す図
【図１５】（ａ）従来の画像処理装置におけるエッジ付近の原信号とウェーブレット変換処理部の各フィルタからの出力信号との波形図  （ｂ）従来の画像処理装置におけるコアリング処理を施さずウェーブレット逆変換を行う場合の各信号の波形図  （ｃ）従来の画像処理装置におけるコアリング処理を施した信号に対してウェーブレット逆変換を行う場合の各信号の波形図
【符号の説明】
【０２３３】
１  ウェーブレット変換処理部
１１  シフトレジスタ
１２  ラインメモリ
１３  シフトレジスタ
１４  レベル１変換部
１４１  変換フィルタ
１５  レベル２変換部
１５１  変換フィルタ
１６  レベル３変換部
２  コアリング処理部
３  ウェーブレット逆変換処理部
３１  第一の復元部
３１１、３１２、３１３  合成部
３２  第二の復元部
３２１、３２２、３２３  合成部
３３  復元画像合成部
３３１  遅延部
３３２  合成部
４  ウェーブレット逆変換処理部
４１  第一の復元部
４１１、４１２、４１３  合成部
４２  第二の復元部
４２１、４２２、４２３  合成部
４３  復元画像合成部
４３１  遅延部
４３２  合成部
５０  信号処理部
５１  ＡＦＥ
５２  ＡＤ変換器
５３  ＤＡ変換器
５４  記録部
５５  画像処理装置
５９  制御部
６０  撮像部
６１  レンズ部
６２  撮像素子
７０  表示部
９１  ウェーブレット変換処理部
９２  コアリング処理部
９３  ウェーブレット逆変換処理部
９１１  遅延素子
９１２  加算器
９１３  減算器
９２１  コアリング回路
９２２  コアリング回路
９３１  加算器
９３２  割算器
【図１】
2007188211.tif 000003
【図２】
2007188211.tif 000004
【図３】
2007188211.tif 000005
【図４】
2007188211.tif 000006
【図５】
2007188211.tif 000007
【図６】
2007188211.tif 000008
【図７】
2007188211.tif 000009
【図８】
2007188211.tif 000010
【図９】
2007188211.tif 000011
【図１０】
2007188211.tif 000012
【図１１】
2007188211.tif 000013
【図１２】
2007188211.tif 000014
【図１３】
2007188211.tif 000015
【図１４】
2007188211.tif 000016
【図１５】
2007188211.tif 000017