"入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置。前記画像処理部は、前記入力画像に基づき画素毎のノイズ量を決定するノイズ量推定部と、推定された前記ノイズ量に基づいて前記差分画像の画像処理を行う差分画像処理部を備える請求項1記載の画像処理装置。前記画像処理部は、前記差分画像に基づき画素毎に非平坦度を示す特徴量を算出する特徴量算出部を備え、前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいて画像処理を行う請求項2記載の画像処理装置。前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいてゲイン係数を設定して、該ゲイン係数に基づいてゲイン調整を行う請求項3記載の画像処理装置。前記画像処理部は、前記設定されたゲイン係数を記憶するゲイン係数記憶部を備え、前記差分画像処理部は、前記ゲイン係数記憶部に記憶されている同じ画素位置のゲイン係数を用いて前記ゲイン係数の設定を行う請求項4記載の画像処理装置。前記差分画像処理部は、閾値以下の信号を抑圧するコアリング処理を行い、前記ノイズ量に基づいて前記閾値を設定する請求項2記載の画像処理装置。前記画像処理部は、前記画像処理後の縮小画像に基づき非平坦度を示す特徴量を算出する特徴量算出部を備え、前記差分画像処理部は、前記ノイズ量と前記縮小画像の非平坦度を示す特徴量に基づいて前記閾値を設定する請求項6記載の画像処理装置。前記画像処理部は、前記縮小画像の画像処理を行う縮小画像処理部を備え、前記縮小画像処理部は、前記画像処理として画質改善処理を行う請求項1記載の画像処理装置。前記縮小画像処理部は、前記画質改善処理として、ノイズ除去と鮮鋭度強調処理の少なくとも何れかを行う請求項8記載の画像処理装置。入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する工程と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法。画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラム。画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体。入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する周波数分離部と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置。入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する工程と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法。画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラム。画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体。ところで、入力画像の高解像度化がはかられると、特許文献1のように、時間的に連続する第2静止画に対するブロック単位の動き補償や、画素単位での加算の信頼度判定結果に基づく加算重みに応じて加算もしくは加重平均等の処理を行う場合、処理コストが増加する。したがって、高速に画像処理を行うことが困難となる。また、画像処理において画像データを一時記憶する場合には、大容量のメモリやバッファが必要となる。さらに、画像処理を高速に行うためには、例えば広いバンド幅が必要となる。そこで、この技術では、簡単な構成で容易に画質の改善を行うことができる画像処理装置と画像処理方法およびプログラムと記録媒体を提供することを目的とする。この技術の第1の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置にある。この技術において、周波数分離部は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。画像処理部は、縮小画像と差分画像の少なくとも何れかの画像処理を行う。例えば、画像処理部は、縮小画像に対してノイズ除去や鮮鋭度強調処理等の画質改善処理を行う。また、入力画像に基づき画素毎にノイズ量の推定や、差分画像に基づき画素毎に非平坦度を示す特徴量の算出を行い、ノイズ量や特徴量に基づいてゲイン係数を設定して差分画像に対するゲイン調整を行う。また、設定したゲイン係数を記憶して、記憶したゲイン係数をその後の差分画像の画像処理に用いる。また、差分画像に対して閾値以下の信号を抑圧するコアリング処理を行い、ノイズ量や画像処理後の縮小画像から算出された非平坦度を示す特徴量に基づいて閾値の設定が行われる。合成処理部は、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する。この技術の第2の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する工程と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法にある。この技術の第3の側面は、画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラムにある。この技術の第4の側面は、画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する手順と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体にある。この技術の第5の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する周波数分離部と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置にある。この技術の第6の側面は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する工程と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う工程と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する工程とを含む画像処理方法にある。この技術の第7の側面は、画像処理をコンピュータで実行させるプログラムであって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるプログラムにある。この技術の第8の側面は、画像処理をコンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体であって、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する手順と、前記縮小画像と複数の前記差分画像の少なくとも何れかの画像処理を行う手順と、少なくとも何れかが画像処理されている前記縮小画像と複数の差分画像を等しい画像サイズとして合成する手順とを前記コンピュータで実行させるためのプログラムを記録したコンピュータによって読み取り可能な記録媒体にある。なお、本技術のプログラムは、例えば、様々なプログラムコードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。この技術によれば、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像が周波数帯域の異なる縮小画像と差分画像に分離される。また、縮小画像と差分画像の少なくとも何れかの画像処理が行われて、少なくとも一方が画像処理されている縮小画像と差分画像が等しい画像サイズとして合成される。このため、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。1.画像処理装置の基本構成と基本動作2.第1の実施の形態3.第2の実施の形態4.第3の実施の形態5.第4の実施の形態6.第5の実施の形態7.処理をプログラムにより実行する場合について<1.画像処理装置の基本構成と基本動作>図1は、本技術の画像処理装置の基本構成を示している。画像処理装置10は、周波数分離部20と画像処理部30および合成処理部40を有している。周波数分離部20は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離する。画像処理部30は、縮小画像と差分画像の少なくとも何れかの画像処理を行い画質を改善する。合成処理部40は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとして合成して出力画像の生成が行われる。図2は、画像処理装置の基本動作を示すフローチャートである。ステップST1で画像処理装置10は、周波数分離処理を行う。画像処理装置10は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、入力画像を周波数帯域の異なる縮小画像と差分画像に分離してステップST2に進む。ステップST2で画像処理装置10は、画像処理を行う。画像処理装置10は、縮小画像と差分画像の少なくとも何れかの画像処理を行い、画質を改善してステップST3に進む。ステップST3で画像処理装置10は、合成処理を行う。画像処理装置10は、少なくとも一方が画像処理されている縮小画像と差分画像を等しい画像サイズとしたのち合成して出力画像を生成する。以下、画像処理装置の構成例およびその動作の詳細について、第1~第5の実施の形態として説明する。なお、第1~第5の実施の形態では、縮小画像と差分画像のそれぞれについて画像処理を行い、画像処理されている縮小画像と差分画像を、差分画像の画像サイズで合成して出力画像を生成する場合について説明する。<2.第1の実施の形態>[画像処理装置の構成]図3は、本技術の第1の実施の形態の構成を示している。画像処理装置10aの周波数分離部20は縮小処理部21,拡大処理部22、差分算出部23を有している。また、画像処理装置10aの画像処理部30aは、縮小画像処理部31と差分画像対応部32aを有している。画像処理装置10aの合成処理部40は、拡大処理部41と加算処理部42を有している。また、差分画像対応部32aは、ノイズ量推定部321、特徴量算出部322、ゲイン調整部323を有している。周波数分離部20の縮小処理部21は、入力画像に対して縮小処理を行う。縮小処理部21は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部21は、生成した縮小画像を拡大処理部22と画像処理部30aに出力する。拡大処理部22は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部23に出力する。差分算出部23は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部23は、入力画像の高域成分を示す差分画像を差分画像対応部32aに出力する。縮小画像処理部31は、縮小画像の画質改善を行う。縮小画像処理部31は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部40に出力する。差分画像対応部32aのノイズ量推定部321は、入力画像におけるノイズ量を画素毎に推定して、推定結果をゲイン調整部323に出力する。特徴量算出部322は、差分画像を用いて特徴量を画素毎に算出する。特徴量算出部322は、画素毎に近傍画素を用いて例えば分散を算出して、非平坦度を示す特徴量とする。特徴量算出部322は算出した特徴量をゲイン調整部323に出力する。差分画像の画像処理を行う差分画像処理部であるゲイン調整部323は、ノイズ量推定部321で推定されたノイズ量と特徴量算出部322で算出された特徴量を用いて、画素毎に差分画像の信号レベルを調整して合成処理部40に出力する。合成処理部40の拡大処理部41は、縮小画像処理部31から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画質改善および拡大後の画像と、差分画像対応部32aから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。[各部の構成と動作]次に各部の構成と動作について説明する。図4は縮小処理部21の構成を示している。縮小処理部21は、フィルタ処理部211と間引き処理部212を有している。フィルタ処理部211は入力画像のフィルタ処理を行う。フィルタ処理部211は、縮小倍率に応じた低域フィルタ処理を行い、入力画像を縮小することにより縮小画像から除かれる入力画像の周波数成分を減衰させる。フィルタ処理部211は、フィルタ処理後の入力画像を間引き処理部212に出力する。間引き処理部212は、フィルタ処理後の入力画像に対して縮小率に応じた画素間引き処理を行い、所望の縮小率の縮小画像を生成する。図5は、縮小処理部21の動作を示すフローチャートである。ステップST11で縮小処理部21は、フィルタ処理を行う。縮小処理部21は、上述のように縮小倍率に応じた低域フィルタ処理を入力画像に対して行いステップST12に進む。ステップST12で縮小処理部21は、間引き処理を行う。縮小処理部2は、フィルタ処理後の入力画像に対して縮小率に応じて画素の間引き処理を行い、縮小画像を生成して、縮小処理を終了する。図6は、入力画像を1/2倍に縮小する場合を例示している。図6のAは、入力画像の一部領域、例えば4画素×4画素の領域を示している。縮小処理部21は、入力画像に対してフィルタ処理を行い、図6のBに示すように、入力画像の各画素位置の画素信号を生成する。縮小処理部21は、フィルタ処理後の入力画像に対して、1画素おきに1画素の間引きを行うことで、図6のCに示すように、入力画像を1/2倍した縮小画像を生成する。なお、図6のCでは、間引きされた画素を破線で示している。図7は拡大処理部22の構成を示している。拡大処理部22は、ゼロパディング処理部221とフィルタ処理部222を有している。ゼロパディング処理部221は、拡大率に応じて画素間にゼロデータを付加する。ゼロパディング処理部221は、拡大率に応じて縮小画像の画素間にゼロデータを付加して、例えば入力画像とサイズ画素数が等しい拡大画像を生成して、フィルタ処理部222に出力する。フィルタ処理部222は、拡大画像のフィルタ処理を行う。フィルタ処理部222は、縮小画像を拡大したことによって生じた不要な周波数成分、例えば折り返し歪み等を減衰させる。図8は、拡大処理部22の動作を示すフローチャートである。ステップST21で拡大処理部22は、ゼロパディング処理を行う。拡大処理部22は、上述のように拡大率に応じて縮小画像の画素間にゼロデータを付加して拡大画像を生成してステップST22に進む。ステップST22で拡大処理部22は、フィルタ処理を行う。拡大処理部22は、拡大画像に対して不要な周波数成分を減衰させるフィルタ処理を行って拡大処理を終了する。図9は、縮小画像を2倍に拡大する場合を例示している。図9のAは、縮小画像の一部領域、例えば2画素×2画素の領域を示している。拡大処理部22は、縮小画像の画素間にゼロデータを付加して、図9のBに示すように、水平方向および垂直方向の画素数がそれぞれ2倍とされた拡大画像を生成する。拡大処理部22は、拡大画像に対してフィルタ処理後を行い、図9のCに示すように、縮小画像を2倍した拡大画像を生成できる。なお、図9のBでは、ゼロデータの画素を破線で示している。また、縮小処理部21は1/整数倍の縮小率で縮小画像の生成を行い、拡大処理部22は整数倍の拡大率で拡大画像を生成したが、縮小率や拡大率は、1/整数倍や整数倍に限られない。縮小処理部21と拡大処理部22は、それぞれ拡大処理と縮小処理を組み合わせて、他の倍率の縮小画像や拡大画像を生成してもよい。例えば3/5倍に縮小する場合は3倍に拡大した画像を1/5倍に縮小して縮小画像を生成する。同様に、5/3倍の拡大画像を生成する場合は、5倍に拡大した画像を1/3倍に縮小すればよい。図10は、差分算出部23の構成を示している。差分算出部23は減算器231を用いて構成されている。減算器231は入力画像から拡大後の縮小画像を減算して、入力画像の高域成分を示す差分画像を生成する。画像処理部30aの縮小画像処理部31は、フィルタ等を用いて構成されており、例えば周波数帯域制限を行い縮小画像の画像信号からノイズを除去する。また、RobertsPrewittSobel等のフィルタを用いて輪郭強調等を行い、縮小画像の鮮鋭度を改善する。差分画像対応部32aのノイズ量推定部321は、入力画像のノイズ量を画素毎に推定する。イメージセンサのノイズ量は、一定の露出レベルで感知した光子の数の統計分布に相関しており、相関関係は基本的にポワソン分布に従うことが知られている。図11は、イメージセンサで生成された画素信号PVとノイズ量PNの関係を例示している。なお、ノイズ量PNはノイズ信号の標準偏差である。図11に示す画素信号の信号レベルとノイズ量の関係は、式1として示すことができる。なお、式1において、Ka,Kbは、イメージセンサに依存する係数である。したがって、係数Ka,Kbを予め求めておけば、入力画像のノイズ量を画素毎に推定することができる。ノイズ量の推定は、入力画像の画素毎の信号レベルに基づき式1の演算を行いノイズ量を推定してもよく、式1に基づいてテーブルを作成しておき、入力画像の画素毎の信号レベルに対応するノイズ量をテーブルから取得できるようにしてもよい。また、テーブルを用いる場合、画素信号の信号レベルに対応するノイズ量を計測してテーブルを作成することで、相関関係がポワソン分布以外の場合でも容易に対応できる。このようにして、ノイズ量推定部321は、入力画像の画素毎に画素信号に基づきノイズ量PNを推定する。特徴量算出部322は、画素毎に周辺画素の画素信号を用いて特徴量を算出する。例えば特徴量算出部322は、周辺画素の画素信号を用いて分散や擬似分散を算出して特徴量PUとする。例えば図12に示すように、特徴量算出対象画素に対して、周辺の8画素の画素信号を用いて特徴量を算出する場合について説明する。なお、図12では、特徴量算出対象画素を斜線で示している。特徴量として分散を用いる場合、合計9画素の画素信号PVを用いて式2に示す演算を行うことで分散Varを算出できる。なお、Aveは式3に示すように9画素の画素信号の平均値である。特徴量として擬似分散を用いる場合、合計9画素の画素信号PVを用いて式4に示す演算を行うことで擬似分散PseudoVarを算出できる。なお、擬似分散とは、近傍画素を含めた画素信号の平均値と、近傍画素を含めた各画素の画素信号と平均値の絶対値差分の平均の二乗の値である。なお、Aveは、上述の式3に示すように9画素の画素信号の平均値である。このようにして、特徴量算出部322は、周辺画素の画素信号を用いて分散や擬似分散を算出して、算出した分散や擬似分散を特徴量PUとする。ゲイン調整部323は、ノイズ量推定部321で決定されたノイズ量と、特徴量算出部322で算出された特徴量に基づいて、差分画像のゲイン調整を行う。差分画像のJ番目の画素の画素信号をPVj、入力画像のJ番目の画素のノイズ量をPNj、差分画像のJ番目の画素の特徴量をPUjとした場合、ゲイン調整部323は、式5に示す処理を行い、ゲイン調整後の画素信号PVcjを生成する。合成処理部40の拡大処理部41は、拡大処理部22と同様に構成されており、拡大処理部22と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画像と、差分画像対応部32aのゲイン調整部323から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。このように、第1の実施の形態によれば、入力画像を縮小したのち縮小前の画像サイズに拡大して、拡大画像と入力画像の差分画像である高域画像が生成される。また、高域画像の画素毎に推定されたノイズ量や非平坦度を示す特徴量に応じて高域画像の信号レベルが調整される。また、入力画像を縮小して入力画像の低域画像である縮小画像が生成される。この縮小画像を用いて画質改善が行われて、画質改善後の画像が差分画像の画像サイズに拡大されて、信号レベル調整後の差分画像と合成される。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。<3.第2の実施の形態>次に、第2の実施の形態について説明する。第2の実施の形態では、画質の改善を時間方向についても行うことができる画像処理装置10bについて説明する。[画像処理装置の構成]図13は、本技術の第2の実施の形態の構成を示している。画像処理装置10bは、第1の実施の形態と同様に、周波数分離部20と合成処理部40を有している。また、第2の実施の形態の画像処理装置10bの画像処理部30bは、縮小画像処理部31と差分画像対応部32bを有している。さらに、差分画像対応部32bは、ノイズ量推定部321、特徴量算出部322、ゲイン係数記憶部324、ゲイン調整部325を有している。周波数分離部20の縮小処理部21は、入力画像に対して縮小処理を行う。縮小処理部21は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部21は、生成した縮小画像を拡大処理部22と画像処理部30bに出力する。拡大処理部22は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部23に出力する。差分算出部23は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部23は、入力画像の高域成分を示す差分画像を差分画像対応部32bに出力する。縮小画像処理部31は、縮小画像の画質改善を行う。縮小画像処理部31は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部40に出力する。差分画像対応部32bのノイズ量推定部321は、入力画像におけるノイズ量を画素毎に推定して、推定結果をゲイン調整部325に出力する。特徴量算出部322は、差分画像を用いて特徴量を画素毎に算出する。特徴量算出部322は、画素毎に近傍画素を用いて例えば分散を算出して、非平坦度を示す特徴量とする。特徴量算出部322は算出した特徴量をゲイン調整部325に出力する。差分画像の画像処理を行う差分画像処理部であるゲイン調整部325は、ノイズ量推定部321によって推定されたノイズ量と特徴量算出部322で算出された特徴量、およびゲイン係数記憶部324に記憶されている過去のゲイン係数を用いて、画素毎に差分画像の信号レベルを調整する。ゲイン調整部325は、信号レベル調整後の差分画像を合成処理部40に出力する。また、ゲイン調整部325は、差分画像の信号レベルの調整に用いたゲイン係数をゲイン係数記憶部324に出力する。ゲイン係数記憶部324は、ゲイン調整部325から供給されたゲイン係数を記憶する。また、ゲイン係数記憶部324は、記憶しているケイン係数をゲイン調整部325に出力する。合成処理部40の拡大処理部41は、縮小画像処理部31から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画質改善および拡大後の画像と、差分画像対応部32bから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。[各部の構成と動作]次に各部の構成と動作について説明する。縮小処理部21は、上述の図4に示す構成および図5に示す動作とされており、縮小画像を生成する。拡大処理部22は、上述の図7に示す構成および図8に示す動作とされており拡大画像を生成する。また、差分算出部23は上述の図10に示す構成とされており、拡大処理部22で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。縮小画像処理部31は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する。差分画像対応部32bのノイズ量推定部321は、上述のように、式1に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。特徴量算出部322は、画素毎に周辺画素の画素信号を用いて、上述のように分散や擬似分散を算出して、算出した分散や擬似分散を特徴量とする。ゲイン調整部325は、ノイズ量推定部321で推定されたノイズ量と、特徴量算出部322で算出された特徴量、およびゲイン係数記憶部324に記憶されているゲイン係数に基づいて、差分画像のゲイン調整を行う。ここで、差分画像のJ番目の画素の画素信号をPVj、入力画像のJ番目の画素のノイズ推定量をPNj、差分画像のJ番目の画素の特徴量をPUjとする。また、ゲイン調整部325は、例えば1フレーム前の差分画像におけるJ番目の画素のゲイン調整で用いたゲイン係数をCFprjとする。ゲイン調整部325は、式67の処理を行い、ゲイン調整後の画素信号PVcjを生成する。また、ゲイン調整部325は、差分画像のゲイン調整に用いたゲイン係数CFjを、ゲイン係数記憶部324に記憶させる。合成処理部40の拡大処理部41は、拡大処理部22と同様に構成されており、拡大処理部22と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画像と、差分画像対応部32bのゲイン調整部325から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。このように、第2の実施の形態によれば、第1の実施の形態に対して、高域成分画像の画素毎のノイズ推定量と高域成分画像の特徴量および過去のゲイン係数に応じて高域成分画像の信号レベルが調整される。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、過去のゲイン係数が用いられることから時間方向に対して安定した出力画像を生成できる。<4.第3の実施の形態>次に、第3の実施の形態について説明する。第3の実施の形態では、差分画像に対してコアリング処理を行うことでノイズの影響を軽減する画像処理装置10cについて説明する。[画像処理装置の構成]図14は、本技術の第3の実施の形態の構成を示している。画像処理装置10cは、第1の実施の形態と同様に、周波数分離部20と合成処理部40を有している。また、第3の実施の形態の画像処理装置10cの画像処理部30cは、縮小画像処理部31と差分画像対応部32cを有している。さらに、差分画像対応部32cは、ノイズ量推定部321とコアリング処理部326を有している。周波数分離部20の縮小処理部21は、入力画像に対して縮小処理を行う。縮小処理部21は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部21は、生成した縮小画像を拡大処理部22と画像処理部30cに出力する。拡大処理部22は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部23に出力する。差分算出部23は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部23は、入力画像の高域成分を示す差分画像を差分画像対応部32cに出力する。縮小画像処理部31は、縮小画像の画質改善を行う。縮小画像処理部31は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部40に出力する。差分画像対応部32cのノイズ量推定部321は、入力画像におけるノイズ量を画素毎に推定して、推定結果をコアリング処理部326に出力する。差分画像の画像処理を行う差分画像処理部であるコアリング処理部326は、ノイズ量推定部321によって推定されたノイズ量に基づき閾値を設定する。さらに、設定された閾値とコアリング特性に応じて、画素毎に差分画像の信号レベルを調整して合成処理部40に出力する。合成処理部40の拡大処理部41は、縮小画像処理部31から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す処理を行い、拡大後の画像を加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画質改善および拡大後の画像と、差分画像対応部32cから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。[各部の構成と動作]次に各部の構成と動作について説明する。縮小処理部21は、上述の図4に示す構成および図5に示す動作とされており、縮小画像を生成する。拡大処理部22は、上述の図7に示す構成および図8に示す動作とされており拡大画像を生成する。また、差分算出部23は上述の図10に示す構成とされており、拡大処理部22で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。縮小画像処理部31は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する。差分画像対応部32cのノイズ量推定部321は、上述のように、式1に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。コアリング処理部326は、画素毎のノイズ量に応じて閾値を設定して、設定された閾値とコアリングカーブに基づき、差分画像の信号レベルを調整する。図15は、コアリング処理部326の構成を示している。コアリング処理部326は、閾値算出部3261と、レベル調整部3262を有している。閾値算出部3261は、ノイズ量推定部321によって推定されたノイズ量に基づき、閾値を画素毎に算出する。閾値算出部3261は、例えばノイズ量と閾値との関係を示すテーブルを有しており、このテーブルを利用することで、ノイズ量に応じた閾値の算出を行う。閾値算出部3261は、算出した閾値をレベル調整部3262に出力する。レベル調整部3262は、コアリングカーブを用いて高域成分画像の信号レベルを調整する。また、レベル調整部3262は画素信号の信号レベルが小さい場合、ノイズ成分であると見なして信号の抑圧を行う。レベル調整部3262は、閾値算出部3261で算出された閾値をノイズ成分であるか否かの判定基準とする。レベル調整部3262は、差分画像の画素信号の信号レベルが閾値以下である場合、画素信号はノイズ成分と見なして信号レベルを抑圧する。また、レベル調整部3262は、差分画像の画素信号の信号レベルが閾値よりも大きい場合、信号レベルを抑圧することなく出力する。図16は、コアリング処理部326の動作を示すフローチャートである。ステップST31でコアリング処理部326は、閾値の算出を行う。コアリング処理部326は、レベル調整を行う画像のノイズ量をノイズ量推定部321から取得する。さらに、コアリング処理部326は、取得したノイズ量に応じて閾値の設定を行いステップST32に進む。ステップST32でコアリング処理部326は、信号レベルが閾値以下であるか判別する。コアリング処理部326は、画素毎に画素信号の信号レベルが閾値以下であるか判別して、閾値以下である場合はステップST33に進み、閾値よりも大きい場合はステップST34に進む。ステップST33でコアリング処理部326は、レベル抑圧処理を行う。コアリング処理部326は、画素信号の信号レベルを抑圧してステップST34に進む。ステップST34でコアリング処理部326は、全画素の処理が完了したか判別する。コアリング処理部326は、コアリング処理が行われていない画素が残っている場合、ステップST31に戻り、新たな画素についてステップST31からの処理を繰り返す。また、コアリング処理部326は、全画素のコアリング処理が完了すると処理を終了する。コアリング処理部326は、入力信号の信号レベルに基づき、コアリング特性に応じて信号レベルの抑圧を行い、出力信号を生成する。例えば、図17に示すコアリング特性である場合、ノイズ量が少ない場合には閾値のレベルを小さく、ノイズ量が多い場合には閾値のレベルを大きくする。このようなコアリング特性で信号レベルの調整を行う場合、閾値の範囲内の信号レベルをノイズとして信号レベルが抑圧されることから、ノイズの目立たない差分画像を生成できる。また、ノイズ量が大きいとは、閾値のレベルが大きくされて、ノイズと判定する信号レベル範囲が広くされるので、より確実にノイズを低減することが可能となる。なお、図17のAは、入力信号の信号レベルが閾値の範囲内となったとき、信号レベルを0とする場合を示している。また図17のA示す特性でコアリング処理を行うと、入力信号の信号レベルが閾値近傍であるとき、出力信号の信号レベル変化が大きくなってしまう。したがって、コアリング特性を図17のBに示す特性として、入力信号の信号レベルが閾値近傍であるときの、出力信号の信号レベル変化を小さくしてもよい。合成処理部40の拡大処理部41は、拡大処理部22と同様に構成されており、拡大処理部22と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画像と、差分画像対応部32cのコアリング処理部326から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。このように、第3の実施の形態によれば、第1および第2の実施の形態に対して、高域成分画像の画素毎に推定されたノイズ量と高域成分画像の信号レベルに応じて、高域成分画像のコアリング処理が行われる。したがって、大容量のメモリやバッファを設ける必要がなく、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、信号レベルの小さい高域成分をノイズとして抑圧して、良好な画質の出力画像を生成できる。<5.第4の実施の形態>次に、第4の実施の形態について説明する。第4の実施の形態では、高域成分画像においてコアリング処理によってノイズの影響の軽減をはかる。また、コアリング処理では、低域成分の画質調整後の低域成分縮小画像を拡大した拡大画像を用いて算出された特徴量に基づき閾値を調整する。このような処理を行う画像処理装置10dについて説明する。[画像処理装置の構成]図18は、本技術の第4の実施の形態の構成を示している。画像処理装置10dは、第3の実施の形態と同様に、周波数分離部20と合成処理部40を有している。また、第4の実施の形態の画像処理装置10dの画像処理部30dは、縮小画像処理部31と差分画像対応部32dを有している。さらに、差分画像対応部32dは、ノイズ量推定部321と特徴量算出部327とコアリング処理部328を有している。周波数分離部20の縮小処理部21は、入力画像に対して縮小処理を行う。縮小処理部21は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部21は、生成した縮小画像を拡大処理部22と画像処理部30dに出力する。拡大処理部22は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部23に出力する。差分算出部23は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部23は、入力画像の高域成分を示す差分画像を差分画像対応部32dに出力する。縮小画像処理部31は、縮小画像の画質改善を行う。縮小画像処理部31は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部40に出力する。差分画像対応部32dのノイズ量推定部321は、入力画像におけるノイズ量を推定して、推定結果をコアリング処理部328に出力する。特徴量算出部327は、画質調整と拡大処理が行われた縮小画像を用いて特徴量を算出する。特徴量算出部327は、画質改善と後述する拡大処理部41で拡大処理が行われた縮小画像、すなわち画質改善が行われた低域画像を用いて、例えば分散を算出して特徴量とする。特徴量算出部327は算出した特徴量をコアリング処理部328に出力する。差分画像の画像処理を行う差分画像処理部であるコアリング処理部328は、ノイズ量推定部321によって推定されたノイズ量と特徴量算出部327で算出された特徴量に基づき閾値を設定する。さらに、設定された閾値とコアリング特性に応じて、画素毎に差分画像の信号レベルの調整を行い合成処理部40に出力する。合成処理部40の拡大処理部41は、縮小画像処理部31から供給された画質改善後の縮小画像を拡大して差分画像と等しい画像サイズである入力画像サイズに戻す拡大処理を行う。合成処理部40は、拡大処理後の画像を加算処理部42と差分画像対応部32dの特徴量算出部327に出力する。加算処理部42は、拡大処理部41から供給された画質改善および拡大後の画像と、差分画像対応部32dから供給されたゲイン調整後の差分画像を加算して出力画像を生成する。[各部の構成と動作]次に各部の構成と動作について説明する。縮小処理部21は、上述の図4に示す構成および図5に示す動作とされており、縮小画像を生成する。拡大処理部22は、上述の図7に示す構成および図8に示す動作とされており拡大画像を生成する。また、差分算出部23は上述の図10に示す構成とされており、拡大処理部22で拡大された縮小画像を入力画像から減算して、入力画像の高域成分を示す差分画像を生成する。縮小画像処理部31は、上述のように縮小画像のノイズ除去や輪郭強調等を行い、縮小画像の画質を改善する差分画像対応部32dのノイズ量推定部321は、上述のように、式1に示す演算、またはテーブルを用いて入力画像のノイズ量を推定する。特徴量算出部327は、画質改善と拡大処理が行われた縮小画像に基づき、画素毎に近傍画素を用いて例えば分散を算出して特徴量とする。コアリング処理部328は、画素毎のノイズ量と特徴量に応じて閾値を設定する。例えば、ノイズ量が多いと推定される場合には、より確実にノイズを抑圧できるように閾値を大きくする。また、特徴量が大きい場合、例えば画質改善と拡大処理が行われた低域画像において、特徴量の算出対象画素が輪郭等を示す画素であるために分散が大きくなる場合、閾値を大きくすると、輪郭部分の高域成分の信号レベルが抑圧されてしまう。したがって、輪郭等の鮮鋭度が低下してしまうことがないように閾値を小さくする。コアリング処理部328は、設定された閾値とコアリング特性に基づき、閾値以下である信号をノイズと見なして差分画像の信号レベルを調整して、合成処理部40に出力する。合成処理部40の拡大処理部41は、拡大処理部22と同様に構成されており、拡大処理部22と同様な動作を行うことで、画質の改善された縮小画像を差分画像の画像サイズに拡大する。すなわち画質改善が行われた低域画像を生成して加算処理部42と特徴量算出部327に出力する。加算処理部42は、拡大処理部41から供給された画像と、差分画像対応部32dのコアリング処理部328から供給された差分画像を画素毎に加算して、高域成分のノイズ除去や低域成分の画質が改善された出力画像を生成して出力する。このように、第4の実施の形態によれば、第3の実施の形態と同様に、簡単な構成かつ低処理コストで容易に画質の改善を行うことができる。また、周波数帯域毎に画質の改善を行うことができる。さらに、信号レベルの小さい高域成分をノイズとして抑圧して、良好な画質の出力画像を生成できる。また、第4の実施の形態では、低域成分画像を用いて算出した特徴量に基づき閾値の調整が行われるので、輪郭等の鮮鋭度が低下しないように差分画像に対してコアリング処理を行うことができる。<6.第5の実施の形態>上述の第1~第4の実施の形態では、入力画像を高域画像である差分画像と低域画像である縮小画像の2階層に分けて処理を行う場合について説明した。ここで、周波数分離部と画像処理部と合成処理部を階層的に設ければ、入力画像を3階層以上の周波数帯域に分離して、周波数帯域毎に画像調整を行うこともできる。すなわち、周波数分離部は、入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離し、該縮小画像を前記入力画像として用いて前記分離を繰り返すことで、縮小画像と複数の差分画像を生成する。画像処理部は、縮小画像と複数の差分画像の少なくとも何れかの画像処理を行う。合成処理部は、少なくとも何れか画像処理されている縮小画像と複数の差分画像を等しい画像サイズとして合成する。次に、第5の実施の形態として、例えば入力画像を3周波数帯域に分離して処理する場合について説明する。なお、以下の説明では、高い周波数帯域の画像を高域画像、低い周波数帯域の画像を低域画像、中間の周波数帯域の画像を中域画像と呼ぶ。図19は、第5の実施の形態の構成を示している。画像処理装置10eには、周波数分離部201,202、画像処理部30、合成処理部401、402が設けられている。周波数分離部201,202は階層構造とされており、周波数分離部201で生成された縮小画像が、周波数分離部202の入力画像とされている。また、画像処理部30eは、縮小画像処理部31と差分画像対応部321,322を有している。周波数分離部201の縮小処理部21は、入力画像に対して縮小処理を行う。縮小処理部21は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部21は、生成した縮小画像を拡大処理部22と画像処理部30eの差分画像対応部321に出力する。拡大処理部22は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部23に出力する。差分算出部23は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、入力画像の高域成分を示す高域画像となる。差分算出部23は、入力画像の高域成分を示す差分画像を画像処理部30に出力する。周波数分離部202の縮小処理部21は、周波数分離部201で生成された縮小画像を入力画像として縮小処理を行う。縮小処理部21は、入力画像を縮小することで、縮小率に応じて入力画像の高域成分が失われている縮小画像を生成する。縮小処理部21は、生成した縮小画像を拡大処理部22と画像処理部30eの縮小画像処理部31に出力する。拡大処理部22は、縮小画像を拡大して入力画像サイズに戻す処理を行い、拡大後の画像を差分算出部23に出力する。差分算出部23は、入力画像と縮小前の画像サイズに拡大された縮小画像との差分を算出して差分画像を生成する。ここで、縮小画像を縮小前の画像サイズに拡大しても、入力画像の高域成分は失われたままであることから、差分画像は、周波数分離部201で生成された縮小画像の高域成分、すなわち入力画像の中域成分を示す中域画像となる。差分算出部23は、入力画像の中域成分を示す差分画像を画像処理部30eの差分画像対応部322に出力する。画像処理部30eの縮小画像処理部31は、縮小画像の画質改善を行う。縮小画像処理部31は、縮小画像に対してノイズ除去処理や鮮鋭度の調整を行い、縮小画像の画質を改善して合成処理部402に出力する。画像処理部30eの差分画像対応部321は、上述の差分画像対応部32a32b,32c,32d等と同様な処理を行い、レベル調整後の差分画像を合成処理部401に出力する。同様に、差分画像対応部322、上述の差分画像対応部32a32b,32c,32d等と同様な処理を行い、レベル調整後の差分画像を合成処理部402に出力する。合成処理部402の拡大処理部41は、縮小画像処理部31から供給された画質改善後の縮小画像を拡大して周波数分離部202の差分算出部23で生成された差分画像と等しい画像サイズに戻す処理を行い、拡大後の画像を加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された画質改善および拡大後の画像と、差分画像対応部322から供給されたゲイン調整後の差分画像を加算して、合成画像を合成処理部401に出力する。合成処理部401の拡大処理部41は、合成処理部402から供給された合成画像を拡大して周波数分離部201の差分算出部23で生成された差分画像と等しい画像サイズ、すなわち入力画像サイズに戻す拡大処理を行う。合成処理部401は、拡大処理後の合成画像を加算処理部42に出力する。加算処理部42は、拡大処理部41から供給された拡大後の合成画像と、差分画像対応部321から供給されたゲイン調整後の差分画像を加算して出力画像を生成する。なお、第5の実施の形態では、合成処理部を複数設けて順次画像を合成画像する構成を示しているが、画像処理部30eから出力される各画像の画像サイズを一致させて、例えば入力画像のサイズとして加算するようにしてもよい。このように、第5の実施の形態によれば、周波数分離部と合成処理部が階層構造とされているので、入力画像から複数の周波数成分毎の画像を生成できる。したがって、周波数成分毎に信号レベルの調整や画質調整を行い、画像サイズを一致させて合成することで、簡単な構成で容易に画質の改善を周波数成分毎に行うことができる。<7.処理をプログラムにより実行する場合について>上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータを用いる。または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどを用いて、記録媒体からプログラムをインストールする。図20は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。コンピュータ80において、CPUCentralProcessingUnit81、ROMReadOnlyMemory82、RAMRandomAccessMemory83は、バス84により相互に接続されている。バス84には、さらに、入出力インタフェース部85が接続されている。入出力インタフェース部85には、キーボード、マウスなどよりなるユーザインタフェース部86、画像データを入力するための入力部87、ディスプレイなどよりなる出力部88、ハードディスクや不揮発性のメモリなどよりなる記録部89等が接続される。さらに、入出力インタフェース部85には、ネットワークインタフェースなどよりなる通信部90、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア95を駆動するドライブ91が接続されている。以上のように構成されるコンピュータでは、CPU81が、例えば、記録部89に記録されているプログラムを、入出力インタフェース部85およびバス84を介して、RAM83にロードして実行することにより、上述した一連の処理が行われる。コンピュータCPU81が実行するプログラムは、例えば、磁気ディスクフレキシブルディスクを含む、光ディスクCD-ROMDVD等、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア95に記録して提供される。または、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。そして、プログラムは、プログラムが記録された記録媒体であるリムーバブルメディア95をドライブ91に装着することにより、入出力インタフェース部85を介して、記録部89にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部90で受信し、記録部89にインストールすることができる。その他、プログラムは、ROM82や記録部89に、予めインストールしておくことができる。なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能であり、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。また、本技術の情報処理装置は、以下のような構成も取ることができる。1入力画像の縮小と、縮小された入力画像を縮小前の画像サイズに戻して縮小前の入力画像との差分の算出を行い、縮小画像と差分画像に分離する周波数分離部と、前記縮小画像と前記差分画像の少なくとも何れかの画像処理を行う画像処理部と、少なくとも一方が画像処理されている前記縮小画像と前記差分画像を等しい画像サイズとして合成する合成処理部とを備える画像処理装置。2前記画像処理部は、前記入力画像に基づき画素毎のノイズ量を推定するノイズ量推定部と、推定された前記ノイズ量に基づいて前記差分画像の画像処理を行う差分画像処理部を備える1に記載の画像処理装置。3前記画像処理部は、前記差分画像に基づき画素毎に非平坦度を示す特徴量を算出する特徴量算出部を備え、前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいて画像処理を行う2に記載の画像処理装置。4前記差分画像処理部は、前記ノイズ量と前記特徴量に基づいてゲイン係数を設定して、該ゲイン係数に基づいてゲイン調整を行う3に記載の画像処理装置。5前記画像処理部は、前記設定されたゲイン係数を記憶するゲイン係数記憶部を備え、前記差分画像処理部は、前記ゲイン係数記憶部に記憶されている同じ画素位置のゲイン係数を用いて前記ゲイン係数の設定を行う4に記載の画像処理装置。6前記差分画像処理部は、閾値以下の信号を抑圧するコアリング処理を行い、前記ノイズ量に基づいて前記閾値を設定する2乃至5の何れかに記載の画像処理装置。7前記画像処理部は、前記画像処理後の縮小画像に基づき非平坦度を示す特徴量を算出する特徴量算出部を備え、前記差分画像処理部は、前記ノイズ量と前記縮小画像の非平坦度を示す特徴量に基づいて前記閾値を設定する6に記載の画像処理装置。8前記画像処理部は、前記縮小画像の画像処理を行う縮小画像処理部を備え、前記縮小画像処理部は、前記画像処理として画質改善処理を行う1乃至7の何れかに記載の画像処理装置。9前記縮小画像処理部は、前記画質改善処理として、ノイズ除去と鮮鋭度強調処理の少なくとも何れかを行う8に記載の画像処理装置。"