"時空間相関が低い画素成分から成る時空間低相関画像を超解像処理する時空間低相関画像超解像装置であって、時空間低相関画像の多重解像度解析を行い、時空間低相関画像の高周波成分画像を生成する空間周波数分解部と、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置の要素を入れ替えて位相を調整する位相調整部と、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いて超解像処理を行い、前記時空間低相関画像の超解像画像を生成する周波数成分再構成部と、を備えることを特徴とする時空間低相関画像超解像装置。前記空間周波数分解部は、時空間低相関画像を空間方向にデシメーション無しでハールウェーブレット分解して前記高周波成分画像を生成し、前記位相調整部は、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えて前記位相を調整した時空間低相関画像を生成し、前記周波数成分再構成部は、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いてハールウェーブレット再構成を行い、前記時空間低相関画像の超解像画像を生成することを特徴とする、請求項1に記載の時空間低相関画像超解像装置。請求項1又は2に記載の時空間低相関画像超解像装置を用いて入力画像の超解像画像を生成する画像空間超解像装置であって、入力画像を時空間相関が低い画素成分から成る時空間低相関画像、及び時空間相関が高い画素成分から成る時空間高相関画像に分離する時空間相関成分分離部と、前記時空間相関成分分離部により分離された時空間低相関画像を超解像処理して時空間低相関超解像画像を生成する前記時空間低相関画像超解像装置と、前記時空間相関成分分離部により分離された時空間高相関画像を超解像処理して時空間高相関超解像画像を生成する時空間高相関画像超解部と、前記時空間低相関超解像画像及び前記時空間高相関超解像画像を加算合成して超解像画像を生成する画像合成部と、を備えることを特徴とする画像空間超解像装置。前記時空間相関成分分離部は、入力画像を時間方向に多重解像度解析して、時間方向に低周波成分を有する画像である時間低周波成分画像、及び時間方向に高周波成分を有する画像である時間高周波成分画像を生成する時間周波数分解部と、前記時間高周波成分の画像について、空間方向に多重解像度解析して、時空間方向に低周波成分を有する画像である1次時空間低周波成分画像、及び時空間方向に高周波成分を有する画像である1次時空間高周波成分画像を生成する空間周波数分解部と、前記1次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、及び前記1次時空間低周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成する周波数成分再構成部と、を備えることを特徴とする、請求項3に記載の画像空間超解像装置。前記時空間相関成分分離部は、前記1次時空間高周波成分画像に含まれる孤立点成分の大きさを示す孤立点成分レベルを算出し、前記1次時空間高周波成分画像のうち孤立点成分レベル以下の画素からなる画像を2次時空間高周波成分画像として生成し、前記空間高周波成分画像のうち孤立点成分レベルを超える画素からなる画像を2次時空間低周波成分画像として生成する時空間相関成分検出部を更に備え、前記周波数成分再構成部は、前記2次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、前記1次時空間低周波成分画像、及び前記2次時空間高周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成することを特徴とする、請求項4に記載の画像空間超解像装置。コンピュータを、請求項1又は2に記載の時空間低相関画像超解像装置として機能させるための時空間低相関画像超解像プログラム。コンピュータを、請求項3から5のいずれか一項に記載の画像空間超解像装置として機能させるための画像空間超解像プログラム。従来の技術では、原画像の全ての成分について画像の相関性を考慮することなく超解像処理していた。しかし、この技法では、例えば先鋭なエッジや孤立点雑音のように時空間相関が低い画素成分においては十分な超解像画質が得られないという課題があった。本発明は、上述の課題を鑑みて為されたものであり、時空間低相関成分を含む画像に対しても高画質の超解像画像を生成することが可能な時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラムを提供することを目的とする。上記課題を解決するため、本発明に係る時空間低相関画像超解像装置は、時空間相関が低い画素成分から成る時空間低相関画像を超解像処理する時空間低相関画像超解像装置であって、時空間低相関画像の多重解像度解析を行い、時空間低相関画像の高周波成分画像を生成する空間周波数分解部と、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置の要素を入れ替えて位相を調整する位相調整部と、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いて超解像処理を行い、前記時空間低相関画像の超解像画像を生成する周波数成分再構成部と、を備えることを特徴とする。さらに、本発明に係る時空間低相関画像超解像装置において、前記前記空間周波数分解部は、時空間低相関画像を空間方向にデシメーション無しでハールウェーブレット分解して前記高周波成分画像を生成し、前記位相調整部は、前記高周波成分画像の画素値が負となる画素位置を検出し、前記時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えて前記位相を調整した時空間低相関画像を生成し、前記周波数成分再構成部は、前記時空間低相関画像、及び前記位相を調整された時空間低相関画像を用いてハールウェーブレット再構成を行い、前記時空間低相関画像の超解像画像を生成することを特徴とする。また、上記課題を解決するため、本発明に係る画像空間超解像装置は、上述の時空間低相関画像超解像装置を用いて入力画像の超解像画像を生成する画像空間超解像装置であって、入力画像を時空間相関が低い画素成分から成る時空間低相関画像、及び時空間相関が高い画素成分から成る時空間高相関画像に分離する時空間相関成分分離部と、前記時空間相関成分分離部により分離された時空間低相関画像を超解像処理して時空間低相関超解像画像を生成する前記時空間低相関画像超解像装置と、前記時空間相関成分分離部により分離された時空間高相関画像を超解像処理して時空間高相関超解像画像を生成する時空間高相関画像超解部と、前記時空間低相関超解像画像及び前記時空間高相関超解像画像を加算合成して超解像画像を生成する画像合成部と、を備えることを特徴とする。さらに、本発明に係る画像空間超解像装置において、前記時空間相関成分分離部は、入力画像を時間方向に多重解像度解析して、時間方向に低周波成分を有する画像である時間低周波成分画像、及び時間方向に高周波成分を有する画像である時間高周波成分画像を生成する時間周波数分解部と、前記時間高周波成分の画像について、空間方向に多重解像度解析して、時空間方向に低周波成分を有する画像である1次時空間低周波成分画像、及び時空間方向に高周波成分を有する画像である1次時空間高周波成分画像を生成する空間周波数分解部と、前記1次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、及び前記1次時空間低周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成する周波数成分再構成部と、を備えることを特徴とする。さらに、本発明に係る画像空間超解像装置において、前記時空間相関成分分離部は、前記1次時空間高周波成分画像に含まれる孤立点成分の大きさを示す孤立点成分レベルを算出し、前記1次時空間高周波成分画像のうち孤立点成分レベル以下の画素からなる画像を2次時空間高周波成分画像として生成し、前記空間高周波成分画像のうち孤立点成分レベルを超える画素からなる画像を2次時空間低周波成分画像として生成する時空間相関成分検出部を更に備え、前記周波数成分再構成部は、前記2次時空間高周波成分画像を時空間方向に再構成して前記時空間低相関画像を生成し、前記時間低周波成分画像、前記1次時空間低周波成分画像、及び前記2次時空間高周波成分画像を時空間方向に再構成して前記時空間高相関画像を生成することを特徴とする。また、上記課題を解決するため、本発明に係る時空間低相関画像超解像プログラムは、コンピュータを、上述した時空間低相関画像超解像装置として機能させることを特徴とする。また、上記課題を解決するため、本発明に係る画像空間超解像プログラムは、コンピュータを、上述した画像空間超解像装置として機能させることを特徴とする。本発明によれば、時空間低相関成分を含む画像に対しても高画質の超解像画像を生成することができるようになる。以下、図面を参照して、本発明による実施形態を詳細に説明する。本発明に係る時空間低相関画像超解像装置について、以下に説明する。図1は、本発明に係る時空間低相関画像超解像装置の構成例を示すブロック図である。図1に示すように、時空間低相関画像超解像装置10は、空間周波数分解部11と、位相調整部12と、周波数成分再構成部13とを備える。時空間低相関画像超解像処理部10は、時空間低相関画像を超解像処理し、時空間低相関超解像画像を生成する。時空間低相関画像は、自己相関性の高い画像であるため、周辺画素からの影響を受けにくい方法で超解像を行う。空間周波数分解部11は、入力画像である時空間低相関画像を空間方向に多重解像度解析例えば、ウェーブレット分解して、時空間低相関画像の低周波成分画像、及び時空間低相関画像の高周波成分画像を生成する。そして、時空間低相関画像、及び時空間低相関画像の高周波成分画像を位相調整部12に出力する。位相調整部12は、空間周波数分解部11により生成された高周波成分画像の画素値が負となる画素位置を検出し、時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置例えば、ウェーブレットフィルタを適用するタップ位置の要素を入れ替えて、位相を調整した時空間低相関画像を生成する。そして、時空間低相関画像、及び位相調整された時空間低相関画像を周波数成分再構成部13に出力する。周波数成分再構成部13は、時空間低相関画像、及び位相調整部12により位相調整された時空間低相関画像を用いて超解像処理再構成を行い、時空間低相関超解像画像を生成する。以下に、1階のハールウェーブレット分解、及び1階のハールウェーブレット再構成により時空間低相関画像の超解像画像を生成する例を示す。空間周波数分解部11は、時空間低相関画像本実施例において、以下、入力画像Fという。を空間方向にデシメーション無しで1階ハールウェーブレット分解して、低周波成分の画像LL、水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを生成する。位相調整部12は、空間周波数分解部11により生成された水平方向高周波成分の画像LHについて、画素値が負となる画素位置を検出する。そして、入力画像Fについて、該検出した画素位置と同じ位置の画素位置に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えた第1の位相調整画像F1を生成する。ハールウェーブレットフィルタのタップ数は2であるため、水平方向に隣り合う画素を入れ替えることとなる。また、位相調整部12は、空間周波数分解部11により生成された垂直方向高周波成分の画像HLについて、画素値が負となる画素位置を検出する。そして、入力画像Fについて、該検出した画素位置と同じ位置の画素位置に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えた第2の位相調整画像F2を生成する。ハールウェーブレットフィルタのタップ数は2であるため、垂直方向に隣り合う画素を入れ替えることとなる。また、位相調整部12は、空間周波数分解部11により生成された斜め方向高周波成分の画像HHについて、画素値が負となる画素位置を検出する。そして、入力画像Fについて、該検出した画素位置と同じ位置の画素位置に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えた第3の位相調整画像F3を生成する。ハールウェーブレットフィルタのタップ数は2であるため、斜め方向に隣り合う画素を入れ替えることとなる。そして、位相調整部12は、生成した第1の位相調整画像F1、第2の位相調整画像F2、及び第3の位相調整画像F3を、入力画像Fとともに、周波数成分再構成部13に出力する。なお、位相調整部12は、斜め方向高周波成分については位相調整を行わないすなわち、第2の位相調整画像F2を生成しないようにしてもよい。図2は、位相調整部12の動作を説明する図である。図2aは位相調整部12に入力される画像である、入力画像F、水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを示している。図中のマイナスは、当該画素の値が負であることを意味する。図2bは位相調整部12から出力される画像である、入力画像F、第1の位相調整画像F1、第2の位相調整画像F2、及び第3の位相調整画像F3を示している。図中の矢印は、画素値を入れ替えることを意味する。ある画像をハールウェーブレット分解により縮小した画像を、ハールウェーブレット再構成すると仮定すると、ハールウェーブレット分解により生成された高周波成分画像の画素値が負になる画素位置については、ハールウェーブレット再構成後の高周波成分の画素位置が隣接する画素と位相が反転することが知られている。そこで、位相調整部12は、ハールウェーブレット再構成前に、上述したように位相を調整する。つまり、入力画像Fについて、水平方向高周波成分の画像LHの画素値が負である画素位置について、水平方向に隣り合う画素値を入れ替えた画像を第1の位相調整画像F1とする。同様に、入力画像Fについて、垂直方向高周波成分の画像HLの画素値が負である画素位置について、垂直方向に隣り合う画素値を入れ替えた画像を第2の位相調整画像F2とする。また、入力画像Fについて、斜め方向高周波成分の画像HHの画素値が負である画素位置について、斜め方向に隣り合う画素値を入れ替えた画像を第3の位相調整画像F3とする。周波数成分再構成部13は、入力画像Fを低周波成分とし、第1の位相調整画像F1を水平方向高周波成分とし、第2の位相調整画像F2を垂直方向高周波成分とし、第3の位相調整画像F3を斜め方向高周波成分とした画像を1階ハールウェーブレット再構成して、時空間低相関超解像画像を生成する。なお、位相調整部12が斜め方向高周波成分については位相調整を行わない場合には、周波数成分再構成部13は、入力画像Fを低周波成分及び斜め方向高周波成分とし、第1の位相調整画像F1を水平方向高周波成分とし、第2の位相調整画像F2を垂直方向高周波成分とした画像を1階ハールウェーブレット再構成して、時空間低相関超解像画像を生成する。このように、時空間低相関画像超解像装置10は、空間周波数分解部11により、時空間低相関画像の多重解像度解析を行って時空間低相関画像の高周波成分画像を生成し、位相調整部12により、高周波成分画像の画素値が負となる画素位置を検出し、時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、多重解像度解析フィルタを適用するタップ位置の要素を入れ替えて位相を調整し、周波数成分再構成部13により、時空間低相関画像、及び位相調整後の時空間低相関画像を用いて超解像処理を行って時空間低相関画像の超解像画像を生成する。時空間低相関画像超解像装置10は、位相調整部12により高周波成分画像の位相調整を行うので、時空間低相関画像の超解像画像の画質を向上させることができるようになる。特に、多重解像度解析にハールウェーブレット分解を用いた場合には、高周波成分画像の画素値が負となる画素位置を検出し、時空間低相関画像について、該検出した画素位置と同じ画素位置の画素に対し、ハールウェーブレットフィルタを適用するタップ位置の要素を入れ替えて位相調整し、位相調整後の時空間低相関画像を用いてのハールウェーブレット再構成を行うことで、最適な超解像画像を生成することができる。なお、上述した時空間低相関画像超解像装置10として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、時空間低相関画像超解像装置10の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPU中央演算処理装置によってこのプログラムを読み出して実行させることで実現することができる。次に、本発明に係る画像空間超解像装置について、以下に説明する。図3は、本発明に係る画像空間超解像装置の構成例を示すブロック図である。図3に示すように、画像空間超解像装置1は、上述した時空間低相関画像超解像装置10と、時空間相関成分分離部20と、時空間高相関画像超解像部30と、画像合成部40とを備える。画像空間超解像装置1は、入力画像の相関度を考慮して入力画像の超解像画像を生成する。そのために、入力画像を時空間相関が低い画素成分から成る画像時空間低相関画像、及び時空間相関が高い画素成分から成る画像時空間高相関画像に分離し、それぞれ適した方法で超解像処理を行った後に、合成する。時空間相関成分分離部20は、入力画像を時空間相関が低い画素成分から成る時空間低相関画像、及び時空間相関が高い画素成分から成る時空間高相関画像に分離し、時空間低相関画像を時空間低相関画像超解像装置10に出力し、時空間高相関画像を時空間高相関画像超解像部30に出力する。詳細については後述する。時空間低相関画像超解像装置10は、時空間相関成分分離部20により生成された時空間低相関画像を上述したように超解像処理して時空間低相関超解像画像を生成し、画像合成部40に出力する。時空間高相関画像超解像部30は、時空間相関成分分離部20により生成された時空間高相関画像を超解像処理して時空間高相関超解像画像を生成し、画像合成部40に出力する。詳細については後述する。画像合成部40は、時空間低相関画像超解像装置10により生成された時空間低相関超解像画像、及び時空間高相関画像超解像部30により生成された時空間高相関超解像画像を合成し、時空間相関を考慮した超解像画像を生成する。詳細については後述する。[時空間相関成分分離部]次に、時空間相関成分分離部20の詳細について図4を参照して説明する。図4は、時空間相関成分分離部20の第1の構成例を示すブロック図である。図4に示すように、時空間相関成分分離部20は、時間周波数分解部21と、空間周波数分解部22と、周波数成分再構成部23とを備える。時間周波数分解部21は、入力画像を時間方向に多重解像度解析例えば、ウェーブレット分解して、時間方向に低周波成分を有する画像である時間低周波成分画像、及び時間方向に高周波成分を有する画像である時間高周波成分画像を生成し、時間高周波成分画像を空間周波数分解部22に出力し、時間低周波成分画像を周波数成分再構成部23に出力する。空間周波数分解部22は、時間周波数分解部21により生成された時間高周波成分画像について、空間方向に多重解像度解析例えば、ウェーブレット分解して、時空間方向に低周波成分を有する画像である時空間低周波成分画像、及び時空間方向に高周波成分を有する画像である時空間高周波成分画像を生成し、両者を周波数成分再構成部23に出力する。図5は、時間周波数分解部21及び空間周波数分解部22の処理例を説明する図である。図5aは、時間周波数分解部21が、入力画像を時間方向に1階ウェーブレット分解して時間低周波成分の画像、及び時間高周波成分の画像斜線部分を生成する様子を示している。図5bは、空間周波数分解部22が、時間周波数分解部21により生成された時間高周波成分の画像を空間方向にデシメーション有りの2階ウェーブレット分解して時空間低周波成分の画像、及び時空間高周波成分の画像斜線部分を生成する様子を示している。空間方向にn階ウェーブレット分解した場合、3n個の帯域の高周波成分が生成される。周波数成分再構成部23は、空間周波数分解部22により生成された時空間高周波成分画像を時空間方向に再構成例えば、ウェーブレット再構成し、高周波成分のみからなる画像を時空間低相関画像として生成し、時空間低相関画像超解像装置10に出力する。また、周波数成分再構成部23は、時間周波数分解部21により生成された時間低周波成分画像、及び空間周波数分解部22により生成された時空間低周波成分画像を時空間方向に再構成例えば、ウェーブレット再構成し、低周波成分のみからなる画像を時空間高相関画像として生成し、時空間高相関画像超解像部30に出力する。図6は、時空間相関成分分離部20の第2の構成例を示すブロック図である。図6に示すように、時空間相関成分分離部20は、時間周波数分解部21と、空間周波数分解部22と、時空間相関成分検出部24と、周波数成分再構成部23とを備える。時間周波数分解部21及び空間周波数分解部22の処理は、第1の構成例と同じである。なお、時空間相関成分検出部24にて、各周波数帯域について同一サイズの領域内で同様に孤立点判定できるようにするために、デシメーション無しのウェーブレット分解を行い、生成される各周波数帯域の画像のサイズを同一としてもよい。空間周波数分解部22により生成される時空間高周波成分の画像は、さらに時空間相関成分検出部24により高周波成分及び低周波成分に分離される。そのため、空間周波数分解部22により生成される時空間低周波成分画像及び時空間高周波成分画像を、1次時空間低周波成分画像及び1次時空間高周波成分画像と称し、時空間相関成分検出部24により生成される時空間低周波成分画像及び時空間高周波成分画像を、2次時空間低周波成分画像及び2次時空間高周波成分画像と称することとする。時空間相関成分検出部24は、空間周波数分解部22により生成される1次時空間高周波成分画像に含まれる孤立点成分の大きさを示す孤立点成分レベルを算出し、1次時空間高周波成分画像のうち孤立点成分レベル以下の画素からなる画像を2次時空間高周波成分画像として生成し、1次時空間高周波成分画像のうち孤立点成分レベルを超える画素からなる画像を2次時空間低周波成分画像として生成する。具体的には、時空間相関成分検出部24は、孤立点位置抽出部241と、孤立点成分レベル算出部242と、時空間相関成分解析部243とにより構成される。孤立点位置抽出部241は、空間周波数分解部22により生成された1次時空間高周波成分の各帯域成分の画像について、所定の閾値Th1を超える画素の画素値を1とし、閾値Th1以下の画素の画素値を0とする2値化画像Bを生成する。閾値Th1は、例えば各帯域成分の非零の全要素値の中央値又は平均値とする。そして、孤立点位置抽出部241は、2値化画像Bの画素値が1である画素について、該画素を中心とする所定の判定領域内の画素値の合計値と、所定の閾値Th2とを比較する。2値化画像Bの判定領域内の画素値の合計値が閾値Th2を超える場合には、当該画素は孤立点ではないと判定し、2値化画像Bの判定領域内の画素値の合計値が閾値Th2以下である場合には、当該画素を孤立点と判定する。そして、孤立点であると判定した画素の位置情報孤立点画素位置情報を孤立点成分レベル算出部242に出力する。図7は、孤立点位置抽出部241の孤立点判定の動作例を説明する図であり、2値化画像Bの一例を示している。図7に示す例では、判定領域は3×3画素である。閾値Th2を1とすると、2値化画像Bの画素値が1となる画素の周囲の8画素の画素値が0であるときのみ、2値化画像Bの画素値が1である画素を孤立点とみなす。よって、閾値Th2=1の場合、図中の画素P1は孤立点であると判定され、画素P2とP3は孤立点と判定されない。孤立点成分レベル算出部242は、空間周波数分解部22により生成された1次時空間高周波成分の各帯域成分の画像について、孤立点位置抽出部241から入力される孤立点画素位置情報に基づいて、孤立点と判定された画素位置の画素値を取得し、取得した画素値に基づく値を、各帯域成分の孤立点成分レベルとして算出し、時空間相関成分解析部243に出力する。時空間相関成分解析部243は、空間周波数分解部22により生成された1次時空間高周波成分画像のうち、孤立点成分レベル算出部242により算出された孤立点成分レベル以下の画素からなる画像を2次時空間高周波成分画像として生成し、1次時空間高周波成分画像のうち、孤立点成分レベル算出部242により算出された孤立点成分レベルを超える画素からなる画像を2次時空間高周波成分画像として生成する周波数成分再構成部23は、時空間相関成分解析部243により生成された2次時空間高周波成分画像を時空間方向に再構成例えば、ウェーブレット再構成し、高周波成分のみからなる画像を時空間低相関画像として生成し、時空間低相関画像超解像装置10に出力する。また、周波数成分再構成部23は、時間周波数分解部21により生成された時間低周波成分画像、空間周波数分解部22により生成された1次時空間低周波成分画像、及び時空間相関成分解析部243により生成された2次時空間低周波成分画像を時空間方向に再構成例えば、ウェーブレット再構成し、低周波成分のみからなる画像を時空間高相関画像として生成し、時空間高相関画像超解像部30に出力する。[時空間高相関画像超解像部]次に、時空間高相関画像超解像部30の詳細について図8及び図9を参照して説明する。図8は、時空間高相関画像超解像部30の構成例を示すブロック図である。図8に示すように、時空間高相関画像超解像部30は、空間周波数分解部31と、空間高周波成分拡大部32と、空間高周波成分平滑化部33と、周波数成分再構成部34とを備える。図9は、時空間高相関画像超解像部30の動作を説明する図である。空間周波数分解部31は、入力画像である時空間高相関画像を空間方向に1階ウェーブレット分解し、空間低周波成分の画像LL、水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを生成するステップS101。そして、高周波成分の画像、すなわち水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHを空間高周波成分拡大部32に出力する。空間高周波成分拡大部32は、空間周波数分解部31により生成された水平方向高周波成分の画像LH、垂直方向高周波成分の画像HL、及び斜め方向高周波成分の画像HHをそれぞれ拡大処理アップサンプリングするステップS102,103,104。そして、水平方向高周波成分の画像LHの拡大画像水平方向高周波成分拡大画像Ex.LH、垂直方向高周波成分の画像HLの拡大画像垂直方向高周波成分拡大画像Ex.HL、及び斜め方向高周波成分の画像HHの拡大画像斜め方向高周波成分拡大画像Ex.HHを空間高周波成分平滑化部33に出力する。具体的には、空間高周波成分拡大部32は、図8に示すように、垂直方向高周波成分の画像HLを拡大する場合には、垂直方向高周波成分の画像HLを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に1階ウェーブレット再構成を行い、垂直方向高周波成分拡大画像Ex.HLを生成する。同様に、水平方向高周波成分の画像LHを拡大する場合には、水平方向高周波成分の画像LHを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に1階ウェーブレット再構成を行い、水平方向高周波成分拡大画像Ex.LHを生成する。斜め方向高周波成分の画像HHを拡大する場合には、斜め方向高周波成分の画像HHを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に1階ウェーブレット再構成を行い、斜め方向高周波成分拡大画像Ex.HHを生成する。空間高周波成分平滑化部33は、空間高周波成分拡大部32により生成された、水平方向高周波成分拡大画像Ex.LH、垂直方向高周波成分拡大画像Ex.HL、及び斜め方向高周波成分拡大画像Ex.HHをそれぞれ平滑化フィルタにより平滑化するステップS105,106,107。そして、平滑化された水平方向高周波成分拡大画像Ex.LH’、垂直方向高周波成分拡大画像Ex.HL’、及び斜め方向高周波成分拡大画像Ex.HH’を周波数成分再構成部34に出力する。平滑化フィルタとしては、例えば、ガウシアンフィルタやバイラテラルフィルタを用いる。周波数成分再構成部34は、高周波成分平滑化部33により平滑化された水平方向高周波成分拡大画像Ex.LH’、垂直方向高周波成分拡大画像Ex.HL’、及び斜め方向高周波成分拡大画像Ex.HH’と、入力画像である時空間高相関画像とを用いて再構成処理を行い、超解像画像を生成するステップS108。具体的には、周波数成分再構成部34は、図9に示すように、入力画像である時空間高相関画像を空間低周波成分とし、水平方向高周波成分拡大画像Ex.LH’、垂直方向高周波成分拡大画像Ex.HL’、及び斜め方向高周波成分拡大画像Ex.HH’を、それぞれ水平方向高周波成分、垂直方向高周波成分、及び斜め方向高周波成分とした画像に対して、空間方向に1階ウェーブレット再構成を行い、超解像画像を生成する。[画像合成部]次に、画像合成部40の詳細について説明する。時空間相関成分分離部20が図4に示したように孤立点成分レベルの検出を行わない場合には、画像合成部40は、時空間低相関画像超解像装置10により生成された時空間低相関超解像画像と、時空間高相関画像超解像部30により生成された時空間高相関超解像画像を加算合成して、最終的な超解像画像を生成する。一方、時空間相関成分分離部20が図6に示したように孤立点成分レベルの検出を行う場合には、孤立点成分レベルを用いて時空間低相関超解像画像の正規化を行う。この場合の画像合成部40の構成例を図10に示す。図10に示すように、画像合成部40は、レベル調整部41と、合成部42とを備える。レベル調整部41は、時空間低相関画像超解像装置10により生成された時空間低相関超解像画像のRMSRootMeanSquare値が、孤立点成分レベル算出部242により検出された孤立点成分レベル値と等しくなるように正規化し、正規化後の時空間低相関超解像画像を合成部42に出力する。合成部42は、レベル調整部41により生成された正規化後の時空間低相関超解像画像と、時空間高相関画像超解像部30により生成された時空間高相関超解像画像とを加算合成して、最終的な超解像画像を生成する。このように、画像空間超解像装置1は、時空間相関成分分離部20により入力画像を時空間低相関画像及び時空間高相関画像に分離し、時空間低相関画像超解像装置10により時空間低相関画像を超解像処理して時空間低相関超解像画像を生成し、時空間高相関画像超解部30により時空間高相関画像を超解像処理して時空間高相関超解像画像を生成し、画像合成部40により時空間低相関超解像画像及び時空間高相関超解像画像を加算合成して超解像画像を生成する。これにより、時空間相関が低い画素成分から時空間相関が高い画素成分までを高画質に超解像でき、超解像画像の画質を向上させることができるようになる。また、時空間相関成分分離部20は、第1の構成例では、時間周波数分解部21及び空間周波数分解部22により抽出される1次時空間高周波成分画像を周波数成分再構成部23により再構成した画像を時空間低相関画像とし、1次時空間高周波成分画像以外の成分からなる画像を周波数成分再構成部23により再構成した画像を時空間高相関画像とする。これにより、簡易な方法で入力画像を時空間低相関画像及び時空間高相関画像に分離することができる。また、時空間相関成分分離部20は、第2の構成例では、時間周波数分解部21及び空間周波数分解部22により生成される1次時空間高周波成分画像を、さらに時空間相関成分検出部24により孤立点成分レベルと比較して、孤立点成分レベル以下の画素からなる画像を2次時空間高周波成分画像とし、2次時空間高周波成分画像を周波数成分再構成部23により再構成した画像を時空間低相関画像とし、2次時空間高周波成分画像以外の成分からなる画像を周波数成分再構成部23により再構成した画像を時空間高相関画像とする。これにより、より自己相関性の高い画像を時空間低相関画像とすることができる。また、画像合成部40において、孤立点成分レベルを用いて時空間低相関超解像画像レベル調整を行うことができるため、より高画質の超解像画像を生成することができる。なお、上述した画像空間超解像装置1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像空間超解像装置1の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。"