"入力画像に超解像処理を行うことにより、前記入力画像より解像度が高い出力画像を生成する超解像処理装置であって、前記入力画像をNNは1より大きい倍に拡大したN倍画像を生成するN倍拡大部と、前記入力画像をMMは1より大きい倍に拡大したM倍画像を生成するM倍拡大部と、前記M倍画像の高周波成分をM倍高周波画像として抽出するハイパスフィルタ部と、前記M倍高周波画像の一部である、予め定められた大きさの推定パッチを前記M倍高周波画像から抽出するパッチ抽出部と、前記N倍画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備え、前記Mは前記Nより小さい超解像処理装置。前記パッチ抽出部は、前記M倍高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出する請求項1記載の超解像処理装置。前記超解像処理装置は、さらに、前記N倍画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第1特徴量抽出部と、前記M倍画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第1周辺特徴量を抽出する第2特徴量抽出部とを備え、前記パッチ抽出部は、前記入力特徴量と、前記複数の第1周辺特徴量の各々との類似度を計算し、前記複数の第1周辺特徴量の中から、1前記類似度が最大となる1つの第1周辺特徴量、2前記類似度が大きい方から数えて所定順位以内の複数の第1周辺特徴量、又は、3前記類似度が予め設定した閾値以上となる複数の前記第1周辺特徴量、に対応する、前記M倍高周波画像の領域を前記推定パッチとして抽出する請求項1又は2記載の超解像処理装置。前記超解像処理装置は、さらに、前記N倍画像の自己相似比を推定する自己相似比推定部を備え、前記M倍拡大部は、前記自己相似比が1/Kである場合に、前記入力画像をM=N/K倍に拡大した前記M倍画像を生成する請求項1~3のいずれか1項に記載の超解像処理装置。前記自己相似比推定部は、前記入力画像又は前記N倍画像の自己相関関数の値の変動周期を算出し、前記変動周期が小さいほど大きなKの値を決定し、前記自己相似比が1/Kであると推定する請求項4記載の超解像処理装置。前記自己相似比推定部は、前記入力画像又は前記N倍画像の高周波成分のエネルギーを算出し、前記エネルギーが小さいほど大きなKの値を決定し、前記自己相似比が1/Kであると推定する請求項4記載の超解像処理装置。前記自己相似比推定部は、前記入力画像又は前記N倍画像の隣接画素間の差分絶対値和を算出し、前記差分絶対値和が小さいほど大きなKの値を決定し、前記自己相似比が1/Kであると推定する請求項4記載の超解像処理装置。前記M倍拡大部は、さらに、前記入力画像をM1M1は1より大きい倍に拡大したM1倍画像を生成し、前記M1は、前記Nより小さく、かつ、前記Mと異なり、前記ハイパスフィルタ部は、さらに、前記M1倍画像の高周波成分をM1倍高周波画像として抽出し、前記第2特徴量抽出部は、さらに、前記M1倍拡大画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第2周辺特徴量を抽出し、前記パッチ抽出部は、さらに、前記入力特徴量と、前記複数の第2周辺特徴量の各々との類似度を計算し、前記パッチ抽出部は、前記複数の第1周辺特徴量及び前記複数の第2周辺特徴量の中から、1前記類似度が最大となる1つの第1周辺特徴量又は第2周辺特徴量、2前記類似度が大きい方から数えて所定順位以内の複数の第1周辺特徴量又は第2周辺特徴量、又は、3前記類似度が予め設定した閾値以上となる複数の前記第1周辺特徴量又は第2周辺特徴量、に対応する、前記M倍高周波画像の領域から前記推定パッチを抽出する請求項3記載の超解像処理装置。前記パッチ抽出部は、前記入力特徴量と、前記複数の第1周辺特徴量の各々との差分絶対値和、又は差分自乗和を前記類似度として計算する請求項3記載の超解像処理装置。前記M倍拡大部は、前記Nが予め定められた閾値より大きい場合、前記Mを第1の値に設定し、前記Nが前記予め定められた閾値以下の場合、前記Mを、前記第1の値より小さい第2の値に設定する請求項1~3のいずれか1項に記載の超解像処理装置。入力画像に超解像処理を行うことにより、出力画像を生成する超解像処理装置であって、前記入力画像を1/K倍に縮小した1/K画像を生成する1/K縮小部と、前記1/K画像の高周波成分を1/K高周波画像として抽出するハイパスフィルタ部と、前記1/K高周波画像の一部である、予め定められた大きさの推定パッチを前記1/K高周波画像から抽出するパッチ抽出部と、前記1/K画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備える超解像処理装置。前記パッチ抽出部は、前記1/K高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出する請求項11記載の超解像処理装置。前記超解像処理装置は、さらに、前記入力画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第1特徴量抽出部と、前記1/K画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第1周辺特徴量を抽出する第2特徴量抽出部とを備え、前記パッチ抽出部は、前記入力特徴量と、前記複数の第1周辺特徴量の各々との類似度を計算し、前記複数の第1周辺特徴量の中から、前記類似度が最大となる1つの第1周辺特徴量、又は、前記類似度が大きい方から数えて所定順位以内の複数の第1周辺特徴量、又は、前記類似度が予め設定した閾値以上となる複数の前記第1周辺特徴量に対応する、前記1/K高周波画像の領域を前記推定パッチとして抽出する請求項11又は12記載の超解像処理装置。前記超解像処理装置は、さらに、前記入力画像の自己相似比を推定する自己相似比推定部を備え、前記1/K倍縮小部は、前記自己相似比が1/Kである場合に、前記入力画像を1/K倍に縮小した前記1/K画像を生成する請求項11~13のいずれか1項に記載の超解像処理装置。前記超解像処理装置は、さらに、前記入力画像を高解像度化したエッジ高解像度画像を生成するエッジ超解像部と、前記入力画像のエッジを検出するエッジ検出部と、前記出力画像と前記エッジ高解像度画像とを統合する画像統合部とを備え、前記画像統合部は、前記入力画像においてエッジ度合いが予め定められた閾値より高い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より高くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合し、前記エッジ度合いが前記閾値より低い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より低くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合する請求項1~14のいずれか1項に記載の超解像処理装置。入力画像に超解像処理を行うことにより、前記入力画像より解像度が高い出力画像を生成する超解像処理方法であって、前記入力画像をNNは1より大きい倍に拡大したN倍画像を生成するN倍拡大ステップと、前記入力画像をMMは1より大きい倍に拡大したM倍画像を生成するM倍拡大ステップと、前記M倍画像の高周波成分をM倍高周波画像として抽出するハイパスフィルタステップと、前記M倍高周波画像の一部である、予め定められた大きさの推定パッチを前記M倍高周波画像から抽出するパッチ抽出ステップと、前記N倍画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算ステップとを含み、前記Mは前記Nより小さい超解像処理方法。入力画像に超解像処理を行うことにより、出力画像を生成する超解像処理方法であって、前記入力画像を1/K倍に縮小した1/K画像を生成する1/K縮小ステップと、前記1/K画像の高周波成分を1/K高周波画像として抽出するハイパスフィルタステップと、前記1/K高周波画像の一部である、予め定められた大きさの推定パッチを前記1/K高周波画像から抽出するパッチ抽出ステップと、前記1/K画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算ステップとを含む超解像処理方法。請求項16又は17に記載の超解像処理方法をコンピュータに実行させるプログラム。しかしながら、上記従来の構成では、入力画像から導出した特徴量である中周波画像に強く現れている特徴については、対応する高周波画像パッチの加算により精細感ある良好な高解像度画像を生成できる。しかしながら、特徴量に十分特徴が現れていない特徴については、対応する高周波画像パッチを加算しても、生成される高解像度画像で精細感の向上が十分に得られない場合がある。例えば、入力画像において、明確なエッジを含む部分は、特徴量にエッジ特徴が十分表現されているので、対応する高精細エッジを得られる。一方で、細かいテクスチャを含む部分は、入力画像においてテクスチャが潰れてしまっているために、特徴量にテクスチャ特徴が十分反映されない。したがって、それを元に検索して得られた高周波画像パッチを用いても、同様に細かいテクスチャ成分を含まない高解像度画像が生成されてしまう。このように、細かいテクスチャ部分において、十分な超解像効果が得られないという課題を有していた。本発明は、上記従来の課題を解決するもので、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる超解像処理装置及び超解像処理方法を提供することを目的とする。ここで、テクスチャとは、草、岩、砂及び木の葉などの、粒状などの細かいディテールを有する部分を指すものとする。上記従来の課題を解決するために、本発明の一形態に係る超解像処理装置は、入力画像に超解像処理を行うことにより、前記入力画像より解像度が高い出力画像を生成する超解像処理装置であって、前記入力画像をNNは1より大きい倍に拡大したN倍画像を生成するN倍拡大部と、前記入力画像をMMは1より大きい倍に拡大したM倍画像を生成するM倍拡大部と、前記M倍画像の高周波成分をM倍高周波画像として抽出するハイパスフィルタ部と、前記M倍高周波画像の一部である、予め定められた大きさの推定パッチを前記M倍高周波画像から抽出するパッチ抽出部と、前記N倍画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備え、前記Mは前記Nより小さい。この構成によれば、本発明の一形態に係る超解像処理装置は、M倍拡大部における拡大倍率MがN未満であることにより、N倍画像よりも細かい高精細なテクスチャ表現を、当該N倍画像に付加できる。これにより、本発明の一形態に係る超解像処理装置は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる。また、前記パッチ抽出部は、前記M倍高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出してもよい。この構成によれば、対象ブロックの周辺の領域の画像には、対象ブロックのオブジェクトと類似したテクスチャが存在する可能性が高いため、本発明の一形態に係る超解像処理装置は、良好な高精細テクスチャをN倍画像の対象ブロックに付加できる。また、前記超解像処理装置は、さらに、前記N倍画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第1特徴量抽出部と、前記M倍画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第1周辺特徴量を抽出する第2特徴量抽出部とを備え、前記パッチ抽出部は、前記入力特徴量と、前記複数の第1周辺特徴量の各々との類似度を計算し、前記複数の第1周辺特徴量の中から、1前記類似度が最大となる1つの第1周辺特徴量、2前記類似度が大きい方から数えて所定順位以内の複数の第1周辺特徴量、又は、3前記類似度が予め設定した閾値以上となる複数の前記第1周辺特徴量、に対応する、前記M倍高周波画像の領域を前記推定パッチとして抽出してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、特徴量の類似度の大きいパッチを選択することにより、N倍画像の対象ブロックに類似した特徴を持つ高精細なテクスチャを、当該N倍画像の対象ブロックに付加できる。これにより、当該超解像処理装置は、エラーの少ない良好な高解像度画像を生成できる。また、前記超解像処理装置は、さらに、前記N倍画像の自己相似比を推定する自己相似比推定部を備え、前記M倍拡大部は、前記自己相似比が1/Kである場合に、前記入力画像をM=N/K倍に拡大した前記M倍画像を生成してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を推定することにより、良好で高精細なテクスチャをN倍画像に付加できる。また、前記自己相似比推定部は、前記入力画像又は前記N倍画像の自己相関関数の値の変動周期を算出し、前記変動周期が小さいほど大きなKの値を決定し、前記自己相似比が1/Kであると推定してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を自己相関関数に基づいて推定することにより、良好で高精細なテクスチャをN倍画像に付加できる。また、前記自己相似比推定部は、前記入力画像又は前記N倍画像の高周波成分のエネルギーを算出し、前記エネルギーが小さいほど大きなKの値を決定し、前記自己相似比が1/Kであると推定してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を高周波成分のエネルギーに基づいて推定することにより、良好で高精細なテクスチャをN倍画像に付加できる。また、前記自己相似比推定部は、前記入力画像又は前記N倍画像の隣接画素間の差分絶対値和を算出し、前記差分絶対値和が小さいほど大きなKの値を決定し、前記自己相似比が1/Kであると推定してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を隣接画素間の差分絶対値和に基づいて推定することにより、良好で高精細なテクスチャをN倍画像に付加できる。また、前記M倍拡大部は、さらに、前記入力画像をM1M1は1より大きい倍に拡大したM1倍画像を生成し、前記M1は、前記Nより小さく、かつ、前記Mと異なり、前記ハイパスフィルタ部は、さらに、前記M1倍画像の高周波成分をM1倍高周波画像として抽出し、前記第2特徴量抽出部は、さらに、前記M1倍拡大画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第2周辺特徴量を抽出し、前記パッチ抽出部は、さらに、前記入力特徴量と、前記複数の第2周辺特徴量の各々との類似度を計算し、前記パッチ抽出部は、前記複数の第1周辺特徴量及び前記複数の第2周辺特徴量の中から、1前記類似度が最大となる1つの第1周辺特徴量又は第2周辺特徴量、2前記類似度が大きい方から数えて所定順位以内の複数の第1周辺特徴量又は第2周辺特徴量、又は、3前記類似度が予め設定した閾値以上となる複数の前記第1周辺特徴量又は第2周辺特徴量、に対応する、前記M倍高周波画像の領域から前記推定パッチを抽出してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、複数の倍率の中から類似度の大きいパッチを選択することにより、良好で高精細なテクスチャをN倍画像に付加できる。また、前記パッチ抽出部は、前記入力特徴量と、前記複数の第1周辺特徴量の各々との差分絶対値和、又は差分自乗和を前記類似度として計算してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、特徴量同士の差分絶対値和、又は差分自乗和の小さいパッチを選択することにより、類似した特徴を持つ高精細なテクスチャを選択できる。これにより、当該超解像処理装置は、エラーの少ない良好な高解像度画像を生成できる。また、前記M倍拡大部は、前記Nが予め定められた閾値より大きい場合、前記Mを第1の値に設定し、前記Nが前記予め定められた閾値以下の場合、前記Mを、前記第1の値より小さい第2の値に設定してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、倍率Nに応じて倍率Mを変更することにより、良好で高精細なテクスチャをN倍画像に付加できる。また、入力画像に超解像処理を行うことにより、出力画像を生成する超解像処理装置であって、前記入力画像を1/K倍に縮小した1/K画像を生成する1/K縮小部と、前記1/K画像の高周波成分を1/K高周波画像として抽出するハイパスフィルタ部と、前記1/K高周波画像の一部である、予め定められた大きさの推定パッチを前記1/K高周波画像から抽出するパッチ抽出部と、前記1/K画像中の前記予め定められた大きさの処理対象ブロックと、前記推定パッチとを加算することにより前記出力画像を生成する加算部とを備えてもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、1/K縮小部において、入力画像を1/K倍縮小することにより、入力画像よりも細かい高精細なテクスチャ表現を、当該入力画像に付加できる。これにより、本発明の一形態に係る超解像処理装置は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる。また、前記パッチ抽出部は、前記1/K高周波画像中の、前記処理対象ブロック位置の周辺領域から前記推定パッチを抽出してもよい。この構成によれば、対象ブロックの周辺の領域の画像には、対象ブロックのオブジェクトと類似したテクスチャが存在する可能性が高いため、本発明の一形態に係る超解像処理装置は、良好な高精細テクスチャを入力画像に付加できる。また、前記超解像処理装置は、さらに、前記入力画像中の前記処理対象ブロックの特徴量である入力特徴量を抽出する第1特徴量抽出部と、前記1/K画像中の、前記予め定められた大きさの複数のパッチの各々の特徴量である複数の第1周辺特徴量を抽出する第2特徴量抽出部とを備え、前記パッチ抽出部は、前記入力特徴量と、前記複数の第1周辺特徴量の各々との類似度を計算し、前記複数の第1周辺特徴量の中から、前記類似度が最大となる1つの第1周辺特徴量、又は、前記類似度が大きい方から数えて所定順位以内の複数の第1周辺特徴量、又は、前記類似度が予め設定した閾値以上となる複数の前記第1周辺特徴量に対応する、前記1/K高周波画像の領域を前記推定パッチとして抽出してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、特徴量の類似度の大きいパッチを選択することにより、入力画像の対象ブロックに類似した特徴を持つ高精細なテクスチャを、当該入力画像の対象ブロックに付加できる。これにより、当該超解像処理装置は、エラーの少ない良好な高解像度画像を生成できる。また、前記超解像処理装置は、さらに、前記入力画像の自己相似比を推定する自己相似比推定部を備え、前記1/K倍縮小部は、前記自己相似比が1/Kである場合に、前記入力画像を1/K倍に縮小した前記1/K画像を生成してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、テクスチャの持つ自己相似比を推定することにより、良好で高精細なテクスチャを入力画像に付加できる。また、前記超解像処理装置は、さらに、前記入力画像を高解像度化したエッジ高解像度画像を生成するエッジ超解像部と、前記入力画像のエッジを検出するエッジ検出部と、前記出力画像と前記エッジ高解像度画像とを統合する画像統合部とを備え、前記画像統合部は、前記入力画像においてエッジ度合いが予め定められた閾値より高い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より高くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合し、前記エッジ度合いが前記閾値より低い領域に対しては、前記エッジ高解像度画像の比率を前記出力画像より低くしたうえで、前記出力画像と前記エッジ高解像度画像とを統合してもよい。この構成によれば、本発明の一形態に係る超解像処理装置は、エッジ度合いの大きい領域ではエッジの復元に適した超解像処理手法を用い、エッジ度合いの小さい領域、すなわちテクスチャと判断される領域では、本発明に係る超解像処理方法を用いる。これにより、本発明の一形態に係る超解像処理装置は、エッジ及びテクスチャの両方が高精細化された高解像度画像を生成できる。なお、本発明は、このような超解像処理装置として実現できるだけでなく、超解像処理装置に含まれる特徴的な手段をステップとする超解像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD-ROM等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。さらに、本発明は、このような超解像処理装置の機能の一部又は全てを実現する半導体集積回路LSIとして実現できる。本発明は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる超解像処理装置及び超解像処理方法を提供できる。以下本発明の実施の形態について、図面を参照しながら説明する。実施の形態1図1は、本発明の実施の形態1に係る超解像処理装置100の構成を示す図である。図1に示す超解像処理装置100は、入力画像121に超解像処理を行うことにより、入力画像121より解像度が大きい出力画像131を生成する。この超解像処理装置100は、N倍拡大部101と、M倍拡大部104と、ハイパスフィルタ部106と、パッチ抽出部108と、加算部109とを備える。N倍拡大部101は、入力画像121をNNは1より大きい倍に拡大したN倍画像122を生成する。M倍拡大部104は、入力画像121をMMは1より大きい倍に拡大したM倍画像125を生成する。ここで、Mは、Nより小さい。ハイパスフィルタ部106は、M倍画像125の高周波成分をM倍高周波画像128として抽出する。パッチ抽出部108は、M倍高周波画像128の一部である、予め定められた大きさの推定パッチ129をM倍高周波画像128から抽出する。例えば、パッチ抽出部108は、N倍画像122中の処理対象のブロック以下、対象ブロックと類似度が高いM倍画像125領域を探索し、M倍高周波画像128の探索結果に相当する領域のデータを推定パッチ129として抽出する。ここで、対象ブロックと推定パッチ129との大きさは等しい。加算部109は、N倍画像122中の対象ブロックと、推定パッチ129とを加算することにより出力画像131を生成する。以上より、本発明の実施の形態1に係る超解像処理装置100は、入力画像121中の処理対象のブロック以下、対象ブロックの超解像処理を行う際、入力画像121をM倍M<Nに拡大して生成したM倍画像125の中から推定パッチ129を探索し、得られた推定パッチ129をN倍画像122に加算する。これにより、本発明の実施の形態1に係る超解像処理装置100は、N倍画像122よりも細かい高精細なテクスチャ表現を、当該N倍画像122に付加できる。よって、超解像処理装置100は、画像中の細かいテクスチャ部分において、より高精細な高解像度画像を生成できる。実施の形態2本発明の実施の形態2では、実施の形態1に係る超解像処理装置100の変形例について説明する。なお、以降の実施の形態では、既に説明した実施の形態と同様の要素に関しては説明を省略し、相違点を主に説明する。また、各実施の形態において同様の要素には同一の符号を付している。図2を用いて、本発明の実施の形態2に係る超解像処理装置200について説明する。図2に示す超解像処理装置200は、低解像度な入力画像121の解像度をN倍に向上させた高解像度な出力画像131を生成する。また、超解像処理装置200は、入力画像中の対象ブロックに超解像処理を行う際、対象ブロックの周辺領域をM倍M<Nに拡大して生成した周辺M倍画像225の中から推定パッチ129を探索し、得られた推定パッチ129をN倍画像122に加算することにより高解像度な出力画像131を生成する。<超解像処理装置200の構成と動作>超解像処理装置200は、入力画像121からN倍画像122を生成するN倍拡大部101と、N倍画像122から入力特徴量223を抽出する第1特徴量抽出部202と、入力画像121から周辺画像224を取得する周辺画像取得部203と、周辺画像224から周辺M倍画像225を生成するM倍拡大部204と、周辺M倍画像225から周辺低周波画像226を生成するローパスフィルタ部205と、周辺低周波画像226から周辺特徴量227を抽出する第2特徴量抽出部207と、周辺M倍画像225から周辺高周波画像228を生成するハイパスフィルタ部206と、入力特徴量223と周辺特徴量227と周辺高周波画像228とに応じて推定パッチ129を出力するパッチ抽出部208と、N倍画像122と推定パッチ129とを用いて高解像度の出力画像131を生成する加算部109とを備えている。N倍拡大部101は、超解像処理の目標解像度の倍率拡大率をNとして、入力画像121を水平及び垂直方向にそれぞれN倍に単純拡大することにより、N倍画像122を生成する。このN倍拡大部101は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて入力画像121を拡大する。このN倍画像122は、ナイキスト周波数のN分の1の周波数を超える有意な高周波成分を含んでおらず、精細感のないぼけた画像である。第1特徴量抽出部202は、N倍画像122中の対象ブロックの特徴量である入力特徴量223を抽出する。具体的には、第1特徴量抽出部202は、線形フィルタ操作などを用いてN倍画像122の周波数帯域ごとの重み付けを行うことにより、パッチ抽出部208での探索に適した特徴量を生成する。そして、第1特徴量抽出部202は、生成した特徴量を入力特徴量223として出力する。ここで周波数帯域ごとの重み付けとは、例えば、低域を通過させる線形ローパスフィルタにより低周波に重みを大きく、高周波に重みを小さくすることである。なお、第1特徴量抽出部202は、重み付けを一切行わず、N倍画像122をそのまま入力特徴量223として出力してもよい。周辺画像取得部203は、入力画像121の対象ブロック位置の周辺における一定範囲の領域の画像を、当該入力画像121の中から抜き出す。そして、周辺画像取得部203は、抜き出した画像を周辺画像224として出力する。なお、前記対象ブロック位置の周辺における一定範囲の領域は、対象ブロック位置を含む領域であってもよいし、対象ブロックを含まない領域であってもよい。M倍拡大部204は、周辺画像224を、水平及び垂直方向にそれぞれM倍に単純拡大することにより、周辺M倍画像225を生成する。このM倍拡大部204は、バイキュービック法又はスプライン補間法などの画素補間手法を用いて、周辺画像224を拡大する。ここで、Mの値は、M<Nを満たす実数となるよう設定する。なお、M倍拡大部204が用いる画素補間手法として、失った高周波成分を復元するような超解像手法を適用してもよい。例えば、超解像手法として従来手法で示される超解像手法などを適用できる。これにより、最終的に出力される出力画像131において、より高周波成分を含んだ高精細なテクスチャ画像を生成できる。ローパスフィルタ部205は、線形フィルタ操作などを用いて周辺M倍画像225の低周波数成分を周辺低周波画像226として抽出する。このローパスフィルタ部205は、従来技術におけるローパスフィルタ部951と同様の役割を担っている。従来技術においては、入力画像121が生成される際と同様の劣化特性を持って劣化した多数の事例を保存した学習データベースの中から最も精度良く近似している学習画像パッチを探索する必要があった。しかしながら、本発明の実施の形態2に係る超解像処理装置200では、少数の周辺画像パッチの中から、テクスチャ特徴が大きく逸脱しない画像パッチを選択すればよい。したがって、当該超解像処理装置200では、従来技術と異なり、入力画像121が、真の高解像度画像からどのような劣化特性を経て生成されたかを正確にシミュレートする必要はない。つまり、入力画像121の劣化特性に関係なくフィルタ特性を一意に固定できる。なお、従来技術と同様にして、ローパスフィルタ部205の後段に、1/N縮小部952及びN倍拡大部953と等価な処理部を設けるなどしてもよい。第2特徴量抽出部207は、周辺M倍画像225中の、予め定められた大きさの複数のパッチの各々の特徴量である複数の第1周辺特徴量227を抽出する。具体的には、第2特徴量抽出部207は、第1特徴量抽出部202と等価な処理によって、周辺低周波画像226から特徴量を抽出する。そして、第2特徴量抽出部207は、その結果を固定ブロック単位で切り出すことにより、複数の周辺特徴量227を生成する。なお、第2特徴量抽出部207は、重み付けを一切行わず、周辺低周波画像226をそのまま固定ブロック単位で切り出すことにより、複数の周辺特徴量を生成してもよい。また、第2特徴量抽出部207とローパスフィルタ部205との処理を統合し、単一の線形フィルタ処理を用いて当該2つの処理部の処理を実現してもよい。ハイパスフィルタ部206は、パッチ抽出部208により決定されたブロック位置の周辺M倍画像225の高周波数成分を、線形フィルタ操作などを用いて抽出し、その抽出結果を周辺高周波画像228として出力する。パッチ抽出部208は、入力特徴量223に対してブロック単位で次の処理を行う。パッチ抽出部208は、複数の周辺特徴量227の中から、入力特徴量223に最も類似した周辺特徴量227を探索する。ここで、パッチ抽出部208は、両特徴量間の距離を隣接する画素間の差分絶対値和又は差分自乗和などで定義し、その距離が小さければ類似度が大きいと判断する。探索された、最も類似した周辺特徴量227が決定されると、パッチ抽出部208は、決定された周辺特徴量227のブロック位置に対応する位置のブロックの画像を周辺高周波画像228から切り出し、切り出した画像を推定パッチ129として出力する。なお、パッチ抽出部208は、最も類似した周辺特徴量227を1つ決定する代わりに、入力特徴量223と類似している例えば、上記距離が予め定められた閾値以下である複数の周辺特徴量227を決定し、それら複数の周辺特徴量227を平均化、又は、類似度に応じて加重平均をとった結果を、推定パッチ129として出力してもよい。加重平均の場合は、上記距離が小さいパッチほど重みを大きく設定する。さらには、パッチ抽出部208は、最も類似しているすなわち距離が最も小さい上位B候補Bは1以上の整数の周辺特徴量227を決定し、同様に、決定した複数の周辺特徴量227を平均化、又は、類似度に応じて加重平均をとった結果を、推定パッチ129として出力してもよい。なお、複数のパッチの統合方法は、平均又は加重平均以外の任意の方法であってもかまわない。加算部109は、N倍画像122の対象ブロック位置のパッチと、推定パッチ129とを画素単位で加算し、加算結果を出力画像131として出力する。なお、N倍拡大部101及びM倍拡大部204において、水平方向と垂直方向とでそれぞれ個別に倍率を設定してもよい。ここでN倍拡大部101の倍率が水平方向でNH倍、垂直方向でNV倍であり、M倍拡大部204の倍率が水平方向でMH倍、垂直方向でMV倍である場合、MH<NHかつMV<NVとなるようにMH及びMVの値が設定される。なお、超解像処理装置200において、ローパスフィルタ部205及び第2特徴量抽出部207を用いず、パッチ抽出部208が、その他の任意の方法で周辺高周波画像228から切り出した1つ、又は、複数のパッチを統合して推定パッチ129として出力してもかまわない。<超解像処理装置200の動作例>超解像処理装置200の具体的な動作例を図3に示す。図3は、入力画像121が木の葉のテクスチャを含んだ画像である場合の例である。超解像処理装置200は、全体を通して、入力画像121をあるサイズのブロックに分けて処理をする。なお、処理単位は固定サイズのブロックに限らず、画像の局所特徴に適応した可変ブロックであってもかまわない。さらに、処理単位は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。入力画像121をN倍拡大したN倍画像122は、木の葉のテクスチャ粒子もN倍の大きな粒子のみになり、精細感の無い映像となってしまう。これは、本来は細かい粒子のテクスチャが含まれていたとしても、入力画像121においては解像度が低いため表現されずに潰れていたことが原因と考えられる。図3に示すN倍画像122において点線状矩形で示した対象ブロックの領域は、テクスチャ成分が少ないが、この領域においても、本来は細かいテクスチャ成分が存在していたと推定されるべきである。超解像処理装置200は、対象ブロックに細かいテクスチャを付加するために、以下に示す処理を実施する。まず、M倍拡大部204は、周辺画像取得部203により取得された周辺画像224をM倍拡大することにより周辺M倍画像225を生成する。ここで、MはM<Nを満たす値である。つまり、周辺M倍画像225に含まれるテクスチャの粒子は、N倍画像122に含まれるテクスチャ粒子未満の大きさである。次に、パッチ抽出部208は、この周辺M倍画像225の中から適切なテクスチャ領域を探索し、推定パッチ129を生成する。なお、パッチ形状は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。ここで推定パッチ129には、N倍画像122の対象ブロックに含まれない細かいテクスチャ成分が含まれている。次に、加算部109は、この推定パッチ129をN倍画像122に加算することにより、精細感を向上させた出力画像131を生成する。さらには、一般的に画像中のテクスチャは、フラクタル画像のような自己相似性を持つ傾向にある。よって、実施の形態2の動作が示すように、画像に、自己のテクスチャと相似関係にある細かい粒子のテクスチャが付加された場合、例えそれが真の高解像度画像に含まれるテクスチャと異なっていたとしても、視覚的に違和感なく自然で高精細な画像を生成できる。<超解像処理方法>図4に、超解像処理装置200における超解像処理方法を説明するフローチャートを示す。まず、N倍拡大部101は、入力画像121を、バイキュービック法又はスプライン補間法などの画素補間手法を用いてN倍に拡大することにより、N倍画像122を生成するステップS201。次に、超解像処理装置200は、入力画像121又はN倍画像122中の処理ブロックを選択するステップS202。次に、第1特徴量抽出部202は、N倍画像122の対象ブロックの画像に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行うなどにより、当該対象ブロックの入力特徴量223を抽出するステップS203。なお、第1特徴量抽出部202は、重み付けを一切行わず、N倍画像122をそのまま入力特徴量223としてもよい。つまり、入力特徴量223は、N倍画像122の対象ブロックの画像の画素値そのものであってもよいし、当該画素値に所定の処理例えば、フィルタ処理を施した情報であってもよい。一方で、周辺画像取得部203は、入力画像121における、対象ブロックの周辺の領域の画像を切り出すことにより周辺画像224を生成するステップS204。図5は、周辺領域151の一例を示す図である。図5に示すように、周辺画像取得部203は、対象ブロック150の周辺の周辺領域151を周辺画像224として取得する。例えば、周辺領域151は、対象ブロック150と、対象ブロック150から上下左右方向に予め定められた画素数の範囲とを含む矩形の領域である。なお、周辺領域151は、対象ブロック150を中心とする領域でなくてもよい。また、周辺領域151は正方形であっても長方形であってもよい。さらに、周辺領域151は固定サイズに限らず、画像の局所特徴に適応した可変サイズであってもかまわない。さらに、周辺領域151は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。次に、M倍拡大部204は、切り出した周辺画像224をバイキュービック法又はスプライン補間法などの画素補間手法を用いてM倍に拡大することにより周辺M倍画像225を生成するステップS205。次に、ローパスフィルタ部205は、周辺M倍画像225に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行うローパスフィルタリングことにより、周辺低周波画像226を生成する。そして、第2特徴量抽出部207は、周辺低周波画像226の特徴量を抽出する。そして、第2特徴量抽出部207は、これをブロックごとに抜き出して複数の周辺特徴量227を生成するステップS206。なお、第2特徴量抽出部207は、重み付けを一切行わず、周辺M倍画像そのものから複数の周辺特徴量227を抜き出してもよい。つまり、周辺特徴量227は、周辺M倍画像225の、あるパッチの画素値そのものであってもよいし、当該画素値に所定の処理例えば、フィルタ処理を施した情報であってもよい。また、図6は、第2特徴量抽出部207による処理の一例を示す図である。図6に示すように、第2特徴量抽出部207は、周辺低周波画像226をブロック152ごとに抜き出した複数の周辺特徴量227を生成する。また、図6に示すように、隣接する2つの周辺特徴量227は、互いに重複する領域を有するほうが好ましい。次に、パッチ抽出部208は、複数の周辺特徴量227の中から、入力特徴量223に近いものを探索するステップS207。そして、ハイパスフィルタ部206は、探索した結果の周辺特徴量227の位置と同位置に対応する、周辺M倍画像225をハイパスフィルタリング処理することにより周辺高周波画像228を生成する。そして、パッチ抽出部208は、当該周辺高周波画像228を推定パッチ129として出力するステップS208。次に、加算部109は、生成された推定パッチ129を、N倍画像122の対象ブロック位置に加算するステップS209。全てのブロックに対して超解像処理が終わっていない場合S210でNo、超解像処理装置200は、次のブロックを対象ブロックとして選択しS202、選択した対象ブロックに対してステップS203以降の処理を行う。また、図7は、第2特徴量抽出部207による処理の一例を示す図である。図7に示すように、超解像処理装置200は、対象ブロック150を順次選択していく。また、図7に示すように、隣接する2つのブロックは、互いに重複する領域を有する。なお、隣接する2つのブロックは、重複する領域を有さなくてもよい。なお、図4に示す処理手順は一例であり、同様の効果が発揮できる手順であれば上記以外であってもよい。図8は、本発明の実施の形態1に係る超解像処理方法の変形例のフローチャートである。例えば、図8に示すように、超解像処理装置200は、対象ブロックごとに周辺M倍画像225を生成するのではなく、予め入力画像121をM倍したM倍画像を生成しておきS205A、ブロックごとに、当該M倍画像から周辺領域を切り出した周辺M倍画像225を生成してもよいS204A。また、図4及び図8に示す処理の順序は一例であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行なってもよい。例えば、図4に示すステップS201及びS203の一連の処理と、ステップS204~S206の一連の処理との順序は入れ替わってもよいし、一部の処理が並列に行なわれてもよい。<実施の形態2の効果>一般的に画像中のテクスチャは、フラクタル画像のような自己相似性を持つ傾向にある。したがって、自己のテクスチャと相似関係にある、より細かい粒子のテクスチャを入力画像自身から抽出し、これを画像に付加することにより、視覚的に違和感なく自然で高精細な画像を生成できる。実施の形態3本発明の実施の形態3では上述した実施の形態2に係る超解像処理装置200の変形例について説明する。図9を用いて、本発明の実施の形態3に係る超解像処理装置300について説明する。図9に示す超解像処理装置300は、入力画像121中の対象ブロックの超解像処理を行う際、入力画像121に応じて自己相似比を推定する。そして、超解像処理装置300は、推定した自己相似比の値1/Kに基づいて、対象ブロックの周辺領域をM倍M=N/Kに拡大した周辺M倍画像225を生成する。そして、超解像処理装置300は、生成した周辺M倍画像225の中から推定パッチ129を探索し、得られた推定パッチ129をN倍画像122に加算することにより高解像度な出力画像131を生成する。<超解像処理装置300の構成と動作>超解像処理装置300は、上述した超解像処理装置200の構成に加え、さらに、N倍画像122から自己相似比情報330を生成する自己相似比推定部310を備える。また、超解像処理装置300は、周辺画像取得部203及びM倍拡大部204の代わりに、N倍画像122から周辺N倍画像324を取得する周辺画像取得部303と、周辺N倍画像324と自己相似比情報330とに応じて、周辺M倍画像225を生成する1/K縮小部304とを備える。なお、N倍拡大部101、第1特徴量抽出部202、ローパスフィルタ部205、ハイパスフィルタ部206、第2特徴量抽出部207、パッチ抽出部208、及び加算部109は、実施の形態2において説明したものと同等であるため、説明を省略する。自己相似比推定部310は、N倍画像122における自己相似比を推定し、推定結果である自己相似比の値を自己相似比情報330として出力する。ここで自己相似比を、細かいテクスチャ画像の場合は大きく、粗いテクスチャ画像の場合は小さく設定して超解像処理装置300を動作させることで、主観的に良好な出力画像131を得られる傾向にあることが分かっている。また、テクスチャの粒子が細かい場合は、自己相関関数が短い周期で値が増減し、テクスチャの粒子が粗い場合は、自己相関関数が長い周期で値が増減する傾向にある。自己相似比推定部310は、N倍画像122の自己相関関数ACFxを計算する。そして、自己相似比推定部310は、ACFが極大値を持つx>0である最小のxをXとして、Xの値に対して単調減少する関数を用いて自己相似比を推定し、その推定値を自己相似比情報330として出力する。ここで、自己相関関数とは、画素位置に対する画素値を示す関数である。例えば、N倍画像122の2次元画像に対する自己相関関数は、ある1次元軸を決めて当該1次元軸に対して計算した自己相関関数であってもよい。また、自己相似比推定部310は、水平方向を0度として、0度、45度、90度、など複数の1次元軸に対して個別に自己相関関数を計算し、計算した複数の関数を、区間平均化などを用いて統合してもよい。また、自己相似比推定部310は、2次元のままの2次元自己相関関数ACFx,yを用いて自己相似比を計算してもよい。自己相似比推定部310は、2次元自己関数を用いる場合は、当該2次元自己関数を、z2=x2y2定義されるzz>0を横軸とし、縦軸をACF値とした1次元関数に変更し、当該1次元関数を用いて分析を行なってもよい。2次元自己関数を用いた場合の例を、図10A及び図10Bを用いて説明する。図10Aは、N倍画像122の自己相関関数ACFxを示す図である。なお、図10Aに示す複数の矩形の各々は、ACFの一つのサンプルを示す。また、図10Aでは、サンプルの値は省略している。ACF図10Bは、図10Aに示す関数を、z2=x2y2で定義されるzz>0を横軸とし、自己相関ACFzを縦軸とした自己相関値のサンプルを点でプロットした図である。このプロットした点を元に、z軸の小区間ごとの平均値を計算して線でつなげたものが図10Bに示す曲線実線である。この曲線の極大値間の距離が、p1a、p2a、p1b、p2bである。自己相似比推定部310は、これらの距離を元に、p=p1ap1b/2、又はp=p1ap2ap1bp2b/4、などの演算を行うことで推定周期pを求める。そして、自己相似比推定部310は、このpの値に対して単調減少する関数FPを用いて、1/FPpを自己相似比として推定をする。なお、自己相似比推定部310は、極大値を検出する以外の方法で関数の周期の長さを計測してもよい。このように、自己相似比推定部310は、入力画像121又はN倍画像122の自己相関関数の値の変動周期を算出し、当該変動周期が小さいほど大きなKの値を決定し、自己相似比が1/Kであると推定する。また、自己相似比推定部310は、より簡易的に、細かいテクスチャの場合は画素の振幅が小さく、粗いテクスチャの場合は画素の振幅が大きい傾向にあることを利用して、N倍画像122における画素振幅量Eを検出する。そして、自己相似比推定部310は、Eの値に単調増加する関数によって自己相似比を推定して、その推定値を自己相似比情報330として出力してもよい。このとき、画素振幅量は、対象ブロック付近の領域の各画素の隣接画素間の差分絶対値総和、又は、高周波成分のエネルギー値などを用いて導出できる。この高周波成分のエネルギー値は、ハイパスフィルタリングした結果の画像の画素値の絶対値和又は自乗和などで算出できる。つまり、自己相似比推定部310は、入力画像121又はN倍画像122の高周波成分のエネルギーを算出し、当該エネルギーが小さいほど大きなKの値を決定し、自己相似比が1/Kであると推定してもよい。また、自己相似比推定部310は、入力画像121又はN倍画像122の隣接画素間の差分絶対値和を算出し、当該差分絶対値和が小さいほど大きなKの値を決定し、自己相似比が1/Kであると推定してもよい。なお、それ以外の方法によって、N倍画像122に基づいて自己相似比情報330を算出してもよい。また、自己相似比推定部310は、N倍画像122の代わりに、入力画像121又は周辺N倍画像324に基づいて自己相似比情報330を算出してもよい。1/K縮小部304は、自己相似比情報330により自己相似比がKであることが示されるとき、バイキュービック法などの手法を用いて周辺N倍画像324を1/K倍に縮小し、周辺M倍画像225を出力する。つまり、周辺M倍拡大画像は、M=N/Kとした場合の、入力画像121における対象ブロックの周辺領域をM倍した画像となっている。なお、N倍拡大部101は、水平方向及び垂直方向に対してそれぞれ個別に倍率を設定してもよい。<超解像処理装置300の動作例>超解像処理装置300の具体的な動作例を図11に示す。図11は、入力画像121が木の葉のテクスチャを含んだ画像である場合の例である。超解像処理装置300は、全体を通して、入力画像121をあるサイズのブロックに分けて処理をする。なお、処理単位は固定サイズのブロックに限らず、画像の局所特徴に適応した可変ブロックであってもかまわない。さらに、処理単位は矩形ブロックに限らず、円形、多角形など任意の形状であってもかまわない。入力画像121をN倍拡大したN倍画像122は、木の葉のテクスチャ粒子もN倍の大きな粒子のみになり、精細感の無い画像となってしまう。これは、本来は細かい粒子のテクスチャが含まれていたとしても、入力画像121においては解像度が低いため表現されずに潰れていたことが原因と考えられる。図11に示すN倍画像122において点線状矩形で示した対象ブロックの領域は、テクスチャ成分が少ないが、この領域においても、本来は細かいテクスチャ成分が存在していたと推定されるべきである。超解像処理装置300は、対象ブロックに細かいテクスチャを付加するために、以下に示す処理を実施する。まず、1/K縮小部304は、周辺画像取得部303により取得された周辺N倍画像324を1/K倍縮小することにより周辺M倍画像225を生成する。つまり、周辺M倍画像225に含まれるテクスチャの粒子は、N倍画像122に含まれるテクスチャ粒子未満の大きさである。次に、パッチ抽出部208は、この周辺M倍画像225の中から適切なテクスチャ領域を探索し、推定パッチ129を生成する。推定パッチ129には、N倍画像122の対象ブロックに含まれない細かいテクスチャ成分が含まれている。次に、加算部109は、この推定パッチ129をN倍画像122に加算することにより、精細感を向上させた出力画像131を生成する。さらには、一般的に画像中のテクスチャは、フラクタル画像のような自己相似性を持つ傾向にある。よって、実施の形態3の動作が示すように、画像に、自己のテクスチャと相似関係にある細かい粒子のテクスチャが付加された場合、例えそれが真の高解像度画像に含まれるテクスチャと異なっていたとしても、視覚的に違和感なく自然で高精細な画像を生成できる。<超解像処理方法>図12に、超解像処理装置300における超解像処理方法を説明するフローチャートを示す。なお、ステップS201~S203の処理は、図4に示す処理と同様なので説明は省略する。ステップS203の処理の後、自己相似比推定部310は、N倍画像122の対象ブロックにおける自己相似比を、上述した方法により推定するステップS311。次に、周辺画像取得部303は、N倍画像122における、対象ブロックの周辺の領域の画像を切り出すことにより周辺N倍画像324を生成するステップS304。次に、推定した自己相似比が1/Kである場合、1/K縮小部304は、ステップS304で切り出した周辺N倍画像324を、バイキュービック法又はスプライン補間法などの画素補間手法を用いて1/K倍に縮小することにより周辺M倍画像225を生成するステップS305。ここで、周辺M倍画像225は、入力画像121がM倍M=N/Kに拡大された画像である。なお、ステップS311において、自己相似比推定部310は、N倍画像122の代わりに、入力画像121又は周辺N倍画像324から自己相似比を推定してもよい。また、ステップS206~S211の処理は、図4に示す処理と同様なので説明は省略する。なお、図12に示す処理手順は一例であり、同様の効果が発揮できる手順であれば上記以外であってもよい。例えば、上述した図8と同様に、超解像処理装置300は、対象ブロックごとに周辺M倍画像225を生成するのではなく、予め入力画像121をM倍したM倍画像を生成しておき、ブロックごとに、当該M倍画像から周辺領域を切り出した周辺M倍画像225を生成してもよい。また、図12に示す処理の順序は一例であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行なってもよい。また、上記説明では、超解像処理装置300は、N倍画像122を1/K倍に縮小しているが、実施の形態2と同様に、入力画像121をM倍M=N/Kに拡大してもよい図13は、この場合の超解像処理装置300Aの構成を示すブロック図である。この超解像処理装置300Aは、図9に示す超解像処理装置300の構成に対して、周辺画像取得部303と、1/K縮小部304の代わりに、周辺画像取得部203と、M倍拡大部304Aとを備える。M倍拡大部304Aは、自己相似比が1/Kであると指示された場合に、周辺画像224入力画像121をM=N/K倍に拡大した周辺M倍画像225M倍画像を生成する。<実施の形態3の効果>本発明の実施の形態3に係る超解像処理装置300は、入力画像121に応じて推定した自己相似比で縮小した画像の高周波成分をN倍画像122に付加する。これにより、超解像処理装置300は、実施の形態2に係る超解像処理装置200より、さらに自然で高精細な高解像度画像を生成できる。実施の形態4本発明の実施の形態4では上述した実施の形態3に係る超解像処理装置300の変形例について説明する。図14を用いて、本発明の実施の形態4に係る超解像処理装置400について説明する。図14に示す超解像処理装置400は、実施の形態3と異なり、入力画像に拡大処理を施さない。つまり、超解像処理装置400に入力される入力画像421は、既に拡大処理を施された画像、又は撮影時のボケ或いは画像圧縮などにより画像中の高周波成分が失われた画像である。すなわち、入力画像421と出力画像131とは同じ画素数であるが、出力画像131には、入力画像421において失われている高周波成分が付加されている。なお、このように、画像の解像度画素数を変化させず、画像に高周波成分を付加する処理も超解像処理と呼ぶ。それ以外の特徴は超解像処理装置300と同じである。<超解像処理装置400の構成と動作>超解像処理装置400は、入力画像421に、高周波成分を付加する超解像処理を行うことにより、出力画像131を生成する。この超解像処理装置400は、図9に示す超解像処理装置300に対して、N倍拡大部101を備えない点が異なる。また、加算部109、周辺画像取得部303、自己相似比推定部310及び第1特徴量抽出部202には、N倍画像122の代わりに入力画像421が入力される。また、周辺画像取得部303は、周辺画像取得部303は、入力画像421における、対象ブロックの周辺の領域の画像を切り出すことにより周辺画像424を生成する。1/K縮小部304は、周辺画像424を、バイキュービック法又はスプライン補間法などの画素補間手法を用いて1/K倍に縮小することにより周辺1/K画像425を生成する。なお、周辺画像424及び周辺1/K画像425は、N倍画像122を入力画像421に置き換えた場合の周辺N倍画像324及び周辺M倍画像225と等価である。また、上記の点以外は、実施の形態3において説明したものと同等であるため、説明を省略する。<超解像処理装置400の動作例>具体的な動作例は、図11を用いた実施の形態3における説明に対し、N倍拡大処理を省略し、N倍画像122を入力画像421で置き換え、周辺N倍画像324を周辺画像424に置き換え、周辺M倍画像225を周辺1/K画像425で置き換えただけであるため、説明を省略する。<超解像処理方法>超解像処理装置400における超解像処理方法は、実施の形態3の超解像処理装置300における超解像処理方法を説明するフローチャートである図12において、ステップS201を省き、実施の形態3の超解像処理方法の説明におけるN倍画像122を入力画像421で置き換えたものと同等である。<実施の形態4の効果>本発明の実施の形態4に係る超解像処理装置400は、既に拡大処理を施された後の画像、及び、画素数は十分でありながら撮影時のボケ又は画像圧縮処理などにより十分に高周波成分が含まれていない画像に対して、実施の形態3の効果と同等に、より高精細な画像を生成できる。なお、ここでは、実施の形態3に係る超解像処理装置300の構成を元に、N倍拡大処理を行わない構成を説明したが、実施の形態1又は実施の形態2で説明した構成にたいして、同様の変形例を適用してもよい。実施の形態5本発明の実施の形態5では上述した実施の形態2に係る超解像処理装置200の変形例について説明する。図15を用いて、本発明の実施の形態5に係る超解像処理装置500について説明する。図15に示す超解像処理装置500は、入力画像121の解像度をN倍に向上させた高解像度な出力画像131を生成する超解像処理装置である。この超解像処理装置500は、入力画像121中の対象ブロックの超解像処理を行う際、入力画像121中の対象ブロックの周辺領域を、倍率の異なる複数のM1倍、M2倍、、MX倍に拡大した周辺拡大画像の中から推定パッチ129を探索する。そして、超解像処理装置500は、得られた推定パッチ129をN倍画像122に加算することにより高解像度な出力画像131を生成する。<超解像処理装置500の構成と動作>超解像処理装置500は、上述した超解像処理装置200に対して、M倍拡大部204、ローパスフィルタ部205、ハイパスフィルタ部206及び第2特徴量抽出部207の代わりに、複数のMx倍処理部530xM1倍処理部5301、M2倍処理部5302、を備える。また、パッチ抽出部208の代わりにパッチ抽出部508を備える。また、ここでは、Mx倍処理部530xの数は、X個X≧2とする。複数のMx倍処理部530xの各々は、Mx倍拡大部204xM1倍拡大部2041、M2倍拡大部2042、と、ローパスフィルタ部205と、ハイパスフィルタ部206と、第2特徴量抽出部207とを備える。N倍拡大部101、第1特徴量抽出部202、周辺画像取得部203、ローパスフィルタ部205、ハイパスフィルタ部206、第2特徴量抽出部207、及び加算部109は、実施の形態2において説明したものと同等であるため、説明を省略する。ここで、複数のMx倍拡大部204xの倍率Mxは、Mx<2の範囲で異なる倍率である。つまり、Mx倍拡大部204xは、周辺画像224をMx倍に拡大することにより、周辺Mx倍画像225x周辺M1倍画像2251、周辺M2倍画像2252、を生成する。ローパスフィルタ部205は、線形フィルタ操作などを用いて周辺Mx倍画像225xの低周波数成分を周辺低周波画像226x2261、2262、として抽出する。第2特徴量抽出部207は、周辺低周波画像226xから特徴量を抽出し、その結果を固定ブロック単位で切り出すことにより、複数の周辺特徴量227x2271、2272、を生成する。また、ハイパスフィルタ部206は、パッチ抽出部508により決定された、ブロック位置の周辺Mx倍画像225xの高周波数成分を、線形フィルタ操作などを用いて抽出し、その抽出結果を周辺高周波画像228x2281、2282、として出力する。パッチ抽出部508は、ブロック単位で次の処理を行う。x=1,2,,Xとして、複数の周辺特徴量227xの中から最も類似した周辺特徴量227xを探索する。ここで、周辺特徴量227xのパッチ数をPNxとすると、パッチ総数PNは、PN=PN1PN2PNXとなる。つまり、パッチ抽出部508は、PN個の周辺特徴量227xの中から入力特徴量223に最も類似したものを探索する。なお、探索方法は、上述した実施の形態2と同様の方法を用いることができる。そして、パッチ抽出部508は、探索された、最も類似した周辺特徴量227xが決定されると、決定された周辺特徴量227xのブロック位置に対応する位置のブロックを、決定された周辺特徴量227xの倍率xに対応する周辺高周波画像228xから切り出して、推定パッチ129として出力する。<超解像処理装置500の動作例>基本的な動作例は、実施の形態2において図3を用いて説明した通りである。図3におけるM倍拡大処理がM1、M2、、MX倍の複数の拡大処理に拡張され、複数の周辺M1倍画像2251、周辺M2倍画像2252、、周辺MX倍画像225Xの中から探索が実施される点のみ異なる。<超解像処理方法>図16に、超解像処理装置500における超解像処理方法を説明するフローチャートを示す。なお、ステップS201~ステップS204の処理は、図4と同様であり、説明は省略する。ステップS204の後、超解像処理装置500は、倍率Mxを選択するステップS521。例えば、ここでは、倍率M1が選択されるとする。次に、M1倍処理部5301のM1倍拡大部2041は、周辺画像224をバイキュービック法又はスプライン補間法などの画素補間手法を用いてM1倍に拡大することにより周辺M1倍画像2251を生成するステップS205。次に、M1倍処理部5301のローパスフィルタ部205は、周辺M1倍画像2251に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行うローパスフィルタリングことにより、周辺低周波画像2261を生成する。そして、M1倍処理部5301の第2特徴量抽出部207は、これをあるブロックごとに抜き出して複数の周辺特徴量2271を生成するステップS206。なお、第2特徴量抽出部207は、重み付けを一切行わず、周辺M1倍画像2251そのものから複数の周辺特徴量2271を抜き出してもよい。全ての倍率Mxでの処理が完了していない場合S522でNo、超解像処理装置500は、次の、倍率Mx例えば、M2を選択しステップS521、選択した倍率M2でステップS205以降の処理を行う。つまり、M2倍処理部5302のM2倍拡大部2042は、周辺画像224をバイキュービック法又はスプライン補間法などの画素補間手法を用いてM2倍に拡大することにより周辺M2倍画像2252を生成するステップS205。次に、M2倍処理部5302のローパスフィルタ部205は、周辺M2倍画像2252に対して、線形フィルタ操作などを用いて周波数帯域ごとの重み付けを行うローパスフィルタリングことにより、周辺低周波画像2262を生成する。そして、M2倍処理部5302の第2特徴量抽出部207は、これをあるブロックごとに抜き出して複数の周辺特徴量2272を生成するステップS206。このステップS521~S206の処理が、全ての倍率Mxに対して行われる。全ての倍率Mxでの処理が完了すると、複数のMx倍の全ての倍率の各々に対応する複数の周辺特徴量Fx,pxが生成される。ここで、px=1、2、、Pxは、周辺Mx倍画像225xから抽出した各パッチのインデックスを示す。次に、パッチ抽出部508は、複数の周辺特徴量Fx,pxの中から、入力特徴量223に近いものを探索するステップS507。そして、探索した倍率のMx倍処理部530xに含まれるハイパスフィルタ部206は、探索した結果のパッチ位置と同位置に対応する、周辺Mx倍画像225xをハイパスフィルタリング処理することにより周辺高周波画像228xを生成する。そして、パッチ抽出部508は、当該周辺高周波画像228xを推定パッチ129として出力するステップS508。なお、以降の処理は、上述した図4と同様であるため説明は省略する。また、図16に示す処理手順は一例であり、同様の効果が発揮できる手順であれば上記以外であってもよい。例えば、上述した図8と同様に、超解像処理装置500は、対象ブロックごとに周辺Mx倍画像225xを生成するのではなく、予め入力画像121をMx倍したMx倍画像を生成しておき、ブロックごとに、当該Mx倍画像から周辺領域を切り出した周辺Mx倍画像225xを生成してもよい。また、図16に示す処理の順序は一例であり、処理結果が変わらない範囲において、順序を入れ替えてもよいし、一部の処理を並列に行なってもよい。例えば、図16に示すステップS201及びS203の一連の処理と、ステップS204~S522の一連の処理との順序は入れ替わってもよいし、一部の処理が並列に行なわれてもよい。また、図16では、複数の倍率Mxに対応する複数の周辺特徴量227xを時系列で算出する例を述べたが、こられの一部又は全てを並列に算出してもよい。また、図15では、超解像処理装置500は、X個のMx倍処理部530xを備えているが、超解像処理装置500は、複数の倍率Mxに対応する複数の周辺特徴量227xを時系列に算出する一つ又はX個より少ない数のMx倍処理部530xを備えてもよい。<実施の形態5の効果>本発明の実施の形態5に係る超解像処理装置500は、異なる倍率Mxで拡大された周辺Mx倍画像225xから、複数の周辺特徴量227xを算出し、当該複数の周辺特徴量227xの中から、入力特徴量223に最も類似した特徴量を有するパッチを探索する。これにより、超解像処理装置500は、実施の形態2に係る超解像処理装置200に比べ、より自然で高精細な高解像度画像を生成できる。なお、ここでは、実施の形態2に係る超解像処理装置200の構成を元に、異なる倍率Mxで拡大された周辺Mx倍画像225xから、推定パッチ129を探索する構成を説明したが、実施の形態1、実施の形態3又は実施の形態4で説明した構成にたいして、同様の変形例を適用してもよい。実施の形態6本発明の実施の形態6では、上述した実施の形態2に係る超解像処理装置200の変形例について説明する。本発明の実施の形態6に係る超解像処理装置は、実施の形態2に係る超解像処理装置200の機能に加え、倍率Nに応じて、倍率Mを変更する機能を有する。なお、実施の形態6に係る超解像処理装置の構成は、図2に示す超解像処理装置200と同様であるため説明は省略する。図17は、実施の形態6に係る超解像処理装置による倍率Mの決定処理のフローチャートである。M倍拡大部204は、倍率Nが予め定められた閾値より大きい場合S601でYes、倍率Mを第1の値に設定するS602。また、M倍拡大部204は、倍率Nが予め定められた閾値以下の場合S601でNo、倍率Mを、上記第1の値より小さい第2の値に設定するS603。なお、M倍拡大部204は、複数の閾値を設定しておき、倍率Nが大きければ大きいほど倍率Mが大きくなるように、倍率Mを設定してもよい。また、倍率Nは、例えば、外部の機器から指定される。なお、当該超解像処理装置が、入力画像121の解像度と、当該超解像処理装置の後段に接続される表示デバイスの表示解像度とに応じて倍率Nを決定してもよい。以上により、本発明の実施の形態6に係る超解像処理装置は、倍率Nに応じて倍率Mを変更できる。これにより、当該超解像処理装置は、より自然で高精細な高解像度画像を生成できる。なお、ここでは、実施の形態2に係る超解像処理装置200の構成を元に、倍率Nに応じて倍率Mを変更する構成を説明したが、実施の形態1、実施の形態3、実施の形態4又は実施の形態5で説明した構成にたいして、同様の変形例を適用してもよい。実施の形態7図18を用いて、本発明の実施の形態7に係る超解像処理装置700について説明する。図18に示す超解像処理装置700は、低解像度な入力画像721に基づいてエッジ検出を行い、その検出結果に基づいて2種類の超解像方式により生成した高解像度画像を選択的に採用することを特徴とする。<超解像処理装置700の構成と動作>超解像処理装置700は、入力画像721からエッジ高解像度画像722を生成するエッジ超解像部701と、入力画像721からテクスチャ高解像度画像723を生成するテクスチャ超解像部702と、入力画像721からエッジ情報724を生成するエッジ検出部703と、エッジ高解像度画像722とテクスチャ高解像度画像723とエッジ情報724とを用いて、高解像度な出力画像731を生成する画像統合部704とを備えている。エッジ超解像部701は、例えば、背景技術で説明した超解像処理装置であり、超解像処理を行うことにより、入力画像721を高解像度化したエッジ高解像度画像722を生成する。ここでエッジ高解像度画像722は、細かいテクスチャ部分に関しては十分な精細感は得られないが、エッジ部分に関しては一定の効果が得られている。なお、エッジ超解像部701は、背景技術で説明した超解像処理装置ではなく、その他のあらゆる超解像方法を用いて超解像処理を行ってもよい。また、エッジ超解像部701は、単純に入力画像721をバイキュービック法、又はスプライン補間法などの補間により拡大することによりエッジ高解像度画像722を生成してもよい。この場合は、エッジ超解像部701は、高周波成分を強調するなどしてエッジを立たせることで、エッジ領域において先鋭な高解像度画像を生成できる。テクスチャ超解像部702は、入力画像721に対して、実施の形態1~6のいずれかで説明した超解像処理方法を用いて超解像処理を行うことによりテクスチャ高解像度画像723を生成する。ここで、テクスチャ高解像度画像723は、テクスチャ部分に関して精細感のある良好な高解像度画像が得られている。しかし、当該テクスチャ高解像度画像723は、エッジ領域においては、周辺の縮小されたエッジの高周波成分が張り付けられるなど、エラーを伴った画像となっている。エッジ検出部703は、入力画像721のエッジを検出する。具体的には、エッジ検出部703は、入力画像721の各画素に対してエッジ度合いを検出し、その結果をエッジ情報724として出力する。エッジ検出の一般的な手法として、例えばCannyフィルタ、又はSobelフィルタを用いた方式がある。エッジ検出部703は、これらのいずれかの方式を使用できる。また、エッジ検出部703は、それ以外のエッジ検出方式を使用しても良い。画像統合部704は、エッジ高解像度画像722とテクスチャ高解像度画像723とを統合する。具体的には、画像統合部704は、エッジ情報724に基づいて、エッジ度合いが強いと判断された領域に対しては、エッジ高解像度画像722を優先的に選択する。また、画像統合部704は、エッジ度合いが弱いと判断された領域に対しては、テクスチャ高解像度画像723を優先的に選択する。なお、エッジ度合いがどちらでもない場合は、画像統合部704は、エッジ高解像度画像722とテクスチャ高解像度画像723との両方を平均し、平均した画像を選択してもよい。また、画像統合部704は、エッジ度合いに応じて両者を切り替えるのではなく、両者の重みを可変にすることで、エッジ高解像度画像722とテクスチャ高解像度画像723とを統合してもよい。つまり、画像統合部704は、入力画像721においてエッジ度合いが予め定められた閾値より高い領域に対しては、エッジ高解像度画像722の比率をテクスチャ高解像度画像723より高くしたうえで、エッジ高解像度画像722とテクスチャ高解像度画像723とを統合する。また、画像統合部704は、エッジ度合いが上記閾値より低い領域に対しては、エッジ高解像度画像722の比率をテクスチャ高解像度画像723より低くしたうえで、エッジ高解像度画像722とテクスチャ高解像度画像723とを統合する。そして、画像統合部704は、この統合画像を出力画像731として出力する。<実施の形態7の効果>本発明の実施の形態7に係る超解像処理装置700は、エッジ部分とテクスチャ部分とで、それぞれを得意とする超解像処理を、エッジ度合いに応じて適応的に選択することにより、エッジとテクスチャとの両方が高精細化された高解像度画像を生成できる。実施の形態8さらに、上記各実施の形態で示した超解像処理方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。図19A~図19Cは、本発明の実施の形態8として、上記実施の形態1から7のいずれかの超解像処理方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより当該超解像処理方法を実施する場合の説明図である。図19Bは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図19Aは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。したがって、上記プログラムを格納したフレキシブルディスクFDでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしての超解像処理方法が記録されている。また、図19Cは、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての超解像処理方法を、フレキシブルディスクドライブFDDを介して書き込む。また、フレキシブルディスクFD内のプログラムにより上記超解像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブFDDによりプログラムをフレキシブルディスクFDから読み出し、コンピュータシステムCsに転送する。なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ハードディスク、CD-ROM、メモリカード、ROMカセット等、プログラムを記録できるものであれば同様に実施できる。実施の形態9本発明の実施の形態9では、超解像処理装置、超解像処理方法、及び超解像処理プログラムを用いたテレビジョン受像機を、図20を用いて説明する。テレビジョン受像機800は、放送受信装置801と、入力選択装置802と、画像処理装置803と、パネル駆動装置804と、ディスプレイパネル805とを備える。図20において、説明の都合上、各装置801から804はテレビジョン受像機800の外部に配置しているが、実際はテレビジョン受像機800の内部に配置されている。放送受信装置801は、外部アンテナ図示せずから出力されるアンテナ出力信号821から放送電波を受信し、当該放送電波を復調した映像信号を放送映像信号822として出力する。入力選択装置802は、DVD或いはBDBlu-rayDiscレコーダ、又はDVD或いはBDプレイヤなどの外部映像機器から出力された外部映像信号820と、放送映像信号822とのうち、ユーザーによる選択に従っていずれか一方を選択する。そして、入力選択装置802は、選択した映像信号を入力映像信号823として出力する。画像処理装置803は、入力映像信号823がインターレース信号の場合は、当該入力映像信号823をプログレッシブ信号に変換するI/P変換を施したり、入力映像信号823に対してコントラストを改善する画質改善処理を施したりする。また、画像処理装置803は、本発明の実施の形態1に係る超解像処理装置100を備え、上述した超解像処理方法、又は、超解像処理プログラムを用いた超解像処理を入力映像信号823に施す。そして、画像処理装置803は、その結果を画質改善映像信号824として出力する。なお、画像処理装置803は、本発明の実施の形態2~7のいずれかに係る超解像処理装置を備えてもよい。パネル駆動装置804は、画質改善映像信号824を、ディスプレイパネル805を駆動するための専用信号に変換し、変換後の信号をパネル駆動用映像信号825として出力する。ディスプレイパネル805は、パネル駆動用映像信号825に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。このように、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムをテレビジョン受像機800に用いることが可能である。そして、当該テレビジョン受像機800は、上記実施の形態で説明した効果を得ることができる。なお、上記実施の形態の超解像処理装置、超解像処理方法、及び超解像処理プログラムは、テレビジョン受像機に限らず、同様にして、レコーダ機器、プレイヤ機器及び携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記実施の形態で説明した効果を得ることができる。ここで、レコーダ機器とは、DVDレコーダ、BDレコーダ、及びハードディスクレコーダ等である。プレイヤ機器とは、例えば、DVDプレイヤ、及びBDプレイヤ等である。携帯機器とは、携帯電話、及びPDAPersonalDigitalAssistant等である。その他変形例なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。1上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。2上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSILargeScaleIntegration:大規模集積回路から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、及びRAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。3上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、及びRAMなどから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。4本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラム、又は、前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MOMagnetoOpticalDisc、DVD、DVD-ROM、DVD-RAM、BD、又は半導体メモリなどに記録したものとしてもよい。また、本発明は、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものとしてもよい。また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。また、前記プログラム、或いは、前記デジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム、或いは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。5上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。"