(57)【要約】      （修正有）【課題】出力画像の画質劣化を抑制する。【解決手段】画像処理装置９００は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する。画像処理装置９００は、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部９１０と、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部９２０と、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部９３０とを備える。【選択図】図２０
2011210253.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法であって、
前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、
前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、
算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを備える
画像処理方法。
【請求項２】
前記算出ステップでは、前記エッジ強度が大きい程大きな数Ｊを算出し、前記エッジ強度が小さい程小さな数Ｊを算出する
請求項１に記載の画像処理方法。
【請求項３】
前記画像処理方法は、さらに、
前記入力画像を拡大した拡大画像を生成する拡大ステップと、
学習画像の高周波成分から得られた第１学習データと、前記学習画像の少なくとも低周波成分から得られた第２学習データとが対応づけられた学習データ群をＫ（２以上の整数）組格納する学習データベースにおいて、Ｋ個の第１学習データのうち、前記拡大画像内の処理対象ブロックの特徴を示す第１特徴データと類似するＬ（２≦Ｌ≦Ｋ）個の第２学習データにそれぞれ対応するＬ個の第１学習データを選択する選択ステップとを備え、
前記合成する処理において合成されるデータは、前記第１学習データであり、
前記生成ステップでは、前記Ｌ個の第１学習データのうち、Ｊ（２≦Ｊ≦Ｌ）個の第１学習データを合成することにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより、前記出力画像を生成する
請求項１または２に記載の画像処理方法。
【請求項４】
前記画像処理方法は、さらに、
前記処理対象ブロックから前記第１特徴データを抽出する抽出ステップを備える
請求項３に記載の画像処理方法。
【請求項５】
前記選択ステップでは、前記第１特徴データと、前記Ｋ個の第２学習データの各々との類似度を算出し、前記第１特徴データに対して類似度が高い上位Ｌ個の第２学習データにそれぞれ対応する前記Ｌ個の第１学習データを選択する
請求項３または４に記載の画像処理方法。
【請求項６】
前記合成画像のサイズは、前記処理対象ブロックのサイズよりも大きく、
前記画像処理方法は、さらに、
前記エッジ強度に基づいて、前記合成画像のサイズ以下であって、かつ、前記処理対象ブロックのサイズよりも大きい、複数の前記合成画像の少なくとも一部が重複して合成される重複領域のサイズである領域サイズを算出する重複領域算出ステップを備え、
前記生成ステップでは、前記合成画像のうち算出された前記領域サイズの合成画像を、前記拡大画像に加算する
請求項３〜５のいずれか１項に記載の画像処理方法。
【請求項７】
前記重複領域算出ステップでは、前記エッジ強度が大きい程大きな前記領域サイズを算出する
請求項６に記載の画像処理方法。
【請求項８】
前記生成ステップでは、前記領域サイズに基づいて、前記拡大画像に前記領域サイズの合成画像を重み付け加算する
請求項６または７に記載の画像処理方法。
【請求項９】
前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、
前記処理対象ブロックは、前記ブロック画像を拡大した画像である
請求項３〜８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記取得ステップでは、前記処理対象ブロックと、前記Ｌ個の第１学習データの各々との差分から得られる値に基づいて、前記エッジ強度を算出することにより該エッジ強度を取得する
請求項３〜８のいずれか１項に記載の画像処理方法。
【請求項１１】
前記第１特徴データは、前記処理対象ブロックの中周波成分の画像である
請求項３〜８のいずれか１項に記載の画像処理方法。
【請求項１２】
前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、
前記算出ステップでは、前記エッジ強度に基づいて、前記合成画像の生成に必要な参照画像の数Ｊを算出し、
前記画像処理方法は、さらに、
前記入力画像内の処理対象ブロックと、Ｊ枚の前記参照画像とを用いて位置合わせ処理を行う位置合わせステップを備え、
前記生成ステップでは、前記位置合わせ処理により得られる位置ずれ量に基づいて、位置合わせされた、前記Ｊ枚の参照画像の各々のブロックを合成する処理を行うことにより合成画像を生成し、該合成画像を用いて前記出力画像を生成する
請求項１または２に記載の画像処理方法。
【請求項１３】
入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理装置であって、
前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、
前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、
算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部とを備える
画像処理装置。
【請求項１４】
入力画像を用いて、該入力画像より解像度が高い出力画像を生成する集積回路であって、
前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、
前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、
算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部とを備える
集積回路。
【請求項１５】
画像処理装置が入力画像を用いて、該入力画像より解像度が高い出力画像を生成するためのプログラムであって、
前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、
前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、
算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを前記画像処理装置のコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法、画像処理装置、集積回路およびプログラムに関するものである。
【背景技術】
【０００２】
高解像度ディスプレイにおいて、表示対象の画像の解像度が不足している場合には、ディスプレイの解像度に合うように、表示対象の画像を拡大する必要がある。
【０００３】
画像の高解像度化手法は古くから提案されてきたが、実用化のためには処理量の制限があり、単純な補間拡大と強調処理の組合せにより対応してきた。そのため、ボケたり、エッジのジャギが目立つといった画質劣化が生じる問題があった。
【０００４】
近年、ハードウェアの高性能化により画像拡大に多くの処理量を割くことが可能となった。そこで、複雑な処理による高品位な解像度変換が可能な「超解像技術」に注目が集まっている。
【０００５】
超解像技術の中で、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを用いる方法は学習方式と呼ばれる。
【０００６】
図２１は、従来の学習方式である特許文献１に記載の処理と同様な処理を行う画像処理装置６００の構成を示すブロック図である。以下においては、特許文献１に記載されている技術を従来技術Ａともいう。
【０００７】
図２１に示すように、画像処理装置６００は、学習データベース６１０と、画像拡大部６０５と、探索ベクトル生成部６２０と、学習データ検索部６３０と、加算部６８０とを備える。
【０００８】
次に、画像処理装置６００の動作について説明する。
【０００９】
図２２は、図２１に示す画像処理装置６００が行う処理の流れを示すフローチャートである。
【００１０】
画像処理装置６００は、インデックスベクトルと該インデックスベクトルに対応する高周波成分データ６３１とが対応づけて格納された学習データベース６１０を用いて、低解像度の入力画像６０１を高解像度の出力画像６０２に変換する。インデックスベクトルは、低周波成分の画像である。
【００１１】
学習データベース６１０には、複数のインデックスベクトルと、当該複数のインデックスベクトルにそれぞれ対応する複数の高周波成分データ６３１とが格納されている。インデックスベクトルおよび高周波成分データ６３１は、ブロック形状の画像である。
【００１２】
ステップＳ４００１では、画像拡大部６０５が、入力画像６０１を拡大して仮拡大画像６０６を生成する。
【００１３】
以下の処理は、入力画像６０１内の処理対象ブロック毎に行われる。
【００１４】
ステップＳ４００２では、探索ベクトル生成部６２０が、仮拡大画像６０６から抽出した処理対象ブロックの中周波成分データ、および、隣接ブロックの処理済みの高周波成分データを連結して、探索ベクトル６２１を生成する。すなわち、探索ベクトル６２１は、中周波成分データ、および隣接ブロックとの重複領域における高周波成分データから構成される。探索ベクトル６２１は、ブロック形状の画像である。
【００１５】
ステップＳ４００３では、学習データ検索部６３０が、学習データベース６１０に格納されている複数のインデックスベクトルのうち、探索ベクトル６２１と最も類似度の高いインデックスベクトルに対応する高周波成分データ６３１を１つ選択する。
【００１６】
ステップＳ４００４では、加算部６８０が、選択した高周波成分データ６３１を仮拡大画像６０６に加算する。これにより、高解像度の出力画像６０２が生成される。
【００１７】
従来の学習方式は、探索ベクトル６２１と最も類似度の高いインデックスベクトルに対応する高周波成分データ６３１を検索する。この方法はデータベースから１つのみの高周波成分データ６３１を選択するため、学習データベース６１０から選択された高周波成分データ６３１が、例えば、ノイズを示す場合、ノイズへの耐性が低い。
【００１８】
そのため、高解像度の出力画像６０２にエッジのがたつきやアーチファクトが発生し、画質が劣化する。さらに探索ベクトル６２１が隣接領域高周波成分の重複領域を含んでいるため、エラーが伝播する可能性がある。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００３−０１８３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記従来の構成では、以下のような課題を有していた。
【００２１】
従来技術Ａでは、探索ベクトルと類似度の最も高いインデックスベクトルに対応する高周波成分データを検索する。つまり、学習データベースから１つのみの高周波成分データを選択する。
【００２２】
そして、選択された高周波成分データを使用して、高解像度な出力画像が生成される。すなわち、１つのデータを用いて出力画像の一部が生成される。そのため、選択されたデータが、ノイズを示す画像である場合、生成される出力画像はノイズを示す画像となる。つまり、従来技術Ａでは、選択されたデータによっては、出力画像の画質が劣化する。
【００２３】
この発明は、上述の課題を解決するためになされたものであって、その目的は、出力画像の画質劣化を抑制することができる画像処理方法、画像処理装置等を提供することである。
【課題を解決するための手段】
【００２４】
上記目的を達成するために、本発明の一態様に係る画像処理方法は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法であって、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを備える。
【００２５】
すなわち、本発明の一態様に係る画像処理方法は、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊを算出する算出ステップと、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを備える。
【００２６】
つまり、エッジ強度に基づいて、合成画像の生成に必要なデータの数Ｊが算出される。そして、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像が生成される。すなわち、合成画像は、Ｊ個のデータを合成したものである。そのため、仮に、合成対象の１つのデータがノイズを示したとしても、生成される合成画像は、ノイズが抑制された画像となる。その結果、合成画像を用いて生成される出力画像の画質劣化を抑制することができる。
【００２７】
また、好ましくは、前記算出ステップでは、前記エッジ強度が大きい程大きな数Ｊを算出し、前記エッジ強度が小さい程小さな数Ｊを算出する。
【００２８】
また、好ましくは、前記画像処理方法は、さらに、前記入力画像を拡大した拡大画像を生成する拡大ステップと、学習画像の高周波成分から得られた第１学習データと、前記学習画像の少なくとも低周波成分から得られた第２学習データとが対応づけられた学習データ群をＫ（２以上の整数）組格納する学習データベースにおいて、Ｋ個の第１学習データのうち、前記拡大画像内の処理対象ブロックの特徴を示す第１特徴データと類似するＬ（２≦Ｌ≦Ｋ）個の第２学習データにそれぞれ対応するＬ個の第１学習データを選択する選択ステップとを備え、前記合成する処理において合成されるデータは、前記第１学習データであり、前記生成ステップでは、前記Ｌ個の第１学習データのうち、Ｊ（２≦Ｊ≦Ｌ）個の第１学習データを合成することにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより、前記出力画像を生成する。
【００２９】
また、好ましくは、前記画像処理方法は、さらに、前記処理対象ブロックから前記第１特徴データを抽出する抽出ステップを備える。
【００３０】
また、好ましくは、前記選択ステップでは、前記第１特徴データと、前記Ｋ個の第２学習データの各々との類似度を算出し、前記第１特徴データに対して類似度が高い上位Ｌ個の第２学習データにそれぞれ対応する前記Ｌ個の第１学習データを選択する。
【００３１】
また、好ましくは、前記合成画像のサイズは、前記処理対象ブロックのサイズよりも大きく、前記画像処理方法は、さらに、前記エッジ強度に基づいて、前記合成画像のサイズ以下であって、かつ、前記処理対象ブロックのサイズよりも大きい、複数の前記合成画像の少なくとも一部が重複して合成される重複領域のサイズである領域サイズを算出する重複領域算出ステップを備え、前記生成ステップでは、前記合成画像のうち算出された前記領域サイズの合成画像を、前記拡大画像に加算する。
【００３２】
また、好ましくは、前記重複領域算出ステップでは、前記エッジ強度が大きい程大きな前記領域サイズを算出する。
【００３３】
また、好ましくは、前記生成ステップでは、前記領域サイズに基づいて、前記拡大画像に前記領域サイズの合成画像を重み付け加算する。
【００３４】
また、好ましくは、前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、前記処理対象ブロックは、前記ブロック画像を拡大した画像である。
【００３５】
また、好ましくは、前記取得ステップでは、前記処理対象ブロックと、前記Ｌ個の第１学習データの各々との差分から得られる値に基づいて、前記エッジ強度を算出することにより該エッジ強度を取得する。
【００３６】
また、好ましくは、前記第１特徴データは、前記処理対象ブロックの中周波成分の画像である。
【００３７】
また、好ましくは、前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、前記算出ステップでは、前記エッジ強度に基づいて、前記合成画像の生成に必要な参照画像の数Ｊを算出し、前記画像処理方法は、さらに、前記入力画像内の処理対象ブロックと、Ｊ枚の前記参照画像とを用いて位置合わせ処理を行う位置合わせステップを備え、前記生成ステップでは、前記位置合わせ処理により得られる位置ずれ量に基づいて、位置合わせされた、前記Ｊ枚の参照画像の各々のブロックを合成する処理を行うことにより合成画像を生成し、該合成画像を用いて前記出力画像を生成する。
【００３８】
本発明の一態様に係る画像処理装置は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理装置であって、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部とを備える。
【００３９】
本発明の一態様に係る集積回路は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する集積回路であって、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部とを備える。
【００４０】
本発明の一態様に係るプログラムは、画像処理装置が入力画像を用いて、該入力画像より解像度が高い出力画像を生成するためのプログラムであって、前記プログラムは、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを前記画像処理装置のコンピュータに実行させる。
【発明の効果】
【００４１】
本発明により、出力画像の画質劣化を抑制することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、学習データベースを説明するための図である。
【図３】図３は、学習画像生成装置の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る高解像度画像生成処理のフローチャートである。
【図５】図５は、高解像度画像の生成方法を説明するための図である。
【図６】図６は、ブロック単位で分割した仮拡大画像を示す図である。
【図７】図７は、選択された複数の学習高周波画像を示す図である。
【図８】図８は、エッジ強度の算出において用いられる閾値を説明するための図である。
【図９】図９は、本発明の実施の形態１の変形例に係る画像処理装置の構成を示すブロック図である。
【図１０】図１０は、高解像度画像生成処理Ａのフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１２】図１２は、重複領域を説明するための図である。
【図１３】図１３は、高解像度画像生成処理Ｂのフローチャートである。
【図１４】図１４は、本発明の実施の形態２の変形例に係る画像処理装置の構成を示すブロック図である。
【図１５】図１５は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１６】図１６は、実施の形態３に係る高解像度画像生成処理Ｃのフローチャートである。
【図１７】図１７は、位置合わせ実行処理を説明するための図である。
【図１８Ａ】図１８Ａは、本発明の実施の形態４に係る記録媒体の物理フォーマットの例を示す図である。
【図１８Ｂ】図１８Ｂは、本発明の実施の形態４に係る記録媒体の構成を示す図である。
【図１８Ｃ】図１８Ｃは、本発明の実施の形態４に係るコンピュータシステムの構成を示す図である。
【図１９】図１９は、本発明の実施の形態５におけるテレビジョン受像機のブロック図である。
【図２０】図２０は、画像処理装置の特徴的な機能構成を示すブロック図である。
【図２１】図２１は、従来の画像処理装置の構成を示すブロック図である。
【図２２】図２２は、従来の画像処装置が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００４３】
以下、この発明の実施の一形態を説明する。以下の説明では、同一の構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明を省略する場合がある。
【００４４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、外部から受信する入力画像１０１を用いて、該入力画像１０１より解像度が高い出力画像１０２を生成する。入力画像１０１は、動画像および静止画像のいずれであってもよい。
【００４５】
図１に示すように、画像処理装置１００は、学習データベース１１０と、画像拡大部１２０と、特徴データ抽出部１３０と、学習データ検索部１４０と、エッジ強度算出部１５０と、合成数算出部１６０と、合成部１７０と、加算部１８０とを備える。
【００４６】
まず、学習データベース１１０について説明する。
【００４７】
図２に示すように、学習データベース１１０は、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］と、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］とを格納する。Ｋは２以上の整数である。
【００４８】
以下においては、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］の各々を、単に、学習高周波画像Ｐ１１ともいう。また、以下においては、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々を、単に、学習中周波画像Ｐ１２ともいう。
【００４９】
学習データベース１１０は、学習高周波画像Ｐ１１と、学習中周波画像Ｐ１２とが対応づけられた学習画像群を複数組格納する。具体的には、学習データベース１１０は、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］を格納する。
【００５０】
以下においては、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］の各々を、単に、学習画像群Ｐ１０ともいう。Ｋ組の学習画像群Ｐ１０の各々は、互いに異なる。
【００５１】
各学習画像群Ｐ１０は、同一の画像内の同一のブロックから生成された学習高周波画像Ｐ１１および学習中周波画像Ｐ１２が対応づけられた学習画像群である。
【００５２】
次に、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の生成方法について説明する。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、以下の学習画像生成装置５０により生成される。
【００５３】
図３は、学習画像生成装置５０の構成を示すブロック図である。図３には、説明のために、画像処理装置１００に含まれる学習データベース１１０を示す。学習画像生成装置５０は、事前に、例えば、デジタルカメラによる撮影により得られた複数の学習画像Ｐ１の各々を用いて、複数の学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を生成する。学習画像生成装置５０は、一例として、例えば、数百枚の学習画像Ｐ１を処理する。
【００５４】
図３に示すように、学習画像生成装置５０は、ローパスフィルタ部５１と、１／Ｎ縮小部５２と、Ｎ倍拡大部５３と、ハイパスフィルタ部５４と、高周波成分抽出部５５とを備える。
【００５５】
高周波成分抽出部５５は、学習画像Ｐ１とＮ倍拡大部５３から送信される後述の学習低周波画像Ｐ４との差分を、学習画像Ｐ１の高周波成分として抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、高周波成分抽出部５５は、分割された各ブロックを、学習高周波画像Ｐ１１として、学習データベース１１０に格納する。
【００５６】
なお、高周波成分抽出部５５は、線形フィルタ操作などを用いて学習画像Ｐ１の高周波成分を抽出してもよい。
【００５７】
また、ローパスフィルタ部５１は、線形フィルタ操作などを用いて学習画像Ｐ１の低周波成分を学習低周波画像Ｐ２として抽出する。
【００５８】
１／Ｎ縮小部５２は、学習低周波画像Ｐ２を水平及び垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像Ｐ３を生成する。
【００５９】
Ｎ倍拡大部５３は、学習低解像度画像Ｐ３を水平及び垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像Ｐ４を生成する。Ｎ倍拡大部５３は、学習低周波画像Ｐ４を、ハイパスフィルタ部５４および高周波成分抽出部５５へ送信する。
【００６０】
ハイパスフィルタ部５４は、線形フィルタ操作などを用いて学習低周波画像Ｐ４の高周波成分を抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、ハイパスフィルタ部５４は、分割された各ブロックを、学習中周波画像Ｐ１２として、学習データベース１１０に格納する。
【００６１】
なお、学習画像生成装置５０は、１／Ｎ縮小部５２およびＮ倍拡大部５３を使用せずに、ローパスフィルタ部５１およびハイパスフィルタ部５４のみの処理により、学習中周波画像Ｐ１２を生成してもよい。
【００６２】
学習高周波画像Ｐ１１のサイズは、学習中周波画像Ｐ１２のサイズと同じである。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の各々のサイズは、一例として、横１８画素×縦１８画素のサイズである。
【００６３】
なお、ハイパスフィルタ部５４および高周波成分抽出部５５は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を対応づけた学習画像群Ｐ１０を、図２のように、学習データベース１１０に格納する。
【００６４】
学習画像群Ｐ１０を学習データベース１１０に格納するための上記処理が、処理対象となる複数の学習画像Ｐ１全てに対し行われることにより、Ｋ組の学習画像群Ｐ１０が、学習データベース１１０に格納される。Ｋは、一例として、１０万であるとする。すなわち、学習データベース１１０には、一例として、１０万組の学習画像群Ｐ１０が格納されているとする。
【００６５】
なお、各学習画像群Ｐ１０に対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する画像である。
【００６６】
上記処理により、学習データベース１１０には、非常に多くの種類の学習画像群Ｐ１０が格納される。
【００６７】
学習高周波画像Ｐ１１は、後述の合成データ１７１および高解像度な出力画像を生成するための学習データである。つまり、学習データベース１１０は、学習画像Ｐ１の高周波成分から得られた第１学習データ（学習高周波画像Ｐ１１）と、前記学習画像Ｐ１の少なくとも低周波成分から得られた第２学習データ（学習中周波画像Ｐ１２）とが対応づけられた学習データ群をＫ組格納する。
【００６８】
画像拡大部１２０は、入力画像１０１を拡大し、仮拡大画像１２１を生成する。入力画像１０１は、解像度変換の対象となる画像である。入力画像１０１のサイズは、一例として、横１９２０画素×縦１０８０画素のサイズである。なお、入力画像１０１のサイズは、横１９２０画素×縦１０８０画素のサイズに限定されず、例えば、横１４４０画素×縦１０８０画素のサイズであってもよい。
【００６９】
特徴データ抽出部１３０は、仮拡大画像１２１から第１特徴データ１３１を抽出する。学習データ検索部１４０は、詳細は後述するが、第１特徴データ１３１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々との類似度を算出する。
【００７０】
以下においては、学習中周波画像Ｐ１２を、第２特徴データまたは第２学習データともいう。また、以下においては、図２の学習データベース１１０において、学習中周波画像Ｐ１２と対応づけられる学習高周波画像Ｐ１１を、第３特徴データまたは第１学習データともいう。
【００７１】
そして、学習データ検索部１４０は、算出した類似度に基づいて、複数の学習中周波画像Ｐ１２にそれぞれ対応する複数の学習高周波画像Ｐ１１（第１学習データ）を選択する。
【００７２】
エッジ強度算出部１５０は、詳細は後述するが、入力画像１０１から第４特徴データを抽出し、その第４特徴データに基づき、エッジ強度ＥＮを算出する。エッジ強度ＥＮは、エッジの強度（強さの度合い）を示す。具体的には、エッジ強度ＥＮは、処理対象ブロックが、エッジ領域としての特性が強いか、テクスチャ領域としての特性が強いか、および、平坦領域としての特性が強いかのいずれかを表す。
【００７３】
合成数算出部１６０は、詳細は後述するが、エッジ強度ＥＮに基づき、選択された複数の学習高周波画像Ｐ１１（第１学習データ）のうち、合成対象となる学習高周波画像Ｐ１１の合成数ＧＮを算出する。
【００７４】
合成部１７０は、詳細は後述するが、選択された複数の学習高周波画像Ｐ１１（第１学習データ）のうち、合成数ＧＮの学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。
【００７５】
加算部１８０は、詳細は後述するが、仮拡大画像１２１にブロック単位で合成データ１７１を加算することにより、出力画像１０２を生成する。
【００７６】
特許文献（特開２００３−０１８３９８号公報）に示される従来技術では、学習データベースから最も類似度の高い学習データを１つのみ選択する。一方、本実施の形態では、複数の第１学習データを選択する。そして、入力画像から得られるエッジ強度に応じて、複数の第１学習データのうち、合成対象となる第１学習データの数を変化させる。
【００７７】
次に、画像処理装置１００が行う、高解像度画像を生成するための処理（以下、高解像度画像生成処理ともいう）について説明する。上記高解像度画像生成処理は、実施の形態１に係る画像処理方法である。
【００７８】
図４は、実施の形態１に係る高解像度画像生成処理のフローチャートである。ここでは、入力画像１０１は、静止画像であるとして説明する。
【００７９】
画像処理装置１００は、学習データベース１１０に格納された画像を用いて、入力画像を高解像度な画像に変換する。
【００８０】
ステップＳ１００１では、画像拡大部１２０が、図５のように、入力画像１０１を、水平及び垂直方向にそれぞれＮ（１より大きい実数）倍に拡大することにより、仮拡大画像１２１を生成する。なお、入力画像１０１の拡大の処理は、バイキュービック法が用いられる。本実施の形態では、入力画像１０１は、一例として、水平及び垂直方向にそれぞれ２倍に拡大されるとする。
【００８１】
すなわち、ステップＳ１００１は、前記入力画像１０１を拡大した拡大画像（仮拡大画像１２１）を生成するステップである。
【００８２】
なお、入力画像１０１の拡大の処理は、バイキュービック法に限定されず、例えば、スプライン補間法などの画素補間手法であってもよい。また、入力画像の水平及び垂直方向の拡大率は互いに異なってもよい。例えば、７２０×４８０画素のサイズの入力画像を、１９２０×１０８０画素のサイズの画像に拡大する場合、当該入力画像の水平方向の拡大率と、当該入力画像の垂直方向の拡大率とは異なる。
【００８３】
なお、画像の拡大処理は画像のサイズを入力画像１０１より大きくすることに限定されるものでない。例えば、Ｎが１以下で入力画像１０１が処理されても良い。
【００８４】
図６に示すように、仮拡大画像１２１は、複数のブロックＮＢに分割される。複数のブロックＮＢは、ｍ行ｎ列の行列を構成する。以下においては、仮拡大画像１２１内のｍ行ｎ列に対応するブロックＮＢを、ブロックＮＢ［ｍｎ］とも表記する。例えば、仮拡大画像１２１内の１行２列に対応するブロックＮＢは、ブロックＮＢ［１２］と表記される。
【００８５】
ブロックＮＢのサイズは、学習高周波画像Ｐ１１のサイズより小さい。ブロックＮＢのサイズは、一例として、横１６画素×縦１６画素のサイズである。
【００８６】
なお、ブロックＮＢのサイズは、学習高周波画像Ｐ１１のサイズより小さいことに限定されない。ブロックＮＢのサイズは、学習高周波画像Ｐ１１のサイズと同じであってもよい。
【００８７】
以下においては、仮拡大画像１２１内の複数のブロックＮＢのうち、処理対象となるブロックを、処理対象ブロックという。
【００８８】
以下のステップＳ１００２〜Ｓ１００７の処理は、仮拡大画像１２１内の各ブロックＮＢ毎に行われる。処理対象ブロックは、ステップＳ１００２〜Ｓ１００７の処理が行われる毎に、異なるブロックＮＢに変更される。
【００８９】
ステップＳ１００２では、特徴データ抽出部１３０が、処理対象ブロックから第１特徴データを抽出する。具体的には、特徴データ抽出部１３０が、線形フィルタ操作などを用いて、仮拡大画像１２１の処理対象ブロックに対し、ハイパスフィルタをかけることにより中周波成分を抽出し、当該中周波成分の画像を、第１特徴データ１３１として抽出する。すなわち、第１特徴データ１３１は、処理対象ブロックの各周波数成分のうち、ハイパスフィルタを通過した中周波成分の画像である。つまり、前記第１特徴データ１３１は、前記処理対象ブロックの中周波成分の画像である。この場合、第１特徴データ１３１は、複数の画素値を示す。
【００９０】
なお、第１特徴データ１３１に対応する中周波成分は、第２特徴データ（学習中周波画像Ｐ１２）に対応する周波数成分と重複した周波数帯域を含む。
【００９１】
第１特徴データ１３１は、学習データベース１１０に対する検索に使用するデータである。
【００９２】
なお、ステップＳ１００２で処理される処理対象ブロックは、仮拡大画像１２１の処理対象ブロックに限定されない。例えば、ステップＳ１００２で処理される処理対象ブロックは、入力画像１０１の処理対象ブロックであっても良い。
【００９３】
また、第１特徴データは、ハイパスフィルタを用いて得られたデータに限定されない。第１特徴データは、例えば、処理対象ブロックが示す、輝度、色差、ＲＧＢ値等であってもよい。また、第１特徴データは、例えば、処理対象ブロックから得られるモーメント（平均、分散、尖度、歪度）であってもよい。
【００９４】
また、第１特徴データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、第１特徴データは、例えば、主成分分析における主要成分、独立成分分析における主要成分等であってもよい。
【００９５】
なお、上記の第１特徴データは実施の典型例であり、これに限定されるものではない。
【００９６】
ステップＳ１００３では、学習データ検索部１４０が、第１特徴データ１３１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２（第２学習データ）の各々との類似度を算出する。当該類似度は、例えば、第１特徴データ１３１が示す複数の画素値と、各学習中周波画像Ｐ１２が示す複数の画素値との差分絶対値和（マンハッタン距離）により算出される。当該差分絶対値和が小さい程、第１特徴データ１３１と学習中周波画像Ｐ１２との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。
【００９７】
そして、学習データ検索部１４０は、算出した複数の類似度に基づいて、第１特徴データ１３１に対して類似度が高い上位Ｌ（２以上の整数）個の学習中周波画像Ｐ１２（第２学習データ）を選択する。Ｌは、２≦Ｌ≦Ｋの関係式を満たす整数である。Ｌは、予め定められた定数である。本実施の形態において、Ｌは、一例として“３２”であるとする。
【００９８】
選択されたＬ個の学習中周波画像Ｐ１２は、第１特徴データ１３１と最も類似度が高い学習中周波画像Ｐ１２を含む。言い換えれば、選択されたＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の類似度は、ステップＳ１００３において算出された全ての類似度のうち、値が大きい方から数えた場合における上位Ｌ個の類似度である。
【００９９】
そして、学習データ検索部１４０は、学習データベース１１０に格納されるＫ個の学習高周波画像Ｐ１１（第１学習データ）のうち、選択したＬ個の学習中周波画像Ｐ１２（第２学習データ）にそれぞれ対応するＬ個の学習高周波画像Ｐ１１（第１学習データ）を選択する。言い換えれば、学習データ検索部１４０は、学習データベース１１０において、Ｋ個の第１学習データのうち、仮拡大画像１２１内の処理対象ブロックの特徴を示す第１特徴データと類似するＬ個の第２学習データにそれぞれ対応するＬ個の第１学習データを選択する。
【０１００】
そして、学習データ検索部１４０は、選択したＬ個の学習高周波画像Ｐ１１を、合成部１７０へ送信する。
【０１０１】
すなわち、ステップＳ１００３では、学習データ検索部１４０が、前記第１特徴データ１３１と、前記Ｋ個の第２学習データの各々との類似度を算出し、前記第１特徴データに対して類似度が高い上位Ｌ個の第２学習データにそれぞれ対応する前記Ｌ個の第１学習データを選択する。
【０１０２】
図７は、選択されたＬ個の学習高周波画像Ｐ１１を示す図である。なお、図７では、Ｌは３２の場合の図を示す。
【０１０３】
図７において、縦軸は、類似度を示す。学習高周波画像Ｐ１１内の数字は、該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２と、第１特徴データ１３１との類似度の順位を示す。
【０１０４】
例えば、“１”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２と第１特徴データ１３１との類似度が、算出された全ての類似度の中で最大である。すなわち、“１”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する算出された類似度が、算出された全ての類似度の中で最大の画像である。
【０１０５】
また、例えば、“３２”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２と第１特徴データ１３１との類似度が、算出された全ての類似度の中で３２番目に高い。すなわち、“３２”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する算出された類似度が、算出された全ての類似度の中で３２番目に大きい画像である。
【０１０６】
なお、第１学習データ（第３特徴データ）は、ハイパスフィルタを用いて抽出された高周波成分を示す学習高周波画像Ｐ１１に限定されない。第１学習データは、学習画像Ｐ１の輝度、色差、あるいはＲＧＢ値等であってもよい。
【０１０７】
なお、第２学習データは、ローパスフィルタおよびハイパスフィルタを用いて抽出された中周波成分を示す学習中周波画像Ｐ１２に限定されない。
【０１０８】
第２学習データは、例えば、学習画像Ｐ１の輝度、色差、ＲＧＢ値等であってもよい。また、第２学習データは、例えば、学習画像Ｐ１から得られるモーメント（平均、分散、尖度、歪度）であってもよい。
【０１０９】
また、第２学習データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、第２学習データは、例えば、主成分分析における主要成分、独立成分分析における主要成分等であってもよい。
【０１１０】
ステップＳ１００４では、詳細は後述するが、エッジ強度算出部１５０が、入力画像１０１のうち、処理対象ブロックに対応するブロックＪＢから、第４特徴データを抽出する。図５に示されるように、入力画像１０１におけるブロックＪＢの相対位置と、仮拡大画像１２１における処理対象ブロックの相対位置とは等しい。
【０１１１】
そして、エッジ強度算出部１５０は、第４特徴データに基づいて、エッジ強度ＥＮを算出する。エッジ強度ＥＮは、処理対象ブロックが、エッジ領域、テクスチャ領域、あるいは平坦領域のいずれの特性が強いかを表す。
【０１１２】
ここでは、第４特徴データは、一例として、一次微分Ｓｏｂｅｌフィルタの出力値であるとする。以下においては、一次微分Ｓｏｂｅｌフィルタの出力値を、フィルタ出力値Ｆ４ともいう。エッジ強度算出部１５０は、フィルタ出力値Ｆ４をしきい値処理することによりエッジ強度ＥＮを算出する。これを行うためには、フィルタ出力値Ｆ４を用いた領域判定の基準を定義する必要がある。
【０１１３】
フィルタ出力値Ｆ４が大きな値である場合、処理対象ブロックが示すエッジの強度が大きいことを示す。この場合、エッジ強度算出部１５０は、処理対象ブロックが、エッジ領域であると判定する。また、フィルタ出力値Ｆ４が小さな値である場合、処理対象ブロックが示すエッジの強度が小さいことを示す。この場合、エッジ強度算出部１５０は、処理対象ブロックが、テクスチャ領域であると判定する。
【０１１４】
また、フィルタ出力値Ｆ４が非常に小さな値である場合、エッジ強度算出部１５０は、処理対象ブロックが平坦領域であると判定する。この場合、当該処理対象ブロックを高解像度化の処理対象から外してもよい。
【０１１５】
具体的には、エッジ強度算出部１５０は、ブロックＪＢに対し、Ｓｏｂｅｌフィルタを用いたフィルタ処理を行う。Ｓｏｂｅｌフィルタを用いたフィルタ処理の出力値が、前述のフィルタ出力値Ｆ４である。
【０１１６】
なお、Ｓｏｂｅｌフィルタを用いたフィルタ処理は、公知な処理であるので詳細な説明は行わない。
【０１１７】
ここで、フィルタ出力値Ｆ４を用いたエッジ強度ＥＮの算出において用いられる閾値について説明する。
【０１１８】
図８は、エッジ強度ＥＮの算出において用いられる閾値を説明するための図である。フィルタ出力値Ｆ４を用いたエッジ強度ＥＮの算出には、閾値Ｘ，Ｙが用いられる。ＸはＹより大きい。
【０１１９】
エッジ強度算出部１５０は、フィルタ出力値Ｆ４がＸ以上の場合、ブロックＪＢ（処理対象ブロック）はエッジ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝１とする。エッジ強度算出部１５０は、フィルタ出力値Ｆ４がＹ以下の場合、ブロックＪＢ（処理対象ブロック）は平坦領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝０とする。
【０１２０】
エッジ強度算出部１５０は、フィルタ出力値Ｆ４が、ＸからＹの間の値である場合、ブロックＪＢ（処理対象ブロック）はテクスチャ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮを、以下の式１により算出する。
【０１２１】
エッジ強度ＥＮ＝（Ｆ４−Ｙ）／（Ｘ−Ｙ）      ・・・（式１）
【０１２２】
一次微分Ｓｏｂｅｌフィルタは、出力値が大きいほど、演算対象のブロックが、エッジ領域としての特性が強いことを示す特徴量である。一方、同時生起行列から得られる標準偏差は出力値が大きいほど、演算対象のブロックが、テクスチャ領域としての特性が強くなる。
【０１２３】
なお、第４特徴データは、Ｓｏｂｅｌフィルタの出力値に限定されず、例えば、同時生起行列から得られる標準偏差であってもよい。
【０１２４】
ここで、第４特徴データは、同時生起行列から得られる標準偏差Ｆ４’であるとする。この場合、エッジ強度算出部１５０は、標準偏差Ｆ４’がＸ以下の場合、ブロックＪＢ（処理対象ブロック）はエッジ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝１とする。
【０１２５】
エッジ強度算出部１５０は、標準偏差Ｆ４’がＹ以上の場合、ブロックＪＢ（処理対象ブロック）はテクスチャ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝０とする。
【０１２６】
エッジ強度算出部１５０は、標準偏差Ｆ４’がＸからＹの間の値である場合、エッジ強度ＥＮを、以下の式２により算出する。
【０１２７】
エッジ強度ＥＮ＝（Ｙ−Ｆ４’）／（Ｙ−Ｘ）      ・・・（式２）
【０１２８】
そして、エッジ強度算出部１５０は、算出したエッジ強度ＥＮを、合成数算出部１６０へ送信する。
【０１２９】
すなわち、ステップＳ１００４では、エッジ強度算出部１５０が、前記入力画像１０１の一部であるブロック画像のエッジ強度ＥＮを算出することにより該エッジ強度ＥＮを取得する。なお、前述の処理対象ブロックは、上記ブロック画像を拡大した画像である。言い換えれば、ステップＳ１００４では、エッジ強度算出部１５０が、前記入力画像１０１におけるエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。さらに、言い換えれば、ステップＳ１００４では、エッジ強度算出部１５０が、前記出力画像１０２の生成に用いられる合成画像の生成に必要なエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。
【０１３０】
上記では、第４特徴データが、一次微分Ｓｏｂｅｌフィルタの出力値、または、同時生起行列から得られる標準偏差である場合のエッジ強度ＥＮの算出方法を説明した。
【０１３１】
すなわち、第４特徴データは、１次微分フィルタの出力値、２次微分フィルタの出力値、および、同時生起行列から得られる各特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）のいずれであってもよい。なお、第４特徴データは、これらに限定されるものではない。
【０１３２】
また、エッジ強度ＥＮの定義は、実施の典型例であり、これに限定されるものではない。例えば、エッジ強度ＥＮは、０または１のみの２値データとして使用してもよい。
【０１３３】
なお、エッジ強度ＥＮの算出には、入力画像１０１内のブロックＪＢでなく、仮拡大画像１２１の処理対象ブロックから抽出した第４特徴データを用いても良い。
【０１３４】
ステップＳ１００５では、合成数算出部１６０が、エッジ強度算出部１５０により算出されたエッジ強度ＥＮに基づき、選択されたＬ個の学習高周波画像Ｐ１１（第１学習データ）のうち、合成対象となる学習高周波画像Ｐ１１の合成数ＧＮを算出する。言い換えれば、合成数算出部１６０は、前記エッジ強度ＥＮに基づいて、前記出力画像の生成に用いられる合成画像（合成データ１７１）の生成に使用するデータ（第１学習データ）の数Ｊ（２以上の整数）を算出する。
【０１３５】
ここで、合成数ＧＮの最大値をＭａｘと表現し、合成数ＧＮの最小値をＭｉｎと表現するとする。Ｍａｘは、前述のＬと等しい。Ｍｉｎは、例えば、２である。
【０１３６】
この場合、合成数算出部１６０は、合成数ＧＮを、以下の式３により算出する。
【０１３７】
合成数ＧＮ＝ｒｏｕｎｄ（Ｍｉｎ＋（Ｍａｘ−Ｍｉｎ）×ＥＮ）…（式３）
【０１３８】
式３において、ｒｏｕｎｄ（）は最も近い整数への丸めを行う関数である。例えば、ｒｏｕｎｄ（Ｘ）は、Ｘの値を四捨五入した値が求められる。また、式３のＥＮは、エッジ強度ＥＮである。ここで、例えば、Ｍｉｎ＋（Ｍａｘ−Ｍｉｎ）×ＥＮにより算出される値が７．５である場合、算出される合成数ＧＮは、８である。
【０１３９】
式３は、エッジ強度ＥＮが大きい程、算出される合成数ＧＮの値を大きくし、エッジ強度ＥＮが小さい程、算出される合成数ＧＮの値を小さくする式である。
【０１４０】
具体的には、合成数算出部１６０は、算出されたエッジ強度ＥＮを式３に代入することにより、合成数ＧＮを算出する。すなわち、合成数算出部１６０は、前記エッジ強度ＥＮが大きい程大きな数Ｊ（合成数ＧＮ）を算出し、前記エッジ強度ＥＮが小さい程小さな数Ｊ（合成数ＧＮ）を算出する。
【０１４１】
そして、合成数算出部１６０は、算出した合成数ＧＮを、合成部１７０へ通知する。
【０１４２】
なお、合成数ＧＮの算出方法は、上記の算出方法に限定されない。合成数ＧＮは、例えば、第１特徴データ１３１と、Ｌ個の学習中周波画像Ｐ１２（第２学習データ）の各々との差分絶対値より算出してもよい。この場合、設定したしきい値より差分絶対値の低い第２学習データの数を合成数ＧＮとする。
【０１４３】
ステップＳ１００６では、合成部１７０が、選択された前記Ｌ個の学習高周波画像Ｐ１１（第１学習データ）のうち、Ｊ（２≦Ｊ≦Ｌ）個の学習高周波画像Ｐ１１（第１学習データ）を合成することにより合成画像を生成する。すなわち、合成部１７０は、Ｊ個のデータを合成する処理を行うことにより合成画像を生成する。
【０１４４】
具体的には、まず、合成部１７０が、選択されたＬ個の学習高周波画像Ｐ１１（第１学習データ）のうち、対応する類似度が上位ＧＮ番目までの学習高周波画像Ｐ１１を合成対象とする。
【０１４５】
例えば、合成数ＧＮが５であるとする。この場合、図７に示される３２個の学習高周波画像Ｐ１１のうち、対応する類似度が上位５番目までの学習高周波画像Ｐ１１を合成対象とする。この場合、合成対象の学習高周波画像Ｐ１１は、対応する類似度が１〜５番目の学習高周波画像Ｐ１１である。
【０１４６】
そして、合成部１７０は、合成対象のＧＮ個の学習高周波画像Ｐ１１を合成することにより、合成データ１７１を生成する。具体的には、合成部１７０は、図５のように、合成対象のＧＮ個の学習高周波画像Ｐ１１において、同一座標の各画素に対応するＧＮ個の画素値の平均値を算出することにより、合成データ１７１を生成する。
【０１４７】
例えば、ＧＮ個の学習高周波画像Ｐ１１において、各学習高周波画像Ｐ１１の１行１列目の画素に対応するＧＮ個の画素値の平均値を、合成データ１７１の１行１列目の画素の画素値として算出する。
【０１４８】
合成データ１７１は、学習高周波画像Ｐ１１のサイズと同じサイズの合成画像である。
【０１４９】
なお、合成データ１７１の生成方法は、上記処理に限定されず、他の方法であってもよい。
【０１５０】
ここで、処理対象ブロック（画像）内にエッジが存在する場合において、学習データベース１１０から選択（検索）された学習高周波画像Ｐ１１が、仮に、ノイズを含むエラー画像であるとする。この場合において、当該エラー画像を、仮に、仮拡大画像１２１に加算すると、当該エラー画像が加算された画像のエッジ領域においてアーチファクトが目立つようになる。すなわち、当該エッジ領域におけるエッジががたつく。
【０１５１】
ステップＳ１００５，Ｓ１００６の処理が行われることにより、エッジ強度ＥＮが大きい程、多くの学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。そのため、生成された合成データ１７１は、仮に、ノイズを含むエラー画像としての学習高周波画像Ｐ１１が選択されたとしても、上記のアーチファクトやエッジのがたつき等を抑制した画像となる。すなわち、ステップＳ１００５，Ｓ１００６の処理が行われることにより、高精細でかつノイズの少ない合成データ１７１を生成することができる。
【０１５２】
つまり、仮に、合成対象の１つのデータ（学習高周波画像Ｐ１１）がノイズを示したとしても、生成される合成画像（合成データ１７１）は、ノイズが抑制された画像となる。
【０１５３】
また、一般に、画像内のエッジの強さが弱い場合、当該画像は、テクスチャ画像である。テクスチャ画像を、高解像度化するために使用する合成データ１７１の生成において、多くの画像を合成する程、テクスチャの再現性が低下してしまう。
【０１５４】
なお、ステップＳ１００５，Ｓ１００６の処理が行われることにより、エッジ強度ＥＮが小さい程、少ない数の学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。そのため、ステップＳ１００５，Ｓ１００６の処理が行われることにより、テクスチャの再現性の低下を抑制した合成データ１７１を生成することができる。
【０１５５】
ステップＳ１００７では、図５のように、加算部１８０が、合成画像としての合成データ１７１を、仮拡大画像１２１内における、該合成データ１７１に対応するブロックＮＢ（処理対象ブロック）に加算する。合成データ１７１は、処理対象ブロックよりも高精細な画像である。
【０１５６】
以下に、一例を挙げて、合成データの加算処理について詳細に説明する。ここで、処理対象ブロックが、図６の仮拡大画像１２１のブロックＮＢ［１１］であるとする。また、合成画像としての合成データ１７１のサイズは、横１８画素×縦１８画素のサイズであるとする。すなわち、合成データ１７１のサイズは、処理対象ブロックのサイズより大きい。
【０１５７】
この場合、合成部１７０は、合成データ１７１の中心位置が、ブロックＮＢ［１１］の中心位置と一致するように、ブロックＮＢ［１１］を構成する各画素の画素値に対し、合成データ１７１を構成する各画素の画素値を加算する。この場合、合成データ１７１の一部の画素の画素値が、該ブロックＮＢ［１１］に隣接するブロック画素の画素値に加算される。
【０１５８】
以上のステップＳ１００２〜Ｓ１００７の処理が、仮拡大画像１２１内の全てのブロックＮＢに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ１００７の処理が繰り返し行われることで、加算部１８０は、該合成画像（合成データ１７１）を仮拡大画像１２１に加算することにより、前記出力画像１０２を生成する。つまり、加算部１８０は、該合成画像を用いて前記出力画像１０２を生成する。
【０１５９】
また、ステップＳ１００７の処理が繰り返されることにより、図６のように、各合成データ１７１は、仮拡大画像１２１内の各隣り合う複数のブロックＮＢにおいて、重複するように加算される。ここで、各隣り合う複数のブロックＮＢは、例えば、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］，ＮＢ［２２］である。
【０１６０】
以下においては、合成データ１７１の一部が重複して加算される領域を重複領域ともいう。このように、合成データ１７１の一部が重複して加算されるようにすることにより、合成データ１７１の加算を起因とするブロックノイズを抑制することができる。
【０１６１】
以上説明した高解像度画像生成処理は、処理対象の入力画像１０１が静止画像である場合の処理である。入力画像１０１が動画像である場合は、動画像を構成する１フレーム毎に、上記の高解像度画像生成処理が繰り返し行われる。
【０１６２】
以上説明したように、本実施の形態によれば、エッジ強度ＥＮが大きい程、処理対象ブロックから得られる第１特徴データ１３１と類似する多くの学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。つまり、仮に、合成対象の１つのデータ（学習高周波画像Ｐ１１）がノイズを示したとしても、生成される合成画像（合成データ１７１）は、ノイズが抑制された画像となる。そのため、高精細でかつノイズの少ない合成データ１７１を生成することができる。また、加算部１８０は、高精細でかつノイズの少ない合成データ１７１を、仮拡大画像１２１に加算する。
【０１６３】
これにより、実施の形態１に係る画像処理装置１００は、高精細でかつノイズの少ない高解像度な出力画像１０２を生成することができる。すなわち、実施の形態１に係る画像処理装置１００は、合成画像（合成データ１７１）を用いて生成される出力画像１０２の画質劣化を抑制することができる。
【０１６４】
また、入力画像１０１が動画像である場合、実施の形態１に係る画像処理装置１００は、入力画像１０１を用いてエッジ強度ＥＮを算出する。そして、画像処理装置１００は、エッジ強度ＥＮに基づいて合成データ１７１を生成する。これにより、動画像におけるフレーム間において精度のよいエッジ強度ＥＮを算出することができる。そのため、合成データ１７１を生成するための学習高周波画像Ｐ１１の枚数が適切な数となる。その結果、高解像度化処理による動画像のちらつきを抑えつつ、高品位な高解像度画像が生成できるという効果がある。
【０１６５】
その結果、実施の形態１に係る画像処理装置１００は、エッジ領域ではアーチファクトやがたつきのないエッジを示し、テクスチャ領域では精細感のあるテクスチャを示す、高品位な高解像度画像を生成することができる。
【０１６６】
（実施の形態１の変形例）
なお、エッジ強度ＥＮの算出には、学習データベース１１０に格納される複数の学習高周波画像Ｐ１１（第１学習データ）から得られる第５特徴データが使用されても良い。
【０１６７】
図９は、実施の形態１の変形例に係る画像処理装置２００の構成を示すブロック図である。
【０１６８】
図９に示すように、画像処理装置２００は、図１の画像処理装置１００と同じ構成要素を有する。各構成要素についての詳細な説明は繰り返さない。
【０１６９】
画像処理装置２００は、画像処理装置１００と比較して、主に、エッジ強度算出部１５０が、入力画像１０１の代わりに学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する点が異なる。画像処理装置２００が行うそれ以外の処理は、画像処理装置１００と同様なので詳細な説明は繰り返さない。
【０１７０】
エッジ領域は、例えば、平坦領域に、強エッジが１〜２本のみ存在するというシンプルな構成の領域である。このようなエッジ領域に対応する複数の学習高周波画像Ｐ１１（第１学習データ）は互い似ている傾向にある。一方、テクスチャ領域は、例えば、数本の弱エッジが絡み合うという複雑な構成の領域である。このようなテクスチャ領域に対応する複数の学習高周波画像Ｐ１１（第１学習データ）は、エッジ領域ほど、互いに似ていない。
【０１７１】
そこで、実施の形態１の変形例では、複数の学習高周波画像Ｐ１１（第１学習データ）におけるデータ間の密度を、第５特徴データＦ５として使用する。
【０１７２】
次に、画像処理装置２００が行う、高解像度画像を生成するための処理（以下、高解像度画像生成処理Ａともいう）について説明する。高解像度画像生成処理Ａは、実施の形態１の変形例に係る画像処理方法である。
【０１７３】
図１０は、高解像度画像生成処理Ａのフローチャートである。図１０において、図４のステップ番号と同じステップ番号の処理は、第１の実施形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。高解像度画像生成処理Ａは、図４の高解像度画像生成処理と比較して、ステップＳ１００３，Ｓ１００４の代わりにステップＳ１００３Ａ，Ｓ１００４Ａが行われる点が異なる。
【０１７４】
以下、実施形態１と異なる点を中心に説明する。
【０１７５】
ステップＳ１００３Ａでは、ステップＳ１００３と同様に、Ｌ個の学習高周波画像Ｐ１１（第１学習データ）が選択されるので詳細な説明は繰り返さない。そして、学習データ検索部１４０は、選択したＬ個の学習高周波画像Ｐ１１を、合成部１７０およびエッジ強度算出部１５０へ送信する。
【０１７６】
ステップＳ１００４Ａでは、エッジ強度算出部１５０が、Ｌ個の学習高周波画像Ｐ１１のデータ間の密度を算出する。ここで、Ｌ個の学習高周波画像Ｐ１１を、それぞれ、画像Ｌ１，Ｌ２，Ｌ３，・・・，ＬＬと表現するとする。この場合、エッジ強度算出部１５０は、画像Ｌ１と、画像Ｌ２，Ｌ３，・・・，ＬＬの各々との各画素の差分値の絶対値の和（以下、差分絶対値和という）を算出する。これにより、エッジ強度算出部１５０は、（Ｌ−１）個の差分絶対値和を得る。
【０１７７】
そして、エッジ強度算出部１５０は、（Ｌ−１）個の差分絶対値和の合計値または（Ｌ−１）個の差分絶対値和の平均値を、第５特徴データＦ５とする。
【０１７８】
この場合、第５特徴データＦ５の値が大きい程、Ｌ個の学習高周波画像Ｐ１１のデータ間の密度は小さい。すなわち、第５特徴データＦ５の値が大きい程、処理対象ブロックが示すエッジの強度は小さい。言い換えれば、第５特徴データＦ５の値が小さい程、処理対象ブロックが示すエッジの強度は大きい。
【０１７９】
なお、第５特徴データＦ５の算出方法は上記方法に限定されない。エッジ強度算出部１５０は、例えば、以下の方法により、第５特徴データＦ５を算出してもよい。
【０１８０】
まず、エッジ強度算出部１５０は、仮拡大画像１２１の処理対象ブロックと、Ｌ個の学習高周波画像Ｐ１１の各々との差分値の絶対値の和を算出する。
【０１８１】
さらに、具体的には、エッジ強度算出部１５０は、Ｌ個の学習高周波画像Ｐ１１全てに対し、処理対象ブロックと、学習高周波画像Ｐ１１との各画素の差分値の絶対値の和（以下、差分絶対値和という）を算出する。そして、エッジ強度算出部１５０は、算出されたＬ個の差分絶対値和の分散または標準偏差を、第５特徴データＦ５とする。
【０１８２】
また、第５特徴データＦ５は、第１特徴データ１３１と類似度の高いＬ個の学習中周波画像Ｐ１２のデータ間の密度であってもよい。
【０１８３】
そして、第５特徴データＦ５を用いたエッジ強度ＥＮの算出において、例えば、図８の閾値Ｘ，Ｙを使用する。ＸはＹより大きい。
【０１８４】
エッジ強度ＥＮの算出は、第５特徴データＦ５のしきい値処理により行う。具体的には、エッジ強度算出部１５０は、第５特徴データＦ５がＸ以上の場合、処理対象ブロックはエッジ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝１とする。
【０１８５】
エッジ強度算出部１５０は、第５特徴データＦ５がＹ以下の場合、処理対象ブロックは平坦領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝０とする。
【０１８６】
エッジ強度算出部１５０は、第５特徴データＦ５がＸからＹの間の値である場合、エッジ強度ＥＮを、以下の式４により算出する。
【０１８７】
エッジ強度ＥＮ＝（Ｆ５−Ｙ）／（Ｘ−Ｙ）      ・・・（式４）
【０１８８】
以上の処理により算出されたエッジ強度ＥＮは、処理対象ブロックのエッジ強度である。
【０１８９】
そして、エッジ強度算出部１５０は、算出したエッジ強度ＥＮを、合成数算出部１６０へ送信する。
【０１９０】
すなわち、ステップＳ１００４Ａでは、エッジ強度算出部１５０が、前記処理対象ブロックと、前記Ｌ個の第１学習データ（学習高周波画像Ｐ１１）の各々との差分から得られる値に基づいて、前記エッジ強度ＥＮを算出することにより該エッジ強度を取得する。
【０１９１】
ステップＳ１００４Ａにおける処理対象ブロックは、入力画像１０１が拡大された仮拡大画像１２１内のブロック（画像）である。すなわち、上記処理対象ブロックは、入力画像１０１に対応する画像である。
【０１９２】
つまり、ステップＳ１００４Ａでは、エッジ強度算出部１５０が、前記入力画像１０１に対応する画像におけるエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。言い換えれば、ステップＳ１００４Ａでは、エッジ強度算出部１５０が、前記出力画像１０２の生成に用いられる合成画像の生成に必要なエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。
【０１９３】
なお、第５特徴データＦ５の算出において、算出されたＬ個の差分絶対値和のうち、極端に差分絶対値和が大きい値を除外することにより、より精度の高い第５特徴データＦ５を算出することができる。すなわち、この場合、より精度の高いエッジ強度ＥＮを算出することができる。
【０１９４】
以上説明したように、実施の形態１の変形例では、学習データベース１１０に格納される複数の学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する。すなわち、実際の合成対象の候補である複数の学習高周波画像Ｐ１１を用いてエッジ強度を算出する。そのため、実施の形態１の変形例では、入力画像１０１のブロックＪＢを用いる実施の形態１よりも、学習高周波画像Ｐ１１の特徴に即した精度のよい合成データ１７１を生成することができる。そのため、実施の形態１の変形例の処理では、実施の形態１よりも、さらに、精細感が高くノイズの少ない高解像度な出力画像１０２が生成できるという効果がある。
【０１９５】
また、実施の形態１の変形例は、実施の形態１と同様な効果を奏する。すなわち、合成画像（合成データ１７１）を用いて生成される出力画像１０２の画質劣化を抑制することができる。
【０１９６】
（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置３００の動作について説明する。
【０１９７】
図１１は、実施の形態２に係る画像処理装置３００の構成を示すブロック図である。
【０１９８】
図１１に示すように、画像処理装置３００は、図１の画像処理装置１００と比較して、加算部１８０の代わりに加算部３２０を備える点と、重複領域算出部３１０をさらに備える点とが異なる。画像処理装置３００のそれ以外の構成は、画像処理装置１００と同様なので詳細な説明は繰り返さない。
【０１９９】
画像処理装置３００が備える複数の構成要素のうち、実施の形態１の画像処理装置１００と同じ構成要素の説明を省略し、相違点となる重複領域算出部３１０および加算部３２０について説明する。
【０２００】
実施の形態２では、隣接ブロック間の重複領域処理を行う。図１１の重複領域算出部３１０は、詳細は後述するが、隣接ブロック間の重複領域３２２を算出する。ここで、重複領域３２２とは、仮拡大画像１２１のうち、複数の合成画像が重複して加算される領域である。
【０２０１】
加算部３２０は、詳細は後述するが、重複領域３２２に基づき、合成データ１７１を仮拡大画像１２１に重み付け加算する。
【０２０２】
本実施の形態では、実施の形態１と同様、学習データベース１１０に格納される学習データ（学習高周波画像Ｐ１１、学習中周波画像Ｐ１２）のサイズは、処理対象ブロックのサイズよりも大きい。処理対象ブロックは、前述したように、仮拡大画像１２１内の複数のブロックＮＢのうち、処理対象となるブロックである。本実施の形態では、処理対象ブロックを、処理対象ブロック３２１ともいう。
【０２０３】
図１２は、重複領域を説明するための図である。図１２（ａ）は、重複領域を説明するために、図６の複数のブロックＮＢのうち９個のブロックＮＢを示す。９個のブロックＮＢは、一例として、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］，ＮＢ［２２］，ＮＢ［２３］，ＮＢ［３１］，ＮＢ［３２］，ＮＢ［３３］であるとする。
【０２０４】
図１２（ｂ）は、各ブロックのサイズを説明するための図である。
【０２０５】
以下の説明では、図１２（ｂ）に示すように、処理対象ブロック３２１のサイズを縦Ｕ（２以上の整数）画素×横Ｕ画素とする。また、学習データ（学習高周波画像Ｐ１１、学習中周波画像Ｐ１２）および合成データ１７１のサイズを縦Ｖ（３以上の整数）画素×横Ｖ画素（Ｖ＞Ｕ）とする。すなわち、合成画像のサイズは、前記処理対象ブロックのサイズよりも大きい。
【０２０６】
重複領域３２２のサイズは、当該重複領域３２２の外周のサイズである。重複領域３２２のサイズは、縦γＶ画素×横γＶ画素（γＶ≧Ｕ）である。
【０２０７】
以下においては、ステップＳ１００６の処理により生成された合成データ１７１のうち仮拡大画像１２１に対し加算対象となる合成データを、加算対象合成データ１７１ａともいう。重複領域３２２のサイズは、加算対象合成データ１７１ａのサイズと等しい。加算対象合成データ１７１ａのサイズは、縦γＶ画素×横γＶ画素である。
【０２０８】
重複領域３２２の幅は、ｗ（１以上の整数）画素である。重複領域３２２の幅は、例えば、（（γＶ−処理対象ブロックの一辺のサイズ）／２）の式により得られる値である。
【０２０９】
例えば、ｗ＝２である場合、処理対象ブロック３２１の各隣接ブロックには、加算対象合成データ１７１ａの周縁部である２画素の幅の画像が加算される。
【０２１０】
ここで、図１２（ａ）において、処理対象ブロック３２１は、ブロックＮＢ［２２］であるとする。この場合、処理対象ブロック３２１の隣接ブロックは、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］，ＮＢ［２３］，ＮＢ［３１］，ＮＢ［３２］，ＮＢ［３３］である。
【０２１１】
次に、画像処理装置３００が行う、高解像度画像を生成するための処理（以下、高解像度画像生成処理Ｂともいう）について説明する。高解像度画像生成処理Ｂは、実施の形態２に係る画像処理方法である。
【０２１２】
図１３は、高解像度画像生成処理Ｂのフローチャートである。図１３において、図４のステップ番号と同じステップ番号の処理は、第１の実施形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。そのため、図１３のステップＳ２００７，Ｓ２００８について主に説明する。
【０２１３】
ステップＳ１００１〜ステップＳ１００６では、実施の形態１と同様な処理が行なわれる。
【０２１４】
ステップＳ２００７では、重複領域算出部３１０が、エッジ強度ＥＮに基づき、処理対象ブロックに隣接するブロックＮＢ間の重複領域３２２のサイズを算出する。重複領域３２２のサイズの算出は、γＶの算出を意味する。すなわち、γＶは、重複領域３２２のサイズ（以下、領域サイズともいう）である。
【０２１５】
図１２（ａ）、図１２（ｂ）に示すように、重複領域３２２のサイズは、合成データ１７１の加算対象合成データ１７１ａのうち、処理対象ブロック３２１のサイズより大きい。
【０２１６】
本実施の形態では、実施の形態１の合成数ＧＮの制御と同様に、エッジ領域としての特性が強い処理対象ブロック３２１ほど、重複領域を大きくする。すなわち、処理対象ブロック３２１に対応するエッジ強度ＥＮが大きい程、重複領域３２２のサイズを大きくする。これにより、滑らかなエッジを実現する。よって、γをエッジ強度ＥＮに比例して増加させる。
【０２１７】
具体的には、重複領域算出部３１０は、エッジ強度ＥＮを、以下の式５に代入することにより、γＶを算出する。
【０２１８】
γＶ＝ｒｏｕｎｄ（Ｕ＋（Ｖ−Ｕ）×ＥＮ）      …（式５）
【０２１９】
式５において、Ｕは、処理対象ブロックの縦（横）のサイズである。また、Ｖは、合成データ１７１の縦または横のサイズである。
【０２２０】
すなわち、重複領域算出部３１０は、エッジ強度ＥＮに基づいて、γＶを算出する。γＶは、合成画像（合成データ１７１）のサイズ以下であって、かつ、前記処理対象ブロックのサイズよりも大きい、複数の合成画像の少なくとも一部が重複して合成される重複領域のサイズである。言い換えれば、重複領域算出部３１０は、前記エッジ強度ＥＮが大きい程大きな領域サイズを算出し、前記エッジ強度ＥＮが小さい程小さな領域サイズを算出する。
【０２２１】
なお、γＶは、上記式５に限定されず、他の式により算出されてもよい。また、γとエッジ強度の関係は比例関係に限定されず、ｎ次関数（ｎ≧１）、あるいは指数関数などの単調増加関数に従った関係でも良い。
【０２２２】
そして、重複領域算出部３１０は、算出した重複領域３２２のサイズ（γＶ）を示す重複領域情報３１１を、加算部３２０へ送信する。
【０２２３】
加算部３２０は、受信した重複領域情報３１１を、当該重複領域情報３１１に対応する処理対象ブロック３２１に対応づけて記憶する。ここで、一例として、処理対象ブロック３２１が、図１２（ａ）のブロックＮＢ［２２］であるとする。
【０２２４】
この場合、重複領域情報３１１は、ブロックＮＢ［２２］に対応する情報である。この場合、加算部３２０は、受信した重複領域情報３１１を、当該重複領域情報３１１に対応するブロックＮＢ［２２］に対応づけて記憶する。
【０２２５】
ステップＳ２００８では、重複領域処理が行われる。重複領域処理では、加算部３２０が、重複領域情報３１１が示す重複領域３２２のサイズ（γＶ）に基づき、合成データ１７１を仮拡大画像１２１に重み付け加算する。すなわち、加算部３２０は、領域サイズ（γＶ）に基づいて、仮拡大画像１２１に領域サイズの合成画像（加算対象合成データ１７１ａ）を重み付け加算する。言い換えれば、加算部３２０は、前記合成画像（合成データ１７１）のうち算出された前記領域サイズ（γＶ）の合成画像（加算対象合成データ１７１ａ）を、仮拡大画像１２１に加算する。
【０２２６】
ここで、処理対象ブロック３２１は、図１２（ａ）のブロックＮＢ［２２］であるとする。この場合、加算部３２０は、ブロックＮＢ［２２］に隣接するブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］にそれぞれ対応する４個の重複領域情報３１１を用いて、処理を行う。すなわち、重複領域処理では、処理対象のブロックとして、シーケンシャルな順番における処理済ブロックが使用される。
【０２２７】
具体的には、加算部３２０は、生成された合成データ１７１から、算出された最新の重複領域３２２のサイズ（γＶ）の加算対象合成データ１７１ａを切り出すことにより、当該加算対象合成データ１７１ａを生成する。当該算出された最新の重複領域３２２のサイズは、例えば、ブロックＮＢ［２２］に対応する重複領域情報３１１が示すサイズである。
【０２２８】
以下においては、仮拡大画像１２１のうち、加算対象となる加算対象合成データ１７１ａの領域を加算対象領域ともいう。加算対象領域のサイズは、縦γＶ画素×横γＶ画素である。
【０２２９】
そして、加算部３２０は、処理対象の４個の重複領域情報３１１の各々が示す重複領域３２２のサイズ（γＶ）により、加算対象領域内の各画素に、加算対象合成データ１７１ａが加算される数を算出する。
【０２３０】
ここで、処理対象ブロック３２１のサイズは、縦１６画素×横１６画素であるとする。また、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］にそれぞれ対応する４個の重複領域情報３１１の各々が示す重複領域３２２のサイズ（γＶ）は、一例として、２０であるとする。
【０２３１】
この場合、上記処理対象の４個の重複領域情報３１１の各々が示す重複領域３２２の幅は、（（γＶ−処理対象ブロックの一辺のサイズ）／２）より、２画素である。この場合、加算部３２０は、例えば、図１２（ａ）のブロックＮＢ［２２］の左上端の画素に加算される加算対象合成データ１７１ａの数は、３＋１より４と算出する。当該（３＋１）における３は、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］にそれぞれ対応する３個の重複領域情報３１１にそれぞれ対応する加算対象合成データ１７１ａの数である。（３＋１）における１は、処理対象ブロックに対応する加算対象合成データ１７１ａの数である。なお、この場合、ブロックＮＢ［２２］の中心部の画素に加算される加算対象合成データ１７１ａの数は、１である。
【０２３２】
以上のような処理と同様にして、加算部３２０は、加算対象領域内の各画素に、加算対象合成データ１７１ａが加算される数（以下、加算数ともいう）を算出する。
【０２３３】
そして、加算部３２０は、加算対象領域内の各画素の加算数の逆数を、重み付け係数として算出する。なお、加算対象領域内の各画素には、当該画素に対応する重み付け係数が対応づけられる。
【０２３４】
重み付け係数は、１／ｋ〜１の範囲の値である。ｋは、処理対象ブロックを含めた、重複領域処理に使用するブロックの数を示す。具体的には、ｋは、処理対象ブロック３２１に隣接する複数のブロックのうち、対応する重複領域情報３１１を使用した数に１を加算した値である。すなわち、加算対象領域内の各画素において、加算数が多い程、対応する重み付け係数は小さい値となる。例えば、ブロックＮＢ［２２］の左上端の画素の重み付け係数は、１／４である。
【０２３５】
以下においては、加算対象合成データ１７１ａを構成する複数の画素にそれぞれ対応する、加算対象領域内の複数の画素の各々を、加算対象画素ともいう。
【０２３６】
そして、加算部３２０は、加算対象合成データ１７１ａを構成する複数の画素の各々の画素値に対し、当該画素に対応する加算対象画素の重み付け係数を乗算した値を、当該加算対象画素の画素値に加算する。この処理により、重み付け加算が行われる。
【０２３７】
なお、ステップＳ２００８の重複領域処理では、処理対象のブロックとして使用されるブロックは、シーケンシャルな順番における処理済ブロックに限定されない。
【０２３８】
例えば、図１２（ａ）において、ブロックＮＢ［２２］が処理対象ブロック３２１であり、隣接ブロック８方向との重複情報を使用してもよい。この場合、重複領域３２２では、ブロック［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］，ＮＢ［２３］，ＮＢ［３１］，ＮＢ［３２］，ＮＢ［３３］の各々に対応する加算対象合成データ１７１ａとの重複を考慮する。
【０２３９】
そのため、画素毎に加算時の重み付け係数が異なり、重み付け係数は、１／９〜１の範囲の値である。そして、この重み付け係数を、加算対象合成データ１７１ａの画素毎にそれぞれ乗算した後、仮拡大画像１２１に加算する。
【０２４０】
この重み付け係数は、重複領域処理に使用する全てのブロックの重複領域情報が算出され次第確定する。そのため、重複領域処理に、図１２（ａ）に示される８方向の隣接ブロックを使用する場合は、ブロックＮＢ［３３］の重複領域情報３１１の算出後に、ブロックＮＢ［２２］に対応する加算対象合成データ１７１ａの加算処理を行う。
【０２４１】
なお、重複領域処理に使用する隣接ブロックは前記８方向に限定されるものではない。例えば、図１２（ａ）におけるブロックＮＢ［１２］，ＮＢ［２１］，ＮＢ［２３］，ＮＢ［３２］の４方向でも良い。また、例えば、ブロックＮＢ［２２］から２つのブロックだけ離れたブロックと隣接ブロックの組合せでも良い。
【０２４２】
また、加算対象合成データ１７１ａの加算に使用する領域は正方形に限定されるものではない。当該領域の形状は、処理対象ブロックサイズＵ×Ｕに対して、上下、あるいは左右に伸ばした長方形や、一方向のみに伸ばした非対称な形状でも良い。
【０２４３】
なお、ステップＳ２００８では、重み付け加算でなく、実施の形態１のステップＳ１００７と同様に、単純な画素値の加算が行われてもよい。
【０２４４】
本実施の形態におけるステップＳ１００２〜Ｓ２００８の処理が、仮拡大画像１２１内の全てのブロックＮＢに対し、繰り返し行われることにより、出力画像１０２が生成される。
【０２４５】
以上説明したように、実施の形態２に係る画像処理装置３００は、入力画像を用いてエッジ強度ＥＮを算出する。これにより実施の形態１と同様な効果を奏する。すなわち、高精細でかつノイズの少ない高解像度な出力画像１０２を生成することができる。
【０２４６】
また、入力画像１０１が動画像である場合も、実施の形態１と同様、動画像処理時のちらつきを抑えることができる。
【０２４７】
また、さらに、重複領域を制御することにより、実施の形態１よりも、さらに、エラー無く安定した画質を実現しつつ、高品位な高解像度画像が生成できるという効果がある。
【０２４８】
また、実施の形態２は、実施の形態１と同様な効果を奏する。すなわち、合成画像（加算対象合成データ１７１ａ）を用いて生成される出力画像１０２の画質劣化を抑制することができる。
【０２４９】
（実施の形態２の変形例）
なお、エッジ強度ＥＮの算出には、実施の形態１の変形例と同様に、複数の学習高周波画像Ｐ１１（第１学習データ）から得られる第５特徴データが使用されても良い。
【０２５０】
図１４は、実施の形態２の変形例に係る画像処理装置４００の構成を示すブロック図である。
【０２５１】
図１４に示すように、画像処理装置４００は、図１１の画像処理装置３００と同じ構成要素を有する。各構成要素についての詳細な説明は繰り返さない。
【０２５２】
画像処理装置４００は、画像処理装置３００と比較して、主に、エッジ強度算出部１５０が、入力画像１０１の代わりに学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する点が異なる。画像処理装置４００が行うそれ以外の処理は、画像処理装置３００と同様なので詳細な説明は繰り返さない。
【０２５３】
実施の形態２の変形例におけるエッジ強度ＥＮの算出方法は、実施の形態１の変形例と同様なので詳細な説明は繰り返さない。実施の形態２の変形例では、簡単に説明すると、図１３の高解像度画像生成処理Ｂにおいて、ステップＳ１００３，Ｓ１００４の代わりに図１０のステップＳ１００３Ａ，Ｓ１００４Ａが行われる。
【０２５４】
実施の形態２の変形例では、実施の形態２と同様な効果を奏する。すなわち、重複領域を制御することにより、よりエラー無く安定した画質を実現することができる。また、実施の形態２の変形例では、複数の学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する。すなわち、実際の合成対象の候補である複数の学習高周波画像Ｐ１１を用いてエッジ強度を算出する。そのため、実施の形態２の変形例では、入力画像１０１を用いる実施の形態２よりも、学習高周波画像Ｐ１１の特徴に即した合成データを生成することができる。そのため、実施の形態２よりも、さらに、精細感が高くノイズの少ない高解像度画像が生成できるという効果がある。
【０２５５】
（実施の形態３）
次に、本発明の実施の形態３に係る画像処理装置５００の動作について説明する。
【０２５６】
図１５は、本発明の実施の形態３に係る画像処理装置５００の構成を示すブロック図である。画像処理装置５００は、学習データを用いることなく、出力画像を生成する。
【０２５７】
画像処理装置５００には、例えば、図示しない外部デコーダから、復号済みの動画像ＭＶ１０を受信する。動画像ＭＶ１０は、例えば、Ｈ．２６４／ＡＶＣ規格に従った復号により得られた動画像である。なお、動画像ＭＶ１０は、Ｈ．２６４／ＡＶＣ規格に限定されず、例えば、ＭＰＥＧ−２規格に従った復号により得られた動画像であってもよい。
【０２５８】
動画像ＭＶ１０は、一例として、１つのＧＯＰ（Group Of Pictures）に対応する動画像であるとする。動画像ＭＶ１０は、複数のピクチャから構成される。画像処理装置５００は、動画像ＭＶ１０を構成するＱ（２以上の整数）枚のピクチャのうち、例えば、表示順で先頭のピクチャを、入力画像１０１として受信する。本実施の形態において、入力画像１０１は、静止画像である。本実施の形態では、Ｑは、一例として、１０であるとする。
【０２５９】
詳細は後述するが、本実施の形態では、低解像度な入力画像１０１、および入力画像１０１との位置ずれを含む複数の低解像度参照画像５０１をブロック毎に位置合わせして、位置合わせ情報から補間画素値を推定し、出力画像１０２を生成する。
【０２６０】
図１５に示すように、画像処理装置５００は、エッジ強度算出部５０５と、参照画像枚数算出部５１０と、位置合わせ処理部５２０と、高解像度画像生成部５３０とを備える。
【０２６１】
エッジ強度算出部５０５は、詳細は後述するが、実施の形態１と同様の方法でエッジ強度ＥＮを算出する。参照画像枚数算出部５１０は、詳細は後述するが、入力画像１０１の処理対象ブロックがエッジ領域としての特性が強いほど、参照対象とする参照画像の枚数を増やす。また、参照画像枚数算出部５１０は、処理対象ブロックがテクスチャ領域としての特性が強いほど参照画像の枚数を減らす。以下においては、参照対象とする参照画像の枚数を、参照画像枚数ＲＮともいう。参照画像枚数算出部５１０は、エッジ強度に基づいて、参照画像枚数ＲＮを算出する。
【０２６２】
位置合わせ処理部５２０は、例えば、図示しない外部デコーダから、Ｑ枚のピクチャから構成される動画像ＭＶ１０を受信する。位置合わせ処理部５２０は、詳細は後述するが、位置合わせ処理を行う。位置合わせ処理部５２０は、処理対象ブロックと参照画像枚数ＲＮの参照画像の位置合わせを行う。
【０２６３】
次に、画像処理装置５００が行う処理（以下、高解像度画像生成処理Ｃともいう）について説明する。高解像度画像生成処理Ｃは、実施の形態３に係る画像処理方法である。
【０２６４】
図１６は、実施の形態３に係る高解像度画像生成処理Ｃのフローチャートである。
【０２６５】
入力画像１０１は、複数のブロックに分割される。以下においては、入力画像１０１を構成する複数のブロックのうち、処理対象となるブロックを、処理対象ブロックＰＢともいう。処理対象ブロックＰＢのサイズは、一例として、横８画素×縦８画素のサイズである。
【０２６６】
ステップＳ３００１では、ステップＳ１００４の処理と同様な処理が行われるので詳細な説明は繰り返さない。以下、簡単に説明する。まず、エッジ強度算出部５０５が、入力画像１０１内の処理対象ブロックＰＢから、第４特徴データを抽出する。第４特徴データは、一例として、一次微分Ｓｏｂｅｌフィルタの出力値であるとする。
【０２６７】
そして、エッジ強度算出部５０５は、ステップＳ１００４の処理と同様な処理により、エッジ強度ＥＮを算出する。そして、エッジ強度算出部１５０は、算出したエッジ強度ＥＮを、参照画像枚数算出部５１０へ送信する。
【０２６８】
すなわち、ステップＳ３００１では、エッジ強度算出部５０５が、前記入力画像１０１の一部であるブロック画像（処理対象ブロックＰＢ）のエッジ強度ＥＮを算出することにより該エッジ強度ＥＮを取得する。言い換えれば、ステップＳ３００１では、エッジ強度算出部５０５が、前記入力画像１０１におけるエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。さらに、言い換えれば、ステップＳ３００１では、エッジ強度算出部５０５が、前記出力画像１０２の生成に用いられる合成画像の生成に必要なエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。
【０２６９】
ステップＳ３００２では、参照画像枚数算出部５１０が、算出されたエッジ強度ＥＮに基づいて、受信するＱ枚のピクチャのうち、参照対象とするピクチャの数を算出する。以下においては、上記Ｑ枚のピクチャのうち、参照対象とするピクチャの数を、参照画像枚数ＲＮともいう。すなわち、参照画像枚数算出部５１０は、前記エッジ強度ＥＮに基づいて、前記出力画像の生成に用いられる合成画像の生成に使用する参照画像の数Ｊ（参照画像枚数ＲＮ）を算出する。
【０２７０】
ここで、例えば、参照画像枚数ＲＮの上限値をＭａｘＲと表現し、参照枚数の下限値をＭｉｎＲと表現する。この場合、参照画像枚数算出部５１０は、エッジ強度ＥＮを用いて、参照画像枚数ＲＮを、以下の式６により算出する。
【０２７１】
ＲＮ＝ｒｏｕｎｄ（ＭｉｎＲ＋（ＭａｘＲ−ＭｉｎＲ）×ＥＮ）…（式６）
【０２７２】
式６において、ｒｏｕｎｄ（）は、式３と同様、最も近い整数への丸めを行う関数である。
【０２７３】
すなわち、参照画像枚数算出部５１０は、エッジ強度ＥＮが大きい程、大きな値の参照画像枚数ＲＮを算出し、エッジ強度ＥＮが小さい程、小さな値の参照画像枚数ＲＮを算出する。
【０２７４】
そして、参照画像枚数算出部５１０は、参照画像枚数ＲＮを、位置合わせ処理部５２０へ送信する。
【０２７５】
ステップＳ３００３では、位置合わせ実行処理が行われる。位置合わせ実行処理では、位置合わせ処理部５２０が、前記入力画像１０１内の処理対象ブロックと、Ｊ（ＲＮ）枚の参照画像とを用いて位置合わせ処理を行う。ここで、Ｊ＝ＲＮである。
【０２７６】
具体的には、まず、位置合わせ処理部５２０が、Ｑ枚のピクチャのうち、例えば、表示順で、１〜ＲＮ番目までのピクチャを、参照対象とする。すなわち、位置合わせ処理部５２０は、Ｑ枚のピクチャのうち、参照画像枚数ＲＮ枚のピクチャを参照対象とする。ここで、ＲＮ＝５であるとして、説明する。
【０２７７】
図１７は、位置合わせ実行処理を説明するための図である。
【０２７８】
図１７では、一例として、ピクチャＰＣ［１］，ＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］が示される。ピクチャＰＣ［１］〜ＰＣ［５］は、それぞれ、１〜５番目までのピクチャに対応する。
【０２７９】
ピクチャＰＣ［１］は、入力画像１０１である。ピクチャＰＣ［１］には、処理対象ブロックＰＢが示される。
【０２８０】
以下においては、ピクチャＰＣ［１］，ＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］の各々を、単に、ピクチャＰＣともいう。各ピクチャＰＣ内のブロックＲＢ［ｎ（整数）］は、処理対象ブロックＰＢに類似する参照ブロックである。また、以下においては、参照対象のピクチャを参照画像ともいう。
【０２８１】
位置合わせ実行処理では、位置合わせ処理部５２０が、処理対象ブロックＰＢとピクチャＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］とを用いて位置合わせ処理を行う。当該位置合わせ処理は、例えば、特許文献（特開２００７−３０５１１３号公報）に開示されているように、周知な技術であるので詳細な説明は行わない。
【０２８２】
位置合わせ処理では、たとえば、各ピクチャＰＣ内のブロックＲＢ［ｎ］の座標が、処理対象ブロックＰＢの座標に設定される。すなわち、各ピクチャＰＣ内のブロックＲＢ［ｎ］が位置合わせされる。
【０２８３】
位置合わせ処理部５２０は、当該位置合わせ処理により、処理対象ブロックＰＢに対する、各ピクチャＰＣ内のブロックＲＢ［ｎ］の位置ずれ量５２１を取得する。位置ずれ量５２１は、例えば、小数画素精度で示される。
【０２８４】
そして、位置合わせ処理部５２０は、各ピクチャＰＣに対対応する位置ずれ量５２１と、各ピクチャＰＣ内のブロックＲＢ［ｎ］の各々が示すブロック画像５２２とを、高解像度画像生成部５３０へ送信する。また、高解像度画像生成部５３０は、処理対象ブロックＰＢも受信する。
【０２８５】
ステップＳ３００４では、合成画像生成処理が行われる。合成画像生成処理では、高解像度画像生成部５３０が、前記位置合わせ処理により得られる位置ずれ量に基づいて、位置合わせされた、Ｊ（ＲＮ）枚の参照画像の各々のブロックを合成する処理を行うことにより合成画像を生成する。
【０２８６】
合成画像は、処理対象ブロックＰＢを水平及び垂直方向にそれぞれＮ倍に拡大した拡大ブロックのサブピクセルの位置に、位置合わせされた、Ｊ（ＲＮ）枚の参照画素の各々のブロックの画素が配置された画像である。
【０２８７】
言い換えれば、高解像度画像生成部５３０は、前記位置合わせ処理の実行により得られた位置ずれ量５２１と、処理対象ブロックと位置合わせされた、参照画像内のブロックが示すブロック画像５２２とを用いて、補間座標の画素値を推定する。ここで、補間座標とは、前記拡大ブロックのサブピクセルの座標である。
【０２８８】
そして、高解像度画像生成部５３０は、拡大ブロックのサブピクセルの位置に、位置合わせされた各ブロック画像５２２の画素が配置されることにより高解像度ブロック（画像）としての合成画像を生成する。
【０２８９】
高解像度画像としての当該合成画像の生成方法は、例えば、特許文献（特開２００７−３０５１１３号公報）に開示されているように、周知な技術であるので詳細な説明は行わない。
【０２９０】
以上のステップＳ３００１〜Ｓ３００４の処理が、入力画像１０１内の全てのブロックに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ３００４の処理が繰り返し行われることで、高解像度画像生成部５３０は、該合成画像を用いて出力画像１０２を生成する。
【０２９１】
なお、入力画像１０１内の全てのブロックに限定されず、入力画像１０１内の指定されたブロックに対して、ステップＳ３００１〜Ｓ３００４の処理が行われてもよい。
【０２９２】
以上説明したように、本実施の形態では、処理対象ブロックの特徴に応じて参照画像枚数を制御する。常に所定の数の参照画像でなく、エッジ強度ＥＮが大きい程、参照対象のピクチャ（参照画像）の数を増やす。これにより、常に所定の数の参照画像を使用する場合よりも、冗長な位置合わせ処理を削減しつつ、高品位な高解像度画像が生成できるという効果がある。
【０２９３】
（実施の形態４）
さらに、前記各実施の形態およびその変形例で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記各実施の形態およびその変形例で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０２９４】
図１８Ａ〜図１８Ｃは、前記各実施の形態およびその変形例の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより当該画像処理方法を実施する場合の説明図である。
【０２９５】
図１８Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図１８Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスクＦＤでは、前記フレキシブルディスクＦＤ上に割り当てられた領域に、前記プログラムが記録されている。
【０２９６】
また、図１８Ｃは、フレキシブルディスクＦＤに前記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する前記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０２９７】
なお、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０２９８】
（実施の形態５）
本発明の実施の形態５では、画像処理装置、画像処理方法、及び画像処理プログラムを用いたテレビジョン受像機８００を、図１９を用いて説明する。
【０２９９】
テレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図１９において、説明の都合上、各装置８０１から８０４はテレビジョン受像機８００の外部に配置しているが、実際はテレビジョン受像機８００の内部に配置されている。
【０３００】
画像処理装置８０３は、画像処理装置１００，２００，３００，４００，５００のいずれかに相当する。
【０３０１】
放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号８２１から放送電波を受信し、当該放送電波を復調した映像信号を放送映像信号８２２として出力する。
【０３０２】
入力選択装置８０２は、ＤＶＤ或いはＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）レコーダ、又はＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号８２０と、放送映像信号８２２とのうち、ユーザーによる選択に従っていずれか一方を選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号８２３として出力する。
【０３０３】
画像処理装置８０３は、入力映像信号８２３がインターレース信号の場合は、当該入力映像信号８２３をプログレッシブ信号に変換するＩ／Ｐ変換を施したり、入力映像信号８２３に対してコントラストを改善する画質改善処理を施したりする。
【０３０４】
また、画像処理装置８０３は、上述した画像処理方法、又は、超解像処理プログラムを用いた画像処理を入力映像信号８２３に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号８２４として出力する。
【０３０５】
パネル駆動装置８０４は、画質改善映像信号８２４を、ディスプレイパネル８０５を駆動するための専用信号に変換し、変換後の信号をパネル駆動用映像信号８２５として出力する。
【０３０６】
ディスプレイパネル８０５は、パネル駆動用映像信号８２５に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。
【０３０７】
このように、上記実施の形態の画像処理装置、画像処理方法、及び画像処理プログラムをテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記実施の形態で説明した効果を得ることができる。なお、上記実施の形態の画像処理装置、画像処理方法、及び画像処理プログラムは、テレビジョン受像機に限らず、同様にして、レコーダ機器、プレイヤ機器及び携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記実施の形態で説明した効果を得ることができる。
【０３０８】
ここで、レコーダ機器とは、ＤＶＤレコーダ、ＢＤレコーダ、及びハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤ、及びＢＤプレイヤ等である。携帯機器とは、携帯電話、及びＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等である。
【０３０９】
（機能ブロック図）
図２０は、画像処理装置９００の特徴的な機能構成を示すブロック図である。画像処理装置９００は、画像処理装置１００，２００，３００，４００，５００のいずれかに相当する。つまり、図２０は、画像処理装置１００，２００，３００，４００，５００のいずれかの有する機能のうち、本発明に関わる主要な機能を示すブロック図である。
【０３１０】
画像処理装置９００は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する。
【０３１１】
画像処理装置９００は、機能的には、取得部９１０と、算出部９２０と、生成部９３０とを備える。
【０３１２】
取得部９１０は、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する。取得部９１０は、エッジ強度算出部１５０，５０５等に相当する。
【０３１３】
算出部９２０は、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する。算出部９２０は、合成数算出部１６０、参照画像枚数算出部５１０等に相当する。
【０３１４】
生成部９３０は、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する。生成部９３０は、ステップＳ１００６，Ｓ１００７の処理を繰り返し行う合成部１７０および加算部１８０に相当する。また、生成部９３０は、ステップＳ１００７，Ｓ２００８の処理を繰り返し行う図１４の合成部１７０および加算部３２０にも相当する。また、生成部９３０は、ステップＳ３００４の処理を行う高解像度画像生成部５３０にも相当する。
【０３１５】
なお、画像処理装置９００に含まれる、取得部９１０、算出部９２０および生成部９３０の全てまたは一部は、ＬＳＩ（Large Scale Integration：大規模集積回路）等のハードウエアで構成されてもよい。また、取得部９１０、算出部９２０および生成部９３０の全てまたは一部は、ＣＰＵ等のプロセッサにより実行されるプログラムのモジュールであってもよい。
【０３１６】
また、画像処理装置９００は、集積回路であってもよい。
【０３１７】
（その他の変形例）
以上、本発明に係る画像処理装置および画像処理方法について、前記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。
【０３１８】
例えば、学習データベース１１０に格納される、学習高周波画像Ｐ１１（第１学習データ）のサイズと、当該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２（第２学習データ）のサイズとは異なっていてもよい。また、この場合、例えば、実施の形態１における第１学習データの探索（選択）は、仮拡大画像１２１の代わりに入力画像１０１を用いて行われてもよい。
【０３１９】
また、例えば、本実施の形態における画像処理装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、上記各実施の形態における画像処理装置を備える動画像受信装置、動画像記録装置、静止画記録装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とはカムコーダやＷｅｂなどを含み、静止画記録装置とはデジタルスチルカメラなどを含む。
【０３２０】
また、上記各実施形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施形態で用いた各数値に制限されない。
【０３２１】
また、本発明に係る画像処理方法は、図４の高解像度画像生成処理、図１０の高解像度画像生成処理Ａ、図１３の高解像度画像生成処理Ｂ、または、図１６の高解像度画像生成処理Ｃに相当する。本発明に係る画像処理方法は、図４、図１０、図１３または図１６における、対応する全てのステップを必ずしも含む必要はない。すなわち、本発明に係る奥行き画像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。
【０３２２】
また、画像処理方法における各ステップの実行される順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、画像処理方法におけるステップの一部と、他のステップとは、互いに独立して並列に実行されてもよい。例えば、画像処理方法としての図４の高解像度画像生成処理において、ステップＳ１００２，Ｓ１００３の処理と、ステップＳ１００４，Ｓ１００５の処理とは、互いに独立して並列に実行されてもよい。
【０３２３】
なお、画像処理装置１００〜５００の各機能パッチ（構成要素）の全てまたは一部は典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０３２４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０３２５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０３２６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能パッチの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０３２７】
また、各機能パッチ（構成要素）のうち、検索対象となるデータを格納する部だけ１チップ化せずに別構成としても良い。
【０３２８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０３２９】
本発明に係る画像処理方法および画像処理装置は、より精細感の高い高解像度画像が生成でき、カムコーダやデジタルスチルカメラなどに有効である。
【符号の説明】
【０３３０】
５０  学習画像生成装置
１００，２００，３００，４００，５００，６００，８０３，９００  画像処理装置
１０１，６０１  入力画像
１０２，６０２  出力画像
１１０，６１０  学習データベース
１２０，６０５  画像拡大部
１２１，６０６  仮拡大画像
１３０  特徴データ抽出部
１３１  第１特徴データ
１４０  学習データ検索部
１５０，５０５  エッジ強度算出部
１６０  合成数算出部
１７０  合成部
１７１  合成データ
１８０，３２０，６８０  加算部
３１０  重複領域算出部
３２１  処理対象ブロック
３２２  重複領域
５１０  参照画像枚数算出部
５２０  位置合わせ処理部
５３０  高解像度画像生成部
６２０  探索ベクトル生成部
６２１  探索ベクトル
６３０  学習データ検索部
６３１  高周波成分データ
８００  テレビジョン受像機
【図１】
2011210253.tif 000003
【図２】
2011210253.tif 000004
【図３】
2011210253.tif 000005
【図４】
2011210253.tif 000006
【図５】
2011210253.tif 000007
【図６】
2011210253.tif 000008
【図７】
2011210253.tif 000009
【図８】
2011210253.tif 000010
【図９】
2011210253.tif 000011
【図１０】
2011210253.tif 000012
【図１１】
2011210253.tif 000013
【図１２】
2011210253.tif 000014
【図１３】
2011210253.tif 000015
【図１４】
2011210253.tif 000016
【図１５】
2011210253.tif 000017
【図１６】
2011210253.tif 000018
【図１７】
2011210253.tif 000019
【図１８Ａ】
2011210253.tif 000020
【図１８Ｂ】
2011210253.tif 000021
【図１８Ｃ】
2011210253.tif 000022
【図１９】
2011210253.tif 000023
【図２０】
2011210253.tif 000024
【図２１】
2011210253.tif 000025
【図２２】
2011210253.tif 000026