(57)【要約】【課題】場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像を実現する。【解決手段】超解像画像生成装置では、サブバンド分割処理により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像ＬＬ（０）の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンドデータＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。そして、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像を取得する。【選択図】図１
2018169948.tif 000002
【特許請求の範囲】
【請求項１】
原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得するサブバンド分割部と、
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測部であって、
（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、
（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、
（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測部と、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成部と、
を備える超解像画像生成装置。
【請求項２】
前記原画像ＬＬ（０）および前記サブバンドデータＬＬ（１）から、復元率を取得する復元率取得部であって、前記サブバンドデータＬＬ（１）を仮の原画像として、前記サブバンド分割部、前記予測部、および、前記サブバンド合成部と同様の処理を実行し、前記サブバンドデータＬＬ（１）の超解像画像ＬＬ’（０）を取得し、取得した前記超解像画像ＬＬ’（０）と前記原画像ＬＬ（０）とを比較することで前記復元率を取得する前記復元率取得部をさらに備える、
請求項１に記載の超解像画像生成装置。
【請求項３】
前記予測部は、
（Ａ）前記サブバンドデータＨＬ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＬ（２））と、前記サブバンドデータＨＬ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＬ（１））とを取得し、
ｋＨＬ＝Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））
により、係数ｋＨＬを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、前記予測サブバンドデータＨＬ’（０）を取得し、
（Ｂ）前記サブバンドデータＬＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（２））と、前記サブバンドデータＬＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（１））とを取得し、
ｋＬＨ＝Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））
により、係数ｋＨＬを取得し、
ＬＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、前記予測サブバンドデータＬＨ’（０）を取得し、
（Ｃ）前記サブバンドデータＨＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（２））と、前記サブバンドデータＨＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（１））とを取得し、
ｋＨＨ＝Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））
により、係数ｋＨＨを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、前記予測サブバンドデータＨＨ’（０）を取得する、
請求項１又は２に記載の超解像画像生成装置。
【請求項４】
サブバンド領域内に小領域を設定する小領域設定部をさらに備え、
前記予測部は、
（Ａ）サブバンドデータＨＬ（２）に相当する前記小領域である小領域Ｒｋ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当する前記小領域である小領域Ｒｋ（ＨＬ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）の小領域であって、サブバンドデータＨＬ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＬ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＨＬ’（０）を取得し、
（Ｂ）サブバンドデータＬＨ（２）に相当する前記小領域である小領域Ｒｋ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当する前記小領域である小領域Ｒｋ（ＬＨ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）の小領域であって、サブバンドデータＬＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＬＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＬＨ’（０）を取得し、
（Ｃ）サブバンドデータＨＨ（２）に相当する前記小領域である小領域Ｒｋ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当する前記小領域である小領域Ｒｋ（ＨＨ（１））とから導出される所定の物理量に基づいて、前記単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）の小領域であって、サブバンドデータＨＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、前記予測サブバンドデータＨＨ’（０）を取得する、
請求項１又は２に記載の超解像画像生成装置。
【請求項５】
前記小領域は、矩形領域により設定される、
請求項４に記載の超解像画像生成装置。
【請求項６】
同一のサブバンド領域内に第１小領域および第２小領域が含まれ、
前記第１小領域のサイズは、前記第２小領域のサイズと異なる、
請求項４又は５に記載の超解像画像生成装置。
【請求項７】
前記小領域設定部は、前記復元率に基づいて、前記小領域のサイズを調整する、
請求項４に記載の超解像画像生成装置。
【請求項８】
前記復元率取得部は、
サブバンドデータＨＬ（１）と予測サブバンドデータＨＬ’（１）とに基づいて、第１サブバンド復元率を取得し、
サブバンドデータＬＨ（１）と予測サブバンドデータＬＨ’（１）とに基づいて、第２サブバンド復元率を取得し、
サブバンドデータＨＨ（１）と予測サブバンドデータＨＨ’（１）とに基づいて、第３サブバンド復元率を取得し、
前記小領域設定部は、前記第１サブバンド復元率、前記第２サブバンド復元率、および、前記第３サブバンド復元率に基づいて、前記小領域のサイズを調整する、
請求項７に記載の超解像画像生成装置。
【請求項９】
前記原画像ＬＬ（０）は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号から形成され、
前記復元率取得部は、前記Ｙ成分画像信号、前記Ｃｂ成分画像信号、および、前記Ｃｒ成分画像信号のそれぞれについて、前記復元率を取得し、
前記小領域設定部は、
前記Ｙ成分画像信号について取得された前記復元率に基づいて、前記Ｙ成分画像信号により形成されるＹ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の前記小領域のサイズを調整し、
前記Ｃｂ成分画像信号について取得された前記復元率に基づいて、前記Ｃｂ成分画像信号により形成されるＣｂ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の前記小領域のサイズを調整し、
前記Ｃｒ成分画像信号について取得された前記復元率に基づいて、前記Ｃｒ成分画像信号により形成されるＣｒ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の前記小領域のサイズを調整する、
請求項４から８のいずれかに記載の超解像画像生成装置。
【請求項１０】
前記小領域設定部は、
前記超解像画像ＬＬ’（０）と、前記原画像ＬＬ（０）とを比較することで取得した前記復元率が最良の値となるように、前記小領域のサイズを調整する、
請求項２から９のいずれかに記載の超解像画像生成装置。
【請求項１１】
原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得するサブバンド分割ステップと、
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測ステップであって、
（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、
（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、
（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測ステップと、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成ステップと、
を備える超解像画像生成方法をコンピュータに実行させるためのプログラム。
【請求項１２】
原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得するサブバンド分割部と、
前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、前記原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する予測部であって、
（Ａ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＬ’（０）を取得し、
（Ｂ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＬＨ’（０）を取得し、
（Ｃ）同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、前記サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、前記予測サブバンドデータＨＨ’（０）を取得する前記予測部と、
前記原画像ＬＬ（０）と、前記予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、前記原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得するサブバンド合成部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像信号の解像度を高めて出力画像信号を生成する技術である超解像技術に関する。
【背景技術】
【０００２】
動画像の解像度を向上させる処理として、フレーム内だけで解像度を向上させるフレーム内超解像度処理と、フレーム内超解像度処理にさらにフレーム間処理を行うフレーム間解像度処理とがある。
【０００３】
フレーム内超解像処理では、静止画での画質向上を実現させる処理と同様に、１フレームごとに輪郭補正やドットノイズ消去といった処理を実行するだけであり、複数のフレームを用いた時間軸方向の演算処理は実行しない。そして、フレーム内超解像度処理では、主として輝度信号を処理対象として処理が実行される。
【０００４】
例えば、単純に線形フィルタを用いて、フレーム内の各画素を線形補間することで、解像度を向上させる処理を実行した場合、この処理により取得される高解像度画像は、ぼやけた画質の画像となる。つまり、線形補間により解像度を向上させる処理では、新たに挿入された画素（線形補間により挿入された画素）の画素値は、当該画素を挿入するときに用いた当該画素の周辺の画素（原画像に存在する画素）の画素値を平均化した値となる。したがって、線形補間により解像度を向上させる処理により取得される高解像度画像は、ぼやけた画質の画像となる。このような手法による高解像度化処理は、真の高解像度処理とはいえない。
【０００５】
そこで、例えば、画像のテクスチャ部分、エッジ部分、平坦部分等を抽出し、抽出した部分に対して、それぞれ、異なる画像処理（処理強度の異なる高域成分強調処理）を施すことで、高解像度画像を取得する技術が開発されている（例えば、特許文献１を参照）。
【０００６】
例えば、品質の高い高解像度画像を取得する処理として、以下のような処理が考えられる。
【０００７】
原画像を、（１）細部が細かく変化するテクスチャ部、（２）テクスチャ部の輪郭部、（３）画素の画素値の変化が乏しい平坦部の３つに分けて、テクスチャ部には何らかの画質改善処理を施し、輪郭部にはエッジ強調処理を、平坦部には何も処理を行わずそのままにする。
【０００８】
つまり、この処理では、（１）細部が細かく変化するテクスチャ部、（２）テクスチャ部の輪郭部、（３）画素の画素値の変化が乏しい平坦部に対して、異なる操作を行うことで、遠近感を高めた高解像度画像（高品質の高解像度画像）を取得することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第ＷＯ２０１１／０３３６１９号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記のような処理では、所定の性質の画像領域を抽出し、抽出した所定の性質を有する画像領域ごとに、異なる処理を実行する必要があり、処理が非常に煩雑になる。つまり、上記のような処理では、場合分け処理を行う必要があるので、処理が非常に煩雑になる。また、上記のような処理では、抽出した所定の性質を有する画像領域ごとのパラメータの設定（高域成分強調処理の処理強度の調整等）を行う必要があり、適切なパラメータ設定がなされないと、高精度の高解像度画像が取得できないとという問題もある。
【００１１】
そこで、本発明は、上記課題に鑑み、場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像生成装置、プログラム、および、集積回路を実現することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、第１の発明は、サブバンド分割部と、予測部と、サブバンド合成部と、を備える超解像画像生成装置である。
【００１３】
サブバンド分割部は、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。
【００１４】
予測部は、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測部は、以下の処理を行う。
（Ａ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。
【００１５】
サブバンド合成部は、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。
【００１６】
この超解像画像生成装置では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像ＬＬ（０）の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンドデータＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
【００１７】
つまり、この超解像画像生成装置では、予測部が、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するために、同種のサブバンドであって、階層が異なるサブバンド同士の所定の物理量に相関性がある（例えば、平均エネルギーの比が略一定になる）という事実に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）、ｔｍｐ＿ＬＨ（０）、ｔｍｐ＿ＨＨ（０）から、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
【００１８】
そして、この超解像画像生成装置では、サブバンド合成部が、原画像ＬＬ（０）と、予測部により取得された予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像ＬＬ（−１）を取得する。
【００１９】
したがって、この超解像画像生成装置では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。
【００２０】
なお、「所定の物理量」とは、例えば、電力、エネルギー、あるいは、それらに準ずる物理量である。
【００２１】
第２の発明は、第１の発明であって、原画像ＬＬ（０）およびサブバンドデータＬＬ（１）から、復元率を取得する復元率取得部であって、サブバンドデータＬＬ（１）を仮の原画像として、サブバンド分割部、予測部、および、サブバンド合成部と同様の処理を実行し、サブバンドデータＬＬ（１）の超解像画像ＬＬ’（０）を取得し、取得した超解像画像ＬＬ’（０）と原画像ＬＬ（０）とを比較することで復元率を取得する復元率取得部をさらに備える。
【００２２】
これにより、この超解像画像生成装置では、復元率取得部により復元率を取得することができる。
【００２３】
第３の発明は、第１または第２の発明であって、予測部は、以下の処理を行う。
（Ａ）予測部は、サブバンドデータＨＬ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＬ（１））とを取得し、
ｋＨＬ＝Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））
により、係数ｋＨＬを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、サブバンドデータＬＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＬＨ（１））とを取得し、
ｋＬＨ＝Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））
により、係数ｋＨＬを取得し、
ＬＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、サブバンドデータＨＨ（２）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当するサブバンド領域の平均エネルギーＥｍｅａｎ（ＨＨ（１））とを取得し、
ｋＨＨ＝Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））
により、係数ｋＨＨを取得し、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、予測サブバンドデータＨＨ’（０）を取得する。
【００２４】
これにより、この超解像画像生成装置では、同種で階層が異なるサブバンド領域の平均エネルギーの比に基づいて、係数ｋＨＬ、ｋＬＨ、ｋＨＨを取得でき、当該係数を用いてサブバンド合成処理を実行することができる。したがって、この超解像画像生成装置では、高精度の超解像画像が取得できる。
【００２５】
第４の発明は、第１または第２の発明であって、サブバンド領域内に小領域を設定する小領域設定部をさらに備える。
【００２６】
そして、予測部は、以下の処理を行う。
（Ａ）予測部は、サブバンドデータＨＬ（２）に相当する小領域である小領域Ｒｋ（ＨＬ（２））と、サブバンドデータＨＬ（１）に相当する小領域である小領域Ｒｋ（ＨＬ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）の小領域であって、サブバンドデータＨＬ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＬ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、サブバンドデータＬＨ（２）に相当する小領域である小領域Ｒｋ（ＬＨ（２））と、サブバンドデータＬＨ（１）に相当する小領域である小領域Ｒｋ（ＬＨ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）の小領域であって、サブバンドデータＬＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＬＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、サブバンドデータＨＨ（２）に相当する小領域である小領域Ｒｋ（ＨＨ（２））と、サブバンドデータＨＨ（１）に相当する小領域である小領域Ｒｋ（ＨＨ（１））とから導出される所定の物理量に基づいて、単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）の小領域であって、サブバンドデータＨＨ（０）のサブバンド領域に対応する小領域Ｒｋ（ＨＨ（０））のデータの予測処理を行い、当該予測処理により取得されたデータに基づいて、予測サブバンドデータＨＨ’（０）を取得する。
【００２７】
これにより、この超解像画像生成装置では、同種で階層が異なるサブバンド領域の対応する小領域の所定の物理量（例えば、平均エネルギーの比）に基づいて、予測サブバンドデータＬＨ’（０）、ＨＬ’（０）、ＨＨ’（０）が取得でき、当該予測サブバンドデータを用いてサブバンド合成処理を実行することができる。したがって、この超解像画像生成装置では、高精度の超解像画像が取得できる。
【００２８】
第５の発明は、第４の発明であって、小領域は、矩形領域により設定される。
【００２９】
これにより、この超解像画像生成装置では、小領域を矩形領域に設定することができる。
【００３０】
なお、小領域は、矩形領域に限らず、円形領域、楕円領域等に設定してもよい。
【００３１】
第６の発明は、第４または第５の発明であって、同一のサブバンド領域内に第１小領域および第２小領域が含まれ、第１小領域のサイズは、第２小領域のサイズと異なる。
【００３２】
これにより、この超解像画像生成装置では、サイズの異なる小領域を用いて、超解像画像生成処理を実行することができる。
【００３３】
第７の発明は、第４の発明であって、小領域設定部は、復元率に基づいて、小領域のサイズを調整する。
【００３４】
これにより、この超解像画像生成装置では、復元率に基づいて、小領域のサイズを調整することができる。そして、復元率が良好な状態となったことを確認した後、超解像画像を取得することで、より精度の高い超解像画像を取得することができる。
【００３５】
第８の発明は、第７の発明であって、復元率取得部は、サブバンドデータＨＬ（１）と予測サブバンドデータＨＬ’（１）とに基づいて、第１サブバンド復元率を取得し、サブバンドデータＬＨ（１）と予測サブバンドデータＬＨ’（１）とに基づいて、第２サブバンド復元率を取得し、サブバンドデータＨＨ（１）と予測サブバンドデータＨＨ’（１）とに基づいて、第３サブバンド復元率を取得する。
【００３６】
小領域設定部は、第１サブバンド復元率、第２サブバンド復元率、および、第３サブバンド復元率に基づいて、小領域のサイズを調整する。
【００３７】
これにより、この超解像画像生成装置では、サブバンド領域ごとの復元率である第１〜第３サブバンド復元率に基づいて、サブバンド内の小領域の大きさを調整することができる。そして、この超解像画像生成装置では、画像全体の復元率と、サブバンド領域の復元率とを考慮することで、最適なサブバンド内の小領域を設定することができ、設定されたサブバンド内の小領域を用いて、超解像画像生成処理を行うことで、高精度な超解像画像を取得することができる。
【００３８】
第９の発明は、第４から第８のいずれかの発明であって、原画像ＬＬ（０）は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号から形成され、復元率取得部は、Ｙ成分画像信号、Ｃｂ成分画像信号、および、Ｃｒ成分画像信号のそれぞれについて、復元率を取得する。
【００３９】
小領域設定部は、Ｙ成分画像信号について取得された復元率に基づいて、Ｙ成分画像信号により形成されるＹ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。
【００４０】
また、小領域設定部は、Ｃｂ成分画像信号について取得された復元率に基づいて、Ｃｂ成分画像信号により形成されるＣｂ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。
【００４１】
また、小領域設定部は、Ｃｒ成分画像信号について取得された復元率に基づいて、Ｃｒ成分画像信号により形成されるＣｒ成分画像に対してサブバンド分割処理を実行することで取得されるサブバンド内の小領域のサイズを調整する。
【００４２】
これにより、この超解像画像生成装置では、ＹＣｂＣｒ色空間の画像信号についても、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像ごとに、最適な大きさに調整されたサブバンド内の小領域をもちいて、超解像画像生成処理を実行することができる。その結果、この超解像画像生成装置では、高精度な超解像画像を取得することができる。
【００４３】
なお、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像ごとに、それぞれ復元率が最良となるように、Ｙ成分画像についての小領域のサイズ、Ｃｂ成分画像についての小領域のサイズ、Ｃｒ成分画像についての小領域のサイズを設定することが好ましい。
【００４４】
また、Ｙ成分画像、Ｃｂ成分画像、Ｃｒ成分画像についての設定される小領域は、それぞれ、異なるサイズ、形状であってもよい。
【００４５】
第１０の発明は、第２から第９の発明であって、小領域設定部は、超解像画像ＬＬ’（０）と、原画像ＬＬ（０）とを比較することで取得した復元率が最良の値となるように、小領域のサイズを調整する。
【００４６】
これにより、この超解像画像生成装置では、画像全体の復元率が最良となるようにサブバンド領域を分割することができる（サブバンド領域内の小領域を設定することができる）。
【００４７】
第１１の発明は、超解像画像生成方法をコンピュータに実行させるためのプログラムである。
【００４８】
超解像画像生成方法は、サブバンド分割ステップと、予測ステップと、サブバンド合成ステップと、を備える。
【００４９】
サブバンド分割ステップは、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。
【００５０】
予測ステップは、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測ステップは、以下の処理を行う。
（Ａ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測ステップは、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。
【００５１】
サブバンド合成ステップは、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。
【００５２】
これにより、第１の発明と同様の効果を奏する超解像画像生成方法をコンピュータに実行させるためのプログラムを実現することができる。
【００５３】
第１２の発明は、サブバンド分割部と、予測部と、サブバンド合成部と、を備える集積回路である。
【００５４】
サブバンド分割部は、原画像ＬＬ（０）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して１階層下のサブバンドデータであるサブバンドデータＬＬ（１）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を取得し、さらに、サブバンドデータＬＬ（１）に対してサブバンド分割処理を実行し、原画像ＬＬ（０）に対して２階層下のサブバンドデータであるサブバンドデータＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。
【００５５】
予測部は、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）のサブバンドデータであって、原画像ＬＬ（０）と同一階層のサブバンドデータＨＬ（０）、ＬＨ（０）、および、ＨＨ（０）の予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）を取得する。そして、予測部は、以下の処理を行う。
（Ａ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＬ（２）およびサブバンドデータＨＬ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＬ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＬ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＬ’（０）を取得する。
（Ｂ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＬＨ（２）およびサブバンドデータＬＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＬＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＬＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＬＨ’（０）を取得する。
（Ｃ）予測部は、同種であり、かつ、階層の異なるサブバンドデータであるサブバンドデータＨＨ（２）およびサブバンドデータＨＨ（１）から導出される所定の物理量に基づいて、サブバンドデータＨＨ（１）からアップサンプリング処理およびフィルタ処理を行った取得される単純拡張サブバンドデータｔｍｐ＿ＨＨ（０）を用いて予測処理を行うことで、予測サブバンドデータＨＨ’（０）を取得する。
【００５６】
サブバンド合成部は、原画像ＬＬ（０）と、予測サブバンドデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、原画像ＬＬ（０）の水平解像度を２倍にし垂直解像度を２倍にした超解像画像ＬＬ（−１）を取得する。
【００５７】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００５８】
本発明によれば、場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得する超解像画像生成装置、プログラム、および、集積回路を実現することができる。
【図面の簡単な説明】
【００５９】
【図１】第１実施形態に係る超解像画像生成装置１００の概略構成図。
【図２】第１実施形態に係る超解像画像生成装置１００のサブバンド分割部１の概略構成図。
【図３】第１実施形態に係る第２分割部１２の概略構成図。
【図４】第１実施形態に係る予測部２の概略構成図。
【図５】サブバンド分割処理、サブバンド合成処理を説明するための図。
【図６】予測部２で実行される予測処理を説明するための図。
【図７】ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）を含む周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４と、スペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４に対して、サブバンド合成部３によりサブバンド合成処理（逆ウェーブレット変換）を実行して取得した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を示す図。
【図８】第２実施形態に係る超解像画像生成装置２００の概略構成図。
【図９】第１実施形態に係る予測部２の概略構成図。
【図１０】予測部２Ａで実行される予測処理を説明するための図。
【図１１】第３実施形態に係る超解像画像生成装置３００の概略構成図。
【図１２】第３実施形態に係る復元率取得部５の概略構成図。
【図１３】復元率取得処理を説明するための図。
【図１４】第３実施形態の変形例に係る超解像画像生成装置３００の概略構成図。
【図１５】第３実施形態の変形例に係る復元率取得部５の概略構成図。
【図１６】第３実施形態の変形例に復元率取得処理を説明するための図。
【図１７】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【００６０】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
【００６１】
＜１．１：超解像画像生成装置の構成＞
図１は、第１実施形態に係る超解像画像生成装置１００の概略構成図である。
【００６２】
図２は、第１実施形態に係る超解像画像生成装置１００のサブバンド分割部１の概略構成図である。
【００６３】
図３は、第１実施形態に係る第２分割部１２の概略構成図である。
【００６４】
図４は、第１実施形態に係る予測部２の概略構成図である。
【００６５】
図５は、サブバンド分割処理、サブバンド合成処理を説明するための図である。
【００６６】
超解像画像生成装置１００は、図１に示すように、サブバンド分割部１と、予測部２と、サブバンド合成部３とを備える。
【００６７】
サブバンド分割部１は、図２に示すように、第１分割部１１と、第２分割部１２とを備える。
【００６８】
サブバンド分割部１は、画像データＤｉｎを入力し、画像データＤｉｎに対して、サブバンド分割処理（サブバンド符号化処理）を実行し、サブバンド符号化データＤ１を取得する。そして、サブバンド分割部１は、取得したサブバンド符号化データＤ１を予測部２に出力する。
【００６９】
なお、画像データＤｉｎにより形成される原画像をＬＬ（０）と表記し、原画像ＬＬ（０）に対してサブバンド分割処理（サブバンド符号化処理）を１回行ったときに取得されるサブバンド画像をＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）と表記する。
【００７０】
つまり、図５に示すように、ウェーブレット変換（例えば、離散ウェーブレット変換）を行ったときの周波数領域のデータと同様に、水平方向の低域成分を有し垂直方向の低域成分を有するサブバンドデータをＬＬ（１）とし、水平方向の高域成分を有し垂直方向の低域成分を有するサブバンドデータをＨＬ（１）とし、水平方向の低域成分を有し垂直方向の高域成分を有するサブバンドデータをＬＨ（１）とし、水平方向の高域成分を有し垂直方向の高域成分を有するサブバンドデータをＨＨ（１）と表記する。
【００７１】
また、サブバンド符号化の回数を括弧の中に記載して表記する。
【００７２】
したがって、図５に示すように、サブバンド分割処理（サブバンド符号化処理）を２回行ったときに取得される水平方向の低域成分を有し垂直方向の低域成分を有するサブバンドデータはＬＬ（２）と、水平方向の高域成分を有し垂直方向の低域成分を有するサブバンドデータをＨＬ（２）と、水平方向の低域成分を有し垂直方向の高域成分を有するサブバンドデータをＬＨ（２）と、水平方向の高域成分を有し垂直方向の高域成分を有するサブバンドデータをＨＨ（２）と、それぞれ表記される。
【００７３】
第１分割部１１は、画像データＤｉｎ（ＬＬ（０））を入力し、画像データＤｉｎ（ＬＬ（０））に対して、サブバンド分割処理（サブバンド符号化処理）を実行し、第１サブバンド符号化データＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）を取得する。そして、第１分割部１１は、第１サブバンド符号化データＬＬ（１）を第２分割部１２に出力し、第１サブバンド符号化データＨＬ（１）、ＬＨ（１）、ＨＨ（１）を予測部２に出力する。
【００７４】
第１分割部１１は、図２に示すように、垂直ローパスフィルタ部ＬＰＦ＿ｖ１と、垂直ハイパスフィルタ部ＨＰＦ＿ｖ１と、垂直ダウンサンプリング部Ｄｖ１１、Ｄｖ１２とを備える。
【００７５】
また、第１分割部１１は、図２に示すように、水平ローパスフィルタ部ＬＰＦ＿ｈ１１、ＬＰＦ＿ｈ１３と、水平ハイパスフィルタ部ＨＰＦ＿ｈ１２、ＨＰＦ＿ｈ１４と、水平ダウンサンプリング部Ｄｈ１１、Ｄｈ１２、Ｄｈ１３、Ｄｈ１４とを備える。
【００７６】
垂直ローパスフィルタ部ＬＰＦ＿ｖ１は、２次元画像の垂直方向のローパスフィルタである。
【００７７】
垂直ハイパスフィルタ部ＨＰＦ＿ｖ１は、２次元画像の垂直方向のハイパスフィルタである。
【００７８】
垂直ダウンサンプリング部Ｄｖ１１、Ｄｖ１２は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、水平方向に配置されている画素（行データ（水平ライン））の間引き処理を行う。
【００７９】
水平ローパスフィルタ部ＬＰＦ＿ｈ１１、ＬＰＦ＿ｈ１３は、２次元画像の水平方向のローパスフィルタである。
【００８０】
水平ハイパスフィルタ部ＨＰＦ＿ｈ１２、ＨＰＦ＿ｈ１４は、２次元画像の水平方向のハイパスフィルタである。
【００８１】
水平ダウンサンプリング部Ｄｈ１１、Ｄｈ１２、Ｄｈ１３、Ｄｈ１４は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、垂直方向に配置されている画素（列データ）の間引き処理を行う。
【００８２】
第２分割部１２は、図３に示すように、第１サブバンド符号化データＬＬ（１）を入力し、第１サブバンド符号化データＬＬ（１）に対して、サブバンド符号化処理を実行し、第２サブバンド符号化データＬＬ（２）、ＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を取得する。そして、第２分割部１２は、取得した第２サブバンド符号化データＨＬ（２）、ＬＨ（２）、および、ＨＨ（２）を、予測部２に出力する。
【００８３】
第２分割部１２は、図３に示すように、垂直ローパスフィルタ部ＬＰＦ＿ｖ２と、垂直ハイパスフィルタ部ＨＰＦ＿ｖ２と、垂直ダウンサンプリング部Ｄｖ２１、Ｄｖ２２とを備える。
【００８４】
また、第２分割部１２は、図３に示すように、水平ローパスフィルタ部ＬＰＦ＿ｈ２１、ＬＰＦ＿ｈ２３と、水平ハイパスフィルタ部ＨＰＦ＿ｈ２２、ＨＰＦ＿ｈ２４と、水平ダウンサンプリング部Ｄｈ２１、Ｄｈ２２、Ｄｈ２３、Ｄｈ２４とを備える。
【００８５】
垂直ローパスフィルタ部ＬＰＦ＿ｖ２は、２次元画像の垂直方向のローパスフィルタである。
【００８６】
垂直ハイパスフィルタ部ＨＰＦ＿ｖ２は、２次元画像の垂直方向のハイパスフィルタである。
【００８７】
垂直ダウンサンプリング部Ｄｖ２１、Ｄｖ２２は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、水平方向に配置されている画素（行データ（水平ライン））の間引き処理を行う。
【００８８】
水平ローパスフィルタ部ＬＰＦ＿ｈ２１、ＬＰＦ＿ｈ２３は、２次元画像の水平方向のローパスフィルタである。
【００８９】
水平ハイパスフィルタ部ＨＰＦ＿ｈ２２、ＨＰＦ＿ｈ２４は、２次元画像の水平方向のハイパスフィルタである。
【００９０】
水平ダウンサンプリング部Ｄｈ２１、Ｄｈ２２、Ｄｈ２３、Ｄｈ２４は、２次元画像の垂直方向のダウンサンプリング処理、すなわち、垂直方向に配置されている画素（列データ）の間引き処理を行う。
【００９１】
なお、図２に示すように、サブバンド分割部１から出力されるデータＨＬ（２）、ＬＨ（２）、ＨＨ（２）、ＨＬ（１）、ＬＨ（１）、および、ＨＨ（１）を、データＤ１と表記する。
【００９２】
予測部２は、サブバンド分割部１から出力されるデータＤ１を入力する。予測部２は、データＤ１に基づいて、予測処理を実行し、原画像Ｄｉｎ（ＬＬ（０））を２倍の解像度に拡張した超解像画像ＬＬ（−１）に対してサブバンド分割処理（サブバンド符号化処理）を実行したときのサブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。そして、予測部２は、取得した予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を、データＤ＿ｅｓｔとして、サブバンド合成部３に出力する。
【００９３】
予測部２は、図４に示すように、第１係数取得部２１と、水平アップサンプリング部Ｕｈ２１と、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１と、垂直アップサンプリング部Ｕｖ２１と、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１と、乗算器Ｍｘ２１とを備える。
【００９４】
また、予測部２は、第２係数取得部２２と、水平アップサンプリング部Ｕｈ２２と、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２と、垂直アップサンプリング部Ｕｖ２２と、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２と、乗算器Ｍｘ２２とを備える。
【００９５】
また、予測部２は、第３係数取得部２３と、水平アップサンプリング部Ｕｈ２３と、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３と、垂直アップサンプリング部Ｕｖ２３と、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２と、乗算器Ｍｘ２３とを備える。
【００９６】
第１係数取得部２１は、サブバンド分割部１から出力されるデータＨＬ（１）、ＨＬ（２）を入力し、データＨＬ（１）、ＨＬ（２）に基づいて、第１係数ｋＨＬを取得する。そして、第１係数取得部２１は、取得した第１係数ｋＨＬを乗算器Ｍｘ２１に出力する。
【００９７】
水平アップサンプリング部Ｕｈ２１は、データＨＬ（１）（サブバンド符号化処理により取得された画像データＨＬ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。つまり、水平ダウンサンプリング部Ｄｈ２１は、画像データＨＬ（１）に対して、水平解像度が２倍となるように、１列の画素群に対して、新たに１列の画素群を挿入する。
【００９８】
なお、挿入する１列の画素群の画素値は、例えば、（１）水平方向に隣接する画素の画素値（垂直方向の位置は同一の画素の画素値）と同一値（サンプルホールド挿入）、あるいは、（２）挿入する１列を挟む水平方向に隣接する２つの画素列に含まれる２つの画素（垂直方向の位置は同一の画素）の平均値、あるいは、（３）画素値を「０」とすればよい（ゼロ挿入）。
【００９９】
水平アップサンプリング部Ｕｈ２１は、水平方向の１：２のアップサンプリング処理後のデータを水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１に出力する。
【０１００】
水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１は、水平アップサンプリング部Ｕｈ２１からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のローパスフィルタ処理を行う。そして、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１は、処理後のデータを、垂直アップサンプリング部Ｕｖ２１に出力する。
【０１０１】
垂直アップサンプリング部Ｕｖ２１は、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２１は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。つまり、垂直ダウンサンプリング部Ｄｖ２１は、入力されたデータにより形成される画像に対して、垂直解像度が２倍となるように、１行の画素群（１つの水平ライン）に対して、新たに１行の画素群（水平ライン）を挿入する。
【０１０２】
なお、挿入する１行の画素群の画素値は、例えば、（１）垂直方向に隣接する画素の画素値（水平方向の位置は同一の画素の画素値）と同一値（サンプルホールド挿入）、あるいは、（２）挿入する１行を挟む垂直方向に隣接する２つの水平ラインに含まれる２つの画素（水平方向の位置は同一の画素）の平均値、あるいは、（３）画素値を「０」とすればよい（ゼロ挿入）。
【０１０３】
垂直アップサンプリング部Ｕｖ２１は、処理後のデータを、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１に出力する。
【０１０４】
垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１は、垂直アップサンプリング部Ｕｖ２１から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のローパスフィルタ処理を行う。そして、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１は、処理後のデータを、乗算器Ｍｘ２１に、データｔｍｐ＿ＨＬ（０）として、出力する。
【０１０５】
乗算器Ｍｘ２１は、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１から出力されるデータｔｍｐ＿ＨＬ（０）と、第１係数取得部２１から出力される第１係数ｋＨＬを入力する。乗算器Ｍｘ２１は、データｔｍｐ＿ＨＬ（０）と、第１係数ｋＨＬとを用いて、乗算処理を行い、当該乗算処理の結果を、データＨＬ’（０）として、サブバンド合成部３に出力する。
【０１０６】
第２係数取得部２２は、サブバンド分割部１から出力されるデータＬＨ（１）、ＬＨ（２）を入力し、データＬＨ（１）、ＬＨ（２）に基づいて、第２係数ｋＬＨを取得する。そして、第２係数取得部２２は、取得した第２係数ｋＬＨを乗算器Ｍｘ２２に出力する。
【０１０７】
水平アップサンプリング部Ｕｈ２２は、データＬＨ（１）（サブバンド符号化処理により取得された画像データＬＨ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。そして、水平アップサンプリング部Ｕｈ２２は、水平方向の１：２のアップサンプリング処理後のデータを水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２に出力する。
【０１０８】
水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２は、水平アップサンプリング部Ｕｈ２２からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のローパスフィルタ処理を行う。そして、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２は、処理後のデータを、垂直アップサンプリング部Ｕｖ２２に出力する。
【０１０９】
垂直アップサンプリング部Ｕｖ２２は、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２１から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２２は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。そして、垂直アップサンプリング部Ｕｖ２２は、処理後のデータを、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２に出力する。
【０１１０】
垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２は、垂直アップサンプリング部Ｕｖ２２から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のハイパスフィルタ処理を行う。そして、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２は、処理後のデータを、乗算器Ｍｘ２２に、データｔｍｐ＿ＬＨ（０）として、出力する。
【０１１１】
乗算器Ｍｘ２２は、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２２から出力されるデータｔｍｐ＿ＬＨ（０）と、第２係数取得部２２から出力される第２係数ｋＬＨを入力する。乗算器Ｍｘ２２は、データｔｍｐ＿ＬＨ（０）と、第２係数ｋＬＨとを用いて、乗算処理を行い、当該乗算処理の結果を、データＬＨ’（０）として、サブバンド合成部３に出力する。
【０１１２】
第３係数取得部２３は、サブバンド分割部１から出力されるデータＨＨ（１）、ＨＨ（２）を入力し、データＨＨ（１）、ＨＨ（２）に基づいて、第３係数ｋＨＨを取得する。そして、第３係数取得部２３は、取得した第３係数ｋＨＨを乗算器Ｍｘ２３に出力する。
【０１１３】
水平アップサンプリング部Ｕｈ２３は、データＨＨ（１）（サブバンド符号化処理により取得された画像データＨＨ（１））に対して、水平方向の１：２のアップサンプリング処理を行う。そして、水平アップサンプリング部Ｕｈ２３は、水平方向の１：２のアップサンプリング処理後のデータを水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３に出力する。
【０１１４】
水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３は、水平アップサンプリング部Ｕｈ２３からのデータを入力し、入力されたデータに対して、２次元画像の水平方向のハイパスフィルタ処理を行う。そして、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３は、処理後のデータを、垂直アップサンプリング部Ｕｖ２３に出力する。
【０１１５】
垂直アップサンプリング部Ｕｖ２３は、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３から出力されるデータを入力する。垂直アップサンプリング部Ｕｖ２３は、入力されたデータに対して、垂直方向の１：２のアップサンプリング処理を行う。そして、垂直アップサンプリング部Ｕｖ２３は、処理後のデータを、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２３に出力する。
【０１１６】
垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３は、垂直アップサンプリング部Ｕｖ２３から出力されるデータを入力とし、入力されたデータに対して、２次元画像の垂直方向のハイパスフィルタ処理を行う。そして、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３は、処理後のデータを、乗算器Ｍｘ２３に、データｔｍｐ＿ＨＨ（０）として、出力する。
【０１１７】
乗算器Ｍｘ２３は、垂直ハイパスフィルタ部ＨＰＦｕ＿ｖ２３から出力されるデータｔｍｐ＿ＨＨ（０）と、第３係数取得部２３から出力される第３係数ｋＨＨを入力する。乗算器Ｍｘ２３は、データＨＨ（０）と、第３係数ｋＨＨとを用いて、乗算処理を行い、当該乗算処理の結果を、データＨＨ’（０）として、サブバンド合成部３に出力する。
【０１１８】
サブバンド合成部３は、画像データＤｉｎ（ＬＬ（０））と、予測部２から出力されるデータＤ＿ｅｓｔとを入力する。サブバンド合成部３は、画像ＤｉｎおよびデータＤ＿ｅｓｔに基づいて、原画像Ｄｉｎ（ＬＬ（０））に対して、２倍の解像度に拡張した超解像画像ＬＬ（−１）を画像データＤｏｕｔとして取得する。
【０１１９】
＜１．２：超解像画像生成装置の動作＞
以上のように構成された超解像画像生成装置１００の動作について、以下、説明する。
【０１２０】
以下では、図４の原画像ＬＬ（０）が、画像データＤｉｎとして、超解像画像生成装置１００に入力され、超解像画像生成装置１００で処理される場合（一例）について、説明する。
【０１２１】
画像データＤｉｎ（原画像ＬＬ（０））が、サブバンド分割部１に入力される。より具体的には、画像データＤｉｎ（原画像ＬＬ（０））は、サブバンド分割部１の第１分割部１１の垂直ローパスフィルタ部ＬＰＦ＿ｖ１および垂直ハイパスフィルタ部ＨＰＦ＿ｖ１に入力される。
【０１２２】
垂直ローパスフィルタ部ＬＰＦ＿ｖ１は、入力画像データＤｉｎ（原画像ＬＬ（０））に対して、垂直ローパスフィルタ処理を実行し、垂直ローパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ１１に出力する。
【０１２３】
垂直ダウンサンプリング部Ｄｖ１１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。つまり、垂直ダウンサンプリング部Ｄｖ１１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）の水平ライン（行データ）を２本に１本の割合で間引く処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ１１は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ１１および水平ハイパスフィルタ部ＨＰＦ＿ｈ１２に出力する。
【０１２４】
水平ローパスフィルタ部ＬＰＦ＿ｈ１１は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１１に出力する。
【０１２５】
水平ダウンサンプリング部Ｄｈ１１は、水平ローパスフィルタ部ＬＰＦ＿ｈ１１からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。つまり、水平ダウンサンプリング部Ｄｈ１１は、水平ローパスフィルタ部ＬＰＦ＿ｈ１１から出力されるデータ（画像データ）の垂直方向に配置されている画素列（列データ）を２列に１列の割合で間引く処理（２：１の水平ダウンサンプリング処理）を実行する。そして、水平ダウンサンプリング部Ｄｈ１１は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＬ（１）として、第２分割部１２に出力する。
【０１２６】
水平ハイパスフィルタ部ＨＰＦ＿ｈ１２は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１２に出力する。
【０１２７】
水平ダウンサンプリング部Ｄｈ１２は、水平ハイパスフィルタ部ＨＰＦ＿ｈ１２からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１２は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＬ（１）として、予測部２に出力する。
【０１２８】
垂直ハイパスフィルタ部ＨＰＦ＿ｖ１は、入力画像データＤｉｎ（原画像ＬＬ（０））に対して、垂直ハイパスフィルタ処理を実行し、垂直ハイパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ１２に出力する。
【０１２９】
垂直ダウンサンプリング部Ｄｖ１２は、垂直ローパスフィルタ部ＬＰＦ＿ｖ１から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ１２は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ１３および水平ハイパスフィルタ部ＨＰＦ＿ｈ１４に出力する。
【０１３０】
水平ローパスフィルタ部ＬＰＦ＿ｈ１３は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１３に出力する。
【０１３１】
水平ダウンサンプリング部Ｄｈ１３は、水平ローパスフィルタ部ＬＰＦ＿ｈ１３からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１３は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＨ（１）として、予測部２に出力する。
【０１３２】
水平ハイパスフィルタ部ＨＰＦ＿ｈ１４は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ１４に出力する。
【０１３３】
水平ダウンサンプリング部Ｄｈ１４は、水平ハイパスフィルタ部ＨＰＦ＿ｈ１４からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ１４は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＨ（１）として、予測部２に出力する。
【０１３４】
サブバンド画像データＬＬ（１）は、図２、図３に示すように、第１分割部１１から、第２分割部１２の水平ローパスフィルタ部ＬＰＦ＿ｖ２および水平ハイパスフィルタ部ＨＰＦ＿ｖ２に入力される。
【０１３５】
垂直ローパスフィルタ部ＬＰＦ＿ｖ２は、入力される画像データＬＬ（１）に対して、垂直ローパスフィルタ処理を実行し、垂直ローパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ２１に出力する。
【０１３６】
垂直ダウンサンプリング部Ｄｖ２１は、垂直ローパスフィルタ部ＬＰＦ＿ｖ２から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ２１は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ２１および水平ハイパスフィルタ部ＨＰＦ＿ｈ２２に出力する。
【０１３７】
水平ローパスフィルタ部ＬＰＦ＿ｈ２１は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２１に出力する。
【０１３８】
水平ダウンサンプリング部Ｄｈ２１は、水平ローパスフィルタ部ＬＰＦ＿ｈ２１からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。つまり、水平ダウンサンプリング部Ｄｈ２１は、水平ローパスフィルタ部ＬＰＦ＿ｈ２１から出力されるデータ（画像データ）の垂直方向に配置されている画素列（列データ）を２列に１列の割合で間引く処理（２：１の水平ダウンサンプリング処理）を実行する。そして、水平ダウンサンプリング部Ｄｈ２１は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＬ（２）として取得する。
【０１３９】
水平ハイパスフィルタ部ＨＰＦ＿ｈ２２は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２２に出力する。
【０１４０】
水平ダウンサンプリング部Ｄｈ２２は、水平ハイパスフィルタ部ＨＰＦ＿ｈ２２からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２２は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＬ（２）として、予測部２に出力する。
【０１４１】
垂直ハイパスフィルタ部ＨＰＦ＿ｖ２は、入力される画像データＬＬ（１）に対して、垂直ハイパスフィルタ処理を実行し、垂直ハイパスフィルタ処理後のデータ（画像データ）を垂直ダウンサンプリング部Ｄｖ２２に出力する。
【０１４２】
垂直ダウンサンプリング部Ｄｖ２２は、垂直ローパスフィルタ部ＬＰＦ＿ｖ２から出力されるデータ（画像データ）に対して、２：１の垂直ダウンサンプリング処理を実行する。そして、垂直ダウンサンプリング部Ｄｖ２２は、２：１の垂直ダウンサンプリング処理後の画像データを、水平ローパスフィルタ部ＬＰＦ＿ｈ２３および水平ハイパスフィルタ部ＨＰＦ＿ｈ２４に出力する。
【０１４３】
水平ローパスフィルタ部ＬＰＦ＿ｈ２３は、入力された画像データに対して水平ローパスフィルタ処理を施し、水平ローパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２３に出力する。
【０１４４】
水平ダウンサンプリング部Ｄｈ２３は、水平ローパスフィルタ部ＬＰＦ＿ｈ２３からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２３は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＬＨ（２）として、予測部２に出力する。
【０１４５】
水平ハイパスフィルタ部ＨＰＦ＿ｈ２４は、入力された画像データに対して水平ハイパスフィルタ処理を施し、水平ハイパスフィルタ処理後の画像データを水平ダウンサンプリング部Ｄｈ２４に出力する。
【０１４６】
水平ダウンサンプリング部Ｄｈ２４は、水平ハイパスフィルタ部ＨＰＦ＿ｈ２４からの画像データに対して、２：１の水平ダウンサンプリング処理を実行する。そして、水平ダウンサンプリング部Ｄｈ２４は、２：１の水平ダウンサンプリング処理後の画像データを、画像データＨＨ（２）として、予測部２に出力する。
【０１４７】
上記のようにして取得されたデータＤ１（ＨＬ（１）、ＬＨ（１）、ＨＨ（１）、ＨＬ（２）、ＬＨ（２）、ＨＨ（２））（図５の右側に示したデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ２を参照）は、サブバンド分割部１から、予測部２に出力される。
【０１４８】
予測部２は、データＤ１に基づいて、予測処理を実行し、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）に対してサブバンド分割処理（サブバンド符号化処理）を実行したときのサブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
【０１４９】
予測部２で実行される予測処理について、図６を用いて説明する。
【０１５０】
図６は、予測部２で実行される予測処理を説明するための図である。図６の左図は、データＤ１、すなわち、原画像Ｄｉｎ（ＬＬ（０））に対して、２回サブバンド分割処理（サブバンド符号化処理）を実行して取得される周波数領域のスペクトルデータ（ウェーブレット変換による周波数領域のスペクトルデータ）である。図６の右図は、データＤ１を拡張した周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３を示す図である。つまり、周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３に対して、サブバンド合成処理（逆ウェーブレット変換）を施すことで、原画像Ｄｉｎ（ＬＬ（０））の２倍の解像度の画像ＬＬ（−１）が取得される。
【０１５１】
ここで、ｍ画素×ｎ画素からなるサブバンド画像Ｂ（サブバンド領域Ｂ）に含まれる画素の画素値をＣｉｊとし、サブバンド画像Ｂ（サブバンド領域Ｂ）の平均エネルギーをＥｍｅａｎとすると、サブバンド画像Ｂ（サブバンド領域Ｂ）の平均エネルギーをＥｍｅａｎは、下記数式により算出される。
【数１】
2018169948.tif 000003
ａｂｓ（ｘ）：ｘの絶対値をとる関数
予測部２の第１係数取得部２１は、データＨＬ（１）からＥｍｅａｎ（ＨＬ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＬ（１）である。
【０１５２】
また、予測部２の第１係数取得部２１は、データＨＬ（２）からＥｍｅａｎ（ＨＬ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＬ（２）である。
【０１５３】
そして、第１係数取得部２１は、係数ｋＨＬを
ｋＨＬ＝Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））
により取得する。
【０１５４】
そして、第１係数取得部２１は、取得した係数ｋＨＬを乗算器Ｍｘ２１に出力する。
【０１５５】
予測部２の第２係数取得部２２は、データＬＨ（１）からＥｍｅａｎ（ＬＨ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＬＨ（１）である。
【０１５６】
また、予測部２の第２係数取得部２２は、データＬＨ（２）からＥｍｅａｎ（ＬＨ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＬＨ（２）である。
【０１５７】
そして、第２係数取得部２２は、係数ｋＬＨを
ｋＬＨ＝Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））
により取得する。
【０１５８】
そして、第２係数取得部２２は、取得した係数ｋＬＨを乗算器Ｍｘ２２に出力する。
【０１５９】
予測部２の第３係数取得部２３は、データＨＨ（１）からＥｍｅａｎ（ＨＨ（１））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＨ（１）である。
【０１６０】
また、予測部２の第３係数取得部２３は、データＨＨ（２）からＥｍｅａｎ（ＨＨ（２））を算出する。なお、このとき、上式のサブバンド領域Ｂは、図５の右図のサブバンド領域ＨＨ（２）である。
【０１６１】
そして、第３係数取得部２３は、係数ｋＨＨを
ｋＨＨ＝Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））
により取得する。
【０１６２】
そして、第３係数取得部２３は、取得した係数ｋＨＨを乗算器Ｍｘ２３に出力する。
【０１６３】
予測部２では、データＨＬ（１）に対して、水平アップサンプリング部Ｕｈ２１で水平アップサンプリング処理が実行され、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２１で水平ハイパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２１で垂直アップサンプリング処理が実行され、さらに、垂直ローパスフィルタ部ＬＰＦｕ＿ｈ２１で垂直ローパスフィルタ処理が実行されることで、データｔｍｐ＿ＨＬ（０）が取得される。
【０１６４】
そして、乗算器Ｍｘ２１は、
ＨＬ’（０）＝ｋＨＬ×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、データＨＬ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＬ（０）の各画素の画素値に係数ｋＨＬを乗算した値を、サブバンド領域ＨＬ’（０）の各画素の画素値とする処理を意味している。
【０１６５】
図６の右図に示すように、サブバンド領域ＨＬ（２）とサブバンド領域ＨＬ（１）との相関性は、サブバンド領域ＨＬ（１）とサブバンド領域ＨＬ（０）との相関性と類似すると考えられる。
【０１６６】
したがって、サブバンド領域ＨＬ（２）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（２））とサブバンド領域ＨＬ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（１））の比は、サブバンド領域ＨＬ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（１））とサブバンド領域ＨＬ（０）のエネルギーの平均値Ｅｍｅａｎ（ＨＬ（１））の比と類似すると考えられる。つまり、
Ｅｍｅａｎ（ＨＬ（１））／Ｅｍｅａｎ（ＨＬ（２））＝Ｅｍｅａｎ（ＨＬ（０））／Ｅｍｅａｎ（ＨＬ（１））＝ｋＨＬ
と近似することができる。
【０１６７】
したがって、データＨＬ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＨＬ（０）に係数ｋＨＬを乗算することで取得したデータＨＬ’（０）は、データＨＬ（０）の予測データとして高い精度を有するものとなる。
【０１６８】
予測部２では、データＬＨ（１）に対して、水平アップサンプリング部Ｕｈ２２で水平アップサンプリング処理が実行され、水平ローパスフィルタ部ＬＰＦｕ＿ｈ２２で水平ローパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２２で垂直アップサンプリング処理が実行され、さらに、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２２で垂直ハイパスフィルタ処理が実行されることで、データｔｍｐ＿ＬＨ（０）が取得される。
【０１６９】
そして、乗算器Ｍｘ２２は、
ＬＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＬＨ（０）
に相当する処理を実行することで、データＬＨ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＬＨ（０）の各画素の画素値に係数ｋＬＨを乗算した値を、サブバンド領域ＬＨ’（０）の各画素の画素値とする処理を意味している。
【０１７０】
図６の右図に示すように、サブバンド領域ＬＨ（２）とサブバンド領域ＬＨ（１）との相関性は、サブバンド領域ＬＨ（１）とサブバンド領域ＬＨ（０）との相関性と類似すると考えられる。
【０１７１】
したがって、サブバンド領域ＬＨ（２）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（２））とサブバンド領域ＬＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（１））の比は、サブバンド領域ＬＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（１））とサブバンド領域ＬＨ（０）のエネルギーの平均値Ｅｍｅａｎ（ＬＨ（１））の比と類似すると考えられる。つまり、
Ｅｍｅａｎ（ＬＨ（１））／Ｅｍｅａｎ（ＬＨ（２））＝Ｅｍｅａｎ（ＬＨ（０））／Ｅｍｅａｎ（ＬＨ（１））＝ｋＬＨ
と近似することができる。
【０１７２】
したがって、データＬＨ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＬＨ（０）に係数ｋＬＨを乗算することで取得したデータＬＨ’（０）は、データＬＨ（０）の予測データとして高い精度を有するものとなる。
【０１７３】
予測部２では、データＨＨ（１）に対して、水平アップサンプリング部Ｕｈ２３で水平アップサンプリング処理が実行され、水平ハイパスフィルタ部ＨＰＦｕ＿ｈ２３で水平ハイパスフィルタ処理が実行され、垂直アップサンプリング部Ｕｖ２３で垂直アップサンプリング処理が実行され、さらに、垂直ハイパスフィルタ部ＨＰＦｕ＿ｈ２３で垂直ハイパスフィルタ処理が実行されることで、データｔｍｐ＿ＨＨ（０）が取得される。
【０１７４】
そして、乗算器Ｍｘ２３は、
ＨＨ’（０）＝ｋＬＨ×ｔｍｐ＿ＨＨ（０）
に相当する処理を実行することで、データＨＨ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＨ（０）の各画素の画素値に係数ｋＨＨを乗算した値を、サブバンド領域ＨＨ’（０）の各画素の画素値とする処理を意味している。
【０１７５】
図６の右図に示すように、サブバンド領域ＨＨ（２）とサブバンド領域ＨＨ（１）との相関性は、サブバンド領域ＨＨ（１）とサブバンド領域ＨＨ（０）との相関性と類似すると考えられる。
【０１７６】
したがって、サブバンド領域ＨＨ（２）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（２））とサブバンド領域ＨＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（１））の比は、サブバンド領域ＨＨ（１）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（１））とサブバンド領域ＨＨ（０）のエネルギーの平均値Ｅｍｅａｎ（ＨＨ（１））の比と類似すると考えられる。つまり、
Ｅｍｅａｎ（ＨＨ（１））／Ｅｍｅａｎ（ＨＨ（２））＝Ｅｍｅａｎ（ＨＨ（０））／Ｅｍｅａｎ（ＨＨ（１））＝ｋＨＨ
と近似することができる。
【０１７７】
したがって、データＨＨ（１）に対して、アップサンプリング処理、フィルタ処理を施して取得したデータｔｍｐ＿ＨＨ（０）に係数ｋＨＨを乗算することで取得したデータＨＨ’（０）は、データＨＨ（０）の予測データとして高い精度を有するものとなる。
【０１７８】
上記処理により取得されたデータＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）は、予測部２から、サブバンド合成部３に出力される。
【０１７９】
サブバンド合成部３は、画像データＤｉｎ（ＬＬ（０））と、予測部２から出力されるデータＤ＿ｅｓｔ、すなわち、データＨＬ’（０）、ＬＨ’（０）、および、ＨＨ’（０）とを用いて、サブバンド合成処理（逆ウェーブレット変換）を行い、超解像画像ＬＬ（−１）を取得する。つまり、サブバンド合成部３は、
ＬＬ（−１）＝Ｓｂｄ−１｛ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）｝
に相当する処理を実行し、原画像Ｄｉｎ（ＬＬ（０））に対して、２倍の解像度に拡張した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を取得する。
【０１８０】
なお、サブバンド画像ｘ１，ｘ２，ｘ３，ｘ４を用いてサブバンド合成する処理を、Ｓｂｄ−１｛ｘ１，ｘ２，ｘ３，ｘ４｝と表記する。
【０１８１】
図７は、ＬＬ（０），ＨＬ’（０），ＬＨ’（０），ＨＨ’（０）を含む周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４と、スペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ４に対して、サブバンド合成部３によりサブバンド合成処理（逆ウェーブレット変換）を実行して取得した超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）を示している。
【０１８２】
図７から分かるように、超解像画像生成装置１００で上記処理を行うことで、高品質な超解像画像ＬＬ（−１）（＝画像データＤｏｕｔ）が取得される。
【０１８３】
以上のように、超解像画像生成装置１００では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
【０１８４】
つまり、超解像画像生成装置１００では、予測部２が、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するために、同種のサブバンドであって、階層が異なるサブバンド同士の平均エネルギーの比が略一定になると仮定して係数ｋＨＬ、ｋＨＬ、ｋＨＨを取得する。そして、予測部２は、係数ｋＨＬ、ｋＨＬ、ｋＨＨと、サブバンド画像データＨＬ（１）、ＬＨ（１）、ＨＨ（１）からアップサンプリング、フィルタ処理を施して取得したサブバンド画像データｔｍｐ＿ＨＬ（１）、ｔｍｐ＿ＬＨ（１）、ｔｍｐ＿ＨＨ（１）とを用いて乗算処理を行うことで、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
【０１８５】
そして、超解像画像生成装置１００では、サブバンド合成部３が、原画像ＬＬ（０）と、予測部２により取得された予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）とを用いてサブバンド合成処理を行うことで、高精度の超解像画像ＬＬ（−１）を取得する。
【０１８６】
したがって、超解像画像生成装置１００では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。
【０１８７】
［第２実施形態］
次に、第２実施形態について説明する。
【０１８８】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１８９】
図８は、第２実施形態に係る超解像画像生成装置２００の概略構成図である。
【０１９０】
図９は、第１実施形態に係る予測部２の概略構成図である。
【０１９１】
図１０は、予測部２Ａで実行される予測処理を説明するための図である。図１０の左図は、データＤ１、すなわち、原画像Ｄｉｎ（ＬＬ（０））に対して、２回サブバンド分割処理（サブバンド符号化処理）を実行して取得される周波数領域のスペクトルデータ（ウェーブレット変換による周波数領域のスペクトルデータ）である。図１０の右図は、データＤ１を拡張した周波数領域のスペクトルデータＤａｔａ＿ｆｒｅｑ＿ｓｐｅｃｔｒｕｍ３を示す図である。
【０１９２】
第２実施形態の超解像画像生成装置２００は、図８に示すように、第１実施形態の超解像画像生成装置１００において、予測部２を予測部２Ａに置換し、さらに小領域設定部４を追加した構成を有している。
【０１９３】
小領域設定部４は、サブバンド領域内に小領域ＲＫを設定し、設定した小領域ＲＫの情報Ｉｎｆｏ＿ＲＫを予測部２Ａに出力する。
【０１９４】
予測部２Ａは、図９に示すように、第１実施形態の予測部２において、第１係数取得部２１を第１係数取得部２１Ａに置換し、第２係数取得部２２を第２係数取得部２２Ａに置換し、第３係数取得部２３を第３係数取得部２３Ａに置換し、さらに、乗算器Ｍｘ２１を乗算処理部Ｍｘ２１Ａに置換し、乗算器Ｍｘ２２を乗算処理部Ｍｘ２２Ａに置換し、乗算器Ｍｘ２３を乗算処理部Ｍｘ２３Ａに置換した構成を有している。
【０１９５】
第１係数取得部２１Ａは、サブバンド分割部１から出力されるデータＨＬ（１）、ＨＬ（２）と、小領域設定部４から出力される小領域ＲＫの情報Ｉｎｆｏ＿ＲＫの中に含まれるサブバンド領域ＨＬ内に設定された小領域ＲＫ（ＨＬ）の情報とを入力する。第１係数取得部２１Ａは、データＨＬ（１）、ＨＬ（２）と、小領域ＲＫ（ＨＬ）の情報とに基づいて、第１係数ｋＨＬを取得する。
【０１９６】
ここで、本実施形態の超解像画像生成装置２００では、サブバンド領域Ｂ内に小領域（局所領域）ＲＫが設定される。
【０１９７】
そして、超解像画像生成装置２００では、サブバンド領域Ｂ内に設定された小領域（局所領域）ＲＫごとに、平均エネルギーＥｍｅａｎが算出され、算出された平均エネルギーＥｍｅａｎのサブバンドの階層間の比に基づいて、係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）が算出される。
【０１９８】
つまり、第１実施形態の超解像画像生成装置１００では、サブバンド領域Ｂ全体で、平均エネルギーＥｍｅａｎが算出していたが、第２実施形態の超解像画像生成装置２００では、サブバンド領域Ｂ内に設定された小領域（局所領域）ＲＫごとに、平均エネルギーＥｍｅａｎが算出される。この点が相違する。
【０１９９】
具体的に、図１０を参照しながら、サブバンド領域ＨＬ（２）、ＨＬ（１）、ＨＬ（０）に設定された小領域ＲＫ（ＨＬ（２））、ＲＫ（ＨＬ（１））、ＲＫ（ＨＬ（０））を用いて係数ｋＨＬ（ＲＫ）を算出する処理について説明する。
【０２００】
小領域設定部４は、サブバンド領域ＨＬ（２）内にＮ個（Ｎ：自然数）の小領域ＲＫ（ＨＬ（２））（Ｋ：自然数、１≦Ｋ≦Ｎ）を設定する。小領域ＲＫ（ＨＬ（２））の形状は任意の形状（例えば、矩形、円形、楕円形）であってもよく、そのサイズも任意である。
【０２０１】
なお、同種のサブバンド領域において設定される小領域は、当該小領域が含まれるサブバンド領域Ｂ内の相対的な位置関係は、同じである。
【０２０２】
つまり、図１０の右図に示すように、サブバンド領域ＨＬ（２）と、サブバンド領域ＨＬ（２）に設定された小領域ＲＫ（ＨＬ（２））との位置関係、サイズの関係は、サブバンド領域ＨＬ（１）と、サブバンド領域ＨＬ（１）に設定された小領域ＲＫ（ＨＬ（１））との位置関係、サイズの関係と同じである。
【０２０３】
また、サブバンド領域ＨＬ（１）と、サブバンド領域ＨＬ（１）に設定された小領域ＲＫ（ＨＬ（１））との位置関係、サイズの関係は、サブバンド領域ＨＬ（０）と、サブバンド領域ＨＬ（０）に設定された小領域ＲＫ（ＨＬ（０））との位置関係、サイズの関係と同じである。
【０２０４】
そして、上記のように設定された小領域ＲＫ内の平均エネルギーは、下記数式により取得される。
【数２】
2018169948.tif 000004
Ｎｕｍ（ＲＫ）：小領域ＲＫに含まれる画素ｃｉｊの数
第１係数取得部２１Ａは、上記数式により、サブバンド領域ＨＬ（２）の小領域ＲＫ（ＨＬ（２））の平均エネルギーＥｍｅａｎ（Ｒｋ（ＨＬ（２）））と、サブバンド領域ＨＬ（１）の小領域ＲＫ（ＨＬ（１））の平均エネルギーＥｍｅａｎ（Ｒｋ（ＨＬ（１）））と算出する。
【０２０５】
そして、第１係数取得部２１Ａは、係数ｋＨＬ（ＲＫ）を、
ｋＨＬ（ＲＫ）＝Ｅｍｅａｎ（Ｒｋ（ＨＬ（１）））／Ｅｍｅａｎ（Ｒｋ（ＨＬ（２）））
により取得する。なお、上記数式の分母Ｅｍｅａｎ（Ｒｋ（ＨＬ（２）））が極端に小さいとき、係数ｋＨＬ（ＲＫ）が大きな値になってしまうので、このような場合、第１係数取得部２１Ａは、クリップ処理を行い、係数ｋＨＬ（ＲＫ）が上限値を超えないようにしてもよい。
【０２０６】
そして、第１係数取得部２１Ａは、取得した係数ｋＨＬ（ＲＫ）を乗算処理部Ｍｘ２１Ａに出力する。
【０２０７】
乗算処理部Ｍｘ２１Ａは、垂直ローパスフィルタ部ＬＰＦｕ＿ｖ２１から出力されるデータｔｍｐ＿ＨＬ（０）と、小領域設定部４から出力される小領域ＲＫの情報Ｉｎｆｏ＿ＲＫの中に含まれるサブバンド領域ＨＬ内に設定された小領域ＲＫ（ＨＬ）の情報と、入力する。また、乗算処理部Ｍｘ２１Ａは、第１係数取得部２１Ａから出力される小領域ＲＫのための係数ｋＨＬ（ＲＫ）を入力する。そして、乗算処理部Ｍｘ２１Ａは、サブバンド領域ＨＬ（０）内に設定された小領域ＲＫ（ＨＬ（０））に対して、係数ｋＨＬ（ＲＫ）を用いて乗算処理を行う。
【０２０８】
つまり、乗算処理部Ｍｘ２１Ａは、
ＨＬ’（０）＝ｋＨＬ（ＲＫ）×ｔｍｐ＿ＨＬ（０）
に相当する処理を実行することで、データＨＬ’（０）を取得する。なお、上記数式に相当する処理とは、サブバンド領域ｔｍｐ＿ＨＬ（０）の小領域ＲＫに含まれる各画素の画素値に係数ｋＨＬを乗算した値を、サブバンド領域ＨＬ’（０）の小領域ＲＫに含まれる各画素の画素値とする処理を意味している。
【０２０９】
図１０の右図に示すように、サブバンド領域ＨＬ（２）内の小領域ＲＫ（ＨＬ（２））とサブバンド領域ＨＬ（１）内の小領域ＲＫ（ＨＬ（１））との相関性は、サブバンド領域ＨＬ（１）内の小領域ＲＫ（ＨＬ（１））とサブバンド領域ＨＬ（０）内の小領域ＲＫ（ＨＬ（０））との相関性と類似すると考えられる。
【０２１０】
したがって、上記のように、サブバンド領域を小領域ごとに分割して、相関性を考慮した係数ｋＨＬ（ＲＫ）を用いた処理を行うことで、より精度の高い予測サブバンド画像ＨＬ’（０）を取得することができる。
【０２１１】
なお、予測部２Ａにおいて、図９に示すように、データＨＬ（２）、ＨＬ（１）から、予測サブバンド画像ＨＬ’（０）を取得する系の処理、および、データＨＨ（２）、ＨＨ（１）から、予測サブバンド画像ＨＨ’（０）を取得する系の処理についても、上記の処理（データＬＨ（２）、ＬＨ（１）から、予測サブバンド画像ＬＨ’（０）を取得する系の処理）と同様である。
【０２１２】
以上のように、超解像画像生成装置２００では、サブバンド分割処理（サブバンド符号化処理）により取得される同種のサブバンドであって、階層が異なるサブバンド同士は相関性が高いことを利用して、原画像Ｄｉｎ（ＬＬ（０））の解像度を２倍に拡張した超解像画像ＬＬ（−１）を取得するために必要となる、サブバンド画像ＨＬ（０）、ＬＨ（０）、ＨＨ（０）の予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得する。
【０２１３】
そして、超解像画像生成装置２００では、サブバンド領域内に設定した小領域ごとに、階層が異なる同種のサブバンド間の相関性を考慮した係数により、予測サブバンド画像ＨＬ’（０）、ＬＨ’（０）、ＨＨ’（０）を取得するので、さらに高精度な処理を実現することができる。
【０２１４】
［第３実施形態］
次に、第３実施形態について説明する。
【０２１５】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０２１６】
図１１は、第３実施形態に係る超解像画像生成装置３００の概略構成図である。
【０２１７】
図１２は、第３実施形態に係る復元率取得部５の概略構成図である。
【０２１８】
図１３は、復元率取得処理を説明するための図である。
【０２１９】
第３実施形態の超解像画像生成装置３００は、第２実施形態の超解像画像生成装置２００において、さらに復元率取得部５を追加した構成を有している。
【０２２０】
復元率取得部５は、図１１、図１２に示すように、画像データＤｉｎ（ＬＬ（０））とサブバンド分割部１から出力されるデータＤ１１（サブバンド画像ＬＬ（１））とを入力する。また、復元率取得部５は、小領域設定部４により設定されたサブバンド内の小領域ＲＫの情報Ｉｎｆｏ＿ＲＫと、予測部２Ａで取得された係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）についての情報（データ）ｋ＿ＲＫとを入力する。
【０２２１】
そして、復元率取得部５は、画像データＤｉｎ（ＬＬ（０））と、データＤ１１（サブバンド画像ＬＬ（１））とに基づいて、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを取得し、取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを小領域設定部４に出力する。
【０２２２】
復元率取得部５は、図１２に示すように、サブバンド分割部５１と、予測部５２と、サブバンド合成部５３と、復元率算出部５４とを備える。
【０２２３】
サブバンド分割部５１は、サブバンド分割部１と同様の構成を有している。
【０２２４】
予測部５２は、予測部２Ａと同様の構成を有している。
【０２２５】
サブバンド合成部５３は、サブバンド合成部３と同様の構成を有している。サブバンド合成部５３は、予測部５２から出力されるデータＤ５＿ｅｓｔ（サブバンドデータＨＬ’（１）、ＬＨ’（１）、および、ＨＨ’（１）を含むベクトルデータ）と、サブバンド分割部１から出力されるサブバンドデータＬＬ（１）とを入力する。サブバンド合成部５３は、サブバンドデータＬＬ（１）、ＨＬ’（１）、ＬＨ’（１）、および、ＨＨ’（１）を用いてサブバンド合成処理を行い、画像データＬＬ’（０）を取得する。そして、サブバンド合成部５３は、取得した画像データＬＬ’（０）を復元率算出部５４に出力する。
【０２２６】
復元率算出部５４は、画像データＤｉｎ（ＬＬ（０））と、サブバンド合成部５３から出力されるサブバンド画像データＬＬ’（０）とを入力する。復元率算出部５４は、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを、
Ｒａｔｅ＿ｒｅｓｔｏｒｅ＝ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））
により、取得する。なお、ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））は、画像ＬＬ’（０）と画像ＬＬ（０）とにおいて、同一座標位置の画素の画素値の差の絶対値を、画像全体について、総和をとったものである。つまり、画像ＬＬ’（０）と画像ＬＬ（０）とが完全同一であれば、ｄｉｆｆ（ＬＬ’（０），ＬＬ（０））の値は「０」になる。
【０２２７】
復元率算出部５４は、上記により取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを小領域設定部４に出力する。
【０２２８】
第３実施形態の超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを算出し、当該復元率が所定の値よりも小さい場合の係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を採用することで、さらに高精度な超解像画像ＬＬ（−１）を取得する。
【０２２９】
超解像画像（ＬＬ（−１））は、原画像（ＬＬ（０））から生成したものであり、存在しない画像を生成しているので、正しい超解像画像（ＬＬ（−１））を観念することができない。
【０２３０】
そこで、本実施形態の超解像画像生成装置３００では、図１３に示すように、原画像（ＬＬ（０））をサブバンド分割処理して取得されるサブバンド画像ＬＬ（１）を仮の原画像とみなし、仮の原画像（ＬＬ（１））に対して、予測部２Ａで実行される処理と同様の処理（係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を用いた処理）を、復元率取得部５で実行し、仮の原画像（ＬＬ（１））から、超解像画像ＬＬ’（０）を取得する。そして、復元率取得部５では、上記のようにして取得した超解像画像ＬＬ’（０）と、原画像（ＬＬ（０））との差がどれくらいであるかを示す復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅを取得する。
【０２３１】
そして、超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値よりも大きい場合、例えば、サブバンド内の小領域ＲＫの大きさを変化させ、上記処理を繰り返し実行する。そして、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値以下となった場合、そのときの係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）により取得された超解像画像ＬＬ（−１）を、超解像画像生成装置３００から出力するようにする。
【０２３２】
このように処理することで、超解像画像生成装置３００では、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅが所定の値以下となる、高精度な超解像画像ＬＬ（−１）を取得することができる。
【０２３３】
したがって、超解像画像生成装置３００では、従来技術のように場合分け処理を行うことなく、シンプルなアルゴリズムで、常に高精度の高解像度画像を取得することができる。
【０２３４】
≪変形例≫
次に、第３実施形態の変形例について、説明する。
【０２３５】
上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０２３６】
図１４は、第３実施形態の変形例に係る超解像画像生成装置３００Ａの概略構成図である。
【０２３７】
図１５は、第３実施形態の変形例に係る復元率取得部５Ａの概略構成図である。
【０２３８】
図１６は、第３実施形態の変形例の復元率取得処理を説明するための図である。
【０２３９】
第３実施形態の変形例の超解像画像生成装置３００Ａは、第３実施形態の超解像画像生成装置３００において、復元率取得部５を復元率取得部５Ａに置換し、小領域設定部４を小領域設定部４Ａに置換した構成を有している。
【０２４０】
復元率取得部５Ａは、図１４、図１５に示すように、画像データＤｉｎ（ＬＬ（０））とサブバンド分割部１から出力されるデータＤ１１Ａ（サブバンド画像ＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１））とを入力する。また、復元率取得部５Ａは、小領域設定部４Ａにより設定されたサブバンド内の小領域ＲＫの情報Ｉｎｆｏ＿ＲＫと、予測部２Ａで取得された係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）についての情報（データ）ｋ＿ＲＫとを入力する。
【０２４１】
そして、復元率取得部５Ａは、画像データＤｉｎ（ＬＬ（０））と、データＤ１１Ａ（サブバンド画像ＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１））とに基づいて、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅおよびサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）を取得し、取得した復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅおよびサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂを小領域設定部４Ａに出力する。
【０２４２】
復元率取得部５は、図１５に示すように、サブバンド分割部５１と、予測部５２と、サブバンド合成部５３と、復元率算出部５４と、第１サブバンド復元率算出部５５と、第２サブバンド復元率算出部５６と、第３サブバンド復元率算出部５７と、を備える。
【０２４３】
サブバンド分割部５１、予測部５２、サブバンド合成部５３、および、復元率算出部５４は、第３実施形態のものと同様である。
【０２４４】
第１サブバンド復元率算出部５５は、サブバンド分割部１から出力されるサブバンドデータＨＬ（１）（サブバンド画像ＨＬ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＨＬ’（１）とを入力する。
【０２４５】
第１サブバンド復元率算出部５５は、第１サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＬを、
Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＝ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））
により、取得する。なお、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））は、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とが完全同一であれば、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＨＬ’（１）とサブバンド画像ＨＬ（１）とを用いて、ｄｉｆｆ（ＨＬ’（１），ＨＬ（１））が算出される。
【０２４６】
第１サブバンド復元率算出部５５は、上記により取得した第１サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＬを小領域設定部４Ａに出力する。
【０２４７】
第２サブバンド復元率算出部５６は、サブバンド分割部１から出力されるサブバンドデータＬＨ（１）（サブバンド画像ＬＨ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＬＨ’（１）とを入力する。
【０２４８】
第２サブバンド復元率算出部５６は、第２サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＬＨを、
Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＝ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））
により、取得する。なお、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））は、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＨ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＨ（１）とが完全同一であれば、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＬＨ’（１）とサブバンド画像ＬＬ（１）とを用いて、ｄｉｆｆ（ＬＨ’（１），ＬＨ（１））が算出される。
【０２４９】
第２サブバンド復元率算出部５６は、上記により取得した第２サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＬＨを小領域設定部４Ａに出力する。
【０２５０】
第３サブバンド復元率算出部５７は、サブバンド分割部１から出力されるサブバンドデータＨＨ（１）（サブバンド画像ＨＨ（１））と、予測部５２から出力されるサブバンドデータサブバンドデータＨＨ’（１）とを入力する。
【０２５１】
第３サブバンド復元率算出部５７は、第３サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを、
Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＝ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））
により、取得する。なお、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））は、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とにおいて、同一座標位置の画素の画素値の差の絶対値を、サブバンド画像全体について、総和をとったものである。つまり、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とが完全同一であれば、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））の値は「０」になる。例えば、図１６に示した、サブバンド画像ＨＨ’（１）とサブバンド画像ＨＨ（１）とを用いて、ｄｉｆｆ（ＨＨ’（１），ＨＨ（１））が算出される。
【０２５２】
第３サブバンド復元率算出部５７は、上記により取得した第３サブバンド復元率Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを小領域設定部４Ａに出力する。
【０２５３】
小領域設定部４Ａは、復元率取得部５Ａから出力される復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とを入力する。
【０２５４】
そして、小領域設定部４Ａは、例えば、閾値をＴｈ１、Ｔｈ２、Ｔｈ３とすると、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とが以下の条件を満たすか否かを判定する。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＜Ｔｈ２
（３）Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＜Ｔｈ３
（４）Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＜Ｔｈ４
小領域設定部４Ａは、上記条件を満たすと判定した場合、設定されている係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を最適係数として設定する。
【０２５５】
そして、超解像画像生成装置３００Ａは、上記最適係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）により取得される超解像画像ＬＬ（−１）を、超解像画像生成装置３００から出力するようにする。
【０２５６】
一方、上記条件を満たさない場合、小領域設定部４Ａは、例えば、サブバンド内の小領域ＲＫの大きさを変化させ、上記処理を繰り返し実行する。
【０２５７】
なお、上記条件は、例えば、以下の条件に置換してもよい。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ＋Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ＋Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ＜Ｔｈ５
Ｔｈ５：閾値
また、上記条件は、例えば、以下の条件に置換してもよい。
（１）Ｒａｔｅ＿ｒｅｓｔｏｒｅ＜Ｔｈ１
（２）Ａｖｅ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ，Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ，Ｒａｔｅ＿ｒｓｔｒ＿ＨＨ）＜Ｔｈ６
Ｔｈ６：閾値
Ａｖｅ（ｘ，ｙ，ｚ）：ｘ，ｙ，ｚの平均値をとる関数
以上のように、超解像画像生成装置３００Ａでは、画像全体の復元率である復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド領域ごとの復元率であるサブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂ（Ｒａｔｅ＿ｒｓｔｒ＿ＨＬ、Ｒａｔｅ＿ｒｓｔｒ＿ＬＨ、および、Ｒａｔｅ＿ｒｓｔｒ＿ＨＨを含むベクトルデータ）とに基づいて、サブバンド内の小領域ＲＫの大きさを調整する。そして、超解像画像生成装置３００Ａでは、復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅと、サブバンド復元率Ｒａｔｅ＿ｒｅｓｔｏｒｅ＿ｓｕｂとを考慮することで、最適なサブバンド内の小領域ＲＫを設定することができ、設定されたサブバンド内の小領域ＲＫを用いて、超解像画像生成処理を行うことで、超解像画像生成装置３００Ａでは、高精度な超解像画像ＬＬ（−１）を取得することができる。
【０２５８】
［他の実施形態］
上記実施形態を組み合わせて、超解像画像生成装置を構成するようにしてもよい。
【０２５９】
また、上記実施形態において、係数ｋＨＬ、ｋＬＨ、ｋＨＨ、または、係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を算出する処理において、サブバンド領域、あるいは、サブバンド領域の小領域の平均エネルギー値を、各画素の画素値（スペクトル値）の絶対値の平均値を求めることで取得したが、これに限定されることはなく、例えば、サブバンド領域、あるいは、サブバンド領域の小領域の平均エネルギー値を、各画素の画素値（スペクトル値）の平方根、２乗値、あるいは、それらの平均値として、取得するようにしてもよい。
【０２６０】
また、第１実施形態において、係数ｋＨＬ、ｋＬＨ、ｋＨＨを、同種のサブバンド領域の階層間の平均エネルギーの比により算出する場合について説明したが、これに限定されることはなく、例えば、以下のようにして、係数ｋＨＬ、ｋＬＨ、ｋＨＨを取得するようにしてもよい。
【０２６１】
例えば、サブバンド領域ＨＬ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＬ（２））とし、サブバンド領域ＨＬ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＬ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＬ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＨＬ（１）），Ｐｈｙ（ＨＬ（２）））
として、係数ｋＨＬが取得されるものであってもよい。なお、ｎｏｎ＿ｆ（ｘ，ｙ）は、同種のサブバンド領域の階層間の相関性を示す値を返す非線形の関数である。
【０２６２】
サブバンド領域ＬＨ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＬＨ（２））とし、サブバンド領域ＬＨ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＬＨ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＬＨ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＬＨ（１）），Ｐｈｙ（ＬＨ（２）））
として、係数ｋＬＨが取得されるものであってもよい。
【０２６３】
サブバンド領域ＨＨ（２）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＨ（２））とし、サブバンド領域ＨＨ（１）に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＨＨ（１））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＨ＝ｎｏｎ＿ｆ（Ｐｈｙ（ＨＨ（１）），Ｐｈｙ（ＨＨ（２）））
として、係数ｋＨＨが取得されるものであってもよい。
【０２６４】
また、第２実施形態において、小領域ＲＫ内の画素に対する処理に適用する係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を、同種のサブバンド領域の階層間の対応する小領域ＲＫの平均エネルギーの比により算出する場合について説明したが、これに限定されることはなく、例えば、以下のようにして、係数ｋＨＬ（ＲＫ）、ｋＬＨ（ＲＫ）、ｋＨＨ（ＲＫ）を取得するようにしてもよい。
【０２６５】
例えば、サブバンド領域ＨＬ（２）の小領域ＲＫ（ＨＬ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＬ（２）））とし、サブバンド領域ＨＬ（１）の小領域ＲＫ（ＨＬ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＬ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＬ（ＲＫ）＝ｎｏｎ＿ｆ（Ｐｈｙ（ＲＫ（ＨＬ（１））），Ｐｈｙ（ＲＫ（ＨＬ（２））））
として、係数ｋＨＬ（ＲＫ）が取得されるものであってもよい。なお、ｎｏｎ＿ｆ（ｘ，ｙ）は、同種のサブバンド領域の階層間の相関性を示す値を返す非線形の関数である。
【０２６６】
サブバンド領域ＬＨ（２）の小領域ＲＫ（ＬＨ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＬＨ（２）））とし、サブバンド領域ＬＨ（１）の小領域ＲＫ（ＬＨ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＬＨ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＬＨ（ＲＫ）＝ｎｏｎ＿ｆ（Ｐｈｙ（ＲＫ（ＬＨ（１））），Ｐｈｙ（ＲＫ（ＬＨ（２））））
として、係数ｋＬＨ（ＲＫ）が取得されるものであってもよい。
【０２６７】
サブバンド領域ＨＨ（２）の小領域ＲＫ（ＨＨ（２））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＨ（２）））とし、サブバンド領域ＨＨ（１）の小領域ＲＫ（ＨＨ（１））に含まれる画素の画素値から導出される所定の物理量をＰｈｙ（ＲＫ（ＨＨ（１）））とし、非線形関数ｎｏｎ＿ｆ（ｘ，ｙ）とすると、
ｋＨＨ（ＲＫ）＝ｎｏｎ＿ｆ（Ｐｈｙ（ＲＫ（ＨＨ（１））），Ｐｈｙ（ＲＫ（ＨＨ（２））））
として、係数ｋＨＨ（ＲＫ）が取得されるものであってもよい。
【０２６８】
また、上記実施形態では、超解像画像生成装置において、輝度信号についてのみ処理を行う場合について、説明したが、これに限定されることはなく、ＲＧＢ色空間の画素値、ＹＵＶ色空間の画素値等について、超解像画像を取得する処理を実行するようにしてもよい。
【０２６９】
また、上記実施形態において、サブバンド分割処理で用いられるローパスフィルタ処理の伝達関数Ｇ（ｚ）、ハイパスフィルタ処理の伝達関数Ｈ（ｚ）、および、サブバンド合成処理で用いられるローパスフィルタ処理の伝達関数Ｐ（ｚ）、ハイパスフィルタ処理の伝達関数Ｑ（ｚ）は、例えば、以下のようなものであってもよい。
Ｇ（ｚ）＝（１＋ｚ−１）／ｓｑｒｔ（２）
Ｈ（ｚ）＝（１−ｚ−１）／ｓｑｒｔ（２）
Ｐ（ｚ）＝（１＋ｚ−１）／ｓｑｒｔ（２）
Ｈ（ｚ）＝（１−ｚ−１）／ｓｑｒｔ（２）
ｓｑｒｔ（ｘ）：ｘの平方根を返す関数
なお、サブバンド分割処理で用いられるローパスフィルタ処理の伝達関数Ｇ（ｚ）、ハイパスフィルタ処理の伝達関数Ｈ（ｚ）、および、サブバンド合成処理で用いられるローパスフィルタ処理の伝達関数Ｐ（ｚ）、ハイパスフィルタ処理の伝達関数Ｑ（ｚ）は、他の特性のものであってもよい。
【０２７０】
また、上記実施形態で説明した超解像画像生成装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【０２７１】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２７２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０２７３】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０２７４】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【０２７５】
例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図１７に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
【０２７６】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０２７７】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０２７８】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０２７９】
また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。
【０２８０】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【０２８１】
１００、２００、３００、３００Ａ  超解像画像生成装置
１  サブバンド分割部
２、２Ａ  予測部
３  サブバンド合成部
４  小領域設定部
５、５Ａ  復元率取得部
５４  復元率算出部
５５  第１サブバンド復元率算出部
５６  第２サブバンド復元率算出部
５７  第３サブバンド復元率算出部
【図１】
2018169948.tif 000005
【図２】
2018169948.tif 000006
【図３】
2018169948.tif 000007
【図４】
2018169948.tif 000008
【図５】
2018169948.tif 000009
【図６】
2018169948.tif 000010
【図７】
2018169948.tif 000011
【図８】
2018169948.tif 000012
【図９】
2018169948.tif 000013
【図１０】
2018169948.tif 000014
【図１１】
2018169948.tif 000015
【図１２】
2018169948.tif 000016
【図１３】
2018169948.tif 000017
【図１４】
2018169948.tif 000018
【図１５】
2018169948.tif 000019
【図１６】
2018169948.tif 000020
【図１７】
2018169948.tif 000021