(57)【特許請求の範囲】
【請求項１】
原画像の縮小画像を超解像処理した超解像画像群の生成に用いられる超解像パラメータ群から最適な超解像パラメータを判定する超解像パラメータ判定装置であって、
原画像を時間方向及び空間方向に周波数分解して周波数帯域毎の分解画像を生成する時空間周波数解析部と、
周波数帯域毎に、前記分解画像における孤立点要素を検出する帯域毎孤立点要素検出部と、
周波数帯域毎に、前記孤立点要素の値が所定の雑音閾値を超える孤立点要素を雑音要素と決定する帯域毎雑音要素情報生成部と、
所定数以上の周波数帯域にわたって前記雑音要素を有する画素を原画像の雑音画素と決定し、該雑音画素を除いて原画像と超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する最適超解像パラメータ検出部と、
を備えることを特徴とする超解像パラメータ判定装置。
【請求項２】
前記周波数帯域毎の孤立点要素に基づいて周波数帯域毎の雑音レベルを検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値を決定する帯域毎雑音閾値決定部を更に備え、
前記帯域毎雑音要素情報生成部は、前記孤立点要素の値が前記帯域毎雑音閾値決定部により決定された雑音閾値を超える孤立点要素を雑音要素と決定することを特徴とする、請求項１に記載の超解像パラメータ判定装置。
【請求項３】
前記帯域毎雑音閾値決定部は、前記周波数帯域毎の孤立点要素のＲＭＳ値を周波数帯域毎の雑音レベルとして検出することを特徴とする、請求項２に記載の超解像パラメータ判定装置。
【請求項４】
前記時空間周波数解析部は、原画像を高周波側にオクターブ分解するウェーブレットパケット分解を行うことを特徴とする、請求項１から３のいずれか一項に記載の超解像パラメータ判定装置。
【請求項５】
請求項１又は２に記載の超解像パラメータ判定装置と、
原画像の縮小画像を生成する縮小画像生成部と、
前記縮小画像を超解像処理して縮小画像の超解像画像を生成する超解像処理部と、
を備え、
前記最適超解像パラメータ検出部は、前記雑音画素を除いて原画像と前記超解像処理部により生成された超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定することを特徴とする画像縮小装置。
【請求項６】
コンピュータを、請求項１から４のいずれか一項に記載の超解像パラメータ判定装置として機能させるためのプログラム。
【請求項７】
コンピュータを、請求項５に記載の画像縮小装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像画像群の生成に用いられる超解像パラメータ群から最適な超解像パラメータを判定する超解像パラメータ判定装置、該超解像パラメータ判定装置を有する画像縮小装置、及びこれらのプログラムに関するものである。
【背景技術】
【０００２】
近年、撮像装置及び表示装置の高精細化が進んでおり、いわゆる４Ｋシステムと呼ばれるデジタルシネマのような高精細映像、又は８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像は、従来のハイビジョン（ＨＤＴＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。高精細画像は膨大な情報量を持つため、送信装置側では低解像度の画像を送信し、受信装置側で低解像度の画像から高解像度の画像（超解像画像）を生成する高解像化技術が研究されている。
【０００３】
送信装置は低解像度の画像とともに、超解像画像を生成するための超解像パラメータを受信装置に送信し、受信装置は受信した低解像度の画像から超解像パラメータを用いて超解像画像を生成する。超解像パラメータとしては、例えば超解像度変換処理の強さを設定し、超解像パラメータ値が大きいほど鮮鋭化のゲインを高く、超解像度変換処理を強くする技術が知られている（例えば、特許文献１参照）。
【０００４】
また、原画像を基準として、原画像と超解像画像の差分が最小となる超解像パラメータを判定する技術が知られている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４４４４３５４号公報
【非特許文献】
【０００６】
【非特許文献１】Y.Matsuo, T.Misu, S.Sakaida, Y.Shishikui, “Video Coding with Wavelet Image Size Reduction and Wavelet Super Resolution Reconstruction,” Proceedings of 18thIEEE International Conference on Image Processing (ICIP2011), MG.PG.6, p.1181-1184, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術では、放送波の種類に応じて超解像パラメータを設定する。例えば、ＣＳ放送はＢＳ放送に比べて情報量が少なく、強度な超解像度変換処理を行うと、鮮明化の効果に対してノイズの増加が大きくなってしまうため、ＣＳ放送の場合には超解像パラメータをＢＳ放送の場合よりも小さな値とする。つまり、超解像パラメータ判定の基準に放送波の種類を用いている。しかし、特に原画像に近い超解像画像を得るためには、放送波の種類に応じて超解像パラメータを判定するのみでは不十分であった。
【０００８】
また、非特許文献１に記載の技術では、単純に原画像と超解像画像の差分が最小となる超解像パラメータを、最適な超解像パラメータとして設定する。しかし、この手法では、特に原画像のＳＮ比（信号対雑音比）が低い場合に、雑音成分の影響により最適な超解像パラメータを高い精度で判定することができなかった。
【０００９】
本発明は、上述の課題を鑑みて為されたものであり、超解像画像の生成に用いられる超解像パラメータのうち最適なパラメータを高い確度で判定することが可能な超解像パラメータ判定装置、画像縮小装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る超解像パラメータ判定装置は、原画像の縮小画像を超解像処理した超解像画像群の生成に用いられる超解像パラメータ群から最適な超解像パラメータを判定する超解像パラメータ判定装置であって、原画像を時間方向及び空間方向に周波数分解して周波数帯域毎の分解画像を生成する時空間周波数解析部と、周波数帯域毎に、前記分解画像における孤立点要素を検出する帯域毎孤立点要素検出部と、周波数帯域毎に、前記孤立点要素の値が所定の雑音閾値を超える孤立点要素を雑音要素と決定する帯域毎雑音要素情報生成部と、所定数以上の周波数帯域にわたって前記雑音要素を有する画素を原画像の雑音画素と決定し、該雑音画素を除いて原画像と超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する最適超解像パラメータ検出部と、を備えることを特徴とする。
【００１１】
さらに、本発明に係る超解像パラメータ判定装置において、前記周波数帯域毎の孤立点要素に基づいて周波数帯域毎の雑音レベルを検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値を決定する帯域毎雑音閾値決定部を更に備え、前記帯域毎雑音要素情報生成部は、前記孤立点要素の値が前記帯域毎雑音閾値決定部により決定された雑音閾値を超える孤立点要素を雑音要素と決定することを特徴とする。
【００１２】
さらに、本発明に係る超解像パラメータ判定装置において、前記帯域毎雑音閾値決定部は、前記周波数帯域毎の孤立点要素のＲＭＳ値を周波数帯域毎の雑音レベルとして検出することを特徴とする。
【００１３】
さらに、本発明に係る超解像パラメータ判定装置において、前記時空間周波数解析部は、原画像を高周波側にオクターブ分解するウェーブレットパケット分解を行うことを特徴とする。
【００１４】
また、上記課題を解決するため、本発明に係る画像縮小装置は、上記超解像パラメータ判定装置と、原画像の縮小画像を生成する縮小画像生成部と、前記縮小画像を超解像処理して縮小画像の超解像画像を生成する超解像処理部と、を備え、前記最適超解像パラメータ検出部は、前記雑音画素を除いて原画像と前記超解像処理部により生成された超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定することを特徴とする。
【００１５】
また、上記課題を解決するため、本発明に係る超解像パラメータ判定プログラムは、コンピュータを、上述した超解像パラメータ判定装置又は画像縮小装置として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、原画像の雑音位置をマスクして原画像と超解像画像を比較するため、超解像画像の生成に用いられる超解像パラメータのうち最適なパラメータを高い確度で判定することができるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る実施例１の超解像パラメータ判定装置の概略構成を示すブロック図である。
【図２】本発明に係る実施例１の超解像パラメータ判定装置における時空間周波数解析部によるウェーブレットパケット分解の分解図の一例を示す図である。
【図３】本発明に係る実施例１の超解像パラメータ判定装置における最適超解像パラメータ検出部の概略構成を説明する図である。
【図４】本発明に係る実施例１の超解像パラメータ判定装置における雑音画素情報生成部の処理を説明する図である。
【図５】本発明に係る実施例２の超解像パラメータ判定装置の構成例を示すブロック図である。
【図６】本発明に係る実施例２の超解像パラメータ判定装置における帯域毎雑音閾値決定部の第１の構成例を示すブロック図である。
【図７】本発明に係る実施例２の超解像パラメータ判定装置における帯域毎雑音閾値決定部の第２の構成例を示すブロック図である。
【図８】本発明に係る実施例３の画像縮小装置の構成例を示すブロック図である。
【図９】本発明に係る実施例３の画像縮小装置における超解像処理部の構成例を示すブロック図である。
【図１０】本発明に係る実施例３の画像縮小装置における超解像処理部の動作を説明する図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【実施例１】
【００１９】
本発明に係る実施例１の超解像パラメータ判定装置について、以下に説明する。図１は、本発明に係る実施例１の超解像パラメータ判定装置の構成例を示すブロック図である。図１に示すように、超解像パラメータ判定装置１は、時空間周波数解析部１１と、帯域毎孤立点要素検出部１２と、帯域毎雑音要素情報生成部１３と、最適超解像パラメータ検出部１４と、を備える。
【００２０】
時空間周波数解析部１１は、原画像を時間方向にｎｔ階、空間方向にｎｓ階の周波数分解（例えば、オクターブ分解）を行い、周波数帯域毎の分解画像（周波数分解画像）を生成する。そして、周波数分解画像を帯域毎孤立点要素検出部１２に出力する。分解回数ｎｔ，ｎｓは予め設定される。以下では、説明の便宜上、周波数分解画像のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。
【００２１】
図２は、原画像を空間高周波側にオクターブ分解するウェーブレットパケット分解の分解図の一例を示す図である。図２ではｎｔ＝１、ｎｓ＝２の場合を示しており、左側に時間低周波成分、右側に時間高周波成分の分解図を示している。また、図２に示す分解図では、空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。白色雑音成分は、信号成分よりも時空間高周波帯域に成分を持ちやすく、図２では斜線で示した時空間高周波帯域により多くの白色雑音成分が含まれる。そこで、時空間周波数解析部１１は雑音成分を高精度に判別するために、周波数分解として原画像を高周波側にオクターブ分解するウェーブレットパケット分解を行うのが好適である。
【００２２】
図２では説明の便宜上、デジメーション有りでウェーブレットパケット分解を行った場合の分解図を示している。オクターブ分解では一般的にデシメーションされることが多いが、後述する最適超解像パラメータ検出部１４において高精度に（画素単位で）雑音画素をマスクすることができるようにするために、デジメーション無しで周波数分解を行い、生成される周波数分解画像のサイズを同一とするのが好適である。
【００２３】
帯域毎孤立点要素検出部１２は、時空間周波数解析部１１により生成された周波数分解画像の各周波数帯域において孤立点要素を検出し、孤立点要素の位置及び値を示す孤立点要素情報を生成する。そして、周波数帯域毎の孤立点要素情報を帯域毎雑音要素情報生成部１３に出力する。孤立点要素の検出方法としては、例えば、ある要素の値とその周囲８要素の値との微分（差分）値が孤立点閾値Ｔｈｉ(ｎ)を超えれば、当該要素を孤立点要素とみなす。ｎは周波数帯域の識別番号である。図２に示すウェーブレットパケット分解の例では、周波数帯域数Ｎが２６であるため、ｎ＝１〜２６とする。ここで、孤立点閾値Ｔｈｉ(ｎ)は、例えば識別番号ｎの周波数帯域の周波数分解画像の各要素についてその周囲の８要素の微分（差分）値を求め、その中央値又は平均値とする。なお、最も低い周波数帯域（ｎ＝１）は直流成分であり、直流成分に雑音が含まれる場合には孤立点として検出されないおそれがある。そのため、帯域毎孤立点要素検出部１２は、最も低い周波数帯域を除く各周波数帯域（ｎ＝２〜２６）において孤立点要素を検出するのが好適である。
【００２４】
帯域毎雑音要素情報生成部１３は、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素の値が、周波数帯域毎に設定された雑音閾値Ｔｈｎ(ｎ)を超えるか否かを判定する。そして、孤立点要素の値が雑音閾値Ｔｈｎ(ｎ)を超える孤立点要素を雑音要素と決定し、雑音要素の位置を示す雑音要素情報を生成する。そして、周波数帯域毎の雑音要素情報を最適超解像パラメータ検出部１４に出力する。雑音閾値Ｔｈｎ(ｎ)は予め設定された値であり、例えば識別番号ｎの周波数帯域の孤立点要素の中央値又は平均値とする。雑音要素情報は、例えば、要素値が雑音閾値Ｔｈｎ(ｎ)を超える孤立点要素の要素値を１とし、それ以外の要素の要素値を０とする２値画像である。
【００２５】
最適超解像パラメータ検出部１４は、外部から入力される原画像及び超解像画像群と、帯域毎雑音要素情報生成部１３により生成された周波数帯域毎の雑音要素情報とを用いて、外部から入力される超解像パラメータ群から最適な超解像パラメータを検出する。ここで、超解像画像は、原画像の縮小画像を超解像パラメータを用いて超解像処理することにより生成される、原画像と同一サイズの画像である。
【００２６】
図３は、最適超解像パラメータ検出部１４の構成例を示すブロック図である。図３に示すように、最適超解像パラメータ検出部１４は、雑音画素情報生成部１４１と、画像差分値検出部１４２と、画像差分値判定部１４３と、を備える。
【００２７】
雑音画素情報生成部１４１は、所定数以上の周波数帯域にわたって雑音要素を有する画素を原画像の雑音画素と決定する。つまり、雑音画素情報生成部１４１は、帯域毎雑音要素情報生成部１３により生成された周波数帯域毎の雑音要素情報から、要素毎に全周波数帯域の雑音要素の数を計数し、雑音要素の数が閾値を超える場合に、該要素位置に対応する画素を雑音画素と決定する。そして、雑音画素の位置を示す雑音画素情報を画像差分値検出部１４２に出力する。
【００２８】
図４は、雑音画素情報生成部１４１の処理を説明する図である。図４では、時空間周波数解析部１１にてデジメーション無しで周波数分解を行い、周波数帯域数Ｎ＝２６であり、最も低い周波数帯域（ｎ＝１）を除く各周波数帯域（ｎ＝２〜２６）における雑音要素情報から雑音画素を決定する場合を示している。図４（ａ）は、帯域毎雑音要素情報生成部１３から入力される、最も低い周波数帯域（ｎ＝１）を除く各周波数帯域（ｎ＝２〜２６）の雑音要素情報を示す図である。図４（ａ）中の１は雑音要素を表している。図４（ｂ）は、要素毎に、最も低い周波数帯域（ｎ＝１）を除く周波数帯域（ｎ＝２〜２６）における雑音要素の数の計数値を示す図であり、計数値は０〜２５となる。図４（ｃ）は、雑音画素情報生成部１４１から出力される雑音画素情報である。図４（ｃ）中の１は雑音画素を表している。雑音画素情報生成部１４１は、図４（ｂ）に示す雑音要素の計数値が閾値（例えば２２）以上の画素を雑音画素と決定する。白色雑音はほぼ全周波数帯域にパワーを持つ可能性が高いため、所定数（例えば２２）以上の周波数帯域にわたって雑音要素を有する画素を検出することにより、白色雑音の位相位置を精度良く判定することができる。
【００２９】
画像差分値検出部１４２は、雑音画素情報生成部１４１により雑音画素と決定された画素を除いて、原画像と超解像画像との差の指標を算出する。そして、差の指標を外部から入力される超解像画像パラメータと対応付けて画像差分値判定部１４３に出力する。ここで、差の指標は差の絶対値の和、差の絶対値の積、差の二乗和など、種々の演算方法によって算出することができる。
【００３０】
画像差分値判定部１４３は、記憶部（図示せず）にこれまでの処理で求めた最小の差の指標及びその超解像パラメータを記憶しておき、画像差分値検出部１４２から入力された差の指標と比較する。画像差分値検出部１４２から入力された差の指標のほうが小さい場合には、当該差分値及びその超解像パラメータを記憶部に記憶して更新する。この処理を全ての超解像画像及びその超解像パラメータについて行い、差分値が最小となる超解像パラメータを、最適な超解像パラメータとして出力する。なお、超解像パラメータの具体例については実施例３で詳述する。
【００３１】
上述したように、超解像パラメータ判定装置１は、時空間周波数解析部１１により原画像を時間方向及び空間方向に周波数分解して周波数帯域毎の分解画像を生成し、帯域毎孤立点要素検出部１２により周波数帯域毎に、分解画像における孤立点要素を検出し、帯域毎雑音要素情報生成部１３により周波数帯域毎に、孤立点要素の値が所定の雑音閾値を超える孤立点要素を雑音要素と決定し、最適超解像パラメータ検出部１４により所定数以上の周波数帯域にわたって雑音要素を有する画素を原画像の雑音画素と決定し、雑音画素を除いて原画像と超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する。これにより、超解像パラメータ判定装置１によれば、原画像の雑音位置をマスクして原画像と超解像画像を比較するため、信号成分に対して最適な超解像パラメータを高い確度で判定することができるようになる。
【００３２】
なお、上述した超解像パラメータ判定装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像パラメータ判定装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【実施例２】
【００３３】
次に、本発明に係る実施例２の超解像パラメータ判定装置について説明する。図５は、本発明に係る実施例２の超解像パラメータ判定装置の構成例を示すブロック図である。図５に示すように、超解像パラメータ判定装置２は、時空間周波数解析部１１と、帯域毎孤立点要素検出部１２と、帯域毎雑音要素情報生成部１３と、最適超解像パラメータ検出部１４と、帯域毎雑音閾値決定部１５と、を備える。
【００３４】
超解像パラメータ判定装置２は、図１を参照して説明した実施例１の超解像パラメータ判定装置１と比較して、更に帯域毎雑音閾値決定部１５を備える点が相違する。実施例１では、帯域毎雑音要素情報生成部１３において予め設定された雑音閾値Ｔｈｎ（ｎ）を用いるが、実施例２では、帯域毎雑音要素情報生成部１３において帯域毎雑音閾値決定部１５により生成された雑音閾値Ｔｈｎ（ｎ）を用いる。なお、時空間周波数解析部１１、帯域毎孤立点要素検出部１２、及び最適超解像パラメータ検出部１４については、実施例１の超解像パラメータ判定装置１と同様であるため、説明を省略する。
【００３５】
帯域毎雑音閾値決定部１５は、帯域毎孤立点要素検出部１２により生成された周波数帯域毎の孤立点要素情報に基づいて雑音レベルＬ（ｎ）を検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値Ｔｈｎ（ｎ）を決定する。
【００３６】
図６は、帯域毎雑音閾値決定部１５の第１の構成例を示すブロック図である。第１の構成例では、帯域毎雑音閾値決定部１５は、雑音レベル算出部１５１と、雑音閾値設定部１５２と、を備える。
【００３７】
雑音レベル算出部１５１は、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素情報に基づいて、周波数帯域毎の雑音レベルをＬ（ｎ）検出する。そして、周波数帯域毎の雑音レベルＬ（ｎ）を雑音閾値設定部１５２に出力する。周波数帯域毎の雑音レベルＬ（ｎ）は、例えば周波数帯域毎の孤立点要素のＲＭＳ（二乗平均平方根）値とする。
【００３８】
雑音閾値設定部１５２は、雑音レベルＬ（ｎ）と、雑音レベルＬ（ｎ）が大きくなるほど大きい値となるように定められた雑音閾値Ｔｈｎ（ｎ）との対応関係を示すテーブルを有しており、このテーブルを参照して、雑音レベル算出部１５１により算出された雑音レベルＬ（ｎ）に対応する雑音閾値Ｔｈｎ（ｎ）を決定する。
【００３９】
図７は、帯域毎雑音閾値決定部１５の第２の構成例を示すブロック図である。第２の構成例では、帯域毎雑音閾値決定部１５は、雑音レベル算出部１５１と、雑音閾値設定部１５２と、基準雑音閾値設定部１５３と、を備える。
【００４０】
雑音レベル算出部１５１は、図６に示した雑音レベル算出部１５１と同様に、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素情報に基づいて、周波数帯域毎の雑音レベルＬ（ｎ）を検出し、雑音閾値設定部１５２に出力する。
【００４１】
基準雑音閾値設定部１５３は、帯域毎孤立点要素検出部１２により生成された周波数帯域毎の孤立点要素の中央値又は平均値を、周波数帯域毎の基準雑音閾値Ｃ_Ｔｈｎ（ｎ）として算出する。そして、周波数帯域毎の基準雑音閾値Ｃ_Ｔｈｎ（ｎ）を雑音閾値設定部１５２に出力する。
【００４２】
雑音閾値設定部１５２は、基準雑音閾値設定部１５３により算出された周波数帯域毎の基準雑音閾値Ｃ_Ｔｈｎ（ｎ）及び雑音レベル算出部１５１により検出された周波数帯域毎の雑音レベルＬ（ｎ）を用いて、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値Ｔｈｎ（ｎ）を決定する。そして、雑音閾値Ｔｈｎ（ｎ）を帯域毎雑音要素情報生成部１３に出力する。例えば、雑音閾値設定部１５２は、雑音レベルＬ（ｎ）と係数αとの対応関係を示すテーブルを有しており、このテーブルを参照し、雑音閾値Ｔｈｎ（ｎ）を次式により算出する。
Ｔｈｎ（ｎ）＝Ｃ_Ｔｈｎ（ｎ）×α
【００４３】
帯域毎雑音要素情報生成部１３は、帯域毎孤立点要素検出部１２により検出された周波数帯域毎の孤立点要素の値が、帯域毎雑音閾値決定部１５により決定された雑音閾値Ｔｈｎ(ｎ)を超えるか否かを判定する。そして、孤立点要素の値が雑音閾値Ｔｈ(ｎ)を超える孤立点要素を雑音要素と決定し、雑音要素の位置を示す雑音要素情報を生成する。そして、周波数帯域毎の雑音要素情報を最適超解像パラメータ検出部１４に出力する。
【００４４】
上述したように、超解像パラメータ判定装置２は、周波数帯域毎の孤立点要素に基づいて周波数帯域毎の雑音レベルを検出し、周波数帯域毎に、雑音レベルが大きくなるほど大きい値となる雑音閾値を決定する帯域毎雑音閾値決定部１５を更に備え、帯域毎雑音要素情報生成部１３は、孤立点要素の値が帯域毎雑音閾値決定部１５により決定された雑音閾値を超える孤立点要素を雑音要素と決定する。雑音レベルが大きいほど画像のＳＮ比が低く、信号成分を検出することが難しいが、このように雑音レベルの大きさに応じて雑音閾値を設定することにより、ＳＮ比の低い原画像においても、最適な超解像パラメータを高い確度で判定することができるようになる。
【００４５】
なお、上述した超解像パラメータ判定装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像パラメータ判定装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【実施例３】
【００４６】
次に、本発明に係る実施例３の画像縮小装置について説明する。この画像縮小装置は、原画像の縮小画像を生成して出力するとともに、縮小画像の超解像画像の生成に用いられる超解像パラメータのうち、最適なパラメータを超解像パラメータ判定装置１又は２により判定して出力する。
【００４７】
図８は、本発明に係る実施例３の画像縮小装置の構成例を示すブロック図である。図８に示すように、画像縮小装置３は、縮小画像生成部３１と、超解像処理部３２と、実施例１又は２の超解像パラメータ判定装置１又は２と、を備える。
【００４８】
縮小画像生成部３１は、原画像をダウンサンプリングして縮小画像を生成する。そして、縮小画像を超解像処理部３２、及び外部に出力する。ダウンサンプリングは既知の手法で行うことができ、例えば原画像をウェーブレット分解することにより行う。
【００４９】
超解像処理部３２は、縮小画像生成部３１により生成された縮小画像を超解像処理して縮小画像の超解像画像を複数生成する。そして、複数の超解像画像（超解像画像群）及び超解像画像群を生成するために用いられた超解像パラメータ群を超解像パラメータ判定装置１又は２に出力する。超解像処理は既知の手法で行うことができる。
【００５０】
図９及び図１０を参照して超解像処理部３２の処理例を説明する。図９は、超解像処理部３２の構成例を示すブロック図である。図９に示すように、超解像処理部３２は、空間周波数分解部３２１と、空間高周波成分拡大部３２２と、空間高周波成分平滑化部３２３と、周波数成分再構成部３２４と、を備える。図１０は、超解像処理部３２の動作を説明する図である。
【００５１】
空間周波数分解部３２１は、縮小画像生成部３１により生成された縮小画像を空間方向に１階ウェーブレット分解し、空間低周波成分の画像ＬＬ、水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを生成する（ステップＳ１０１）。そして、高周波成分の画像、すなわち水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨを空間高周波成分拡大部３２２に出力する。
【００５２】
空間高周波成分拡大部３２２は、空間周波数分解部３２１により生成された水平方向高周波成分の画像ＬＨ、垂直方向高周波成分の画像ＨＬ、及び斜め方向高周波成分の画像ＨＨをそれぞれ拡大処理（アップサンプリング）する（ステップＳ１０２，１０３，１０４）。そして、水平方向高周波成分の画像ＬＨの拡大画像（水平方向高周波成分拡大画像Ｅｘ．ＬＨ）、垂直方向高周波成分の画像ＨＬの拡大画像（垂直方向高周波成分拡大画像Ｅｘ．ＨＬ）、及び斜め方向高周波成分の画像ＨＨの拡大画像（斜め方向高周波成分拡大画像Ｅｘ．ＨＨ）を空間高周波成分平滑化部３２３に出力する。
【００５３】
具体的には、空間高周波成分拡大部３２２は、図１０に示すように、垂直方向高周波成分の画像ＨＬを拡大する場合には、垂直方向高周波成分の画像ＨＬを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、垂直方向高周波成分拡大画像Ｅｘ．ＨＬを生成する。同様に、水平方向高周波成分の画像ＬＨを拡大する場合には、水平方向高周波成分の画像ＬＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、水平方向高周波成分拡大画像Ｅｘ．ＬＨを生成する。斜め方向高周波成分の画像ＨＨを拡大する場合には、斜め方向高周波成分の画像ＨＨを空間低周波成分とし、空間高周波成分を零とした画像に対して空間方向に１階ウェーブレット再構成を行い、斜め方向高周波成分拡大画像Ｅｘ．ＨＨを生成する。
【００５４】
空間高周波成分平滑化部３２３は、空間高周波成分拡大部３２２により生成された、水平方向高周波成分拡大画像Ｅｘ．ＬＨ、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨをそれぞれ平滑化フィルタにより平滑化する（ステップＳ１０５，１０６，１０７）。そして、平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を周波数成分再構成部３２４に出力する。平滑化フィルタとしては、例えば、ガウシアンフィルタやバイラテラルフィルタを用いる。
【００５５】
また、空間高周波成分平滑化部３２３は、平滑化フィルタの標準偏差の値を超解像画像パラメータとして外部に出力する。超解像処理部３２は、平滑化フィルタの標準偏差の値を変化させることにより、超解像画像群を生成する。
【００５６】
周波数成分再構成部３２４は、高周波成分平滑化部３３により平滑化された水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’と、縮小画像生成部３１により生成された縮小画像とを用いて再構成処理を行い、超解像画像を生成する（ステップＳ１０８）。
【００５７】
具体的には、周波数成分再構成部３２４は、図１０に示すように、縮小画像生成部３１により生成された縮小画像を空間低周波成分とし、水平方向高周波成分拡大画像Ｅｘ．ＬＨ’、垂直方向高周波成分拡大画像Ｅｘ．ＨＬ’、及び斜め方向高周波成分拡大画像Ｅｘ．ＨＨ’を、それぞれ水平方向高周波成分、垂直方向高周波成分、及び斜め方向高周波成分とした画像に対して、空間方向に１階ウェーブレット再構成を行い、超解像画像を生成する。
【００５８】
超解像パラメータ判定装置１又は２は、原画像と、超解像処理部３２により生成された超解像画像及び超解像パラメータとを用いて、実施例１，２の説明で記載した処理を行い、最適な超解像パラメータを判定する。
【００５９】
上述したように、画像縮小装置３は、縮小画像生成部３１により原画像の縮小画像を生成し、超解像処理部３２により縮小画像を超解像処理して縮小画像の超解像画像を生成する。超解像パラメータ判定装置１又は２は、最適超解像パラメータ検出部１４により、雑音画素を除いて原画像と超解像処理部３２により生成された超解像画像の差の指標を算出し、該差の指標が最小となる超解像画像の生成に用いられた超解像パラメータを最適な超解像パラメータと判定する。これにより、画像縮小装置３は、実施例１又は２に記載の超解像パラメータ判定装置１又は２と同じ効果を得ることができる。また、画像縮小装置３は、縮小画像及び最適な超解像パラメータを組みにして出力するため、画像縮小装置３から縮小画像及び最適な超解像パラメータを受け取ることで、最適な超解像パラメータを用いて縮小画像を超解像処理し、原画像との差分が少ない最適な超解像画像を生成することができる。
【００６０】
なお、上述した画像縮小装置３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像縮小装置３の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００６１】
上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【産業上の利用可能性】
【００６２】
本発明は、超解像画像の生成に用いられる超解像パラメータ群から最適なパラメータを判定する任意の用途に有用である。
【符号の説明】
【００６３】
１，２  超解像パラメータ判定装置
１１    時空間周波数解析部
１２    帯域毎孤立点要素検出部
１３    帯域毎雑音要素情報生成部
１４    最適超解像パラメータ検出部
１５    帯域毎雑音閾値決定部
３１    縮小画像生成部
３２    超解像処理部
１４１  雑音画素情報生成部
１４２  画像差分値検出部
１４３  画像差分値判定部
１５１  雑音レベル算出部
１５２  雑音閾値設定部
１５３  基準雑音閾値設定部
３２１  空間周波数分解部
３２２  空間高周波成分拡大部
３２３  空間高周波成分平滑化部
３２４  周波数成分再構成部
【図１】
0005866245.tif 000002
【図２】
0005866245.tif 000003
【図３】
0005866245.tif 000004
【図４】
0005866245.tif 000005
【図５】
0005866245.tif 000006
【図６】
0005866245.tif 000007
【図７】
0005866245.tif 000008
【図８】
0005866245.tif 000009
【図９】
0005866245.tif 000010
【図１０】
0005866245.tif 000011