(57)【特許請求の範囲】
【請求項１】
１枚の低解像度画像から１枚の高解像度画像を生成する超解像処理方法であって、処理対象画像の水平方向及び垂直方向についてそれぞれ線形デジタルフィルタを用いて画素間の補間処理を実行することにより超解像処理を実施する超解像処理方法において、
前記線形デジタルフィルタは、原画像のアナログ信号ｗを帯域制限フィルタを通して帯域制限したものと、アナログ信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、該連続信号を周波数領域で重み付けするためのもので、処理対象である低解像度画像における中高周波数帯域のゲイン低下を補償するように周波数特性が定められたプレフィルタ又はポストフィルタの少なくとも一方、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ信号との誤差信号ｅをＨ∞ノルムの意味で設計基準値γよりも小さくするように、次数に制限を設けないＩＩＲ型フィルタを設計すべく設定した次の条件式
【数１】
0005318234.tif 000012
（但し、Ｔewはアナログ信号ｗから誤差信号ｅへ変換するシステムの伝達関数）
に対し、サンプル値Ｈ∞制御により解くことによって算出されたパラメータを係数とするＩＩＲ型フィルタであるとともに、
前記線形デジタルフィルタの前段に処理対象である低解像度画像の信号変化を滑らかにするローパスフィルタを設けることを特徴とする超解像処理方法。
【請求項２】
１枚の低解像度画像から１枚の高解像度画像を生成する超解像処理装置であって、処理対象画像の水平方向及び垂直方向についてそれぞれ線形デジタルフィルタを用いて画素間の補間処理を実行することにより超解像処理を実施する超解像処理装置において、
前記線形デジタルフィルタは、原画像のアナログ信号ｗを帯域制限フィルタを通して帯域制限したものと、アナログ信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、該連続信号を周波数領域で重み付けするためのもので、処理対象である低解像度画像における中高周波数帯域のゲイン低下を補償するように周波数特性が定められたプレフィルタ又はポストフィルタの少なくとも一方、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ信号との誤差信号ｅをＨ∞ノルムの意味で設計基準値γよりも小さくするように、次数に制限を設けないＩＩＲ型フィルタを設計すべく設定した次の条件式
【数２】
0005318234.tif 000013
（但し、Ｔewはアナログ信号ｗから誤差信号ｅへ変換するシステムの伝達関数）
に対し、サンプル値Ｈ∞制御により解くことによって算出されたパラメータを係数とするＩＩＲ型フィルタであるとともに、
前記線形デジタルフィルタの前段に処理対象である低解像度画像の信号変化を滑らかにするローパスフィルタを設けることを特徴とする超解像処理装置。
【請求項３】
１枚の低解像度画像から１枚の高解像度画像を生成する超解像処理方法であって、処理対象画像の水平方向及び垂直方向についてそれぞれ線形デジタルフィルタを用いて画素間の補間処理を実行することにより超解像処理を実施する超解像処理方法において、
前記線形デジタルフィルタは、原画像のアナログ信号ｗを帯域制限フィルタを通して帯域制限したものと、アナログ信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、該連続信号を周波数領域で重み付けするためのもので、処理対象である低解像度画像における中高周波数帯域のゲイン低下を補償するように周波数特性が定められたプレフィルタ又はポストフィルタの少なくとも一方、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ信号との誤差信号ｅをＨ∞ノルムの意味で設計基準値γよりも小さくするように、次数に制限を設けないＩＩＲ型フィルタを設計すべく設定した次の条件式
【数３】
0005318234.tif 000014
（但し、Ｔewはアナログ信号ｗから誤差信号ｅへ変換するシステムの伝達関数）
に対し、サンプル値Ｈ∞制御により解くことによって算出されたパラメータを係数とするＩＩＲ型フィルタであり、
該フィルタのパラメータ算出の際に、前記帯域制限フィルタのアナログ周波数特性の中高域及び高域のゲインを処理対象である低解像度画像の周波数特性に応じたゲインよりも低くすることを特徴とする超解像処理方法。
【請求項４】
１枚の低解像度画像から１枚の高解像度画像を生成する超解像処理装置であって、処理対象画像の水平方向及び垂直方向についてそれぞれ線形デジタルフィルタを用いて画素間の補間処理を実行することにより超解像処理を実施する超解像処理装置において、
前記線形デジタルフィルタは、原画像のアナログ信号ｗを帯域制限フィルタを通して帯域制限したものと、アナログ信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、該連続信号を周波数領域で重み付けするためのもので、処理対象である低解像度画像における中高周波数帯域のゲイン低下を補償するように周波数特性が定められたプレフィルタ又はポストフィルタの少なくとも一方、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ信号との誤差信号ｅをＨ∞ノルムの意味で設計基準値γよりも小さくするように、次数に制限を設けないＩＩＲ型フィルタを設計すべく設定した次の条件式
【数４】
0005318234.tif 000015
（但し、Ｔewはアナログ信号ｗから誤差信号ｅへ変換するシステムの伝達関数）
に対し、サンプル値Ｈ∞制御により解くことによって算出されたパラメータを係数とするＩＩＲ型フィルタであるとともに、
該フィルタのパラメータ算出の際に、前記帯域制限フィルタのアナログ周波数特性の中高域及び高域のゲインを処理対象である低解像度画像の周波数特性に応じたゲインよりも低くすることを特徴とする超解像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理によって低解像度画像から高解像度画像を生成する超解像処理方法及び該方法を用いた超解像処理装置に関する。
【背景技術】
【０００２】
超解像処理とは、観測等により劣化を受けた或いは解像度の低い撮像装置により撮像された低解像度・低画質の画像から、高解像度・高画質の画像を復元・生成する画像処理である。近年、テレビなどの受像機や各種ディスプレイ装置の高精細化に伴って、超解像処理技術は画像処理の中でも重要な技術となっている。
【０００３】
従来よく知られている超解像処理法としては、バイニリア（Bilinear）法、バイキュービック（Bicubic）法、ランチョス（Lanczos）法などがある。これらはいずれもローパス特性を有する線形フィルタを利用した一種のデータ補間法であり、計算量が比較的少なくハードウエアに掛かる負荷も軽いため、装置への実装が容易であるという利点がある。その反面、高周波成分の再現には向かないため、画像のエッジのシャープさを維持した画像を復元・生成することは難しい。
【０００４】
これに対し、近年、ＴＶ（Total Variation）正則法を利用した超解像処理法が提案されている（非特許文献１など）。この手法はノイズの統計的情報を用いて復元画像の総変動を最小化する手法であり、画像のエッジのシャープさを維持しつつリンギングやオーバーシュートによる画質劣化を防止できるという利点がある。しかしながら、この手法では最適化問題を解くために反復計算が必要であるという原理的な問題があり、計算量が膨大になるためにリアルタイム処理には適さない。また、ハードウエアへの負荷が大きく、安価な装置への実装はコスト的に難しいといった問題もある。
【０００５】
ところで、本願発明者は、これまで長年に亘り、特にデジタルオーディオの分野において、連続時間特性を扱うことができるサンプル値制御理論、より詳しくはサンプル値Ｈ∞制御をデジタルオーディオ信号を扱うデジタル／アナログ変換技術、サンプルレート変換技術などに導入する試みについて研究を続けてきた（特許文献１、２参照）。この技術は、元のデジタル信号のサンプルを単に離散時間信号としてのみ捉えるのではなく、サンプル間応答に含まれるアナログ特性をも考慮してＤ／Ａ変換やサンプリングレート変換の際のデジタルフィルタの設計を行うことによって、アナログオーディオとしての聴感上での音質が最良又はそれに近い状態となるようにすることを意図するものであった。
【０００６】
さらに本願発明者は、近年の画像の圧縮技術の進展及びそれに伴う画質改善の必要性に鑑み、上記技術の基本であるサンプル値Ｈ∞最適化の手法を画像のノイズ除去や解像度変換などに適用する試みについて研究を鋭意進めている。例えば特許文献３では、ＭＰＥＧ方式などで圧縮率を高めたときに出現し易くなるブロックノイズやモスキートノイズを目立たなくしつつ、原画像の良さを損なわないような高画質を達成することができる画像ノイズ除去方法を提案している。また、非特許文献２、３には、サンプル値Ｈ∞最適化手法に基づいて設計されたデジタルフィルタによるサンプル点間補間を用いることで、任意倍率で以て画像の解像度を変換可能とした解像度変換器が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第3820331号公報
【特許文献２】特許第3851757号公報
【特許文献３】国際公開2009/069292号公報
【非特許文献】
【０００８】
【非特許文献１】斉藤、「１枚の画像からの超解像度オーバーサンプリング − サンプリング定理の壁を破る」、映像情報メディア学会誌、vol.62、no.2、2008年、p.181-189
【非特許文献２】掛水（H. Kakemizu）、ほか３名、「ノイズ・リダクション・オブ・ジェーペグ・イメージズ・バイ・サンプルド-データ・エッチ-インフィニティ・オプティマル・イプシロン・フィルターズ（Noise Reduction of JPEG Images by Sampled-data H-infinity Optimal Epsilon Filters）」、プロシーディング・エスアイシーイー・アニュアル・コンファレンス（Proc. SICE Annual Conference）、2005年、pp.1080-1085
【非特許文献３】掛水、「サンプル値Ｈ∞制御理論によるディジタル画像復元」、京都大学修士論文、平成１７年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献２、３に開示されている解像度変換手法の詳細は後述するが、簡単に言えば、超解像処理をサンプル点間補間処理とみなし、そのサンプル点間補間のためのデジタルフィルタの設計にサンプル値制御理論を用いるものである。この手法は当然のことながら超解像処理に適用可能である。ところが、本願発明者の検討によれば、従来のこの手法をそのまま超解像処理に適用しただけでは、原画像と復元画像との一致度がランチョス法に劣り、特に画像のエッジに生じるジャギーが目立つことが判明した。
【００１０】
本発明は上記課題に鑑みて成されたものであり、その目的とするところは、画像のエッジのシャープさを維持した良好な高解像度画像の復元・生成を行いながら、ＴＶ正則化法等に比較して計算量を大幅に減らすことができる超解像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために成された第１発明は、１枚の低解像度画像から１枚の高解像度画像を生成する超解像処理方法であって、処理対象画像の水平方向及び垂直方向についてそれぞれ線形デジタルフィルタを用いて画素間の補間処理を実行することにより超解像処理を実施する超解像処理方法において、
前記線形デジタルフィルタは、原画像のアナログ信号ｗを帯域制限フィルタを通して帯域制限したものと、アナログ信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、該連続信号を周波数領域で重み付けするためのもので、処理対象である低解像度画像における中高周波数帯域のゲイン低下を補償するように周波数特性が定められたプレフィルタ又はポストフィルタの少なくとも一方、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ信号との誤差信号ｅをＨ∞ノルムの意味で設計基準値γよりも小さくするように、次数に制限を設けないＩＩＲ型フィルタを設計すべく設定した次の条件式
【数１】
0005318234.tif 000002
（但し、Ｔewはアナログ信号ｗから誤差信号ｅへ変換するシステムの伝達関数）
に対し、サンプル値Ｈ∞制御により解くことによって算出されたパラメータを係数とするＩＩＲ型フィルタであるとともに、
前記線形デジタルフィルタの前段に処理対象である低解像度画像の信号変化を滑らかにするローパスフィルタを設けることを特徴としている。
【００１２】
上記課題を解決するために成された第２発明に係る超解像処理装置は、第１発明に係る超解像処理方法を実施するために、上記線形デジタルフィルタと、該線形デジタルフィルタの前段に処理対象である低解像度画像の信号変化を滑らかにするローパスフィルタを、備えることを特徴としている。
【００１３】
また上記課題を解決するために成された第３発明は、１枚の低解像度画像から１枚の高解像度画像を生成する超解像処理方法であって、処理対象画像の水平方向及び垂直方向についてそれぞれ線形デジタルフィルタを用いて画素間の補間処理を実行することにより超解像処理を実施する超解像処理方法において、
前記線形デジタルフィルタは、原画像のアナログ信号ｗを帯域制限フィルタを通して帯域制限したものと、アナログ信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、該連続信号を周波数領域で重み付けするためのもので、処理対象である低解像度画像における中高周波数帯域のゲイン低下を補償するように周波数特性が定められたプレフィルタ又はポストフィルタの少なくとも一方、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ信号との誤差信号ｅをＨ∞ノルムの意味で設計基準値γよりも小さくするように、次数に制限を設けないＩＩＲ型フィルタを設計すべく設定した次の条件式
【数２】
0005318234.tif 000003
（但し、Ｔewはアナログ信号ｗから誤差信号ｅへ変換するシステムの伝達関数）
に対し、サンプル値Ｈ∞制御により解くことによって算出されたパラメータを係数とするＩＩＲ型フィルタであるとともに、
該フィルタのパラメータ算出の際に、前記帯域制限フィルタのアナログ周波数特性の中高域及び高域のゲインを処理対象である低解像度画像の周波数特性に応じたゲインよりも低くすることを特徴としている。
【００１４】
また上記課題を解決するために成された第４発明に係る超解像処理装置は、第３発明に係る超解像処理方法を実施するために、パラメータ算出の際に、上述したように帯域制限フィルタのアナログ周波数特性の中高域及び高域のゲインを処理対象である低解像度画像の周波数特性に応じたゲインよりも低くした線形デジタルフィルタを備えることを特徴としている。
【００１５】
なお、第１乃至第４発明において、サンプル値Ｈ∞制御により上記条件式を解く際には、例えば、ファーストサンプル−ファーストホールド近似を適用して有限次元離散時間系に変換して近似計算式を導出し、上記条件式において設計基準値γを最小又はそれに近い状態にするように設定した条件に基づいて上記近似計算式をＨ∞制御により解くことによって求めるようにすればよい。
【００１６】
上記非特許文献２、３に基づく従来の解像度変換手法では、アナログ／デジタル／アナログ変換系におけるサンプラが観測関数（観測による原画像からの画質低下の状態を表す関数）として想定されていたが、本願発明者らの検討の結果、実際には多くの場合、処理対象である低解像度画像の中高周波数帯域のゲインは想定よりも下がることが判明した。これは、光学的なぼけやデジタル信号処理による平均化などが加わることの影響であると考えられる。
【００１７】
これに対し、第１及び第３発明に係る超解像処理方法並びに第２及び第４発明に係る超解像処理装置ではいずれも、サンプル値Ｈ∞制御理論を用いて線形デジタルフィルタの係数を計算する際に、プレフィルタ若しくはポストフィルタのいずれか一方、又はその両方、を含むアナログ／デジタル／アナログ変換系が誤差モデルに使用される。該プレフィルタ若しくはポストフィルタ又はその両方をローパスフィルタとすれば、アナログ／デジタル／アナログ変換系全体で中高周波数帯域のゲインを保つべく中高周波数帯域のゲイン低下を補償するように線形デジタルフィルタの係数は算出される。それによって、上記プレフィルタ及びポストフィルタを設けないで設計された線形デジタルフィルタと比較すると、第１乃至第４発明において設計された線形デジタルフィルタでは中高周波数帯域のゲインが高くなる。このゲイン補償によって、線形デジタルフィルタを通した超解像処理による復元画像のスペクトルはより原画像に近づくことになり、超解像処理の復元性能が向上する。
【００１８】
一方、画像中の輪郭などに現れるジャギーは高周波成分に由来するものであるため、上述のような中高周波数帯域におけるゲイン補償はジャギーを一層悪化させるように作用するおそれがある。これに対し、第１及び第２発明に係る超解像処理方法及び装置では、処理対象の低解像度画像をローパスフィルタで前処理することによりジャギー部分の原因となり得る画像信号の高周波成分を入力段で弱める。これは、処理対象の低解像度画像に含まれる急峻な変化をハードウエア的に鈍らせることを意味する。一方、第３及び第４発明に係る超解像処理方法及び装置では、線形デジタルフィルタの設計段階で帯域制限フィルタのアナログ周波数特性をローパス性の強いものに置き換える。これにより、線形デジタルフィルタによる高周波成分の復元傾向は弱まる。これは、信号復元の目標基準を変更することを意味する。いずれにしても、復元画像の高周波成分が減衰してジャギー部分が目立たなくなる。
【発明の効果】
【００１９】
第１及び第３発明に係る超解像処理方法並びに第２及び第４発明に係る超解像処理装置によれば、復元性能を向上させることができ、復元画像が原画像に近づくとともにジャギー部分も目立たなくなる。また、第１乃至第４発明で使用される超解像処理は線形処理であり、その計算量は従来のＴＶ正則化法などに比較すると格段に少なくて済む。そのため、リアルタイムでの処理に向いており、計算の負荷が軽いことによりハードウエア構成の制約も小さくなる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る超解像処理装置の一形態の概略ブロック構成図。
【図２】従来法による超解像処理のためのデジタルフィルタを設計するための誤差系モデルを示す図。
【図３】図２に示した誤差系モデルを単一レート系モデルに変換したときのブロック図。
【図４】図３に示した誤差系モデルを一般プラント形式に書き直したブロック図。
【図５】図４を有限次元離散時間系に変換したときのブロック図。
【図６】本発明に係る超解像処理のためのデジタルフィルタＫ（ｚ）を設計するための誤差系モデルを示す図。
【図７】原画像とデジタルフィルタＫ（ｚ）への入力信号のスペクトルの一例を示すゲイン線図。
【図８】テスト用グレイスケール画像Lenaを示す図。
【図９】原画像と復元画像Ｙ1、Ｙ2の一例を示すゲイン線図。
【図１０】本発明に係る超解像処理装置の他の形態の概略ブロック構成図。
【図１１】ジャギー部緩和処理の効果を説明するための図（Lena一部拡大図）。
【図１２】テスト用カラー画像Lena及びBaboonを示す図。
【図１３】２倍超解像処理の復元画像を示す図（Lena一部拡大図）。
【図１４】２倍超解像処理の復元画像を示す図（Baboon一部拡大図）。
【図１５】４倍超解像処理の復元画像を示す図（Lena一部拡大図）。
【図１６】４倍超解像処理の復元画像を示す図（Baboon一部拡大図）。
【図１７】８倍超解像処理の復元画像を示す図（Lena一部拡大図）。
【図１８】８倍超解像処理の復元画像を示す図（Baboon一部拡大図）。
【発明を実施するための形態】
【００２１】
以下、本発明に係る超解像処理方法及び装置の一実施形態について図面を参照しつつ説明する。
本発明に係る方法及び装置では、超解像処理をサンプル点間補間処理とみなし、サンプル値制御理論を用いた線形補間フィルタにより超解像処理を実施する。基本的には従来のバイキュービック法などと同様に、観測画像のＺ倍のアップサンプルデータに対する２次元の線形畳み込み演算によって超解像処理を行う。畳み込みカーネルの設計にサンプル値制御理論を用いる。
【００２２】
図１は本発明に係る超解像処理装置の一形態の概略ブロック構成図である。
図示するように、超解像処理部１は、入力される低解像度画像データに対しアップサンプリングを行って点間に０点データを挿入するアップサンプラ２と、挿入された０点データの近傍のサンプルのデータ値を用いて０点データに代わる補間値を計算する線形補間フィルタ３と、を含む。この線形補間フィルタ３がＨ∞最適線形フィルタであり、２次元の線形畳み込み演算を実行する重要な要素である。
【００２３】
本発明で用いられるＨ∞最適線形フィルタの設計手法を説明するに先だって、非特許文献２に開示されている従来の解像度変換用のＨ∞最適線形フィルタの設計手法を説明する。なお、ここで用いるサンプル値制御理論によるフィルタ設計手法の基本は特許文献１、２のほか、本願発明者が各種学会等で発表している論文などに記載されているものである。
【００２４】
伝達関数がＫ（ｚ）であるＨ∞最適線形フィルタを設計するための誤差系モデルを図２に示す。図２において下側の信号経路が解像度変換器によるレート変換の信号処理系であり、上側の信号経路がその信号処理系による時間遅れを考慮した遅延系である。入力ｗは連続時間信号であり、Ｆ（ｓ）は連続時間信号を帯域制限するアンチエリアシングフィルタ１１、Ｓhは連続時間信号をサンプル周期ｈ（＞０）でサンプリングして離散時間信号とするサンプラ１３、↑Ｍはこの離散時間信号のサンプル間に０信号を挿入することでサンプル周期ｈ／Ｍの離散時間信号に変換するアップサンプラ１４、Ｋ（ｚ）は上記挿入された０信号を適宜な値に修正するデジタルフィルタ１５、Ｈh/Mは離散時間信号を連続時間信号に変換するべく周期ｈ／Ｍで動作する０次ホールド１６、である。ｅ-mhsは時間遅れ要素１２であり、帯域制限信号ｒに上述した信号処理による時間遅れｍｈを与え、減算器１８により０次ホールド１６の出力である復元信号ｙと遅延した帯域制限信号との誤差信号ｅを取り出す。この誤差信号ｅも連続時間信号である。
【００２５】
ここでは、誤差信号ｅができる限り小さくなるようにＩＩＲ型のデジタルフィルタ１５を構成する。即ち、安定な連続時間フィルタ（アンチエリアシングフィルタ１１）と正の数ｍ、Ｍとが与えられている条件下で、ＩＩＲ型のデジタルフィルタ１５を設計する。そのために、連続時間信号ｗから誤差信号ｅへ変換するシステムをＴewとおいたとき、与えられたγに対し、次の(1)式を満たすような伝達特性Ｋ（ｚ）を求める。
【数３】
0005318234.tif 000004
つまり、この(1)式が上述したＩＩＲ型デジタルフィルタを設計すべく設定した条件式である。ここでγは誤差の大きさを支配するものであり、小さいほどよい。Ｈ∞制御では、これを繰り返し計算によって最小化する方法が採られる。
【００２６】
図２の誤差系はアップサンプラを含むため時変系となっており、このままでは扱いが困難である。そこで、アップサンプラ及びむだ時間系を含む系（マルチレート系）を単一のサンプル周期の有限次元系に変換するために離散時間リフティング及び逆リフティングを導入する。上記文献等でよく知られているので詳細な説明は略すが、リフティングの導入により、図２に示したマルチレート系のモデルは図３に示す単一レート系のモデルに等価的に変換される。次に、図３中にある連続時間むだ時間要素であるｅ-mhsを有限次元化するために、系の入力をｍステップだけ遅らせるような変換を行う。これにより、所望の設計問題は、伝達特性Ｋ（ｚ）の代わりに非因果的なフィルタｚmＫ’（ｚ）を設計する問題に変換される。
【００２７】
これをさらに有限次元離散時間系の設計問題に帰着させる。その手法の詳細は、カルゴネカー、山本、「ディレイド・シグナル・リコンストラクション・ユージング・サンプルド−データ・コントロール（Delayed signal reconstruction using sampled-data control）」、プロシーディングス・オブ・３５ス・コンファレンス・オン・デシジョン・アンド・コントロール（ Proc. of 35th Conf. on Decision and Control）、p.1259-1263、1996年、に記載されているが、ここではＦＳＦＨ（ファーストサンプル・ファーストホールド）手法を適用することにより、制約条件のない近似的な離散時間系設計問題に帰着させる。
【００２８】
ＦＳＦＨ手法はサンプル値制御系の性能を評価する一手法であって、ｈ周期のサンプル値系の連続時間入出力をｈ／Ｎ（Ｎは自然数）周期で動作するサンプラとホールドによって離散化し、十分に大きなＮに対する離散時間信号で連続時間信号を近似する方法である。ＦＳＦＨ手法の詳細は、山本、マディエフスキ、アンダーソン、「コンピュテーション・アンド・コンバージェンス・オブ・フリクエンシ・レスポンス・ビア・ファスト・サンプリング・フォー・サンプルド−データ・コントロール・システムズ（Computation and convergence of frequency response via fast sampling for sampled-data control systems）」、プロシーディングス・オブ・３６ス・コンファレンス・オン・デシジョン・アンド・コントロール（Proc. of 36th Conf. on Decision and Control）、p.2157-2162、1997年、に記載されているのでここでは省略する。
【００２９】
設計のために図３を一般化プラント形式に描き直したものが図４である。この図４中に示した連続時間系システム２０の行列ｇに対しリフティングを行い、ＦＳＦＨ手法を用いて近似離散化すると図５に示す離散時間系に帰着され、サンプル値系システム３０の近似離散時間系Ｇは次の式で与えられる。
【数４】
0005318234.tif 000005
ここで、Ｇの各行列及び作用素は次のように定義される。
【数５】
0005318234.tif 000006
【００３０】
上記近似離散時間系Ｇを用いて上記(1)式は次の(2)式で近似され、(1)式を満たすような伝達特性Ｋ（ｚ）を求めるということは近似的に有限次元離散時間系の問題に帰着される。  
【数６】
0005318234.tif 000007
ただし、
【数７】
0005318234.tif 000008
である。即ち、図４は図５に示す有限次元離散時間系に変換されることになる。
而して、(2)式を求め、ごく一般的な離散時間Ｈ∞制御問題を解けば、所望のＩＩＲ型デジタルフィルタの伝達特性Ｋ（ｚ）が得られることになる。
【００３１】
さて、図２に戻ると、復元したいアナログ信号の特性を連続時間の伝達関数Ｆ（ｓ）として与えることで、この特性が与える信号ｒと信号復元系の出力である復元信号ｙとの誤差ｅを、ｗからｅへのシステムのＨ∞ノルムの意味で最小化するように、離散信号のサンプル点間をフィルタが補間することになる。超解像処理への適用においては、原画像を与えるサンプル対象となった連続的な風景等を表す連続時間信号が復元したいアナログ信号に相当する。即ち、アップサンプラ１４への入力を観測画像に相当する信号とみなすと、Ｋ（ｚ）（↑Ｍ）によるフィルタ処理がＺ＝Ｍ倍の超解像処理に相当する。なお、これは１次元的な処理であり、処理を２次元に拡張するには、画像の横方向と縦方向にそれぞれサンプル点間補正を行う。これをアップサンプルデータの２次元の畳み込み処理で表現するには、Ｋ（ｚ）のインパルス応答によって畳み込みカーネルを定義すればよい。
【００３２】
ただし、適当なアナログ特性Ｆ（ｓ）と観測関数とを仮定して、原画像から低解像の観測画像を擬似的に生成して超解像処理を試みると、図２に示した誤差系モデルに基づいて設計されたＫ（ｚ）の伝達特性を持つデジタルフィルタ１５による超解像処理では、復元画像と原画像との一致度は従来のランチョス法に劣ること、またランチョス法に比べて復元画像がジャギーなものとなること、が判明した。この原因を解明するために、図８に示すテスト画像[Lena]の原画像を用いてデジタルフィルタ１５（実際には線形補間フィルタ３）への入力信号ｕのスペクトルを計測した。その計測結果であるゲイン線図を図７に示す。
【００３３】
図７中のＡは上記原画像を２倍ダウンサンプリングした後に２倍アップサンプリングした低解像度画像信号のゲイン曲線であり、図２の誤差系モデルで想定する信号ｕに相当する。一方、図７中のＢは上記原画像に基づく実際の低解像度画像（観測画像）を２倍アップサンプリングした信号のゲイン曲線であり、これは実際の超解像処理において図２の誤差系モデルに基づき設計された線形補間フィルタ３に入力される信号に相当する。ＡとＢとを比較すると、低周波帯域では差異がないのに対し中高周波数帯域においてＢのゲインがＡよりも数ｄＢ程度低下していることが分かる。このような差異が生じる原因は、超解像処理において想定される観測関数のずれにあると解釈できる。即ち、上記誤差系モデルで想定している観測関数はアナログ信号ｒに対するサンプラ１３であるが、一般的な状況下では、これに光学的なぼけやデジタル処理演算における平均化などの要素が加わる。これら要素は実質的にローパスフィルタとして作用し、線形補間フィルタ３への実際の入力は中高周波数帯域において想定よりも低ゲインとなる。このことは、復元信号における中高周波数帯域ゲインの低下に繋がり、復元性能に悪影響を及ぼす。
【００３４】
そこで本発明に係る超解像処理方法では、図６に示すように、サンプラ１３の前段に伝達関数がＱ（ｓ）であるプレフィルタ１９を挿入し、０次ホールド１６の後段に伝達関数がＰ（ｓ）であるポストフィルタ１７を挿入した新たな誤差系モデルを考える。このプレフィルタ１９はサンプラ１３への入力を周波数領域で重み付けするものと捉えることができ、ポストフィルタ１７は０次ホールド１６の出力を周波数領域で重み付けするものと捉えることができる。プレフィルタ１９の伝達関数Ｑ（ｓ）とポストフィルタ１７の伝達特性Ｐ（ｓ）とのいずれか一方又は両方をローパス特性とすれば、つまりは中高周波数帯域を減衰させるフィルタとすれば、伝達特性Ｑ（ｓ）及びＰ（ｓ）によるゲイン低下を補償するように中高周波数帯域におけるデジタルフィルタ１５のゲインが大きくなる。これを利用し、観測による画像のゲイン低下が補償されるようにプレフィルタ１９又はポストフィルタ１７の少なくとも一方の特性を設計すればよい。このゲイン補償により、復元画像のスペクトルはより原画像に近づき、超解像処理の復元性能が高まることになる。
【００３５】
ただし、ゲイン補償のために中高周波数帯域におけるデジタルフィルタ１５のゲインを上げると弊害がある。即ち、復元画像のエッジにおいてジャギーが目立つようになる。そもそもジャギー部は画像の中で色彩が急峻に変化する輪郭などに生じるものであり、高周波成分に由来する。そのため、ゲイン補償のために中高周波数帯域のゲインを上げると、それによって復元画像のジャギー部が顕在化すると考えられる。そこで、本発明に係る超解像処理方法では、ジャギーを緩和するために次の２つのいずれかの方法を採用する。
【００３６】
〈方法１〉  図１０に示すように、アップサンプラ２及び線形補間フィルタ３による補間処理の前に、処理対象の低解像度画像信号をローパスフィルタ４で前処理し、ジャギー部分の原因となり得る高周波成分を入力段で弱める。この方法は観測画像に含まれる急峻な変化を鈍らせることに相当する。この方法１は実際の超解像処理の際に行う対策であり、次の方法２とは異なり、線形補間フィルタ３の設計時にはジャギー緩和を考慮しない。
〈方法２〉  線形補間フィルタ３の設計段階で、図６に示した誤差系モデルにおけるアンチエリアシングフィルタ１１の伝達特性Ｆ（ｓ）を意図的にローパス特性の強いものに置き換えることにより、デジタルフィルタ１５の伝達特性Ｋ（ｚ）を高周波成分の復元傾向を弱めるような特性に変更する。この方法２はフィルタの設計段階で行う対策であり、方法１とは異なり、実際のハードウエアの構成は変更しない。
【００３７】
本発明に係る超解像処理方法の効果を検証するために次の４種のシミュレーション実験を行った。
（１）フィルタ設計段階で誤差系モデルにプレフィルタ１９を挿入する場合と挿入しない場合とで結果を比較し、観測関数によるゲイン低下がプレフィルタ１９の導入によって補償されること、及びそれによって画像復元性能が向上することを確かめる。
（２）上記方法１、２によるジャギー緩和の効果を検証する。
（３）標準テスト画像セットに含まれる自然画像を用い、バイキュービック法、ランチョス法といった従来法と本発明に係る処理方法とによる復元性能を比較する。
（４）２つの代表テスト画像を対象に、本発明に係る処理方法、ランチョス法、及びＴＶ正則化法、による超解像処理を行い、復元画像の細部における画質を検討する。
【００３８】
（１）実験１：ゲイン補償効果の確認
図８は評価に用いた原画像であり、これを縦横１／２に縮小して観測画像とした。縮小方法は、２×２画素を平均化した後に１／２ダウンサンプリングするものである。この観測画像を用い、図２に示した誤差系モデルに基づくゲイン補償のない最適線形フィルタの伝達特性Ｋ1（ｚ）と、図６に示した誤差系モデルに基づくゲイン補償のある最適線形フィルタの伝達特性Ｋ2（ｚ）とを設計した。この設計にあたっては以下のパラメータを用いた。アナログ特性Ｆ(ｓ)は原画像スペクトルの包絡線の近似である。
Ｆ（ｓ）＝１／（１５０ｓ＋１）
Ｑ（ｓ）＝１／（０．２８ｓ＋１）
Ｐ（ｓ）＝１
また、サンプル周期ｈ、遅延ｍ、ＦＳＦＨ近似における高速サンプル倍率Ｎは、ｈ＝１、ｍ＝４、Ｎ＝２とした。
【００３９】
以上の条件の下に設計した伝達特性Ｋ1（ｚ）、Ｋ2（ｚ）をもつ線形補間フィルタを用いて超解像処理を実施したときの復元画像のスペクトルを図９に示す。伝達特性Ｋ1（ｚ）を用いた場合の結果がＹ1、伝達特性Ｋ2（ｚ）を用いた場合の結果がＹ2である。
Ｙ1と原画像のＰＳＮＲ（Peak Signal to Noise Ratio）は３０．３８７６[dB]、ＳＳＩＭ （Structural Similarity）は０．９７００である。Ｙ2と原画像のＰＳＮＲは３４．９８１５[dB]、ＳＳＩＭは０．９９８３である。この結果から、プレフィルタ１９を導入することにより、復元画像のＰＳＮＲが明らかに向上することが確認できる。同様の効果はプレフィルタ１９に代えてポストフィルタ１７を用いた場合にも確認できる。また、両フィルタ１９、１７を併用してもよいことも明らかである。
【００４０】
（２）実験２：ジャギー部の緩和手法の比較
上記実験１と同じ観測画像に対し、ゲイン補償を用い且つ次の２つの方法によるジャギー緩和を適用した超解像処理を実施し、その結果を比較した。
〈方法１〉観測画像をガウシアンフィルタ（７×７要素の２次元カーネル、分散σ2＝０．４１）で前処理する。
〈方法２〉次式のアナログ特性を与える。
Ｆ（ｓ）＝１／（１０ｓ＋１）2
プレフィルタ１９によるゲイン補償のみを行った場合の結果と合わせ、ジャギー部緩和実験の結果を図１１に示す。これらは図８の画像に対する実験結果の一部拡大画像である。
【００４１】
（３）実験３：復元性能評価
コダック（Kodak）社のフォトＣＤ[PCD0992]に含まれる２４枚のカラー自然画像を対象とし、バイキュービック法、ランチョス法、及び本発明による方法を用いて２倍の超解像処理を行い、復元性能を比較した。実験にあたっては、テスト画像を原画像とし、実験１と同じ縮小方法で縮小した画像を観測画像とみなした。ここでの本発明による方法は、プレフィルタ１９によるゲイン補償と、アナログ特性のローパス特性強化によるジャギー部緩和を採用したものである。即ち、次のパラメータに基づき、図６に示した誤差系モデルでフィルタ設計を行った。
Ｆ（ｓ）＝１／（１０ｓ＋１）2
Ｑ（ｓ）＝１／（０．２８ｓ＋１）
Ｐ（ｓ）＝１
【００４２】
復元画像と原画像とを比較して得られるＰＳＮＲ及びＳＳＩＭ平均値を次の表１に示す。
【表１】
0005318234.tif 000009
【００４３】
（４）実験４：画質評価 
南カリフォルニア大が公開している標準テスト画像セットに含まれる２つのカラー画像であるLena（図１２（ａ））とBaboon（図１２（ｂ））を対象に超解像処理を行い、細部の画質を比較した。用いた処理手法は、ランチョス法、ＴＶ正則化法、及びプレフィルタ１９によるゲイン補償を利用した本発明の一方法である。実験にあたっては、テスト画像を原画像とし、これを１／２に縮小したものを観測画像とみなし、２倍、４倍、８倍の超解像処理を実施した。画像縮小方法及び本発明による方法のフィルタ設計パラメータは上記実験３と同じである。なお、２倍超解像処理の実験については復元画像と原画像が同一の大きさとなるため、ＰＳＮＲ及びＳＳＩＭによる復元度の評価も行った。
【００４４】
ここで、実験に用いたＴＶ正則化法の処理手順を以下に簡単に説明する。
（ｉ）観測画像を骨格画像とテクスチャ画像に分離する。
（ii）骨格画像を離散コサイン変換に基づくシャノンの内挿法で拡大し、ＴＶ正則化を適用する。
（iii）テクスチャ画像をランチョス法により拡大する。
（iv）処理後の骨格画像とテクスチャ画像とを合成して結果画像を得る。
【００４５】
２倍超解像処理後の復元画像を図１３及び図１４に示す。図１３はLenaの帽子と右目周辺の拡大画像であり、図１４はBaboonの髭と左目周辺の拡大画像を切り出したものである。各復元画像と原画像の一致度の指標であるＰＳＮＲ値の比較を表２に、ＳＳＩＭ値の比較を表３に示す。
【表２】
0005318234.tif 000010
【表３】
0005318234.tif 000011
【００４６】
２倍超解像処理と同じ部位の４倍超解像処理後の復元画像を図１５及び図１６に示す。また、２倍超解像処理と同じ部位の８倍超解像処理後の復元画像を図１７及び図１８に示す。
【００４７】
図９を見ると、中周波数帯域においてゲイン補償ありの場合のゲインが持ち上がり、原画像スペクトルにより近いものとなっていることが分かる。また、原画像との一致度もＳＳＩＭで約０．０３、ＰＳＮＲでは５dB近く向上していることが分かる。これら結果より、観測によるゲイン低下の補償の有効性が確認できる。このことは実験３の結果によっても証明されており、ＰＳＮＲ及びＳＳＩＭによる評価の観点から、原画像により近い復元画像を与えるという意味において本発明による方法は従来法に比べて優位であると確認された。
【００４８】
一方、ゲイン補償の副作用として予想される通り、図１１（ａ）の画像ではジャギーが目立っている。図１１（ｂ）を見ると、ジャギー緩和のための方法１ではリンギングは若干緩和しているものの、ジャギー部の緩和効果は小さい。ガウシアンフィルタの分散を大きくすればジャギーは緩和されるが、反面、復元画像のＰＳＮＲが低下するため、これ以上に強いローパスフィルタを適用することは難しい。一方、図１１（ｃ）に示したアナログ特性Ｆ（ｓ）を変更する方法２には、ジャギー部緩和の明確な効果が認められる。この結果に基づいて、実験３及び実験４では、アナログ特性Ｆ（ｓ）を置き換えることをジャギー部緩和のための方法として採用している。しかしながら、アナログ特性Ｆ（ｓ）の変更はフィルタ設計の目標自体の変更にほかならず、画像の種類によっては画質悪化をもたらすおそれもあり、適用には注意を要する。
【００４９】
図１３〜図１８を見ると、本発明による処理方法は従来法と比較してディテールの復元性に優れていることが確認できる。これは具体的には、Lenaの帽子の襞の鮮明さや、Baboonの髭の分離の度合いなどの差異から分かる。また全体的に本発明による処理方法は、従来法に比べてピントが合った鮮明な印象の復元画像を与えることも分かる。こうした結果から、本発明による超解像処理方法はランチョス法やＴＶ正則化法などの従来法と比べても、十分に高い復元性能を有しているということができる。
【００５０】
なお、上記実施例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
【符号の説明】
【００５１】
１…超解像処理部
２…アップサンプラ
３…線形補間フィルタ
４…ローパスフィルタ
１１…アンチエリアシングフィルタ
１２…遅れ要素
１３…サンプラ
１４…アップサンプラ
１５…デジタルフィルタ
１６…０次ホールド
１７…ポストフィルタ
１８…減算器
１９…プレフィルタ
【図１】
0005318234.tif 000016
【図２】
0005318234.tif 000017
【図３】
0005318234.tif 000018
【図４】
0005318234.tif 000019
【図５】
0005318234.tif 000020
【図６】
0005318234.tif 000021
【図７】
0005318234.tif 000022
【図９】
0005318234.tif 000023
【図１０】
0005318234.tif 000024
【図８】
0005318234.tif 000025
【図１１】
0005318234.tif 000026
【図１２】
0005318234.tif 000027
【図１３】
0005318234.tif 000028
【図１４】
0005318234.tif 000029
【図１５】
0005318234.tif 000030
【図１６】
0005318234.tif 000031
【図１７】
0005318234.tif 000032
【図１８】
0005318234.tif 000033