(57)【特許請求の範囲】
【請求項１】
ピクセル画像から超解像度画像を生成する方法において、
前記ピクセル画像を複数のオーバーラップする低解像度パッチに分割するステップと、
前記超解像度画像を複数の対応するオーバーラップする高解像度パッチに分割するステップと、
シーケンシャルな順序で前記低解像度パッチを処理するステップと、
を有し、前記各低解像度パッチに対する前記処理が、
前記低解像度パッチからスケーリングされたミッドバンド・パッチを生成するステップと、
前記スケーリングされたミッドバンド入力パッチ内のピクセル及びスキャン順に決定されるハイバンド・パッチに隣接する予め予測されるハイバンド・パッチのオーバーラップ領域内のピクセルから探索ベクトルを構成するステップと、
前記探索ベクトルに最も近いインデックス・ベクトルであって、関連づけられたハイバンド出力パッチを有する前記最も近いインデックス・ベクトルをトレーニング用データベース内で探し出すステップと、
前記ハイバンド出力パッチを補間された前記低解像度パッチと組み合わせて、前記超解像度画像の前記対応する高解像度パッチの画素値を予測するステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、
Ｐ個の離間したピクセルである、座標(Ｘ，Ｙ)に離間して配置されるピクセル上に、前記オーバーラップするパッチの中心を置くステップをさらに有することを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記高解像度パッチが隣接パッチに１ピクセル分だけオーバーラップし、低解像度パッチが、隣接する低解像度パッチに３ピクセル分だけオーバーラップすることを特徴とする方法。
【請求項４】
請求項１に記載の方法において、
前記スケーリングされたミッドバンド入力パッチ内の前記ピクセルと、前記予め予測される隣接ハイバンド・パッチの前記オーバーラップ領域内の前記ピクセルとを線形に構成して、前記探索ベクトルを構成するステップをさらに有することを特徴とする方法。
【請求項５】
請求項１に記載の方法において、
重み係数によって前記ミッドバンド入力パッチのピクセルに重み付けを行うステップと、
前記探索ベクトルのピクセルのコントラストを正規化係数によって正規化するステップと、
をさらに有することを特徴とする方法。
【請求項６】
請求項５に記載の方法において、前記重み係数がα＝０.１×(Ｍ２／(２Ｎ−１))であり、ＭとＮとが、ピクセル数で測定された、前記高解像度パッチと低解像度パッチのサイズであることを特徴とする方法。
【請求項７】
請求項５に記載の方法において、前記重み係数が、実質的に、すべてのカラー値の両端にわたる前記低解像度画像の平均絶対値であることを特徴とする方法。
【請求項８】
請求項５に記載の方法において、
前記ハイバンド出力パッチに対する前記正規化ステップを除くステップをさらに有することを特徴とする方法。
【請求項９】
請求項１に記載の方法において、前記インデックス・ベクトルと前記関連づけられたハイバンド出力パッチとが、ミッドバンドとハイバンドの対のトレーニング・パッチとから形成されることを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、前記インデックス・ベクトルと前記関連づけられたハイバンド出力パッチとがコントラストの正規化がなされることを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、前記シーケンシャルな順序がラスタ・スキャンの順序であることを特徴とする方法。
【請求項１２】
請求項２に記載の方法において、Ｐが５であることを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、Ｌ∞ノルムを用いて前記最も近いインデックス・ベクトルを探し出すことを特徴とする方法。
【請求項１４】
請求項１に記載の方法において、前記トレーニング用データベース内の類似インデックス・ベクトルが互いにリンクされていることを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般に画像の処理に関し、具体的には超解像度画像の生成に関する。
【０００２】
【従来の技術】
サンプリング時の解像度以上に画像の拡大を行うこと、すなわち、画像の“ズーミング”を行うことが望まれている。このような画像は“超解像度”を有すると言われる。
【０００３】
データ構造から得られるポリゴン画像は、広い範囲のスケールにわたる解像度の独立性を提供することができる。非常に近距離でズーム・インするまで、エッジは尖鋭な状態をそのまま保つ。しかし、近距離では、ポリゴンのサイズに応じて望ましくないアーティファクトが現れる。さらに、現実世界の複雑な物体を表す解像度に依存しないポリゴンの構成と描画は難しく時間のかかる処理を要する。
【０００４】
上記とは対照的に、ピクセル画像は、カメラから直接取得し易く、さらに、ピクセル画像の描画は簡単である。さらに、ピクセル画像は細部が豊かである。ただ残念ながら、ピクセル画像にはポリゴン画像と同じ解像度の独立性が存在しない。そのため、超解像度ピクセル画像の生成の際、ぼかしと細部の損失とが厄介な問題となる。
【０００５】
したがって、ピクセルベースの画像の拡大(ズーミング)を行う際に解像度の独立性を達成する方法に対する要望が存在する。さらに、グラフィックや画像処理の分野の多くの他のアプリケーションは、テクスチャ・マッピング、素人写真、ターゲット識別、狭いスクリーンのアナログ・ビデオを広いスクリーンのＨＤＴＶデータへ変換する処理などの解像度に依存しない画像処理から利益を得ることが可能となる。
【０００６】
超解像度は画像補間問題として特徴づけることができる。補間によって既存データから新しいピクセルの生成が行われる。超解像度ピクセル画像を生成する多くの手法が知られている。
【０００７】
３次スプライン補間法は、一般的な画像補間方法である(R. Keys、“３次補間法”ＩＥＥＥ会報、音響、音声、信号処理、２９:１１５３−１１６０、１９８１年、参照)。しかし、この方法によって生成される超解像度画像は、依然としてぼかしエッジと画像細部の損失とを含む場合がある。３次スプライン補間法の改善を図る最近の試みは、限定的成功をおさめてきた。F. Fekri, R. M. Mersereau及びR. W. Schafer"画像の共同最適量子化及び補間のための一般化された補間ｖｑ方法”(ＩＣＡＳＳＰ会報，第５巻，ｐ.２６５７−２６６０，１９９８年)、並びに、S. Thurnhofer及びS. Mitra"輪郭強調画像ズーミング”(光学技術、３５(７)：１８６２−１８７０、１９９６年７月)を参照されたい。
【０００８】
ノウハウを要する独自の方法では良好に機能するが、高度にテクスチャされた領域及び細いラインは依然としてぼかしが入るという問題をかかえている(Adobe PhotoshopのAltamira Genuine Fractals 2.0, 2000を参照されたい)。R. R. Schultz及びR. L. Stevensonr"改善された定義のための画像拡大へのベイズ流アプローチ”(ＩＥＥＥ会報；画像処理、３(３)：２３３-２４２、１９９４年)では超解像度を得るためにベイズ法が用いられた。しかし、上記方法は従来の確率を仮説としているため、結果として得られる画像にぼかしが入る。Pentland及びB.Horowitz"フラクタル・ベースの画像圧縮、デジタル画像及び人間の視覚への実際的アプローチ”(編集者A. B. Watson、MIT Press、１９９３年)にはトレーニング・ベースのアプローチについての記載がある。しかし、良好な画質に必要な空間的整合性の制約(spatial consistency constraint)を実施する試みは行われていない。
【０００９】
トレーニング・ベースの超解像度
最近、W. T. Freeman, E. C. Pasztor及び O. T. Carmichael"低レベル・ビジョンの学習”(Intl. J. Computer Vision, ４０(１)：２５−４７、２０００年)に、反復トレーニング法についての記載がある(米国特許出願シリアル番号０９/２３６,８３９、“既知のターゲットの観察の統計的特性を利用するターゲット推定”(Freemanらにより１９９９年１月１５日出願)も参照されたい。上記方法ではマルコフ・ネットワークの“トレーニング”が行われる。この方法では、局所的画像データの大きなライブラリを利用することによりリアルな外観を与えるテクスチャとエッジの合成が行われる。これらの局所的画像データはトレーニング用画像から学習される。すなわち、高解像度トレーニング用画像にぼかしが入れられ、各方向に２分の１だけダウンサンプリングが行われ、対応する低解像度画像が産みだされる。高解像度画像と低解像度画像とから成るこれらの対から得られたパッチのサンプリングが行われ、数千の画像パッチの対から成るライブラリが形成される。
【００１０】
トレーニング用データの必要量を減らすために、これらのパッチに対して前処理が施される。これらの低解像度画像は、双一次補間または３次スプライン補間のような従来の補間手段によって各方向に２分の１だけ最初にスケールアップされ、補間された低解像度画像が形成される。これらの補間された低解像度画像に対して、高域フィルタリングを施すことにより最も低い空間周波数成分が取り除かれ、ミッドバンド画像が得られる。またこれらの補間された低解像度画像は、対応する高解像度画像から減じられ、ハイバンド画像が得られる。ミッドバンド画像のパッチはコントラスト正規化され、ハイバンド画像の対応するパッチがその同じ量だけコントラスト正規化される。この正規化によって、最も低い空間周波数画像成分のすべての異なる値についての、及び、生じる可能性のあるすべての局所的画像コントラストについての、低解像度から高解像度への同一マッピングの再学習が回避される。上記トレーニング用データには、目に見える世界の構造についての仮説、及び、ぼかしとダウンサンプリングが生じる際の画像劣化についての仮説が含まれている。この情報はハイバンド画像の推定時に利用することができる。次いで、このハイバンド画像は補間された低解像度画像に加えられ、超解像度アルゴリズムの出力である高解像度の推定画像が形成される。
【００１１】
ズーミング段階で、入力された低解像度画像はトレーニング・パッチの場合と同じ方法で前処理される。しかし、この局所的画像情報は、抜け落ちている高い周波数を各入力パッチについて予測できるほど十分なものではない。したがって、隣接パッチ位置におけるハイバンド・パッチの選択間の空間的整合性がマルコフ・ネットワークによって考慮される。
【００１２】
【発明が解決しようとする課題】
上記反復トレーニング法では、トレーニング用データの中から、各入力されたミッドバンド画像パッチについて１組のｄ個の候補ハイバンド・パッチが見つけ出される。隣接ハイバンド・パッチの各対についてｄ×ｄの互換性マトリックスが計算される。この互換性マトリックスは、オーバーラップ領域の隣接ハイバンド・パッチ間の整合性を示す。この処理の計算コストは、乗算ではｄ２２ＮＫである(但しＮは、２ピクセル・オーバーラップが仮定されている場合のハイバンド・パッチ内のピクセル数であり、Ｋは画像内のパッチ数である)。各位置における最適のハイバンド・パッチは、ベイズ的信頼度の伝送を複数回反復することにより決定される。この場合、１反復当たりの計算コストはＯ(ｄ２Ｋ)である。言うまでもなく、この方法による画像処理は非常に時間がかかる処理となる。
【００１３】
したがって、例えば、反復のない単一の処理パスの時間中合理的な時間量で高品質の超解像度画像の提供が可能な方法に対する要望が存在する。
【００１４】
【課題を解決するための手段】
本発明は、ピクセル画像から生成される超解像度画像を提供するものである。画像は、それぞれのオーバーラップする補間された低解像度パッチ、及び、対応する高解像度パッチにまず分割される。次いで、補間された低解像度パッチはラスタ・スキャンの順に処理される。
【００１５】
各補間された低解像度パッチについて、ミッドバンド入力パッチが生成される。１つの探索ベクトルが、ミッドバンド入力パッチ内のピクセルと、予め予測される隣接ハイバンド・パッチのオーバーラップ領域内のピクセルとから構成される。
【００１６】
上記探索ベクトルに最も近い１つのインデックス・ベクトルのトレーニング用データベースの中の位置がつきとめられ、この最も近いインデックス・ベクトルは関連するハイバンド出力パッチを有する。次いで、このハイバンド出力パッチは、補間された低い周波数パッチと組み合わされ、超解像度画像の対応する高解像度パッチの画素値の予測が行われる。
【００１７】
【発明の実施の形態】
画像の分割と画像処理の順序
図１に図示のように、本発明では、単一の処理パス２００で、入力された(低解像度)ピクセル画像１０２から超解像度(高解像度)ピクセル画像１０１が生成される。すなわち、本発明では非反復処理が行われる。図１に図示のように、低解像度画像と高解像度画像１０１〜１０２の分割が以下のように行われる。
【００１８】
以下に説明するいくつかの最初の前処理を行った後、各低解像度画像１０２は、オーバーラップするピクセル・パッチから成る１つの配列に分割される。この配列は、Ｐ個(例えば５個)の離間したピクセルであって、座標(Ｘ，Ｙ)に離間して配置される１〜９のピクセルに中心を置く。
【００１９】
高解像度画像１０１について、ハイバンド・パッチ１１０が隣接パッチに１ピクセル分だけオーバーラップする。初期の倍係数(doubling factor)(すなわち２倍の解像度)として、ハイバンド・パッチ１１０はＭ×Ｍ(５×５など)のピクセルである。低解像度画像１０２について、補間された低解像度パッチ１２０は、その隣接パッチのすべてに３ピクセル分だけオーバーラップするＮ×Ｎ(例えば７×７)個のピクセルを有する。
【００２０】
このオーバーラップは探索ベクトルの構成に用いられる。このオーバーラップによって、新しいハイバンド・パッチと、予め定められた隣接ハイバンド・パッチとの間の整合性が保証される。さらに高い倍係数として、パッチ１３０は９×９のピクセルを有する。これらのサイズによって画像内の細かな細部がキャプチャされる。これらのパッチは、所望の品質と処理上の制約を満たす別のサイズと形状を持つことも可能であると理解されたい。
【００２１】
最新のデジタル・カメラの解像度は数百万ピクセルの単位で測られる。したがって、１つの画像が数万のパッチを持つ場合もある。トレーニング用データベースには数十万のパッチが蓄えられる。
【００２２】
これらの画像パッチは、最上列から始まり、左から右へ(すなわち、ピクセル１に中心を置くパッチから、次いで、ピクセル２〜９に中心を置くパッチへ)、例えばラスタ・スキャンの順にシーケンシャルに処理される。予め予測される隣接パッチ(すなわち、パッチ５の上部と左側のパッチ１、２、４)についてハイバンド・パッチの互換性が好適なラスタ・スキャン順に決定される。他のシーケンシャルなスキャン順を用いることも可能であることに留意されたい。その場合予測される隣接パッチは異なるものであってもよい。例えば、逆方向ラスタ・スキャンでは、予測される近傍は右側と下になる。画像のエッジ上のパッチは、隣接パッチの数が少ないこと、及び、第１のパッチには隣接パッチが存在しないことに留意されたい。
【００２３】
以下に説明するように、本発明では、トレーニング用データベースが予め構造化され、インデックス・ベクトルと対応するハイバンド出力パッチとから構成される対が蓄えられる。また、本発明では、低解像度パッチと隣接する予測されるハイバンド・パッチのオーバーラップ部分とから探索ベクトルが構成される(３００)。低解像度画像１０２はパッチ毎のベースで高解像度画像に変換される。各ミッドバンド・パッチについて、互換性を有するハイバンド出力パッチが探索ベクトルを用いて選択され、最も近いインデックス・ベクトルがトレーニング用データベースの中で探し出される。この探索ベクトルの構成について以下説明する。これはすべて単一の処理パス２００で行われる。この単純化によって、従来技術の互換性マトリックスの計算を行う必要性と、信頼度の反復伝送を行う必要性とが回避され、画質の低減は無視できる程度のものとなる。
【００２４】
詳細な超解像手法のステップ
図２に図示のように、本発明の単一パス超解像手法２００によって、(パッチ・ベースの)一連の局所的予測３００中、超解像度画像１０１について抜け落ちているハイバンドの内容２５２が測定される。上述のように、低解像度入力画像１０２は低解像度パッチ１２０に分割され(１０３)、次いで、これらの低解像度パッチは選択されたシーケンシャルな順序で処理される。
【００２５】
前処理ステップでは、入力画像１０２のアップ・スケーリングが行われる(２２０)。このアップ・スケーリング２２０は３次スプライン補間によって行うことができる。３次スプライン補間に起因するエッジのアーティファクトを緩和するために、境界のピクセルを複製することにより入力画像に対して各辺４ピクセルずつパッディングが行われる。このパッディングは後で取り除かれる。次に、この補間画像に対して高域フィルタリングが施され(２１０)、低周波数(解像度)の細部が取り除かれる。上記フィルタリングとスケーリングとによってミッドバンド画像２１１が生成され、上述のように、このミッドバンド画像の分割(１０３)と、パッチ・ベース毎の処理とを行うことが可能となる。
【００２６】
各ミッドバンド入力パッチ２２２について探索ベクトル３０４が生成される。コントラスト正規化されたミッドバンド・パッチのピクセルをラスタ・スキャン順に線形に構成し、次いで予め予測される隣接ハイバンド・パッチ３２９のピクセルのスケールされたバージョンを追加することによりこれらのベクトルを生成することができる。各探索ベクトルはミッドバンド画像とハイバンド画像とから得られる成分を有する。
【００２７】
トレーニング用データベース２５０内に、最も近いインデックス・ベクトル２５１を決定するために探索ベクトル３０４が利用され、対応するハイバンド出力パッチ２５２がトレーニング用データベース２５０から選択される。この選択は、局所的ミッドバンド(Ｍ)入力パッチ２２２、並びに、予め定められた隣接ハイバンド・パッチ１２０のオーバーラップ部分(Ｈ)に基づいて行われる。
【００２８】
補間された低解像度画像２２０もフィルタリングを行うことなく用いられ、補間された低解像度パッチ２２１が生成される。この補間された低解像度パッチは、対応するハイバンド出力パッチ２５２と組み合わされて(２４０)、高解像度画像１０１の中に挿入される高解像度パッチ１１０が形成される。
【００２９】
予測
図３に図示のように、画像１０１〜１０２の局所的な低い周波数の細部及び高い周波数の細部は、低い周波数パッチ２２１から抜け落ちている高い周波数２５２を“予測する”(３００)ために用いられ、高解像度パッチ１１０の決定が行われる。本発明の方法の超解像度パッチ１１０は補間された低解像度パッチ２２１と予測されたハイバンド出力パッチ２５２との和２４０となる。
【００３０】
探索ベクトル
スキャン順に決定されるハイバンド・パッチ１１０(パッチ５など)に隣接する予測されたハイバンド・パッチ１、２、４の中で、ミッドバンド入力パッチ(Ｍ)２２２のシリアル化されたピクセルをオーバーラップ領域(Ｈ)３２９のシリアル化されたピクセルと連結する(３３０)ことにより探索ベクトル３０４が生成される。
【００３１】
Ｌ∞の最も近いインデックス・ベクトルは、S. A. Nene及びS. K. Nayar"高次最近傍探索用単純アルゴリズム”(ＩＥＥＥパターン分析及び人工知能、１９(９):９８９−１００３、１９９７年９月)に基づく探索法を用いて選択される。本発明では上記の方法はＬ∞ノルムに適合される。トレーニング用データベース２５０内の各インデックス・ベクトル２５１は、該インデックス・ベクトルの予測を含むハイバンド出力パッチ２５２と関連づけられる。
【００３２】
１つの改善として、トレーニング用データベース２５０内のインデックス・ベクトル２５１を予め処理し、それによって、ポインタ２５３により類似ベクトルのリンクを行うようにすることも可能である。これによって、もしある特定のインデックス・ベクトルについて探索が失敗した場合、別の有望な最近傍ベクトルを即座に探し出すことが可能となる。
【００３３】
整合性の重み付け
探索ベクトル３０４に整合性の重み係数αが乗算され(３２０)、トレーニング用データベース２５０内でのマッチング探索の際に、ミッドバンド入力パッチ２２２対予め予測される隣接ハイバンド・パッチ１１０の相対的重要度の調整が行われる。入力パッチ２２２のマッチングと、隣接ハイバンド・パッチ１１０と互換性を有するハイバンド出力パッチ２５２の発見との間のトレードオフがパラメータαにより制御される。高品質の超解像度画像用として、本発明では
【００３４】
α＝０.１×(Ｍ２／(２Ｎ−１))
【００３５】
が選択された。但し、ＭとＮは上記で定義した値である。
【００３６】
コントラストの正規化
本発明に準拠する超解像手法２００は、ピクセル強度値における周波数オクターブ間の予測関係がコントラストとは無関係であるという仮説の下で機能する。したがって、本発明の方法では、カラー(ＲＧＢ)値のすべてにわたって、ミッドバンド・パッチ２２２の平均絶対値３１０プラスある少量のε分だけ探索ベクトル３０４内のピクセル強度の正規化が行われ、オーバーフローが回避される。補間された低解像度画像パッチ２２１と組み合わされて(２４０)、超解像度画像１０１用高解像度パッチ１１０を形成するハイバンド出力パッチ２５２上ではコントラストの正規化は行われない。
【００３７】
トレーニング
本発明の超解像手法２００用のトレーニング用データベース２５０は、トレーニング・パッチのミッドバンドとハイバンドの対から構成される。１組のトレーニング用画像を分割し、上述のように分割されたパッチの処理を行うことによりこれらのパッチの対は生成される。空間的に対応するＭ×ＭとＮ×Ｎのパッチが、１組のサンプリング位置で通常ピクセル毎に画像の対から採られる。［０.２５  ０.５  ０.２５］のぼかしフィルタを用いて各方向にまず畳み込みを行い、次いで、偶数のピクセル・インデックスのサブサンプリングを行うことにより高解像度画像からこの低解像度画像が得られる。
【００３８】
【発明の効果】
この結果、本発明によって画質の実質的劣化を伴うことなく少ない計算コストで、超解像度ピクセル画像が提供される。明細書の最後に本方法用の疑似コードを添付する。
【００３９】
推奨する実施の形態の例を挙げて本発明について説明してきたが、本発明の精神と範囲内で様々な他の適合化及び修正を行うことも可能である。したがって、本発明の真の精神と範囲に属するすべてのこのような変形と修正をカバーすることが添付の請求項の目的である。
【００４０】
【表１】
0004140690.tif 000002
【図面の簡単な説明】
【図１】  パッチに分割されたピクセル画像のブロック図である。
【図２】  本発明に準拠する超解像手法のフローチャートである。
【図３】  探索ベクトルを生成し、トレーニング用データベースから高い周波数パッチを選択するフローチャートである。
【図１】
0004140690.tif 000003
【図２】
0004140690.tif 000004
【図３】
0004140690.tif 000005