(57)【特許請求の範囲】
【請求項１】
低解像度画像のシーケンスを用いて超解像画像を生成する方法を実行する１つ以上のプロセッサによる実行のための１つ以上の命令の１つ以上のシーケンスを伝えるコンピュータ可読媒体であって、
前記命令は、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに、
（ａ）第１の推定された高解像度画像と前記低解像度画像のシーケンスに由来する複数の高解像度比較画像との間でのモーション推定結果を用いて前記第１の推定された高解像度画像をモーション補償逆投影することにより第２の推定された高解像度画像を生成することと、
（ｂ）前記第２の推定された高解像度画像をモーションフリー逆投影することにより前記超解像画像を生成することと、をさせ、
前記第１の推定された高解像度画像と前記複数の高解像度比較画像との間での前記モーション推定結果は、
（ａ）前記複数の高解像度比較画像からの第１の一連の比較画像を含む第１の作業用シーケンスと、前記複数の高解像度比較画像からの第２の一連の比較画像を含む第２の作業用シーケンスと、前記第１の推定された高解像度画像とを時間的に順序付けることと、
（ｂ）前記第１の作業用シーケンスからの近接する画像の各ペア間、前記第２の作業用シーケンスからの近接する画像の各ペア間、前記第１の推定された高解像度画像と第１の作業用シーケンスからの画像との間、および、前記第１の推定された高解像度画像と前記第２の作業用シーケンスからの画像との間でモーションベクトルを算出することと、
（ｃ）前記第１の作業用シーケンスおよび第２の作業用シーケンスにおける第１の推定された高解像度画像と他の画像との間で一連の推定されたモーションベクトルを生成することと、
（ｄ）前記推定されたモーションベクトルを精製することと、
を備えた方法により生成され、
前記第１の一連の比較画像における各画像は前記低解像度画像のシーケンスにおける第１の低解像度画像よりも先に生じるそれぞれの低解像度画像に由来しており、
前記第２の一連の比較画像における各画像は前記低解像度画像のシーケンスにおける前記第１の低解像度画像よりも後に生じるそれぞれの低解像度画像に由来しており、
前記一連の推定されたモーションベクトルは近接する画像の各ペア間でモーションベクトルを算出することにおいて生成された複数の生成モーションベクトルを組み合わせることによって生成されるコンピュータ可読媒体。
【請求項２】
前記近接する画像の各ペア間でモーションベクトルを算出することにおいて生成されたモーションベクトルを組み合わせることは、
（ａ）第１の参照フレーム内で第１のブロックを識別することと、
（ｂ）中間フレーム内で第２のブロックを識別することと、
（ｃ）目標フレーム内で複数の第３のブロックを識別することと、
（ｄ）前記複数の第３のブロックの代表値を算出することと、を備えており、
前記第１のブロックは前記第１の参照フレーム内で格子位置合わせされており、
前記第２のブロックは前記第１のブロックに最も整合するブロックであり、
前記第２のブロックは各第３のブロックからの画素を含んでおり、
前記各第３のブロックは前記目標フレーム内で格子位置合わせされている、請求項１に記載のコンピュータ可読媒体。
【請求項３】
低解像度画像のシーケンスを用いて超解像画像を生成する方法であって、
（ａ）第１の推定された高解像度画像と低解像度画像のシーケンスに由来する複数の高解像度比較画像との間でモーション推定して複数のモーション推定結果を生成することと、
（ｂ）前記モーション推定結果を用いて前記第１の推定された高解像度画像をモーション補償逆投影して第２の推定された高解像度画像を生成することと、
（ｃ）前記第２の推定された高解像度画像をモーションフリー逆投影して前記超解像画像を生成することと、を備え、
前記第１の推定された高解像度画像は、前記低解像度画像のシーケンスから選択された第１の低解像度画像に対応し、
前記複数の高解像度比較画像は、１つ以上の以前に生成された超解像度画像と１つ以上の中間高解像度画像とを含み、
前記１つ以上の以前に生成された超解像度画像は、前記第１の低解像度画像よりも先に生じるそれぞれの低解像度画像に由来しており、
前記１つ以上の中間高解像度画像は、前記第１の低解像度画像よりも後に生じるそれぞれの低解像度画像に由来している方法。
【請求項４】
超解像画像を生成するためのシステムであって、
（ａ）一連の低解像度画像から第１の推定された高解像度画像および複数の高解像度比較画像を導き出すように構成された高解像度画像推定モジュールと、
（ｂ）第１の推定された高解像度画像と複数の高解像度比較画像との間でモーション推定をするように構成され、複数のモーション推定結果を生成するモーション推定モジュールと、
（ｃ）第２の推定された高解像度画像を生成するために、前記モーション推定結果を用いて前記第１の推定された高解像度画像をモーション補償逆投影するように構成されたモーション補償逆投影モジュールと、
（ｄ）前記超解像画像を生成するために、前記第２の推定された高解像度画像をモーションフリー逆投影するように構成されたモーションフリー逆投影モジュールと、を備え、
前記第１の推定された高解像度画像は、前記低解像度画像のシーケンスから選択された第１の低解像度画像に対応し、
前記複数の高解像度比較画像は、１つ以上の以前に生成された超解像度画像と１つ以上の中間高解像度画像とを含み、
前記１つ以上の以前に生成された超解像度画像は、前記第１の低解像度画像よりも先に生じるそれぞれの低解像度画像に由来しており、
前記１つ以上の中間高解像度画像は、前記第１の低解像度画像よりも後に生じるそれぞれの低解像度画像に由来しており、
低解像度画像のシーケンスが前記高解像度画像推定モジュール、前記モーション推定モジュール、前記モーション補償逆投影モジュール、及び前記モーションフリー逆投影モジュールにおいて用いられて超解像画像が生成されるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して画像の超解像に関する。
【背景技術】
【０００２】
例えば高精細度テレビジョン、法廷用画像、監視画像、衛星画像、医学的及び科学的画像等の多くのアプリケーションは、増大しつつある総解像度を用いて多大な利益を享受している。画像におけるかつてない解像度の増大を達成するための努力は、コスト並びに必要な光学的及び電子的な複雑さの問題に直面している。また、画像の画素密度を高めるためにセンサにおける画素サイズを小さくすると、１画素あたりで利用可能な光量が少なくなることに起因してショット雑音の影響が大きくなる。
【０００３】
背景として、ビデオ信号は画像フレームの連続的な流れである。各フレームは特定の場面の時間的流れの中での瞬間をとらえる。画像フレームはまた、カメラの動き（モーション）又は捕捉されている場面での動きに起因する画像フレーム間での空間的差異を有していることがある。各画像、例えば低解像度（ＬＲ）画像は、一般的には相当量の雑音を伴う場面の表示である。雑音は、低解像度画像化のような画像捕獲における情報の喪失及び、画像と現実の場面の間の対応関係における一般的な悪化に寄与する電子的又は光学的な雑音の他の形態に起因していることがある。
【０００４】
例えば双線形(bilinear)フィルタリング、双三次補間(bi-cubic)フィルタリング及び多相(poly-phase)フィルタリング等の空間的補間を用いる解像度向上技術は、一つの低解像度画像フレームの画素を用いて高解像度（ＨＲ）画像フレームのための付加的な画素を導き出す。単一の画像フレーム内の画素を用いて高解像度画像のための付加的な画素を導き出すことは、一般的にはぼやけた画像(blurred image)をもたらす。例えば、双線形フィルタリングでは、２つの近接した画素が平均化されてそれらの間に挿入されるべき新しい画素の値を生成することができるのであるが、２つの元の画素の平均値であるその新しい画素は、いくらかの不鮮明さ(blurriness)を画像に導入しやすい。
【０００５】
ビデオ信号の超解像は、それによって画像処理を通して低い空間解像度での入力ビデオフレームシーケンスが高い空間解像度の出力ビデオフレームシーケンスに変換される技術である。空間的な補間技術とは対照的に、複数の低解像度フレームからの情報が高解像度フレームを生み出すために用いられる。複数の低解像度フレーム画像の使用は、単一の低解像度画像では利用不可能な詳細さを備えた高解像度画像を生成する能力を超解像に与える。これらの高解像度画像は、より高い空間的な詳細さ、より鮮鋭な輪郭、より少ないぼけや階段状のぎざぎざ(aliasing)等のアーティファクト(artifacts)、及びより少ない認知可能な雑音を有している。
【０００６】
超解像は数学的には式（１）に示されるように逆問題(inversion problem)として定式化することができる。式（１）は、ある場面の観測された低解像度画像のシーケンスが、画像処理雑音及び付加的ランダム雑音に影響を受けている高解像度画像に由来していることを示している。
【０００７】
Ｙ＝ＨＸ＋Ｎ    ……（１）
【０００８】
ここで、Ｘは未知の高解像度画像を表し、Ｙは観測された低解像度画像を表し、Ｈは画像処理のシステム行列であり、Ｎはランダム付加雑音である。Ｈは空間解像度の自然損失を表しており、例えば光学的歪み、モーションぼやけ(motion blur)、光学系又は電子系における雑音、画像の伝送において導入される雑音、及び不十分なセンサ密度に起因するものである。超解像においては一般的に、一連の観測された画像Ｙから対応する高解像度画像Ｘの推定値を見出すことが目的である。
【０００９】
多くの技術が超解像の分野において記述されている。優れた概説が、Park, S.C., Park, M.K., and Kang, M.G., "Super-resolution Image Reconstruction: a technical overview," IEEE Signal Processing Magazine, 20(3):21-36, May 2003 及び Farsiu, S., Robinson, D., Elad, M., and Milanfar, P., "Advances and Challenges in Super-Resolution," International Journal of Imaging Systems and Technology, vol. 14, no. 2, pp. 47-57, August 2004 において提供されている。一般的に、超解像技術はモーションベースあるいはモーションフリーのいずれかに類別される。モーションベースの技術では、一つの目標を複数の低解像度画像内で追跡し、次いでその目標の空間的にシフトした複数バージョンを結合してその目標の高解像度画像にすることが企図されている。モーションフリーの方法では、低解像度及び高解像度の画像及び輪郭の対応するサンプルとして知られるキュー(cues)を用いて高解像度の詳細が得られる。
【００１０】
モーションフリーの技術、例えば Tsai, R., and Huang, T., "Multiframe Image Restoration and Registration," Advances in Computer Vision and Image Processing, vol. 5, issue 3, pp. 223-226, March 1987 に記載されている周波数領域法(frequency-domain methods)は、低解像度フレーム間でのグローバルモーションに依存している。他のモーションフリーの技術、例えば Kepel, D., and Zisserman, A., "Super-resolution from multiple views using learnt image models," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 627-634, Dec. 2001 に記載されている学習に基いた方法は、低解像度及び対応する高解像度画像の間でのマッピングの大規模なデータベースの開発を必要としている。
【００１１】
当該分野において記述されているモーションベースの方法は、Keren, D., Peleg, S., and Brada, R., "Image Sequence Enhancement Using Subpixel Displacements," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 742-746, June 1998 に記載されている非画一的サンプリング法、Stark, H., and Oskoui, P., "High-resolution image recovery from image-plane arrays using convex projections," Journal of the Optical Society of America, A: Optics and Image Science, vol. 6, pp. 1715-1726, Nov. 1989 に記載されている凸集合上への投影（ＰＯＣＳ）法、Schultz, R., and Stevenson, R., "A Bayesian Approach to Image Expansion for Improved Definition," IEEE Transactions on Image Processing, vol. 3, no. 3, pp. 233-242, May 1994 に記載されているベイジアン(bayesian)法、及び Peleg, S., Keren, D., and Schweitzer, D., "Improving Image Resolution by Using subpixel Motion," Pattern Recognition Letters, vol. 5, issue 3, pp. 223-226, March 1987 に記載されている反復逆投影（ＩＢＰ）法を含む。これらの方法の各々は高水準な計算上の複雑さを必要とするであろう。また、ＰＯＣＳは高解像度画像の特性の幾つかについての先験的な知識(a-priori knowledge)を必要とするであろうし、ベイジアン法は高解像度画像を正確に記述する確率モデルを必要とするであろう。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従って、計算上の複雑さが低減されており且つ所望の高解像度画像の先験的な知識を必要としない超解像画像化の方法が求められている。
【課題を解決するための手段】
【００１３】
一つの実施形態においては、本発明は、コンピュータにより実現される方法であって、低解像度画像のシーケンスを用いて超解像画像を生成する方法である。その方法は、受信した低解像度画像のシーケンスから選択される第１の低解像度画像に対応する第１の推定された高解像度画像を生成することと、第１の推定された高解像度画像と低解像度画像のシーケンスからの比較画像との間でモーション推定して第１の推定された高解像度画像のモーション推定結果を生成することと、第１の推定された高解像度画像をモーション補償逆投影して第２の推定された高解像度画像を生成することと、第２の推定された高解像度画像をモーションフリー逆投影して第１の超解像画像をもたらすことと、第１の超解像画像を出力することとを含む。
【００１４】
本発明の他の実施形態は、超解像画像を生成するためのシステムであって、高解像度画像推定モジュールと、モーション推定モジュールと、モーション補償逆投影モジュールと、モーションフリー逆投影モジュールと、入力インタフェースと、出力インタフェースとを含むシステムである。入力インタフェースで受信された低解像度画像のシーケンスが高解像度画像推定モジュール、モーション推定モジュール、モーション補償逆投影モジュール、及びモーションフリー逆投影モジュールにおいて順次処理されて、結果としての高解像度画像が出力インタフェースを介して送信される。
【００１５】
本発明の更なる実施形態、特徴及び利益の他、本発明の種々の実施形態の構成及び作用は、添付の図面を参照して以下に詳細に説明される。
【図面の簡単な説明】
【００１６】
添付の図面は、本明細書に組み入れられその一部を構成し、本発明の実施形態を示しており、上述の一般的な説明及び以下に与えられる実施形態の詳細な説明と共に、本発明の原理を説明するのに役立つ。
【００１７】
【図１】図１は実施形態において処理フレーム窓が７フレームである場合における低解像度フレームと出力高解像度超解像フレームの時間的関係を示す図である。
【００１８】
【図２】図２は実施形態に従う本発明の主要な処理ブロックのフローチャートである。
【００１９】
【図３】図３は図２のモーション推定処理ブロックにおける段階のフローチャートである。
【００２０】
【図４】図４は７フレームの処理フレーム窓を有する実施形態に従う、図３に示されるモーション推定処理における段階の更なる詳細を示す図である。
【００２１】
【図５】図５は本発明の他の実施形態における非近接画像間のモーションベクトル計算の方法を示す図である。
【００２２】
【図６】図６は図２のモーション補償逆投影処理において７つの処理フレーム窓で画像を処理する順序を示す図である。
【００２３】
【図７】図７は本発明に従うモーション補償逆投影における処理の幾つかの詳細を示す図である。
【００２４】
【図８】図８は本発明に従い検出されたモーション信頼性の尺度λを算出する方法を示す図である。
【００２５】
【図９】図９は本発明に従うシステムにおけるモジュールを示す図である。
【発明を実施するための形態】
【００２６】
ここでは本発明を特定の応用のための例示的な実施形態に基いて説明するが、本発明がそれらに限定されないことは理解されるべきである。ここで教示されていることを入手可能な当業者であれば、追加的な改良、応用及び実施形態をそれらの範囲内において及び本発明が顕著に有用であろう分野において認識するであろう。
【００２７】
以下に説明するように、本発明がソフトウエア（ハードウエア記述言語コードを含んでよい）、ハードウエア、ファームウエア、及び／又は図面に示された構成要素の多くの異なる実施形態において実施され得ることは当業者にとって明らかであろう。本発明を実施するための、ハードウエアの特定の制御を伴ういかなる実際上のソフトウエアコードも本発明を限定するものではない。従って、本発明の動作上の態様は、ここで提示されている詳細さの水準を前提として実施形態の改良及び改変が可能であるとの理解のもとで説明される。
【００２８】
本発明の一つの実施形態は、以下に説明するように、ビデオの超解像のための方法である。当業者であれば、ここで教示されていることが他の媒体、例えば静止画像の超解像に適用可能であることを認識するであろう。超解像処理、例えばビデオの超解像への入力は、低解像度画像（あるいは交換可能には、フレーム）のシーケンスＬＲ（０），ＬＲ（１），…，であり、その各々はｉｎ＿ｓｉｚｅ＿Ｈ×ｉｎ＿ｓｉｚｅ＿Ｖの空間解像度を有している。ディメンションｉｎ＿ｓｉｚｅ＿Ｈ×ｉｎ＿ｓｉｚｅ＿Ｖはここでは低解像度と称される。超解像処理の出力は画像のシーケンスＳＲ（０），ＳＲ（１），…，であり、その各々はｏｕｔ＿ｓｉｚｅ＿Ｈ×ｏｕｔ＿ｓｉｚｅ＿Ｖの空間解像度を有し、ここでは高解像度と称される。
【００２９】
図１は本発明の実施形態に従う低解像度フレームと出力高解像度超解像フレームの時間的な関係の説明図１００である。例示的な説明図１００においては、処理フレーム窓は７フレームである。図１においては、出力高解像度画像ＳＲ（ｎ）は出力画像のシーケンスにおいて入力画像のシーケンスにおける入力低解像度画像ＬＲ（ｎ）と同じ時間的な位置ｔ（ｎ）を有していてよい。
【００３０】
高解像度画像ＳＲ（ｎ）を生成するために、図１に示されるように、ＬＲ（ｎ）からの情報だけでなく、それに近接した画像の幾つか、例えば時間的なスロットｔ（ｎ−３）…ｔ（ｎ＋３）におけるＬＲ画像に対応するＬＲ（ｎ−３），ＬＲ（ｎ−２），ＬＲ（ｎ−１），ＬＲ（ｎ＋１），ＬＲ（ｎ＋２），及びＬＲ（ｎ＋３）からの情報をも用いるのが一般的には有益である。
【００３１】
より具体的には、図１において高解像度フレームＳＲ（ｎ）を生成するために一連の７つの低解像度フレームが用いられてよく、これらは以下ＳＲ（ｎ）の処理フレーム窓と称される。処理フレーム窓サイズは予め定められていてよく、あるいは入ってくる画像シーケンスの特性に基いた実行において動的に決定されてよい。ＳＲ（ｎ）を生成するのに用いられる低解像度画像はＬＲ（ｎ−３）…ＬＲ（ｎ＋３）である。尚、ここでは例示を目的として７フレームの処理フレーム窓が用いられているが、本発明の他の実施形態では、例えば異なる応用に関連し得る視覚的品質、複雑性及び遅延、繰り返しフレーム等の種々の制約に合致する異なる数の低解像度フレーム及び／又はフレームの異なる時間的な構成が用いられてよい。
【００３２】
例示を目的として、低解像度フレームＬＲ（ｎ）に対応して生成される高解像度フレームＳＲ（ｎ）について本発明が説明される。この処理を概観すると、目標とする空間解像度ｏｕｔ＿ｓｉｚｅ＿Ｈ×ｏｕｔ＿ｓｉｚｅ＿Ｖの最初に推定された高解像度フレームＰＰ（ｎ）が例えば空間的補間を用いてＬＲ（ｎ）から生成される。次いで、フレームＰＰ（ｎ）と６個のフレームＳＲ（ｎ−３），ＳＲ（ｎ−２），ＳＲ（ｎ−１），ＰＰ（ｎ＋１），ＰＰ（ｎ＋２），及びＰＰ（ｎ＋３）の各々との間でモーション推定(motion estimation)（ＭＥ）が実行される。ここで、ＳＲ（ｎ−３），ＳＲ（ｎ−２）及びＳＲ（ｎ−１）はそれぞれＬＲ（ｎ−３），ＬＲ（ｎ−２）及びＬＲ（ｎ−１）に対応して超解像への変換が前もって完了している高解像度フレームであり、ＰＰ（ｎ＋１），ＰＰ（ｎ＋２），及びＰＰ（ｎ＋３）はそれぞれＬＲ（ｎ＋１），ＬＲ（ｎ＋２），及びＬＲ（ｎ＋３）に対する空間的補間からの出力高解像度フレームである。
【００３３】
次いで、ＬＲ（ｎ＋ｋ）（ｋ＝−３，−２，−１，１，２，３）における各画素に対して、ＰＰ（ｎ）における対応する画素がモーション推定結果及びプログラム可能な近接窓(programmable neighborhood window)を介して識別される。これらの高解像度画素は次いで、ＬＲ（ｎ＋ｋ）の対応する低解像度画素との無矛盾性レベル(consistency level)に従って更新される。低解像度フレームＬＲ（ｎ）における画素は、先行する処理ブロックから得られた高解像度画像における画素を調整するために用いられ、その出力がここで超解像画像とも称される最終的な高解像度画像ＳＲ（ｎ）である。本発明の実施形態に従う超解像ビデオを達成する場合における各主要な処理ステップを以下に詳細に説明する。
最初に推定された高解像度画像の生成
【００３４】
図２は本発明の実施形態における主要な処理ブロックのフローチャート２００である。処理ブロック２１０では、低解像度画像ＬＲ（ｎ）が、対応する超解像画像ＳＲ（ｎ）に要求されるディメンションを有する、対応する最初に推定された高解像度画像ＰＰ（ｎ）を生成するために用いられる。背景として、空間的補間は、単一の低解像度画像から高解像度画像を生成するための当該分野で周知の方法であり、例えば双三次補間(bi-cubic)フィルタリング及び多相(poly-phase)フィルタリングが空間的解像方法として用いられてよい。最初に推定された高解像度画像を生成することに対する入力は低解像度画像ＬＲ（ｎ）であり、出力は目標解像度ｏｕｔ＿ｓｉｚｅ＿Ｈ×ｏｕｔ＿ｓｉｚｅ＿Ｖを有するアップスケールされた(up-scaled)画像ＰＰ（ｎ）である。例えば、ＬＲ（ｎ）は空間的補間を用いてＰＰ（ｎ）をもたらすように空間的にアップスケールされてよい。ＰＰ（ｎ）は超解像画像ＳＲ（ｎ）の最初の推定である。
モーション推定
【００３５】
ＰＰ（ｎ）の生成の後、処理ブロック２２０においては、ＳＲ（ｎ）の処理フレーム窓における他の時間的なスロットの各々について、ＰＰ（ｎ）のモーション推定結果が生成される。
【００３６】
ＰＰ（ｎ）とその処理フレーム窓の範囲内でＬＲ（ｎ）に先行する各タイムスロットに対する対応する高解像度画像との間でモーションベクトルが生成される。例えば７フレームの処理フレーム窓を想定すると、モーションベクトルは、ＰＰ（ｎ）と各高解像度画像ＳＲ（ｎ−１），ＳＲ（ｎ−２）及びＳＲ（ｎ−３）との間で生成されてよい。ここで、ＳＲ（ｎ−１）…ＳＲ（ｎ−３）はそれぞれ低解像度画像ＬＲ（ｎ−１）…ＬＲ（ｎ−３）に対応する超解像画像である。幾つかの実施形態では、中間高解像度画像ＰＰ（ｎ−１），ＰＰ（ｎ−２），及びＰＰ（ｎ−３）がそれぞれＳＲ（ｎ−１），ＳＲ（ｎ−２），及びＳＲ（ｎ−３）の代わりに用いられてもよい。しかしながら、ＳＲ（ｎ−１）…ＳＲ（ｎ−３）の使用はモーションの精度及び計算の複雑性に関して有利であることに留意されたい。
【００３７】
ここで説明するように、実施に際しては、それぞれの高解像度画像がＳＲ（ｎ）を生成するために利用可能になるようにこれらを保持、例えばバッファリングすることが要求される。モーションベクトルはまた、ＰＰ（ｎ）と、ＬＲ（ｎ）に続く処理フレーム窓におけるタイムスロットの各一つに対する対応する高解像度画像、例えばＰＰ（ｎ＋１），ＰＰ（ｎ＋２）及びＰＰ（ｎ＋３）との間でも生成されてよい。尚、ＰＰ（ｎ＋１）…ＰＰ（ｎ＋３）はそれぞれＬＲ（ｎ＋１）…ＬＲ（ｎ＋３）に対応する最初に推定された高解像度画像である。当業者であれば、図２に示される数処理ブロックにおいて入ってくる画像フレームのパイプライン処理の幾つかの形態が必要になるであろうことを理解するであろう。例えば、一つの実施形態では、ＰＰ（ｎ）がモーション推定ブロック２２０で処理されているときにＬＲ（ｎ＋１）…ＬＲ（ｎ＋３）の最初の高解像度推定が利用可能であるべきである。
【００３８】
カラー画像を処理する場合には、例えば、モーション推定は全部で３成分を用いるＹＵＶドメインにおいて実施されてよい。計算上の複雑性を低減する目的で、モーション推定は輝度標本のみを用いてよい。ＲＧＢフォーマットのフレームはモーション推定のための処理に先立ちＹＵＶフォーマットに変換されてよい。
【００３９】
モーション推定ブロックの出力は、ＰＰ（ｎ）とフレームＳＲ（ｎ−３），ＳＲ（ｎ−２），ＳＲ（ｎ−１），ＰＰ（ｎ＋１），ＰＰ（ｎ＋２），ＰＰ（ｎ＋３）の各々との間でのモーション推定結果に対してＭＥＲ（ｎ＋ｋ，ｎ）（ｋ＝−３，−２，−１，１，２，３）と表されてよい。一対のフレーム間でのモーション推定においては、一方のフレームはアンカー(anchor)として用いられると共に「参照フレーム」Ｆｒと称され、「目標フレーム」Ｆｔと称される他方のフレームにおいて検索(search)が実行される。ここで、Ｆｒを参照フレームとしＦｔを目標フレームとしてＦｒ及びＦｔ間のモーション推定結果を示すために表記ＭＥＲ（ｒ，ｔ）を用いることにする。例えば、ＭＥＲ（ｎ−３，ｎ）は、ＳＲ（ｎ−３）が参照フレームでＰＰ（ｎ）が目標フレームである場合におけるモーション推定結果を表す。
【００４０】
ＭＥＲ（ｎ＋ｋ，ｎ）のフォーマットを、例としてｋ＝−３を用いて説明する。参照フレームＳＲ（ｎ−３）のパーティションを考え、ＳＲ（ｎ−３）の画素がサイズｂｌｏｃｋ＿ｓｉｚｅ＿Ｈ×ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖの非重複ブロックに仕切られているものとする。ここで、ｂｌｏｃｋ＿ｓｉｚｅ＿Ｈはブロックにおける水平方向の画素数、ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖは垂直方向の画素数である。ＳＲ（ｎ−３）においてロケーション（ｂｘ＊ｂｌｏｃｋ＿ｓｉｚｅ＿Ｈ，ｂｙ＊ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖ）での最上段左方の画素を有するブロックＲに対して、そのモーション推定結果はＭＥＲ（ｎ−３，ｎ）における要素ＭＥＲ（ｎ−３，ｎ，ｂｘ，ｂｙ）として記録される。ＭＥＲ（ｎ−３，ｎ，ｂｘ，ｂｙ）は４つのデータ項目、即ちモーションベクトルの水平成分ＭＶｘ、モーションベクトルの垂直成分ＭＶｙ、モーションベクトルに対する絶対差の和ｓａｄ、及びブロックの活量(activity)ａｃｔから構成されてよい。
【００４１】
（ＭＶｘ，ＭＶｙ）がブロックＲ及びＴのモーションベクトルであるとすると、参照フレームＳＲ（ｎ−３）における（ｂｘ＊ｂｌｏｃｋ＿ｓｉｚｅ＿Ｈ，ｂｙ＊ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖ）でのブロックＲは、目標フレームＰＰ（ｎ）における（ｂｘ＊ｂｌｏｃｋ＿ｓｉｚｅ＿Ｈ−ＭＶｘ，ｂｙ＊ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖ−ＭＶｙ）でのブロックＴに一致する。ＭＶｘ及びＭＶｙは両方とも整数である。高解像度でのモーションベクトルの整数精度は低解像度での副画素精度の意味を含む。データ項目ｓａｄはＲにおける画素とＴにおける画素の間の「絶対差の和」（ＳＡＤ）を表す。データ項目ａｃｔはブロックＲの活量の測定値であり、水平方向及び垂直方向の両方におけるＲの２つの近接画素間の絶対差の和として定義される。例えばブロックサイズが４×４画素であるとすれば、Ｒ及びＴ間のｓａｄは（２）式で定義することができる。
【００４２】
0005385969.tif 000002
【００４３】
また、Ｒのａｃｔは（３）式で定義することができる。
【００４４】
0005385969.tif 000003
【００４５】
Ｒｉ，ｊはＲのｉ，ｊ画素を参照し、同様にＴｉ，ｊはＴのｉ，ｊ画素を参照する。ブロックＲは最上段左方の画素Ｒ０，０及び最下段右方の画素Ｒ３，３を有する矩形領域であり、同様にブロックＴは最上段左方の画素Ｔ０，０及び最下段右方の画素Ｔ３，３を有する矩形領域である。式（２）及び（３）は、Ｒ及びＴを包囲する画素もまたｓａｄ及びａｃｔの計算に用いることができるという事実を示している。ブロックの活量は対応するモーション推定結果の信頼性を評価するために用いることができる。信頼性を正確に反映するために、以下の式（４）に示されるように、ａｃｔは対応するＳＡＤに対して絶対画素差の数について正規化されなければならないかもしれない。
【００４６】
0005385969.tif 000004
【００４７】
ここで、ｎｕｍ＿ｐｉｘｅｌｓ＿ｉｎ＿ｓａｄはｓａｄの計算値における絶対画素差の数であり、ｎｕｍ＿ｐｉｘｅｌｓ＿ｉｎ＿ａｃｔはａｃｔの計算値における絶対画素差の数である。項ｎａｃｔはブロックの正規化活量である。尚、Ｒ及びＴを包囲する画素も同様にｓａｄ及びａｃｔを計算するのに用いられてよい。
モーション推定：手順
【００４８】
多くの方法がモーション推定において使用可能である。本発明の実施形態では、図３に示されるように、モーション推定は３段階で実行される。
【００４９】
図３はモーション推定処理ブロックにおける段階のフローチャートである。第１の段階３１０においては、検索中心としてのロケーション（０，０）に近接する高解像度フレーム間でモーション推定が実行される。例えば、参照ブロックにおけるブロックに対するモーション検索は、目標フレームにおける同じ場所の周辺で実行される。第２の段階３２０では、ＰＰ（ｎ）とそれと近接しないフレームの間のモーションベクトルが、利用可能なモーションベクトルから予測される。最後の段階３３０では、検索中心としての予測されたモーションベクトルと近接しないフレームに対してモーション推定が実行される。
【００５０】
図４は３段階のモーション推定処理の付加的な詳細の概略図である。段階的手順を用いたモーション推定の提案されている方法の目的は、各モーション推定段階における小さな実際の検索領域を網羅することにより大きな効果的な検索領域をもたらすことである。このことは、多数の低解像度フレームが高解像度フレームを生成するために用いられる場合に、２つの近接しないフレームの間でのモーションが比較的に実在的であり得るので、特に有用である。例えば、時間内で実質的に離れているフレームにおける最も合致するブロックを探し出すことは、大きなフレーム領域を必要とする可能性がある。
【００５１】
ＭＥ段階１：第１の段階においては、その詳細が４１０に示されるように、近接する高解像度フレームの組の間、例えばＳＲ（ｎ−３）及びＳＲ（ｎ−２）の間、並びにＳＲ（ｎ−２）及びＳＲ（ｎ−１）の間でモーション推定が実行される。近接するフレームの各組に対して２つのＭＥが実行され、１つは前進方向であり、もう１つは逆方向である。例えば、ＰＰ（ｎ＋２）及びＰＰ（ｎ＋３）の組に対して、前進方向ではＰＰ（ｎ＋２）を参照としＰＰ（ｎ＋３）を目標としてＭＥＲ（ｎ＋２，ｎ＋３）がモーション推定結果となるようにモーション推定が実行され、また、逆方向ではＰＰ（ｎ＋３）を参照としＰＰ（ｎ＋２）を目標としてＭＥＲ（ｎ＋３，ｎ＋２）がモーション推定結果となるようにモーション推定が実行される。この段階におけるモーション推定は、検索中心としての（０，０）並びに水平ディメンションｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｈ及び垂直ディメンションｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｖを伴う矩形検索領域を有する全検索ブロックマッチング(full-search block matching)に基いている。
【００５２】
参照フレームＳＲ（ｎ−３）はサイズｂｌｏｃｋ＿ｓｉｚｅ＿Ｈ×ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖの非重複複数ブロックに区分される。次いで、最上段左方画素（ｘ，ｙ）を有するＳＲ（ｎ−３）内のブロックＲに対して、最上段左方位置（ｘ−ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｈ１／２，ｙ−ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｖ１／２）及び最下段右方位置（ｘ＋ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｈ１／２，ｙ＋ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｖ１／２）によって区切られたＰＰ（ｎ）内の矩形領域として対応する検索領域が定義される。ここで、ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｈ１及びｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｖ１はプログラム可能な整数である。次いで、ＳＲ（ｎ−３）内のブロックＲに対してＰＰ（ｎ）内で最も合致するブロックを検索するにあたって、その最上段左方画素が検索領域内に含まれるＰＰ（ｎ）内のブロックの各々とＲが比較される。比較において用いられる照合メトリック(matching metric)は、ブロックＲの画素とＰＰ（ｎ）内の各候補ブロックの画素との間でのＳＡＤである。検索領域内の全ての候補ブロックについて、位置（ｘ’，ｙ’）のブロックが最小ＳＡＤを有していれば、ブロックＲに対するモーションベクトル（ＭＶ）は、ＭＶｘ＝ｘ−ｘ’、ＭＶｙ＝ｙ−ｙ’として（ＭＶｘ，ＭＶｙ）で与えられる。
【００５３】
尚、ＰＰ（ｎ）の処理におけるこの段階では、ＭＥＲ（ｎ＋２，ｎ＋３）及びＭＥＲ（ｎ＋３，ｎ＋２）を除き全ての他のモーション推定結果が、連続画像のパイプライン処理に起因する先行する処理から利用可能である。このように、先行するモーション推定結果が適切にバッファリングされ且つモーション推定の次の２つの段階においてすぐに使用可能であることを条件として、この段階で計算されるのが必要なのは、ＰＰ（ｎ＋２）及びＰＰ（ｎ＋３）の間でのモーション推定値のみである。モーション推定の第１段階の後、次の２つの段階は望ましくはフレームレベルでの以下の順序で実行される。即ち、先ずＳＲ（ｎ−２）及びＰＰ（ｎ＋２）に対して段階２及び３が実行され、次いでＳＲ（ｎ−３）及びＰＰ（ｎ＋３）に対して段階２及び３が実行される。この順序が望ましい理由は後述する。
【００５４】
ＭＥ段階２：この段階においては、その詳細が４２０に示されるように、利用可能なモーション推定結果に基いて非近接フレーム間でのモーションベクトルが予測される。予測されたモーションベクトルは段階３での検索中心して用いられることになる。例えば、参照フレームとしてのＰＰ（ｎ＋２）と目標フレームとしてのＰＰ（ｎ）の間での予測されたモーションベクトルは、Ｃ＿ＭＶ（ｎ＋２，ｎ）で表すことができる。Ｃ＿ＭＶ（ｎ＋２，ｎ）を決定するために、ＭＶ（ｎ＋２，ｎ＋１）及びＭＶ（ｎ＋１，ｎ）が組み合わされ、これらは両方ともモーション推定処理の先行する段階から利用可能である。
【００５５】
例えば図５に示されるように、ＰＰ（ｎ＋２）内のロケーション（ｘ，ｙ）でのブロックＲは、ＰＰ（ｎ＋１）内で最も整合するブロックをブロックＴとして有していてよく、ブロックＴは、参照フレームとしてのＰＰ（ｎ＋２）と目標フレームとしてのＰＰ（ｎ＋１）の間でのモーション推定において決定される。尚、Ｒはブロック格子、例えばｘ％ｂｌｏｃｋ＿ｓｉｚｅ＿Ｈ＝０及びｙ％ｂｌｏｃｋ＿ｓｉｚｅ＿Ｖ＝０で位置合わせされるが、Ｔはそのフレームのブロック格子で位置合わせされなくてよく、検索領域内で任意の場所に位置していてよい。図５に示されるように、ブロックＴは、最上段左方の画素がそれぞれ（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），及び（ｘ３，ｙ３）にあるＰＰ（ｎ＋１）内の４つ以内の格子位置合わせされた(grid-aligned)ブロックからの画素を含むことができる。尚、Ｔで覆われるそのようなブロックは４つを超えては有り得ない。Ｔで覆われる格子位置合わせされたブロックが４つ未満の場合には、４つの最上段左方の画素の幾つかが重複する。Ｒに対するＰＰ（ｎ＋２）からＰＰ（ｎ）への予測されたモーションベクトルは、式（５）に示されるように、ブロックＲに対するＰＰ（ｎ＋２）からＰＰ（ｎ＋１）へのモーションベクトルとブロックＴに対するＰＰ（ｎ＋１）からＰＰ（ｎ）へのモーションベクトルの中央値(median)との総和として設定することができる。
【００５６】
Ｃ＿ＭＶ（ｎ＋２，ｎ，ｘ，ｙ）＝ＭＶ（ｎ＋２，ｎ＋１，ｘ，ｙ）
＋ｍｅｄｉａｎ（ＭＶ（ｎ＋１，ｎ，ｘｉ，ｙｉ），ｉ＝０，１，２，３）
……（５）
【００５７】
ここで、モーションベクトルの集合の中央値は、集合内の他のモーションベクトルへの距離の最小和を有するモーションベクトルである。例えば、集合内の各モーションベクトルを２次元空間におけるある点として考え、集合内のモーションベクトルの各対間での距離を計算する。従って、その集合の中央値は、他のモーションベクトルへの距離の総和がその集合内でのモーションベクトルのうちで最小になるモーションベクトルであり得る。尚、他の実施形態では、２つのモーションベクトル間の距離はその２つのモーションベクトルに対応する２点間のデカルト距離として計算することができ、あるいは計算の複雑性を低減するために２つのモーションベクトルの間での水平距離及び垂直距離の和として近似することができる。
【００５８】
同様に、参照フレームとしてのＰＰ（ｎ＋３）から目標フレームとしてのＰＰ（ｎ）への予測されたモーションベクトルは、ＭＥＲ（ｎ＋３，ｎ＋２）及びＭＥＲ（ｎ＋２，ｎ）からのモーションベクトルを繋げることにより得られる。ここで、ＭＥＲ（ｎ＋３，ｎ＋２）はモーション推定の段階１から利用可能であり、ＭＥＲ（ｎ＋２，ｎ）はＰＰ（ｎ＋２）に対するモーション推定の段階３から利用可能である。尚、ＰＰ（ｎ＋２）に対するモーション推定段階２及び３がＰＰ（ｎ＋３）の段階２よりも前に完了していることが必要とされる理由はここにある。ＳＲ（ｎ−２）からＰＰ（ｎ）への予測されたモーションベクトル並びにＳＲ（ｎ−３）及びＰＰ（ｎ）については、図５に示されるように同様に得ることができる。
【００５９】
本発明の他の実施形態では、Ｒに対するＰＰ（ｎ＋２）からＰＰ（ｎ）へのモーションベクトルを予測するにあたって、式（５）における中央値演算子は４つのモーションベクトルの算術平均に置換されてよい。他の実施形態では、Ｒに対するＰＰ（ｎ＋２）からＰＰ（ｎ）へのモーションベクトルを予測するにあたって、ブロックＴと４つのブロックＳｉ（ｉ＝１，２，３，４）（図５参照）の各々との間での最小ＳＡＤが式（５）において４つのモーションベクトルの中央値に代えて用いられてよい。本発明の更に他の実施形態では、Ｒに対するＰＰ（ｎ＋２）からＰＰ（ｎ）へのモーションベクトルを予測するにあたって、４つのモーションベクトルＭＶ（ｎ＋２，ｎ＋１，ｘ，ｙ）＋ＭＶ（ｎ＋１，ｎ，ｘｉ，ｙｉ）（ｉ＝０，１，２，３）の各々に対するＳＡＤを算出し、最小のＳＡＤを有するモーションベクトルを選択してもよい。
【００６０】
ＭＥ段階３：モーション推定ブロックにおける処理の最後の段階４３０においては、対応する予測されたモーションベクトルの周囲で検索することによって、予測されたモーションベクトルが精製され、（ｋ＝−３，−２，２，３）に対するＭＥＲ（ｎ＋ｋ，ｎ）が決定される。例えば、ＭＥＲ（ｎ＋３，ｎ）を決定するために、検索中心を（ｘ＋Ｃ＿ＭＶｘ（ｎ＋３，ｎ），ｙ＋Ｃ＿ＭＶｙ（ｎ＋３，ｎ））とし、検索領域を（ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｈ３，ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｖ３）とするブロック基準のモーション推定が実行される。ここで、ｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｈ３及びｓｅａｒｃｈ＿ｒａｎｇｅ＿Ｖ３は、それぞれ水平検索範囲及び垂直検索範囲を示すプログラム可能な整数である。この段階での検索範囲は、モーション推定の計算上の複雑さを低減するために、モーション推定の段階１の検索範囲よりも小さく設定されてよい。
モーション補償逆投影
【００６１】
モーション推定処理の後、画像ＰＰ（ｎ）はモーション補償逆投影（ＭＣＢＰ）のための処理に供されてよい。このブロックへの入力は、モーション推定処理ブロックから出力されるモーション推定結果ＭＥＲ（ｎ＋ｋ，ｎ）（ｋ＝−３，−２，−１，１，２，３）と、対応する低解像度フレームＬＲ（ｎ＋ｋ）と、空間補間処理ブロックからの高解像度フレームＰＰ（ｎ）とである。ＭＣＢＰ処理ブロックからの出力は更新された高解像度フレームＰＰ（ｎ）であり、ＭＣＢＰ（ｎ）と表示される。
【００６２】
フレームレベルでは、このブロックでの手順は図６に示される続き順で実行される。ここで提案されるフレームの順序付けは、図６に示されるように、時間的にＰＰ（ｎ）に近いフレームをＰＰ（ｎ）から遠いフレームよりも優先させる。一般的にモーション推定は、より大きな時間的隔たりのフレーム対よりもより小さな時間的隔たりのフレーム対に対しての方がより信頼できるので、時間的に近いフレームが好ましいのである。また、この順序付けにおいては、モーション推定結果ＭＥＲ（ｎ−ｋ，ｎ）がＭＥＲ（ｎ＋ｋ，ｎ）（ｋ＝３，２，１）よりも好ましく、その理由は、ＭＥＲ（ｎ−ｋ，ｎ）を生成するＳＲ（ｎ−ｋ）は、真の場面への近さについて、ＭＥＲ（ｎ＋ｋ，ｎ）を生成するＰＰ（ｎ＋ｋ）よりも通常はより正確なところにある。
【００６３】
図６における第１段階がＭＣＢＰブロックにおける手順を説明するための例として用いられる。同じ手順が他の段階に対して繰り返される。例えば、図７に示されるようにＬＲ（ｎ＋３）に基いて以下のステップに従いＰＰ（ｎ）を精製することができる。
【００６４】
（１）ＰＰ（ｎ＋３）内のブロック格子位置合わせした(block-grid-aligned)各ブロックＲに対して、モーション推定結果ＭＥＲ（ｎ＋３，ｎ）を用いてＰＰ（ｎ）内の対応するモーション補償されたブロックＴが見出される。例えば、もしブロックＲがＰＰ（ｎ＋３）内で位置（ｘ，ｙ）にあり且つそのモーションベクトルが（ｍｖｘ，ｍｖｙ）であるとすると、対応するモーション補償ブロックＴはＰＰ（ｎ）内の位置（ｘ−ｍｖｘ，ｙ−ｍｖｙ）にあるブロックである。
【００６５】
（２）ブロックＲの空間的ロケーション内の低解像度フレームＬＲ（ｎ＋３）における各画素ｚに対して、対応する画素が、予め定められた空間的窓、例えば図７におけるａ００…ａ５５に基いてＰＰ（ｎ＋３）のブロックＲにおいて識別され、その結果、ＰＰ（ｎ）のブロックＴ内においても対応する画素が例えばａ’００…ａ’５５に基いて識別される。ＰＰ（ｎ）内で識別された画素から、ｚに対応する疑似画素(simulated pixel)ｚ’が生成される。尚、疑似画素ｚ’は必ずしもＬＲ（ｎ）の既存画素と位置共有(co-site)していなくてよく、ＬＲ（ｎ）の解像度についてｍｖｘ及びｍｖｙの両方が整数のとき且つそのときに限り画素ｚ’はＬＲ（ｎ）の既存画素と位置共有する。例えば、水平方向及び垂直方向の両方に３倍でＬＲ（ｎ）をアップスケールするために空間的補間を用いる場合には、ｍｖｘ％３＝０でｍｖｙ％３＝０のとき且つそのときに限り画素ｚ’はＬＲ（ｎ）の既存画素と位置共有する。
【００６６】
（３）疑似画素ｚ’と観測された画素ｚの間の残留誤差がｒｅｓｉｄｕｅ＿ｅｒｒ＝ｚ−ｚ’として計算される。
【００６７】
（４）図７の右下に示されるように計算された残留誤差に従って、例えばＰＰ（ｎ）内の画素ａ’００…ａ’５５からＭＣＢＰ（ｎ＋３，ｎ）内の画素ａ”００…ａ”５５へＰＰ（ｎ）内の画素を更新することによって、ＭＣＢＰ（ｎ＋３，ｎ）フレームが生成される。
【００６８】
上述の段階２においては、ＬＲ（ｎ＋３）内の画素ｚに対応するＰＰ（ｎ）内の画素を識別しそれらの画素から画素ｚ’をシミュレートするために、理想的には、画像収集処理において点広がり関数(point spread function)（ＰＳＦ）が必要とされる。ＰＳＦは一般的には超解像処理に利用可能ではなく種々のビデオソースの間でしばしば異なるものになるので、要求される堅牢性(robustness)及び計算上の複雑さの両方を考慮してＰＳＦに関して条件が設けられてよい。
【００６９】
例えば多相(poly-phase)ダウンサンプリングフィルタがＰＳＦとして用いられてよい。そのフィルタは例えば６タップ垂直多相フィルタとこれに伴う６タップ水平多相フィルタとから構成することができる。図７に示されるように、ＬＲ（ｎ＋３）内の画素ｚはＰＳＦを介してＰＰ（ｎ＋３）内の画素ａ００…ａ５５に対応し、画素ａ００…ａ５５はモーションベクトル（ｍｖｘ，ｍｖｙ）を介してＰＰ（ｎ）内の画素ａ’００…ａ’５５に対応し、従ってｚに対応するＰＰ（ｎ）内の画素はａ’００…ａ’５５であり、疑似画素ｚ’は次式で与えられる。
【００７０】
0005385969.tif 000005
【００７１】
ここでＰＳＦｉｊはａ’ｉｊに対応するＰＳＦでの係数である。本発明の他の実施形態においては、双三次補間(bi-cubic)フィルタをＰＳＦとして用いてもよい。
【００７２】
上述の段階４においては、残留誤差はλ＊ＰＳＦｉｊによりスケーリングされてＰＰ（ｎ）内の画素ａ’ｉｊに戻し加算(added back)され、ＭＣＢＰ（ｎ＋３，ｎ）における画素ａ”ｉｊが生成される。ＰＳＦｉｊの目的は、画素ｚ’に対するそれぞれの寄与度に応じてＰＰ（ｎ）内の画素ａ’ｉｊに残留誤差を分配することである。ここで提案されるように、スケーリング係数λの目的は、モーション推定の不正確さ及び雑音に対するアルゴリズムの堅牢性を増大させることである。λはブロックＲに対するモーション推定結果の信頼性に従って決定することができる。ブロックＲに対するＭＥ結果を（ｍｖｘ，ｍｖｙ，ｓａｄ，ｎａｃｔ）とする。ＰＰ（ｎ＋３）内の８つの直近の近接するブロックＲのうち、水平方向及び垂直方向の両方についてそのモーションベクトルが（ｍｖｘ，ｍｖｙ）から１画素違わないブロックの数をｓｐとする（高解像度に関して）。本発明の実施形態では、λは図８に示される処理に従って決定することができる。
【００７３】
図８はＰＰ（ｎ）内の画素の更新への残留誤差の寄与がモーション推定結果の信頼性に比例すべきであることを示す図である。この比例関係はモーションフィールドの滑らかさ(smoothness)を単位として測定され、モーションフィールドの滑らかさは、Ｒの近傍における可変ｓｐによって、及びＲとＴの間での整合性、例えばｓａｄとｎａｃｔの比較によって示されるような整合性がいかに良好かによって表される。尚、図７においては、もし疑似画素ｚ’がＬＲ（ｎ）内の既存の画素と位置共有していれば、λは半分に減少させられてよく、このことは残留誤差からの逆投影強度の更新が半分に低減されることを意味する。その理由は、ｚ’がＬＲ（ｎ）内の既存の画素と位置共有する場合、画素ｚ’は画素ｚを単純に整数画素だけずらしたものであり、従って解像度増強に関してそれ以上の付加的な情報を提供しないところにある。しかしながら、ＰＰ（ｎ）における雑音を低減するためには有効である。
【００７４】
本発明の他の実施形態では、スケーリング係数λを計算する場合、画素ｚに対応するＰＰ（ｎ）及びＰＰ（ｎ＋３）内の画素、即ちＰＰ（ｎ＋３）内のａ００…ａ５５及びＰＰ（ｎ）内のａ’００…ａ’５５を用いてモーション推定結果の信頼性が測定されてよい。例えば、図８におけるｓａｄ及びｎａｃｔは、Ｒ及びＴ内の全ての画素の代わりにこれらの画素のみから算出することができる。
モーションフリー逆投影
【００７５】
ＭＣＢＰ処理の後、モーションフリー逆投影処理ブロックが超解像フレームＳＲ（ｎ）を生成する。このブロックへの入力は、モーション補償逆投影ブロックからの高解像度フレームＭＣＢＰ（ｎ）及び、低解像度フレームＬＲ（ｎ）である。このブロックからの出力は超解像高解像度フレームＳＲ（ｎ）である。
【００７６】
このステップにおける手順は、上述したモーション補償逆投影におけるのと同様であるが、次の２点で異なる。即ち、（１）この段階ではモーションは伴わず従ってＬＲ（ｎ）内の全ての画素に対して（０，０）モーションベクトルが用いられる点と、（２）スケーリング係数λを定数（０≦λ≦１）に設定してよい点である。
【００７７】
図９は本発明の例示的なブロックダイアグラムを示す図である。図９において、超解像ビデオのためのシステム９００は、ステップ２１０に従って画像処理することにより、最初に推定された高解像度画像を生成する高解像度画像推定モジュール９２０を含む。システム９００は、更に、ステップ２２０に従うモーション推定のためのモーション推定モジュール９３０と、ステップ２３０に従うモーション補償逆投影のためのモーション補償逆投影モジュール９４０と、ステップ２４０に従うモーションフリー逆投影のためのモーションフリー逆投影モジュール９５０とを含む。当業者であれば、ソフトウエア、ファームウエア、ハードウエア（例えば、既に合成されていたハードウエア記述言語コーディングから又はこれを用いて製造可能なプロセッサ又はＡＳＩＣｓ）において又はこれらの任意の組み合わせを用いてモジュール９２０〜９５０が実装可能であることを理解するであろう。本実施形態は、更に、プロセッサ９７０と、メモリ９８０と、それを介して低解像度画像を受信する入力インタフェース９１０と、それを介して超解像画像を送信する出力インタフェース９６０とを含む。本発明の実施形態の例は、そのようなシステムをパーソナルコンピュータ、パーソナルデジタルアシスタンス（ＰＤＡｓ）、モバイル装置（例えばマルチメディアハンドヘルド又はポータブル装置）、デジタルテレビジョン、セットトップボックス、ビデオ編集及び表示装置等として含むことができる。
結論
【００７８】
更なる実施形態は低解像度静止画像を高解像度静止画像に変換する方法及びシステムを含むことができる。静止画像から超解像静止画像への処理に対しての本発明により特徴付けられる機能性の説明は、超解像ビデオの処理に対するのと同様である。例えば、低解像度静止画像のシーケンスは本発明の実施形態において対応する高解像度画像に変換されてよい。
【００７９】
詳細な説明の部は特許請求の範囲を解釈するために用いられることが意図されており、概要及び要約の部はそう意図されていないことが理解されるべきである。概要及び要約の部は、発明者によって熟考された本願発明の１つ以上のしかし全部ではない例示的な実施形態を記述することができ、従って本発明及び添付の特許請求の範囲を限定することが意図されているわけではけっしてない。
【００８０】
特定の機能の実装及びそれらの関係性を示す機能構築ブロックを補助として、本発明が上述のように説明されてきた。これらの機能構築ブロックの境界は、ここでの説明の便宜上適宜画定されてきた。特定の機能及びそれらの関係が適切に実行される限りにおいて、代替的な境界が画定されてよい。
【００８１】
特定の実施形態の上述した説明は、本発明の一般的性質を十分に明らかにするであろうから、他者は、当業者の知識を適用することによって、過度の実験を必要とせず、本発明の概略的概念から逸脱することなく、そのような特定の実施形態を容易に修正し及び／又は種々の応用に適用することができる。従って、そのような適用及び修正は、ここで提示されている教示及び指針に基いて、開示されている実施形態と均等なものの意味及び範囲の範疇にあることが意図されている。ここでの用語等は、本明細書の用語等がここでの教示及び指針の下で当業者によって解釈されるべきであるという点において、説明を目的としたものであって限定を目的としていないことが理解されるべきである。
【００８２】
本発明の広さ及び範囲は、上述したいかなる例示的な実施形態によっても限定されるべきではなく、以下の特許請求の範囲及びそれらと均等なものに従ってのみ画定されるべきである。
【図１】
0005385969.tif 000006
【図２】
0005385969.tif 000007
【図３】
0005385969.tif 000008
【図４】
0005385969.tif 000009
【図５】
0005385969.tif 000010
【図６】
0005385969.tif 000011
【図７】
0005385969.tif 000012
【図８】
0005385969.tif 000013
【図９】
0005385969.tif 000014