(57)【要約】  動画シーケンスのフレームのセットに、モーション推定がアクセスする。モーション推定は少なくとも１つの他のフレームに関して、基準フレームの領域への変化を記述する。基準フレームと他のフレームとは時間的窓全体にわたってフレームセット内でお互いに置き換えられる。２つのフレームの領域は、画像の外観の少なくとも一部を含有する。前記モーション推定は前記時間的窓全体にわたって平滑化される。前記平滑化は、前記フレームのセット内で前記画像の外観の少なくとも一部の整列を容易にする。
2011519436.tif 000002
【特許請求の範囲】
【請求項１】
動画シーケンス全体にわたる時間窓を定義するフレームのセットに対して、該フレームのセット内に、基準フレームから時間窓全体にわたって表示される、少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップであって、
前記基準フレームの領域と少なくとも１つのフレームは、少なくとも画像の外観の一部分を含むことを特徴とするステップと、
時間窓全体にわたってモーション推定を平滑化するステップと、
を具備することを特徴とする方法。
【請求項２】
前記平滑化は、フレームのセット内で、少なくとも部分的に、画像の外観の整列を容易にすることを特徴とする請求項１に記載の方法。
【請求項３】
対応するフレーム領域への変化を記述するフレームのセット中のフレームに関連する合成モーション成分を決定するステップと、
モーション推定の平滑化に付随して、該合成モーション成分を補償するステップと
をさらに具備することを特徴とする請求項１に記載の方法。
【請求項４】
前記合成モーション成分は、
前記動画シーケンスのフレームに関連するフレームジッター特性、又は、
前記動画シーケンスのフレームに関連するフィルムの周期変化特性、
の少なくとも１つを具備することを特徴とする請求項３に記載の方法。
【請求項５】
モーション推定が複数の成分を具備する場合、該複数の成分は、
前記セットの１以上のフレーム間の１以上の領域に関連する並進運動のモーションを記述する直交関係にあるベクトル成分のペア、又は、
前記セットの１以上のフレーム間の１以上の領域に関連する回転運動のモーションを記述する角度成分、又は、
前記セットの１以上のフレーム間の１以上の領域に関連するアフィンモーションを記述する成分、
のうちの少なくとも１つをさらに具備することを特徴とする請求項１に記載の方法。
【請求項６】
第１のフレーム及び第２のフレームに対応する領域は、複数の領域関係の第１の領域関係を具備し、
画像の外観は１以上の領域関係で少なくとも部分的に分配され、
前記モーション推定複数のモーション推定のうちの１つを具備し、
各モーション推定は、前記領域関係の１つにわたる変化を記述し、
前記方法は、
前記アクセスするステップと前記領域間のそれぞれについての各モーション推定に対する平滑化するステップとを繰り返すステップをさらに具備することを特徴とする請求項１に記載の方法。
【請求項７】
前記モーション推定は、独立変数に関して窓全体にわたるモーションを記述することを特徴とする請求項１に記載の方法。
【請求項８】
前記独立変数は、時間、温度、又は、動画シーケンスが関連するモーションの他の特性の少なくとも1つに関することを特徴とする請求項７に記載の方法。
【請求項９】
前記フレームセットのフレームは実質的に前記窓全体にわたって周期的に間隔をあけていることを特徴とする請求項１に記載の方法。
【請求項１０】
前記フレームセットのフレームは実質的に前記窓全体にわたって周期的に間隔をあけているのとは別の間隔をあけていることを特徴とする請求項１に記載の方法。
【請求項１１】
前記動画シーケンスのフレームセットは、時間窓の少なくとも一部分にわたる第１のフレームと第２のフレームのフレームセット内に表示される、少なくとも３番目のフレームを具備し、
前記方法は、
他のフレームセットの各フレームに関して、アクセスするステップと平滑化するステップを繰り返すステップを具備することを特徴とする請求項１に記載の方法。
【請求項１２】
前記平滑化ステップは、
モーション推定の時間的平滑化に対応するモーション推定の各成分の平滑した値を計算するステップと、
該平滑化した値をアクセスしたモーション推定の各々に応答する重み付けした推定値と比較するステップとを具備し、
該重み付けした推定値は、第２のフレームの対応する領域に関する第１のフレームの領域の変化を予測するための精度に関する信頼度のレベルにより重み付けられたモーション推定のセットを具備し、
前記計算した平滑化された値を重み付けした推定値と許容範囲内で比較し、前記平滑化した値を選択し、
前記平滑化した値により動画シーケンス内のフレームセットのフレームを表現することを特徴とする請求項１１に記載の方法。
【請求項１３】
前記計算した平滑化された値を重み付けした推定値と、前記フレームセットのサブセットの１以上のフレームについて、許容範囲外で比較し、前記サブセット１以上のフレームを平滑化するステップを繰り返すステップであって、該平滑化するステップは、
前記サブセットの１以上のフレームのモーション推定の各成分のそれに続く平滑化した値を計算するステップであって、ここで該それに続く平滑化した値は、元の平滑化した値と重み付けした推定値との間の値に置かれることを特徴とするステップと、
前記計算したそれに続く平滑化された値を重み付けした推定値と許容範囲内で比較し、前記それに続く平滑化された値を選択するステップと、
該それに続く平滑化された値に従い、前記動画シーケンス内のフレームセットのそれに続くフレームの１以上のフレームを示すステップとを具備することを特徴とする請求項１２に記載の方法。
【請求項１４】
動画シーケンスの画像の外観の整列を容易にする少なくとも１つのプロセッサと、
命令の１以上の格納されたシーケンスを具備するコンピュータ読取可能媒体と、
を具備し、該コンピュータ読取可能媒体は、
少なくとも１つのプロセッサで命令が実行されたとき、
動画シーケンス全体にわたる時間的窓を定義するフレームのセットに対して、時間窓全体にわたる基準フレームからフレームセット内で移動させた少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップと、
前記基準フレームの領域と前記少なくとも１つのフレームは画像の外観の少なくとも一部を含有しており、
前記時間窓全体にわたるモーション推定の平滑化を行うステップと、
を前記少なくとも１つのプロセッサに実行させることを特徴とする、動画シーケンスの処理を行う装置
【請求項１５】
前記装置は、
コンピュータと、
ビデオデコーダ又はビデオエンコーダのうちのすくなことも１つと、
テレビジョンと、
光学的にエンコードされた媒体のうちの少なくとも１つのプレーヤーアプリケーションと、
ストリーミングデジタル信号のプレーヤーアプリケーションと、
画像処理アプリケーションからの情報を表示するためのモニターと、
ネットワーク構成要素と、
ポータブル通信装置と、
医学的画像処理装置と、
科学的画像処理装置と、
ビデオ編集システムと、
ビデオ処理システムと、
ゲームプレイ装置と、
のうちの少なくとも１つを具備することを特徴とする請求項１４に記載の装置。
【請求項１６】
１以上のプロセッサで命令を実行したとき、該１以上のプロセッサに、動画シーケンスのフレームのセットに対して、
動画シーケンス全体にわたって時間的窓を定義するフレームのセットに対して、該時間的窓全体にわたって基準フレームからフレームのセット内に移動させる、少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップと、
該基準フレームの領域と前記少なくとも１つのフレームは、画像の外観の少なくとも一部を有し、
前記時間的窓全体にわたって前記モーション推定を平滑化するステップと、
を実行させるエンコードされた命令を有するコンピュータ読取可能媒体。
【請求項１７】
動画シーケンスの画像の外観の整列を容易にする、動画シーケンスを処理するシステムであって、該システムは、
動画シーケンス全体にわたる時間的窓を定義するフレームのセットに対して、前記時間的窓全体にわたる基準フレームから前記フレームのセット内で移動する少なくとも１つのフレームに関する基準フレームの領域への変化を記述するモーション推定にアクセスするステップと、
前記基準フレームと前記少なくとも１つのフレームの領域は、少なくとも画像の外観の少なくとも一部を含有し、
前記時間的窓全体にわたってモーション推定を平滑化するステップと、
を具備することを特徴とするシステム。
【請求項１８】
動画シーケンスのフレームのセットに対して、前記セット中の各フレームを独立変数の値と関連付け、少なくとも１つの他のフレームに関して前記セット中のフレームの領域の変化を、前記独立変数の関数として記述するモーション推定にアクセスするステップと、
該独立変数全体にわたって前記モーション推定を平滑化するステップと、
を具備する方法。
【請求項１９】
動画シーケンスのフレームの領域に対して、フレームのセットのサブセット全体にわたる領域のモーションを記述し、該セット中の各フレームを独立変数の値と関連付け、該独立変数の関数として、前記セット中の少なくとも１つの他のフレームに関して、前記セット中のフレームの領域への変化を記述する、モーション推定にアクセスするステップと、
前記独立変数全体にわたって前記モーション推定を平滑化するステップと、
を具備する方法。
【請求項２０】
前記平滑化は、前記フレームのセット中の２以上のフレームに存在する画像の外観の少なくとも一部の整列を容易にすることを特徴とする請求項１９に記載の方法。
【請求項２１】
前記独立変数は、時間、フレーム番号、距離、温度、又はそれによりモーションを記述することができる他の性質のうちの少なくとも１つに関することを特徴とする請求項１９に記載の方法。
【請求項２２】
前記モーション推定は、複数の成分の関数から成り、該複数の成分の関数は、
並進運動のモーションを記述する並進運動成分の関数と、
回転運動のモーションを記述する角度成分の関数と、
アフィンモーションを記述するアフィン角度成分の関数と、
色の変化を記述する色成分の関数と、
空間分解能の変化を記述する分解能成分の関数と、
のうちの少なくとも１つを具備することを特徴とする請求項１９に記載の方法。
【請求項２３】
前記フレームの全モーション推定を平滑化するためにフレームの全領域について前記ステップを繰り返すことを特徴とする請求項１９に記載の方法。
【請求項２４】
前記シーケンスの全モーション推定を平滑化するために動画シーケンスの全フレームについて前記ステップを繰り返すことを特徴とする請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオ処理に関する。さらに詳細には、本発明の実施の形態はモーション推定の時間的平滑化に関する。
【背景技術】
【０００２】
画像処理アプリケーションは、動画シーケンスの画像フレームにおける種々の外観と関連づけられたモーションを推定することができる。このアプリケーションは、外観を含有するブロック又はセグメント又は他の領域と関連づけられたモーションを推定することができる。推定したモーションにより、１つのフレームから他のフレームへの、外観又は領域の空間的変換を描写することができる。この変換により、平行移動、回転、変形、又は他の空間的変換を描写することができる。この変換により、明度又は色の変化、ぼかし、又は他の空間的変換以外の変換を描写することができる。ここで使われている、用語「モーション推定」及び「モーションの推定」は、モーションのそのような推定を示す。ここで使われている、用語「外観」、「ブロック」、「セグメント」及び「領域」は、モーション推定が関係する動画のそのような特性を示す。ここで使われている、用語「領域」は、ブロック、セグメント、又は画像フレームのはっきりと異なる他の区域を示し、これらは画像の１つ以上の外観を含むことができる。
【０００３】
モーション推定は、ビデオ、コンピュータ画像処理、医学画像処理、及び他の専門分野の画像処理アプリケーションに関連するアプリケーションで用いられる。モーション推定は、２次元（２Ｄ）画像処理アプリケーションにおいてのみならず、３次元（３Ｄ）アプリケーションにおいても用いられる。ここで、２Ｄ及び３Ｄは空間的次元を示す。
【０００４】
アプリケーションは、視覚情報を記憶及び変換（例えば、エンコード、伝達、受信、及びデコード）するためのデータ量を減少させることに関するビデオ圧縮を具備する。モーション推定は、動画シーケンスにおける画像フレームを表現するのに必要なデータを著しく減少させるために、ビデオ圧縮アプリケーションと共に用いられる。ビデオ圧縮アプリケーションは、１つのフレームから、画像領域の他の併進運動又は他のモーションのフレームにマッピングを試みることができる。例えば、基準フレームＡと、フレームＡからそれに続くフレームＢへの画像の動きを示すモーションマッピングが与えられると、フレームＡからのモーションマッピングを投影することにより、モーション予測フレームＢｍが形成される。偏差フレームＢｄは、フレームＢからモーション予測フレームＢｍを減算することにより形成される。圧縮は、モーションマッピングと偏差フレームＢｄの両方をエンコードするのに必要なデータ量がフレームＢを直接エンコードするのに必要な量より少ないときに行われる。従って、アプリケーションにより、フレームＢより比較的少ししか違わないモーション予測フレームＢｍを生じさせるモーションマッピングを探し出すことができる。圧縮に関する目的で、動画シーケンスにおける画像の外観の実際のモーションを表現するモーションマッピングの精度は、主として考慮されるものではないかもしれない。言い換えれば、圧縮の視点から、その精度により所定のモーションマッピングがモーションマッピング及び偏差フレームＢｄに必要とされるデータの量を単純に減少させるのに十分となることである。
【０００５】
モーションの推定に用いるアプリケーションでは、動画シーケンスの１以上のフレームに現れる画像の外観を、参照に対して整列させることができる。モーション推定により、基準フレームに時間的に近接するフレームのセットを動くにつれて、１つの外観を含有する領域のモーションを描写することができる。モーション推定により、基準フレームからこのセット内の他の各フレームへの領域の変換を描写することができる。各フレームから外観を整列させるために、逆変換を各他のフレームの関連する領域に適用することができ、モーション推定により描写されるモーションを逆動作又は取り消すことができる。結果として生じた画像の外観を整列させた領域のセットは、常套的な手段によりお互いに混合又は結合することができる。ここで使われている、用語「整列」は、１以上のフレームに残存する外観を含有する領域のモーション推定により描写されるモーションを逆動作させ又は取り消し、基準フレーム中の同じ外観を有する各フレーム中の外観に整列させることに関連させることができる。画像の外観を整列させるアプリケーションに対して、動画シーケンス中の画像の外観の実際のモーションを表すモーション推定の精度は、主として考慮すべきものである。正確なモーションの推定は、動画シーケンスの種々のフレーム間で正確に外観を整列させるために意義深いものとなる。
【０００６】
モーションの推定の正確さの重要性は、画像の外観の中間フレームを整列させることが意義深いものとなるアプリケーションにより、明らかとなる。これらのアプリケーションには、スーパー解像度、フレームレート変換、モーション補償インターレース除去、及びモーション補償ノイズリダクションが含まれる。スーパー解像度アプリケーション、比較的厳格な整列、及び正確なモーションの推定は、特に意義深いものとなる。正確なモーションの推定は、しかしながらこのようなアプリケーションに限定されない。正確なモーションの推定は、事実上、２Ｄビデオ又は３Ｄビデオ、医学画像処理、及びコンピュータ画像処理アプリケーションにおいて有意義となる。
【０００７】
モーションの推定によるアプローチの一例によれば、画像領域のフレームからフレームへの並進運動のモーションが、画像シーケンスのために見いだされる。このシーケンスのモーション推定を見つけるために、このシーケンスの各フレームの各領域で、モーション推定が見いだされる。特定の領域のために、この領域を含有するフレームが基準フレームとなり、モーション推定は、基準フレームと時間的に近接するフレームのセット全体にわたる領域のモーションを記述する。基準フレーム中に領域Ｃを選択することができ、同じ画像の外観を有する、関連する領域Ｃ’の適当な位置を、フレームのセット中の他のフレームで追求することができる。Ｃ’領域の追求において、領域Ｃは、多くの異なった位置に平行移動し、他のフレームのこれらの位置で領域と比較することができる。平行移動した領域Ｃと最も思われる領域は領域Ｃ’である。このセット中でフレーム同士でこのプロセスが繰り返されるので、領域のモーション推定を検出することができる。２Ｄ画像について、平行移動は、２つの成分、例えば「ｘ」成分と「ｙ」成分により表現することができる。この２つの成分は、一緒にして、モーションベクトルと称することができる。１つのモーションベクトルを、セット内の各フレームについて検出することができる。セット内で各フレームの時間的位置に従い、セットの各フレームのモーションベクトルを並べることにより、変数「ｔ」（時間）の２つの離散的関数、例えばｘ（ｔ）とｙ（ｔ）を形成することができる。この２つの関数は、モーションの２つの成分に対応する。この２つの関数は、一緒にして、領域のモーション推定となり、その領域の並進運動のモーションをフレームのセット全体にわたって詳述する。この例においては、２つの成分により並進運動のモーションが記述されていることを理解することができる。
【０００８】
例えば、平行移動、回転、変形、及び明度変化を表現するような、もっと複雑なモーションの例では、領域が１つのフレームから他のフレームに変換され、このモーションを表すためには３以上の成分が必要となる。さらに、２つのフレーム内の関連する領域を表すために領域Ｃ及びＣ’を用いると、基準フレームの領域Ｃを、その成分のすべてにわたる範囲で変換し、他のフレームの領域と比べることができる。さらに、領域Ｃが変換された領域として最も可能性の高い領域は領域Ｃ’であり、このプロセスは、このセット中の各フレームについて繰り返される。説明した変換は７つの成分で表現することができる。成分は、まとめて、モーションベクトルと称することができる。このセット内の各フレームの時間的位置に従いモーションベクトルを並べることで、変数「ｔ」（時間）の７つの離散的な関数を形成することができる。７つの関数は、まとめて、領域のモーション推定であり、この関数は、フレームのセット全体にわたる領域の複雑なモーションを詳述する。
【０００９】
より一般的には、モーションの推定では、どのようにモーションベクトル及び／又は他のモーション推定が基準フレームの領域を１以上の他のフレームにマッピングするかの（例えば量的な）記載を参照する。これらの領域は空間的に区別することができる。このモーション推定により、基準フレームの領域が、例えば、基準フレームと時間的に近接する他のフレームの領域に関連付けられる。この基準フレームの各領域について、基準フレームから一定のずれ（例えば、一定の数のフレーム、時間的距離）の範囲内にある、類似領域の検索が他の１以上のフレームについて行われる。ここで使われている、用語「モーション推定」は、モーションの空間的又は非空間的特性を記述する特定の成分を有する、任意の数の成分の関数からなるモーション推定を意味することができる。ここで使われている、用語「モーション推定」は、例えば、時間窓を定義するフレームのセット全体にわたる時間についてサンプルした成分を意味することができ、フレームの各サンプルは時間的に等間隔とすることも等間隔としないこともできる。これらの成分は、例えば距離又は温度についてサンプルされた変数により、モーション推定が表現されるという条件において、他の変数でサンプルすることができる。
【図面の簡単な説明】
【００１０】
本発明を例示として説明するものであって、限定するものではない。添付図における形状について、類似の参照番号は、類似の構成要素を示す。
【図１Ａ】本発明の一実施の形態を実行することができる、例示的な動画シーケンスを示す。
【図１Ｂ】本発明の一実施の形態による、例示的なモーション推定を示す。
【図２Ａ】本発明の一実施の形態を実行することができる、モーション推定による例示的なマルチフレーム画像の外観の整列を示す。
【図２Ｂ】本発明の一実施の形態による、画像の外観の例示的な整列を示す。
【図３Ａ】本発明の一実施の形態による、モーションベクトルのセットの例示的な最初の成分のセットをプロットしたものを示す。
【図３Ｂ】本発明の一実施の形態による、モーションベクトルのセットの、最初の成分と直交する、例示的な２番目の成分のセットをプロットしたものを示す。
【図４】本発明の一実施の形態による、最初の例示的な手順のフロー線図を示す。
【図５】本発明の一実施の形態による、２番目の例示的な手順のフロー線図を示す。
【図６】本発明の一実施の形態による、合成モーションの最初の例におけるモーションベクトル成分をプロットしたものを示す。
【図７】本発明の一実施の形態による、合成モーションの２番目の例におけるモーションベクトル成分をプロットしたものを示す。
【図８】本発明の一実施の形態を実行することができる、例示的なコンピュータシステムのプラットフォームを示す。
【発明を実施するための形態】
【００１１】
例えば、モーションを予測する精度が変化することがあり、モーション推定に狂いが生じる可能性がある。モーションを推定する特定の方法の結果、又はノイズ、エイリアシング、プロセスアーティファクト、その他のような、特定の画像シーケンスの１以上の特性により、分散が生じる。このような、不正確性により、モーション推定の正確さの程度又は正確さの信頼性の測度を、モーション推定に付随させることができる。フレームのセット全体にわたる領域のモーションを記述するモーション推定のために、各フレーム（例えば各モーションベクトル）の別の信頼度は、この推定を伴うことができる。フレームのセット内で各フレームの時間的位置に従いこの信頼度を配列することにより、変数「ｔ」（時間）の関数を形成することができる。ここで使われている、用語「信頼」は、モーション推定の類似の程度、信頼性、蓋然性、又は、精度を意味することができる。ここで使われている、用語「信頼度」、「信頼度関数」及び「信頼」は、モーション推定を伴う信頼性の関数を意味することができる。ここで使われているように、モーション推定は、付随する信頼度関数を具備すると仮定することができる。
【００１２】
モーション推定の時間的平滑化の典型的な実施の形態をここに記載する。以下の説明において、本発明を十分理解してもらえるように多くの具体的な詳細について公にする。しかしながら、本発明はこれらの具体的な詳細説明なしに実行できることは明らかである。他の例では、本発明を不必要に不明確にすることを避けるために、周知の構造及び装置は必要以上に詳細に記載しない。
【００１３】
（概要）
一実施の形態は、モーション推定の時間的平滑化に関する。動画シーケンスのフレームのセットに対して、モーション推定が行われる。このフレームのセットはこのシーケンスの時間窓を規定する。このモーション推定は、このフレームのセット中の少なくとも１つの他のフレームに関して、セット中の基準フレームの領域の変換について記述する。基準フレーム及び他のフレームの領域のそれぞれには、画像の外観の一部を含むことができる。このモーション推定は、時間窓で平滑化される。Christopher  J.  Orlick、Jerome  D.  Shields、Richard  Webb、及びScott  Millerによる２００８年１１月２１日出願のＰＣＴ出願、表題「Temporal  Image Prediction」はここにそのすべてを参照として組み込む。平滑化により、モーションの各成分を独立に平滑化することができる。付随する信頼度関数は平滑化しなくても良い。平滑化により、少なくとも部分的には、各フレームからの同じ画像の外観を正確に整列させることを容易にする。動画シーケンスのモーション推定は、このシーケンスの各フレームの各領域でのモーション推定を平滑化することにより平滑化される。
【００１４】
ここに記載の典型的な実施の形態は、モーション推定の時間的平滑化に関する。動画シーケンスは複数のフレームを具備する。このシーケンスのフレームは、このシーケンスの時間的な大きさを記述するフレームレートで表される。動画シーケンスの所定のフレームのセットは、従って、このシーケンス内の時間窓と考えることができる。時間窓内のフレームには、基準フレームが含まれ、この窓の他のフレーム全体にわたるモーションがこの基準フレームを参照することができる。モーション推定は、時間窓を規定するフレームのセット全体にわたるモーションを記述する。
【００１５】
比較的短いフレームの時間窓内で、実際の画像の外観に関するモーションは滑らかな特性を持つと考えることができる。短いフレームの時間窓では、時間的に滑らかであることとは別のようにみえる特定の領域又は画像の外観のモーションの推定は、正確でなく誤差があると考えることができる。時間的に滑らかであることと異なるモーション推定は、窓中のフレームの外観の正確な配置を損なうことがある。実施の形態では、モーション推定を時間的に平滑化し、それが画像の外観の配列を改善する助けとなる。
【００１６】
動画シーケンスのセット又は動画フレームのセットにおいて、他のモーションの特性、例えば平滑化以外の特性は、モーションの平滑化特性と結合することができる。例えば、フレームのジッター特性又はフィルムの周期変化特性は、モーションの平滑化特性と結合することができる。他のモーションの特性とモーションの平滑化特性とをこのように合成すると、フレームは、全体的な合成モーション特性を示す。しかしながら、モーションの平滑化は、モーションの合成の後に潜在する特性であると考えることもできる。
【００１７】
１つの実施の形態において、モーション推定は、１以上の成分を有するか又は１以上の成分で記述することができる。例えば、フレーム領域のモーション推定には、水平と垂直、「ｘ」及び「ｙ」のような、直交関係にあるベクトル成分の関数のペアを含むことができる。成分の関数により、フレームセット全体にわたる領域に関連する並進運動のモーションを記述することができる。
【００１８】
モーション推定には、その回りに回転運動のモーションが生じる基準フレームの領域の一点に対する各θ（シータ）のような、回転成分あるいは角運動成分の関数を含むことができる。角度成分の関数は、フレームセット全体にわたる領域に関連する回転運動のモーションを記述することができる。角度成分の関数を、直交関係にあるベクトル成分（例えば、「ｘ」及び「ｙ」）の関数のペアのような、並進運動の成分に含ませることができる。
【００１９】
モーション推定には多くの成分の関数を含むことができる。例えば、モーション推定には少なくとも６つの関数を含むことができ、これらの関数は、歪み及び平行移動のようなアフィンモーションを記述することができ、フレームセット全体にわたる領域に関連させることができる。
【００２０】
２Ｄ動画シーケンス内のフレームセット全体にわたる画像領域の並進運動のモーションを表現するために２つの成分のモーションベクトルを用いてモーション推定に関連して例示的な実施の形態を説明する。ここで、この説明から、実施の形態は、均一性、短さ、単純さ、及び明瞭性のためだけに用いられる、これらの例示的外観に限定されないことは明らかである。逆に、この説明から、あらゆる種類のモーションに対するあらゆる種類のモーション推定を用いるアプリケーションの関数に十分適合することが明らかである。これらの実施の形態は、２Ｄ、３Ｄ及び種々の多次元画像のアプリケーションに適しており、コンピュータ画像処理及び生物医学画像処理のような画像処理アプリケーションに適している。２Ｄビデオアプリケーションとは対照的に、３Ｄ生物医学画像処理アプリケーションは、心臓の鼓動を視覚的に表現することができる。シーケンスのモーション推定では、並進運動のモーションを表現するために３つの成分、例えば「ｘ」、「ｙ」、及び深さすなわち「ｚ」成分、を用いることができる。
【００２１】
領域でのモーション推定を平滑化する例示的な実施の形態について説明することができる。領域でのこの推定の平滑化は、識別可能な操作としてみることができる。シーケンスのすべてのフレームすべての領域に対してこの操作を繰り返すことでこのシーケンスのモーション推定を平滑化する。ここで、領域でのモーション推定の平滑化についての例示的な実施の形態は、単一のフレーム又は完全なシーケンスでのモーション推定を平滑化するために、同じフレーム又は他のフレームの他の領域を平滑化するために用いることができる。
【００２２】
モーション推定により、時間に対する（又は他の変数に対する）モーションを記述し、各成分は、時間の一価関数とみなすことができる。モーション推定がその変数、例えば距離又は温度に対するものとして記述されるという条件で、成分は他の変数の関数とみなすことができる。例えば、１つの実施の形態において、モーション推定は、独立の変数に関する窓についてモーションを記述する。この独立変数は、時間、距離、温度、及び／又は、動画シーケンスに関連する範囲内でのモーションに対する他の属性に関連づけることができる。フレームセット中のフレームは、窓に対して周期的に実質的に間隔を置くこと、又は、窓に対して実質的に周期的ではない間隔を置くことができる。１つの実施の形態において、領域の各成分の関数を、独立に平滑化することができる。２つの異なる成分の関数を一緒に平滑化することもできる。ローパスフィルターにより、又は放物線又はスプライン関数のような曲線に適合させることにより、又は他の平滑化方法により関数を平滑化することができる。付随する信頼度関数を、フィルターのための重み付け、曲線適合、又は他の関数として、用いることができる。信頼度関数を平滑化することはない。異なる領域に対するモーション推定を異なる方法で平滑化することができ、領域での推定の異なる成分の関数を、異なる方法で平滑化することができる。
【００２３】
１つの実施の形態において、動画シーケンスのフレームのセットについて、モーション推定を行う。モーション推定では、セット中の各フレームと独立変数の値とを関連付ける。モーション推定ではまた、セット中のフレームの領域の、同じセット中の少なくとも１つの他のフレームとの関係における変化を、独立変数の関数として記述する。モーション推定は、独立変数全体にわたって平滑化される。
【００２４】
１つの実施の形態において、動画シーケンスのフレームの領域について、モーション推定を行う。モーション推定では、フレームのセットにおけるサブセット全体にわたるモーションを記述する。モーション推定では、また、セット中の各フレームと独立変数の値とを関連付ける。さらに、モーション推定では、セット中のフレームの領域の、同じセット中の少なくとも１つの他のフレームとの関係における変化を、独立変数の関数として記述する。モーション推定は、独立変数全体にわたって平滑化される。
【００２５】
１つの実施の形態において、平滑化により、フレームのセット中の１つ以上のフレームに存在する画像の外観の、少なくとも一部を、整列させることを容易にする。この独立変数を、時間、フレーム番号、距離、温度、又はモーションを記述することのできる他の属性のうちの少なくとも１つに関連づけることができる。モーション推定には、複数の成分の関数が含まれる。この成分の関数には、並進運動のモーションを記述する並進運動成分関数、回転運動のモーションを記述する角度成分関数、アフィンモーションを記述するアフィン成分関数、色変化を記述する色成分関数、又は空間的解像度の変化を記述する解像度成分関数のうちの少なくとも１つが含まれる。
【００２６】
１つの実施の形態において、フレームの全体的なモーション推定を平滑化するためにそのフレームのすべての領域に対してこのステップが繰り返される。１つの実施の形態において、シーケンスの全体的なモーション推定を平滑化するために動画のすべてのフレームに対してこのステップが繰り返される。
【００２７】
１つの実施の形態では、動画シーケンスの複数のフレームに現れる画像の外観の整列を促進する。このシーケンスのフレームのセットに対して、モーション推定が関係付けられる。モーション推定は、セット中の１つのフレームの領域、及び基準フレームの、セット中のそれぞれの他のフレームへ変換を記述する。このフレームのセットは、シーケンスの時間窓を定義する。フレームの関連する領域は、同じ画像の外観の少なくとも一部分を含むことができる。このモーション推定は時間的窓全体にわたって平滑化される。この平滑化により、セット中の各フレームからの画像の外観の整列を、少なくとも部分的に、促進する。各フレームからの画像の外観は、基準フレーム中の画像の外観に揃えられる。
【００２８】
（スムーズな並進運動のモーションの例）
フレームの領域についてのモーション推定には、水平と垂直、「ｘ」及び「ｙ」のような、直交関係にあるベクトル成分の関数のペアを含むことができる。第１のモーション推定に基づき、第１の成分関数及び信頼度関数を、動画シーケンスについてのモーションベクトルのセットのような、２つの直交関係にあるベクトル成分のそれぞれに割り当てる。基準フレームについて時間的に定義された窓内のフレームに対して、実際の画像の外観のモーションが平滑化されるとみなされる。この窓は、例えば、短時間又は少数のフレームを対象とするよう定めることができる。しかしながら、他の時間的に重要な期間で、窓を定義してもよい。
【００２９】
時間的に定義した窓内で、滑らかさを前提として、その領域の第２のモーション推定が第１のモーション推定から定められる。第２のモーション推定は第１のモーション推定を平滑化することにより決定する。モーションベクトルの２つの直交関係にある成分のそれぞれの第２の成分の関数は、第２のモーション推定に基づいて割り当てられる。
【００３０】
１つの実施の形態において、モーション推定は、例えばローパスフィルターにより、モーションベクトルの直交する成分をフィルターすることにより平滑化することができる。別の実施の形態において、スプライン又は放物線（又は他の滑らかに傾斜した曲線）をモーション推定に適用して、平滑化された第２のモーション推定をつくることができる。添付の信頼度関数をフィルターのための重み付け関数として用いることができる。
【００３１】
ここに記載した例示的な実施の形態により、動画シーケンス中の画像の外観を整列させることが容易になる。さらに、例示的な実施の形態では、動画シーケンス中の外観の視覚的な特性をさらによくすることができる。
【００３２】
ここに記載した例示的な実施の形態は、動画シーケンス中の画像の外観を、それに関連するモーション推定を平滑化することにより、整列させることと関連付けて実行することができる。実施の形態に組み込むことのできる手順は、例示したステップとほぼ同じステップで、及び／又は例示的な手順のステップとは異なる順序で実行するステップで、実行することができる。例示的な手順を、１以上のコンピュータ読み出し可能な記憶媒体中にエンコードされている、機械読取可能な命令により制御されている、１以上のコンピュータシステムに実行させることができる。
【００３３】
元のモーション推定における狂いは、改善することができる。元のモーション推定は以下のように行うことができる。ここでモーションを推定するために画像シーケンスを分析することができる。基準フレーム中の領域を選択することができ、そして、他の、例えば次のフレーム又は前のフレームで探したその「最もありそうな」位置を選択することができる。特定の位置の領域である、相対的なありそうな度合いを表す測度は、最もありそうな位置を見つけるための検索に用いられる。基準フレーム中のすべての領域に対して、例えばこの基準フレームからあらかじめ定めた（小さな）時間的距離内にある、他のフレームのセット中の各フレームについて検索が行われる。検出した最もありそうな位置の信頼度の測度を定めることができる。基準フレームのモーション推定はこのようにして行われる。
【００３４】
図１Ａは、本発明の実施の形態を実行することのできる例示的な動画シーケンス１００を示している。お互いのフレームに、その外観を含む領域の最もありそうな位置を検索により出現させ、その位置をモーション推定中に記録する。図１Ａは、画像の外観、文字「Ａ」の位置を、それが動いている状態を、あるいは、それが５つのフレーム区間１００にわたって、フレームにおける空間的位置を移動する状態を示している。
【００３５】
図１Ｂは、１つの実施の形態による、例示的なモーション推定１００を示している。図１Ｂは、Ｘで示されたモーション推定中に記録された位置と共に、同じ動いている外観「Ａ」を示している。どの１つのフレームにおける位置も他のフレームにおける位置とは独立に求められる。
【００３６】
図２Ａは、本発明の実施の形態を実行することのできるモーション推定により、例示的なマルチフレーム画像の外観を整列させたもの２０１を示している。図２Ａにおいて、各フレームからの画像の外観は、Ｘで示されたモーションに従い、参照に対して整列させたものである。画像の外観は、例えばそれぞれ独立に検索することによる間違いに起因して、正しく整列していないことがある。モーションの推定における間違いにより、モーション推定が滑らかなモーションの軌道からずれてしまうことがある。モーションの推定においてさもなければ生じるかもしれない間違いは、この実施の形態による平滑化により除去され、それにもかかわらず、それにより画像の外観の実際のモーションは変わらない。より正確なモーションの推定は元のモーション推定を平滑化することにより達成される。
【００３７】
モーション推定は、単に検索した各フレームの一致する領域の最もありそうな位置を考慮するのではなく、選択した時間窓内ですべての他のフレーム中の位置と相対的に一致する領域の位置を考慮することで平滑化することができる。図１Ｂは、画像の外観「Ａ」の推定した軌道として、○で示したような、モーションの推定の平滑化により求められた位置を示している。この例では、「Ａ」の実際のモーションは、滑らかであると推定している。
【００３８】
図２Ｂは、1つの実施の形態による、画像の外観「Ａ」の例示的な整列２１２を示している。図２Ｂにおいて、各フレームからの画像の外観「Ａ」は、図１Ｂで用いた○で示したような滑らかなモーションに従い、参照に対して整列している。モーション推定の平滑化により、例えば整列２０１（図２Ａ）と比べて画像の外観「Ａ」の整列２１２を改善することができる。
【００３９】
さらに、１つの実施の形態において、画像の外観を整列させた後、この外観を含む画像領域が、所定の方式に従い融合される。外観を整列させ融合する目的は、画像の質を向上させるためであるが、画像の質を向上させないで、正しく整列していない外観を融合させることにより、画像の質が著しく劣化する危険性を生じる可能性がある。１つの実施の形態において、融合させるための方式により、可能性、信頼度、又は、特定のあらかじめ定めた位置でのそれぞれの外観の同様な蓋然性に基づき、整列させたそれぞれの画像の外観に重みが与えられる。
【００４０】
１つの実施の形態において、信頼度が高いとき、画像の外観を融合させる。位置を独立に見つけたところでは、信頼度も独立に決定する。しかし、平滑化したモーション推定を画像の外観を位置あわせするために用いるところでは、位置が相互に合意しているので、各位置の信頼度は増している。図１Ｂと図２Ｂとを参照すると、画像の外観の相対位置は、整列させた○位置は、必ずしも、独立した検索に使われた相対的なありそうな位置の測度で定めた×位置と一致していないことがわかる。対照的に×位置と○位置とにおける相対的なありそうな程度の測度を調べることにより、いくつかの差異を示すことを期待することができる。検索の不完全及び／又はノイズ、エイリアシング、及びプロセスアーティファクトのような画像特性により、×位置の独立した検索がわずかに有利になる。
【００４１】
モーション推定を平滑化することにより、及び、見つけた位置を×位置から○位置に動かすことにより、相対的なありそうな程度の測度が減少し、従って信頼度も減少する。しかしながら、平滑化操作により得られた位置に呼応することにより、実施の形態では、信頼度を十分向上させてこの低下を埋め合わせる。整列の信頼度を上げることは、整列に関する信頼度を上げることをうまく両立させることを伴う。
【００４２】
平滑化したモーション推定の有用性は、この平滑化した推定が動画シーケンスにおける実際の画像の外観のモーションにどれほど接近するかに関係する。時々それに不一致が生じる。この不一致は、図５を参照して以下に説明するように、画像シーケンスのモーションの推定処理を繰り返すことにより、一部は改善される。モーション推定を決定するプロセスでは、著しく計算コストに関係することがあり、これは、アプリケーションによってこの処理を繰り返すことを不経済にすることがある。また、質の高いモーション推定を役に立つようにするためのアプリケーションは、モーションを推定するために１つ以上の処理のコントロールを行わないかもしれない。従って、既存のモーション推定の質は、そのようなアプリケーションに価値を与えることができる。しかし、実施の形態により、既存のモーション推定を時間的に平滑化することにより、モーション推定の質を改善し、従ってそのようなアプリケーションに有用となる。
【００４３】
動画シーケンスにおける並進運動のモーションについての既存のモーション推定は、複数の並進運動のモーションのセットからなる。この並進運動のモーションの推定のために、動画シーケンスのすべてのフレームをセグメント化し実質的にピクセルの長方形のブロックにする。各ブロックは、付随するモーションベクトルのセットを有する。モーションベクトルは、動画シーケンスのいくつかのフレームにわたってブロックのモーションを記述する。ブロックを含有するフレームは、そのブロックのモーションベクトルのセットに対する基準フレームと考えられる。
【００４４】
モーションベクトルのセットは、基準フレームからの所定の時間的距離以内にある他の各フレームへのベクトルを有する。所定のブロックに対して、モーションベクトルのセット中の各ベクトルは、基準フレーム中の関連するブロックの位置との相対的な、他のフレームの１つの中の関連するブロックの標準の大きさの領域の計算した最もありそうな位置を示す。ブロックが他のフレームに移動する（又は先のフレームにブロックから移動する）最もありそうな位置は、そのブロック中の外観に最も一致する画像の外観を含有するブロックの標準の大きさの領域を他のフレームで検索することにより決定される。アプリケーションの精度を上げるために、種々のフレーム中の位置をサブピクセルの精度で検索することができる。サブピクセルの精度での検索を用いるところでは、オーバーサンプリングによる補間を用いることができる。オーバーサンプリングによる補間では、マッチングに用いるサブピクセルのサンプルを作る。所定のブロックに関連づけられたベクトルのセットに対して、動画シーケンスの種々のフレーム間での検索を、他のフレームの検索とは独立に行う。
【００４５】
対応するピクセル値（例えばルミナンス値／輝度値、及び／又は、クロミナンス値／彩度値）の差の絶対値の和（ＳＡＤ）は、各ブロックとの一致する程度の測度として用いられる。ゼロのＳＡＤは、本質的に完全に一致することを示している。一方、比較的大きなＳＡＤは、相対的に一致状況が芳しくないことを示している。他の実施の形態において、ブロックの一致の程度の測度は、また、あるいは代替的に、差分絶対値和（ＭＡＤ）又は最小平均二乗誤差（ＭＭＳＥ）の計算からなる。各ベクトルは、一致の信頼度を表示に関連する値を有することができる。この信頼度は、ＳＡＤから導き出すことができる。この信頼度は、ＳＡＤとブロック中に含まれる情報量の測度との組み合わせから導き出すことができる。他の信頼度の公式を用いることができる。
【００４６】
信頼度の計算に用いる数式は、以下の式１で与えられる。
【数１】
2011519436.tif 000003
【００４７】
式１の定数「Ｋ］は、許容誤差を調整する。信頼度の計算において、比較的良い一致は、信頼度が１（又は他の有効数）に向かおうとする。同様に、相対的に一致度が良くないものは、信頼度が０（又は、良い一致を示す値と全く正反対の他の値）に向かおうとする。  モーション推定は、１つの実施の形態において、各ブロックのモーションベクトルのセットを処理することにより修正される。動画シーケンスにおけるすべてのフレームの全ブロックについてモーションベクトルのセットを処理することにより、モーション推定が平滑化される。１つのブロックに対して、各モーション成分（例えば、ｘとｙ）の個々の関数がお互いに独立に平滑化される。種々の処理をモーションベクトルのセットを平滑化するために用いることができる。これらの処理には、元のモーション推定にローパスフィルターを掛けること又は、元のモーション推定にスプライン関数又は放物線（又は他の滑らかな曲線）を適用することを含むことができる。信頼度は、モーションベクトルの重み付けのために用いることができる。
【００４８】
１つの実施の形態によれば、図３Ａは、第１の例、例えば、モーションベクトルのセットの水平方向（ｘ）成分のプロット３００を示す。図３Ｂは、第２の例、例えば、モーションベクトルのセットの、第１の（ｘ）成分に対して直交する、垂直（ｙ）成分のプロット３５０を示す。モーションベクトルのｘ成分値とｙ成分値とは、基準フレームの周りに集まっている１１のフレームに対して、それぞれプロット３００及びプロット３５０に別々にプロットしている。×印は、既存のモーション推定で見つかった位置を示す。モーションのｘ成分とｙ成分は、フレーム数（時間に対応する）の関数としてプロットされる。実線の曲線は、関数を平滑化することにより生成された軌道を示す。破線の曲線は、基準フレーム中のブロックの既知の位置に対する相対的な軌道を示す。言い換えれば、破線の曲線は、本質的に実線の曲線の、基準フレームの位置（０，０）を通り過ぎてずらした変位を表す。平滑化したモーション推定は、破線の曲線により定めたものと共にセット中の元のモーションベクトルを取り替えることにより行われる。場合によって、関連する信頼度の置き換えられる。例えば、誤差が新たに計算され新たな信頼度が導出される。そして、図２Ｂに示した画像の外観の整列を行うことができる。
【００４９】
（例示的手順）
本発明の実施の形態では１以上の手順を用いてモーション推定を平滑化する。１つの実施の形態に組み込むことのできる手順は、おおむね、示された例示的手順及び／又は例示的処理の手順とは異なる順序で行うステップで実行することができる。これらの手順は、以下に記載するようなコンピュータプラットフォームの１以上の成分により行うことができる。これらの例示的処理は、１以上のコンピュータ読み取り可能な記憶媒体にエンコードされた、機械で読み取り可能な命令に制御されて機能する１以上のプロセッサを有する１以上のコンピュータシステムにより実行することができる。ここに記載した手順の実施においては、種々の実施の形態において、ソフトウェア（例えば、１以上のエンコードされたアルゴリズムを含む）、ファームウェア、ハードウェア、及びこれらの組み合わせを必要とすることがある。
【００５０】
図４は、１つの実施の形態による第１の例示的手順４００のフローチャートを示す。ステップ４０１にて、モーション推定は、ビデオ シーケンスのフレームの領域にアクセスする。その領域のモーション推定は、フレームのセット全体にわたる領域のモーションを記述する。領域を含有するフレームはそのセットの基準フレームであり、そのセット中のフレームは基準フレームに時間的に近接している。ステップ４０２で、この推定が平滑化される。この領域中に現れる画像の外観は、図２Ｂに示すように、このようにして整列させことができる。手順４００は、シーケンスの各フレームの各領域で繰り返され、このシーケンスのモーション推定を平滑化する。
【００５１】
図５は、１つの実施の形態による第２の例示的手順５００のフローチャートを示す。ステップ５０１にて、既存のモーション推定にアクセスする。既存のモーション推定から、モーションベクトルのセットの水平方向及び推定方向のｘ及びｙ成分が割り当てられる。場合によっては、元の信頼度が割り当てられる。元の信頼度は、しかしながら、役立てることはできない。例えば、ＳＡＤ情報は、有効でないかも知れず、信頼度は必要と見なされない。このような場合、１つの値が、例えばすべて１である値が、信頼度として割り当てられる。１つの実施の形態において、既存のモーション推定からの直交関係にあるベクトルセットの成分と信頼度には、例えば、現在の＿Ｘ、現在の＿Ｙ、及び現在の＿信頼度が表示として、記憶及び処理のために割り当てられる。現在のベクトルセットの成分及び現在の信頼度は、ビデオシーケンスのフレームセットの各フレームに含まれる。
【００５２】
ステップ５０２にて、軌道のｘ成分とｙ成分の新しい推定が現在のベクトルセットの成分を平滑化することにより作られる。１つの実施の形態において、軌道のｘ成分とｙ成分の新しい推定には、例えば、新しい＿Ｘ、新しい＿Ｙの表示が割り当てられる。滑らかのモーションが仮定され、ステップ５０３にて、新しい平滑化された推定が作られる。このｘ成分とｙ成分は相互に独立に平滑化される。１つの実施の形態において、現在の信頼度を、フィルターを掛けるための位置サンプルに対する重み付け、曲線適合、又は他の平滑化動作のために用いることができる。図３Ａ及び図３Ｂを参照すると、記号Ｘは、初期推定を表し、破線の曲線は平滑化した推定を表す。
【００５３】
ステップ５０４にて、既存のモーション推定からのベクトルセットの成分と新しい推定のベクトルセットの成分との間の差異の測度を決定する。この差異は、画像空間における距離の計測及びそれによる、既存のモーション推定からのベクトルセットの成分の位置がどの程度新しい推定とずれているかを示す。差異に対応する値「ｄｉｆｆ」は、１つの実施の形態において、以下の式２に従い決定する。この式において、特定のフレームのｘ成分とｙ成分における差異は、「ｄｘ」及び「ｄｙ」で示される。
【数２】
2011519436.tif 000004
【００５４】
１つの実施の形態において、既存のモーション推定からのベクトルセットの成分と新しい推定のベクトルセットの成分との間の差異には、例えば「新しい＿差異」の表示が割り当てられる。
【００５５】
ステップ５０５にて、例えば差異の値（例えば、新しい＿差異）の大きさを調べることにより、既存のモーション推定（例えば、現在の＿Ｘ、現在の＿Ｙ）からのベクトルセットの成分が平滑化した推定（図３Ａ，Ｂの実線で示した曲線、破線で示した曲線ではない）より十分小さいかどうかを判断する。ベクトルセットの成分の新しい推定（新しい＿Ｘ、新しい＿Ｙ）は滑らかであり、従って、差異、新しい＿差異、は平滑化された推定に対する既存のモーション推定の類似性の強い指標となる。既存のモーション推定が平滑化された推定に十分近似していると判断される場合、既存のモーション推定の平滑化が正当であり、手続５００が続けられる。
【００５６】
従って、ステップ５０８において、新しい平滑化された推定が、基準フレームのブロックの既知の位置に移される。例えば、実線で示した曲線を破線で示した曲線にずらすことによる移動が図３Ａ及び図３Ｂに示されている。しかし、既存のモーション推定が平滑化された軌道に十分近似していないと判断される場合、平滑化操作は、そのブロックに対して中止となり、既存の推定が用いられるが、手続５００ブロックの残りに対して続けることができる。
【００５７】
既存のモーション推定が平滑化した推定に十分近似しているかどうかについての判断は、いくつかの技法のうちのひとつで行うことができる。１つの実施の形態において、閾値となる距離より短い多くの異なる値の（例えば、新しい＿差異への）入力が単純に判断される。論理的受諾変数（ｌｏｇｉｃａｌ  ａｃｃｅｐｔａｎｃｅ  ｖａｒｉａｂｌｅ）が各入力で形成される。論理的受諾変数は、１つの実施の形態において、新しい＿受諾可能な＿差異と表示される。対応する差異の値が距離の閾値より小さい場合、論理的受諾変数は、「真」を表示する。「真」の論理的受諾変数の入力は、推定した元の位置が十分平滑化した推定位置に近い場合は、このようにしてフレームを表示することができる。多くの「真」の入力が十分大きい場合は、既存のモーション推定が十分近似していると判断される。
【００５８】
一例として、図３Ａと図３Ｂを再び参照すると、ここでは、２の値を有する距離閾値に対して、フレーム3の入力が「誤り」すなわち表示されたベクトルから外れている以外は、論理的受諾変数の入力は真である。モーション推定が少なくとも８個の真の入力を必要とする平滑化した推定に十分近似する場合は、既存のモーション推定は、プロット３００及び３５０により、十分に近似していることが示される。
【００５９】
手順５００を実行するためのシステムのプラットフォームによっては、それに続く動画シーケンスに適合させるための再検査のための、十分な計算資源と負荷の柔軟性を持つことができる。それだけの能力のあるプラットフォームで、手順４００は、任意的にそのような再検査を行うことができる。従って、ステップ５０６において、フレームセットのいくつかのフレームを引き続き検索するかどうかを決定する。例えば、いくつかのフレームで論理的受諾変数が誤りの入力を持ち、これは、対応する位置が、例えば滑らかなモーション推定から極端に離れているような、既存のモーション推定が閾値の距離より大きいことを示している。
【００６０】
ステップ５０７にて、十分近接していないフレームが再度検索される。１つの実施の形態において、十分近接したフレームは、限られた領域で検索される。例えば、これらのフレームは、基準フレーム中のブロックに最も一致するブロックサイズの領域の最も可能性のある位置の、平滑化したモーション推定の近傍で検索される。時間窓内の他のフレームのそれぞれにおいて、検索領域は、平滑化した推定により示される位置のあたりに集められ、論理的受諾変数の値を決定するために用いられた、距離閾値より少し広い小さな領域に限定される。
【００６１】
一致の程度を示す測度及び信頼度の表示は、ステップ５０２及び５０３を参照して上記のように進められる。見つかった次の位置及び次に検索したフレームの信頼度は、既存のモーション推定及び割り当てられた現在の信頼度に割り当てられ、手順５００はステップ５０２に戻る。特定のブロックのベクトルセットに対して、初期に、容認しがたい距離をもつフレームは、次の検索を必要とするに過ぎないようである。再度、例えば、図３Ａ及び図３Ｂを参照して、フレーム３が再度検索され最もよく一致する新しい位置が平滑化された推定の近傍で見つけられる。
【００６２】
続いてフレームが検索されない任意的なステップ５０６で判断が行なわれる場合（又は、ステップ５０５で最初のモーション推定が十分平滑化した推定に近似するとの判断により、ステップ５０６が選択されなかった場合）、新しい平滑化された推定は、例えば図３Ａ及び図３Ｂに示したように、実線で示した曲線を破線で示した曲線に移動させることにより、基準フレーム中の既知の位置に移される。
【００６３】
いくつかのフレームは、しかしながら依然として誤りの論理的受諾変数入力を有していることがある。１つの実施の形態において、これらのフレームに対応する信頼性のある入力はゼロ値に割り当てられる。ブロック５０９にて、このブロックのベクトルのセットが新しい推定及び、もしあれば、それに関連する信頼度からの値に置き換えられ、それによりモーション推定が改善される。修正したベクトルのセットを画像領域を整列又は融合させるために使うことができ、これにより動くビデオシーケンスの画像の質を向上させることができる。
【００６４】
（合成モーションの例：フレームのジッター及びフィルムの周期変化）
本発明の実施の形態は、モーションを平滑化する機能に限られない。それどころか、本発明の実施の形態は、フレームのジッターと結合した滑らかなモーション、及び／又は、フィルムの周期変化と結合した滑らかなモーションのような合成モーションに関する関数に十分適している。それに加えて、ここでの記載がモーションベクトルについての説明である一方、合成モーションに関して機能する実施の形態は、成分のモーション推定に用いられるどんなものにも適している。
【００６５】
ここで使われている、用語「フレームのジッター」は、本質的に、ビデオシーケンスの全フレームに適用される一般的なモーションを意味することができる。フレームのジッターは、様々な既知の技法により測定することができる。動画シーケンスにおいて、フレームのジッターが存在することが知られ、測定された場合、１つの実施の形態により、このジッターに関連するモーションの特性を除去し、ジッター特性を除去した後の残りのモーションの特性に関連するモーション推定を平滑化し、そして、ジッター特性を平滑化したモーション推定に置き換える。
【００６６】
図６は、例えば、１つの実施の形態によるフレームのジッターと結合した滑らかなモーションの、第１の合成モーションの例である。簡単にするため、明確にするため、そして短くするために、図６は、モーションベクトルのｙ成分を（対応するｘ成分を示すことなく）示している。２倍の破線で表した曲線は、合成モーションの軌道であり、フレーム内のブロックのモーションの特性のみならずフレームのジッター特性も含まれている。星印は、既存のモーション推定に見られる位置を表す。破線で表した曲線は、フレームのジッターに関する軌道を表す。
【００６７】
１つの実施の形態において、既知のフレームのジッターは、モーションベクトル（又は他のモーション推定）値から減算される。モーションベクトルからフレームのジッターを減算することにより、フレーム内のブロックのモーションの特性がジッター特性のないものとなり、ここで、ジッターフリーモーション推定と称することができる。ジッターフリーモーション推定は、図６において×印で示した値の実線で表した曲線の軌道のように、平滑化することができる。１つの実施の形態において、フレーム内のジッターフリーモーション推定を平滑化するために、図４及び図５を参照して説明したような手順を実行する。平滑化により、フレームジッターモーションの特性が平滑化したモーション推定に新たに加えられ、基礎となる平滑化したモーションの特性を含む合成モーション推定を生成する。
【００６８】
合成モーションは、滑らかなモーションが、画像シーケンスに繰り返しのフレームが挿入される、フィルムの周期変化と結合した場合にも生じる。例えば、２４フレーム毎秒のビデオ入力が６０フレーム毎秒のビデオ出力に変換される場合、５つの出力フレームを生成するために、ペアの入力フレームが繰り返される。この例において、このペアの最初のフレームは３回繰り返され、２番目のフレームは２回繰り返されることになる。このような繰り返しが、入力フレームの各ペアに対して続けられることになる。フィルムの周期変化は種々の方法で知ること及び計測することができる。
【００６９】
図７は、１つの実施の形態による、合成モーションの２番目の例のモーションベクトル成分７００をプロットしたものを示す。簡単にするため、明確にするため、そして短くするために、モーションベクトルのｙ成分を（対応するｘ成分を示すことなく）図７において、モーション推定の代表として、示している。フィルムの周期変化の存在を、フレームの繰り返しの位置を観察することにより示すことができる。
【００７０】
フレームが繰り返されるので、１つの実施の形態において、例えば、フィルムの周期変化の逆動作を行うアプリケーションにより、繰り返しフレームが時間内に元の位置に戻るまで、平滑化が遅れる。図７において、位置の値を動かすフレーム時間が矢印で示されている。値を動かすことにより、図４及び図５を参照して上述したような手順を、周期変化のないモーション推定を平滑化するために適用することができる。平滑化により、新たに平滑化したモーション推定にフィルムの周期変化が適用され、基礎となる平滑化したモーションの特性を含む合成モーション推定を生成する。
【００７１】
（例示的なコンピュータシステムプラットフォーム）
図８は、本発明の実施の形態を組み込むことのできる例示的なコンピュータシステム８００を示す。コンピュータシステム８００には、情報通信のためのバス８０２又は他の通信機構、及び、情報を処理するためのバス８０２に接続されたプロセッサ８０４（１以上のプロセッサを表す場合もある）が含まれる。コンピュータシステム８００には、プロセッサ８０４に実行させるために情報と命令を記憶しバス８０２に接続されたランダムアクセスメモリ（ＲＡＭ）又は他のダイナミック記憶装置も含まれる。メインメモリ８０６は、プロセッサ８０４が実行する命令を実行するときの一時的な変数や中間的な情報を記憶するためにも用いることができる。コンピュータシステム８００にはさらに、プロセッサ８０４への固定的な情報や命令を記憶させるためにバス８０２に接続されたリードオンリーメモリ（ＲＯＭ）８０８又は固定的な記憶装置が含まれる。磁気ディスクや光学的ディスクのような、情報や命令を記憶するために記憶装置８１０が設けられバス８０２に接続される。
【００７２】
コンピュータシステム８００は、コンピュータユーザに情報を表示するために、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）、フラットパネルディスプレイ、その他のモニターのような、ディスプレイ８１２にバス８０２経由で接続することができる。英数字キー及びその他のキーを含む入力装置８１４が、プロセッサ８０４に情報と命令を通信するために、バス８０２に接続されている。ユーザ入力装置の他の形式として、マウス、トラックボール、又は、プロセッサ８０４に命令情報と命令の選択を通信する、ディスプレイ８１２上のカーソルの動きを制御するカーソル命令キーのような、カーソル制御８１６がある。この入力装置は、一般に、装置に平面上の位置を特定させるために、第１の座標軸（例えば、ｘ）及び第２の座標軸（例えば、ｙ）の２つの軸方向に、２の自由度を持つ。
【００７３】
本発明は、モーション推定の平滑化のためにコンピュータシステム８００の使用に関連する。本発明の１つの実施の形態によれば、メインメモリ８０６中に含まれる１以上の命令の１以上のシーケンスを実行するプロセッサ８０４に応答して、コンピュータシステム８００により、外部から書き換え可能なクエリーがなされる。このような命令は、記憶装置８１０のような他のコンピュータ読取可能媒体からメインメモリ８０６に読み込むことができる。メインメモリ８０６中に含まれる命令のシーケンスを実行することにより、ここに記載したプロセスのステップをプロセッサ８０４に行わせる。複数処理の構成となる１以上のプロセッサを、メインメモリ８０６中に含まれる命令のシーケンスを実行するために用いることもできる。代替的な実施の形態において、ハードワイヤードの回路を、本発明を実行するためのソフトウェア命令と組み合わせて、又はソフトウェア命令の代わりに用いることもできる。これにより、本発明の実施の形態は、特定のハードウェア回路とソフトウェアの結合に限定されるものではない。
【００７４】
ここで用いられる用語「コンピュータ読取可能媒体」は、プロセッサ８０４に実行させるための命令を与えるために使われるあらゆる媒体を意味する。このような媒体は、これらに限定されるわけではないが、不揮発性媒体、揮発性媒体、伝達媒体を含む多くの形態をとることができる。不揮発性媒体には、例えば、記憶装置８１０のような磁気ディスクや光学的ディスクが含まれる。揮発性媒体には、メインメモリ８０６のようなダイナミックメモリが含まれる。伝達媒体には、バス８０２を形成する電線を含む、同軸ケーブル、銅線及び他の導体及び光ファイバが含まれる。伝達媒体は、ラジオデータ通信及び赤外線データ通信において生じるような音響波又は電磁波の形態をとることができる。
【００７５】
コンピュータ読取可能媒体の一般的形式として、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、その他の光学的媒体、パンチカード、紙テープ、その他の旧来の穿孔パターによる物理的な媒体、ＲＡＭ、ＰＲＯＭ、及びEPROM、FLASH-EPROM、その他のメモリチップ又はカートリッジ、以下に説明する搬送波、その他のコンピュータで読み取り可能な媒体が挙げられる。
【００７６】
種々の形式のコンピュータ読取可能媒体は、プロセッサ８０４に実行させるための１以上の命令の１以上のシーケンスの運搬に用いることができる。例えば、命令を最初に遠隔のコンピュータの磁気ディスクに持ち込むことができる。遠隔のコンピュータは、ダイナミックメモリに命令をロードし、この命令をモデムを用いて電話線で送ることができる。コンピュータシステム８００の近くにあるモデムは、電話線でデータを受け取り、赤外線トランスミッタを用いてデータを赤外線信号に変換することができる。バス８０２に接続した赤外線検出器は、赤外線信号荷より運ばれたデータを受信しそのデータをバス８０２に流す。バス８０２はメインメモリ８０６にこのデータを送り、このデータからプロセッサ８０４は命令を読取実行する。メインメモリ８０６が受信した命令は、プロセッサ８０４が実行する前又は後のいずれかに記憶装置８１０に格納することもできる。
【００７７】
コンピュータシステム８００には、バス８０２に接続された通信インターフェース８１８も含まれる。通信インターフェース８１８は、ローカルネットワーク８２２に接続されたネットワークリンク８２０に接続する２方向データ通信を行う。例えば、通信インターフェース８１８は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、又はデジタル加入者回線、ケーブル、又は電話線の形式に対応するデータ通信接続を行うその他のモデムとすることができる。他の例として、通信インターフェース８１８は、ＬＡＮと互換性のあるデータ通信接続を行うローカルエリアネットワーク（ＬＡＮ）カードとすることができる。無線リンクを組み込むことも可能である。このような実施の形態のいずれにおいても通信インターフェース８１８は、種々の形式の情報を表すデジタルデータストリームを運ぶ電気的信号、電子的信号、又は光学的信号を送信及び受信する。
【００７８】
ネットワークリンク８２０は、通常、他のデータ装置に１以上のネットワークを介してデータ通信を行う。例えば、ネットワークリンク８２０は、ローカルネットワーク８２２を介してホストコンピュータ８２４、又は、インターネットサービスプロバイダ（ＩＳＰ）８２６が運営するデータ装置への接続を行うことができる。一方、ＩＳＰ８２６は、今では一般に“インターネット”と呼ばれる、世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク８２２及びインターネット８２８はどちらも、デジタルデータストリームを運ぶ電気的、電磁的、又は光学的信号を用いる。デジタルデータをコンピュータシステム８００に運びコンピュータシステム８００から受け取る、種々のネットワークを通る信号、及びネットワークリンク８２０上の及び通信インターフェース８１８を通る信号は、情報を伝送する典型的な搬送波の形式となる。
【００７９】
コンピュータシステム８００は、ネットワーク、ネットワークリンク８２０、及び通信インターフェース８１８を介して、プログラムコードを含むメッセージを送ることができ、データを受け取ることができる。インターネットの例では、サーバー８３０は、インターネット８２８、ＩＳＰ８２６、ローカルネットワーク８２２、及び通信インターフェース８１８を介してアプリケーションプログラムの要求コードを伝送することができる。本発明によれば、このようなダウンロードされたアプリケーションは、ここに記載したような、モーション推定の時間的平滑化のためのアプリケーションを提供する。
【００８０】
受け取ったコードは、受け取ったときにプロセッサ８０４で実行することができ、及び／又は記憶装置８１０に格納すること又は、後で実行するために他の不揮発性記憶装置に格納することができる。このようにして、コンピュータシステム８００は、搬送波の形でアプリケーションコードを入手することができる。
【００８１】
本発明の実施の形態は、例示的コンピュータシステム８００の構成要素を用いて、図４及び／又は図５を参照して説明したようなモーション推定を平滑化する機能を有する、デコーダ及び／又はエンコーダのような装置に組み込むことができる。種々の実施の形態において、装置は、コンピュータシステム８００と関連するファームウェアに、及び／又は、それを実行するソフトウェアに組み込むことができる。種々の実施の形態において、装置を設定するための及び／又はここに記載した手順を実行するための命令は、コンピュータシステム８００に用いられる、１以上のコンピュータ読取可能な記憶媒体にエンコードされる。
【００８２】
１つの実施の形態において、コンピュータシステム８００は、他の機能を有する付加的な構成要素を含むものとして設定することができる。もう１つ別の実施の形態では、コンピュータシステム８００は、記載した１以上の構成要素を含まなくてもよく、及び／又は、外部の構成要素、システム、又は装置を有する、図示したような１以上の構成要素と関連付けて説明した、機能を達成するよう設定することができる。１つの実施の形態において、コンピュータシステム８００の１以上の機能が、特定用途向け集積回路（ＡＳＩＣ）により遂行される。１つの実施の形態において、装置の機能が、ＡＳＩＣにより遂行される。
【００８３】
１つの実施の形態において、コンピュータシステム８００及び／又はそれと共に作られた装置は、ネットワーク８２２及び／又はインターネット８２８を具備する。１つの実施の形態において、コンピュータシステム８００及び／又はそれと共に作られた装置は、パーソナルコンピュータ（ＰＣ）、ワークステーションコンピュータ又はこれに類するもの、ビデオ編集システム及び／又はビデオ処理システム、携帯電話のような、移動可能な及び／又はネットワーク接続可能な計算装置及び／又は通信装置、携帯端末（ＰＤＡ）、ラップトップコンピュータ又はハンドヘルドコンピュータ又はこれに類するもの、テレビジョン（ＴＶ）、デジタル多用途ディスク（ＤＶＤ）プレーヤー、ＨＤ−ＤＶＤのような高解像度（ＨＤ）媒体のプレーヤー、ブルーレイディスク（ＢＤ）のような他の光学的にエンコードされた媒体のプレーヤー、ゲームプレイング装置、ストリームング媒体のプレーヤー、科学的、医学的、その他の画像処理装置、又はこれに類するものを具備する。
【００８４】
（実施例）
１つの実施の形態における方法は、命令の１以上のシーケンスを運ぶコンピュータ読取可能媒体を具備し、この命令は、１以上のプロセッサにより実行されたとき、１以上のプロセッサに、動画シーケンス全体にわたる時間窓を定義するフレームのセットに対して、該フレームのセット内に、基準フレームから時間窓全体にわたって表示される、少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップを具備し、前記基準フレームの領域と少なくとも１つのフレームは、少なくとも画像の外観の一部分を含むことを特徴とするステップと、時間窓全体にわたってモーション推定を平滑化するステップとを具備する。
【００８５】
１つの実施の形態における方法又はコンピュータ読取可能媒体は、前記平滑化は、フレームのセット内で、少なくとも部分的に、画像の外観の整列を容易にする。
【００８６】
１つの実施の形態における方法又はコンピュータ読取可能媒体は、対応するフレーム領域への変化を記述するフレームのセット中のフレームに関連する合成モーション成分を決定するステップと、モーション推定の平滑化に付随して、該合成モーション成分を補償するステップとをさらに具備する。
【００８７】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、前記合成モーション成分が、動画シーケンスのフレームに関連するフレームジッター特性又は、動画シーケンスのフレームに関連するフィルムの周期変化特性の少なくとも１つをさらに具備する。
【００８８】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、モーション推定が複数の成分を具備する場合、該複数の成分は、前記セットの１以上のフレーム間の１以上の領域に関連する並進運動のモーションを記述する直交関係にあるベクトル成分のペア、又は、前記セットの１以上のフレーム間の１以上の領域に関連する回転運動のモーションを記述する角度成分、又は、前記セットの１以上のフレーム間の１以上の領域に関連するアフィンモーションを記述する成分のうちの少なくとも１つをさらに具備する。
【００８９】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、第１のフレーム及び第２のフレームに対応する領域は、複数の領域関係の第１の領域関係を具備し、画像の外観は１以上の領域関係で少なくとも部分的に分配され、前記モーション推定複数のモーション推定のうちの１つを具備し、各モーション推定は、前記領域関係の１つにわたる変化を記述し、前記方法は、前記アクセスするステップと前記領域間のそれぞれについての各モーション推定に対する平滑化するステップとを繰り返すステップをさらに具備する。
【００９０】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、モーション推定は、独立変数に関して窓全体にわたるモーションを記述する。
【００９１】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記独立変数は、時間、温度、又は、動画シーケンスが関連するモーションの他の特性の少なくとも1つに関する。
【００９２】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記フレームセットのフレームは実質的に前記窓全体にわたって周期的に間隔をあけている。
【００９３】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記フレームセットのフレームは実質的に前記窓全体にわたって周期的に間隔をあけているのとは別の間隔をあけている。
【００９４】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、前記動画シーケンスのフレームセットは、時間窓の少なくとも一部分にわたる第１のフレームと第２のフレームのフレームセット内に表示される、少なくとも３番目のフレームを具備し、前記方法は、他のフレームセットの各フレームに関して、アクセスするステップと平滑化するステップを繰り返すステップを具備する。
【００９５】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、前記平滑化ステップは、モーション推定の時間的平滑化に対応するモーション推定の各成分の平滑した値を計算するステップと、該平滑化した値をアクセスしたモーション推定の各々に応答する重み付けした推定値と比較するステップとを具備し、該重み付けした推定値は、前記モーション推定第２のフレームの対応する領域に関する第１のフレームの領域の変化を予測するための精度に関する信頼度のレベルにより重み付けられたモーション推定を具備し、前記計算した平滑化された値を重み付けした推定値と許容範囲内で比較し、前記平滑化した値を選択し、前記平滑化した値により動画シーケンス内のフレームセットのフレームを表現する。
【００９６】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記計算した平滑化された値を重み付けした推定値と、前記フレームセットのサブセットの１以上のフレームについて、許容範囲外で比較し、前記サブセット１以上のフレームを平滑化するステップを繰り返すステップであって、該平滑化するステップは、前記サブセットの１以上のフレームのモーション推定の各成分のそれに続く平滑化した値を計算し、ここで該それに続く平滑化した値は、元の平滑化した値と重み付けした推定値との間の値に置かれることを特徴とする繰り返すステップと、前記計算したそれに続く平滑化された値を重み付けした推定値と許容範囲内で比較し、前記それに続く平滑化された値を選択するステップと、該それに続く平滑化された値に従い、前記動画シーケンス内のフレームセットのそれに続くフレームの１以上のフレームを示すステップとを具備する。
【００９７】
１つの実施の形態において、動画シーケンスの処理を行う装置は、動画シーケンスの画像の外観の整列を容易にする少なくともひとつのプロセッサと、命令の１以上の格納されたシーケンスを具備するコンピュータ読取可能媒体とを具備し、該コンピュータ読取可能媒体は、少なくとも１つのプロセッサで命令が実行されたとき、動画シーケンス全体にわたる時間的窓を定義するフレームのセットに対して、時間窓全体にわたる基準フレームからフレームセット内で移動させた少なくとも１つのフレームに関する基準フレームの領域の変化を記述するモーション推定にアクセスするステップと、前記基準フレームの領域と前記少なくとも１つのフレームは画像の外観の少なくとも一部を含有しており、前記時間窓全体にわたるモーション推定の平滑化を行うステップとを前記少なくとも１つのプロセッサに実行させることを特徴とする。
【００９８】
１つの実施の形態において、装置は、コンピュータ、ビデオデコーダ又はビデオエンコーダのうちの少なくとも１つ、テレビジョン、光学的にエンコードされた媒体のうちの少なくとも１つのプレーヤーアプリケーション、ストリーミングデジタル信号のプレーヤーアプリケーション、画像処理アプリケーションからの情報を表示するためのモニター、ネットワーク構成要素、ポータブル通信装置、医学的画像処理装置、科学的画像処理装置、ビデオ編集システム、ビデオ処理システム、又はゲームプレイ装置のうちの少なくとも１つを具備する。
【００９９】
１つの実施の形態において、動画シーケンスの画像の外観の整列を容易にする、動画シーケンスの処理を行う装置は、動画シーケンス全体にわたって時間的窓を定義するフレームのセットに対して、該時間的窓全体にわたって基準フレームからフレームのセット内に移動させる、少なくとも１つのフレームに関する該基準フレームの領域の変化を記述するモーション推定にアクセスするための手段であって、該基準フレームの領域と前記少なくとも１つのフレームは、画像の外観の少なくとも一部を有することを特徴とする手段と、前記時間的窓全体にわたって前記モーション推定を平滑化する手段とを具備する。
【０１００】
１つの実施の形態において、１以上のプロセッサで命令を実行したとき、該１以上のプロセッサに、動画シーケンスのフレームのセットに対して、前記セット中の各フレームを独立変数の値と関連付け、少なくとも１つの他のフレームに関して前記セット中のフレームの領域の変化を、前記独立変数の関数として記述するモーション推定にアクセスするステップと、該独立変数全体にわたって前記モーション推定を平滑化するステップを実行させる命令の１以上のシーケンスを伝送するコンピュータ読取可能媒体を具備する。
【０１０１】
１つの実施の形態において、コンピュータ読取可能媒体は、動画シーケンスのフレームの領域に対して、フレームのセットのサブセット全体にわたる領域のモーションを記述し、該セット中の各フレームを独立変数の値と関連付け、該独立変数の関数として、前記セット中の少なくとも１つの他のフレームに関して、前記セット中のフレームの領域への変化を記述する、モーション推定にアクセスするステップと、前記独立変数全体にわたって前記モーション推定を平滑化するステップを具備する。
【０１０２】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、平滑化が前記フレームのセット中の２以上のフレームに存在する画像の外観の整列を容易にする。
【０１０３】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記独立変数は、時間、フレーム番号、距離、温度、又はそれによりモーションを記述することができる他の性質のうちの少なくとも１つに関する。
【０１０４】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記モーション推定は、複数の成分の関数から成り、該複数の成分の関数は、並進運動のモーションを記述する並進運動成分の関数、回転運動のモーションを記述する角度成分の関数、アフィンモーションを記述するアフィン角度成分の関数、色の変化を記述する色成分の関数、又は、空間分解能の変化を記述する分解能成分の関数のうちの少なくとも１つを具備する。
【０１０５】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記フレームの全モーション推定を平滑化するためにフレームの全領域について前記ステップを繰り返す。
【０１０６】
１つの実施の形態における方法又はコンピュータ読取可能媒体では、さらに、前記シーケンスの全モーション推定を平滑化するために動画シーケンスの全フレームについて前記ステップを繰り返す。
【０１０７】
（拡張、等価物、代替物、その他）
モーション推定の時間的平滑化の例示的な実施の形態を説明した。前記説明において本発明の実施の形態を、実施形態毎に異なる具体的な詳細を参照しながら説明している。従って、本発明の出願が意図するものは、本発明を、唯一かつ排他的に規定し、その後の補正を含めて具体的に記載した、この出願が発行する特許請求の範囲である。このような特許請求の範囲に含まれる用語を説明するためにここに記載した定義は、特許請求の範囲で使われる用語の意味を規定する。従って、特許請求の範囲に明示していない限定、要素、特性、外観、効果、及び、属性は、いかなる意味でもこの特許請求の範囲を限定するものではない。従って、本明細書及び図面は、限定のためではなく説明のためのものである。
【図１Ａ】
2011519436.tif 000005
【図１Ｂ】
2011519436.tif 000006
【図２Ａ】
2011519436.tif 000007
【図２Ｂ】
2011519436.tif 000008
【図３Ａ】
2011519436.tif 000009
【図３Ｂ】
2011519436.tif 000010
【図４】
2011519436.tif 000011
【図５】
2011519436.tif 000012
【図６】
2011519436.tif 000013
【図７】
2011519436.tif 000014
【図８】
2011519436.tif 000015
【手続補正書】
【提出日】平成21年9月30日(2009.9.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画シーケンス全体にわたる時間窓を定義するフレームのセットに対して、該フレームのセット内に、時間窓全体にわたって基準フレームからの移動の範囲内にある、少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップであって、
前記基準フレームの領域と少なくとも１つのフレームは、少なくとも画像の外観の一部分を含むことを特徴とするステップと、
時間窓全体にわたってモーション推定を平滑化するステップと、
を具備することを特徴とする方法。
【請求項２】
前記平滑化は、フレームのセット内で、少なくとも部分的に、画像の外観の整列を容易にすることを特徴とする請求項１に記載の方法。
【請求項３】
対応するフレーム領域への変化を記述するフレームのセット中のフレームに関連する合成成分を決定するステップと、
モーション推定の平滑化に付随して、該合成モーション成分を補償するステップと
をさらに具備することを特徴とする請求項１に記載の方法。
【請求項４】
前記合成成分は、
前記動画シーケンスのフレームに関連するフレームジッター特性、又は、
前記動画シーケンスのフレームに関連するフィルムの周期変化特性、
の少なくとも１つを具備することを特徴とする請求項３に記載の方法。
【請求項５】
モーション推定が複数の成分を具備する場合、該複数の成分は、
前記セットの１以上のフレーム間の１以上の領域に関連する並進運動のモーションを記述する直交関係にあるベクトル成分のペア、又は、
前記セットの１以上のフレーム間の１以上の領域に関連する回転運動のモーションを記述する角度成分、又は、
前記セットの１以上のフレーム間の１以上の領域に関連するアフィンモーションを記述する成分、
のうちの少なくとも１つをさらに具備することを特徴とする請求項１に記載の方法。
【請求項６】
第１のフレーム及び第２のフレームに対応する領域は、複数の領域関係の第１の領域関係を具備し、
画像の外観は１以上の領域関係で少なくとも部分的に分配され、
前記モーション推定複数のモーション推定のうちの１つを具備し、
各モーション推定は、前記領域関係の１つにわたる変化を記述し、
前記方法は、
前記アクセスするステップと前記領域間のそれぞれについての各モーション推定に対する平滑化するステップとを繰り返すステップをさらに具備することを特徴とする請求項１に記載の方法。
【請求項７】
前記モーション推定は、独立変数に関して窓全体にわたるモーションを記述することを特徴とする請求項１に記載の方法。
【請求項８】
前記独立変数は、時間、温度、又は、動画シーケンスが関連するモーションの他の特性の少なくとも1つに関することを特徴とする請求項７に記載の方法。
【請求項９】
前記フレームセットのフレームは実質的に前記窓全体にわたって周期的に間隔をあけていることを特徴とする請求項１に記載の方法。
【請求項１０】
前記フレームセットのフレームは実質的に前記窓全体にわたって周期的に間隔をあけているのとは別の間隔をあけていることを特徴とする請求項１に記載の方法。
【請求項１１】
前記動画シーケンスのフレームセットは、該フレームのセット内に、時間窓の少なくとも一部分にわたる第１のフレームからと第２のフレームからの移動の範囲内にある、少なくとも第３のフレームを具備し、
前記方法は、
他のフレームセットの各フレームに関して、アクセスするステップと平滑化するステップを繰り返すステップを具備することを特徴とする請求項１に記載の方法。
【請求項１２】
前記平滑化ステップは、
モーション推定の時間的平滑化に対応するモーション推定の各成分の平滑した値を計算するステップと、
アクセスしたモーション推定の各々に応答する前記平滑化した値を、重み付けした推定値と比較するステップとを具備し、
該重み付けした推定値は、第２のフレームの対応する領域に関する第１のフレームの領域の変化を予測するための精度に関する信頼度のレベルにより重み付けられたモーション推定のセットを具備し、
前記計算した平滑化された値を重み付けした推定値と許容範囲内で比較し、前記平滑化した値を選択し、
前記平滑化した値により動画シーケンス内のフレームセットのフレームを表現することを特徴とする請求項１１に記載の方法。
【請求項１３】
前記計算した平滑化された値を重み付けした推定値と、前記フレームセットのサブセットの１以上のフレームについて、許容範囲外で比較し、前記サブセット１以上のフレームを平滑化するステップを繰り返すステップであって、該平滑化するステップは、
前記サブセットの１以上のフレームのモーション推定の各成分のそれに続く平滑化した値を計算するステップであって、ここで該それに続く平滑化した値は、元の平滑化した値と重み付けした推定値との間の値に置かれることを特徴とするステップと、
前記計算したそれに続く平滑化された値を重み付けした推定値と許容範囲内で比較し、前記それに続く平滑化された値を選択するステップと、
該それに続く平滑化された値に従い、前記動画シーケンス内のフレームセットのそれに続くフレームの１以上のフレームを示すステップとを具備することを特徴とする請求項１２に記載の方法。
【請求項１４】
動画シーケンスの画像の外観の整列を容易にする少なくとも１つのプロセッサと、
命令の１以上の格納されたシーケンスを具備するコンピュータ読取可能媒体と、
を具備し、該コンピュータ読取可能媒体は、
少なくとも１つのプロセッサで命令が実行されたとき、
動画シーケンス全体にわたる時間的窓を定義するフレームのセットに対して、該フレームのセット内に、時間窓全体にわたって基準フレームからの移動の範囲内にある、少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップと、
前記基準フレームの領域と前記少なくとも１つのフレームは画像の外観の少なくとも一部を含有しており、
前記時間窓全体にわたるモーション推定の平滑化を行うステップと、
を前記少なくとも１つのプロセッサに実行させることを特徴とする、動画シーケンスの処理を行う装置
【請求項１５】
前記装置は、
コンピュータと、
ビデオデコーダ又はビデオエンコーダのうちのすくなことも１つと、
テレビジョンと、
光学的にエンコードされた媒体のうちの少なくとも１つのプレーヤーアプリケーションと、
ストリーミングデジタル信号のプレーヤーアプリケーションと、
画像処理アプリケーションからの情報を表示するためのモニターと、
ネットワーク構成要素と、
ポータブル通信装置と、
医学的画像処理装置と、
科学的画像処理装置と、
ビデオ編集システムと、
ビデオ処理システムと、
ゲームプレイ装置と、
のうちの少なくとも１つを具備することを特徴とする請求項１４に記載の装置。
【請求項１６】
１以上のプロセッサで命令を実行したとき、該１以上のプロセッサに、動画シーケンスのフレームのセットに対して、
動画シーケンス全体にわたる時間的窓を定義するフレームのセットに対して、該フレームのセット内に、時間窓全体にわたって基準フレームからの移動の範囲内にある、少なくとも１つのフレームに関する前記基準フレームの領域の変化を記述するモーション推定にアクセスするステップと、
該基準フレームの領域と前記少なくとも１つのフレームは、画像の外観の少なくとも一部を有し、
前記時間的窓全体にわたって前記モーション推定を平滑化するステップと、
を実行させるエンコードされた命令を有するコンピュータ読取可能媒体。
【請求項１７】
動画シーケンスのフレームの領域に対して、フレームのセットのサブセット全体にわたる領域のモーションを記述し、該セット中の各フレームを独立変数の値と関連付け、該独立変数の関数として、前記セット中の少なくとも１つの他のフレームに関して、前記セット中のフレームの領域への変化を記述する、モーション推定にアクセスするステップと、
前記独立変数全体にわたって前記モーション推定を平滑化するステップと、
を具備する方法。
【請求項１８】
前記平滑化は、前記フレームのセット中の２以上のフレームに存在する画像の外観の少なくとも一部の整列を容易にすることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記独立変数は、時間、フレーム番号、距離、温度、又はそれによりモーションを記述することができる他の性質のうちの少なくとも１つに関することを特徴とする請求項１７に記載の方法。
【請求項２０】
前記モーション推定は、複数の成分の関数から成り、該複数の成分の関数は、
並進運動のモーションを記述する並進運動成分の関数と、
回転運動のモーションを記述する角度成分の関数と、
アフィンモーションを記述するアフィン角度成分の関数と、
色の変化を記述する色成分の関数と、
空間分解能の変化を記述する分解能成分の関数と、
のうちの少なくとも１つを具備することを特徴とする請求項１７に記載の方法。
【請求項２１】
前記フレームの全モーション推定を平滑化するためにフレームの全領域について前記ステップを繰り返すことを特徴とする請求項１７に記載の方法。
【請求項２２】
前記シーケンスの全モーション推定を平滑化するために動画シーケンスの全フレームについて前記ステップを繰り返すことを特徴とする請求項２１に記載の方法。
【国際調査報告】
2011519436.tif 000016
2011519436.tif 000017
2011519436.tif 000018
2011519436.tif 000019