(57)【要約】映像フレーム内の動きを決定するための装置であって、その装置は、映像シーケンスの後続フレーム内の特徴をマッチングするための特徴識別器と、前記映像フレームのうち第１のものにおける前記特徴と前記映像フレームのうち第２のものにおける前記特徴との間の相対的動きを決定する動き推定器と、動き推定器に対応付けられ、前記決定された相対的動きに基づき前記特徴に隣接するさらなる特徴を動き推測器に割当てるための隣接特徴動き割当器を含む装置。
2005520361.tif 000002
【特許請求の範囲】
【請求項１】
映像フレーム内の動きを決定するための装置であって、
前記映像フレームのうちの第１のものと前記映像フレームのうちの第２のものとの間の特徴を追跡し、そこから前記特徴の動きベクトルを決定する動き推定器と、
前記動き推定器に対応付けられ、前記動きベクトルを前記第１の特徴に隣接する他の特徴に適用して前記第１の特徴と共に移動させる隣接特徴動き割当器と
を備えた装置。
【請求項２】
前記特徴の追跡は、前記第１フレームおよび前記第２フレームの画素のブロックをマッチングすることを含む請求項１に記載の装置。
【請求項３】
前記動き推定器は、最初に第１フレーム内の予め定められた小さい画素群を選択し、前記第２フレーム内の前記画素群を追跡してそれらの間の動きを決定するように動作可能であり、前記隣接特徴動き割当器は各画素群に対し、それと共に動く隣接画素群を識別するように動作可能である請求項２に記載の装置。
【請求項４】
前記隣接特徴割当器は、セルラオートマトンに基づく技法を使用して、前記隣接画素群を見つけ出して識別し、これらの画素群に動きベクトルを割り当てるように動作可能である請求項３に記載の装置。
【請求項５】
動きを割り当てられた全ての画素群を舗装済みとマーク付けし、さらなる画素群を選択してその隣接部を追跡して見つけ出すことによって、マーク付けされていない画素群に対して前記動き推定を繰返し、前記繰返しを予め定められた限度まで繰り返すようにさらに動作可能である請求項３に記載の装置。
【請求項６】
前記特徴の重要度を推定し、それによって前記隣接特徴動き割当器を制御して、前記重要度が予め定められたしきいレベルを超える場合にだけ、前記動きベクトルを前記隣接する特徴に適用するための、前記隣接特徴動き割当器に対応付けられた特徴重要度推定器をさらに含む請求項１に記載の装置。
【請求項７】
フレーム内の動きが割り当てられた全ての画素群を舗装済みとマーク付けし、マッチングのしきいレベルに従って予め定められた限度まで前記マーク付けを繰り返し、さらなる画素群を選択してそのマーク付けされていない隣接部を追跡して見つけ出すことによって、非舗装画素群に対して前記動き推定を繰り返し、各繰返し毎に前記予め定められたしきいレベルを維持または低減するようにさらに動作可能な請求項６に記載の装置。
【請求項８】
前記特徴重要度推定器は、前記後続フレーム内の前記特徴の最良一致と探索ウィンドウ全体における前記特徴の平均一致レベルとの間の比を決定し、それによって背景または隣接部から区別されない特徴を除外するための一致比決定器を含む請求項６に記載の装置。
【請求項９】
前記特徴重要度推定器は、マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって最大弁別性の有無を決定する数値近似器を含む請求項６に記載の装置。
【請求項１０】
前記特徴重要度推定器は前記特徴識別器の前に接続され、エッジ検出変換を実行するためのエッジ検出器を含み、前記特徴識別器は前記特徴重要度推定器によって制御され、特徴識別を比較的高いエッジ検出エネルギを有する特徴に限定する請求項６に記載の装置。
【請求項１１】
前記フレーム内の画素を併合することによって、映像フレーム解像度の低減を生成するための、前記特徴識別器の前に接続されたダウンサンプラをさらに含む請求項１に記載の装置。
【請求項１２】
輝度信号を分離し、輝度のみの映像フレームを生成するための、前記特徴識別器の前に接続されたダウンサンプラをさらに含む請求項１に記載の装置。
【請求項１３】
前記ダウンサンプラは、前記輝度信号の解像度を低減するようにさらに動作可能である請求項１２に記載の装置。
【請求項１４】
前記後続フレームは逐次フレームである請求項１に記載の装置。
【請求項１５】
前記フレームはＩフレーム、ＢフレームおよびＰフレームからなるシーケンスであり、動き推定は前記Ｉフレームと前記Ｐフレームの間で実行することができ、装置は、前記Ｂフレームの動き推定として使用するために前記動き推定の内挿を達成するための内挿器をさらに含む請求項１４に記載の装置。
【請求項１６】
前記フレームは少なくともＩフレーム、第１Ｐフレーム、および第２Ｐフレームを含むシーケンスであり、動き推定は前記Ｉフレームと前記第１Ｐフレームとの間で実行され、装置は、前記第２Ｐフレームの動き推定として使用するための前記動き推定の外挿を達成するための外挿器をさらに含む請求項１４に記載の装置。
【請求項１７】
前記フレームはブロックに分割され、前記特徴識別器は、前記第１フレーム内のブロックの系統的選択を行なってその中の特徴を識別するように動作可能である請求項１に記載の装置。
【請求項１８】
前記フレームはブロックに分割され、前記特徴識別器は、前記第１フレーム内のブロックの無作為選択を行なって、その中の特徴を識別するように動作可能である請求項１に記載の装置。
【請求項１９】
前記動き推定器は、前記第１フレームにおける前記特徴の位置付近の探索ウィンドウ内で前記後続フレームの前記特徴を探索するための探索器を含む請求項１に記載の装置。
【請求項２０】
前記探索ウィンドウのサイズを事前設定するための探索ウィンドウサイズプリセッタをさらに含む請求項１９に記載の装置。
【請求項２１】
前記フレームはブロックに分割され、前記探索器は、前記特徴を含むブロックと前記探索ウィンドウ内のブロックとの間の比較を実行し、それによって前記後続フレーム内の前記特徴を識別し、各々の前記ブロックの対応付けのために、前記第１フレームと前記後続フレームとの間の前記特徴の動きベクトルを決定するための比較器を含む請求項１９に記載の装置。
【請求項２２】
前記比較はセンブランス距離比較である請求項２１に記載の装置。
【請求項２３】
前記比較の前に各ブロックから平均輝度値を減算するためのＤＣ補正器をさらに含む請求項２２に記載の装置。
【請求項２４】
前記比較は非線形最適化を含む請求項２１に記載の装置。
【請求項２５】
前記非線形最適化はネルダ・ミード・シンプレックス技法を含む請求項２４に記載の装置。
【請求項２６】
前記比較はＬ１およびＬ２ノルムの少なくとも１つの使用を含む請求項２１に記載の装置。
【請求項２７】
前記特徴が有意の特徴であるかどうかを決定するための特徴重要度推定器をさらに含む請求項２１に記載の装置。
【請求項２８】
前記特徴重要度推定器は、前記後続フレーム内の前記特徴の最も近い一致と探索ウィンドウ全体における前記特徴の平均一致レベルとの間の比を決定し、それによって背景または隣接部から区別されない特徴を除外するための一致比決定器を含む請求項２７に記載の装置。
【請求項２９】
前記特徴重要度推定器は、予め定められたしきい値と前記比を比較して、前記特徴が有意の特徴であるかどうかを決定するためのスレショルダをさらに含む請求項２８に記載の装置。
【請求項３０】
前記特徴重要度推定器は、前記マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって最大弁別性の位置を突き止める数値近似器を含む請求項２７に記載の装置。
【請求項３１】
前記特徴重要度推定器は前記特徴識別器の前に接続され、装置は、エッジ検出変換を実行するためのエッジ検出器をさらに含み、前記特徴識別器は前記特徴重要度推定器によって制御され、特徴識別を比較的高いエッジ検出エネルギの検出の領域に限定する請求項２７に記載の装置。
【請求項３２】
前記隣接特徴動き割当器は、前記動きベクトルが決定された低解像度ブロックに対応する前記フレームの高解像度の各ブロックに前記動きベクトルを適用するように動作可能である請求項２７に記載の装置。
【請求項３３】
前記隣接特徴動き割当器は、前記動きベクトルが決定された低解像度ブロックに対応する前記フレームのフル解像度の各ブロックに前記動きベクトルを適用するように動作可能である請求項２７に記載の装置。
【請求項３４】
前記後続フレームの高解像度バージョンに特徴マッチングを実行して、前記高解像度ブロックの各々における前記動きベクトルを洗練させる動きベクトルリファイナを含む請求項３２に記載の装置。
【請求項３５】
前記後続フレームの高解像度バージョンに特徴マッチングを実行して、前記フル解像度ブロックの各々における前記動きベクトルを洗練させる動きベクトルリファイナを含む請求項３３に記載の装置。
【請求項３６】
前記動きベクトルリファイナは、一致した高解像度ブロックの隣接ブロックで追加的特徴マッチング動作を実行し、それによって前記対応する動きベクトルをさらに洗練させるように、さらに動作可能である請求項３４に記載の装置。
【請求項３７】
前記動きベクトルリファイナは、一致したフル解像度ブロックの隣接ブロックで追加的特徴マッチング動作を実行し、それによって前記対応する動きベクトルをさらに洗練させるように、さらに動作可能である請求項３５に記載の装置。
【請求項３８】
前記動きベクトルリファイナは、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられた高解像度のブロックを識別し、かつそのような高解像度ブロックに、前記前割当て動きベクトルおよび現行割当て動きベクトルの平均を割り当てるように、さらに動作可能である請求項３６に記載の装置。
【請求項３９】
前記動きベクトルリファイナは、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられたフル解像度のブロックを識別し、かつそのようなフル解像度ブロックに、前記前割当て動きベクトルおよび現行割当て動きベクトルの平均を割り当てるように、さらに動作可能である請求項３７に記載の装置。
【請求項４０】
前記動きベクトルリファイナは、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられた高解像度のブロックを識別し、かつそのような高解像度ブロックに、前記前割当て動きベクトルおよび現行割当て動きベクトルの規則決定導出物を割り当てるように、さらに動作可能である請求項３６に記載の装置。
【請求項４１】
前記動きベクトルリファイナは、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられたフル解像度のブロックを識別し、かつそのようなフル解像度ブロックに、前記前割当て動きベクトルおよび現行割当て動きベクトルの規則決定導出物を割り当てるように、さらに動作可能である請求項３７に記載の装置。
【請求項４２】
各高解像度ブロックに、前記ブロックのそれぞれの動きベクトルに従って量子化レベルを割り当てるためのブロック量子化レベル割当器をさらに含む請求項３６に記載の装置。
【請求項４３】
前記フレームはブロック単位で構成可能であり、装置は、前記特徴検出器の前に接続された減算器をさらに含み、該減算器は、
前記後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すための画素減算器と、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するためのブロック減算器と
を含む請求項１に記載の装置。
【請求項４４】
前記特徴識別器は、前記フレームをブロック単位で審査することによって特徴を探索するように動作可能である請求項１に記載の装置。
【請求項４５】
前記ブロックは、ＭＰＥＧおよびＪＶＴ規格の少なくとも１つに従う画素数のサイズである請求項４４に記載の装置。
【請求項４６】
前記ブロックは８×８、１６×８、８×１６、および１６×１６を含むサイズ群の中のいずれか１つである請求項４５に記載の装置。
【請求項４７】
前記ブロックは８×８より低い画素数のサイズである請求項４４に記載の装置。
【請求項４８】
前記ブロックは７×６画素以下のサイズである請求項４７に記載の装置。
【請求項４９】
前記ブロックは６×６画素以下のサイズである請求項４７に記載の装置。
【請求項５０】
前記動き推定器および前記隣接特徴動き割当器は解像度レベル変換器と連動して、各フレームの連続的に増加する解像度に対して探索および割当を行なう請求項１に記載の装置。
【請求項５１】
前記連続的に増加する解像度はそれぞれ実質的に、１／６４、１／３２、１／１６、８分の１、４分の１、２分の１、およびフル解像度のうちの少なくとも一部分である請求項５０に記載の装置。
【請求項５２】
第１映像フレームおよび第２映像フレームそれぞれの低解像度バージョン間で非全数探索を実行するための非全数探索ユニットを含み、前記非全数探索により前記フレーム全体にわたって持続する少なくとも１つの特徴を見つけ出し、前記特徴の前記フレーム間の相対的動きを決定する、
映像動き推定のための装置。
【請求項５３】
前記非全数探索ユニットは、前記映像フレームの連続的に増加する解像度バージョンで前記探索を繰り返すようにさらに動作可能である請求項５２に記載の装置。
【請求項５４】
前記持続する特徴と一緒に移動するように見える前記持続する特徴の隣接特徴を識別し、前記持続する特徴の前記相対的動きを前記隣接特徴に適用するための隣接特徴識別器をさらに含む請求項５２に記載の装置。
【請求項５５】
それぞれのフレーム内の前記持続する特徴間の一致を、前記第１フレーム内の前記持続する特徴と前記第２フレームのウィンドウ内のポイントとの間の一致の平均と比較して、前記一致度を表現する数量を提供し、前記特徴および対応する相対的動きを前記動き推定に使用するか、それとも前記特徴を拒絶するかに関する決定を支援する特徴動き品質推定器をさらに含む請求項５２に記載の装置。
【請求項５６】
動き推定のために画素ブロック単位で構成された映像フレームを前処理するための映像フレーム減算器であって、
映像シーケンスの後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すための画素減算器と、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するためのブロック減算器と
を含む、映像フレーム減算器。
【請求項５７】
前記全体的画素差レベルは前記ブロック全体における最高画素差値である請求項５６に記載の映像フレーム減算器。
【請求項５８】
前記全体的画素差レベルは前記ブロック全体における画素差レベルの総和である請求項５６に記載の映像フレーム減算器。
【請求項５９】
前記予め定められたしきい値は実質的に零である請求項５７に記載の映像フレーム減算器。
【請求項６０】
前記予め定められたしきい値は実質的に零である請求項５８に記載の映像フレーム減算器。
【請求項６１】
前記マクロブロックの前記予め定められたしきい値は、実質的に動き推定のための量子化レベルである請求項５６に記載の映像フレーム減算器。
【請求項６２】
ブロック単位に構成された映像フレームに量子化レベルを提供するための動き推定後映像量子化器であって、各ブロックに動きデータが対応付けられ、前記量子化器は各ブロックに対し前記ブロック内の詳細レベルを設定するための量子化係数を選択するための量子化係数割当器を含み、前記選択が前記対応付けられた動きデータに依存する映像量子化器。
【請求項６３】
ブロック単位に構成された映像フレームの動きを決定するための方法であって、
映像シーケンスの後続フレーム内の特徴をマッチングするステップと、
前記映像フレームのうちの第１のものと前記映像フレームのうちの第２のものにおける前記特徴間の相対的動きを決定するステップと、
前記決定された相対的動きを、前記特徴と共に動くように見える、前記特徴を含む前記ブロックに隣接するブロックに適用するステップと
を含む方法。
【請求項６４】
前記特徴が有意の特徴であるかどうかを決定するステップを含む請求項６３に記載の方法。
【請求項６５】
前記特徴が有意の特徴であるかどうかを決定する前記ステップは、前記後続フレームにおける前記特徴の最も近い一致と探索ウィンドウ全体における前記特徴の平均一致レベルとの間の比を決定するステップを含む請求項６４に記載の方法。
【請求項６６】
前記比を予め定められたしきい値と比較し、それによって前記特徴が有意の特徴であるかどうかを決定するステップをさらに含む請求項６５に記載の方法。
【請求項６７】
前記マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって弁別性のレベルを生成するステップを含む請求項６４に記載の方法。
【請求項６８】
エッジ検出変換を実行し、特徴識別を高いエッジ検出エネルギを有するブロックに限定するステップを含む請求項６４に記載の方法。
【請求項６９】
前記フレーム内のブロックを併合することによって、映像フレーム解像度の低減を生成するステップをさらに含む請求項６３に記載の方法。
【請求項７０】
輝度信号を分離し、それによって輝度のみの映像フレームを生成するステップをさらに含む請求項６３に記載の方法。
【請求項７１】
前記輝度信号の解像度を低減することをさらに含む請求項７０に記載の方法。
【請求項７２】
前記後続フレームは逐次フレームである請求項６３に記載の方法。
【請求項７３】
前記第１フレーム内のブロックの系統的選択を行なって、その中の特徴を識別するステップをさらに含む請求項６３に記載の方法。
【請求項７４】
前記第１フレーム内のブロックの無作為選択を行なって、その中の特徴を識別するステップをさらに含む請求項６３に記載の方法。
【請求項７５】
前記第１フレームにおける前記特徴の位置付近の探索ウィンドウ内で前記後続フレーム内のブロック内の前記特徴を探索するステップをさらに含む請求項６３に記載の方法。
【請求項７６】
前記探索ウィンドウのサイズを事前設定するステップをさらに含む請求項７５に記載の方法。
【請求項７７】
前記特徴を含む前記ブロックと前記探索ウィンドウ内の前記ブロックとの間の比較を実行し、それによって前記後続フレーム内の前記特徴を識別し、前記ブロックに対応付けられる前記特徴の動きベクトルを決定するステップをさらに含む請求項７５に記載の方法。
【請求項７８】
前記比較はセンブランス距離比較である請求項７５に記載の方法。
【請求項７９】
前記比較の前に各ブロックから平均輝度値を減算するステップをさらに含む請求項７８に記載の方法。
【請求項８０】
前記比較は非線形最適化を含む請求項７７に記載の方法。
【請求項８１】
前記非線形最適化はネルダ・ミード・シンプレックス技法を含む請求項８０に記載の方法。
【請求項８２】
前記比較はＬ１およびＬ２ノルムを含む群の少なくとも１つの使用を含む請求項７７に記載の方法。
【請求項８３】
前記特徴が有意の特徴であるかどうかを決定するステップをさらに含む請求項７７に記載の方法。
【請求項８４】
前記特徴重要度決定は、前記後続フレームにおける前記特徴の最も近い一致と探索ウィンドウ全体における前記特徴の平均一致レベルとの間の比を決定することを含む請求項８３に記載の方法。
【請求項８５】
前記比を予め定められたしきい値と比較して、前記特徴が有意の特徴であるかどうかを決定するステップをさらに含む請求項８４に記載の方法。
【請求項８６】
前記マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって弁別性のレベルを生成するステップをさらに含む請求項８３に記載の方法。
【請求項８７】
エッジ検出変換を実行し、特徴識別を高いエッジ検出エネルギの領域に限定するステップを含む請求項８３に記載の方法。
【請求項８８】
前記動きベクトルが決定された低解像度ブロックに対応する前記フレームの各高解像度ブロックに前記動きベクトルを適用するステップをさらに含む請求項８３に記載の方法。
【請求項８９】
前記後続フレームの高解像度バージョンに特徴マッチングを実行して、前記高解像度ブロックの各々の前記動きベクトルを洗練させるステップを含む請求項８８に記載の方法。
【請求項９０】
特徴が一致した高解像度ブロックの隣接ブロックに追加的特徴マッチング動作を実行し、それによって前記対応する動きベクトルをさらに洗練させるステップをさらに含む請求項８９に記載の方法。
【請求項９１】
異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられた高解像度ブロックを識別し、かつそのような高解像度ブロックに、前記前割当て動きベクトルと現行割当て動きベクトルの平均を割り当てるステップをさらに含む請求項９０に記載の方法。
【請求項９２】
異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられた高解像度のブロックを識別し、かつそのような高解像度ブロックに、前記前割当て動きベクトルおよび現行割当て動きベクトルの規則決定導出物を割り当てるステップをさらに含む請求項９０に記載の方法。
【請求項９３】
各高解像度ブロックに、前記ブロックのそれぞれの動きベクトルに従って量子化レベルを割り当てるステップをさらに含む請求項９０に記載の方法。
【請求項９４】
前記後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すステップと、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するステップと
をさらに含む請求項６３に記載の方法。
【請求項９５】
動き推定のために画素ブロック単位で構成された映像フレームを前処理するための映像フレーム減算方法であって、
映像シーケンスの後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すステップと、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するステップと
を含む、映像フレーム減算方法。
【請求項９６】
前記全体的画素差レベルは前記ブロック全体における最高画素差値である請求項９５に記載の方法。
【請求項９７】
前記全体的画素差レベルは前記ブロック全体における画素差レベルの総和である請求項９５に記載の方法。
【請求項９８】
前記予め定められたしきい値は実質的に零である請求項９６に記載の方法。
【請求項９９】
前記予め定められたしきい値は実質的に零である請求項９７に記載の方法。
【請求項１００】
前記マクロブロックの前記予め定められたしきい値は、実質的に動き推定のための量子化レベルである請求項９５に記載の方法。
【請求項１０１】
ブロック単位に構成された映像フレームに量子化レベルを提供するための動き推定後映像量子化方法であって、各ブロックに動きデータが対応付けられ、前記方法は各ブロックに対し前記ブロック内の詳細レベルを設定するための量子化係数を選択するステップを含み、前記選択が前記対応付けられた動きデータに依存する動き推定後映像量子化方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
発明の分野
本発明は、映像フレーム間の動き推定のための方法および装置に関する。
【０００２】
発明の背景
映像圧縮は多くの用途に必要不可欠である。ブロードバンドホームおよびマルチメディアホームネットワーキングはどちらも、デジタル映像のコンピュータ、テレビ受像機、セットトップボックス、データプロジェクタ、およびプラズマディスプレイへの効率的な転送を必要とする。映像記憶媒体容量および映像配信インフラストラクチャはどちらも低ビットレートマルチメディアストリームを必要とする。
【０００３】
ブロードバンドホームおよびマルチメディアホームネットワーキングを可能にするのは、高品質ナローバンドマルチメディアストリームに非常に大きく依存する。消費者用の個人向けビデオカメラからのデジタル映像のトランスコーディング、例えばＰＣ等での編集に対する高まる需要、ならびにＡＤＳＬ、ＷＬＡＮ、ＬＡＮ、電力線、ＨＰＮＡおよび類似物を通しての映像の転送の普及は、安価なハードウェアおよびソフトウェアエンコーダの設計を必要とする。
【０００４】
ほとんどの映像圧縮エンコーダは、画像部分の動きの推定に基づくフレーム間およびフレーム内符号化を利用する。したがって、動き推定はエンコーダの最も要求の厳しい計算タスクを構成するので、効率的なＭＥ（動き推定）アルゴリズムが必要である。したがって、そのような効率的なＭＥアルゴリズムは、エンコーダの効率および品質を改善することが期待できる。そのようなアルゴリズムはそれ自体、希望に応じてハードウェアまたはソフトウェアで実現することができ、理想的には、現在可能であるより高品質の圧縮を可能にする一方、同時に実質的により少ない計算資源を必要とするものでなければならない。そのようなＭＥアルゴリズムの計算の複雑さが低減されることが好ましく、したがって新世代のより安価なエンコーダが使用可能になることが好ましい。
【０００５】
既存のＭＥアルゴリズムは次のようなカテゴリ、すなわち直接探索、対数、階層探索、３段階（ＴＳＳ）、４段階（ＦＳＳ）、勾配、ダイヤモンド探索、ピラミッド探索等に分類することができ、各カテゴリがその変化形を有する。そのような既存のアルゴリズムは、高品質の映像をｘＤＳＬ  ＴＶ、ＩＰ  ＴＶ、ＭＰＥＧ−２  ＶＣＤ、ＤＶＲ、ＰＶＲのような技術の実装および例えばＭＰＥＧ−４の実時間フルフレーム符号化に必要なビットレートに圧縮するのを可能にするには問題がある。
【０００６】
そのような改善されたＭＥアルゴリズムは、ＭＰＥＧ、ＭＰＥＧ−２およびＭＰＥＧ−４など既存のコーデックまたは動き推定を使用する他のエンコーダの圧縮結果を改善するために適用することができる。
【０００７】
発明の概要
本発明の第１態様では、映像フレーム内の動きを決定するための装置であって、
映像フレームのうちの第１のものと映像フレームのうちの第２のものとの間の特徴を追跡し、そこから特徴の動きベクトルを決定する動き推定器と、
動き推定器に対応付けられ、動きベクトルを第１の特徴に隣接する他の特徴に適用して第１の特徴と共に移動させる隣接特徴動き割当器と
を備えた装置を提供する。
【０００８】
特徴の追跡は、第１および第２フレームの画素のブロックをマッチングすることを含むことが好ましい。
【０００９】
動き推定器は、最初に第１フレーム内の予め定められた小さい画素群を選択し、第２フレーム内の画素群を追跡してそれらの間の動きを決定するように動作可能であり、隣接特徴動き割当器は各画素群に対し、それと共に動く隣接画素群を識別するように動作可能であることが好ましい。
【００１０】
隣接特徴割当器は、セルラオートマトンに基づく技法を使用して、隣接画素群を見つけ出して識別し、これらの画素群に動きベクトルを割り当てるように動作可能であることが好ましい。該装置は、動きを割り当てられた全ての画素群を舗装済みとマーク付けし、さらなる画素群を選択してその隣接部を追跡して見つけ出すことによって、マーク付けされていない画素群に対して動き推定を繰返し、該繰返しを予め定められた限度まで繰り返すことが好ましい。
【００１１】
該装置は、特徴の重要度を推定し、それによって隣接特徴動き割当器を制御して、重要度が予め定められたしきいレベルを超える場合にだけ、動きベクトルを隣接する特徴に適用するための、隣接特徴動き割当器に対応付けられた特徴重要度推定器を含むことが好ましい。
【００１２】
該装置は、フレーム内の動きが割り当てられた全ての画素群を舗装済みとマーク付けし、マッチングのしきいレベルに従って予め定められた限度までマーク付けを繰り返し、さらなる画素群を選択してそのマーク付けされていない隣接部を追跡して見つ出すことによって、非舗装画素群に対して動き推定を繰り返し、各繰返し毎に予め定められたしきいレベルを維持または低減することが好ましい。
【００１３】
特徴重要度推定器は、後続フレーム内の特徴の最良一致と探索ウィンドウ全体における特徴の平均一致レベルとの間の比を決定し、それによって背景または隣接部から区別されない特徴を除外するための一致比決定器を含むことが好ましい。
【００１４】
特徴重要度推定器は、マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって最大弁別性の有無を決定する数値近似器を含むことが好ましい。
【００１５】
特徴重要度推定器は特徴識別器の前に接続され、エッジ検出変換を実行するためのエッジ検出器を含み、特徴識別器は特徴重要度推定器によって制御され、特徴識別を比較的高いエッジ検出エネルギを有する特徴に限定することが好ましい。
【００１６】
該装置は、フレーム内の画素を併合することによって、映像フレーム解像度の低減を生成するための、特徴識別器の前に接続されたダウンサンプラを含むことが好ましい。
【００１７】
該装置は、輝度信号を分離し、輝度のみの映像フレームを生成するための、特徴識別器の前に接続されたダウンサンプラを含むことが好ましい。
【００１８】
ダウンサンプラはさらに、輝度信号の解像度を低減するように動作可能であることが好ましい。
【００１９】
後続フレームは逐次フレームであるが、それらは間に一定のギャップまたは非一定のギャップさえも持つフレームとすることができることが好ましい。
【００２０】
動き推定は、デジタル映像規格のいずれに対しても実行することができる。ＭＰＥＧ規格は特に人気が高く、ＭＰＥＧ３および４は特にそうである。一般的に、ＭＰＥＧシーケンスは様々な型のフレーム、Ｉフレーム、Ｂフレーム、およびＰフレームを含むことができる。典型的なシーケンスはＩフレーム、ＢフレームおよびＰフレームを含むことができる。動き推定はＩフレームとＰフレームの間で実行することができ、装置は、Ｂフレームの動き推定として使用するために動き推定の内挿を達成するための内挿器を含むことができる。
【００２１】
代替的に、フレームは少なくともＩフレーム、第１Ｐフレーム、および第２Ｐフレームを一般的に介在するＢフレームと共に含む順序に並ぶ。動き推定はＩフレームと第１Ｐフレームとの間で実行され、装置は、第２Ｐフレームの動き推定として使用するための動き推定の外挿を達成するための外挿器をさらに含むことが好ましい。必要に応じて、前段落に従って、介在するＢフレームに対して動き推定を達成することができる。
【００２２】
フレームはブロックに分割され、特徴識別器は、第１フレーム内のブロックの系統的選択を行なってその中の特徴を識別するように動作可能であることが好ましい。
【００２３】
加えて、または代替的に、特徴識別器は、第１フレーム内のブロックの無作為選択を行なって、その中の特徴を識別するように動作可能である。
【００２４】
動き推定器は、第１フレームにおける特徴の位置付近の探索ウィンドウ内で後続フレームの特徴を探索するための探索器を含むことが好ましい。
【００２５】
該装置は、探索ウィンドウのサイズを事前設定するための探索ウィンドウサイズプリセッタを含むことが好ましい。
【００２６】
フレームはブロックに分割され、探索器は、特徴を含むブロックと探索ウィンドウ内のブロックとの間の比較を実行し、それによって後続フレーム内の特徴を識別し、各々のブロックの対応付けのために、第１フレームと後続フレームとの間の特徴の動きベクトルを決定するための比較器を含むことが好ましい。
【００２７】
比較はセンブランス距離比較であることが好ましい。
【００２８】
該装置は、比較の前に各ブロックから平均輝度値を減算するためのＤＣ補正器を含むことが好ましい。
【００２９】
比較は非線形最適化を含むことが好ましい。
【００３０】
非線形最適化はネルダ・ミード・シンプレックス技法を含むことが好ましい。
【００３１】
代替的に、または追加的に、比較はＬ１およびＬ２ノルムの少なくとも１つの使用を含む。
【００３２】
該装置は、特徴が有意の特徴であるかどうかを決定するための特徴重要度推定器を含むことが好ましい。
【００３３】
特徴重要度推定器は、後続フレーム内の特徴の最も近い一致と探索ウィンドウ全体における特徴の平均一致レベルとの間の比を決定し、それによって背景または隣接部から区別されない特徴を除外するための一致比決定器を含むことが好ましい。
【００３４】
特徴重要度推定器は、予め定められたしきい値と比を比較して、特徴が有意の特徴であるかどうかを決定するためのスレショルダをさらに含むことが好ましい。
【００３５】
特徴重要度推定器は、マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって最大弁別性の位置を突き止める数値近似器を含むことが好ましい。
【００３６】
特徴重要度推定器は特徴識別器の前に接続され、装置は、エッジ検出変換を実行するためのエッジ検出器をさらに含み、特徴識別器は特徴重要度推定器によって制御され、特徴識別を比較的高いエッジ検出エネルギの検出の領域に限定することが好ましい。
【００３７】
隣接特徴動き割当器は、動きベクトルが決定された低解像度ブロックに対応するフレームの高解像度またはフル解像度の各ブロックに動きベクトルを適用するように動作可能であることが好ましい。
【００３８】
該装置は、後続フレームの高解像度バージョンに特徴マッチングを実行して、フル解像度または高解像度ブロックの各々における動きベクトルを洗練させる動きベクトルリファイナを含むことが好ましい。
【００３９】
動きベクトルリファイナは、一致したフル解像度または高解像度ブロックの隣接ブロックで追加的特徴マッチング動作を実行し、それによって対応する動きベクトルをさらに洗練させるように、さらに動作可能であることが好ましい。
【００４０】
動きベクトルリファイナは、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられたフル解像度または高解像度のブロックを識別し、かつそのようなフル解像度または高解像度ブロックに、前割当て動きベクトルと現行割当て動きベクトルの平均を割り当てるように、さらに動作可能であることが好ましい。
【００４１】
動きベクトルリファイナは、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられたフル解像度または高解像度のブロックを識別し、かつそのような高解像度ブロックに、前割当て動きベクトルおよび現行割当て動きベクトルの規則決定導出物を割り当てるように、さらに動作可能であることが好ましい。
【００４２】
該装置は、各高解像度ブロックに、ブロックのそれぞれの動きベクトルに従って量子化レベルを割り当てるためのブロック量子化レベル割当器を含むことが好ましい。
【００４３】
フレームはブロック単位で構成可能であり、装置は、特徴検出器の前に接続された減算器をさらに含み、該減算器は、
後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すための画素減算器と、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するためのブロック減算器と
を含むことが好ましい。
【００４４】
特徴識別器は、フレームをブロック単位で審査することによって特徴を探索するように動作可能であることが好ましい。
【００４５】
ブロックは、ＭＰＥＧおよびＪＶＴ規格の少なくとも１つに従う画素数のサイズであることが好ましい。
【００４６】
ブロックは８×８、１６×８、８×１６、および１６×１６を含むサイズ群の中のいずれか１つであることが好ましい。
【００４７】
ブロックは８×８より低い画素数のサイズであることが好ましい。
【００４８】
ブロックは７×６画素以下のサイズであることが好ましい。
【００４９】
代替的に、または追加的に、ブロックは６×６画素以下のサイズであることが好ましい。
【００５０】
動き推定器および隣接特徴動き割当器は解像度レベル変換器と連動して、各フレームの連続的に増加する解像度に対して探索および割当を行なうことが好ましい。
【００５１】
連続的に増加する解像度はそれぞれ実質的に、１／６４、１／３２、１／１６、８分の１、４分の１、２分の１、およびフル解像度のうちの少なくとも一部分であることが好ましい。
【００５２】
本発明の第２態様では、
第１映像フレームおよび第２映像フレームそれぞれの低解像度バージョン間で非全数探索を実行するための非全数探索ユニットを含み、非全数探索によりフレーム全体にわたって持続する少なくとも１つの特徴を見つけ出し、該特徴のフレーム間の相対的動きを決定する、
映像動き推定のための装置を提供する。
【００５３】
非全数探索ユニットは、映像フレームの連続的に増加する解像度バージョンで探索を繰り返すようにさらに動作可能であることが好ましい。
【００５４】
装置は、持続する特徴と一緒に移動するように見える持続する特徴の隣接特徴を識別し、持続する特徴の相対的動きを隣接特徴に適用するための隣接特徴識別器を含むことが好ましい。
【００５５】
装置は、それぞれのフレーム内の持続する特徴間の一致を、第１フレーム内の持続する特徴と第２フレームのウィンドウ内のポイントとの間の一致の平均と比較して、一致度を表現する数量を提供し、特徴および対応する相対的動きを動き推定に使用するか、それとも特徴を拒絶するかに関する決定を支援する特徴動き品質推定器を含むことが好ましい。
【００５６】
本発明の第３態様では、動き推定のために画素ブロック単位で構成された映像フレームを前処理するための映像フレーム減算器であって、
映像シーケンスの後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すための画素減算器と、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するためのブロック減算器と
を含む、映像フレーム減算器を提供する。
【００５７】
全体的画素差レベルはブロック全体における最高画素差値であることが好ましい。
【００５８】
全体的画素差レベルはブロック全体における画素差レベルの総和であることが好ましい。
【００５９】
予め定められたしきい値は実質的に零であることが好ましい。
【００６０】
マクロブロックの予め定められたしきい値は、実質的に動き推定のための量子化レベルであることが好ましい。
【００６１】
本発明の第４態様では、ブロック単位に構成された映像フレームに量子化レベルを提供するための動き推定後映像量子化器であって、各ブロックに動きデータが対応付けられ、該量子化器は各ブロックに対しブロック内の詳細レベルを設定するための量子化係数を選択するための量子化係数割当器を含み、該選択が対応付けられた動きデータに依存する映像量子化器を提供する。
【００６２】
本発明の第５態様では、ブロック単位に構成された映像フレームの動きを決定するための方法であって、
映像シーケンスの後続フレーム内の特徴をマッチングするステップと、
映像フレームのうちの第１のものと映像フレームのうちの第２のものにおける特徴間の相対的動きを決定するステップと、
決定された相対的動きを、該特徴と共に動くように見える、該特徴を含むブロックに隣接するブロックに適用するステップと
を含む方法を提供する。
【００６３】
該方法は、特徴が有意の特徴であるかどうかを決定するステップを含むことが好ましい。
【００６４】
特徴が有意の特徴であるかどうかを決定するステップは、後続フレームにおける特徴の最も近い一致と探索ウィンドウ全体における特徴の平均一致レベルとの間の比を決定するステップを含むことが好ましい。
【００６５】
該方法は、該比を予め定められたしきい値と比較し、それによって該特徴が有意の特徴であるかどうかを決定するステップを含むことが好ましい。
【００６６】
該方法は、マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって弁別性のレベルを生成するステップを含むことが好ましい。
【００６７】
該方法は、エッジ検出変換を実行し、特徴識別を高いエッジ検出エネルギを有するブロックに限定するステップを含むことが好ましい。
【００６８】
該方法は、フレーム内のブロックを併合することによって、映像フレーム解像度の低減を生成するステップを含むことが好ましい。
【００６９】
該方法は、輝度信号を分離し、それによって輝度のみの映像フレームを生成するステップを含むことが好ましい。
【００７０】
該方法は、輝度信号の解像度を低減することを含むことが好ましい。
【００７１】
後続フレームは逐次フレームであることが好ましい。
【００７２】
該方法は、第１フレーム内のブロックの系統的選択を行なって、その中の特徴を識別するステップを含むことが好ましい。
【００７３】
該方法は、第１フレーム内のブロックの無作為選択を行なって、その中の特徴を識別するステップを含むことが好ましい。
【００７４】
該方法は、第１フレームにおける特徴の位置付近の探索ウィンドウ内で後続フレーム内のブロック内の特徴を探索するステップを含むことが好ましい。
【００７５】
該方法は、探索ウィンドウのサイズを事前設定するステップを含むことが好ましい。
【００７６】
該方法は、特徴を含むブロックと探索ウィンドウ内のブロックとの間の比較を実行し、それによって後続フレーム内の特徴を識別し、ブロックに対応付けられる特徴の動きベクトルを決定するステップを含むことが好ましい。
【００７７】
比較はセンブランス距離比較であることが好ましい。
【００７８】
該方法は、比較の前に各ブロックから平均輝度値を減算するステップを含むことが好ましい。
【００７９】
比較は非線形最適化を含むことが好ましい。
【００８０】
非線形最適化はネルダ・ミード・シンプレックス技法を含むことが好ましい。
【００８１】
代替的に、または追加的に、比較はＬ１およびＬ２ノルムを含む群の少なくとも１つの使用を含む。
【００８２】
該方法は、特徴が有意の特徴であるかどうかを決定するステップを含むことが好ましい。
【００８３】
特徴重要度決定は、後続フレームにおける特徴の最も近い一致と探索ウィンドウ全体における特徴の平均一致レベルとの間の比を決定することを含むことが好ましい。
【００８４】
該方法は、該比を予め定められたしきい値と比較して、該特徴が有意の特徴であるかどうかを決定するステップを含むことが好ましい。
【００８５】
該方法は、マッチングの位置で不整合関数のヘッセ行列を近似化し、それによって弁別性のレベルを生成するステップを含むことが好ましい。
【００８６】
該方法は、エッジ検出変換を実行し、特徴識別を高いエッジ検出エネルギの領域に限定するステップを含むことが好ましい。
【００８７】
該方法は、動きベクトルが決定された低解像度ブロックに対応するフレームの各高解像度ブロックに該動きベクトルを適用するステップを含むことが好ましい。
【００８８】
該方法は、後続フレームの高解像度バージョンに特徴マッチングを実行して、高解像度ブロックの各々の動きベクトルを洗練させるステップを含むことが好ましい。
【００８９】
該方法は、特徴が一致した高解像度ブロックの隣接ブロックに追加的特徴マッチング動作を実行し、それによって対応する動きベクトルをさらに洗練させるステップを含むことが好ましい。
【００９０】
該方法は、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられた高解像度ブロックを識別し、かつそのような高解像度ブロックに、前割当て動きベクトルと現行割当て動きベクトルの平均を割り当てるステップを含むことが好ましい。
【００９１】
該方法は、異なる一致ブロックに由来する前特徴マッチング動作とは異なる動きベクトルが割り当てられた高解像度のブロックを識別し、かつそのような高解像度ブロックに、前割当て動きベクトルおよび現行割当て動きベクトルの規則決定導出物を割り当てるステップを含むことが好ましい。
【００９２】
該方法は、各高解像度ブロックに、該ブロックのそれぞれの動きベクトルに従って量子化レベルを割り当てるステップを含むことが好ましい。
【００９３】
該方法は、
後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すステップと、
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するステップと
を含むことが好ましい。
【００９４】
本発明のさらなる態様では、動き推定のために画素ブロック単位で構成された映像フレームを前処理するための映像フレーム減算方法であって、
【００９５】
映像シーケンスの後続フレーム内の対応する画素の輝度レベルを画素毎に減算して、各画素の画素差レベルを出すステップと、
【００９６】
動き推定の考慮から予め定められたしきい値より低い全体的画素差レベルを持つブロックを除去するステップと
を含む、映像フレーム減算方法を提供する。
【００９７】
全体的画素差レベルはブロック全体における最高画素差値であることが好ましい。
【００９８】
全体的画素差レベルはブロック全体における画素差レベルの総和であることが好ましい。
【００９９】
予め定められたしきい値は実質的に零であることが好ましい。
【０１００】
マクロブロックの予め定められたしきい値は、実質的に動き推定のための量子化レベルであることが好ましい。
【０１０１】
本発明のさらなる態様では、ブロック単位に構成された映像フレームに量子化レベルを提供するための動き推定後映像量子化方法であって、各ブロックに動きデータが対応付けられ、該方法は各ブロックに対しブロック内の詳細レベルを設定するための量子化係数を選択するステップを含み、該選択が対応付けられた動きデータに依存する映像量子方法を提供する。
【０１０２】
本発明をいっそうよく理解するため、かつそれをどのように実施することができるかを示すために、純粋に例として、今から添付の図面を参照しながら説明する。
図面の簡単な記述
図１は本発明の第１実施形態にかかる映像フレーム内のブロックの動きベクトルを得るための装置の簡易ブロック図である。
図２は図１の弁別的一致探索器をより詳細に示す簡易ブロック図である。
図３は図１の隣接ブロック動き割当器兼探索器の一部をより詳細に示す簡易ブロック図である。
図４は図１の装置に使用するためのプリプロセッサを示す簡易ブロック図である。
図５は図１の装置に使用するためのポストプロセッサを示す簡易ブロック図である。
図６は映像シーケンス内の後続フレームを示す簡易図である。
図７〜９は映像フレーム内のブロックの探索戦略を示す略図である。
図１０は低解像度の映像フレーム内の単一スーパーマクロブロックに由来する高精細度映像フレーム内のマクロブロックを示す。
図１１はマクロブロックへの動きベクトル値の割当を示す。
図１２はピボットマクロブロックおよび隣接マクロブロックを示す。
図１３および１４はマクロブロックが２つの隣接ピボットマクロブロックを持つ場合の動きベクトルの割当を示す。
図１５〜２１は３組の映像フレームであり、各組はそれぞれ映像フレーム、先行技術を使用して動きベクトルが適用された映像フレーム、および本発明を使用して動きベクトルが適用された映像フレームを示す。
【０１０３】
好適な実施形態の説明
今から図１を参照する。これは、本発明の第１の好適な実施形態にかかる映像フレーム内の動きを決定するための装置を示す一般化ブロック図である。図１において、装置１０は、現行映像シーケンスの連続フル解像度フレームを取り出し、それらを装置に挿入するためのフレーム挿入器１２を含む。ダウンサンプラ１４がフレーム挿入器の下流に接続され、各映像フレームの低減された解像度バージョンを生成する。映像フレームの低減された解像度バージョンは一般的に、映像信号の輝度部を分離し、次いで平均化を実行することによって生成することができる。
【０１０４】
ダウンサンプラを使用して、グレースケール画像に動き推定を実行することが好ましいが、代替的にフルカラービットマップに実行することもできる。
【０１０５】
動き推定は、８×８または１６×１６画素のマクロブロックで実行することが好ましいが、熟練者は、所定の状況に対して任意の適切なサイズのブロックを選択できることを理解されるであろう。特に好適な実施形態では、８×８より小さいマクロブロックを使用してより詳細な精密さを出し、特に６×６または６×７のマクロブロックなど、２のべき乗でないマクロブロックサイズが選好される。
【０１０６】
ダウンサンプリングされたフレームは次いで、ダウンサンプラ１４の下流に接続された弁別的一致探索器１６によって解析される。弁別的一致探索器は、ダウンサンプリングされたフレームの特徴またはブロックを選択し、後続フレーム内でそれとの一致を見つけることに進むことが好ましい。一致が見つかると、弁別的一致探索器は、一致が有意の一致であるか否かを決定することが好ましい。弁別的一致探索器の動作については下で、図２に関連してさらに詳しく論じる。一致の重要度の探索は、計算負荷の観点からコストがかかり、より高品質の画像、例えば放送品質に必要なだけであることに注目されたい。したがって、高品質が要求されない場合、一致の重要度または弁別性の探索は省くことができる。
【０１０７】
弁別的一致探索器の下流には隣接ブロック動き割当器兼探索器１８がある。隣接ブロック動き割当器は、弁別的特徴の隣接ブロックの各々に動きベクトルを割り当てる。該ベクトルは、弁別的特徴の相対的動きを記述する動きベクトルである。割当器兼探索器１８は次いで、下でさらに詳しく説明するように、特徴探索およびマッチングを実行して割り当てられたベクトルの妥当性を確認する。隣接ブロック動き割当器１８の使用の背後にある基礎的前提は、映像フレーム内の特徴が動くと、一般的に、異なる物体間の境界線を除いて、その隣接する特徴がそれと一緒に動くというものである。
【０１０８】
今、図２を参照すると、これは弁別的一致探索器１６をより詳細に示している。弁別的一致探索器は、低解像度フレームを用いて動作することが好ましい。弁別的一致探索器は、逐次フレーム間のマッチングのためにブロックを選択するのに使用される探索パターンを選択するブロックパターン選択器２２を含む。可能な探索パターンは規則的および無作為探索パターンを含み、それについては後でさらに詳しく論じる。
【０１０９】
前のフレームから選択されたブロックが次いで、ブロック照合器２４を使用して、後のフレームに対して試行マッチングを実行することによって探索される。マッチングは、下でさらに詳しく論じるように多数の可能な戦略のうちのいずれか１つを使用して実行され、ブロックマッチングは、予想される移動の量に応じて、付近のブロックに照らして、またはブロックのウィンドウに照らして、または後のフレーム内の全てのブロックに照らして実行することができる。
【０１１０】
好適なマッチング方法は、センブランスマッチングまたはセンブランス距離比較である。比較のための式を下に挙げる。
【０１１１】
ブロック間の比較は、現段階またはマッチングプロセスのいずれかの他の段階で、追加的にまたは代替的に、非線形最適化を利用することができる。そのような非線形最適化は、ネルダ・ミード・シンプレックス技法を含むことができる。
【０１１２】
代替実施形態では、比較はＬ１およびＬ２ノルムの使用を含むことができ、Ｌ１ノルムを以下では、絶対差（ＳＡＤ）の和と呼ぶ。
【０１１３】
探索の範囲を制限するためにウィンドウ化を使用することが可能である。探索器のいずれか１つでウィンドウ化を使用する場合、ウィンドウサイズプリセッタを使用して、ウィンドウサイズを事前設定することができる。
【０１１４】
したがって、マッチングの結果は一連のマッチングスコアである。一連のスコアは特徴重要度推定器２６に挿入され、それは最高一致スコアを格納する最大一致レジスタ２８を含むことが好ましい。平均一致計算器３０は現行ブロックに対応付けられる全ての一致のアベレージまたは平均を格納し、比レジスタ３２は最大一致と平均との間の比を計算する。比は、好ましいしきい値レジスタ３４に保持された予め定められたしきい値と比較され、比がしきい値より大きい特徴は、単純な比較器とすることができる弁別性決定器３６によって弁別的であると決定される。したがって、重要度は個々の一致の品質によってではなく、一致の相対的品質によって決定される。したがって、先行技術のシステムに見られた、例えば大きい空のパッチで、同様のブロック間で行なわれた誤り一致の問題は、大幅に低減される。
【０１１５】
現行特徴が有意の特徴であると決定された場合、次いでそれは隣接ブロック動き割当器兼探索器１８によって使用され、該特徴の動きベクトルは各隣接特徴またはブロックに１次動き推定として割り当てられる。
【０１１６】
一実施形態では、特徴重要度推定は、一致の位置で不整合関数のヘッセ行列を近似化するための数値近似器を使用して計算される。ヘッセ行列はグラフの転換点を見つけることの２次元的等価物であり、単なる鞍点から弁別性の最大値を区別することができる。
【０１１７】
別の実施形態では、特徴重要度推定器は前記特徴識別器の前に接続され、エッジ検出変換を実行するエッジ検出器を含む。特徴識別器は特徴重要度推定器によって制御され、特徴識別を高いエッジ検出エネルギを有する特徴に制限する。
【０１１８】
今、図３を参照すると、これは隣接ブロック動き割当器兼探索器１８をさらに詳細に示す。図３に示す通り、割当器兼探索器１８は、隣接する有意の特徴の動きベクトルを単に割り当てる近似動き割当器３８と、割り当てられた動きベクトルを、マッチング探索を実行するための基礎として使用して、近似マッチングによって示唆された隣接部の精密マッチングを実行する精密動き割当器４０とを含む。割当器兼探索器はフル解像度フレームに動作することが好ましい。
【０１１９】
２つの隣接する有意の特徴がある場合、精密動き割当器は、２つの動きベクトルの平均を使用することができ、あるいは予め定められた規則を用いてどのベクトルを現行の特徴に割り当てるかを決定することができる。
【０１２０】
一般的に、マッチングが実行される後続フレームは直接連続しているフレームまたは逐次フレームである。しかし、フレーム間でジャンプが行なわれる場合があってもよい。特に、好適な実施形態では、第１フレーム、一般的にＩフレームと、後に続くフレーム、一般的にＰフレームとの間でマッチングが行なわれる、２つのフレーム間に見られた動きの内挿が中間フレーム、一般的にＢフレームに適用される。別の実施形態では、Ｉフレームと後に続くＰフレームとの間でマッチングが行なわれ、次いで次に続くＰフレームに対して外挿が適用される。
【０１２１】
探索を実行する前に、フレームのＤＣ補正を実行することができる。すなわち、フレームまたは個々のブロックの平均輝度レベルを算出し、次いで減算することができる。
【０１２２】
今、図４を参照すると、これは、動き推定の前にフレームの前処理を実行するためのプリプロセッサ４２の簡易図である。プリプロセッサは、後続フレーム間の対応する画素の減算を実行するための画素減算器４４を含む。画素減算器４４の後にブロック減算器４６が続き、これは、画素減算の結果、予め定められたしきい値より低い画素差レベルを生じたブロックを考慮から除去する。
【０１２３】
画素減算は一般的に、動きが無い場合、すなわち後続フレームにおける対応する画素が同一である場合、低い画素差レベルを生じると期待することができる。そのような前処理は、動き検出段階の処理の量、および特に偽りの動きの検出の程度をかなり低減すると期待することができる。
【０１２４】
量子化減算は、フレームのマッチング部分（マクロブロックの形状が好ましい）の量子化スキップを、出力ストリームの所望のビットレートに応じて調整することを可能にする。
【０１２５】
量子化減算方式は、変化の無いマクロブロック、すなわち比較される２つのフレーム間で静止しているように見えるマクロブロックに対する動き推定プロセスをスキップすることを可能にする。デフォルトでは、上述の通り、フル解像度フレームがグレースケール（ＹＶＵ画像の輝度部）に変換される。次いでフレームは画素毎に相互に減算される。全ての画素差が結果的に零になった全てのマクロブロック（８×８ＭＢに対して６４画素および１６×１６ＭＢに対して２５６画素）は、変化無しとみなし、動き推定のプロセスに入る前にスキップすべきマクロブロックとしてマーク付けすることができる。こうして、マクロブロックをマッチングする場合に全フレーム探索を回避することができる。
【０１２６】
無変化マクロブロックの許容値を、動き推定プロセスを実行するマクロブロックの量子化レベルに調整することによって、減算のしきい値を設定することができる。符号器は、動き推定プロセスが行なわれたブロックの量子化レベルに従って、量子化減算方式のしきい値を設定することができる。動き推定中の量子化のレベルが高ければ高いほど、減算画素に対応付けられる許容レベルは高くなり、かつスキップされるマクロブロックの数が高くなる。
【０１２７】
減算ブロックしきい値を高い値に設定することによって、動き識別プロセスでより多くのマクロブロックがスキップされ、それにより他の符号化の要求のために容量が解放される。
【０１２８】
上述の実施形態では、しきい値を得るために、ブロックの少なくとも幾つかに対する１回目のパスが必要である。ダブルパス符号器により、１回目のパスの符号化の結果に従って各フレームに対してしきい値調整を行なうことができるようにすることが好ましい。しかし、別の好適な実施形態では、前フレームに従って各フレームの量子化を調整して、量子化減算方式をシングルパス符号器で実現することができる。
【０１２９】
今、図５を参照すると、これは、本発明の好適な実施形態に係る動き検出ポストプロセッサ４８を示す簡易ブロック図である。ポストプロセッサ４８は、割り当てられた動きベクトルの振幅を解析するための動きベクトル振幅レベル解析器５０を含む。振幅解析器５０の後に、ベクトル振幅に反比例してブロック量子化レベルを割り当てるためのブロック量子化器５２が続く。次いで、特徴が速く動くほど人の目が捕らえる細部が少ないことに基づいて、ブロック内の画素を符号化する場合の詳細レベルを設定するのに、ブロック量子化レベルを使用することができる。
【０１３０】
手順を詳細に検討しながら、ＭＰＥＧ２デジタル映像規格の場合の実施形態について説明する。実施例はＭＰＥＧ４および他の規格に延長することができ、より一般的には、どのフレーム間およびフレーム内符号器にも該アルゴリズムを実現することができることを、熟練者は理解されるであろう。
【０１３１】
上述したとおり、動画のフレームシーケンスには特定の一貫性レベルが存在する。すなわち特徴は円滑に移動または変化する。したがって、２つの逐次（または間隔をおいて継続する）フレームにおける画像の弁別的部分を突き止め、この弁別的部分の動きベクトルを見出すことが可能である。すなわち、フレームＡおよびＢの弁別的断片の相対的ずれを決定することが可能であり、次いで、これらの動きベクトルを使用して、弁別的断片に隣接する領域の全部または一部を見つけるのに役立てることができる。
【０１３２】
フレームの弁別的部分とは、相当レベルの確実性で、その周囲の物体および背景から認識して差別化することができる、弁別的パターンを含む部分である。
【０１３３】
簡単に言うと、フレームＡにおける顔の鼻がフレームＢで新しい場所に移動した場合、全く同じ顔の目も鼻と共に移動したと想定することは合理的である。
【０１３４】
フレームの弁別的な部分の識別は隣接部分の制限された探索と共に、従来のフレーム部分マッチングと比較して、誤り率を劇的に最小化する。そのような誤りは通常、画像の品質を劣化させ、アーチファクトを加え、ブロッキングとして知られているもの、単一の特徴が別個の独立したブロックとして挙動する印象を引き起こす。
【０１３５】
画像の弁別的部分の探索に向けての第１ステップとして、輝度（グレースケール）フレームが上述の通り（その原サイズの１／２〜１／３２または他のダウンサンプルレベルに）ダウンサンプリングされる。ダウンサンプリングのレベルは、ユーザが設定するシステム変数とみなすことができる。例えば、１８０×１４４画素の１／１６のダウンサンプルは７２０×５７６画素のフレームを表すことができ、１８０×１２０画素は７２０×４８０画素のフレームを表すことができ、以下同様である。
【０１３６】
フル解像度フレームに探索を実行することができるが、それは非効率的である。フレームの弁別的部分の検出を用意にし、かつ計算負荷を最小化するために、ダウンサンプリングが行なわれる。
【０１３７】
特に好適な実施形態では、初期探索は８のダウンサンプリングに従って実行される。その後に、４のダウンサンプリングで洗練された探索が続き、その後に２のダウンサンプリングによる洗練された探索が続き、その後にフル解像度フレームに対する最終処理が続く。
【０１３８】
今、図６を参照すると、２つの後続フレームが示されている。動き推定プロセス中に、ダウンサンプリングおよび減算に続いて、逐次フレームまたは間隔をおいて継続するフレームで画像の弁別的部分を識別し、それらの間の動きベクトルを計算することができる。
【０１３９】
フレームの弁別的部分の系統的探索および検出を可能にするために、ダウンサンプリングされたフレーム全体をここでスーパーマクロブロックと呼ぶ単位に分割する。本実施例では、スーパーマクロブロックは８×８画素のブロックであるが、別のサイズおよび形状のブロックを使用する可能性を熟練者は理解されるであろう。例えばＰＡＬ（７２０×５７６）フレームのダウンサンプリングでは結果的に、１スライスまたは１行に２３（２２．５）個のスーパーマクロブロック、および１列に１８個のスーパーマクロブロックを得ることができる。以下では、上記のダウンサンプルされたフレームを、低解像度フレームまたは（ＬＲＦ）と呼ぶ。
【０１４０】
今、図７および８を参照すると、それらは、後続フレームにおいて一致するスーパーマクロブロックを見つけるための探索方式を示す略図である。
【０１４１】
図７は、全またはサンプルスーパーマクロブロックのマッチングのための系統的探索を示す略図であり、ここでスーパーマクロブロックは第１フレームで系統的に選択され、第２フレームで探索される。図８は、探索のためのスーパーマクロブロックの無作為の選択を示す略図である。上記の２つの型の探索の多数の変化形を実行できることは理解されるであろう。図７および８には１４のスーパーマクロブロックがあるが、言うまでも無く、スーパーマクロブロックの数は数個のスーパーマクロブロックからフレームのスーパーマクロブロックの全数まで変化することができることは、理解されるであろう。後者の場合、図はそれぞれ２５×１９個のスーパーマクロブロックのフレームおよび２３×１５のフレームの初期探索を実証する。
【０１４２】
図７および８では、各スーパーマクロブロックのサイズは８×８画素であり、ＭＰＥＧ２規格に従って１６×１６画素の４個のフル解像度の隣接マクロブロックを表わし、３２×３２画素の正方形を形成する。これらの数は特定の実施形態に応じて変化することができる。
【０１４３】
低解像度の±１６画素の探索領域は、スーパーマクロブロック自体によって表わされる３２画素に加えて、±６４範囲のフル解像度探索と同等である。上述の通り、探索ウィンドウは、±１６より小さいウィンドウおよびフルフレームもの大きさを表す様々なサイズに拡張することができる。
【０１４４】
今、図９を参照すると、それは、高解像度画像を使用する、１４個のスーパーマクロブロックだけの系統的な初期探索の範囲を示す簡易フレーム図面である。
【０１４５】
以下で、本発明の一実施形態に係る好適な探索手順について、より詳細に説明する。探索手順を段階の順序で説明する。
【０１４６】
段階０：探索管理
全てのマクロブロック（１６×１６フル解像度フレーム）の状態データベース（マップ）を維持する。状態データベース内の各セルは、異なるマクロブロック（座標ｉ，ｊ）に対応し、次の通り３つの動き推定属性、すなわち１つのマクロブロック状態（−１，０，１）および３つの動きベクトル（ＡＭＶ１ｘ，ｙ；ＡＭＶ２ｘ，ｙ；ＭＶｘ，ｙ）を含む。マクロブロック状態属性は、探索の途中でそれぞれのブロックの状態を示すためにセットされ変更される状態フラグである。動きベクトルは、隣接ブロックから割り当てられる帰属動きベクトルおよび最終結果ベクトルに分割される。
【０１４７】
最初に、全てのマクロブロックの状態が−１（一致せず）とマーク付けされる。マクロブロックが一致すると（下の段階ｄおよびｅ参照）、その状態は０（一致）に変更される。
【０１４８】
一致したマクロブロックの４つの隣接マクロブロック全部（下の段階ｄ、ｅ、およびｆ参照）の一致を探索し終わると、探索の結果に関係なく、マクロブロックの状態は、それぞれのマクロブロックの処理が終了したことを意味する１に変更される。
【０１４９】
弁別的スーパーマクロブロックが一致すると（下の段階ｂ参照）、（図５に示す通り）隣接マクロブロック１．ｎのＡＭＶ１（近似動きベクトル１）がマーク付けされる。すなわち、弁別的マクロブロックに対して決定された動きベクトルが、その隣接部の各々に近似一致として割り当てられる。
【０１５０】
１．ｎまたは隣接するマクロブロックが一致すると（下の段階ｄ参照）、そのＭＶがマーク付けされ、今やそのＭＶを使用して、その付近または隣接するマクロブロックの全てのＡＭＶ１がマーク付けされる。
【０１５１】
多くの場合、特定のマクロブロックは、異なる隣接マクロブロックとは異なる近似動きベクトルを割り当てることができる。したがって、一致した隣接マクロブロックのＭＶが、当該マクロブロックにその隣接マクロブロックの別の１つによってすでに割り当てられたＡＭＶ１値とは異なる場合には、しきい値を使用して、２つの動きベクトルが両立できるかどうかが決定される。一般的に、距離ｄ≦４である場合（ｘおよびｙ値の両方について）、２つの平均が新しいＡＭＶ１とされる。
【０１５２】
他方、しきい値を越えると、動きは両立できないと推定される。当該マクロブロックは明らかに特徴の境界線上にある。したがって、一致したマクロブロックのＭＶが別の隣接マクロブロックによって隣接マクロブロックにすでに与えられたＡＭＶ１値とｄ＞４（ｘまたはｙ値について）だけ異なる場合には、第２の隣接マクロブロックの値はＡＭＶ２として維持される。
【０１５３】
段階ａ：スーパーマクロブロックのマッチングの探索
ＬＲＦ（低解像度フレーム）の探索方式では、２つのフレームのスーパーマクロブロックをマッチングするために、不整合関数として知られる関数を使用する。有用な不整合関数は例えば、標準Ｌ１およびＬ２ノルムのいずれかに基づくことができ、あるいは次のように定義されるセンブランス計量に基づく、より洗練されたノルムを使用することができる。
【０１５４】
任意の２つのＮベクトルｃｋ１およびｃｋ２に対し、それらの間のセンブランス距離（ＳＥＭ）は次の式を有する。
2005520361.tif 000003
【０１５５】
さらなる好適な実施形態では、２つのベクトルを単純にＤＣ補正することによって、すなわち２つのベクトルを、各成分から平均値を減算することによって形成された新しいベクトルに置換することによって、より洗練されたセンブランスに基づくノルムを選択することができる。
【０１５６】
ＤＣ補正の有無に関わらず、センブランス計量の選択は、それが探索を範囲外の値の存在に対して実質的により頑健にするという点で有利とみなされる。
【０１５７】
上に定義したセンブランス不整合関数を使用して、直接探索を実行し、低解像度フレームにおける単一初期スーパーマクロブロックに対する一致を得ることができる。代替的に、そのような探索を任意の効果的な非線形最適化技法によって実行することができ、そこから当業界でネルダ・ミード・シンプレックス技法として知られる非線形シンプレックス法でよい結果が得られる。
【０１５８】
±１６画素の範囲で、第１フレーム内のｎ番目のスーパーマクロブロックに対する一致の探索は、第２フレーム内のｎ番目のスーパーマクロブロックから開始することが好ましい。一致を見つけることができない場合、またはスーパーマクロブロックを弁別的ブロックとして識別することができない場合、下の段階ｂで述べる通り、探索は、最後に失敗した探索のｎ＋１番目のスーパーマクロブロックから繰り返される。
【０１５９】
段階ｂ：一致したスーパーマクロブロックを弁別的として宣言する
スーパーマクロブロックの一致が見つかった場合、
ａ．その最良の同一ブロックの一致（８×８画素）に対する現行のスーパーマクロブロックの一致と、
ｂ．その全数探索領域の残り（４０×４０から８×８の一致領域を除いた残り）の平均一致に対するマクロブロックの一致と
の間の比を審査する。ａとｂの間の比が特定のしきい値より高ければ、現行マクロブロックは弁別的マクロブロックとみなされる。そのような二重段階的手順は、隣接ブロックは類似しているが実際には動きが事実上発生していない領域で、弁別的マッチングが誤って見つからないことを確実にするのに役立つ。
【０１６０】
弁別的マクロブロックを見つける代替的方法は、不整合関数の第２の偏導関数の正方行列である、不整合関数のヘッセ行列を数値的に近似することによる。決定されたマクロブロックの一致座標でヘッセ行列を評価することにより、現行位置が転換点の２次元的等価物を表すかどうかに関する標識が得られる。最大値の存在は適正レベルの絶対弁別性と共に、一致が有用な一致であることを示す。
【０１６１】
弁別性を見つけるさらなる代替実施形態は、例えばラプラシアンフィルタ、ゾーベルフィルタ、またはロバーツフィルタを使用して、エッジ検出変換を２つのフレームに適用し、次いでフィルタ出力エネルギがかなり高い「減算されたフレーム」の領域に探索を制限する。
【０１６２】
段階ｃ：弁別的スーパーマクロブロックの大まかなＭＶを設定する
弁別的スーパーマクロブロックが識別された場合、その決定された動きベクトルが、フル解像度フレームの対応する４つのマクロブロックに割り当てられる。
【０１６３】
弁別的スーパーマクロブロックの数は初期探索でＮと設定されている。対応付けられた動きベクトル設定は、以下で論じる通り、次のフレームの高解像度バージョンの探索を実行するための仮の近似動きベクトルとして役立つ。
【０１６４】
段階ｄ：単一フル解像度マクロブロックの精密ＭＶの設定
今、図１０を参照すると、それは、低解像度フレーム内の単一スーパーマクロブロックに対応する高解像度フレームの４つのマクロブロックのレイアウトを示す簡易図である。画素サイズが示されている。
【０１６５】
初期スーパーマクロブロックの４つのマクロブロックのいずれか１つの精密動きベクトルを得るために、フル解像度フレームで、その元の１６×１６画素サイズの４つのマクロブロックのうちの１つが探索される。探索は±７画素の範囲内でマクロブロック番号１．１から開始される。
【０１６６】
マクロブロック番号１．１の一致が見つからない場合、同じ８×８のスーパーマクロブロックに由来する元の１６×１６画素内で再び同じ手順がマクロブロック番号１．２で繰り返されることが好ましい。ブロック１．２が一致することができない場合には、ブロック１．３で同じ手順が繰り返され、次いでブロック１．４で繰り返される。
【０１６７】
図１０に示された４つのマクロブロックが全部見つけられなければ、手順は新しいブロックおよび段階ａに戻る。
【０１６８】
段階ｅ：隣接マクロブロックの動きベクトルを更新する
４つのマクロブロックのうちの１つの一致が見つかると、探索データベース内のマクロブロックの状態が０（「一致」）に変更される。
【０１６９】
一致したマクロブロックのＭＶは状態データベースにマーク付けされる。一致したマクロブロックは今、以下でピボットマクロブロックと呼ぶものとして役立つことが好ましい。ピボットマクロブロックの動きベクトルは今、その付近または隣接するマクロブロックの各々にＡＭＶ１または探索開始点として割り当てられる。隣接マクロブロックのＡＭＶ１は、添付の図１１に示すように、状態データベースにマーク付けされる。
【０１７０】
今、図１２を参照すると、これはピボットマクロブロックを中心とするマクロブロックの配置を示す簡易図である。図に示す通り、本実施形態の場合の付近または隣接するマクロブロックとは、ピボットマクロブロックの北、南、東、および西側に隣接するマクロブロックである。
【０１７１】
段階ｆ：ピボットの隣接マクロブロックに対する一致の探索
考慮対象の領域内のマクロブロックは今、近似動きベクトルを有しており、精密マッチングのために±４画素の制限された探索を使用することが好ましい。実際、図１２に示す通り、北、南、東、および西のみに対する一致は現段階で探索される。制限された探索のために、任意の種類の公知の探索（ＤＳ等のような）を実現することができる。
【０１７２】
上述の制限された探索が終了すると、それぞれのピボットマクロブロックの状態が１に変更される。
【０１７３】
段階ｇ：新しいピボットマクロブロックの設定
一致した各隣接マクロブロックの状態は、一致したことを示すための０に変更される。一致した各マクロブロックを今度はピボットとして使用することができ、その隣接または付近のマクロブロックのＡＭＶ１を設定することが可能になる。
【０１７４】
段階ｈ：ＭＶの更新
こうして隣接マクロブロックのＡＭＶ１は、各ピボットマクロブロックの動きベクトルに従って設定される。すでに上で概説した通り、今、場合によっては、一般的に２つ以上の隣接ピボットがあるために、隣接マクロブロックの１つまたはそれ以上がすでにＡＭＶ１値を持っているかもしれない。そのような場合、図１３および１４に関連して述べる次の手順が使用される。
【０１７５】
現行ＡＭＶ１値が新たに一致した隣接ピボットマクロブロックのＭＶ値とｄ≦４（ｘおよびｙ値の両方について）だけ異なる場合、平均値がＡＭＶ１として維持される。
【０１７６】
他方、しきい距離ｄ＝４を越える場合には、ピボットの後者の値が維持される。
【０１７７】
段階Ｉ．停止状況：
全てのピボットマクロブロックが１とマーク付けされた場合、それらが完了したことを意味し、停止状況が発生する。この時点で、初期探索領域のｎ＋１の番号が付けられた８×８のスーパーマクロブロックから初期探索が繰り返される。
【０１７８】
初期探索スーパーマクロブロック番号の更新
追加の弁別的スーパーマクロブロックが見つかると、それは、最後に見つかった弁別的スーパーマクロブロックからｎ＋１の番号が付けられる。番号付けは、弁別的であると判断されなかったスーパーマクロブロックをスキップしながら、弁別的マクロブロックが見つかった順番に探索されることを確実にする。
【０１７９】
段階ｉ：
探索すべき隣接部が残っておらず、かつスーパーマクロブロックが残っていない場合、さらなる探索は終了する。任意選択的に、残りのマクロブロックに対し、当業界で公知の通常の探索、例えばＤＳまたは３ＳＳまたは４ＳＳまたはＨＳまたはダイヤモンドが使用される。
【０１８０】
さらなる探索が行なわれない場合、一致が見つからなかった全てのマクロブロックを算術的に符号化することが好ましい。
【０１８１】
画素の初期探索は全ての画素に実行することができる。代替的に、それは交互画素のみに実行することができ、あるいはそれは他の画素スキッププロセスを使用して実行することができる。
【０１８２】
量子化される量子化方式：
本発明の特に好適な実施形態では、後処理段階が実行される。マクロブロックに対し、それらのそれぞれの動きの程度または大きさに応じて、知的量子化レベル設定が適用される。上述した通り、動き推定アルゴリズムはマクロブロックの一致の状態データベースを維持し、特徴指向群で変位したマクロブロックを検出するので、群内のグローバルな動きの識別を使用して、動きの大きさの関数としてレート制御の操作が可能になり、それにより、例えば速く動く特徴指向群に対しては低レベルの細部を供給することによって、人の目の限界を利用することができる。
【０１８３】
ＤＳ動き推定アルゴリズム、およびそれに限らず、多くの無作為マクロブロックをマッチングする傾向のある他の動き推定アルゴリズムとも異なり、本実施形態は充分に正確であるので、量子化を動きのレベルに相関させることが可能である。より高い動きのあるマクロブロック、すなわち細部の一部がいずれにせよ人の目を免れるブロックにより高い量子化係数を合わせることにより、符号器は、動きが少ないマクロブロックのために、あるいはＩフレームの品質の向上のためにバイトを空けることができる。そうすることにより、符号器はこうして、均等量子化を使用する従来の符号器と同じビットレートで、人の目による認知のレベルに応じてフレームの異なる部分に対して異なる量子化を可能にし、結果的により高い認知レベルの画像品質が得られる。
【０１８４】
該量子化方式は、次の通り２段階で働くことが好ましい。
段階ａ：
上述の通り、動き推定アルゴリズムの状態データベースには、マッチングに成功し、一致した少なくとも２つの隣接部を有する各マクロブロックの記録が維持されている。この方法でマッチングに成功したマクロブロックをピボットと呼ぶ。以下では、そのようなマクロブロック群を単一舗装群と呼び、後続フレームでピボットに対応付けられる隣接分間のマッチングのプロセスを舗装と呼ぶ。
段階ｂ：
単一舗装プロセスが、探索すべき残りの隣接部が無い段階に達すると、一致したマクロブロック群の動きベクトルが計算される。群の全てのマクロブロックの平均動きベクトルが特定のしきい値より高い場合、マクロブロックの量子化係数はＡ＋Ｎに設定される。ここで、Ａはフレーム全体に適用される平均係数である。群の平均動きベクトルがしきい値より低い場合、マクロブロックの量子化係数はＡ−Ｎに設定される。
【０１８５】
次いでしきい値はビットレートに従って設定することができる。また、単一舗装群で一致したマクロブロック群の平均動きベクトルとフレーム全体の平均動きベクトルとの間の差に応じて、しきい値を設定することも可能である。
【０１８６】
したがって、本実施形態は、動き推定スキップのための量子化減算方式、動き推定のためのアルゴリズム、およびそれらの動きのレベルに応じてフレームの動き推定部分を量子化するための方式を含む。
【０１８７】
２つの主要な考え方が上述の実施形態の根底にある。第一は、動画のコヒーレンシ特性を利用する概念である。第二は、所定のしきい値未満のマクロブロックの不整合は、全数画像探索の続行の重要な指針であるということである。
【０１８８】
現在報告されている動き推定（ＭＥ）アルゴリズムは全て、様々な最適化技法を使用した一度に１つずつのマクロブロック探索を採用している。対照的に、本実施形態は、映像ストリームのフレーム間のグローバルな動きを識別する手順に基づいている。すなわち、それは、画像の有機的な動いている特徴を処理する隣接ブロックの概念を使用する。動きについて解析されるフレームは、上述の通り、連続フレーム、または映像シーケンス内で相互に離れたフレームとすることができる。
【０１８９】
上述の実施形態で使用する手順は、フレームの（好ましくはマクロブロックの形の）弁別的部分の動きベクトル（ＭＶ）を見つけることが好ましく、それはフレーム内のその領域におけるグローバルな動きに基づいて特徴を記述するために選ばれる。手順は同時に、フレームの予測された隣接部のＭＶを、グローバル動きベクトルに従って更新する。フレームの全ての一致する隣接部（隣接マクロブロック）が舗装されると、アルゴリズムはフレームの別の部分の別の弁別的動きを識別する。次いで、他の弁別的動きを識別することができなくなるまで、舗装プロセスが繰り返される。
【０１９０】
上述した手順は、現行技術で広く使用されている重労働の探索を開始する方法を提供するという点で効率的である。
【０１９１】
本実施形態の有効性を３組の図、すなわち図１５〜１７、図１８〜２０、および図２１〜２３によって示す。各組における最初の図は、映像フレームを示し、２番目の図は、代表的な先行技術の方式によって得られた動きベクトル付きの映像フレームを示し、３番目の図は、本発明の実施形態に従って得られた動きベクトルを示す。先行技術では、類似ブロック間の一致が動きと間違えられ、大量の偽りの動きベクトルが背景領域に加えられていることに気付かれるであろう。
【０１９２】
上述の通り、好適な実施形態は、量子化減算方式に関係する前処理段階を含む。上で説明した通り、量子化減算は、フレーム間で変化しないかほとんど変化しない画像の部分に対し、動き推定手順をスキップすることを可能にする。
【０１９３】
上述の通り、好適な実施形態は後処理段階を含み、それはマクロブロックの動きのレベルに応じて、マクロブロックに知的量子化レベルを設定することを可能にする。
【０１９４】
量子化減算方式、動き推定アルゴリズム、および動きのレベルに応じたフレームの動き推定部分の量子化のための方式は、単一符号器に組み込むことができる。
【０１９５】
動き推定はグレースケール画像に実行することが好ましいが、それはフルカラービットマップに行なうこともできる。
【０１９６】
動き推定は８×８または１６×１６画素のマクロブロックで行なうことが好ましいが、所与の状況に対して適切なサイズのブロックを選択できることを、熟練者は理解されるであろう。
【０１９７】
それぞれの動きの大きさに応じてフレームの動き推定部分を量子化するための方式を他のレート制御方式に組み込んで、量子化レベルの微調整を提供することができる。しかし、成功するためには、量子化方式は好ましい、類似の領域間の人工的な動きを見つけ出さない動き推定方式を必要とする。
【０１９８】
今、図２４を参照すると、それは、上述した種類の探索戦略を示す簡易流れ図である。太線は、流れ図の原則的経路を示す。図２４における第１段階Ｓ１は、一般的にフル解像度カラーフレームである新しいフレームの挿入を含む。フレームはステップＳ２でグレースケール等価物に置き換えられる。ステップＳ３で、グレースケール等価物はダウンサンプリングされて、低解像度フレーム（ＬＲＦ）を生成する。
【０１９９】
ステップＳ４で、８×８画素の弁別的スーパーマクロブロックに到達するために、上述した探索戦略のいずれかに従って、ＬＲＦが探索される。該ステップは、さらなるスーパーマクロブロックを識別することができなくなるまでループされる。
【０２００】
次の段階Ｓ５で、上述した弁別性検証が実行され、ステップＳ６で、現行スーパーマクロブロックはフル解像度フレーム（ＦＲＦ）の同等のブロックに対応付けられる。ステップＳ７で、動きベクトルが推定され、ステップＳ８で、ＬＲＦおよび最初に挿入された高解像度フレームで決定された動きの間の比較が行なわれる。
【０２０１】
ステップＳ９では、失敗探索しきい値を使用して、所定のマクロブロックと隣接する４つのマクロブロックの一致が決定され、さらなる一致が見つからなくなるまでこれが続けられる。ステップＳ１０では、舗装戦略を使用して、ステップＳ９で見つかった一致に基づいて動きベクトルが推定される。舗装は、一致を示した全ての隣接部を使用し終わるまで続けられる。
【０２０２】
ステップＳ５ないしＳ１０は、全ての弁別的スーパーマクロブロックに対して繰り返される。それ以上弁別的スーパーマクロブロックが無いことが決定されると、プロセスはステップＳ１１に進み、そこで、動きが識別されなかった非舗装領域と呼ばれる領域で、単純算術符号化などの標準的符号化が実行される。
【０２０３】
初期ピボットから拡散して隣接部を見つける方式は、セルラオートマトンからの技術を使用することができることに注目されたい。そのような技術はスティーブン・ウォルフラムのＮｅｗ  Ｋｉｎｄ  ｏｆ  Ｓｃｉｅｎｃｅ（ウォルフラム・メディア社２００２年）に要約されており、その内容をここに参照によって組み込む。
【０２０４】
本発明の特に好適な実施形態では、上述の手順のスケーラブルな再帰バージョンを使用し、これに関連して、今、図２５〜２９を参照する。
【０２０５】
スケーラブルな再帰的実施形態で使用される探索は、改善された「人生ゲーム」型探索であり、４だけダウンサンプリングされた低解像度フレーム（ＬＲＦ）およびフル解像度フレーム（ＦＲＦ）を逐次的に使用する。探索は８枚および４枚のフレームならびにフル解像度フレームに対する探索と同等である。
【０２０６】
初期探索は単純である。Ｎ個、好ましくは１１〜１３個のウルトラスーパーマクロブロック（ＵＳＭＢ）を取って、始点すなわちピボットマクロブロック（フル解像度で舗装のために使用することのできるマクロブロック）として使用する。ＵＳＭＢは、４だけダウンサンプリングされた、すなわち原サイズの１／１６のＬＲＦフレームを使用して探索することが好ましい。
【０２０７】
ＵＳＭＢ自体は１２×１２画素である（９個の１６×１６のマクロブロックである、ＦＲＦで４８×４８画素を表す）。探索領域は水平方向に±１２、垂直方向に±８（２４×１６の探索ウィンドウ）であり、２画素ジャンプする（水平方向に±２、４、６、８、１０、１２、および垂直方向に±２、４、６、８）。ＵＳＭＢは１４４画素を含むが、探索中にマッチングされるのは一般的に４分の１の画素だけである。図２５に示すパターン（４―１２）、すなわち水平方向に４の連続落下行は実現を助けるために使用され、実現はＭＭＸ、３Ｄ  Ｎｏｗ、ＳＳＥ、およびＤＳＰ  ＳＡＤ加速などの様々なグラフィックス加速システムを使用することができる。探索では、１６画素の各正方形ブロックに対して４画素がマッチングされ、１２画素はスキップされる。図２５に示す通り、左上側から開始して、１行の４つが探索され、次いで３行がスキップされ、同様に１列目を下る。次いで探索は２列目に移動し、そこで下方にシフトが行なわれ、第１行の４つが無視され、第２行が探索される。その後、前と同様に４行毎に探索が行なわれる。３列目にも同様のシフトが行なわれる。実行されるマッチングは、８エミュレーションによるダウンサンプルである。
【０２０８】
探索は、初期および後続フレームのマッチング部分間に動きベクトルを設定することを可能にする。今、図２６を参照すると、新しい動きベクトルが設定されたときに、ＵＳＭＢは、次の通り、４づつダウンサンプルされた同じフレームで４つのＳＭＢに分割される。
【０２０９】
４個の６×６のＳＭＢは動きの一致が無いか±１画素探索され、各々の４個中の最良のものはフル解像度に引き上げられる。各ＳＭＢはフル解像度の２４×２４の画素ブロックを表す。
【０２１０】
フル解像度で、探索パターンは、図２７に示すように１６×１６画素ＭＢ（４−１６）を使用することを除いては、ダウンサンプル４（ＤＳ４）の第１パターンと同様である。一致したブロックは、４個中最良のＳＭＢによって表される２４×２４のブロック内に完全に含まれたＭＢである。すなわち、認識は最良一致に与えられる。
【０２１１】
最初に、６×６の４個中最良のＳＭＢ内に含まれていたＭＢが、±６画素の範囲内でフル解像度で探索される。全ての結果は分類され、好ましくは初期グローバル探索を並行して実行するために、Ｎ個の始点の初期数が設定される。
【０２１２】
どのようなしきい値も使用せずに探索を実行する可能性がある。そのような場合、どのような種類の弁別性検査も行なわれない。各々の全てのＵＳＭＢは結局は単一のフル解像度のＭＢになる。しかし、しきい値は弁別性を決定するために有利に使用することができ、第２ラウンド（サイクル）でしきい値を低下することにより、第１サイクルで舗装されなかったＭＢの舗装の継続が可能になる。
【０２１３】
舗装プロセスは、セットに最良の値すなわち最も低い値を有するＭＢから開始することが好ましい。値に使用される尺度はＬ１ノルムとすることができ、Ｌ１は上述したＳＡＤと同一である。代替的に、別の適切な尺度を使用することができる。
【０２１４】
（第１ピボットの４個の隣接ＭＢの）第１舗装の後、値はセットに記録され、再分類される。その後の舗装動作は、同様の方法で、セット内の最良のＭＢから開始される。
【０２１５】
一実施形態では、見つかったＭＢをそれらのそれぞれのＬ１ノルム値に応じて、例えば次のように、５と１０の間のリストに挿入することによって、完全分類を回避することができる。
５０≧Ｉｎ≧４０＞Ｈ≧３５＞Ｇ≧３０＞Ｆ≧２５＞Ｅ≧２０＞Ｄ≧１５＞Ｃ≧１０＞Ｂ≧５＞Ａ≧０
【０２１６】
ＭＢが一致する場合は、好ましくは一致とマーク付けすることによって、それはセットから除去される。
【０２１７】
舗装は３回のパスで実行され、一般的に図２９の流れ図によって示される。第１パスは、第１パス停止条件に達するまで続く。例えばそのような第１パス停止条件は、バンク内に１５に等しいかそれより小さい値のＭＢが無くなることとすることができる。各ＭＢは±１画素の範囲内で探索することができ、より高品質の結果を求める場合、その範囲を±４画素に延長することができる。
【０２１８】
第１パス停止条件が発生すると、すなわち、上の例では、１５に等しいかそれより小さい値のＭＮが無くなると、第２パスが開始される。第２パスでは、Ｌ１しきい値が今や（１０−１５）にわずかに増加したＵＳＭＢの第２セット（Ｎ２）が、上述と同様に探索される。ＵＳＭＢの始点座標は、第１パス後の舗装のカバレージに従って選択される。すなわち、この第２パスでは、対応するＭＢ（各ＵＳＭＢに対し９個）がまだ舗装されていないＵＳＭＢだけが選択される。始点座標の選択の第２基準は、隣接するＵＳＭＢが選択されていないことである。したがって、好適な実施形態では、第２ＵＳＭＢセットの始点座標を選択する方法は、次の方式を使用することを含む。
【０２１９】
フル解像度の舗装された各ＭＢ（１６×１６）はＤＳ４（４のダウンサンプルまたは１／１６の解像度）の１つまたはそれ以上の６×６のＳＭＢに対応付けられる。その結果、これらのＳＭＢは、第２ラウンドの探索（Ｎ２）の可能な候補のセットから除外される。実際には、（舗装された）ＭＢがフル解像度レベルで（ＤＳ４からの）初期セットのＳＭＢの１つまたはそれ以上の投影に部分的に含まれるかどうかを検査することによって、対応付けはフル解像度レベルで行なわれる。
【０２２０】
ＤＳ４における各々の６×６ＳＭＢは、フル解像度レベルで２４×２４ブロックに投影される。したがって、ＭＢの頂点の少なくとも１つが所定のＳＭＢの投影に厳密に含まれる場合、ＭＢとＳＭＢとの間の対応付けを定義することが可能である。図２８は、ＭＢが周囲のＳＭＢ付近に様々に投影される４つの明らかな対応付けの可能性を示す。可能性は次の通りである。
ａ）ＭＢの１つの頂点だけが含まれるので、ＭＢは左下の（２４×２４）ブロックに対応付けられる。
ｂ）ＭＢは右上および左上のブロックに対応付けられる。
ｃ）ＭＢは左上のブロックに対応付けられる。
ｄ）ＭＢは４つのブロック全部に対応付けられる。
【０２２１】
上述の手順を使用して、Ｎ２と呼ばれるセットには、まだカバーまたは舗装されていないＳＭＢ候補だけが選択される。次いでさらなる選択がＮ２に適用されることが好ましく、そこでは完全に分離されたＳＭＢ、すなわち他と共通のエッジを持たないものだけがＮ２に残ることができる。
【０２２２】
次いで、第２舗装動作の停止条件、すなわち２５または３０に等しいかそれより小さいＬ１値を持つＭＢがセットに残っていないという条件を設定することが好ましい。
【０２２３】
次いで第２舗装動作が実行される。停止条件に達すると、４だけダウンサンプリングされたＬＲＦで６×６ＳＭＢを使用して、第３舗装動作が開始される。再び２画素のスキップが実行され（すなわち、探索は偶数列にのみ制限され）、同じ探索範囲が使用される。その結果、前の２回の舗装パスの４−１２のパターンの場合と同様に、より小さい開始領域をカバーすることが可能になる。３回目の探索のＳＭＢの数は１１までである。次いでＳＭＢは、±６画素の範囲内でフル解像度（４−１６パターン）で（更新されたＭＶに従って）再びマッチングされる。
【０２２４】
ＭＢの舗装は、フレーム全体がカバーされるまで、毎回セット内の最良のＭＢを使用して続行される。
【０２２５】
舗装動作の回数は可変であり、所望の出力品質に応じて変更することができる。したがって、フレーム全体がカバーされるまで舗装が続行される上述の手順を、高品質、例えば放送品質にも使用することができる。しかし、該手順は、低品質の出力で、その見返りに低い処理負荷を得るために、早期段階で停止することができる。
【０２２６】
代替的に、処理負荷と出力品質との間の異なるバランスをもたらすために、停止条件を変更することができる。
【０２２７】
Ｂフレームの動き推定
以下では、上記実施形態をＢフレームの動き推定に適用する適用例を説明する。
【０２２８】
Ｂフレームは、映像ストリームの一部である一連のフレーム内の双方向補間フレームである。
【０２２９】
Ｂフレームの動き推定は、次の要領で、上述した舗装戦略に基づく。
次の２種類の動き推定を区別することができる。
１．グローバル動き推定：ＩからＰまたはＰからＰフレームへの動きを推定する。
２．ローカル動き推定：ＩからＢまたはＢからＰフレームへの動きを推定する。
【０２３０】
上述した舗装方法をＢフレームの動き推定に使用する特定の利点は、それが２つの隣接するフレームにわたって移動するので各個別マクロブロックで探索を実行する従来の方法とは対照的に、非隣接フレーム間のマクロブロックを追跡することができることである。
【０２３１】
グローバル動き推定におけるフレーム対間の距離（すなわち、統計的に表わされる差）は、フレームが一時的にさらに離れるので、ローカル動き推定におけるフレーム対より明らかに大きい。
【０２３２】
例として、次のシーケンス：
ＩＢＢＰＢＢＰＢＢＰＢＢＰ
では、３フレーム離れたフレーム対Ｉ、ＰおよびＰ、Ｐに対してグローバル動き推定が使用される一方、１または２フレーム離れたフレーム対Ｉ、ＢおよびＢ、Ｐに対してはローカル動き推定が使用される。差レベルの増加のため、ローカル動き推定よりグローバル動き推定を実行する場合に、より厳しい努力を払う必要がある。対照的に、ローカル動き推定は、グローバル動き推定結果を利用して、例えば始点として提供することができる。
【０２３３】
今から、ＢフレームのローカルＭＥを実行するための手順を概説する。該手順は、以下で述べる通り４段階で構成され、グローバル動き推定から得られた結果を使用して始点を提供する。
段階１：
上記の実施形態では、次の２つの方法のいずれかを使用して、初期舗装のピボットマクロブロックを見つけ出す。
ａ）前のグローバル動き推定でＩ−＞Ｐ舗装のための初期セットとして使用されたマクロブロックを選択する。または
ｂ）Ｉ−＞Ｐフレーム対からすでに舗装されたマクロブロックから最良のＳＡＤ値を有する均等に分散されたマクロブロックを選択する。
【０２３４】
例えば、「ＩＢ１Ｂ２Ｐ」シーケンス内の２つのＢフレームを前提として、次のフレーム対に対して動き推定を実行することができる。
Ｉ−＞Ｂ１、Ｉ−＞Ｂ２、および
Ｂ１−＞Ｐ、Ｂ２−＞Ｐ
【０２３５】
動き推定は初期舗装ピボット付近の舗装を使用して実行され、舗装ピボットの動きベクトルは次の式を使用して、Ｉ−＞Ｐフレームのマクロブロックの動きベクトルから補間される（ＩＢＢＰシーケンスの場合の補間を挙げるが、異なるシーケンスに対しては容易に変形することができる）。
Ｉ−＞Ｐ動きベクトルが｛ｘ，ｙ｝であるマクロブロックを前提とすると、補間動きベクトルは次の通りである。
Ｉ−＞Ｂ１：｛ｘ１，ｙ１｝＝｛１／３ｘ，１／３ｙ｝
Ｉ−＞Ｂ２：｛ｘ２，ｙ２｝＝｛２／３ｘ，２／３ｙ｝
Ｂ１−＞Ｐ：｛ｘ３，ｙ３｝＝｛−２／３ｘ，−２／３ｙ｝
Ｂ２−＞Ｐ：｛ｘ４，ｙ４｝＝｛−１／３ｘ，−１／３ｙ｝
【０２３６】
補間動きベクトルはさらに、±２画素の範囲内で直接探索を使用して洗練される。
【０２３７】
段階２：
今、舗装ピボットを、ＳＡＤ（またはＬ１ノルム）値に従って分類されたデータセットＳに加えることが好ましい。
【０２３８】
各ステップで、ＳＡＤがＳの中で最も低いソースＭＢの舗装されていない隣接部が決定される。
【０２３９】
プロセスで、そのソースＭＢの動きベクトルの周囲の±Ｎの範囲内の各隣接部が探索される。
【０２４０】
この時点でマッチングしきい値は値Ｔ１、例えば１画素当たり１５に設定される。
【０２４１】
結果的に得られるＳＡＤがしきい値より低い場合、ＭＢは舗装済みとマーク付けされ、上述したセットＳに追加される。
【０２４２】
該手順は、Ｓが余すところなく探索され、探索すべきピボットＭＢがなくなるまで、すなわちフレーム全体が舗装されるか、あるいはピボットの全ての近隣部が一致するか、あるいは非一致であることが明らかになるまで、続行される。
【０２４３】
段階３：
マクロブロックの舗装されていない領域がフレームに残っている場合、残りの舗装されていない穴の内部で、第２セットのピボットマクロブロックが得られる。
【０２４４】
ピボットマクロブロックは、次の条件に従って選択することが好ましい。
ａ）任意の２対のマクロブロックが共通のエッジを持たない。および
ｂ）マクロブロックの総数は予め定められた比較的小さい数Ｎ２に制限することが好ましい。
【０２４５】
上述の通り、補間動きベクトル値の周囲のＮ個の画素の範囲にわたって、今、探索が実行される。
【０２４６】
上記の段階２の場合と同様に、マクロブロックはデータセットＳに追加され、分類される。
【０２４７】
舗装は上記の段階２の場合と同様に実行される。舗装のＳＡＤしきい値は、上述した通り、新しい値Ｔ２に増加される。
【０２４８】
Ｓが余すところなく探索されるまで、手順は続行される。
【０２４９】
上記の段階３は、舗装されていないマクロブロックの数がＮパーセントを超える限り繰り返される。今、マッチングしきい値は無限大に増加される。
【０２５０】
上記の全てが完了した後に舗装されずに残るマクロブロックは、４ステップ探索などいずれかの標準的方法を使用して探索することができ、あるいは算術符号化のためにそのまま残しておくことができる。
【０２５１】
段階４：
前段階の舗装が完了した後、各Ｂフレームに対し、今や２つの舗装された基準フレームがある。
【０２５２】
Ｂの各マクロブロックに対し、ＭＰＥＧ規格に従って、次の中から選択が行なわれる。
１．マクロブロックをそれに対応するフレームＩからのマクロブロックに置換する。
２．マクロブロックをそれに対応するフレームＰからのマクロブロックに置換する。
３．マクロブロックをそれに対応するフレームＩおよびＰからのマクロブロックの平均に置換する。
４．マクロブロックを置換しない。
【０２５３】
上記の選択肢１ないし４のどれを選択するかの決定は、一致値、すなわち初期マッチングの基本とされたマッチング基準、例えばＳＥＭ計量、Ｌ１計量等によって達成される値の分散に依存することが好ましい。
【０２５４】
したがって最終実施形態は、要求される最終画像品質および利用可能な処理資源に従ってスケーラブルな動きベクトルを提供する方法を提供する。
【０２５５】
探索はフレーム内に位置するピボット点に基づくことに注目されたい。探索の複雑さは、典型的な先行技術の全数探索の場合のように、フレームのサイズと共に増加しない。一般的に、４個の初期ピボット点だけで、フレームに対する適正な結果を達成することができる。また、複数のピボット点を使用するので、ある画素は１つのピボット点からの探索では隣接部として拒絶されることがあるが、それにもかかわらず、別のピボット点からの探索および異なる方向からのアプローチによって隣接部として検知することができる。
【０２５６】
実施形態の１つまたは幾つかに関連してのみ記載した特徴は、他の実施形態にも適用可能であり、空間上の理由から全ての可能な実施形態を詳述することは不可能であることを理解されたい。それにもかかわらず、上記記述の範囲は、上述した特徴のあらゆる適正な組合せに対して延長される。
【０２５７】
本発明は、単なる例として掲げた上述の実施形態に限定されない。むしろ、本発明は請求の範囲によって定義される。
【図面の簡単な説明】
【０２５８】
【図１】本発明の第１実施形態にかかる映像フレーム内のブロックの動きベクトルを得るための装置の簡易ブロック図である。
【図２】図１の弁別的一致探索器をより詳細に示す簡易ブロック図である。
【図３】図１の隣接ブロック動き割当器兼探索器の一部をより詳細に示す簡易ブロック図である。
【図４】図１の装置に使用するためのプリプロセッサを示す簡易ブロック図である。
【図５】図１の装置に使用するためのポストプロセッサを示す簡易ブロック図である。
【図６】映像シーケンス内の後続フレームを示す簡易図である。
【図７】映像フレーム内のブロックの探索戦略を示す略図である。
【図８】映像フレーム内のブロックの探索戦略を示す略図である。
【図９】映像フレーム内のブロックの探索戦略を示す略図である。
【図１０】低解像度の映像フレーム内の単一スーパーマクロブロックに由来する高精細度映像フレーム内のマクロブロックを示す。
【図１１】マクロブロックへの動きベクトル値の割当を示す。
【図１２】ピボットマクロブロックおよび隣接マクロブロックを示す。
【図１３】マクロブロックが２つの隣接ピボットマクロブロックを持つ場合の動きベクトルの割当を示す。
【図１４】マクロブロックが２つの隣接ピボットマクロブロックを持つ場合の動きベクトルの割当を示す。
【図１５】映像フレームを示す。
【図１６】先行技術を使用して動きベクトルが適用された映像フレームを示す。
【図１７】本発明を使用して動きベクトルが適用された映像フレームを示す。
【図１８】映像フレームを示す。
【図１９】先行技術を使用して動きベクトルが適用された映像フレームを示す。
【図２０】本発明を使用して動きベクトルが適用された映像フレームを示す。
【図２１】映像フレームを示す。
【図２２】先行技術を使用して動きベクトルが適用された映像フレームを示す。
【図２３】本発明を使用して動きベクトルが適用された映像フレームを示す。
【図２４】探索戦略を示す簡易流れ図を示す。
【図２５】探索パターンを示す。
【図２６】探索パターンを示す。
【図２７】探索パターンを示す。
【図２８】ＭＢが周囲のＳＭＢ付近に様々に投影される４つの明らかな対応付けの可能性を示す。
【図２９】舗装の流れ図を示す。
【図１】
2005520361.tif 000004
【図２】
2005520361.tif 000005
【図３】
2005520361.tif 000006
【図４】
2005520361.tif 000007
【図５】
2005520361.tif 000008
【図６】
2005520361.tif 000009
【図７】
2005520361.tif 000010
【図８】
2005520361.tif 000011
【図９】
2005520361.tif 000012
【図１０】
2005520361.tif 000013
【図１１】
2005520361.tif 000014
【図１２】
2005520361.tif 000015
【図１３】
2005520361.tif 000016
【図１４】
2005520361.tif 000017
【図１５】
2005520361.tif 000018
【図１６】
2005520361.tif 000019
【図１７】
2005520361.tif 000020
【図１８】
2005520361.tif 000021
【図１９】
2005520361.tif 000022
【図２０】
2005520361.tif 000023
【図２１】
2005520361.tif 000024
【図２２】
2005520361.tif 000025
【図２３】
2005520361.tif 000026
【図２４】
2005520361.tif 000027
【図２５】
2005520361.tif 000028
【図２６】
2005520361.tif 000029
【図２７】
2005520361.tif 000030
【図２８】
2005520361.tif 000031
【図２９】
2005520361.tif 000032
【国際調査報告】
2005520361.tif 000033
2005520361.tif 000034
2005520361.tif 000035