(57)【要約】  現在の動きベクトルを推定する動き推定ユニット５００が、各候補動きベクトルのマッチングエラーを計算するマッチングエラーユニット５０６と、各候補動きベクトルのマッチングエラーを比較することにより候補動きベクトルから現在の動きベクトルを選択する選択器５０８とを有している。候補動きベクトルの幾つかは、以前に推定された動きベクトルのセットから抽出される。以前に推定された動きベクトルのセットから選択される複数の動きベクトルに基づいて、他の候補動きベクトルが計算される。
2005515728.tif 000002
【特許請求の範囲】
【請求項１】
画像の画素のグループに関して現在の動きベクトルを推定する動き推定ユニットであり、
候補動きベクトルが以前に推定された動きベクトルのセットから抽出されるようにして、前記画素のグループに関して前記候補動きベクトルのセットを生成する生成手段と、
各候補動きベクトルのマッチングエラーを計算するマッチングエラーユニットと、
前記各候補動きベクトルのマッチングエラーを比較することにより前記候補動きベクトルから前記現在の動きベクトルを選択する選択器と
を有する動き推定ユニットであって、
共に前記以前に推定された動きベクトルのセットに属する第１の動きベクトル及び第２の動きベクトルに基づいて更なる候補動きベクトルを計算することにより、前記候補動きベクトルのセットに前記更なる候補動きベクトルを加えるように構成されたことを特徴とする動き推定ユニット。
【請求項２】
前記選択器は、対応するマッチングエラーが前記マッチングエラーのうちの最小である場合に、前記候補動きベクトルのセットから前記現在の動きベクトルとして特定の動きベクトルを選択するように構成されたことを特徴とする請求項１記載の動き推定ユニット。
【請求項３】
前記マッチングエラーユニットが、第１の画像ペアの各画像の画素のブロックの画素の輝度値を減ずることにより、前記マッチングエラーのうちの第１のものを計算するように設計されたことを特徴とする請求項１記載の動き推定ユニット。
【請求項４】
前記第１の動きベクトルが第１の順方向の動きベクトル場に属し、前記第２の動きベクトルが第２の順方向の動きベクトル場に属し、前記第１の順方向の動きベクトル場と第２の順方向の動きベクトル場とが異なるようにして、前記第１の動きベクトル及び前記第２の動きベクトルに基づいて前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項１記載の動き推定ユニット。
【請求項５】
前記第１の動きベクトルから前記第２の動きベクトルを減ずることにより前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項４記載の動き推定ユニット。
【請求項６】
前記第２の動きベクトルから前記第１の動きベクトルを減ずることにより前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項４記載の動き推定ユニット。
【請求項７】
前記第２の動きベクトルが第２の順方向の動きベクトル場に属し、前記第１の動きベクトルが第３の順方向の動きベクトル場に属し、前記第２の順方向の動きベクトル場と前記第３の順方向の動きベクトル場とが異なるようにして、前記第１の動きベクトル及び前記第２の動きベクトルに基づいて前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項１記載の動き推定ユニット。
【請求項８】
所定の定数との前記第２の動きベクトルの乗算及び前記第１の動きベクトルの減算により前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項７記載の動き推定ユニット。
【請求項９】
前記第１の動きベクトルが第４の順方向の動きベクトル場に属し、前記第２の動きベクトルが第１の逆方向の動きベクトル場に属するようにして、前記第１の動きベクトル及び前記第２の動きベクトルに基づいて前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項１記載の動き推定ユニット。
【請求項１０】
所定の定数との前記第１の動きベクトルの乗算及び前記第２の動きベクトルの加算により前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項９記載の動き推定ユニット。
【請求項１１】
前記第１の動きベクトル及び前記第２の動きベクトルが特定の動きベクトル場に属するようにして、前記第１の動きベクトル及び前記第２の動きベクトルに基づいて前記更なる候補動きベクトルを計算するように構成されたことを特徴とする請求項１記載の動き推定ユニット。
【請求項１２】
画像の画素のグループに関して現在の動きベクトルを推定する方法であり、
候補動きベクトルが以前に推定された動きベクトルのセットから抽出されるようにして、前記画素のグループに関して前記候補動きベクトルのセットを生成する生成ステップと、
各候補動きベクトルのマッチングエラーを計算するマッチングエラーステップと、
前記各候補動きベクトルのマッチングエラーを比較することにより前記候補動きベクトルから前記現在の動きベクトルを選択する選択ステップと
を含む方法であって、
共に前記以前に推定された動きベクトルのセットに属する第１の動きベクトル及び第２の動きベクトルに基づいて更なる候補動きベクトルを計算することにより、前記候補動きベクトルのセットに前記更なる候補動きベクトルが加えられることを特徴とする方法。
【請求項１３】
離散コサイン変換器、量子化器、ランレベルエンコーダ及び画像の画素のグループに関して現在の動きベクトルを推定する動き推定ユニットを有するとともに、前記動き推定ユニットが、
候補動きベクトルが以前に推定された動きベクトルのセットから抽出されるようにして、前記画素のグループに関して前記候補動きベクトルのセットを生成する生成手段と、
各候補動きベクトルのマッチングエラーを計算するマッチングエラーユニットと、
前記各候補動きベクトルのマッチングエラーを比較することにより前記候補動きベクトルから前記現在の動きベクトルを選択する選択器と
を有するエンコーダであって、
前記動き推定ユニットが、共に前記以前に推定された動きベクトルのセットに属する第１の動きベクトル及び第２の動きベクトルに基づいて更なる候補動きベクトルを計算することにより、前記候補動きベクトルのセットに前記更なる候補動きベクトルを加えるように構成されたことを特徴とするエンコーダ。
【請求項１４】
画像を表す信号を受信する受信手段と、
画像の画素のグループに関して現在の動きベクトルを推定する動き推定ユニットであり、候補動きベクトルが以前に推定された動きベクトルのセットから抽出されるようにして、前記画素のグループに関して前記候補動きベクトルのセットを生成する生成手段と、各候補動きベクトルのマッチングエラーを計算するマッチングエラーユニットと、前記各候補動きベクトルのマッチングエラーを比較することにより前記候補動きベクトルから前記現在の動きベクトルを選択する選択器とを有する当該動き推定ユニットと、
前記画像及び前記現在の動きベクトルに基づいて処理される画像を計算する動き補償画像処理ユニットと
を有する画像処理装置であって、
前記動き推定ユニットが、共に前記以前に推定された動きベクトルのセットに属する第１の動きベクトル及び第２の動きベクトルに基づいて更なる候補動きベクトルを計算することにより、前記候補動きベクトルのセットに前記更なる候補動きベクトルを加えるように構成されたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画素のグループに関して現在の動きベクトルを推定する動き推定ユニットであり、候補動きベクトルが以前に推定された動きベクトルのセットから抽出されるようにして、上記画素のグループに関して上記候補動きベクトルのセットを生成する生成手段と、各候補動きベクトルのマッチングエラーを計算するマッチングエラーユニットと、上記各候補動きベクトルのマッチングエラーを比較することにより上記候補動きベクトルから上記現在の動きベクトルを選択する選択器とを有する動き推定ユニットに関する。
【０００２】
本発明は、また、画像の画素のグループに関して現在の動きベクトルを推定する方法であり、候補動きベクトルが以前に推定された動きベクトルのセットから抽出されるようにして、上記画素のグループに関して上記候補動きベクトルのセットを生成する生成ステップと、各候補動きベクトルのマッチングエラーを計算するマッチングエラーステップと、上記各候補動きベクトルのマッチングエラーを比較することにより上記候補動きベクトルから上記現在の動きベクトルを選択する選択ステップとを含む方法に関する。
【０００３】
本発明は、また、画像を表す信号を受信する受信手段と、上述したような動き推定ユニットと、上記画像及び上記動き推定ユニットの出力に基づいて処理される画像を計算する動き補償画像処理ユニットとを有する画像処理装置に関する。
【０００４】
本発明は、また、上述したような動き推定ユニットと、離散コサイン変換器と、量子化器と、ランレベルエンコーダとを有するエンコーダに関する。
【背景技術】
【０００５】
冒頭の段落において述べられた種類の方法の実施例は、G. de Haan等による論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, p368-379）から知られている。
【０００６】
ビデオ信号処理の多くのアプリケーションに関して、オプティカルフローとして知られる画像シーケンスの見かけの速度場を知ることが必要である。このオプティカルフローは、時間変化する動きベクトル場、すなわち画像ペア当たり１つの動きベクトル場として与えられる。１画像は幾つかの画像ペアの一部であり得ることに注意されたい。上記引用論文では、この動きベクトル場は画像をブロックに分割することにより推定される。各ブロックの候補動きベクトルのセットに関して、当該ブロックの候補動きベクトルのセットから最も適切な動きベクトルを見つけ出すために、マッチングエラーが計算され、最小化プロシージャにおいて用いられる。マッチングエラーはＳＡＤ、すなわち現在の画像のブロックにおける画素と動きベクトルによりシフトした参照画像におけるブロックの画素との絶対輝度差分の和に対応する。参照画像と現在の画像とが互いに直接前後する場合、ＳＡＤは
【数１】
2005515728.tif 000003
を用いて計算され得る。ここで、（ｘ、ｙ）はブロックの場所であり、（ｄｘ，ｄｙ）は動きベクトルであり、ｎは画像の数であり、Ｎ及びＭはブロックの幅及び高さであり、Ｙ（ｘ，ｙ，ｎ）は画像ｎの場所（ｘ、ｙ）における画素の輝度の値である。
【０００７】
候補動きベクトルのセットは、ランダムな動きベクトル及び以前に推定された動きベクトルのセットから抽出された動きベクトルを有している。上記セットは、検討中の現在の動きベクトルが属する動きベクトル場と同じ動きベクトル場に関して計算される動きベクトルを有している。これらの動きベクトルは「空間的候補」と呼ばれる。上記セットは、また、他の動きベクトル場に関して計算される動きベクトルも有している。これら後者の動きベクトルは「時間的候補」と呼ばれる。検討中の現在の画素のブロックに関する動きベクトルの候補のような「空間的候補」に関する選択は、幾つかの画素のブロックが作られるシーンにおける１つの同じオブジェクトに対応するという仮定に基づいている。検討中の現在の画素のブロックに関する動きベクトルの候補のような「時間的候補」に関する選択は、作られるシーンにおけるオブジェクトは一定の速度で移動するという仮定に基づいている。しかしながら、両方の仮定は常に当てはまるわけではない。その結果は、動きベクトル場の適切な動きベクトルを見つけ出す際の収束が最適ではないということである。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、動きベクトル場の適切な動きベクトルを見つけ出す際に相対的に速い収束を持つ、冒頭の段落において述べた種類の動き推定ユニットを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の目的は、動き推定ユニットが、共に以前に推定された動きベクトルのセットに属する第１の動きベクトル及び第２の動きベクトルに基づいて更なる候補動きベクトルを計算することにより、候補動きベクトルのセットに更なる候補動きベクトルを加えるように構成される点で実現される。画像の他の部分に関して又は他の画像に関して利用可能であると見つけられる動きベクトルを単に得るのではなく、ここでは複数の動きベクトルに基づいて候補動きベクトルが計算される。
【００１０】
この提案された手法の利点はより多くの情報を考慮に入れることであり、これは候補動きベクトルのより正確な推定をもたらす。得られる推定の正確さは、候補動きベクトルの数と動き推定ユニットの正確さの収束との間の新しい妥協点を可能にする。これはスケーラブルな動き推定の手法にとって有益である。
【００１１】
他の利点は、種々の動きモデルが考慮に入れられることである。そのような動きモデルの例は、最も最近の速度、最も最近の加速度、ズーム又は回転である。動きモデルのタイプは、候補動きベクトルを計算するために用いられる以前に推定された動きベクトルに関連している。第１の動きベクトル及び第２の動きベクトルは、１つの同じ動きベクトル場に属し得る。しかしながら、第１の動きベクトルと第２の動きベクトルとは、異なる動きベクトル場に属していることが好ましい。
【００１２】
現在の動きベクトルを見つけ出すために試される候補動きベクトルのセットは、以前に推定された動きベクトルのセットから抽出される「空間的候補」と、以前に推定された動きベクトルのセットから抽出される「時間的候補」と、以前に推定された動きベクトルのセットから抽出される複数の「空間的候補」に基づいて計算される「複合空間的（multi-spatial）候補」と、以前に推定された動きベクトルのセットから抽出される複数の「時間的候補」に基づいて計算される「複合時間的（multi-temporal）候補」と、ランダムな動きベクトルとを有し得る。
【００１３】
本発明による動き推定ユニットの一形態では、選択器は、対応するマッチングエラーがマッチングエラーのうちの最小である場合に、候補動きベクトルのセットから現在の動きベクトルとして特定の動きベクトルを選択するように構成される。これは、候補動きベクトルのセットから現在の動きベクトルを選択するための比較的簡単な取り組み方である。
【００１４】
本発明による動き推定ユニットの一形態では、マッチングエラーユニットが、第１の画像ペアの各画像の画素のブロックの画素の輝度値を減ずることにより、マッチングエラーのうちの第１のものを計算するように設計される。この場合には、画素のグループが画素のブロックに対応する。絶対輝度差分の和（ＳＡＤ）が計算されることが好ましい。ＳＡＤはかなり速く計算され得る相関関係に関してかなり信頼性が高い方策である。
【００１５】
本発明による動き推定ユニットの一形態では、第１の順方向の動きベクトル場と第２の順方向の動きベクトル場とが異なるようにして、第１の動きベクトルが第１の順方向の動きベクトル場に属し、第２の動きベクトルが第２の順方向の動きベクトル場に属する。順方向動きベクトルは、現在の画像の画素のブロックを現在の画像の後に続く参照画像の画素のブロックと比較することにより計算される動きベクトルを有する。「後に続く」とは、現在の画像と参照画像との間に他の画像が存在しないことを意味するのではないことに注意されたい。画像０、画像１、画像２及び画像３をそれぞれ有する連続画像が存在すると仮定する。以下の順方向ベクトルが現在の画像として画像０を伴って推定され得る。Ｖ（０，１）（すなわち画像１が参照画像である。）、Ｖ（０，２）（すなわち画像２が参照画像である。）及びＶ（０，３）（すなわち画像３が参照画像である。）が推定され得る。一般に提案されている方策は、動きベクトル場についての任意の種類の計算を可能にするが、低コスト、要素（element-wise）演算を実現するために、対象は簡単である。すなわち更なる候補動きベクトルが２つの以前に計算された動きベクトルに基づいている。例は、第２の動きベクトルから第１の動きベクトルの減算により更なる候補動きベクトルを計算すること、第１の動きベクトルから第２の動きベクトルの減算により更なる候補動きベクトルを計算すること、所定の定数との第２の動きベクトルの乗算及び第１の動きベクトルの減算により更なる候補動きベクトルを計算することである。所定の定数との動きベクトルの乗算は、加算により実現され得る。
【００１６】
本発明による動き推定ユニットの一形態では、第１の動きベクトルが第４の順方向の動きベクトル場に属し、第２の動きベクトルが逆方向の動きベクトル場に属する。逆方向動きベクトルは、現在の画像の画素のブロックを現在の画像よりも前の参照画像の画素のブロックと比較することにより計算される動きベクトルを有する。「よりも前の」とは、現在の画像と参照画像との間に他の画像が存在しないことを意味するのではないことに注意されたい。画像０、画像１、画像２及び画像３をそれぞれ有する連続画像が存在すると仮定する。以下の逆方向ベクトルが現在の画像として画像３を伴って推定され得る。Ｖ（３，２）（すなわち画像２が参照画像である。）、Ｖ（３，１）（すなわち画像１が参照画像である。）及びＶ（３，０）（すなわち画像０が参照画像である。）が推定され得る。更なる候補動きベクトルは、２つの以前に計算された動きベクトルに基づくものである。一例は、所定の定数との第１の動きベクトルの乗算及び第２の動きベクトルの加算により更なる候補動きベクトルを計算することである。順方向のきベクトル場及び逆方向の動きベクトル場からの動きベクトルを組み合わせることの利点は、現在の画像とかなり小さい時間差を持つ画像に対応する動きベクトルが適用され得ることである。
【００１７】
ビデオエンコーダ、例えばＭＰＥエンコーダにおいて本発明による動き推定ユニットの一形態を適用することは有利である。特に、ＭＰＥＧでコーダでは、１画像に関して複数の動きベクトル場を計算することは一般的である。これらの動きベクトルは一時的に記憶される。候補動きベクトルを計算するためにこれらの複数の動きベクトル場の幾つかを適用することは有利である。ＭＰＥＧエンコーダでは、単一の以前に推定された動きベクトルをスケーリングすることにより候補動きベクトルを計算することが知られている。場合によっては、複合時間的推定の計算は動きベクトルのスケーリングよりも低い計算の複雑さである。スケーリングは、（簡単なバイナリシフト及び追加の演算に容易に分解されない）複雑なファクタとの乗算を要するが、複合時間的候補動きベクトルは、簡単なシフト及び追加の演算を用いて計算され得る。エンコーダの変更及びそのバリエーションは、上述した動き推定ユニットの変更及びそのバリエーションに対応する。
【００１８】
複合時間的候補は、２つ又はそれ以上の以前に推定された動きベクトルに基づいて計算され得る。複合時間的候補に関する計算のタイプは、どの以前に推定された動きベクトルが利用可能であるかに依存する。上記計算のタイプは、現在の画像と利用可能な以前に推定された動きベクトルとの時間の差により制御され得る。以前に推定された動きベクトルの選択に対して影響を及ぼし得る他のパラメータは、以前に推定された動きベクトルのマッチングエラーである。見かけの動きモデルの認識（knowledge）もまた該当する。
【００１９】
冒頭の段落において述べたような画像処理装置において本発明による動き推定ユニットの一形態を適用することは有利である。上記画像処理装置は、追加の構成要素、例えば、処理された画像を表示する表示デバイス又は処理された画像の記憶のための記憶手段を有していてもよい。上記動き補償画像処理ユニットは、画像の処理の以下のタイプの１つ又はそれ以上をサポートし得る。すなわち、デインターレース（インターレースは奇数番目又は偶数番目の画像のラインを交互に伝達する一般的なビデオブロードキャストの手順である。デインターレースは、完全な垂直解像度を回復する（restore）、すなわち各画像に関して奇数ラインと偶数ラインとを同時に利用可能にすることを試みる。）、アップコンバート（元の連続入力画像からより大きい連続出力画像が計算される。出力画像は２つの元の入力画像間に一時的に位置する。）及び一時的なノイズの低減（これは、空間的処理も伴い、空間的−時間的なノイズの低減をもたらす。）の１つ又はそれ以上をサポートし得る。画像処理装置の変更及びそのバリエーションは、上述した動き推定ユニットの変更及びそのバリエーションに対応する。
【００２０】
本発明による動き推定ユニット、エンコーダ、方法及び画像処理装置のこれら及び他の観点は、以下に述べるインプリメンテーション及び実施の形態並びに添付の図面から明らかであり、以下に述べるインプリメンテーション及び実施の形態に関して説明されるであろう。
【００２１】
全ての図面において、対応する参照符号は同じ意味を有している。
【発明を実施するための最良の形態】
【００２２】
図１は、幾つかの連続する画像０，１，２，３，４，５とｃ∈{０，３}及びｒ∈{０，１，２，３，４，５}の動きベクトルＶ（ｃ，ｒ）との関係を模式的に示している。シンタクスは以下の通りである。例えば、画像０及び画像１を有する画像ペアに関連する順方向動きベクトルはＶ（０，１）として示される。画像２及び画像３を有する画像ペアに関連する逆方向動きベクトルはＶ（３，２）として示される。基本的に、ｃ及びｒの他の値も可能である。
【００２３】
図２Ａは、移動オブジェクト２００に属する動きベクトル間の関係の一例を模式的に示している。複合時間的候補動きベクトル
2005515728.tif 000004
は、２つの以前に推定された動きベクトルを用いて計算され得ることが示されている。以下の動きベクトル、すなわちＶ（０，２）及びＶ（０，３）が既に推定されていると仮定する。ここでは、複合時間的候補動きベクトル
2005515728.tif 000005
が計算されなければならない。これは、式２を適用することにより達成され得る。
【数２】
2005515728.tif 000006
これは、
2005515728.tif 000007
が２つの以前の順方向動きベクトルの減算により計算される外挿された動きベクトルであることを意味する。
【００２４】
図２Ｂは、移動オブジェクト２００に属する動きベクトル間の関係の他の例を模式的に示している。以下の動きベクトル、すなわちＶ（３，４）及びＶ（３，２）が既に推定されていると仮定する。ここでは、複合時間的候補動きベクトル
2005515728.tif 000008
が計算されなければならない。これは、式３を適用することにより達成され得る。
【数３】
2005515728.tif 000009
これは、
2005515728.tif 000010
が所定の定数を乗じられた順方向動きベクトルと逆方向動きベクトルとの加算により計算される外挿された動きベクトルであることを意味する。
【００２５】
図２Ｃは、移動オブジェクト２００に属する動きベクトル間の関係の他の例を模式的に示している。以下の動きベクトル、すなわちＶ（０，２）及びＶ（０，１）が既に推定されていると仮定する。ここでは、複合時間的候補動きベクトル
2005515728.tif 000011
が計算されなければならない。これは、式４を適用することにより達成され得る。
【数４】
2005515728.tif 000012
これは、
2005515728.tif 000013
が所定の定数を乗じられた他の順方向動きベクトルから順方向動きベクトルを減ずることにより計算される外挿された動きベクトルであることを意味する。
【００２６】
図２Ｄは、移動オブジェクト２００に属する動きベクトル間の関係の他の例を模式的に示している。以下の動きベクトル、すなわちＶ（０，２）及びＶ（０，３）が既に推定されていると仮定する。ここでは、複合時間的候補動きベクトル
2005515728.tif 000014
が計算されなければならない。これは、式５を適用することにより達成され得る。
【数５】
2005515728.tif 000015
これは、
2005515728.tif 000016
が他の順方向動きベクトルから順方向動きベクトルを減ずることにより計算される内挿された動きベクトルであることを意味する。
【００２７】
図３は、ＭＰＥＧエンコーディングにおいて知られているような幾つかの連続するピクチャＩＢＢＰＢＢと動きベクトルとの関係を模式的に示している。ＭＰＥＧでは、Ｉ，Ｐ及びＢピクチャのタイプが存在する。Ｉピクチャ及びＰピクチャの両方は、参照画像として役割を果たす。Ｐピクチャは以前の参照画像から順方向予測されている。Ｂピクチャは以前及び未来の参照画像から双方向予測されている。グループ・オブ・ピクチャ（ＧＯＰ）は、（Ｉ／Ｐ）ＢＢ・・・Ｂ（Ｉ／Ｐ）の形のサブグループｋを有している。図３ではｋ＝２と仮定されていることに注意されたい。ＧＯＰの予測深度Ｍに相当するサブグループ１又はサブグループ２内のピクチャの数は、Ｍ１及びＭ２により示されている。一般に、Ｍｋは必ずしも固定されない。動きベクトルに関して他のシンタクスが用いられている。ｋ番目のサブグループのｉ番目のピクチャの予測に用いられる順方向動きベクトルは
2005515728.tif 000017
により示されている。逆方向動きベクトルは
2005515728.tif 000018
により示されている。
【００２８】
次に、図２Ａ、図２Ｂ、図２Ｃ及び図２Ｄに関連して説明した例を一般化する。それに関して他のシンタクスが用いられる。Ｍｋ＝Ｍｋ−１＝３であると仮定する。式（２）は
【数６】
2005515728.tif 000019
に一般化され得る。基となる動きモデルは「最も最近の速度」である。この場合、複合時間的候補動きベクトルを計算するために他のサブグループに属する動きベクトルが用いられる。図３に関して利用可能である仮定
【数７】
2005515728.tif 000020
が考慮されていることに注意されたい。これは、図２Ａにおいて与えられている例に対応する。
【００２９】
式（３）は、
【数８】
2005515728.tif 000021
に一般化され得る。基となる動きモデルは「最も最近の加速度」である。この場合、複合時間的候補動きベクトルを計算するために、他のサブグループに属する動きベクトルが同じサブグループからの動きベクトルと共に用いられる。図３に関して利用可能である仮定
【数９】
2005515728.tif 000022
が考慮されていることに注意されたい。これは、図２Ｂにおいて与えられている例に対応する。
【００３０】
式（４）は
【数１０】
2005515728.tif 000023
に一般化され得る。基となる動きモデルは「最も最近の速度」である。この場合、複合時間的候補動きベクトルを計算するために同じサブグループに属する動きベクトルが用いられる。ｉ＝３と仮定する。図３に関して利用可能である仮定
【数１１】
2005515728.tif 000024
が考慮されている。これは、図２Ｃにおいて与えられている例に対応する。
【００３１】
式（５）は
【数１２】
2005515728.tif 000025
に一般化され得る。この場合、複合時間的候補動きベクトルを計算するために同じサブグループに属する動きベクトルが用いられる。ｉ＝２と仮定する。図３に関して利用可能である仮定
【数１３】
2005515728.tif 000026
が考慮されている。これは、図２Ｄにおいて与えられている例に対応する。
【００３２】
図４は、動きベクトル４０２〜４１０を有する動きベクトル場４００の一部を模式的に示している。この動きベクトル場４００はズームに関連している。種々の動きベクトル４０２〜４１０は異なるが、共有の情報、すなわち動きモデルのパラメータを含んでいる。これらのパラメータを以前に計算された動きベクトルから抽出することが第１のステップである。第２のステップは、候補動きベクトルの計算のためにこの情報を適用することである。これは、複合空間的候補動きベクトルを意味する。この候補動きベクトルをもたらすプロセスは、上述した方式に対応する内挿及び／又は外挿の方式に基づいている。
【００３３】
図５は、動き推定ユニット５００の一実施の形態を模式的に示している。この動き推定ユニット５００は、現在の画像の画素のブロックに関して候補動きベクトルのセットを生成する生成手段５０２と、画素のブロックの画素値と参照画像の画素値との間の絶対差分の加算により画素のブロックの各候補動きベクトルのマッチングエラーを計算するマッチングエラーユニット５０６と、推定された動きベクトル及び対応するマッチングエラーを記憶する記憶部５０４と、各候補動きベクトルのマッチングエラーを比較することにより候補動きベクトルから現在の動きベクトルを選択する選択器５０８とを有している。動き推定ユニット５００の入力は、画像を含んでおり、入力コネクタ５１０において与えられる。動き推定ユニット５００の出力は、動きベクトル場であり、出力コネクタ５１２において与えられる。動き推定ユニット５００の挙動は以下の通りである。最初に、生成手段５０２がある画素のブロックに関して候補動きベクトルのセットを生成する。このセットは、ランダムな動きベクトル又は記憶部５０４に記憶されているような以前に推定された動きベクトルのセットから直接抽出された動きベクトルを有し得る。しかしながら、生成手段５０２は、また、共に以前に推定された動きベクトルのセットに属する第１の動きベクトル及び第２の動きベクトルに基づいて更なる候補動きベクトルも計算するように構成されている。そのような計算は、図２Ａ〜図２Ｄ若しくは図３のいずれかに関連して説明したような数式に従うか、又は図４に関連して説明したような考え方に従う。候補動きベクトルのセットが作成された後、マッチングエラーユニット５０６がこれらの候補動きベクトルのセットに関してマッチングエラーを計算する。その後、これらのマッチングエラーに基づいて、選択器５０８が候補動きベクトルのセットから現在の動きベクトルを選択する。この現在の動きベクトルは、マッチングエラーが最低の値を有するために選択される。上記現在の動きベクトルは、また、記憶部５０４に記憶される。
【００３４】
図６は、非圧縮ピクチャの入力シーケンスを圧縮ピクチャに変換するように設計されたビデオエンコーダ６００の一実施の形態を模式的に示している。このビデオエンコーダ６００は、始端及び終端を有し、動き推定器５００，離散コサイン変換器６２６，量子化器６２８及びランレベルエンコーダ６２９を連続して備えたエンコーダチェーン６０２と、始端及び終端を有し、ランレベルデコーダ６２３，逆量子化器６２２，逆離散コサイン変換器６２０及び動き補償器６１８を連続して備えたデコーダチェーン６１６と、可変長エンコーダ６３４と、以前の参照ピクチャ６３０及び未来の参照ピクチャ６３２を記憶する参照ピクチャプール６０３とを有している。非圧縮ピクチャの入力シーケンスは、入力コネクタ６１２においてビデオエンコーダ６００に入力される。ピクチャのコーディングはマクロブロックベースで、すなわち１６×１６画素ブロックで記述される。各ピクチャ内において、マクロブロックは左から右へ順次コーディングされる。あるマクロブロックに関して、コーディングモードが選択される。これは、動き補償予測の有効性及びピクチャのタイプに依存する。コーディングモードに依存して、過去及び／又は未来の参照ピクチャに基づいたマクロブロックのコンテンツの動き補償予測が動き推定ユニット５００により形成される。これらの参照ピクチャは、参照ピクチャプール６０３から抽出される。上記予測は、予測エラーを形成するために現在のマクロブロックにおける実際のデータ、すなわち非圧縮ピクチャにおける画素から差し引かれる。予測エラーは画素のマトリクスであることに注意されたい。予測エラーは、離散コサイン変換器６２６に入力され、離散コサイン変換器６２６は予測エラーを８×８画素ブロックに分割し、各８×８画素ブロックに関して離散コサイン変換を行う。結果として生じる２次元のＤＣＴ係数の８×８のブロックは、量子化器６２８に入力され、量子化器６２８は量子化を行う。量子化は主に高周波に影響を及ぼす。人間の視覚システムは、より高い周波数におけるピクチャの歪みに関してより少なく敏感である。量子化された２次元のＤＣＴ係数の８×８のブロックは、ジグザグにスキャンされ、ランレベルエンコーダ６２９により量子化されたＤＣＴ係数の１次元の文字列に変換される。この文字列は、圧縮ピクチャを意味する。このような圧縮ピクチャは、例えば参照ピクチャとして役割を果たすように後の使用のため、参照ピクチャプール６０３に記憶され得る。圧縮ピクチャは、また、可変長エンコーディングされた文字列にも変換され得る。この変換は可変長エンコーダ６３４により行われる。予測エラーの他に、他の情報、例えば動きベクトル場及びピクチャのタイプが同様にコーディングされる。
【００３５】
動き推定は、参照ピクチャを必要とする。以前の参照ピクチャ及び未来の参照ピクチャの両方が、デコーダチェーン６１６を用いて圧縮ピクチャから復元される。圧縮ピクチャは必要な時に参照ピクチャプール６０３から取り出される。これら圧縮ピクチャは、ランレベルデコーダ６２３、逆量子化器６２２、逆離散コサイン変換器６２０及び動き補償器６１８により連続的に処理される。これらの４つのユニットは、エンコーダチェーン６０２の４つのユニットに対して逆の動作を行うが、逆方向の順序で行う。復元の後、参照ピクチャは、参照ピクチャプール６０３に一時的に記憶され、次の非圧縮ピクチャに関する動き推定に用いられる。
【００３６】
図７は、画像処理装置７００の構成要素を模式的に示している。この画像処理装置７００は、入力コネクタ７０６において与えられ、アンテナ又はケーブルを介して受信されるブロードキャスト信号であり得るが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（Digital Versatile Disk）のような記憶デバイスからの信号でもあり得る、幾つかの処理が行われた後表示されるべき画像を表す信号を受信する受信手段７０２と、図５に関連して説明したような動き推定ユニット５００と、動き補償画像処理ユニット７０４と、処理された画像を表示する任意の表示デバイス７０６とを有している。上記動き補償画像処理ユニット７０４は、その入力として画像及び動きベクトルを必要とする。
【００３７】
上述した実施の形態は本発明を限定するものではなく、説明したものであり、当業者であれば添付の特許請求の範囲から逸脱することなく代替の実施の形態を設計することが可能であることに注意されたい。特許請求の範囲において、括弧内に配置された任意の参照符合は請求の範囲を限定するように構成されるべきではない。「有する（comprising）」という語は、特許請求の範囲に列記されていない構成要素又はステップの存在を排除するものではない。構成要素の前の「a」又は「an」という語は、複数のそのような構成要素の存在を排除するものではない。本発明は、幾つかのディスクリート素子を有するハードウェアにより及び好適なプログラムされたコンピュータにより実現され得る。幾つかの手段を列挙しているユニットの特許請求の範囲では、これらの手段の幾つかが１つの同じハードウェアアイテムにより具現化され得る。
【図面の簡単な説明】
【００３８】
【図１】幾つかの連続する画像と動きベクトルとの関係を模式的に示した図である。
【図２Ａ】複合時間的候補動きベクトルが２つの以前に推定された動きベクトルを用いて計算され得ることを説明するために、移動オブジェクトに属する動きベクトルの関係の例を模式的に示した図である。
【図２Ｂ】複合時間的候補動きベクトルが２つの以前に推定された動きベクトルを用いて計算され得ることを説明するために、移動オブジェクトに属する動きベクトルの関係の例を模式的に示した図である。
【図２Ｃ】複合時間的候補動きベクトルが２つの以前に推定された動きベクトルを用いて計算され得ることを説明するために、移動オブジェクトに属する動きベクトルの関係の例を模式的に示した図である。
【図２Ｄ】複合時間的候補動きベクトルが２つの以前に推定された動きベクトルを用いて計算され得ることを説明するために、移動オブジェクトに属する動きベクトルの関係の例を模式的に示した図である。
【図３】ＭＰＥＧエンコーディングにおいて知られているような幾つかの連続するピクチャと動きベクトルとの関係を模式的に示した図である。
【図４】動きベクトル場の一部を模式的に示した図である。
【図５】本発明による動き推定ユニットの一実施の形態を模式的に示した図である。
【図６】本発明による動き推定ユニットを有するビデオエンコーダの一実施の形態を模式的に示した図である。
【図７】本発明による動き推定ユニットを有する画像処理装置の構成要素を模式的に示した図である。
【図１】
2005515728.tif 000027
【図２Ａ】
2005515728.tif 000028
【図２Ｂ】
2005515728.tif 000029
【図２Ｃ】
2005515728.tif 000030
【図２Ｄ】
2005515728.tif 000031
【図３】
2005515728.tif 000032
【図４】
2005515728.tif 000033
【図５】
2005515728.tif 000034
【図６】
2005515728.tif 000035
【図７】
2005515728.tif 000036
【国際調査報告】
2005515728.tif 000037
2005515728.tif 000038
2005515728.tif 000039