(57)【要約】本方法は、動き予測器を供給し、動き予測から少なくとも二つの候補動きベクトルを得て、そして、候補動きベクトルの位置と大きさとに依存するペナルティ係数を有する誤差関数を適用すること、を含む。向上した収束を有する再帰的動きベクトル予測のための装置もまた提供される。装置は、ベクトル生成装置と、最適ベクトル選択器とを含む。最適ベクトル選択器は、前記候補動きベクトルの位置と大きさとに基づいた少なくとも一つのペナルティ係数を有する誤差関数を適用することにより、前記候補動きベクトルを評価するための手段を備える。【特許請求の範囲】
【請求項１】
動き予測器を供給し、
前記動き予測器から少なくとも二つの候補動きベクトルを獲得し、
前記候補動きベクトルの位置と大きさとに依存するペナルティ係数を有する誤差関数を提供すること、
を含む動き予測を向上させる方法。
【請求項２】
請求項１に記載の方法であって、
前記候補動きベクトルは、ビデオイメージの領域表示に関連すること、
を特徴とする動き予測を向上させる方法。
【請求項３】
少なくとも第１及び第２のビデオイメージにおいて選択された領域に関連付けられた複数の候補動きベクトルを生成するためのベクトル生成器と、
前記第１及び第２のビデオイメージにおいて選択された領域の前記候補動きベクトルを比較するための最適ベクトル選択器と、
を備えた、向上した収束を有する再帰的動きベクトル予測装置であって、
前記最適ベクトル選択器は、前記候補動きベクトルの位置と大きさとに基づいた少なくとも一つのペナルティ係数を有する誤差関数を適用することにより、前記候補動きベクトルを評価するための手段を有すること、
を特徴とする動きベクトル予測装置。
【請求項４】
請求項３に記載した装置であって、
前記誤差関数は、絶対差分和又は平均二乗誤差という関数により計算されること、
を特徴とする動きベクトル予測装置装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画映像の一連の流れの中における、動き予測の方法に関するものである。より詳細には、排他的な意味ではなく、本発明は動きベクトル予測の方法、及び動きベクトル予測のための装置に関するものである。
【背景技術】
【０００２】
「３−Ｄ再帰検索」と呼ばれている従来の動き予測技術は、ゲラルド・デ・ハーンとＰ．Ｗ．Ａ．Ｃ．バイゼンとによって、「３−Ｄ再帰検索ブロック・マッチングを利用するサブ・ピクセル動き予測」（信号処理：映像通信６、２２９頁-２３９頁（１９９４年））の中で開示されており、詳細に示す代わりに、ここに引用し援用する。
【０００３】
３−Ｄ再帰検索は、ブロック再帰動き予測の分類に落ち着く。そのアルゴリズムは、動きは、突然、すなわち連続するフィールド間では、大きく変動することはない、という前提に基づいている。アルゴリズムは、フィールド・ベースで更新されるベクトル空間を保持する。ベクトル空間は、通常は、比較的広い範囲で、すなわちオブジェクトに関しては類似している。したがって、ある位置の近隣の動きベクトルは、その位置での動きの良い候補になる。
【０００４】
動画は、フィールドの連続により成り立つ。各フィールドは、例えば１６×１６ピクセルのブロックに分割される。動きベクトルは各ブロックに関連付けられている。動きベクトルは、一つ前のフィールド又は一つ後のフィールドと比較される、現フレームのブロックの変位を満たすべきである。例えば、現在のフィールド上で（ｘ、ｙ）の位置にあるブロックの動きベクトルを更新するために、３−Ｄ再帰検索は、制限された数、例えば５つ、の候補ベクトルのみを、予測のために使用する。すなわち、一つ前のフィールドから得る幾つかのベクトル（すなわち時間的ベクトル）、現在のフィールドから得る幾つかのベクトル（すなわち空間的ベクトル）、そして空間的ベクトルの最新情報、である。各候補について動き予測誤差が計算される。最も動き予測誤差の少ない候補が、そのブロックにおける最適の動きベクトルとして選択される。アルゴリズムは、ブロックを通じて、通常のラスター走査を使用する。
【０００５】
３−Ｄ再帰検索は、ゲー・デ・ハーン等によって、「３−Ｄ再帰検索ブロック・マッチングを利用する正しい動き予測」（ＩＥＥＥ報告書、ビデオ技術のための回路とシステム、Ｖｏｌ．３、１９９３年１０月、３６８頁-３７９頁）と、「３−Ｄ再帰検索ブロック・マッチングを利用するサブ・ピクセル動き検出」（信号処理：画像通信６、２２９頁から２３９頁（１９９４年））の中で開示されており、詳細に示す代わりに、ここに引用し援用する。検索領域内の全ての可能性のある変位を予測する、より不経済な全検索ブロック・マッチングとは異なり、このアルゴリズムは可能性のある動きベクトルの中で、非常に限定された数のものだけを吟味する。候補ベクトルの注意深い選択により、複雑性の低い設計で、ほぼ正確な動きに近づくことにより、良い性能を発揮することができる。
【０００６】
動き予測は、幾つかのアプリケーションにおいて有効である。それは、ＭＰＥＧ−２や、Ｈ２６３や、それと似たような、予測符号化アプリケーションの一部である。そういうわけで、動きベクトルは、時間的な相関関係を最大化にするのに向いており、したがって、符号化誤差を最小化するのに向いている。動き予測は、また、ビデオの画質向上、例えば、動画の動きの描写を向上すること、インターレースを解除すること、又は時間的ノイズの除去、という分野で適用されるだろう。
【０００７】
動きは、幾つかの手法で予測可能である。例えば、動き予測器は、全検索予測器、ブロック・マッチング、オブジェクト・ベース方法等を含む。いずれにせよ、それらは、全て、ある種の空間的不変性のある動きモデルを前提とすることによって、時間的な相互関係を最大化することを目指している。例として、フィリップス・ナチュラル・モーション・テレビ・セットで使用されている３−Ｄ再帰検索動き予測器は、ブロック・ベースで移動を予測する。
【０００８】
３−Ｄ再帰検索予測器では、候補動きベクトルは、ブロックごとに選択される。例えば平均二乗誤差や、平均絶対誤差のような誤差関数は候補ごとに計算される。例えば、空間的か時間的か、というような候補のタイプに依存して、ペナルティ係数が加えられる。候補のタイプごとのペナルティ係数は、空間的には普遍である。すなわち、ブロックの空間的な位置によっては異ならない。結果として、この種のペナルティ係数の使用が、最適とはならない符号化利得と、幾つかの画像のちらつきと、を招く唯一の原因となるかもしれない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
したがって、本発明の目的は、改善された動き予測方法を提供することである。本発明の他の目的は、収束処理を改善するために、動きベクトルの収束速度を向上させることである。
【課題を解決するための手段】
【００１０】
本発明は、従来技術の課題を解決するために、改善された動きベクトル予測方法と、そのための装置とを提供する。本発明の方法は、動き予測器を供給し、動き予測器から少なくとも二つの候補動きベクトルを得て、そして、候補動きベクトルの位置と大きさとに依存するペナルティ係数を有する誤差関数を適用すること、を含む。各候補動きベクトルは、ビデオイメージの領域表示に関連する。
【００１１】
本発明は、また、少なくとも第１及び第２のビデオイメージにおいて選択された領域に関連付けられた複数の候補動きベクトルを生成するためのランダムベクトル生成器を含む、機能強化された収束を有する再帰的動きベクトル予測のための装置、第１及び第２のビデオイメージにおいて選択された領域の候補動きベクトルを比較するための最適ベクトル選択器も提供する。その最適ベクトル選択器は、候補動きベクトルの位置と大きさとに依存する、少なくともペナルティ係数を有する誤差関数を適用することで、候補動きベクトルを評価する手段を含んでいる。
【発明を実施するための最良の形態】
【００１２】
従来技術を踏まえて、本発明が提供する他の改善は、本発明の好適な実施の形態を開示している以下の説明の結果を受けて、特定されるだろう。詳細な説明は、本発明の範囲を限定する意図は全くなく、ただ、この好適な実施の形態における実施例としてのみ提供するものである。本発明の範囲は、添付されている請求の範囲において指摘されるだろう。
【実施例１】
【００１３】
以下に示されている本発明に従った方法は、少なくとも二つの候補動きベクトルを選択することのできる動き予測器を供給すること、及び選択された候補動きベクトルに対して選択された候補の位置と大きさとの両者に依存する空間的なペナルティ係数を含んでいる誤差関数を適用すること、を含んでいる。
【００１４】
動き予測装置は、ある画像の画像ブロックと、別の画像の複数の画像ブロックとを比較する手段を含む。評価は、限定するわけではないが、典型的には８×８ピクセル又は１６×１６ピクセルで構成される、領域又はブロック・ベースのブロック・マッチング・アルゴリズムとなる。別の画像の幾つかのブロックは現在の画像のブロックと比較され、動きベクトルは、これらのブロックに含まれているピクセル値を比較することで検索されている。評価は、例えば、絶対差分和（ＳＡＤ）や、平均二乗誤差（ＭＳＥ）というような、誤差関数を使用することで実施される。ＳＡＤ方法では、対応しているブロック内のピクセル値の全て又は幾つかは互いに減じられ、かつ誤差関数で評価される。一般には、最も少ない誤差を発生しているベクトルが、最適なベクトルを提供するものとして選択される。該当する候補動きベクトルは、現在のブロックの動きベクトルとして選択される。現在の画像の全てのブロックが決定されるまで、次のブロックに関して、この処理は繰り返し開始される。
【００１５】
ここで使用されている「最適ベクトル選択器」は、最も整合が近接した候補ベクトルを選択する装置、又は方法のことを言う。
【００１６】
本発明に有用な動き予測器は、限定的な意味ではなく、ブロック・マッチングと、再帰的画素型を含んでいる。これらは、特に、ゲー・デ・ハーンにより、「民生ビデオフォーマット談話のための動き予測の処理」（民生電子工学におけるＩＥＥＥ報告書、Ｖｏｌ．４６、ｎｏ．３、４４９頁−４５９頁（２０００年８月））で開示されており、詳細に示す代わりに、ここに引用し援用する。本発明に有用な、好適なブロック・マッチング予測器は、全て、デ・ハーン等によって米国特許明細書第５２１２５４８号、第５０７２２９３号、及び第５１４８２６９号の中で説明されている「３−Ｄ再帰検索ブロック推測器」であり、詳細に示す代わりに、ここに引用し援用する。加えて、本発明に有用な動き予測器は、ブロックだけでなく、ブロック及びピクセルを含んでいるいずれの種類の形状の領域をも操作できる、以下に説明されているような動き予測装置を含む。
【００１７】
候補動きベクトル、ビデオ画像、を選択するに当たっては、
【００１８】
2004530367.tif 000002
ここで、
【数１】
2004530367.tif 000003
が考慮された。ここで、
【数２】
2004530367.tif 000004
は、空間的位置を規定していた。ｎはフィールド番号、すなわち時間的位置、を規定しており、Ｆ（）は
【００１９】
2004530367.tif 000005
とｎとにより規定される時空間的な位置でのピクセル値であった。画像の中の全てのピクセルについて、動き
【００２０】
2004530367.tif 000006
が予測された。しかしながら、動き予測プロセスは負荷の大きい計算であり、かつ現存の動き予測器と同様の改善が発見されたので、予測処理は、典型的には８×８ピクセルのブロックに限定された。したがって、動き
【００２１】
2004530367.tif 000007
は、画像内の、あらゆる８×８ブロックについて予測された。ここで、
【００２２】
2004530367.tif 000008
は、ブロックの中心を表す。
【００２３】
再び、ゲー・デ・ハーンとＰ．Ｗ．Ａ．Ｃ．バイゼンとが「３−Ｄ再帰検索ブロック・マッチングにおけるサブ・ピクセル動き検出」（信号処理：画像通信６、２２９頁−２３９頁（１９９４年））の中で開示しているとおり、計算の複雑さを軽減し、かつ時空間的一貫性を高めるために、ブロック毎に、ほんの少しの、典型的には４個から５個の候補動きベクトル
【００２４】
2004530367.tif 000009
が評価された。ここで使用した「時空間的一貫性」とは、空間と時間との両者の一貫性をいう。評価は、誤差関数、特に絶対差分和、を計算することに基づいていた。限定するわけではないが、これを
【数３】
2004530367.tif 000010
に示す。ここで、Ｂ（Ｘ，ｎ）は、中心
【００２５】
2004530367.tif 000011
をパラメタとするピクセルのブロックである。
【００２６】
より詳細には、ゲー・デ・ハーンとＰ．Ｗ．Ａ．Ｃ．バイゼンとによって「３−Ｄ再帰検索ブロック・マッチングにおけるサブ・ピクセル動き検出」（信号処理：画像通信６、２２９頁−２３９頁（１９９４年））に記載されているように、候補は時空間的に近傍なものから選択された。最適な合致、すなわち最も少ない負荷又は誤差が生じる候補が、評価されるブロックの動きベクトル（Ｘ，ｎ）として選択される。
【００２７】
より一貫性を向上させるために、ペナルティ係数Ｐは、候補動きベクトルの「型」に依存して加えられた。よって、空間的な候補、すなわち現在の画像内で既に計算された候補動きベクトルには、異なるペナルティ係数と、そして、時間的候補、すなわち一つ前の画像内の計算によって知られた候補動きベクトル、とが与えられた。
【数４】
2004530367.tif 000012
【００２８】
ビデオ領域に関連付けられた動きベクトルの統計は、画像内の速度の確率がスクリーンの位置に依存する、ということを明らかにした。これは、従って、動き予測について上述したモデルを拡張するのに有益である。空間的な位置と大きさとに依存する更なるペナルティ係数を加えることにより、動き予測器は、発見された統計へバイアスさせることができる。
【数５】
2004530367.tif 000013
ここで、
【００２９】
2004530367.tif 000014
は、候補動きベクトルのノルム（すなわち大きさ）である。
【００３０】
例えば、画像の外側に向かっている画像ブロックＸの大きな候補動きベクトルについても、そして、画像の中心部分として評価された画像ブロックの小さな候補動きベクトルについても、ペナルティ係数は相対的に大きくなり得る。
【００３１】
数式
【００３２】
2004530367.tif 000015
は、３−Ｄ再帰検索動き予測のみに使用されるものではない。いずれの動き予測器も、ある種の負荷関数に従った候補（非常に広大な集合になり得る）を評価することが必要になる。負荷関数における、候補の大きさと位置とに依存した数式の追加は、動き予測、従って、本発明の好適な実施例をバイアスすることを許す。
【００３３】
負荷関数に対する、この相対的に簡潔な追加は、「現実」の動きベクトルに向かった、動きベクトルの迅速な収束を可能にする。かくのごとく、依存関係は、収束を向上させる手助けとなるということが見出される。ほんの僅かな数の候補の評価に基づくということは、実際の動きベクトルが見出され、かつ収束が完了する前に、時間的方向において非常に頻繁に、幾度かの繰り返し又は通過を行うことができる、ということに留意されたい。更に、より早い収束は、直接的に、動きベクトルの平均精度の全体的な改善を意味する。
【００３４】
このように、本発明の好適な実施例を開示した。更なる交換と修正は、本願発明の本質を逸脱しない範囲で、当業者によって適用され得る。そして、全てのそのような交換と修正は、以下に述べる特許請求の範囲に係る発明の範囲に含むことを意図している。
【国際公開パンフレット】
2004530367.tif 000016
2004530367.tif 000017
2004530367.tif 000018
2004530367.tif 000019
2004530367.tif 000020
2004530367.tif 000021
2004530367.tif 000022
【国際公開パンフレット（コレクトバージョン）】
2004530367.tif 000023
【国際調査報告】
2004530367.tif 000024
2004530367.tif 000025
2004530367.tif 000026