(57)【要約】【課題】動きベクトルをマッピングする方法及びシステムを提供する。【解決手段】入力ビットストリームの一組の入力ブロックの動きベクトル毎に重みが求められる。次に、動きベクトルの一組が、重みの一組に基づいて、出力ビットストリームの出力ブロックの出力動きベクトルにマッピングされる。【選択図】図２
2008259174.tif 000002
【特許請求の範囲】
【請求項１】
各入力ブロックの各動きベクトルにつき１つの重みがあり、一組の入力ブロックの一組の動きベクトルの一組の重みを求めるステップと、
前記一組の動きベクトルを前記一組の重みに従って出力ブロックの出力動きベクトルにマッピングするステップと
を含む、コンピュータにより実施される動きベクトルのマッピング方法。
【請求項２】
前記重みは、前記入力ブロックの幾何学的中心から前記出力ブロックの幾何学的中心までの距離に依存する
請求項１記載の方法。
【請求項３】
前記重みは、前記入力ブロックのサイズに依存する
請求項１記載の方法。
【請求項４】
前記重みは、前記入力ブロックの幾何学的中心から前記出力ブロックの幾何学的中心までの距離と、前記入力ブロックのサイズとに依存する
請求項１記載の方法。
【請求項５】
前記一組の入力ブロックは、ＭＰＥＧ−２規格に従って符号化され、前記出力ブロックは、Ｈ．２６４／ＡＶＣ規格に従って符号化される
請求項１記載の方法。
【請求項６】
前記一組の入力ブロックは、前記出力ブロックと異なるサイズを有する
請求項１記載の方法。
【請求項７】
前記一組の入力ブロックは、前記出力ブロックに重なる
請求項１記載の方法。
【請求項８】
前記一組の入力ブロックは、前記出力ブロックに近接する
請求項１記載の方法。
【請求項９】
前記一組の入力ブロックは、前記出力ブロックに重なると共に近接する
請求項１記載の方法。
【請求項１０】
前記マッピングするステップは、加重中央値を用いる
請求項１記載の方法。
【請求項１１】
前記出力動きベクトルを精緻化するステップをさらに含む
請求項１記載の方法。
【請求項１２】
前記重みは、前記距離に反比例する
請求項２記載の方法。
【請求項１３】
前記重みは、前記サイズに比例する
請求項３記載の方法。
【請求項１４】
前記重みは、
【数１】
2008259174.tif 000008
であり、ここで、ｄｉは前記距離である
請求項２記載の方法。
【請求項１５】
前記重みは、
【数２】
2008259174.tif 000009
であり、ここで、ｄｉは前記距離であり、ｂｉは前記入力ブロックの小さい方の寸法である
請求項２記載の方法。
【請求項１６】
前記重みは、前記動きベクトルが外れ値である場合にはゼロである
請求項１記載の方法。
【請求項１７】
前記出力動きベクトルは、
【数３】
2008259174.tif 000010
であり、ここで、Ｖｉは一組の入力動きベクトルである
請求項１４記載の方法。
【請求項１８】
前記出力動きベクトルは、
【数４】
2008259174.tif 000011
であり、ここで、Ｖｉは一組の入力動きベクトルである
請求項１４記載の方法。
【請求項１９】
前記一組の入力ブロックは、入力ビットストリームから得られ、前記出力ブロックは、出力ビットストリームのためのものである
請求項１記載の方法。
【請求項２０】
前記一組の入力ブロックは、入力ビットストリーム中の事前に符号化されたブロックから得られ、前記出力ブロックは、復号ピクチャの出力ブロックである
請求項１記載の方法。
【請求項２１】
前記出力動きベクトルは、復号ピクチャの前記出力ブロックを再構成するために用いられる予測動きベクトルである
請求項１記載の方法。
【請求項２２】
前記復号ピクチャの前記出力ブロックの残差動きベクトルは、復号される
請求項２１記載の方法。
【請求項２３】
前記予測動きベクトルと前記残差動きベクトルとの和は、前記復号ピクチャの前記出力ブロックを再構成するために用いられる再構成動きベクトルを与える
請求項２２記載の方法。
【請求項２４】
各入力ブロックの各動きベクトルにつき１つの重みがあり、入力ビットストリームの一組の入力ブロックの一組の動きベクトルの一組の重みを求める手段と、
前記一組の動きベクトルを前記一組の重みに従って出力ビットストリームの出力ブロックの出力動きベクトルにマッピングする手段と
を備える、動きベクトルをマッピングするトランスコーダ。
【請求項２５】
前記出力動きベクトルを精緻化する手段をさらに備える
請求項２４記載のトランスコーダ。
【請求項２６】
各入力ブロックの各動きベクトルにつき１つの重みがあり、入力ビットストリームの一組の入力ブロックの一組の動きベクトルの一組の重みを求める手段と、
前記一組の動きベクトルを前記一組の重みに従って復号ピクチャの出力ブロックの出力動きベクトルにマッピングする手段と
を備える、動きベクトルをマッピングするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオ信号の処理に関し、特に動きベクトルのマッピングに関する。
【背景技術】
【０００２】
ＭＰＥＧ−２が現在、ビデオ符号化の主要フォーマットである。Ｈ．２６４／ＡＶＣビデオ符号化規格はＭＰＥＧ−２と同じ画質を約半分の記憶要件で約束している（ＩＴＵ−Ｔ勧告Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０「高度ビデオ符号化（Advanced Video Coding）」２００５年（参照により本明細書中に援用される））。Ｈ．２６４／ＡＶＣ圧縮フォーマットは、ブルーレイディスク等の記憶フォーマット規格、及び他の家庭用ビデオ録画システムに採用されている。より高精細度のコンテンツが利用可能になり、より多くのコンテンツを録画したい、又はより多くのチャンネルを同時に録画したいという要求が増えるにつれて、長時間録画モードが重要な機能となる。したがって、ＭＰＥＧ−２ビデオをよりコンパクトなＨ．２６４／ＡＶＣフォーマットに少ない処理量（complexity）で変換する技法を開発する必要がある。少ない処理量を達成するための鍵は、入力ＭＰＥＧ−２ビデオストリームから復号された情報を再利用することである。
【０００３】
ＭＰＥＧ−２デコーダをＨ．２６４／ＡＶＣエンコーダに接続することでトランスコーダを形成することができる。これを基準トランスコーダと呼ぶ。基準トランスコーダは、Ｈ．２６４／ＡＶＣエンコーダにおいて動き推定を行う必要があるため、計算処理量が非常に多い。入力ＭＰＥＧ−２ビデオビットストリームからの動き情報及びモード情報を再利用することによって基準トランスコーダの処理量を下げることができることはよく知られている（A. Vetro、C. Christopoulos、及びH. Sun著「ビデオトランスコーディングのアーキテクチャ及び技法：概説（Video transcoding architectures and techniques: an overview）」（IEEE Signal Processing Mag. 20(2):18-29, March 2003）を参照のこと）。しかし、このような情報を最も費用効率が良く有用な方法で再利用することは既知の課題である。
【０００４】
図１は従来技術のビデオトランスコーダ１００を示す。入力ＭＰＥＧ−２ビットストリーム１０１がＭＰＥＧ−２ビデオデコーダ１１０に供給される。デコーダは復号されたピクチャデータ１１１及び制御データ１１２を出力する。制御データはＭＰＥＧ−２ヘッダ情報及びマクロブロックデータを含む。ＭＰＥＧ−２マクロブロックデータは、ＭＰＥＧ−２ビットストリームの入力マクロブロック毎の動き情報１２１及びモード情報１３１を含む。この情報は、モーションマッピング１２０及びモード決定１３０への入力として供給される。モード決定は、Ｈ．２６４ビットストリームの出力マクロブロック毎の動き情報及びモード情報を含むＨ．２６４マクロブロックデータを推定する。Ｈ．２６４マクロブロックデータ及び復号されたピクチャデータは次に、予測１４０、復号されたピクチャデータと予測との間の差１５０、変換／量子化（ＨＴ／Ｑ）１６０、エントロピー符号化１７０、再構成された残差信号を得るための逆変換／量子化（逆Ｑ／逆ＨＴ）１８０、再構成された残差信号と予測との加算１８５、デブロッキングフィルタ１９０及び再構成されたピクチャのフレームバッファ１９５への記憶を含む簡略化されたＨ．２６４／ＡＶＣ符号化を行うために用いられる。エンコーダは、動き情報及びモード情報が入力ＭＰＥＧ−２ビデオビットストリーム及び対応するＭＰＥＧ−２マクロブロックデータに基づくため、基準トランスコーダに対して「簡略化」される。
【０００５】
トランスコーダにおけるモーションマッピング方法が、Z. Zhou、S. Sun、S. Lei、及びM. T. Sun著「ＭＰＥＧ−２からＨ．２６４へのトランスコーディングのための動き情報及び符号化モードの再利用（Motion information and coding mode reuse for MPEG-2 to H.264 transcoding）」（IEEE Int. Symposium on Circuits and Systems, pages 1230-1233, 2005）、並びにX. Lu、A. Tourapis、P. Yin、及びJ. Boyce著「ＭＰＥＧ−２／Ｈ．２６４トランスコーディングに焦点を当てたＨ．２６４の高速モード決定及びモーションマッピング（Fast mode decision and motion mapping for H.264 with a focus on MPEG-2/H.264 transcoding）」（IEEE Int. Symposium on Circuits and Systems, 2005）に記載されている。
【０００６】
しかし、それらの方法は複雑なモーションマッピングプロセスを必要とする。インター１６×１６予測の場合、入力ＭＰＥＧ−２ビデオビットストリームからの動きベクトルが付加的な動きベクトル予測子として用いられる。より小さなブロックサイズ、例えば１６×８、８×１６及び８×８の場合、動きベクトルを入力動きベクトルから直接推測することができない。これは、ＭＰＥＧ−２がそのような動きベクトルを含まないためである。代わりに、動きベクトルは、ＭＰＥＧ−２動きベクトルを考慮せずに従来の符号化プロセスを用いて推測される。したがって、このような方法は依然として、非常に複雑な動き検索プロセスを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＭＰＥＧ−２動きベクトルをブロックサイズに関係なくＨ．２６４／ＡＶＣ動きベクトルに直接マッピングする効率的なマッピングを行う従来技術の方法はない。複雑な動き検索プロセスを用いずにこのようなマッピングを行う必要がある。
【課題を解決するための手段】
【０００８】
本発明の実施の形態は、サイズの異なるブロック間で動きベクトルをマッピングする方法を提供する。出力ブロックの動きベクトルは、一組の入力動きベクトルと、一組の入力ブロックの空間特性とから推定される。入力ブロックは出力ブロックに重なるか又は近接する。推定された動きベクトルに動き精緻化プロセスを適用することができる。
【発明を実施するための最良の形態】
【０００９】
Ｈ．２６４／ＡＶＣ規格は、インター予測の７つのブロックサイズ、すなわち、１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４を規定する。一方、ＭＰＥＧ−２規格は、１６×１６又は１６×８の２つのサイズを規定する。これは、ビデオをＭＰＥＧ−２からＨ．２６４／ＡＶＣへトランスコードする際に、所与のブロックサイズに対応する動きベクトルの、より広範囲のブロックサイズへのマッピングを必要とする。
【００１０】
図２に示すように、本発明は、一組の入力ブロック２１０に基づく一組の入力動きベクトル２０１を用いて出力ブロック２２０の動きベクトル２０８を求める、動きベクトルマッピング２０３のための方法２００を提供する。一組の入力ブロック２１０は出力ブロック２２０に重なるか又は近接する。出力ブロックは入力ブロックと異なるサイズであり得る。本明細書中で定義されるように、一組は１つ又は複数の成員を含み得る。近傍の範囲とマッピングの効率との間にはトレードオフがある。ブロックが少なすぎると十分な入力データが得られない場合があり、ブロックが多すぎるとノイズが入る場合がある。
【００１１】
一組の入力ブロック２１０に付随する一組の入力動きベクトル２０１に動きベクトルマッピング２０３を施して推定動きベクトル２０４を得る。動きベクトルマッピング２０３は一組の重み２０５を利用する。各入力ブロック２１０につき１つの重みがある。マッピング２０３は加重平均又は加重中央値として求められる。他の演算も適用することができる。重み２０５は、重み決定２０６を用いて、一組の入力ブロック２１０の入力動きベクトル２０１及び空間特性２０２に基づく。次に、推定動きベクトル２０４に任意の動きベクトル精緻化２０７を施して、出力ブロック２２０の精緻化された動きベクトル２０８を得る。動きベクトルマッピング方法２０３及び重み決定２０６に関するさらなる詳細を以下で説明する。
【００１２】
一般性を失うことなく、入力ＭＰＥＧ−２ビデオは、より一般的なＭＰＥＧ−２符号化方法であるフレームピクチャを用いて符号化されるものと仮定する。また、出力は、マクロブロック適応的フレーム／フィールド（ＭＢＡＦＦ）を用いずにＨ．２６４／ＡＶＣフレームピクチャを用いて符号化されるものと仮定する。これらの仮定は、本発明の説明を簡潔にするためだけに行われ、本発明の実施には必要ない。本発明の実施の形態は一般に、フィールドピクチャ入力、ＭＢＡＦＦを伴うフレームピクチャ出力、又はフィールドピクチャ出力、すなわち、あらゆるブロックベースのビデオ符号化方法に適用可能であることが理解される。
【００１３】
ブロックの動きベクトルは、その幾何学的中心の動きベクトルと同じである。したがって、動きベクトルマッピング２０３への１つの入力は一組の入力ブロック２１０の幾何学的中心であり、出力は出力ブロック２２０の幾何学的中心の動きベクトル２０８である。動きベクトルは、一組の入力動きベクトル２０１の加重平均又は加重中央値として導出することができる。
【００１４】
一組の入力ブロックは入力ビットストリームから得ることができ、出力ブロックは出力ビットストリームのためのものであることに留意すべきである。代替的に、一組の入力ブロックは入力ビットストリームにおいて事前に符号化されたブロックから得られ、出力ブロックは復号ピクチャの出力ブロックである。また、出力動きベクトルは、復号ピクチャの出力ブロックを再構成するために用いられる予測動きベクトルであり得る。復号ピクチャの出力ブロックの残差動きベクトルは復号することができ、予測動きベクトルと残差動きベクトルとの和は、復号ピクチャの出力ブロックを再構成するために用いられる再構成動きベクトルを与える。
【００１５】
重み決定
本発明の実施の形態において、重み２０５は、入力ブロック２１０の空間特性２０２と、一組の入力動きベクトル２０１とに基づく。代替の実施の形態を以下で説明する。
【００１６】
本発明の一実施の形態において、各入力動きベクトル２０１の重み２０５は、対応する入力ブロック及び出力ブロックの幾何学的中心間の距離に反比例する。
【００１７】
図３は、１６×１６のサイズの出力マクロブロック（太線）３００、１６×８のサイズの網掛け出力マクロブロックのブロックパーティション（partition：区画）「Ａ」３０５、及び「ａ１」〜「ａ６」としてそれぞれラベル付けされている６つの入力マクロブロック３１０を示す。入力マクロブロック「ａ５」は出力マクロブロック３００に重なる。各入力マクロブロック３１０及び出力マクロブロックパーティション「Ａ」３０５の幾何学的中心は点３２０として示される。
【００１８】
入力マクロブロック「ａ１」〜「ａ６」のそれぞれに１つの動きベクトルが付随する場合、重みωｉは入力マクロブロック「ａ１」の幾何学的中心と目標マクロブロックパーティション「Ａ」の幾何学的中心との間の距離に比例する。各入力マクロブロックの各幾何学的中心とパーティション３０５の幾何学的中心との間の各距離ｄｉを線３２５として示す。
【００１９】
この場合、８ピクセルの距離が１であると仮定すると、距離ｄｉは｛５／２，３／２，５／２，√１７／２，１／２，√１７／２｝である。これらの距離を１に正規化してそれぞれの重みを得る。
【００２０】
【数１】
2008259174.tif 000003
【００２１】
すなわち、重みは距離に反比例する。この特定の場合、一組の入力動きベクトルの一組の重みは、
【００２２】
【数２】
2008259174.tif 000004
【００２３】
であり、合計で１となる。
【００２４】
図４は、出力マクロブロック（太線）４１０、８×１６のサイズの出力マクロブロックパーティション「Ｂ」４２０、及び「ｂ１」〜「ｂ６」としてそれぞれラベル付けされている６つの入力マクロブロックの組を示す。幾何学的中心及び距離も示す。
【００２５】
図５は、出力マクロブロック５１０、８×８のサイズの出力マクロブロックパーティション「Ｃ」５２０、及び「ｃ１」〜「ｃ４」としてそれぞれラベル付けされている４つの入力マクロブロックの組を示す。
【００２６】
図３の説明と同様に、図４及び図５に示す出力マクロブロックパーティション「Ｂ」及び「Ｃ」の動きベクトルは、一組の入力動きベクトルの加重平均を用いて推定することができる。
【００２７】
別の実施の形態において、重みωは入力ブロックのサイズにも依存する。これは、入力ブロックが出力ブロックと異なるサイズである場合に特に有用である。この場合、重みはサイズに比例する。
【００２８】
図６は、１６×１６のサイズの出力マクロブロック（太線）６１０、１６×８のサイズの出力マクロブロックのブロックパーティション「Ｆ」６２０、及び「ｆ１」〜「ｆ６」としてそれぞれラベル付けされている６つの入力マクロブロックの組を示す。幾何学的中心及び距離も示す。この場合、各重みは次のように求められる。
【００２９】
【数３】
2008259174.tif 000005
【００３０】
ここで、ｄｉは各入力ブロック「ｆｉ」及び出力マクロブロックパーティション「Ｆ」６２０の幾何学的中心間の距離であり、ｂｉは、ブロックサイズで決まる入力ブロックの小さい方の寸法である。例えば、「ｆ１」のｂｉは８であり、「ｆ３」のｂｉは４である。代替的に、ｂは入力ブロックの面積（サイズ）とすることができる。重みは、他の入力ブロックサイズ及び出力ブロックサイズに関しても同様に求めることができる。したがって、重みは距離、寸法、面積、又はそれらの組み合わせであり得る。入力動きベクトルが得られない場合、入力動きベクトルの重みはゼロに設定されるか、又は入力動きベクトルは使用されない外れ値であると判定される。
【００３１】
動きベクトルＶが外れ値であるかを判定する１つのプロセスを以下で説明する。Ｖａｖｇを全ての入力動きベクトルの平均とする。その上で、｜Ｖ−Ｖａｖｇ｜が所定の閾値Ｔよりも大きい場合にＶは外れ値であると見なす。ここで、｜Ｖ−Ｖａｖｇ｜＝｜Ｖｘ−Ｖａｖｇ，ｘ｜＋｜Ｖｙ−Ｖａｖｇ，ｙ｜であり、Ｖｘ、ＶｙはベクトルＶのｘ成分及びｙ成分であり、Ｖａｖｇ，ｘ、Ｖａｖｇ，ｙはベクトルＶａｖｇのｘ成分及びｙ成分である。
【００３２】
動きベクトルのマッピング及び精緻化
一組の重み｛ωｉ｝（ｉ＝１，２，．．．，Ｎ）及び一組の入力動きベクトル｛Ｖｉ｝が得られたら、加重平均
【００３３】
【数４】
2008259174.tif 000006
【００３４】
あるいは加重中央値
【００３５】
【数５】
2008259174.tif 000007
【００３６】
を用いて出力ブロックの出力動きベクトルＶｏを推定する。
【００３７】
加重平均又は加重中央値の演算の後、例えば、推定された動きベクトルを用いて動き補償予測を行う場合に、結果として得られた動きベクトルに精緻化プロセス２０７を施すことができる。動きベクトルの精緻化は、小さな局所関心領域内で予測誤差が最小化されるように動きベクトルに比較的小さな調整を行うよく知られた方法である（A. Vetro、C. Christopoulos、及びH. Sun著「ビデオトランスコーディングのアーキテクチャ及び技法：概説（Video transcoding architectures and techniques: an overview）」（IEEE Signal Processing Mag. 20(2):18-29, March 2003（参照により本明細書中に援用される））を参照のこと）。
【００３８】
ＭＰＥＧ−２及びＨ．２６３からＨ．２６４／ＡＶＣへのトランスコーディング中に、本発明は、Ｈ．２６４／ＡＶＣ符号化のための様々なブロックサイズの動きベクトルを、入力ビデオビットストリームから復号された動きベクトルから効率的に推定するために用いることができる。
【００３９】
本発明はまた、ビデオ符号化中に動きベクトルを効率的に符号化するために用いることができる。出力動きベクトルは、近傍ブロックの動きベクトルから推定された動きベクトルを予測子として用いることができ、その後、出力動きベクトルと予測子との間の差のみがデコーダに伝えられる。復号は逆のプロセスである。
【００４０】
この概念を図７に示す。図７は、出力マクロブロックパーティション「Ｐ」７２０及び４つの因果近傍ブロック「ｐ１」〜「ｐ４」を示す。この場合、パーティション（斜線）「Ｐ」６２０の動きベクトルは、ブロック「ｐ１」〜「ｐ４」の組の動きベクトルから推定される動きベクトルを予測子として用いて符号化することができる。
【００４１】
この手法は、従来の符号化において用いられる平行移動マクロブロック動きモデルよりも一般的である。ズームイン又はズームアウトのような動きがある場合も、矩形マクロブロックの動きベクトルは、その幾何学的中心の動きベクトルとほぼ同じであると見なすことができる。
【００４２】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような変形及び修正をすべて網羅することである。
【図面の簡単な説明】
【００４３】
【図１】従来技術のトランスコーダのブロック図である。
【図２】本発明の一実施の形態による、サイズの異なるブロック間で動きベクトルをマッピングする方法のブロック図である。
【図３】本発明の一実施の形態による、一組の入力動きベクトルからの１６×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。
【図４】本発明の一実施の形態による、一組の入力動きベクトルからの８×１６マクロブロックパーティションの動きベクトルマッピングのブロック図である。
【図５】本発明の一実施の形態による、一組の入力動きベクトルからの８×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。
【図６】本発明の一実施の形態による、ブロックサイズの異なる一組の入力動きベクトルからの１６×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。
【図７】本発明の一実施の形態による、因果近傍の一組の入力動きベクトルからの１６×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。
【図１】
2008259174.tif 000012
【図２】
2008259174.tif 000013
【図３】
2008259174.tif 000014
【図４】
2008259174.tif 000015
【図５】
2008259174.tif 000016
【図６】
2008259174.tif 000017
【図７】
2008259174.tif 000018
【外国語明細書】
2008259174.tif 000019
2008259174.tif 000020
2008259174.tif 000021
2008259174.tif 000022
2008259174.tif 000023
2008259174.tif 000024
2008259174.tif 000025
2008259174.tif 000026
2008259174.tif 000027
2008259174.tif 000028
2008259174.tif 000029
2008259174.tif 000030
2008259174.tif 000031
2008259174.tif 000032
2008259174.tif 000033
2008259174.tif 000034
2008259174.tif 000035
2008259174.tif 000036
2008259174.tif 000037
2008259174.tif 000038
2008259174.tif 000039
2008259174.tif 000040
2008259174.tif 000041
2008259174.tif 000042