(57)【特許請求の範囲】
【請求項１】
３Ｄシーンの１以上のビデオを処理する方法であって、各ビデオは特定の姿勢で配置された対応するカメラによって撮像され、処理されるべき現在のピクチャの現在のブロックごとに、
前記現在のブロックと同じビューの、前記現在のブロックの近傍ブロックから動きベクトルを取得するステップと、
前記近傍ブロックから取得された前記動きベクトルに基づいて、参照ピクチャの対応する奥行き成分から、現在のブロックのための奥行きブロックを求めるステップと、
後方ワーピングを用いて、参照ビューに対応する参照ピクチャと前記現在のビューに対応する前記奥行きブロックとに基づいて、現在のビューに対応する予測ブロックを合成するステップと、
を含み、各前記ステップはプロセッサが実行する、３Ｄシーンの１以上のビデオを処理する方法。
【請求項２】
各前記ステップは符号化器において実行される、請求項１に記載の方法。
【請求項３】
参照ピクチャからのテクスチャ成分及び奥行き成分は、前記現在のピクチャからの前記テクスチャ成分及び前記奥行き成分の前にコーディングされる、請求項１に記載の方法。
【請求項４】
前記動きベクトルは、前記近傍ブロックにおける動き情報の平均値から導出される、請求項１に記載の方法。
【請求項５】
前記現在のピクチャはテクスチャ成分である、請求項１に記載の方法。
【請求項６】
近傍ブロックからの前記動きベクトルは、前記近傍ブロックのコーディングのために用いられる、請求項１に記載の方法。
【請求項７】
前記処理は、３Ｄビデオ用途において用いられる、請求項１に記載の方法。
【請求項８】
前記取得するステップ及び前記求めるステップは反復的に実行される、請求項１に記載の方法。
【請求項９】
前記合成するステップは、ピクセルレベルにおいて実行される、請求項１に記載の方法。
【請求項１０】
前記合成するステップは、ブロックレベルにおいて実行される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはマルチビュービデオをコーディングすることに関し、より詳細には、予測圧縮のために３Ｄマルチビュービデオをコーディングすることに関する。
【背景技術】
【０００２】
マルチビュービデオのコーディングは、３次元テレビ（３ＤＴＶ）、自由視点テレビ（ＦＴＶ）、及びマルチカメラ監視等の用途に不可欠である。マルチビュービデオのコーディングは動的ライトフィールドの圧縮としても知られる。本明細書において用いられるとき、コーディングは、例えばコーデックにおける符号化、復号化又は双方を含むことができる。
【０００３】
奥行き画像は、新しい３Ｄビデオコーティング規格におけるデータフォーマットの推定される部分である。奥行き画像を副情報として用いて予測コーティングを行うことは、ビュー合成予測（ＶＳＰ）として知られている。
【０００４】
従来のビデオコーディング、例えばＨ．２６４ＡＶＣ（アドバンストビデオコーディング）規格及びＨ．２６５ＨＥＶＣ（高効率ビデオコーディング）規格によるコーディングでは、近傍ブロックからの動き情報を用いて動きベクトルが導出される。次に、導出された動きベクトルを動きベクトル予測子（ＭＶＰ）として用いて、現在のブロックの動きベクトルが予測される。次に、現在の動きベクトルとＭＶＰとの間の動きベクトル差分（ＭＶＤ）が符号化され、送信される。
【０００５】
図１は、現在のブロックをコーディングする従来の方法を示している。ステップ１１０は、近傍ブロックから、ＭｏｔｉｏｎＤｅｒｉｖｅと呼ばれる動きベクトル又は視差ベクトルを導出する。ステップ１２０は、残差差分を最小にすることを目的とする動き推定技法を適用することによって、現在のブロックについてＭｏｔｉｏｎＣｕｒｒｅｎｔと呼ばれる動きベクトル又は視差ベクトルを求める。ステップ１３０は、動きベクトル差分を計算し、コーディングする：（ＭｏｔｉｏｎＤｉｆｆ＝ＭｏｔｉｏｎＣｕｒｒｅｎｔ−ＭｏｔｉｏｎＤｅｒｉｖｅ）。最終的に、ステップ１４０は残差ブロックをコーディングする。
【０００６】
図２は、対応する従来技術による符号化器を示している。要素２０１は、ピクチャの一部分におけるブロックを示している。要素２０１において、現在のブロックはアスタリスク「＊」によって表され、近傍ブロックはドット「．」によって表される。要素２０１において示すような近傍ブロックから動きベクトル又は視差ベクトルを導出する（２０２）。２０２からの導出された動きベクトル又は視差ベクトルは、動きベクトル予測子（ＭＶＰ）２０３としての役割を果たす。
【０００７】
テクスチャ参照ピクチャバッファー２０４を参照することによって、現在のブロックについて動き推定が行われ（２０５）、現在のブロックのための動きベクトル（ＭｏｔｉｏｎＣｕｒｒｅｎｔ）２０６が生成される。
【０００８】
ＭＶＰとＭｏｔｉｏｎＣｕｒｒｅｎｔとの間の差分を計算した（２０７）後、動きベクトル差分（ＭＶＤ）２０８が得られ、このＭＶＤは符号化されて（２０９）ビットストリーム２１０にされる。
【０００９】
動き推定２０５からの別の出力は参照ピクチャであり、テクスチャ予測子２１１としての役割を果たす。次に、テクスチャ予測子２１１及び現在のピクチャ２１５に基づいてテクスチャ予測を行う（２１２）ことによってテクスチャ残差２１３が得られる。テクスチャ残差２１３も、ビットストリームの一部として符号化される（２１４）。
【００１０】
図３は復号化器を示している。要素３０１において示されるような近傍ブロックから、動きベクトル又は視差ベクトルを導出する（３０２）。導出された動きベクトル又は視差ベクトルは動きベクトル予測子（ＭＶＰ）３０３としての役割を果たす。
【００１１】
コーディングされたビットストリーム３１０から、動きベクトル差分（ＭＶＤ）３０８が復号化され（３０９）、加算器３０７に供給される。動きベクトル予測子３０３及び動きベクトル差分３０８は加算され（３０７）、次に、現在のブロックのために用いられる動きベクトルＭｏｔｉｏｎＣｕｒｒｅｎｔ３０６が得られる。
【００１２】
コーディングされたビットストリーム３１０から、テクスチャ残差ピクチャ３１３が復号化される（３１４）。現在の動きベクトル３０６及びテクスチャ残差ピクチャは、動き補償モジュール３０５への入力である。テクスチャ参照バッファー３０４とともに、動き補償が行われ、最終的に、復号化されたピクチャが出力される（３１５）。
【発明の概要】
【００１３】
本発明は、テクスチャコーディングのために後方ワーピングを用いることによってビュー合成予測（ＶＳＰ）を行う方法及びシステムに関する。この方法及びシステムにおいて、奥行き成分はテクスチャ成分の後にコーディングされる。
【００１４】
従来の、前方ワーピングに基づくビュー合成予測は、一般的に、参照ビューからのテクスチャ成分及び奥行き成分を用いる。前方ワーピングは、通常、高い忠実度を提供するが、前方ワーピングに基づくＶＳＰの主な欠点は、コーデックの複雑度が大幅に増大することである。
【００１５】
対照的に、本明細書において開示されるような後方ワーピングに基づくビュー合成予測（Ｂ−ＶＳＰ）は複雑度がより低い。したがって、或る特定の用途において、後方ワーピングに基づくＶＳＰが望ましい。さらに、後方ワーピングに基づくＶＳＰは、ブロックに基づくＶＳＰ参照生成を容易にする。
【００１６】
不都合には、後方ワーピングに基づくＶＳＰは、通常、奥行き優先コーディングを必要とする。すなわち、奥行き成分は同じアクセスユニットからの対応するテクスチャ成分の前にコーディングされる。アクセスユニットは、同じ時点における全ての成分（テクスチャ及び奥行き）の集合である。奥行き優先コーディングによって、対応するテクスチャ成分にアクセスする必要がある一切の奥行きコーディングツールの使用が妨げられる。
【００１７】
奥行き優先コーディングを回避しながら後方ワーピングに基づくＶＳＰの利点を活用するために、実施の形態は、近傍ブロックからの動きベクトル又は視差ベクトルを用いて、以前のアクセスユニットにおいて、又は同じアクセスユニットであるが他の視点からコーディングされる奥行き画像等の、以前にコーディングされた奥行き画像から奥行きブロックを導出する。このため、導出された奥行きブロックは、コーディングされることになる現在のブロックのための推定奥行きブロックであると想定される。これは、最終的に、後方ワーピングに基づくＶＳＰのために用いられる。
【発明の効果】
【００１８】
従来の、前方ワーピングに基づくビュー合成予測は、一般的に、参照ビューからのテクスチャ成分及び奥行き成分を用いる。前方ワーピングは、通常、より高いコストでより高い忠実度を提供する。対照的に、本発明によるビュー合成予測は、テクスチャコーディングのために後方ワーピングを用い、奥行き成分がテクスチャ成分の前にコーディングされることを必要としない。さらに、後方ワーピングに基づくＶＳＰは、ブロックに基づくＶＳＰ参照生成を容易にする。これは複雑度がより低く、実施の利点を有する。
【００１９】
奥行き優先コーディングを回避しながら後方ワーピングに基づくＶＳＰを可能にするために、本発明は、近傍ブロックからの動きベクトル又は視差ベクトルを用いて、以前のアクセスユニットにおいて、又は同じアクセスユニットであるが他の視点からコーディングされた奥行き画像等の、以前にコーディングされた奥行き画像から奥行きブロックを導出する。
【図面の簡単な説明】
【００２０】
【図１】近傍動き情報を用いて現在のブロックの動き情報をコーディングする従来技術の方法のフローチャートである。
【図２】従来技術の符号化器のブロック図である。
【図３】従来技術の復号化器のブロック図である。
【図４】本発明の実施の形態による、後方ＶＳＰ予測により、近傍の動き情報又は視差情報を用いて現在のブロックをコーディングする方法のフローチャートである。
【図５Ａ】本発明の実施の形態による、空間予測を用いる符号化器のブロック図である。
【図５Ｂ】本発明の実施の形態による、時間予測を用いる符号化器のブロック図である。
【図６Ａ】本発明の実施の形態による、空間予測を用いる復号化器のブロック図である。
【図６Ｂ】本発明の実施の形態による、時間予測を用いる復号化器のブロック図である。
【図７】本発明の実施の形態による符号化方法のフローチャートである。
【図８】本発明の実施の形態による復号化方法のフローチャートである。
【図９】本発明の実施の形態による、近傍ブロックからの奥行き値を推定する例である。
【図１０】本発明の実施の形態による、近傍ブロックからの奥行き値を推定する別の例である。
【図１１】本発明の実施の形態による、Ｂ−ＶＳＰモードを用いた奥行きアンカーピクチャにおけるブロックの復号化プロセスを示すフローチャートである。
【発明を実施するための形態】
【００２１】
本発明の実施の形態は、後方ワーピング技法に基づいてビュー合成予測（ＶＳＰ）参照ピクチャを生成するための方法及びシステムを提供する。本方法は、奥行き優先コーディングを用いない。本方法は、近傍ブロックから現在のブロックまでの動き情報又は視差情報を用いて、コーディングされる現在のブロックのための奥行きブロックを導出する。次に、導出された奥行きブロックを用いて後方ワーピングを行う。本明細書において用いられるとき、ビュー合成はシーンの１つ又は複数のビデオから合成ビデオを生成し、合成ビデオにおいて、３Ｄシーンの各ビデオは、特定の姿勢に配列された対応するカメラによって取得され、各カメラのビューは、少なくとも１つの他のカメラのビューと重なり合う。
【００２２】
近傍ブロックからの動き情報を用いる従来のビュー合成と比較して、実施の形態は、奥行きブロックを導出し、導出された奥行きブロックに基づいて、現在のブロックを予測するようにサンプルブロックを形成することを特徴とする。
【００２３】
実施の形態は、近傍ブロックからの動き情報又は視差情報を用いる様々な方法を開示する。特に、導出された動き情報又は視差情報は、奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを導出するのに直接用いられる。この奥行きブロックは、現在のブロックにおけるサンプル値の予測子を形成するのに更に用いられる。
【００２４】
図４は、本発明の実施の形態によるコーディング方法を示している。ステップは、現在のブロック４０１ごとに実行される。
【００２５】
ステップ４１０。近傍ブロックから動きベクトル又は視差ベクトルを取得する。
【００２６】
ステップ４２０。対応する参照奥行き画像と、動きベクトル又は視差ベクトルとに基づいて奥行きブロックを求める。
【００２７】
ステップ４３０。後方ワーピングを用いて奥行き値に基づいて予測ブロックを生成する。
【００２８】
ステップ４４０。予測ブロックを用いて現在のブロックについて予測コーディングを実行する。
【００２９】
図５Ａは、比較可能な符号化器ブロック図を示している。要素５０１に示される近傍ブロックから、動きベクトル又は視差ベクトルＭｏｔｉｏｎＤｅｒｉｖｅ（ＭＶＰ）５０３を導出する（５０２）。任意選択で、ＭｏｔｉｏｎＤｅｒｉｖｅ、又は復号化器がＭｏｔｉｏｎＤｅｒｉｖｅを求めるのを支援する副情報をコーディングし、シグナリングする（５５０）ことができ、これはコーディングされたビットストリーム５１０の一部分である。
【００３０】
ＭｏｔｉｏｎＤｅｒｉｖｅを用いて奥行き参照ピクチャバッファー５５１を参照することによって、現在のブロックのための奥行きブロックＤｅｐｔｈＤｅｒｉｖｅ５０５が推定される（５０４）。
【００３１】
ＤｅｐｔｈＤｅｒｉｖｅを用いてテクスチャ参照ピクチャバッファー５０４を参照することによって、後方ワーピングが実行され（５０６）、テクスチャ予測子５０７が得られる。
【００３２】
次に、テクスチャ予測５０８がテクスチャ予測子５０７及び現在のピクチャ５１５に基づいてテクスチャ残差５０９を得る。これはビットストリーム内に符号化される（５１１）。
【００３３】
図６Ａは、復号化器を示している。コーディングされたビットストリーム６１０から、動きベクトル選択又は視差ベクトル選択を導出するための副情報６５３をシグナリングすることができる（６５０）。副情報６５３が用いられる場合、この副情報が入力としてブロック６０１に供給される。
【００３４】
要素６０１に示すような近傍ブロックから、動きベクトル又は視差ベクトルＭｏｔｉｏｎＤｅｒｉｖｅ６０３を導出する（６０２）。
【００３５】
ＭｏｔｉｏｎＤｅｒｉｖｅを用いて奥行き参照ピクチャバッファー６５１を参照することによって、現在のブロックのための奥行きブロックＤｅｐｔｈＤｅｒｉｖｅ６０５が推定される（６０４）。
【００３６】
ＤｅｐｔｈＤｅｒｉｖｅ６０５を用いてテクスチャ参照ピクチャバッファー６１１を参照することによって、後方ワーピング６１２が実行され（６０６）、テクスチャ予測子６０７が得られる。
【００３７】
コーディングされたビットストリームから、テクスチャ残差６０９が復号化され（６１３）、テクスチャ予測６０８のためのテクスチャ予測子６０７及びテクスチャ残差６０９が得られ、復号化されたテクスチャピクチャが出力される（６１５）。
【００３８】
実施の形態によって用いられる技法は、従来技術におけるような動き又は視差を補償された予測と対照的に、奥行きを補償された予測と呼ぶことができる。
【００３９】
参照ピクチャから入手可能な異なるピクチャ及び奥行きを用いる３つの実施の形態について説明する。
【００４０】
実施の形態１：参照ビューからアンカーピクチャ、奥行きが入手可能
この実施の形態では、参照ピクチャからのテクスチャ成分及び奥行き成分がともに、現在のテクスチャ及び奥行きの前にコーディングされると仮定する。例えば、２ビューの場合のコーディング順序はＴ０Ｄ０Ｔ１Ｄ１であり、ここで、Ｔ及びＤはテクスチャ及び奥行きを表し、０及び１は２つのビューを表す。ビュー０からのテクスチャ及び奥行きはビュー１のテクスチャ及び奥行きの前にコーディングされることに留意されたい。
【００４１】
アンカーピクチャの場合、全てのブロックがイントラモード又はビュー間予測モードのいずれかでコーディングされる。１つの例において、現在のブロックについて３つの近傍ブロックが存在する。それらのブロックは、左（Ａ）、上（Ｂ）及び右上（Ｃ）にある。この説明は、追加の近傍ブロックを用いるように容易に拡張することができる。
【００４２】
近傍ブロック（Ａ、Ｂ及びＣ）がビュー間予測モードにおいてコーディングされる場合、各ブロックは、ＤｉｓｐａｒｉｔｙＡ、ＤｉｓｐａｒｉｔｙＢ及びＤｉｓｐａｒｉｔｙＣによって表される視差ベクトルと関連付けられる。
【００４３】
現在のブロックと近傍ブロックとの類似性を検討すると、現在のブロックのための視差ベクトルは、近傍ブロックから導出することができ、ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅで表される。１つの実施態様では、以下となる。
【００４４】
ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅ
＝Ｍｅａｎ（ＤｉｓｐａｒｉｔｙＡ，ＤｉｓｐａｒｉｔｙＢ，ＤｉｓｐａｒｉｔｙＣ）
【００４５】
別の実施態様では、新しいＨＥＶＣ規格において規定されているように、この導出結果を、候補リスト及びインデックスをマージ（merging）するためにシグナリングすることができる。すなわち、近傍ブロックから候補リストを構築する。次に、ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅのために用いられる特定の候補を示すためにインデックスがビットストリームにおいてシグナリングされる。
【００４６】
ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅを用いて、参照ビューからの奥行き画像における奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを特定し、この奥行きブロックＤｅｐｔｈＤｅｒｉｖｅにアクセスすることができる。ＤｅｐｔｈＤｅｒｉｖｅを用いて現在のブロックのための後方ワーピングを行う。
【００４７】
近傍ブロックが全てビュー間予測モードを用いてコーディングされているとき、一般的なプロセスは、近傍ブロックを上記で説明されたように用いる。以下において、近傍ブロックがビュー間予測モードにおいて一切コーディングされていない場合について説明する。
【００４８】
近傍ブロックがイントラモードにおいてコーディングされている場合、対応する視差ベクトルはゼロである。
【００４９】
近傍ブロックがＶＳＰ予測モードを用いてコーディングされる場合、単一のベクトルはブロック全体に用いられない。代わりに、その場合、そのＶＳＰ予測のために用いられる奥行きブロックから視差ベクトルを求めることができる。視差ベクトルは、奥行きブロック全体の平均値とすることもできるし、現在のブロックに対してより近い奥行きピクセルに対して、より多くの重み付けをすることもできる。
【００５０】
上記において、まず視差ベクトルＤｉｓｐａｒｉｔｙＤｅｒｉｖｅを導出し、次に単一の視差を用いて奥行きブロックＤｅｐｔｈＤｅｒｉｖｅにアクセスする。代替的に、複数の導出された視差を用いるので、そうして、複数の導出された奥行きブロックを用いることができる。複数の導出された奥行きブロックは、重み付け平均に従って求められ、後方ワーピングのために用いられる単一の奥行きブロックが得られる。
【００５１】
図７は、Ｂ−ＶＳＰを候補コーディングモードとして用いるアンカーピクチャにおけるブロックのための符号化プロセスを示している。
【００５２】
ステップ７０１。Ａ、Ｂ及びＣを近傍ブロックとし、ＤｉｓｐａｒｉｔｙＸをそれらの視差ベクトルとする（ＸがＡ、Ｂ又はＣと置き換えられる）。
【００５３】
ステップ７０２。Ａ、Ｂ及びＣにおける任意のブロックがイントラモードにおいてコーディングされる場合、その視差ベクトルをゼロにセットする。
【００５４】
ステップ７０３。Ａ、Ｂ及びＣにおける任意のブロックがＶＳＰ予測モードにおいてコーディングされる場合、その視差ベクトルを、そのＶＳＰ予測のために用いられる奥行きブロックの平均値としてセットする。
【００５５】
ステップ７０４。ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅをＤｉｓｐａｒｉｔｙＸの平均値になるようにセットする。
【００５６】
ステップ７０５。対応する奥行き画像における奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを取得する。
【００５７】
ステップ７０６。ＤｅｐｔｈＤｅｒｉｖｅを用いて後方ワーピングに基づくＶＳＰを実行する。
【００５８】
ステップ７０７。Ｂ−ＶＳＰモードが他のコーディングモードと比較され、レート歪みコストがより少ない場合に選択される。
【００５９】
図８は、提案されるＢ−ＶＳＰモードを用いる、アンカーピクチャにおけるブロックの復号化プロセスである。
【００６０】
ステップ８０１。Ｂ−ＶＳＰモードが現在のブロックについてシグナリングされるか否かを検査する。シグナリングされる場合、ステップ８０２に進む。そうでない場合、ステップ８０８に進む。
【００６１】
ステップ８０２。Ａ、Ｂ及びＣを近傍ブロックとし、ＤｉｓｐａｒｉｔｙＸをそれらの視差ベクトルとする（ＸがＡ、Ｂ又はＣと置き換えられる）。
【００６２】
ステップ８０３。Ａ、Ｂ及びＣにおける任意のブロックがイントラモードにおいてコーディングされる場合、その視差ベクトルをゼロにセットする。
【００６３】
ステップ８０４。Ａ、Ｂ及びＣにおける任意のブロックがＶＳＰ予測モードにおいてコーディングされる場合、その視差ベクトルを、そのＶＳＰ予測のために用いられる奥行きブロックの平均値としてセットする。
【００６４】
ステップ８０５。ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅをＤｉｓｐａｒｉｔｙＸの平均値になるようにセットする。
【００６５】
ステップ８０６。対応する奥行き画像における奥行きブロックＤｅｐｔｈＤｅｒｉｖｅを取得する。
【００６６】
ステップ８０７。ＤｅｐｔｈＤｅｒｉｖｅを用いて後方ワーピングに基づくＶＳＰを実行する。ステップ８０９に進む。
【００６７】
ステップ８０８。他のコーディングモードにおいて現在のブロックを復号化する。
【００６８】
ステップ８０９。手順の終了。
【００６９】
実施の形態２：参照ビューからアンカーピクチャ又は非アンカーピクチャ、奥行きが入手可能でない
この実施の形態では、アクセスユニットにおける全てのテクスチャ成分が、全ての奥行き成分の前にコーディングされると仮定する。例えば、２ビューの場合のコーディング順序はＴ０Ｔ１Ｄ０Ｄ１であり、ビュー０及びビュー１からの双方のテクスチャが奥行きの前にコーディングされる。この実施の形態は、奥行きのコーディングに対するテクスチャの依存性がないときにも適用することができる。
【００７０】
同様のプロセスにおいて、視差ＤｉｓｐａｒｉｔｙＤｅｒｉｖｅを近傍ブロックから導出することができる。しかしながら、参照用に奥行きデータが入手可能でないので、ピクセルあたりの奥行きブロックにアクセスすることができない。代わりに、視差ＤｉｓｐａｒｉｔｙＡ、ＤｉｓｐａｒｉｔｙＢ及びＤｉｓｐａｒｉｔｙＣを用いて奥行きブロックを補間する。この実施の形態では、線形補間が用いられる。他の補間も用いることができる。
【００７１】
図９は、例示的な補間を示しており、近傍ブロック（Ａ、Ｂ及びＣ）のための単一の奥行き値（Ｘ、Ｙ及びＺ）が、それらの視差値ＤｉｓｐａｒｉｔｙＡ、ＤｉｓｐａｒｉｔｙＢ及びＤｉｓｐａｒｉｔｙＣからセットされる。現在の４×４のブロックのための奥行き値は以下のように補間される。
【００７２】
ａ＝（Ｘ＋Ｙ）／２、
ｂ＝（Ｘ＋２×Ｙ）／３、
ｃ＝（２×Ｘ＋Ｙ）／３、
ｄ＝（Ｘ＋３×Ｙ）／４、
ｅ＝（３×Ｘ＋Ｙ）／４、
ｆ＝（Ｘ＋４×Ｙ）／５、
ｇ＝（４×Ｘ＋Ｙ）／５
【００７３】
ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆ及びｇは現在のブロックにおけるピクセルである。上記の実施態様において、ブロックＣからの奥行き値Ｚは用いられない。補間されるピクセルに対してより近い奥行き値は、より多くの重み付けをされる。奥行きブロックを埋める他の補間方法が可能である。
【００７４】
さらに、ブロックがＢ−ＶＳＰモードを用いてコーディングされるときに、近傍ブロックからの奥行き値が変動する可能性がある。その場合、各ピクセルごとの補間プロセスは異なる可能性がある。
【００７５】
１つの例において、図１０に示すように、行ｒ及び列ｃ、（ｒ，ｃ）におけるピクセルの奥行き値は以下のように補間することができる。
【００７６】
Ｄｅｐｔｈ（ｒ，ｃ）＝（Ｘｃ＋Ｙｒ）／２
【００７７】
実施の形態３：参照ビューから非アンカー、奥行きが入手可能
非アンカーピクチャの場合、近傍ブロックが、ビュー間予測モードではなく時間予測を用いる可能性がより高い。しかしながら、時間予測とビュー間予測とを区別する必要はない。代わりに、この実施の形態では、動きベクトル又は視差ベクトルの関連付けられた参照テクスチャは、入手可能な対応する奥行き参照ピクチャを有する。そうでない場合、実施の形態２について説明されたような事例が適用される。
【００７８】
実施の形態１におけるように、近傍ブロックからの動きベクトル又は視差ベクトルを用いて動きベクトル又は視差ベクトルを導出する。この動きベクトル又は視差ベクトルを用いて、対応する参照奥行き画像からの奥行きブロックを特定し、この奥行きブロックにアクセスする。
【００７９】
近傍ブロックがイントラモードにおいてコーディングされる場合において、動きベクトル又は視差ベクトルを導出するのに用いられる、近傍ブロックをシグナリングするメカニズムがビットストリームに存在しないとき、時間参照に対するゼロ動きベクトルではなく、ビュー間参照に対するゼロ視差ベクトルが用いられる。さもなければ、候補リストがあるとき、インデックスメカニズムが実施される。イントラコーディングされた近傍ブロックが存在するとき、ゼロ視差ベクトル及びゼロ動きベクトルの双方を候補リストに加える。次に、符号化器は、レート歪みコストに基づいて最適候補を選択する。
【００８０】
実施の形態４：奥行き画像のための後方ワーピングに基づくＶＳＰ
上記の実施の形態は、ディペンデントビューからの奥行きピクチャをコーディングするのにも適用可能である。後方ワーピングを行うのに奥行き画像が必要とされるので、従来のＶＳＰにおいて奥行きについて後方ワーピングに基づくＶＳＰ予測を実施することは不可能である。本発明の実施の形態は、現在のブロックを必要としない。
【００８１】
後方ＶＳＰを行うための奥行きブロックを得るために近傍ブロックの動きベクトル又は視差ベクトルが利用される上記の実施形態とは異なり、奥行きブロックを推定するのに近傍ブロックのサンプル値を用いる。現在のピクチャは奥行き画像であるので、近傍ブロックはピクセルごとの奥行きを有する。これらのブロックのブロックレベルの動きベクトル又は視差ベクトルの代わりに、サンプル値を用いて、Ｂ−ＶＳＰを行うための奥行きを求める方が正確である。
【００８２】
図１１は対応する復号化を示している。図８に示す実施の形態との違いは、近傍ブロックからの動きベクトル又は視差ベクトルが用いられないことである。
【００８３】
ステップ１１０１。Ｂ−ＶＳＰモードが現在のブロックについてシグナリングされるか否かを検査する。シグナリングされる場合、ステップ１１０２に進む。そうでない場合、１１０４に進む。
【００８４】
ステップ１１０２。近傍ブロック（奥行きブロックである）を用いて現在のブロックの奥行きＤｅｐｔｈＤｅｒｉｖｅを推定する。
【００８５】
ステップ１１０３。ＤｅｐｔｈＤｅｒｉｖｅを用いて後方ワーピングに基づくＶＳＰを実行する。ステップ１１０５に進む。
【００８６】
ステップ１１０４。他のコーディングモードにおいて現在のブロックを復号化する。
【００８７】
ステップ１１０５。手順の終了。
【００８８】
実施の形態５：動き領域におけるワーピング
以前の実施の形態において、ピクセル領域又は空間領域においてワーピングが実行された。換言すれば、現在のビューにおけるピクセルのテクスチャのための予測子が、参照ビューから現在のビューへのピクセル値のワーピングによって導出され、これはそれぞれ、図５Ａ及び図６Ａのブロック５０６及び６１１において行われる。
【００８９】
一方、３Ｄワーピング関係は、時間領域にも存在する。すなわち、現在のビューにおける物体の時間的な動きは、参照ビューにおいて類似した動きを有するように見える。
【００９０】
このため、この実施の形態では、空間領域及び時間領域においてワーピングを適用する。したがって、図５Ｂ及び図６Ｂに示すようにブロック５０６及び６１１における処理を変更し、動きフィールド（動きベクトル及び／又は参照ピクチャ情報）が現在のピクチャにおける対応するピクセルに割り当てられる。さらに、ブロック５０８及び６０８は、ワーピングされた動きフィールド情報を用いて時間予測を実行する。
【００９１】
テクスチャワーピングプロセスと同様に、動きフィールドにおけるワーピングをピクセルレベル又はブロックレベルにおいて実行することができることに留意されたい。ＨＥＶＣとの関連で、最も大きなワーピング単位は予測単位（ＰＵ）レベルにおけるものである。
【００９２】
動きフィールドのワーピングがピクセルレベルにおいて実行されない場合、導出された奥行きブロックからの最大奥行きが視差ベクトルに変換され、最終的に、導出された視差ベクトルが、現在のブロックが動き情報にアクセスするための平行移動オフセットであると想定される。
【００９３】
奥行き参照ピクチャにおける奥行きブロックを参照することによる視差ベクトルの導出は、奥行き画像から奥行きブロックにアクセスすることができる限り、他の通常の空間近傍ブロック又は時間近傍ブロックに更に拡張することができることに留意するべきである。
【００９４】
このため、ワーピングは、関連特許出願において記載されているように空間領域において行うこともできるし、本出願において記載されているように時間領域において行うこともできるし、空間領域及び時間領域の双方において行うこともできる。
【００９５】
発明の効果
従来の、前方ワーピングに基づくビュー合成予測は、一般的に、参照ビューからのテクスチャ成分及び奥行き成分を用いる。前方ワーピングは、通常、より高いコストでより高い忠実度を提供する。対照的に、本発明によるビュー合成予測は、テクスチャコーディングのために後方ワーピングを用い、奥行き成分がテクスチャ成分の前にコーディングされることを必要としない。さらに、後方ワーピングに基づくＶＳＰは、ブロックに基づくＶＳＰ参照生成を容易にする。これはより複雑度が低く、実施の利点を有する。
【００９６】
奥行き優先コーディングを回避しながら後方ワーピングに基づくＶＳＰを可能にするために、本発明は、近傍ブロックからの動きベクトル又は視差ベクトルを用いて、以前のアクセスユニットにおいて、又は同じアクセスユニットであるが他の視点からコーディングされた奥行き画像等の、以前にコーディングされた奥行き画像から奥行きブロックを導出する。
【図１】
0005976197.tif 000002
【図２】
0005976197.tif 000003
【図３】
0005976197.tif 000004
【図４】
0005976197.tif 000005
【図５Ａ】
0005976197.tif 000006
【図５Ｂ】
0005976197.tif 000007
【図６Ａ】
0005976197.tif 000008
【図６Ｂ】
0005976197.tif 000009
【図７】
0005976197.tif 000010
【図８】
0005976197.tif 000011
【図９】
0005976197.tif 000012
【図１０】
0005976197.tif 000013
【図１１】
0005976197.tif 000014