(57)【要約】【課題】性能を維持しながら、深度から視差への変換のプロセスを簡略化できる、３次元またはマルチビュービデオ符号化のための方法及び装置を提供する。【解決手段】３次元またはマルチビュービデオ符号化のための方法であって、前記方法は、現在のディペンデントビューの現在の画像の変換領域と関連した入力データを受信するステップ、前記変換領域と関連した深度データを受信するステップ、前記変換領域が複数の動き予測サブブロックに分割されるとき、前記変換領域と関連した前記深度データから単一の変換されたＤＶ（視差ベクトル）を決定するステップ、および単一の変換されたＤＶを用いて第１の符号化ツールに従って前記変換領域の複数の動き予測サブブロックのそれぞれを処理するステップを含む方法。【選択図】図８
2016506195.tif 000002
【特許請求の範囲】
【請求項１】
３次元またはマルチビュービデオ符号化のための方法であって、
現在のディペンデントビュー内の現在の画像の変換領域と関連した入力データを受信するステップ、
前記変換領域と関連した深度データを受信するステップ、
前記変換領域が複数の動き予測サブブロックに分割されるとき、前記変換領域と関連した前記深度データから単一の変換されたＤＶ（視差ベクトル）を決定するステップ、および
前記単一の変換されたＤＶを用いて第１の符号化ツールに従って前記変換領域の複数の動き予測サブブロックのそれぞれを処理するステップを含む方法。
【請求項２】
前記変換領域が複数の動き予測サブブロックに分割されないとき、前記単一の変換されたＤＶを用いて前記第１の符号化ツールまたは第２の符号化ツールに従って前記変換領域を処理するステップを更に含む請求項１に記載の方法。
【請求項３】
前記第１の符号化ツールは、インターモードの動きベクトル予測（ＭＶＰ）に対応し、前記第２の符号化ツールは、スキップモードまたはダイレクトモードの動きベクトル予測（ＭＶＰ）に対応する請求項２に記載の方法。
【請求項４】
前記変換領域は、１６×１６マクロブロック（ＭＢ）である請求項３に記載の方法。
【請求項５】
前記第１の符号化ツールは、インターモードまたはマージモードの動きベクトル予測（ＭＶＰ）に対応し、
前記第２の符号化ツールは、スキップモードのＭＶＰに対応する請求項２に記載の方法。
【請求項６】
前記変換領域は、符号化ユニット（ＣＵ）、最大ＣＵ（ＬＣＵ）、符号化ツリーユニット（ＣＴＵ）、または動き推定領域（ＭＥＲ）に対応し、
前記動き予測サブブロックは、予測ユニット（ＰＵ）に対応する請求項５に記載の方法。
【請求項７】
前記第１の符号化ツールは、第１のツールセットから選ばれ、
前記第２の符号化ツールは、第２のツールセットから選ばれ、
前記第１のツールセットは符号化ツールグループの中から１つ以上の第１のツール要素で構成され、
前記第２のツールセットは前記符号化ツールグループの中から１つ以上の第２のツール要素で構成され、
前記符号化ツールグループは、
インターモードの動きベクトル予測（以下、ＭＶＰと称す）の候補導出、
スキップモードのＭＶＰの候補導出、
ダイレクトモードのＭＶＰの候補導出、
方向分離動きベクトル予測、
前記スキップモードまたは前記ダイレクトモードの優先度ベースのＭＶＰの候補導出、
マージモードの視点間の候補導出、
スキップモードの視点間の候補導出、
視点間動き予測、
視点間視差予測、
ブロックベースの視点合成予測、および
視点間残差予測を含む請求項２に記載の方法。
【請求項８】
前記第１のツールセットおよび前記第２のツールセットは、少なくとも１つの共通の符号化ツールを有し、
前記第１のツールセットおよび前記第２のツールセットは、少なくとも１つの異なる符号化ツールを有する請求項７に記載の方法。
【請求項９】
前記第１のツールセットおよび前記第２のツールセットは、同じ符号化ツールを有する請求項７に記載の方法。
【請求項１０】
前記単一の変換されたＤＶは、前記変換領域と関連した深度ブロック内の少なくとも２つのサンプルの最大深度値から決定される請求項１に記載の方法。
【請求項１１】
前記単一の変換されたＤＶは、前記変換領域と関連した前記深度ブロックの四隅のサンプルの前記最大深度値から決定される請求項１０に記載の方法。
【請求項１２】
３次元またはマルチビュービデオ符号化のための装置であって、
前記装置は、１つ以上の電子回路を含み、
前記１つ以上の電子回路は、
現在のディペンデントビューの現在の画像の変換領域と関連した入力データを受信し、
前記変換領域と関連した深度データを受信し、
前記変換領域が複数の動き予測サブブロックに分割されるとき、前記変換領域と関連した前記深度データから単一の変換されたＤＶ（視差ベクトル）を決定し、および
前記単一の変換されたＤＶを用いて第１の符号化ツールに従って前記変換領域の複数の動き予測サブブロックのそれぞれを処理する装置。
【請求項１３】
前記１つ以上の電子回路は、前記変換領域が複数の動き予測サブブロックに分割されないとき、前記単一の変換されたＤＶを用いて前記第１の符号化ツールまたは第２の符号化ツールに従って前記変換領域を処理する請求項１２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、３５Ｕ.Ｓ.Ｃ.§１１９の下、２０１３年１月７日に出願された米国特許仮出願番号第６１／７４９４５５号「Ｍｅｔｈｏｄｓ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ  Ｄｅｒｉｖａｔｉｏｎ ｉｎ Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」からの優先権を主張するものであり、これらの全ては引用によって本願に援用される。
【０００２】
本発明は、ビデオ符号化に関し、特に、３次元ビデオ符号化の深度（ｄｅｐｔｈ）から視差ベクトルを導出することに関するものである。
【背景技術】
【０００３】
３次元（３Ｄ）テレビが視聴者にセンセーショナルな視聴体験をもたらす近年の技術動向となっている。様々な技術が３Ｄ視聴を可能にするように開発されてきた。その中でも、マルチビュービデオは、とりわけ、３ＤＴＶのアプリケーションのための重要な技術である。従来のビデオは、視聴者にカメラの視点から単一のシーンのビューだけを提供する２次元（２Ｄ）媒体である。しかしながら、マルチビュービデオは、動的なシーンの任意の視点を提供して、視聴者に臨場感を提供することができる。
【０００４】
マルチビュービデオは、通常、同時に複数のカメラを用いてシーンを撮影し、適切に配置された複数のカメラの各カメラが1つの視点からそのシーンを撮影することで作成される。従って、複数のカメラは、複数のビューに対応して複数のビデオシーケンスを撮影する。より多くのビューを提供するために、ビューと関連した多数のビデオシーケンスを有するマルチビュービデオを生成するようにより多くのカメラが用いられている。 従って、マルチビュービデオは、保存するための大きな記憶容量、および／または送信するための高帯域幅を必要とする。よって、マルチビュービデオの符号化技術は、必要な記憶容量や伝送帯域幅を低減するように開発されてきた。
【０００５】
直接的な方法は、単に、従来のビデオ符号化技術を各単一のビュービデオシーケンスに独立して適用し、異なる任意の相関関係を考慮に入れないことである。このような符号化システムは、非常に非効率的となる。マルチビュービデオ符号化の効率を向上させるための、典型的なマルチビュービデオ符号化は、視点間冗長性を利用する。ほとんどの３Ｄビデオ符号化（３ＤＶＣ）システムは、複数のビューと関連したビデオデータと深度マップとの相関関係を考慮に入れている。規格開発本体、国際電気通信連合−電気（ＩＴＵ−Ｔ）のビデオ専門家グループ（ＶＣＥＧ）の共同チーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）およびＩＳＯ／ＩＥＣの動画像符号化専門家グループ（ＭＰＥＧ）は、Ｈ.２６４／ＭＰＥＧ−４ アドバンスドビデオ符号化（ＡＶＣ）をステレオおよびマルチビュービデオ用のマルチビュービデオ符号化（ＭＶＣ）に拡張させている。
【０００６】
ＭＶＣは、時間的、空間的予測の両方を採用して圧縮効率を向上させている。ＭＶＣの開発中では、照明補償、適応的参照フィルタリング、モーションスキップモード、視点合成予測を含む、いくつかのマクロブロックレベルの符号化ツールが提案されている。これらの符号化ツールは、複数の視点間冗長性を利用するように提案されている。照明補償は、異なる視点間の照明変化を補償するためのものである。適応的参照フィルタリングは、カメラ間の焦点が合わないことによる変化を低減するためのものである。モーションスキップモードは、現在のビュー内の動きベクトルが他のビューから推測されるようにする。視点合成予測は他のビューから、現在のビューの画像を予測するように用いられる。
【０００７】
３Ｄビデオ符号化（３Ｄ−ＨＴＭ）に基づいた高効率ビデオ符号化（ＨＥＶＣ）の参照ソフトウェアでは、隣接するビューの予め符号化された動き情報を再使用するために、視点間候補が、インター、マージ、およびスキップモード用の動きベクトル（ＭＶ）または視差ベクトル（ＤＶ）候補として追加する。３Ｄ−ＨＴＭでは、符号化ユニット（ＣＵ）と呼ばれる圧縮の基本ユニットは、２Ｎｘ２Ｎの方形ブロックである。各ＣＵは、所定の最小サイズに達するまで、再帰的に４つのより小さいＣＵに分けられることができる。各ＣＵは、１つ以上の予測ユニット（ＰＵ）を含む。
【０００８】
隣接するビューの予め符号化されたテクスチャ情報をシェアするために、視差補償予測（ＤＣＰ）として知られている技術が動き補償予測（ＭＣＰ）の代替符号化ツールとして３Ｄ−ＨＴＭに含まれている。ＭＣＰは、同じビューの予め符号化された画像を用いた画像間予測を指し、ＤＣＰは、同じアクセスユニット内で他のビューの予め符号化された画像を用いた画像間予測を指している。図１は、ＭＣＰおよびＤＣＰを組み込んだ３Ｄビデオ符号化システムの一例を示している。ＤＣＰに用いられるベクトル（１１０）は、視差ベクトル（ＤＶ）と呼ばれ、ＭＣＰに用いられる動きベクトル（ＭＶ）に類似している。図１は、ＭＣＰと関連した３つのＭＶ（１２０、１３０および１４０）を示している。また、ＤＣＰブロックのＤＶも、隣接ブロックまたは同様に視点間参照画像を用いた時間的同位置ブロック（ｔｅｍｐｏｒａｌ ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋｓ）から導出された、視差ベクトル予測（ＤＶＰ）候補によって予測されることができる。３Ｄ−ＨＴＭでは、マージ／スキップモードの視点間マージ候補を導出したとき、対応するブロックの動き情報が利用可能でない場合、または、有効でない場合、視点間マージ候補は、ＤＶに代替される。
【０００９】
インターモードでは、方向分離動きベクトル予測（Ｄｉｒｅｃｔｉｏｎ−Ｓｅｐａｒａｔｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）は、３Ｄ−ＡＶＣに用いられるもう１つの符号化ツールである。方向分離動きベクトル予測は、時間的および視点間動きベクトル予測で構成されている。対象参照画像が時間予測画像である場合、現在のブロックＣｂの周りの隣接ブロック（例えば、図２ＡのＡ、Ｂ、およびＣ）の時間的動きベクトルは、動きベクトル予測の導出に用いられる。時間的動きベクトルが利用可能でない場合、視点間動きベクトルが用いられる。視点間動きベクトルは、深度から変換された視差ベクトルで示される対応するブロックから導出される。動きベクトル予測は、次いで隣接ブロックＡ、Ｂ、およびＣの動きベクトルの中間値として導出される。ブロックＤは、Ｃが利用可能でないときだけ、用いられる。
【００１０】
これに対し、対象参照画像が視点間予測画像である場合、隣接ブロックの視点間動きベクトルは、視点間予測に用いられる。視点間動きベクトルが利用可能でない場合、関連深度ブロック内の４つの角の深度サンプルの最大深度値から導出された視差ベクトルが用いられる。動きベクトル予測は、次いで隣接ブロックＡ、Ｂ、およびＣの視点間動きベクトルの中間値として導出される。
【００１１】
一方、対象参照画像が視点間予測画像である場合、隣接ブロックの視点間動きベクトルは、図２Ｂに示されるように、視点間動きベクトル予測子を導出するように用いられる。ステップ２１０では、空間的に隣接するブロックの視点間動きベクトルが各ブロックのテクスチャデータに基づいて導出される。ステップ２６０では、現在のブロックＣｂと関連した深度マップも提供される。ステップ２２０では、ブロックＡ、Ｂ、およびＣの視点間動きベクトルの可用性がチェックされる。視点間動きベクトルが利用可能でない場合、現在のブロックの視差ベクトルは、ステップ２３０にて、利用可能でない視点間動きベクトルの代わりに用いられる。ステップ２７０にて、視差ベクトルは、関連深度ブロック（２８０）の最大深度値から導出される。ブロックＡ、Ｂ、およびＣの視点間動きベクトルの中間値は、視点間動きベクトル予測子として用いられる。従来のＭＶＰ手順は、ステップ２４０に示されており、最終のＭＶＰは、視点間ＭＶＰまたは時間的ＭＶＰの動きベクトルの中間値に基づいて導出される。ステップ２５０に示されるように、動きベクトル符号化が動きベクトル予測子に基づいて行われる。
【００１２】
スキップ／ダイレクトモード用の優先度ベースのＭＶＰの候補導出（Ｐｒｉｏｒｉｔｙ ｂａｓｅｄ ＭＶＰ ｃａｎｄｉｄａｔｅ ｄｅｒｉｖａｔｉｏｎ ｆｏｒ Ｓｋｉｐ／ｄｉｒｅｃｔ ｍｏｄｅ）は、３Ｄ−ＡＶＣのもう１つの符号化ツールである。図３に示されるように、スキップモード／ダイレクトモードでは、ＭＶＰ候補は、所定の導出順序、及び、視点間候補と隣接ブロックＡ、Ｂ、およびＣ（Ｄは、Ｃが利用可能でない場合にのみ用いられる）から導出された３つの空間候補の中間値に基づいて導出される。デコーダ側では、動き補償は、その導出されたＭＶＰ候補の動き情報に応じて行われる。動き情報は、予測方向（単方向予測または双方向予測）、参照画像のタイプ（時間予測、仮想予測、または視点間予測）、および参照画像インデックスを含む。図３に示されるように、ディペンデントビューの現在のブロック（３１０）の中心点（３１２）とその視差ベクトルは、ベースビューまたは参照ビュー内の対応点を見つけるために用いられる。その後、ベースビュー内の対応点を含むブロックのＭＶは、現在のブロックの視点間候補として用いられる。ＡＴＭ ７．０では、視差ベクトルは、隣接ブロック（Ａ、Ｂ、およびＣ／Ｄ）と中心点の深度値の両方から導出できる。具体的には、隣接ブロックの１つだけが視差ベクトル（ＤＶ）を有する場合、ＤＶは、視差として用いられる。また、ＤＶは、隣接ブロックＡ、Ｂ、およびＣのＤＶ（３２０）の中間値として導出される。ＤＶが利用可能でない場合には、深度（３５０）から変換されたＤＶが代わりに用いられる。導出されたＤＶは、参照画像（３３０）の対応ブロック（３４０）を配置するように用いられる。
【００１３】
３Ｄ‐ＡＶＣでは、スキップモード／ダイレクトモードの視点間ＭＶＰの導出プロセスにおいて、視差ベクトル（ＤＶ）は、候補の隣接ブロックのＤＶが利用可能でないときには、対応するブロックの深度情報から導出される。３Ｄ‐ＡＶＣのスキップモード／ダイレクトモードの深度からＤＶへの変換は、図４にて示される。図４に示すように、ＤＶは、関連深度ブロック（この例ではマクロブロックＭＢ）の四隅での深度サンプル（強調表示された小正方形で示されている）の最大深度値に基づいて決定される。
【００１４】
インターモードで利用可能でない隣接ブロックのＤＶを導出する深度からＤＶへの変換は、図５にて示される。図５に示すように、深度からＤＶへの変換はＭＢのさまざまな分割のために複数回行われる。例えば、現在のＭＢが１６個の４×４のサブブロックに分割された場合、深度からＤＶへの変換は、１６回行われる。各サブブロックでは、ＤＶは、関連深度サブブロックの四隅での深度サンプルの最大深度値に基づいて決定される。
【００１５】
３Ｄ−ＨＥＶＣでは、視点間残差予測（ＩＶＲＰ：ｉｎｔｅｒ−ｖｉｅｗ  ｒｅｓｉｄｕａｌ  ｐｒｅｄｉｃｔｉｏｎ）は、参照ビューの予め符号化された残差情報をシェアするために、新しい符号化ツールとして開発された。視点間残差予測は、現在のブロック（即ち、予測ユニット、ＰＵ）用に導出された視差ベクトル（ＤＶ）に基づいている。ＤＶは、３Ｄ−ＨＥＶＣに従って現在のブロックの空間的または時間的隣接ブロックから導出できる。また、ＤＶ−ＭＣＰという動き補償予測（ＭＣＰ）に基づいた視差導出技術は、推定されたＤＶを導出するために用いることもできる。この場合、ＭＣＰによって符号化されたブロックも視差導出プロセスに用いることができる。隣接ブロックがＭＣＰ符号化ブロックであり、その動きが視点間動き予測によって予測されたとき、視点間動き予測に用いられる視差ベクトルは、現在のブロックと視点間参照画像との間の動き対応を示している。ブロックはＤＶ−ＭＣＰブロックと呼ばれる。
【００１６】
上述のように、ＤＶは、様々なアプリケーションの３次元符号化に広く用いられている。ＤＶを導出する一つの方法は、深度マップに基づいている。異なる深度から視差への変換は、３Ｄ−ＨＥＶＣなどの３次元符号化規格に用いられている。性能を維持しながら、深度から視差への変換のプロセスを簡略化することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明は、性能を維持しながら、深度から視差への変換のプロセスを簡略化できる、３次元またはマルチビュービデオ符号化のための方法及び装置を提供する。
【課題を解決するための手段】
【００１８】
３次元またはマルチビュービデオ符号化のための方法および装置が開示される。本発明に係る実施形態は、現在のディペンデントビューの現在の画像の変換領域と関連した入力データと深度データを受信する。複数の動き予測サブブロックに分割されるかどうかを決定するために、変換領域がチェックされる。変換領域が複数の動き予測サブブロックに分割される場合、単一の変換されたＤＶ（視差ベクトル）は変換領域と関連した深度データから決定され、変換領域の複数の動き予測サブブロックの各々は、単一の変換されたＤＶを用いて第１の符号化ツールに従って処理される。変換領域が複数の動き予測サブブロックに分割されない場合、変換領域は、単一の変換されたＤＶを用いて第１の符号化ツールまたは第２の符号化ツールに従って処理される。本実施形態では、第１の符号化ツールは、インターモードの動きベクトル予測（ＭＶＰ）に対応し、第２の符号化ツールは、スキップまたはダイレクトモードの動きベクトル予測（ＭＶＰ）に対応する。この場合、変換領域は、１６×１６マクロブロック（ＭＢ）に対応することができる。本実施形態では、第１の符号化ツールは、インターまたはマージモードの動きベクトル予測（ＭＶＰ）に対応し、第２の符号化ツールは、スキップモードのＭＶＰに対応する。この場合、変換領域は、符号化ユニット（ＣＵ）、最大ＣＵ（ＬＣＵ）、符号化ツリーユニット（ＣＴＵ）、または動き推定領域（ＭＥＲ）に対応し、動き予測サブブロックは、予測ユニット（ＰＵ）に対応することができる。
【００１９】
本発明の実施態様は、単一の変換されたＤＶの導出を示している。本実施形態では、単一の変換されたＤＶは、変換領域と関連した深度ブロック内の少なくとも２つのサンプルの最大深度値から決定される。本実施形態では、単一の変換されたＤＶは、変換領域と関連した深度ブロックの四隅のサンプルの最大深度値から決定される。
【００２０】
第１の符号化ツールは、第１のツールセットから選ばれ、第２の符号化ツールは、第２のツールセットから選ばれる。第１のツールセットは符号化ツールグループの中から１つ以上の第１のツール要素で構成され、第２のツールセットは符号化ツールグループの中から１つ以上の第２のツール要素で構成される。符号化ツールグループは、インターモードの動きベクトル予測（ＭＶＰ）の候補導出、スキップモードのＭＶＰの候補導出、ダイレクトモードのＭＶＰの候補導出、方向分離動きベクトル予測、スキップモードまたはダイレクトモードの優先度ベースのＭＶＰの候補導出、マージモードの視点間の候補導出、スキップモードの視点間の候補導出、視点間動き予測、視点間視差予測、ブロックベースの視点合成予測、および視点間残差予測を含むことができる。本実施形態では、第１のツールセットおよび第２のツールセットは、少なくとも１つの共通の符号化ツールを有し、第１のツールセットおよび第２のツールセットは、少なくとも１つの異なる符号化ツールを有する。もう１つの実施形態では、第１のツールセットおよび第２のツールセットは、同じ符号化ツールを有する。
【図面の簡単な説明】
【００２１】
【図１】動き補償予測（ＭＣＰ）および視差補償予測（ＤＣＰ）を組み込んだ３次元ビデオ符号化システムの一例を示している。
【図２Ａ】３Ｄ−ＡＶＣ（アドバンスドビデオ符号化（ＡＶＣ）に基づいた３次元ビデオ符号化）の動きベクトル予測を導出するように用いられる現在のブロック（Ｃｂ）の周りの隣接ブロックを示している。
【図２Ｂ】３Ｄ−ＡＶＣのインターモードの方向分離（ｄｉｒｅｃｔｉｏｎ−ｓｅｐａｒａｔｅｄ）動きベクトル予測の導出のプロセスを示している。
【図３】３Ｄ−ＡＶＣのスキップ／ダイレクトモード用の優先度ベースのＭＶＰの候補導出のプロセスを示している。
【図４】３Ｄ−ＡＶＣのスキップ／ダイレクトモード用の深度ブロックの四隅での深度サンプルに基づいた深度からＤＶへの変換を示している。
【図５】３Ｄ−ＡＶＣのインターモード用のマクロブロック（ＭＢ）の各サブブロックの深度からＤＶへの変換を示している。
【図６】本発明の実施形態に係る例示的な深度からＤＶへの変換領域と複数の動き予測サブブロックを示している。
【図７Ａ】深度ブロックの一つ以上の深度サンプルに基づいた深度からＤＶへの変換の様々な例を示している。
【図７Ｂ】深度ブロックの一つ以上の深度サンプルに基づいた深度からＤＶへの変換の様々な例を示している。
【図７Ｃ】深度ブロックの一つ以上の深度サンプルに基づいた深度からＤＶへの変換の様々な例を示している。
【図７Ｄ】深度ブロックの一つ以上の深度サンプルに基づいた深度からＤＶへの変換の様々な例を示している。
【図７Ｅ】深度ブロックの一つ以上の深度サンプルに基づいた深度からＤＶへの変換の様々な例を示している。
【図７Ｆ】深度ブロックの一つ以上の深度サンプルに基づいた深度からＤＶへの変換の様々な例を示している。
【図８】本発明の実施形態に係る変換領域の単一の変換された視差ベクトル（ＤＶ）を組み込んだ３次元またはマルチビュービデオ符号化の例示的なフローチャートを示している。
【発明を実施するための形態】
【００２２】
本実施形態では、マルチビューと３Ｄビデオ符号化で関連深度ブロックから視差ベクトルを導出する方法が開示される。ＤＶの導出方法は、スキップとダイレクトモード用の優先度ベースのＭＶＰの候補導出、方向分離動きベクトル予測の視点間動きベクトル予測子の導出、または視点合成予測（ＶＳＰ）のために用いることができる。また、本実施形態に係る深度からＤＶへの方式は、他のケースとして、他のビューのデータの位置を決定するため、データにアクセスするため、または、予測子として用いるためにＤＶを導出する必要がある場合にも適用できる。
【００２３】
便宜上、深度からＤＶへの変換領域は正方形のブロックとして定義されている。画像は、深度からＤＶへの変換領域に、分割できる。例示的な深度からＤＶへの変換領域は、図６に示されている。この変換領域は、ＡＶＣ／Ｈ.２６４のマクロブロック（ＭＢ）、または最大符号化ユニット（ＬＣＵ）、符号化ツリーユニット（ＣＴＵ）、符号化ユニット（ＣＵ）、またはＨＥＶＣ規格の動き推定領域（ＭＥＲ）である。変換領域は、破線で示されるように、複数の動き予測サブブロックに更に分割できる。例えば、ＡＶＣ／Ｈ.２６４では、マクロブロック（変換領域）は、パーティションタイプに基づいて、複数の動き予測サブブロックに更に分割できる。またＦＥＶＣ規格では、ＣＵ（変換領域）は、動き予測サブブロックとして見なされる複数の予測ユニット（ＰＵ）に更に分割できる。関連深度ブロックは、対応するテクスチャブロックと同じ解像度を有することができる。関連深度ブロックは、対応するテクスチャブロックよりも低い解像度を有することもできる。
【００２４】
深度からＤＶへの変換プロセスを簡素化および／または統一化するために、本発明に係る実施形態では、変換領域内の全ての動き予測サブブロックはを、関連深度ブロック（各予測方向に対して）から導出された同じＤＶを用いている。例えば、深度からＤＶへの変換領域が１６×１６のマクロブロックである場合、ＭＢ内の各サブブロックは、ＭＢと関連した深度ブロックの深度サンプルから導出された同じＤＶを用いる。図７Ａに示されるように、深度からＤＶへの変換は、深度ブロックの四隅の最大深度値に基づいている。次いで、導出されたＤＶはＭＢ内の全てのサブブロックによって用いられる。図７Ａの例は、四隅のサンプルを用いて、ＤＶを導出しているが、他の深度からＤＶへの変換、例えば、ブロックの中心（７１０）の左上のサンプル（図７Ｂ）または右下のサンプル（図７Ｃ）、下部行の中心の左側のサンプル（図７Ｄ）、下部行の最も右のサンプル（図７Ｅ）、または下部行の両端のサンプル（図７Ｆ）が用いられてもよい。変換領域内の全てのサブブロックをシェアするための単一の視差ベクトルは、変換領域と関連深度ブロック内からのサンプルのサブセットの最大深度値から導出することもできる。
【００２５】
本発明の実施形態では、ＤＶの導出の制限は、スキップモードおよびダイレクトモード用の優先度ベースのＭＶＰの候補導出と、方向分離動きベクトル予測および/または視点合成予測に適用される。本実施形態によれば、深度からＤＶへの変換領域と、ＤＶの導出用の関連深度サンプルは、スキップ／ダイレクトモードと方向分離動きベクトル予測に統一される。また、深度からＤＶへの変換は、本発明の他の実施形態に係る３Ｄビデオ符号化の全ての符号化ツールに統一され、ＤＶを導出するオーバーヘッドを更に低減することができる。
【００２６】
図８は、本発明の実施形態に係る変換領域の単一の変換された視差ベクトル（ＤＶ）を組み込んだ３次元またはマルチビュービデオ符号化の例示的なフローチャートを示している。ステップ８１０にて、システムは、現在のディペンデントビュー内の現在の画像の変換領域と関連した入力データを受信する。符号化では、変換領域と関連した入力データは、符号化されるべき元の画素データまたは変換領域と関連した他の情報（例えば、残差データ、動きベクトル、視差ベクトル、動きベクトルの差値、または視差ベクトルの差値）に対応する。復号化では、入力データは、ディペンデントビューの現在の画像の変換領域と関連した符号化データに対応する。入力データは、コンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）、または他の媒体などの記憶装置から取得できる。入力データは、制御器、中央処理装置、デジタル信号プロセッサ、または入力データを生成する電子回路などのプロセッサから受信できる。ステップ８２０にて、変換領域と関連した深度データが受信される。変換領域が複数の動き予測サブブロックに分割されるかどうかに関するテストは、ステップ８３０で実行される。変換領域が複数の動き予測サブブロックに分割される場合には、ステップ８４０にて、単一の変換されたＤＶ（視差ベクトル）は、変換領域と関連した深度データから決定され、ステップ８５０にて、変換領域の複数の動き予測サブブロックの各々は、単一の変換されたＤＶを用いて第１の符号化ツールに従って処理される。
【００２７】
他の実施形態では、ステップ８３０のテストの結果がＮｏのとき、即ち、変換領域が複数の動き予測サブブロックに分割されない場合、変換領域は、単一の変換されたＤＶを用いて第１の符号化ツールまたは第２の符号化ツールに従って処理される。ＡＶＣ（３Ｄ‐ＡＶＣ）に基づいた３次元符号化システムでは、第１の符号化ツールを、インターモードの動きベクトル予測（ＭＶＰ）に対応させることができ、第２の符号化ツールを、スキップモードまたはダイレクトモードのＭＶＰに対応させることができる。この場合、変換領域は、一般的に１６×１６マクロブロック（ＭＢ）である。ＨＥＶＣ（３Ｄ−ＨＥＶＣ）に基づく３次元符号化システムでは、第１の符号化ツールは、インターまたはマージモードのＭＶＰに対応させることができ、第２の符号化ツールは、スキップモードのＭＶＰに対応させることができる。この場合、変換領域は、符号化ユニット（ＣＵ）、最大ＣＵ（ＬＣＵ）、符号化ツリーユニット（ＣＴＵ）、または動き推定領域（ＭＥＲ）とすることができ、動き予測サブブロックは、予測ユニット（ＰＵ）に対応する。
【００２８】
上記のフローチャートは、単一の変換されたＤＶ（視差ベクトル）を現在のディペンデントビュー内の現在の画像の変換領域に用いた３次元またはマルチビュービデオ符号化の一例を説明している。 当業者であれば、本発明の思想を逸脱することなく、各ステップを変更、ステップを再構成、ステップを分割、またはステップを組み合わせた上で、本発明を実施してもよい。
【００２９】
上述の説明は、特定のアプリケーションおよびその要求の内容に提供されるように、当業者が本発明を実行できるように示している。本願発明に関する種々の変更は、当業者には明らかであり、ここに定義される一般原理は、他の実施形態に用いられ得る。従って、本発明は、ここで述べられた特定の実施形態を限定することを意図するものではなく、ここで述べられる原理および新しい特徴を包括する最も広い範囲を付与されるものとする。上述の詳細の説明では、各種の特定の詳細が本発明の完全な理解を提供するために述べられる。しかしながら、本発明を実施され得る当業者には理解できるであろう。
【００３０】
本発明の実施形態を組み込んだ３次元ビデオ符号化システムは、従来のＡＶＣ（３Ｄ‐ＡＶＣ）に基づいた３次元符号化システムに対応したアンカーシステムと比較できる。本発明の実施形態を組み込んだシステムは、常に、変換領域に単一の変換された視差ベクトルを用いている。一方、３Ｄ‐ＡＶＣに応じたスキップ／ダイレクトモードの深度からＤＶへの変換は、深度ブロックの四隅の深度サンプルに基づいている。深度からＤＶへの変換は、ＭＢが３Ｄ‐ＡＶＣに応じてインターモードで符号化されたとき、マクロブロック（ＭＢ）の各サブブロックに対して実行される。 表１に示されるように、本発明の実施形態は、３Ｄ‐ＡＶＣのアンカーシステムとほぼ同様の性能に達する。即ち、簡素化された深度からＤＶへの変換により、性能損失がない。性能は、ビットレート（ＤＢＲ、％）の差と、ピーク信号対ノイズ比（ｄＰＳＮＲ、ｄＢ）の差で測定されている。
【００３１】
【表１】
2016506195.tif 000003
【００３２】
本発明に係る実施形態は、深度からＤＶへの変換に必要な処理を減少するだけでなく、メモリアクセス数も減少できる。従来のアプローチによると、インターモードの深度からＤＶへの変換は、マクロブロックの各サブブロックに対して行われる。したがって、マクロブロックがより小さいサブブロックに分割されたとき、より多くのメモリアクセスが必要となる。表２に表すメモリの比較は、本発明に基づいたシステムと３Ｄ‐ＡＶＣに基づいたアンカーシステムとの間のメモリアクセスの比較を示している。表２に示されるように、メモリアクセス数は、常に４である（マクロブロック内の４つの深度サンプルへのアクセスに対応する）。一方、メモリアクセスの数は、３Ｄ‐ＡＶＣの場合に、４×４のサブブロックでは６４であり、８×８のサブブロックでは１６である。
【００３３】
【表２】
2016506195.tif 000004
【００３４】
上述の本発明の実施形態は、各種のハードウェア、ソフトウェアコード、またはその組み合せで実施されることができる。例えば、本発明の実施形態は、ここに記述された処理を実行する、ビデオ圧縮チップに集積された回路、またはビデオ圧縮ソフトウェアに集積されたプログラムコードとすることができる。本発明の実施形態はまた、ここに記述された処理を実行する、デジタル信号プロセッサ（ＤＳＰ）で実行されるプログラムコードとすることもできる。本発明はまた、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行される多種の機能を含むことができる。これらのプロセッサは、本発明によって具現化される特定の方法を定義する読み取り可能なソフトウェアコードまたはファームウェアコードを実行することにより、本発明に基づく特定のタスクを実行するように構成されることができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語と異なるフォーマットまたはスタイルで開発されることができる。ソフトウェアコードは、異なるターゲットプラットフォーム用にコンパイルされてもよい。本発明に係るタスクを実行する、ソフトウェアコードおよび他の手段の設定コードの異なるコードフォーマット、スタイル、および言語は、本発明の技術的思想から逸脱しない。
【００３５】
本発明は、その精神と基本的な特徴から逸脱することなく他の特定のフォームに統合され得る。上記実施形態は、本発明を限定するものでなく、あらゆる局面において例示的である。よって本発明の技術的範囲は、前述の説明によってではなく、請求の範囲によって示され、請求の範囲と等価な意義と範囲内にある全ての変更は、この中に含まれることが意図される。
【００３６】
本発明は、実施例の方法及び望ましい実施の形態によって記述されているが、本発明は開示された実施形態に限定されるものではない。当業者には自明の種々の変更及び同様の配置をカバーするものである。よって、添付の請求の範囲は、最も広義な解釈が与えられ、全てのこのような変更及び同様の配置を含むべきである。
【図１】
2016506195.tif 000005
【図２Ａ】
2016506195.tif 000006
【図２Ｂ】
2016506195.tif 000007
【図３】
2016506195.tif 000008
【図４】
2016506195.tif 000009
【図５】
2016506195.tif 000010
【図６】
2016506195.tif 000011
【図７Ａ】
2016506195.tif 000012
【図７Ｂ】
2016506195.tif 000013
【図７Ｃ】
2016506195.tif 000014
【図７Ｄ】
2016506195.tif 000015
【図７Ｅ】
2016506195.tif 000016
【図７Ｆ】
2016506195.tif 000017
【図８】
2016506195.tif 000018
【国際調査報告】
2016506195.tif 000019
2016506195.tif 000020