(57)【要約】マルチビュービデオデータを復号および符号化するための方法および装置について説明する。例示的な方法は、動きベクトル予測プロセスを使用してビデオデータのブロックをコーディングすることと、動きベクトル候補リストを決定することと、動き予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、平滑化時間ビュー（ＳＴＶ）視差ベクトルと、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、視差ベクトル候補リストおよび動きベクトル候補リストのうちの１つを使用して動きベクトル予測プロセスを実行することと、を含み得る。
2015507883.tif 000002
【特許請求の範囲】
【請求項１】
マルチビュービデオデータを復号する方法であって、
動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、
前記動きベクトル予測プロセスのための視差ベクトル候補リストを決定することと、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行することと、
を備える方法。
【請求項２】
前記ＳＤＶは空間的に隣接するブロックの視差動きベクトルから導出され、前記ＴＤＶは時間的に隣接するブロックの視差動きベクトルから導出される、請求項１に記載の方法。
【請求項３】
前記視差ベクトル候補リストは、平滑化時間ビュー（ＳＴＶ：smooth temporal-view）視差ベクトルをさらに含む、請求項１に記載の方法。
【請求項４】
前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを復号することは、アドバンスト動きベクトル予測（ＡＭＶＰ）モードを使用してビデオデータの前記ブロックを復号することを備える、請求項１に記載の方法。
【請求項５】
前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを復号することは、マージモードを使用してビデオデータの前記ブロックを復号することを備える、請求項１に記載の方法。
【請求項６】
前記視差ベクトル候補リストを決定することは、優先プロセスを使用して前記視差ベクトル候補リストを決定することを備え、より高い優先度が割り当てられたすべての利用可能な視差ベクトルタイプは、比較的低い優先度が割り当てられた視差ベクトルタイプの前に、前記視差ベクトル候補リストの最大長に至るまで、前記視差ベクトル候補リストに追加される、請求項１に記載の方法。
【請求項７】
前記優先プロセスは前記ＳＤＶに最も高い優先度を割り当てる、請求項６に記載の方法。
【請求項８】
前記優先プロセスは、前記ＳＴＶ視差ベクトルに２番目に高い優先度を割り当て、前記ＶＤＶに３番目に高い優先度を割り当て、前記ＴＤＶに最も低い優先度を割り当てる、請求項７に記載の方法。
【請求項９】
推定深度モードおよび精密深度モードのうちの１つを使用して、視差ベクトルの前記タイプのうちの少なくとも１つを決定することをさらに備え、
前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを復号することは、マージモードを使用してビデオデータの前記ブロックを復号することを備える、
請求項１に記載の方法。
【請求項１０】
前記動きベクトル予測プロセスはマージモードであり、前記方法は、
前記動きベクトル予測プロセスが前記視差ベクトル候補リストを使用して実行されるか、または前記動きベクトル候補リストを使用して実行されるかを示すフラグを受信すること、
をさらに備える、請求項１に記載の方法。
【請求項１１】
前記動きベクトル予測プロセスはアドバンスト動きベクトル予測（ＡＭＶＰ）モードであり、前記方法は、
参照ピクチャインデックスを受信することと、
前記受信された参照インデックスに基づいて、前記視差ベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきか、または前記動きベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきかを決定することと、
をさらに備える、請求項１に記載の方法。
【請求項１２】
マルチビュービデオデータを符号化する方法であって、
動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、
前記動き予測プロセスのための視差ベクトル候補リストを決定することと、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行することと、
を備える方法。
【請求項１３】
前記ＳＤＶは空間的に隣接するブロックの視差動きベクトルから導出され、前記ＴＤＶは時間的に隣接するブロックの視差動きベクトルから導出される、請求項１２に記載の方法。
【請求項１４】
前記視差ベクトル候補リストは、平滑化時間ビュー（ＳＴＶ：smooth temporal-view）視差ベクトルをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを符号化することは、アドバンスト動きベクトル予測（ＡＭＶＰ）モードを使用してビデオデータの前記ブロックを符号化することを備える、請求項１２に記載の方法。
【請求項１６】
前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを符号化することは、マージモードを使用してビデオデータの前記ブロックを符号化することを備える、請求項１２に記載の方法。
【請求項１７】
前記視差ベクトル候補リストを決定することは、優先プロセスを使用して前記視差ベクトル候補リストを決定することを備え、より高い優先度が割り当てられたすべての利用可能な視差ベクトルタイプは、比較的低い優先度が割り当てられた視差ベクトルタイプの前に、前記視差ベクトル候補リストの最大長に至るまで、前記視差ベクトル候補リストに追加される、請求項１２に記載の方法。
【請求項１８】
前記優先プロセスは前記ＳＤＶに最も高い優先度を割り当てる、請求項１７に記載の方法。
【請求項１９】
前記優先プロセスは、前記ＳＴＶ視差ベクトルに２番目に高い優先度を割り当て、前記ＶＤＶに３番目に高い優先度を割り当て、前記ＴＤＶに最も低い優先度を割り当てる、請求項１８に記載の方法。
【請求項２０】
推定深度モードおよび精密深度モードのうちの１つを使用して、視差ベクトルの前記タイプのうちの少なくとも１つを決定することをさらに備え、
前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを符号化することは、マージモードを使用してビデオデータの前記ブロックを符号化することを備える、
請求項１２に記載の方法。
【請求項２１】
前記動きベクトル予測プロセスはマージモードであり、前記方法は、
前記動きベクトル予測プロセスが前記視差ベクトル候補リストを使用して実行されるか、または前記動きベクトル候補リストを使用して実行されるかを示すフラグをシグナリングすること、
をさらに備える、請求項１２に記載の方法。
【請求項２２】
前記動きベクトル予測プロセスがアドバンスト動きベクトル予測（ＡＭＶＰ）モードであり、前記方法は、
前記視差ベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきか、または前記動きベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきかを示すための参照ピクチャインデックスをシグナリングすること、
をさらに備える、請求項１２に記載の方法。
【請求項２３】
マルチビュービデオデータを復号するように構成された装置であって、
動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、
前記動きベクトル予測プロセスのための視差ベクトル候補リストを決定することと、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行することと、
を行うように構成されたビデオデコーダ
を備える装置。
【請求項２４】
前記ＳＤＶは空間的に隣接するブロックの視差動きベクトルから導出され、前記ＴＤＶは時間的に隣接するブロックの視差動きベクトルから導出される、請求項２３に記載の装置。
【請求項２５】
前記視差ベクトル候補リストは、平滑化時間ビュー（ＳＴＶ：smooth temporal-view）視差ベクトルをさらに含む、請求項２３に記載の装置。
【請求項２６】
前記ビデオデコーダは、アドバンスト動きベクトル予測（ＡＭＶＰ）モードを使用してビデオデータの前記ブロックを復号することによって、前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを復号するように構成される、請求項２３に記載の装置。
【請求項２７】
前記ビデオデコーダは、マージモードを使用してビデオデータの前記ブロックを復号することによって、前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを復号するように構成される、請求項２３に記載の装置。
【請求項２８】
前記ビデオデコーダは、優先プロセスを使用することによって、前記視差ベクトル候補リストを決定するように構成され、より高い優先度が割り当てられたすべての利用可能な視差ベクトルタイプは、比較的低い優先度が割り当てられた視差ベクトルタイプの前に、前記視差ベクトル候補リストの最大長に至るまで、前記視差ベクトル候補リストに追加される、請求項２３に記載の装置。
【請求項２９】
前記優先プロセスは前記ＳＤＶに最も高い優先度を割り当てる、請求項２８に記載の装置。
【請求項３０】
前記優先プロセスは前記ＳＴＶ視差ベクトルに２番目に高い優先度を割り当て、前記ＶＤＶに３番目に高い優先度を割り当て、前記ＴＤＶに最も低い優先度を割り当てる、請求項２９に記載の装置。
【請求項３１】
前記ビデオデコーダは、
推定深度モードおよび精密深度モードのうちの１つを使用して、視差ベクトルの前記タイプのうちの少なくとも１つを決定することと、
マージモードを使用してビデオデータの前記ブロックを復号することと、
を行うようにさらに構成される、請求項２３に記載の装置。
【請求項３２】
前記動きベクトル予測プロセスはマージモードであり、前記ビデオデコーダは、
前記動きベクトル予測プロセスが前記視差ベクトル候補リストを使用して実行されるか、または前記動きベクトル候補リストを使用して実行されるかを示すフラグを受信する
ようにさらに構成される、請求項２３に記載の装置。
【請求項３３】
前記動きベクトル予測プロセスはアドバンスト動きベクトル予測（ＡＭＶＰ）モードであり、前記ビデオデコーダは、
参照ピクチャインデックスを受信することと、
前記受信された参照インデックスに基づいて、前記視差ベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきか、または前記動きベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきかを決定することと、
を行うようにさらに構成される、請求項２３に記載の装置。
【請求項３４】
マルチビュービデオデータを符号化するように構成された装置であって、
動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、
前記動き予測プロセスのための視差ベクトル候補リストを決定することと、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行することと、
を行うように構成されたビデオエンコーダ
を備える装置。
【請求項３５】
前記ＳＤＶは空間的に隣接するブロックの視差動きベクトルから導出され、前記ＴＤＶは時間的に隣接するブロックの視差動きベクトルから導出される、請求項３４に記載の装置。
【請求項３６】
前記視差ベクトル候補リストは、平滑化時間ビュー（ＳＴＶ：smooth temporal-view）視差ベクトルをさらに含む、請求項３４に記載の装置。
【請求項３７】
前記ビデオエンコーダは、アドバンスト動きベクトル予測（ＡＭＶＰ）モードを使用してビデオデータの前記ブロックを符号化することによって、前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを符号化するようにさらに構成される、請求項３４に記載の装置。
【請求項３８】
前記ビデオエンコーダは、マージモードを使用してビデオデータの前記ブロックを符号化することによって、前記動きベクトル予測プロセスを使用してビデオデータの前記ブロックを符号化するようにさらに構成される、請求項３４に記載の装置。
【請求項３９】
前記ビデオエンコーダは、優先プロセスを使用して前記視差ベクトル候補リストを決定することによって、前記視差ベクトル候補リストを決定するようにされに構成され、より高い優先度が割り当てられたすべての利用可能な視差ベクトルタイプは、比較的低い優先度が割り当てられた視差ベクトルタイプの前に、前記視差ベクトル候補リストの最大長に至るまで、前記視差ベクトル候補リストに追加される、請求項３４に記載の装置。
【請求項４０】
前記優先プロセスは前記ＳＤＶに最も高い優先度を割り当てる、請求項３９に記載の装置。
【請求項４１】
前記優先プロセスは、前記ＳＴＶ視差ベクトルに２番目に高い優先度を割り当て、前記ＶＤＶに３番目に高い優先度を割り当て、前記ＴＤＶに最も低い優先度を割り当てる、請求項４０に記載の装置。
【請求項４２】
前記ビデオエンコーダは、
推定深度モードおよび精密深度モードのうちの１つを使用して、視差ベクトルの前記タイプのうちの少なくとも１つを決定することと、
マージモードを使用してビデオデータの前記ブロックを符号化することと、
を行うようにさらに構成される、請求項３４に記載の装置。
【請求項４３】
前記動きベクトル予測プロセスはマージモードであり、前記ビデオエンコーダは、
前記動きベクトル予測プロセスが前記視差ベクトル候補リストを使用して実行されるか、または前記動きベクトル候補リストを使用して実行されるかを示すフラグをシグナリングする
ようにさらに構成される、請求項３４に記載の装置。
【請求項４４】
前記動きベクトル予測プロセスはアドバンスト動きベクトル予測（ＡＭＶＰ）モードであり、前記ビデオエンコーダは、
前記視差ベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきか、または前記動きベクトル候補リストを用いて前記動きベクトル予測プロセスを実行すべきかを示すための参照ピクチャインデックスをシグナリングする
ようにさらに構成される、請求項３４に記載の装置。
【請求項４５】
マルチビュービデオデータを復号するように構成された装置であって、
動きベクトル予測プロセスのための動きベクトル候補リストを決定する手段と、
前記動きベクトル予測プロセスのための視差ベクトル候補リストを決定する手段と、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行する手段と、
を備える装置。
【請求項４６】
マルチビュービデオデータを符号化するように構成された装置であって、
動きベクトル予測プロセスのための動きベクトル候補リストを決定する手段と、
前記動き予測プロセスのための視差ベクトル候補リストを決定する手段と、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行する手段と、
を備える装置。
【請求項４７】
実行されると、ビデオデータを復号するように構成されたデバイスの１つまたは複数のプロセッサに、
動きベクトル予測プロセスのための動きベクトル候補リストを決定させ、
前記動きベクトル予測プロセスのための視差ベクトル候補リストを決定させ、前記視差ベクトル候補リストが、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行させる
命令を記憶したコンピュータ可読記憶媒体。
【請求項４８】
実行されると、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、
動きベクトル予測プロセスのための動きベクトル候補リストを決定させ、
前記動き予測プロセスのための視差ベクトル候補リストを決定させ、前記視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
前記動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、前記視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して前記動きベクトル予測プロセスを実行させる、
命令を記憶したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【優先権の主張】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１２年１月６日に出願された米国仮出願第６１／５８４，０８９号の利益を主張する。
【技術分野】
【０００２】
本開示は、ビデオコーディングのための技法に関し、より詳細には、３Ｄビデオコーディングのための技法に関する。
【背景技術】
【０００３】
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ  １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）によって定義された規格、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
【０００４】
[0004]Ｈ．２６４／ＡＶＣを含む前述の規格のうちのいくつかの拡張は、ステレオまたは３次元（「３Ｄ」）ビデオを生成するためにマルチビュービデオコーディング用の技法を提供する。具体的には、マルチビューコーディング用の技法は、（Ｈ．２６４／ＡＶＣに対するスケーラブル拡張である）スケーラブルビデオコーディング（ＳＶＣ）規格、および（Ｈ．２６４／ＡＶＣに対するマルチビュー拡張になった）マルチビュービデオコーディング（ＭＶＣ）規格とともに、ＡＶＣにおいて使用するために提案されている。
【０００５】
[0005]一般に、ステレオビデオは、２つのビュー、たとえば左ビューと右ビューとを使用して実現される。左ビューのピクチャは右ビューのピクチャと実質的に同時に表示されて、３次元ビデオ効果を実現することができる。たとえば、ユーザは、左ビューを右ビューからフィルタ処理する偏光パッシブ眼鏡を装着することができる。代替的に、２つのビューのピクチャを間断なく見せることができ、ユーザは、同じ周波数だが９０度の位相シフトで左右の眼を迅速に閉じるアクティブ眼鏡を装着することができる。
【発明の概要】
【０００６】
[0006]概して、本開示では、３Ｄビデオコーディング用の技法について説明する。詳細には、本開示は、マルチビュープラス深度ビデオコーディングにおける多仮説視差ベクトル構成に関する。
【０００７】
[0007]本開示の一例では、マルチビュービデオデータを復号する方法は、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動きベクトル予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を備える。
【０００８】
[0008]本開示の別の例では、マルチビュービデオデータを符号化する方法は、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動き予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を備える。
【０００９】
[0009]本開示の別の例では、マルチビュービデオデータを復号するように構成された装置は、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動きベクトル予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を行うように構成されたビデオデコーダを備える。
【００１０】
[0010]本開示の別の例では、マルチビュービデオデータを符号化するように構成された装置は、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動き予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を行うように構成されたビデオエンコーダを備える。
【００１１】
[0011]本開示の別の例では、マルチビュービデオデータを復号するように構成された装置は、動きベクトル予測プロセスのための動きベクトル候補リストを決定する手段と、動きベクトル予測プロセスのための視差ベクトル候補リストを決定する手段と、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行する手段と、を備える。
【００１２】
[0012]本開示の別の例では、マルチビュービデオデータを符号化するように構成された装置は、動きベクトル予測プロセスのための動きベクトル候補リストを決定する手段と、動き予測プロセスのための視差ベクトル候補リストを決定する手段と、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行する手段と、を備える。
【００１３】
[0013]本開示の別の例では、実行されると、マルチビュービデオデータを復号するように構成されたデバイスの１つまたは複数のプロセッサに、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動きベクトル予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を行わせる命令を記憶したコンピュータ可読記憶媒体。
【００１４】
[0014]本開示の別の例では、実行されると、構成されたデバイスの１つまたは複数のプロセッサに、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動き予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を行わせる命令を記憶したコンピュータ可読記憶媒体。
【００１５】
[0015]１つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１６】
【図１】本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図２】例示的なマルチビュー復号順序を示す概念図。
【図３】マルチビューコーディングのための例示的な予測構造を示す概念図。
【図４】動きベクトル予測プロセスのための候補ブロックを示す概念図。
【図５】ランダムアクセスユニットの第１の依存ビューをコーディングした後の最初の深度マップ推定値の生成を示す概念図。
【図６】同じアクセスユニットのすでにコーディングされたビューの動きパラメータを使用した現在ピクチャの深度マップ推定値の導出を示す概念図。
【図７】コーディングされた動きベクトルと視差ベクトルとに基づいて依存ビューの深度マップ推定値を更新するためのプロセスを示す概念図。
【図８】本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。
【図９】本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。
【図１０】本開示の技法による例示的な復号方法を示すフローチャート。
【図１１】本開示の技法による例示的な符号化方法を示すフローチャート。
【発明を実施するための形態】
【００１７】
[0027]概して、本開示では、高効率ビデオコーディング（ＨＥＶＣ）コーデックを用いた２つ以上のビューのコーディングを含む、アドバンストコーデックに基づくマルチビュー（たとえば、３Ｄ）ビデオコーディング用の技法について説明する。いくつかの例では、（３ＤＶまたは３Ｄ−ＨＥＶＣと呼ばれることがある）ＨＥＶＣベースのマルチビュープラス深度ビデオコーディングにおける視差ベクトル構成に関する技法が提案されている。しかしながら、本開示の技法は一般的に、マルチビュープラス深度を使用するＨ．２６４／アドバンストビデオコーディング（ＡＶＣ）技法を含む任意のマルチビュープラス深度ビデオコーディング技法に適用可能であり得る。
【００１８】
[0028]本開示は、深度マップを用いたピクチャの２つ以上のビューのコーディングを含む、アドバンストコーデックに基づく３Ｄビデオコーディングに関する。Ｈ．２６４／ＡＶＣ技法の３Ｄビデオコーディング技法について最初に説明する。ただし、本開示の技法は、３Ｄコーディングとビュー合成予測とをサポートする任意のビデオコーディング規格に適用可能であり得る。
【００１９】
[0029]他のビデオコーディング規格には、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、ならびに、そのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）の拡張を含む（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られている）ＩＴＵ−Ｔ  Ｈ．２６４が含まれる。ＭＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。加えて、新しいビデオコーディング規格、すなわち高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｏｎ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって現在開発されている。ＨＥＶＣの１つのワーキングドラフト（ＷＤ）は、ＪＣＴＶＣ−Ｇ１１０３、「ＷＤ５：Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ５  ｏｆ  Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」、第７回会議：ジュネーブ、スイス、２０１１年１１月２１〜３０日に記載されている。ＨＥＶＣのより最近のＷＤは、ＪＣＴＶＣ−Ｋ１００３、「Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ９」、第１１回会議：中国、上海、２０１２年１０月１０〜１９日に記載されており、２０１２年１２月１７日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴＶＣ−Ｋ１００３−ｖ１２．ｚｉｐでダウンロード可能であり、その内容全体は参照により本明細書に組み込まれる。
【００２０】
[0030]以下でより詳細に説明するように、マルチビュープラス深度拡張を含むＨＥＶＣのマルチビュー拡張に関する現在の提案は、動きベクトル予測に使用される候補リストにおいて視差ベクトルと動きベクトルの両方の使用を可能にする。しかしながら、そのような提案は、シグナリングの非効率性の点での欠点、ならびに深度値が視差ベクトルから計算される状況における潜在的な誤差伝搬の問題をもたらす。これらの欠点を考慮して、本開示では、動きベクトル予測のための候補リストにおいて複数のタイプの視差ベクトルを使用する（すなわち、多仮説視差ベクトル構成（multi-hypothesis disparity vector construction））ための技法について説明する。
【００２１】
[0031]図１は、本開示で説明する多仮説視差ベクトル構成のための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【００２２】
[0032]宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【００２３】
[0033]代替的に、符号化データは、出力インターフェース２２からストレージデバイス３２に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス３２からアクセスされ得る。ストレージデバイス３２は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３２は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３２から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイス３２からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
【００２４】
[0034]多仮説視差ベクトル構成のための本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエア（over-the-air）テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００２５】
[0035]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
【００２６】
[0036]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して、宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３２上に記憶され得る。
【００２７】
[0037]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３２上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０など、ビデオデコーダが使用するためのビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
【００２８】
[0038]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００２９】
[0039]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格など、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。具体的には、いくつかの例では、ビデオエンコーダ２０およびビデオデコーダは、（３ＤＶまたは３Ｄ−ＨＥＶＣと呼ばれることがある）マルチビュープラス深度ビデオコーディングをサポートするＨＥＶＣの拡張に従って動作し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ  １０、アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ  Ｈ．２６３がある。具体的には、本開示の技法によれば、ビデオエンコーダ２０およびビデオデコーダ３０は、３ＤＶおよび/またはマルチビュー符号化が可能なビデオコーディング規格（たとえば、３Ｄ−ＨＥＶＣ、Ｈ．２６４／ＭＶＣなど）に従って動作し得る。
【００３０】
[0040]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００３１】
[0041]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれてよく、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。
【００３２】
[0042]以下でより詳細に説明する本開示の例によれば、図１のビデオデコーダ３０は、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動きベクトル予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を行うように構成され得る。
【００３３】
[0043]同様に、本開示の別の例では、図１のビデオエンコーダ２０は、動きベクトル予測プロセスのための動きベクトル候補リストを決定することと、動き予測プロセスのための視差ベクトル候補リストを決定することと、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含み、
動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと、を行うように構成され得る。
【００３４】
[0044]最初に、Ｈ．２６４／アドバンストビデオコーディング（ＡＶＣ）規格の拡張のマルチビュービデオコーディング技法について説明する。ただし、本開示の技法は、新生のＨＥＶＣ規格（たとえば、３Ｄ−ＨＥＶＣ）のためのマルチビュー提案を含む、３Ｄコーディングとビュー合成予測とをサポートする任意のビデオコーディング規格に適用可能であり得る。
【００３５】
[0045]マルチビュービデオコーディング（ＭＶＣ）は、Ｈ．２６４／ＡＶＣの拡張である。典型的なＭＶＣ復号順序（すなわち、ビットストリーム順序）を図２に示す。復号順序の構成はタイムファーストコーディング（time-first coding）と呼ばれる。アクセスユニットの復号順序は、出力または表示順序と同一ではない場合があることに留意されたい。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８はそれぞれ、１つの出力時間インスタンスを表す。アクセスユニットは、１つの出力時間インスタンスに対するすべてのビューのコーディングされたピクチャを含み得る。たとえば、第１のアクセスユニットは時間インスタンスＴ０に対するビューＳ０〜Ｓ７のすべてを含み得、第２のアクセスユニットは時間インスタンスＴ１に対するビューＳ０〜Ｓ７のすべてを含み得る、などである。
【００３６】
[0046]簡潔にするために、本開示は以下の定義を使用し得る。
【００３７】
ビュー構成要素：単一のアクセスユニット中のビューのコード化表現。ビューが、コード化テクスチャ表現とコード化深度表現の両方を含むとき、ビュー構成要素は、テクスチャビュー構成要素および深度ビュー構成要素からなる。
【００３８】
テクスチャビュー構成要素：単一のアクセスユニット中のビューのテクスチャのコード化表現。
【００３９】
深度ビュー構成要素：単一のアクセスユニット中のビューの深度のコード化表現。
【００４０】
[0047]図２では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含む、などである。各セットは２つのピクチャを含み、一方のピクチャはテクスチャビュー構成要素と呼ばれ、他方のピクチャは深度ビュー構成要素と呼ばれる。ビューのピクチャのセット内のテクスチャビュー構成要素および深度ビュー構成要素は、互いに対応すると見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビュー構成要素は、そのビューのピクチャのセット内の深度ビュー構成要素に対応すると見なされ、その逆も同様である（すなわち、深度ビュー構成要素はセット中のそのテクスチャビュー構成要素に対応し、その逆も同様である）。本開示で使用する場合、深度ビュー構成要素に対応するテクスチャビュー構成要素はテクスチャビュー構成要素と見なされ得、深度ビュー構成要素は単一のアクセスユニットの同じビューの一部である。
【００４１】
[0048]テクスチャビュー構成要素は、表示される実際の画像コンテンツを含む。たとえば、テクスチャビュー構成要素は、ルーマ（Ｙ）成分と、クロマ（ＣｂおよびＣｒ）成分とを含み得る。深度ビュー構成要素は、それに対応するテクスチャビュー構成要素中のピクセルの相対深度を示し得る。一例として、深度ビュー構成要素は、ルーマ値のみを含むグレースケール画像である。言い換えれば、深度ビュー構成要素は、任意の画像コンテンツを伝達するのではなく、テクスチャビュー構成要素中のピクセルの相対深度の測定値を与え得る。
【００４２】
[0049]たとえば、深度ビュー構成要素中の純白のピクセルは、対応するテクスチャビュー構成要素中のそれに対応する１つまたは複数のピクセルがビューアから見てより近いことを示し、深度ビュー構成要素中の純黒のピクセルは、対応するテクスチャビュー構成要素中のそれに対応する１つまたは複数のピクセルがビューアから見てより遠いことを示す。黒と白との間のグレーの様々な色合いは、様々な深度レベルを示す。たとえば、深度ビュー構成要素中の濃いグレーのピクセルは、テクスチャビュー構成要素中のそれに対応するピクセルが、深度ビュー構成要素中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するのにグレースケールのみが必要になるので、深度ビュー構成要素の色値はいかなる目的も果たし得ないことから、深度ビュー構成要素はクロマ成分を含める必要がない。
【００４３】
[0050]深度を識別するのにルーマ値（たとえば、輝度）のみを使用する深度ビュー構成要素は説明のために与えられ、限定するものと見なされるべきではない。他の例では、テクスチャビュー構成要素中のピクセルの相対深度を示すために任意の技法が利用され得る。
【００４４】
[0051]マルチビュービデオコーディングのための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を図３に示す。予測方向は矢印によって示され、矢印の終点のオブジェクトは、予測参照として矢印の始点のオブジェクトを使用する。ＭＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして使用されることを可能にする視差動き補償により、ビュー間予測がサポートされる。
【００４５】
[0052]図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ５」を有する）６つのビューが示され、各ビューについて１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）が示されている。すなわち、図３中の各行はビューに対応し、各列は時間ロケーションを示す。
【００４６】
[0053]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがＭＶＣによってサポートされ得るが、ＭＶＣの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートすることができることである。ＭＶＣデコーダを有するクライアントのレンダラは、複数のビューを用いて３Ｄビデオコンテンツを予想し得る。
【００４７】
[0054]図３中のピクチャは、各行と各列の交点に示されている。Ｈ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得る。本開示では、ピクチャおよびフレームという用語を互換的に使用し得る。
【００４８】
[0055]図３中のピクチャは、対応するピクチャがイントラコード化される（すなわち、Ｉピクチャである）のか、または一方向に（すなわち、Ｐピクチャとして）インターコード化されるのか、複数の方向に（すなわち、Ｂピクチャとして）インターコード化されるのかを指定する文字を含むブロックを使用して示される。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。
【００４９】
[0056]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに関して予測符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のｂピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのｂピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビュー構成要素は、参照のために他のビュー中のビュー構成要素を使用することができる。ＭＶＣでは、たとえば、別のビュー中のビュー構成要素がインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。ビュー間予測は、３Ｄ−ＨＥＶＣ（マルチビュープラス深度）を含むＨＥＶＣの提案されたマルチビュー拡張の機能でもある。
【００５０】
[0057]図３は、ビュー間予測の様々な例を提供する。図３の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにあるピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のｂピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のｂピクチャから予測される。
【００５１】
[0058]いくつかの例では、図３はテクスチャビュー構成要素を示すものとして見られ得る。たとえば、図２に示すＩピクチャ、Ｐピクチャ、Ｂピクチャ、およびｂピクチャは、ビューの各々のテクスチャビュー構成要素と見なされ得る。本開示で説明する技法によれば、図３に示すテクスチャビュー構成要素の各々について、対応する深度ビュー構成要素がある。いくつかの例では、深度ビュー構成要素は、対応するテクスチャビュー構成要素について図３に示す方法に類似した方法で予測され得る。
【００５２】
[0059]２つのビューのコーディングもＭＶＣによってサポートされ得る。ＭＶＣの利点の１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとることができ、また、ＭＶＣデコーダがそのようなマルチビュー表現を復号することができることである。したがって、ＭＶＣデコーダを有する任意のレンダラは、３つ以上のビューを有する３Ｄビデオコンテンツを復号し得る。
【００５３】
[0060]上記で説明したように、ＭＶＣでは、ビュー間予測は同じアクセスユニット中の（すなわち、場合によっては、同じ時間インスタンスを有する）ピクチャ間で可能になる。非ベースビューのうちの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンス内にある場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャと同様に、参照ピクチャリストの任意の位置に置かれ得る。図３に示すように、ビュー構成要素は、参照のために他のビュー中のビュー構成要素を使用することができる。ＭＶＣでは、別のビュー中のビュー構成要素がインター予測参照であるかのように、ビュー間予測が実現される。
【００５４】
[0061]本開示による多仮説視差ベクトル構成のための技法は、視差ベクトルを利用する任意のマルチビューまたは３Ｄビデオコーディング規格に適用可能であり得る。本開示のいくつかの例では、多仮説視差ベクトル構成技法は、新生のＨＥＶＣ規格（たとえば、３Ｄ−ＨＥＶＣ）のマルチビュー拡張とともに使用され得る。本開示の以下のセクションでは、ＨＥＶＣ規格の背景を与える。
【００５５】
[0062]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。
【００５６】
[0063]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
【００５７】
[0064]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、概して、コーディングノードのサイズに対応し、一般に、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。
【００５８】
[0065]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。
【００５９】
[0066]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、そのＰＵについてのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、そのＰＵについての動きベクトルを定義するデータを含み得る。ＰＵについての動きベクトルを定義するデータは、たとえば、予測方向によって示され得る、当該動きベクトルの水平成分、当該動きベクトルの垂直成分、当該動きベクトルの解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、当該動きベクトルが指す参照ピクチャ、および／または当該動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。
【００６０】
[0067]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）も含み得る。予測に続いて、ビデオエンコーダ２０は、ＰＵに従ってコーディングノードによって識別されたビデオブロックから残差値を計算し得る。コーディングノードは、次いで、元のビデオブロックではなく残差値を参照するように更新される。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するためにＴＵ中で指定された変換と他の変換情報とを使用して変換係数に変換され、量子化され、走査され得る。コーディングノードは、これらのシリアル化変換係数を参照するように、もう一度更新され得る。本開示では、一般に、ＣＵのコーディングノードを指す「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指す「ビデオブロック」という用語も使用し得る。
【００６１】
[0068]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、サイズを固定することも変更することもでき、指定のコーディング規格に応じてサイズが異なることがある。
【００６２】
[0069]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵとで水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００６３】
[0070]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ここでＮは非負整数値を表す。ブロック中のピクセルは行と列で構成され得る。さらに、ブロックは、必ずしも、水平方向に垂直方向と同じ数のピクセルを有する必要はない。たとえば、ブロックはＮ×Ｍピクセルを備えてよく、ただし、Ｍは必ずしもＮに等しいとは限らない。
【００６４】
[0071]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ２０は、ＣＵのＴＵによって指定された変換が適用される残差データを計算し得る。残差データは、符号化されていないピクチャのピクセルと、ＣＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを形成し、次いで、残差データを変換して、変換係数を生成し得る。
【００６５】
[0072]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、さらなる圧縮を提供する、係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。
【００６６】
[0073]いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
【００６７】
[0074]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられるコンテキストに基づき得る。
【００６８】
[0075]ＨＥＶＣ  ＷＤ９では、インター予測で使用される動きパラメータの予測のための２つのモードがある。一方のモードはマージモードであり、他方のモードはアドバンスト動きベクトル予測（ＡＭＶＰ）モードである。マージモードとＡＭＶＰモードの両方は、（それぞれ、一般的に「ＲｅｆＰｉｃＬｉｓｔ０」および「ＲｅｆＰｉｃＬｉｓｔ１」と示される）参照ピクチャリスト０および１のための候補リストを作製する。
【００６９】
[0076]動きパラメータのコーディングに使用されるべきＡＭＶＰモードおよびマージモードの候補は、現在ブロック（たとえば、予測ユニット（ＰＵ））に対する隣接する空間ブロックと時間ブロックとからのものである。図４は、マージモードおよびＡＭＶＰモードのための例示的な候補隣接ブロック（すなわち、候補リスト）を示す概念図である。図４に示すように、現在ＰＵ２５０は空間的に隣接するブロック２５２Ａ〜Ｅのうちの１つからの動き情報を使用し得る。さらに、マージモードおよびＡＭＶＰモードのための候補リストは異なるピクチャ中の時間的にコロケートされたブロック２５２Ｆをも含み得る。図４に示す候補ブロックの数および位置は一例にすぎない。候補ブロックの異なる数および位置が使用され得る。いくつかの例では、マージモードおよびＡＭＶＰモードは固定長の候補リストを有する。いくつかの例では、マージおよびＡＭＶＰのための候補リストの長さは異なっていてもよい。たとえば、マージモードは５つの候補ブロックを使用してもよく、ＡＭＶＰは６つの候補ブロックを使用してもよい。
【００７０】
[0077]ＡＭＶＰモードでは、どの動きベクトルが許容できるレートひずみ性能（たとえば、何らかの閾値よりも良いレートひずみ性能）をもたらすかを決定するために、隣接する候補ブロックの動きベクトルがチェックされる。次いで、動きベクトル差分（ＭＶＤ）を作成するために、隣接する候補ブロックの動きベクトルが現在ブロックの動きベクトルから減算される。ＭＶＤは次いで、候補ブロックインデックス（ｍｖｐ＿ｉｄｘ）、ＭＶＤ、および現在ブロックの動きベクトルの参照ピクチャインデックスとともに、符号化ビットストリーム中でシグナリングされる。さらに、予測方向（たとえば、単方向または双方向）がシグナリングされ、それによって参照ピクチャがリスト０にあるかリスト１にあるかをシグナリングし得る。
【００７１】
[0078]マージモードでは、現在予測ユニット（ＰＵ）が選択された候補の参照インデックス値を共有するので、参照インデックス値はシグナリングされない。すなわち、マージモードでは、レートひずみ基準を満たす候補ブロックが選択されると、候補ブロックのインデックスのみがシグナリングされる。デコーダにおいて、候補ブロックの動き情報（すなわち、動きベクトル、参照インデックス、および予測方向）は現在ブロックの動き情報として使用される。マージモードでは、１つのみの候補リストが作成される。
【００７２】
[0079]マージモードおよびＡＭＶＰモードのためのシンタックスについて以下で説明する。マージモードでは、マージモード候補リストから候補を選択するためにｍｅｒｇｅ＿ｉｄｘが使用される。ＡＭＶＰモードでは、ＡＭＶＰ候補リストから候補を選択するためにｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１およびｍｖｐ＿ｉｄｘ＿ｌｃが使用される。マージモードとＡＭＶＰモードの両方のエントリの数は固定されている。コーディングユニット（ＣＵ）シンタックスを表１に示し、ＰＵシンタックスを表２に示す。
【表１−１】
2015507883.tif 000003
【表１−２】
2015507883.tif 000004
【表２−１】
2015507883.tif 000005
【表２−２】
2015507883.tif 000006
【００７３】
上記のシンタックスの説明はＨＥＶＣ  ＷＤ９に見出され得る。
【００７４】
[0080]次のセクションでは、ＨＥＶＣに関するマルチビューおよび３Ｄビデオコーディングについて説明する。具体的には、本開示の技法は、各々がテクスチャビュー構成要素と深度ビュー構成要素とを有する２つ以上のビューをコーディングするときに適用可能である。各ビューの複数のビデオピクチャはテクスチャビュー構成要素と呼ばれ得る。各テクスチャビュー構成要素は対応する深度ビュー構成要素を有する。テクスチャビュー構成要素はビデオコンテンツ（たとえば、ピクセル値のルーマ成分およびクロマ成分）を含み、深度ビュー構成要素はテクスチャビュー構成要素内のピクセルの相対深度を示し得る。
【００７５】
[0081]本開示の技法は、テクスチャデータと深度データとをコーディングすることによって３Ｄビデオデータをコーディングすることに関する。概して、「テクスチャ」という用語は、画像のルミナンス（すなわち、輝度または「ルーマ」）値と画像のクロミナンス（すなわち、色または「クロマ」）値とを説明するために使用される。いくつかの例では、テクスチャ画像は、１セットのルミナンスデータと、青色相（Ｃｂ）および赤色相（Ｃｒ）のための２セットのクロミナンスデータとを含み得る。４：２：２または４：２：０などの特定のクロマフォーマットでは、クロマデータはルーマデータに関してダウンサンプリングされる。すなわち、クロミナンスピクセルの空間解像度は対応するルミナンスピクセルの空間解像度よりも低く、たとえば、ルミナンス解像度の１／２または１／４である。
【００７６】
[0082]深度データは、概して、対応するテクスチャデータの深度値を記述する。たとえば、深度画像は、各々が対応するテクスチャデータの深度を記述する深度ピクセルのセットを含み得る。深度データは、対応するテクスチャデータの水平視差を決定するために使用され得る。したがって、テクスチャデータと深度データとを受信するデバイスは、一方のビュー（たとえば、左眼ビュー）のための第１のテクスチャ画像を表示し、また、深度データを使用して、第１の画像のピクセル値を深度値に基づいて決定された水平視差値だけオフセットすることによって、他方のビュー（たとえば、右眼ビュー）のための第２のテクスチャ画像を生成するために第１のテクスチャ画像を変更し得る。概して、水平視差（または単に「視差」）は、第２のビュー中の対応するピクセルに対する第１のビュー中のピクセルの水平空間オフセットについて記述するものであり、ここで２つのピクセルは２つのビュー中で表される同じオブジェクトの同じ部分に対応する。
【００７７】
[0083]さらに他の例では、画像プレーンに直交するｚ次元におけるピクセルについて深度データが定義され得、その結果として、画像について定義されたゼロ視差プレーンに対する所与のピクセルに関連する深度が定義される。そのような深度は、ピクセルを表示するための水平視差を作成するために使用され得、その結果として、ピクセルは、ゼロ視差プレーンに対するピクセルのｚ次元深度値に応じて、左眼と右眼で異なるように表示される。ゼロ視差プレーンはビデオシーケンスの異なる部分に対して変化し得、ゼロ視差プレーンに対する深度の量も変化し得る。ゼロ視差プレーン上に配置されたピクセルは左眼および右眼に対して同様に定義され得る。ゼロ視差プレーンの前に配置されたピクセルは、ピクセルが画像プレーンに直交するｚ方向の画像から出てくるように見える知覚を作成するように、（たとえば、水平視差を用いて）左眼および右眼に対して異なるロケーションで表示され得る。ゼロ視差プレーンの後に配置されたピクセルは、深度のわずかな知覚を提示するために、わずかなぼかしとともに表示され得るか、または（たとえば、ゼロ視差プレーンの前に配置されたピクセルの水平視差とは反対の水平視差を用いて）左眼および右眼に対して異なるロケーションで表示され得る。他の多くの技法も、画像の深度データを伝達または定義するために使用され得る。
【００７８】
[0084]深度ビュー構成要素中の各ピクセルについて、テクスチャビュー構成要素中の１つまたは複数の対応するピクセルがあり得る。たとえば、深度ビュー構成要素の空間解像度とテクスチャビュー構成要素の空間解像度が同じである場合、深度ビュー構成要素中の各ピクセルはテクスチャビュー構成要素中の１つのピクセルに対応する。深度ビュー構成要素の空間解像度がテクスチャビュー構成要素の空間解像度よりも小さい場合、深度ビュー構成要素中の各ピクセルはテクスチャビュー構成要素中の複数のピクセルに対応する。深度ビュー構成要素中のピクセルの値は、テクスチャビュー中の対応する１つまたは複数のピクセルの相対深度を示し得る。
【００７９】
[0085]いくつかの例では、ビデオエンコーダは、ビューの各々のテクスチャビュー構成要素と対応する深度ビュー構成要素とのビデオデータをシグナリングする。ビデオデコーダはテクスチャビュー構成要素と深度ビュー構成要素との両方のビデオデータを利用して、表示するためのビューのビデオコンテンツを復号する。ディスプレイは次いで、マルチビュービデオを表示して、３Ｄビデオを生成する。
【００８０】
[0086]３Ｄ−ＨＥＶＣにおいて時間またはビュー間動き予測を実行する際に、ＡＭＶＰを含む動きベクトル予測を使用することが提案されている。両方とも参照により本明細書に組み込まれる、２０１１年２月２３日に出願された米国仮特許出願第６１／４７７，５６１号および２０１１年７月２８日に出願された米国仮特許出願第６１／５１２，７６５号では、異なるタイプに属する動きベクトル（たとえば、法線動きベクトルおよび視差ベクトル）が２つのカテゴリとして見なされることが提案された。視差ベクトルは、１つのビュー中のビデオブロック（たとえば、テクスチャビュー構成要素中のブロック）と別のビュー中のビデオブロックとの間の差分を表す。視差ベクトルは、（視差補償予測（disparity compensated prediction）と呼ばれることがある）ビュー間補償で使用され得る。一般に、視差ベクトルは同じ時間インスタンスにおける異なるビュー中のブロック間で計算される。一方のカテゴリにおけるベクトル、たとえば、法線動きベクトルは、他方のカテゴリのベクトル、たとえば、視差ベクトルに合わせてスケーリングまたはマッピングしない。これは、視差ベクトルが動きベクトルに合わせてスケーリングしないこと、また、その逆も同様であることを意味する。事実上、現在コーディングされているブロックのベクトルに対応する最終参照インデックスが１つのタイプ（たとえば、視差ベクトルまたは動きベクトル）を指す場合、他のタイプに属するＡＭＶＰリストまたはマージリスト中の候補は使用されない。
【００８１】
[0087]ＡＭＶＰモードとマージモードの両方において、空間候補または時間候補は、それが視差ベクトルを含む場合、他の候補と同様に扱われる。ただし、ビュー間動き予測から予測された新しい候補もリストに追加され得る。ビュー間動き予測は、異なるビューからの動きベクトルが現在ブロック（たとえば、予測ユニット）にマッピングされる場合、やはり実現され得る。
【００８２】
[0088]３Ｄ−ＨＥＶＣの以前のバージョンでは、視差ベクトルを構成するための２つの方法が提案された。一方の提案された方法は、深度ビュー構成要素から直接視差ベクトルを取得することである。この方法は、テクスチャの復号が深度マップの復号に依存することを必要とする。したがって、ステレオまたはマルチビュー（テクスチャのみ）サブビットストリームが抽出されないことがある。この方法は精密深度モード（Ａｃｃｕｒａｔｅ  Ｄｅｐｔｈ  Ｍｏｄｅ）と呼ばれることがある。他方の提案された方法は、視差ベクトルおよび動きベクトルのみから、各ピクセルに対する視差ベクトルを生成する。このモードは推定深度モード（Ｅｓｔｉｍａｔｅｄ  Ｄｅｐｔｈ  Ｍｏｄｅ）と呼ばれることがある。
【００８３】
[0089]ランダムアクセスユニットでは、ベースビューピクチャのすべてのブロックがイントラコード化される。ベースビューピクチャは、他のビューを予測するために使用されるビュー中のピクチャである。依存ビューのピクチャでは、大半のブロックは一般に、視差補償予測（ＤＣＰ：Disparity Compensation Prediction）を使用してコーディングされ、残りのブロックはイントラコード化される。したがって、依存ビューピクチャはベースビューまたは別の依存ビューから予測される。ランダムアクセスユニット中の第１の依存ビューをコーディングするとき、深度情報または視差情報は利用できない。したがって、候補視差ベクトルは、局所近傍を使用して、すなわち、従来の動きベクトル予測によって導出される。ただし、ランダムアクセスユニット中の第１の依存ビューをコーディングした後、送信された視差ベクトルは、図５に示すように、深度マップ推定値を導出するために使用され得る。
【００８４】
[0090]図５は、ランダムアクセスユニットの第１の依存ビューをコーディングした後の最初の深度マップ推定値の生成を示す概念図である。ＤＣＰに使用される視差ベクトル３６および３８は深度値に変換され、視差補償ブロックのすべての深度サンプルは導出された深度値と等しく設定される。イントラコード化ブロックの深度サンプルは、隣接ブロックの深度サンプルに基づいて、ビデオデコーダ３０によって導出される。この導出に使用されるアルゴリズムは空間イントラ予測と類似している。３つ以上のビューがコーディングされる場合、取得された深度マップは、上記で説明した方法を使用して、ビデオデコーダ３０によって他のビューにマッピングされ、候補視差ベクトルを導出するための深度マップ推定値として使用され得る。
【００８５】
[0091]ランダムアクセスユニット中の第１の依存ビューのピクチャに対する深度マップ推定値は、第１の依存ビューの次のピクチャに対する深度マップを導出するために、ビデオデコーダ３０によって使用される。アルゴリズムの基本原理を図６に示す。図６は、同じアクセスユニットのすでにコーディングされたビューの動きパラメータを使用した現在ピクチャの深度マップ推定値の導出（ｔ１におけるテクスチャマップ）を示す概念図である。
【００８６】
[0092]時間ｔ０においてランダムアクセスユニット中の第１の依存ビュー（ビュー１）のピクチャをコーディングした後、（図５に示すものなどの）導出された深度マップが、ビデオデコーダ３０によって、ベースビュー（ビュー０）にマッピングされ、再構成されたピクチャとともに記憶される。ベースビューの次のピクチャは一般にインターコード化される。たとえば、図１に示すように、時間ｔ１におけるビュー０テクスチャマップ中のブロックは動き補償を使用してインターコード化される。ＭＣＰ（動き補償予測（Motion Compensation Prediction））を使用してコーディングされた各ブロックについて、関連する動きパラメータは、ビデオデコーダ３０によって、深度マップ推定値に適用される。ビデオデコーダ３０は次いで、関連するテクスチャブロックに関して同じ動きパラメータを用いるＭＣＰによって、深度マップサンプルの対応するブロックを取得する。再構成されたビデオピクチャを使用する代わりに、関連する深度マップ推定値が参照ピクチャとして使用される。動き補償を簡略化し、新しい深度マップ値の生成を回避するために、深度ブロックのためのＭＣＰプロセスはいかなる補間も伴わない。ビデオデコーダ３０は、動きベクトルが使用される前に、動きベクトルをサンプル精度に丸める。ビデオデコーダ３０は次いで、隣接する深度マップサンプルに基づいて、イントラコード化ブロックの深度マップサンプルを決定する。最後に、ビデオデコーダ３０は、第１の依存ビューに対する深度マップ推定値を導出し、深度マップ推定値は、ベースビューに対する取得された深度マップ推定値を第１の依存ビューにマッピングすることによって、動きパラメータのビュー間予測に使用される。
【００８７】
[0093]第１の依存ビューの第２のピクチャをコーディングした後、深度マップの推定値は、図７に示すように、ビデオデコーダ３０によって、実際にコーディングされた動きベクトルと視差ベクトルとに基づいて更新される。図７は、コーディングされた動きベクトルと視差ベクトルとに基づいて依存ビューの深度マップ推定値を更新するためのプロセスを示す概念図である。ＤＣＰを使用してコーディングされたブロックについて、ビデオデコーダ３０は、図５に示すように、視差ベクトルを深度値に変換することによって、深度マップサンプルを取得する。ＭＣＰを使用してコーディングされたブロックの深度マップサンプルは、ベースビューの場合と同様の方法で、以前に推定された深度マップのＭＣＰによって取得され得る。潜在的な深度の変化を考慮するために、深度補正を追加することによって、新しい深度値がビデオデコーダ３０によって決定される機構が実装され得る。深度補正は、現在ブロックの動きベクトルとベースビューの対応する参照ブロックとの間の差分を深度差分に変換することによって導出される。ビデオデコーダ３０は再び、空間予測によってイントラコード化ブロックの深度値を決定する。ビデオデコーダ３０は更新された深度マップをベースビューにマッピングし、再構成されたピクチャとともに記憶される。更新された深度マップは、同じアクセスユニット中の他のビューの深度マップ推定値を導出するためにも使用され得る。
【００８８】
[0094]すべての後続のピクチャについて、説明したプロセスが繰り返される。ベースビューピクチャをコーディングした後、ビデオデコーダ３０は、送信された動きパラメータを使用するＭＣＰによって、ベースビューピクチャの深度マップ推定値を決定する。この推定値は第２のビューにマッピングされ、動きパラメータのビュー間予測に使用される。第２のビューのピクチャをコーディングした後、ビデオデコーダ３０は実際に使用されたコーディングパラメータを使用して深度マップ推定値を更新する。次のランダムアクセスユニットにおいて、ビュー間動きパラメータ予測は使用されず、ランダムアクセスユニットの第１の依存ビューをコーディングした後、深度マップは上記で説明したように再初期化される。
【００８９】
[0095]上記の方法によって生成された視差ベクトルは平滑化時間ビュー予測（ＳＴＶ：Smooth Temporal-View）視差ベクトルと呼ばれる。ＡＭＶＰモードとマージモードの両方において、空間候補または時間候補は、それが視差ベクトルを含む場合、その他の候補と同様に扱われる。ただし、ビュー間動き予測から予測された新しい候補もリストに追加される。ＳＴＶ視差ベクトルは主に、ビュー間動き予測に使用される。ビュー間動き予測から生成された候補は、法線時間ベクトルのみ、視差ベクトルのみ、または法線ベクトルと視差ベクトルの両方を含み得る。ただし、そのような候補はＡＭＶＰリストまたはマージリストに追加される。この候補について、この候補が視差ベクトルを含む場合、この候補はＳＴＶ視差ベクトルに設定される。
【００９０】
[0096]現在提案されている３Ｄ−ＨＥＶＣ設計は、参照インデックスが異なるビュー中のピクチャを指すとき、動きベクトル予測プロセスに関するいくつかの欠点をもたらす。１つの例示的な欠点として、ＳＴＶ視差ベクトルは、特に時間誤差伝搬と一方のビューから他方のビューに視差ベクトルをマッピングするときにもたらされる誤差とにより、不正確である可能性がある。
【００９１】
[0097]別の例示的な欠点として、ビュー間予測が使用されるとき、マージモードまたはＡＭＶＰモードのいずれかの場合、２つのタイプに属する候補が同じ候補リスト中にあり得る。この状況は、ＡＭＶＰリストに対するインデックス値（ｍｖｐ＿ｉｄｘ＿ｌｘ）の非効率的なシグナリング、また、それほどではないが、マージリストに対するインデックス値（ｍｅｒｇｅ＿ｉｄｘ）の非効率的なシグナリングをもたらす可能性がある。ＡＭＶＰモードでは、参照ピクチャがビュー間参照であることを参照インデックスが示すときでも、ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１またはｍｖｐ＿ｉｄｘ＿ｌｃは、このインデックスに対して（一例として）４つ以上の候補があると仮定してシグナリングされる。ただし、参照ピクチャがビュー間参照であるとき、インデックスをシグナリングするために使用される潜在的なビットはより小さい場合があり、または場合によっては、ビュー間参照ピクチャに対応するより多くのエントリが候補リストに挿入され得る。そのため、純粋に法線動きベクトルに使用されるリスト中のビュー間候補をＨＥＶＣのコンテキストにおいて維持することは、あまり効率的でないことがある。
【００９２】
[0098]別の例示的な欠点として、視差ベクトルを導出して、ブロックの視差ベクトルを予測するか、異なるビューから動きベクトルを得るために、ピクセルごとの視差ベクトルが使用されるとき、３Ｄ−ＨＥＶＣの現在の提案はビデオデータのブロック中の中間位置の視差ベクトルを使用する。この視差ベクトルは現在ブロック中のピクセルの半分についてあまり正確でないことがある。
【００９３】
[0099]これらの欠点を考慮して、本開示では、３ＤＶにおいて多仮説視差ベクトル構成を使用することによって動きベクトル予測を改善する技法について説明する。
【００９４】
[0100]本開示の一例では、視差ベクトルと法線動きベクトルの両方を含む単一の候補リストを有するのではなく、別個の動きベクトル候補リストおよび別個の視差ベクトル候補リストがＡＭＶＰモードのために構成され得る。同様に、２つのリストがマージモードのために作成され得る。動きベクトル候補リストは、動き補償予測における動きベクトル予測に使用され得る。同様に、視差ベクトル候補リストは、視差補償予測における視差ベクトル予測に使用され得る。本開示では、どのリストが使用されているかを示す以下のシグナリング技法について説明する。
【００９５】
[0101]ＡＭＶＰモードでは、シンタックス要素ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１またはｒｅｆ＿ｉｄｘ＿ｌｃは、現在リストが動きベクトル候補リストであるか視差ベクトル候補リストであるかを導出するために、ビデオデコーダ３０によって使用される。すなわち、シグナリングされた特定のｒｅｆ＿ｉｄｘがコーディングされているビューとは異なるビューを指す場合、ビデオデコーダ３０は視差ベクトル候補リストを使用する。一方、シグナリングされた特定のｒｅｆ＿ｉｄｘがコーディングされているビューと同じビュー中の時間的に異なるピクチャを指す場合、ビデオデコーダ３０は動きベクトル候補リストを使用する。
【００９６】
[0102]マージモードでは、ｒｅｆ＿ｉｄｘはシグナリングされず、候補リスト中のシグナリングされた隣接ブロックから引き継がれるので、ビデオエンコーダ２０は追加フラグ（たとえば、候補リストフラグ）をシグナリングして、マージ候補として選択された最終ベクトルが動きベクトル候補リストからのものか、視差ベクトル候補リストからのものかを示し得る。たとえば、シグナリングされた候補リストフラグ＝０の場合、ビデオデコーダ３０は動きベクトル候補リストを使用する。シグナリングされた候補リストフラグ＝１の場合、ビデオデコーダ３０は視差ベクトル候補リストを使用する。本開示の別の例では、マージモードの場合、視差ベクトル候補リストは、双方向予測を実行するときに視差ベクトルと法線動きベクトルとを有する候補を含み得る。
【００９７】
[0103]本開示の別の例では、深度値が精密深度モード（accurate depth mode）で決定される場合、本開示では１つの候補リストを維持することについて説明する。ただし、候補がＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のビュー間予測（すなわち、ＤＣＰ）を含むとき、ビデオエンコーダ２０およびビデオデコーダ３０は視差ベクトルをＳＴＶ視差ベクトルに置き換えるように構成され得る。ＳＴＶ視差ベクトルは、図５〜図７を参照して上記で説明した技法を使用して生成され得る。この場合、ＳＴＶ視差ベクトルがより精密な方法（たとえば、深度マップを使用する方法）から生成されるとき、視差ベクトルはより精密になり得る。
【００９８】
[0104]本開示の別の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ブロック中のすべてのサンプルの平均ＳＴＶ値を使用することによって、ＳＴＶマップからブロックレベルＳＴＶ視差ベクトルを生成するように構成され得る。すなわち、誤差伝搬を引き起こすＳＴＶ視差ベクトルをピクセルごとに計算するのではなく、ＳＴＶ視差ベクトルはサンプルの平均を使用して、そのような伝搬の可能性を低減する。
【００９９】
[0105]本開示の別の例では、精密深度モード（すなわち、テクスチャが深度とは無関係にコーディングされる）では、ＡＭＶＰモードにおける候補ブロックが視差ベクトルを有し得るか、またはマージモードにおける候補ブロックが１つの参照ピクチャリストを指す少なくとも１つの視差ベクトルを含み得る状況があり得る。この場合、ビデオエンコーダ２０およびビデオデコーダ３０は、視差ベクトルをＳＴＶ視差ベクトルに置き換えることによって、その候補ブロックのための新しい動きベクトルを生成するように構成され得る。ここでも、ＳＴＶ視差ベクトルは、図５〜図７を参照して上記で説明した技法を使用して生成され得る。
【０１００】
[0106]本開示の別の例では、ビデオエンコーダ２０またはビデオデコーダ３０が精密深度モードで動作しているとき、ＡＭＶＰモードはＳＴＶ視差ベクトルのみを使用し得る。参照ピクチャリストに対して１つのみの参照ビューがある場合、候補リスト中の１つのみの候補が生成される。したがって、参照ピクチャがビュー間参照であることを参照インデックスが示す場合、シンタックス要素ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１またはｍｖｐ＿ｉｄｘ＿ｌｃはシグナリングされる必要がない。代わりに、ビデオデコーダ３０は、視差ベクトル候補リストが参照インデックスから直接使用されるべきであると決定し得る。
【０１０１】
[0107]本開示の別の例では、ビデオエンコーダ２０またはビデオデコーダ３０が精密深度モードで動作しているとき、ビュー間動き予測（たとえば、ＤＣＰ）は多仮説視差ベクトル構成を利用し得る。多仮説視差構成は、複数のタイプの視差ベクトルおよび／または異なるビューからの視差ベクトルを、リストの最大長に至るまで、視差ベクトル候補リストの候補と見なす。一例では、ＡＭＶＰモードおよびマージモードについて２つの参照ビューが考慮される。参照ビューの一方は現在ビューの物理的に左側のビューを表し、他方の参照ビューは現在ビューの物理的に右側のビューを表す。一例では、左側の参照ビューは現在ビューよりも前にコーディングされた左側の参照ビューの中で最も近い。同様に、右側の参照ビューは現在ビューよりも前にコーディングされた右側の参照ビューの中で最も近い。
【０１０２】
[0108]本開示の別の例では、ビデオエンコーダ２０またはビデオデコーダ３０が推定深度モードで動作しているとき、多仮説視差ベクトル構成はＡＭＶＰモードに使用される。本開示の一例では、ビデオエンコーダ２０およびビデオデコーダ３０は、２つ以上のタイプの視差ベクトルを候補リストに追加するように構成され得る。２つ以上のタイプの視差ベクトルは、利用可能な場合、空間視差ベクトルと、ＳＴＶ視差ベクトルと、ビュー視差ベクトルと、時間視差ベクトルとを含み得る。
【０１０３】
[0109]空間視差ベクトル（ＳＤＶ：spatial disparity vector）は、現在ブロックと同じビューおよびピクチャ中の隣接ブロックの視差ベクトルである。隣接ブロックの視差ベクトルは、ビュー間参照ピクチャを参照する参照インデックスに対応するそのブロックの動きベクトルである。ＳＤＶは、ビュー間参照（すなわち、別のビュー中の参照ブロック）を指す。すなわち、隣接する候補ブロックはＤＣＰを使用してコーディングされたので、動きベクトルの代わりに視差ベクトルを有する。ＳＤＶは動きベクトル候補リストではなく、ＡＭＶＰのための視差ベクトル候補リストに追加される。
【０１０４】
[0110]ＳＴＶ視差ベクトルは、図５〜図７を参照して上記で説明したように計算される。
【０１０５】
[0111]ビュー視差ベクトル（ＶＤＶ）はビュー間動き予測によって識別され得る。ビュー間動き予測が特定のブロックに使用されるとき、導出された視差ベクトルが記憶され、ＶＤＶと呼ばれる。ビュー視差ベクトルの導出方法は、２０１２年４月１９日に出願された米国特許出願第１３／４５１，２０４号と、２０１２年４月１９日に出願された米国特許出願第１３／４５１，１６１号とに記載された方法に類似しており、その両方の内容全体が参照により本明細書に組み込まれる。この技法は、ｖｉｅｗ＿ｉｄ値などの物理的ロケーションまたは水平ロケーションを考慮に入れる。現在ブロックのビュー間参照と候補ブロック中の視差ベクトルが指すビュー間参照との間のｖｉｅｗ＿ｉｄの差分（すなわち、２つのビュー間のビューの数）は、候補視差ベクトルを拡大して、ＶＤＶを作成するために使用され得る。そのような方法は第１の依存ビューのみに適用されないことに留意されたい。
【０１０６】
[0112]時間視差ベクトル（ＴＤＶ：temporal disparity vector）はＨＥＶＣ中の時間候補に類似しているが、候補は視差ベクトルである。すなわち、別のピクチャ中のコロケートされた候補ブロックは、別のビュー中のピクチャを指す視差動きベクトルを含む。
【０１０７】
[0113]本開示の一例では、上記で列挙した視差ベクトル候補（すなわち、ＳＤＶ、ＳＴＶ視差ベクトル、ＴＤＶおよびＶＤＶ）のうちの２つのみのタイプが視差ベクトル候補リストで使用される。本開示の別の例では、３つのタイプの候補が視差ベクトル候補リストで使用される。本開示の別の例では、４つのタイプの候補が視差ベクトル候補リストで使用される。
【０１０８】
[0114]本開示の別の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、優先プロセスに従って、視差ベクトル候補を視差ベクトル候補リストに追加するように構成される。一例では、優先プロセスは、比較的優先度の低い任意の候補を追加する前に、１つのタイプのすべての利用可能な「より優先度の高い」視差ベクトルを視差ベクトル候補リストに追加することを伴う。一例では、視差ベクトルタイプ（すなわち、ＳＤＶ、ＳＴＶ視差ベクトル、ＶＤＶおよびＴＤＶ）の優先順序は、ＳＤＶ、ＳＴＶ視差ベクトル、ＶＤＶおよびＴＤＶの順序である。すなわち、視差ベクトル候補リストは、最初にＳＤＶを有する候補ブロックで満たされ、視差ベクトル候補リストを満たすＳＤＶを有する十分な候補ブロックがない場合、次にＳＴＶ視差ベクトルを有する候補ブロックで満たされ、視差ベクトル候補リストを満たすＳＴＶ視差ベクトルを有する十分な候補ブロックがない場合、次にＶＤＶを有する候補ブロックで満たされる、などである。
【０１０９】
[0115]視差ベクトル候補リスト中に視差ベクトルを有する十分な候補ブロックがないとき、ビデオエンコーダ２０およびビデオデコーダ３０は、当初考慮されたＳＴＶ視差ベクトルを生成するために使用された技法とは異なる技法を使用して、追加のＳＴＶ視差ベクトル候補を生成するように構成される。たとえば、１つのタイプのＳＴＶ視差ベクトル候補は、現在ブロックの中間ピクセルのＳＴＶから導出され得るが、追加のＳＴＶ視差ベクトル候補は、現在ブロックのすべてのピクセルのＳＴＶの平均値から導出され得る。別の例として、２つ以上の参照ビュー、したがって、２つ以上の視差フィールドがある場合、２つのＳＴＶ視差ベクトル候補が生成され得る。
【０１１０】
[0116]本開示の別の例では、視差ベクトルを視差ベクトル候補リストに追加するための優先プロセスは、最初の２つのＳＤＶおよびＳＴＶ視差ベクトルに対して交互に動作する。この例では、ビデオエンコーダ２０およびビデオデコーダ３０は、利用可能な場合、視差ベクトル候補リスト中の第１の候補として、第１のＳＤＶ候補ブロックを追加する。次いで、利用可能な場合、第１のＳＴＶ候補ブロックが追加される。次いで、利用可能な場合、第２のＳＤＶ候補ブロックが追加される。次に、第２のＳＴＶ（可能な場合、また、利用可能な場合）が追加される。最後に、所望の量の候補ブロック（たとえば、最大量の候補ブロック）を与える必要がある場合、他の視差ベクトルタイプ（たとえば、ＶＤＶおよびＴＤＶ）を有する他の候補ブロックが視差ベクトル候補リストに追加される。
【０１１１】
[0117]本開示の別の例では、精密深度モードと推定深度モードの両方の場合、多仮説視差ベクトル構成の使用はマージモードに適用される。ＡＭＶＰモードの場合と同様に、例示的な候補視差ベクトルは、利用可能な場合、空間視差ベクトル（ＳＤＶ）と、ＳＴＶ視差ベクトルと、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含み得る。
【０１１２】
[0118]一例では、マージモードのための視差ベクトル候補リストを構成するとき、ＳＤＶ、ＴＤＶまたはＶＤＶ候補ブロックが１つの参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔＸ）を指す視差ベクトルと、異なる参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔＹ、Ｙは１−Ｘに等しい）を指す法線動きベクトルとを含む場合、ビデオエンコーダ２０およびビデオデコーダ３０は、候補のその他のタイプの視差ベクトル（たとえば、ＳＤＶ、ＴＤＶ、またはＶＤＶ）の代替としてＳＴＶ視差ベクトルを追加して、新しい候補を生成するように構成され得、ＳＴＶ視差ベクトルはＲｅｆＰｉｃＬｉｓｔＸ中の参照インデックスに関連する。
【０１１３】
[0119]本開示の別の例では、マージモードのための視差ベクトル候補リストを構成するとき、ＳＤＶ、ＴＤＶまたはＶＤＶ候補ブロックが２つの視差ベクトルを使用して双方向予測される場合、ビデオエンコーダ２０およびビデオデコーダ３０は、視差ベクトルをＳＴＶ視差ベクトルと置き換えることによって、新しい視差ベクトル候補を生成するように構成され得る。精密深度モードの場合、ＳＤＶまたはＴＤＶ視差ベクトルではなく、ＳＴＶ視差ベクトルを使用することによって、より精密になる。
【０１１４】
[0120]本開示の別の例では、視差ベクトル候補リストを満たすために追加のマージ候補が必要とされる状況では、単方向予測された候補がＳＴＶ視差ベクトルと等しい視差ベクトルを用いて追加され得る。
【０１１５】
[0121]本開示の別の例では、２つの参照ビューが利用可能であり、その２つのビューに対応する２つのＳＴＶ視差ベクトルが利用可能である状況では、双方向予測された候補が２つのＳＴＶ視差ベクトルと等しい１つの視差ベクトルを用いて視差ベクトル候補リストに追加される。
【０１１６】
[0122]以下のセクションでは、本開示の例とともに使用するための例示的な高レベルシンタックスについて説明する。現在依存ビューをコーディングするために深度ビュー構成要素（参照ビューに属していようが、現在ビューに属していようが）が使用され得るとき、ＡＭＶＰモードおよび／またはマージモードの視差ベクトル用に考慮された２つ以上の候補があるかどうかを示すために、シーケンスレベルまたはスライスレベルのいずれかで、フラグがシグナリングされ得る。代替的に、２つのフラグが類似の機能のためにシグナリングされ得る（すなわち、ＡＭＶＰモードのための１つのフラグ（ａｍｖｐ＿ｍｕｌｔｉ＿ｆｌａｇ）およびマージモードのための別のフラグ（ｍｅｒｇｅ＿ｍｕｌｔｉ＿ｆｌａｇ））。いくつかの例では、テクスチャビュー構成要素は深度ビュー構成要素とは無関係にコーディングされる。この例では、上記のフラグはシグナリングされず、真になるように導出される。
【０１１７】
[0123]以下の表はＡＭＶＰモードのための予測ユニットシンタックス変更を示す。
【表３−１】
2015507883.tif 000007
【表３−２】
2015507883.tif 000008
【０１１８】
[0124]上記で提示した例示的な表３によれば、シンタックス要素ｉｎｔｅｒＶｉｅｗＲｅｆＦｌａｇは、現在参照インデックスがビュー間参照に対応する場合、１になるように導出される。シンタックス要素ｉｎｔｅｒＶｉｅｗＲｅｆＦｌａｇは、現在参照インデックスがインター予測参照に対応する場合、０になるように導出される。ｉｎｔｅｒＶｉｅｗＲｅｆＦｌａｇが１に等しいとき、シグナリングされるインデックスは視差ベクトル候補リスト中のインデックスである。ｉｎｔｅｒＶｉｅｗＲｅｆＦｌａｇが０に等しいとき、シグナリングされるインデックスは動きベクトル候補リスト中のインデックスである。
【０１１９】
[0125]マージモードの場合、候補リストの構成のための代替方法が提案され、その方法のうちの１つは視差ベクトルを含む。
【０１２０】
[0126]一例では、視差ベクトル候補リスト中の各候補は少なくとも１つの視差ベクトルを含む。言い換えれば、候補はＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１を指す法線ベクトルも含み得る。現在候補が視差ベクトル候補リストからのものかどうかを示すためにフラグが導入される。
【０１２１】
[0127]以下の表はこの例での予測ユニットシンタックスを示す。
【表４−１】
2015507883.tif 000009
【表４−２】
2015507883.tif 000010
【０１２２】
[0128]上記の表４によれば、シンタックス要素ｄｉｓｐａｒｉｔｙ＿ｖｅｃｔｏｒ＿ｆｌａｇ［  ｘ０  ］［  ｙ０  ］が１に等しいとき、これは選択された候補がＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のうちの１つに対するビュー間参照を指すことを示す。シンタックス要素ｄｉｓｐａｒｉｔｙ＿ｖｅｃｔｏｒ＿ｆｌａｇ［  ｘ０  ］［  ｙ０  ］が０に等しいとき、これは、許容される場合、選択された候補がＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のいずれかに対するインター予測参照のみを指すことを示す。いくつかのシナリオでは、（ｍｅｒｇｅ＿ｍｕｌｔｉ＿ｆｌａｇのスライスレベルで導出される）予想される視差ベクトルの数が１に等しく、ｄｉｓｐａｒｉｔｙ＿ｖｅｃｔｏｒ＿ｆｌａｇが１に等しい場合、ｍｅｒｇｅ＿ｉｄｘはシグナリングされない。
【０１２３】
[0129]視差ベクトル候補リスト中の候補の作成について、次の通り説明する。この説明は、視差ベクトル候補と法線動きベクトル候補の両方が１つのリスト中で一緒に考慮される場合のシナリオにも適用される。
【０１２４】
[0130]隣接する空間ブロックおよび時間ブロックにおいて、視差ベクトルがない場合、本開示では、ビュー間予測（すなわち、ＤＣＰ）の候補を生成する２つの方法について説明する。
【０１２５】
１．  単方向予測された候補を生成し、関連する視差ベクトルをＳＴＶ視差ベクトルになるように変換する。この場合、参照ビューを指すｒｅｆ＿ｉｄｘが設定される。
【０１２６】
２．  双方向予測された候補を生成する。ＲｅｆＰｉｃＬｉｓｔ０に対するｒｅｆ＿ｉｄｘおよび視差ベクトルは上記と同じである。ただし、ＲｅｆＰｉｃＬｉｓｔ１に対するｒｅｆ＿ｉｄｘおよび動きベクトルは空間／時間候補からのものである。
【０１２７】
[0131]隣接する空間ブロックおよび時間ブロックにおいて、参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０）のための１つだけの視差ベクトルを含む１つまたは複数のブロックがある場合、候補は次のように生成され得る。
【０１２８】
・  視差ベクトルを含む候補をコピーし、視差ベクトルをＳＴＶ視差ベクトルで置き換える。
【０１２９】
[0132]隣接する空間ブロックおよび時間ブロックにおいて、ＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１の両方のための２つの視差ベクトルを含む１つまたは複数のブロックがある場合、候補は以下の異なる方法のうちの１つで生成され得る。
【０１３０】
１．  両方の視差ベクトルを含む候補をコピーし、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のいずれかに対する視差ベクトルをＳＴＶ視差ベクトルで置き換える。
【０１３１】
２．  ＳＴＶ視差ベクトルに等しい視差ベクトルを用いて単方向候補を作成する。
【０１３２】
３．  ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１の視差ベクトルに等しい視差ベクトル、あるいはＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１の視差ベクトルの平均を用いて単方向候補を作成する。
【０１３３】
[0133]以下のセクションでは、視差ベクトル候補リストの候補生成の例について検討する。この例は、候補リストが動きベクトル候補リストと視差ベクトル候補リストとに分けられるシナリオに適用される。
【０１３４】
[0134]空間（たとえば、ＳＤＶ）、時間（たとえば、ＴＤＶ）、またはビュー（たとえば、ＶＤＶ）隣接ブロックにおいて、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のための視差ベクトルと、その他のリストのための動きベクトルとを含む候補がある場合、動きベクトルを作成するために以下の技法が適用され得る。
【０１３５】
１．  ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）の動きベクトルを維持し、異なる候補からＲｅｆＰｉｃＬｉｓｔＹ（Ｙは０または１に等しい）の動きベクトルを生成する。
【０１３６】
２．  ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）の動きベクトルを維持し、ＲｅｆＰｉｃＬｉｓｔＸの動きベクトルからＲｅｆＰｉｃＬｉｓｔＹ（Ｙは０または１に等しい）の動きベクトルを生成する。
【０１３７】
[0135]図８は、本開示で説明する多仮説視差ベクトル構成のための技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。さらに、上記で説明したように、ビデオエンコーダ２０は異なるビュー中のピクチャ間でビュー間予測を実行し得る。
【０１３８】
[0136]図８の例では、ビデオエンコーダ２０は、区分ユニット３５と、予測処理ユニット４１と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き／視差推定ユニット４２と、動き／視差補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図８に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。デブロッキングフィルタに加えて、（ループ内またはループ後の）追加ループフィルタも使用され得る。
【０１３９】
[0137]図８に示すように、ビデオエンコーダ２０はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤り結果（たとえば、コーディングレートおよびひずみレベル）に基づいて現在ビデオブロックのために、複数のイントラコーディングモードのうちの１つ、または複数のインターコーディングモードもしくはビュー間コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。
【０１４０】
[0138]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動き／視差推定ユニット４２および動き／視差補償ユニット４４は、時間およびビュー間圧縮を行うために、１つまたは複数の参照ピクチャおよび／または参照ビュー中の１つまたは複数の予測ブロックに対する現在ビデオブロックのインター予測コーディングおよび／またはビュー間コーディングを実行する。
【０１４１】
[0139]動き／視差推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードおよび／またはビュー間予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスに指定し得る。動き／視差推定ユニット４２および動き／視差補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示される。動き／視差推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。動き／視差推定ユニット４２によって実行される視差推定は、異なるビュー中のブロックから現在コーディングされているブロックを予測するために使用され得る視差ベクトルを生成するプロセスである。
【０１４２】
[0140]予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【０１４３】
[0141]動き／視差推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスまたはビュー間予測スライスにおけるビデオブロックのＰＵのための（動き補償予測のための）動きベクトルおよび／または（視差補償予測のための）視差ベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。ビュー間予測の場合、参照ピクチャは異なるビュー中にある。動き／視差推定ユニット４２は、計算された動きベクトルおよび／または視差ベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【０１４４】
[0142]いくつかの例では、動き／視差推定ユニット４２は、動きベクトル予測プロセスを使用して、計算された動きベクトルおよび／または視差ベクトルをシグナリングし得る。上記で説明したように、動きベクトル予測プロセスはＡＭＶＰモードとマージモードとを含み得る。上記で説明した本開示の技法によれば、動き／視差推定ユニット４２は、視差ベクトル候補リストと動きベクトル候補とを形成することを含む動き予測プロセスを実行するように構成され得る。具体的には、１つまたは複数の例では、視差ベクトル候補リストは、多仮説視差ベクトル構成のための本開示の技法を使用して生成され得る。
【０１４５】
[0143]動き／視差補償ユニット４４によって実行される動き補償および／または視差補償は、動き推定および／または視差推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのＰＵのための動きベクトルおよび／または視差を受信すると、動き／視差補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルおよび／または視差ベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き／視差補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【０１４６】
[0144]イントラ予測処理ユニット４６は、上記で説明したように、動き／視差推定ユニット４２および動き／視差補償ユニット４４によって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。具体的には、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
【０１４７】
[0145]いずれの場合も、ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックについての選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット５６に提供し得る。エントロピーコーディングユニット５６は、本開示の技法に従って選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。
【０１４８】
[0146]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、１つまたは複数のＴＵに含まれ得、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、変換、たとえば離散コサイン変換（ＤＣＴ）または概念的に同様の変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、ピクセル領域からの残差ビデオデータを周波数領域などの変換領域に変換し得る。
【０１４９】
[0147]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【０１５０】
[0148]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法もしくは技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【０１５１】
[0149]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き／視差補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き／視差補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き／視差推定ユニット４２および動き／視差補償ユニット４４によって参照ブロックとして使用され得る。
【０１５２】
[0150]図９は、本開示で説明する技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図９の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き／視差補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図８のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
【０１５３】
[0151]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数、動きベクトル、視差ベクトル、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、予測処理ユニット８１に動きベクトルと、視差ベクトルと、他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０１５４】
[0152]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスまたはビュー間予測スライスとしてコーディングされるとき、予測処理ユニット８１の動き／視差補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと、視差ベクトルと、他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、復号ピクチャバッファ（ＤＰＢ）とも呼ばれる参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０およびリスト１を構成し得る。
【０１５５】
[0153]動き／視差補償ユニット８２は、動きベクトルと他のシンタックス要素とを解析することによって現在ビデオスライスのビデオブロックについての予測情報を決定し、予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動き／視差補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測またはビュー間予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化ビデオブロックについての動きベクトルおよび／または視差ベクトルと、スライスの各インターコード化ビデオブロックについてのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、受信されたシンタックス要素のいくつかを使用する。
【０１５６】
[0154]いくつかの例では、動き／視差補償ユニット８２は、動きベクトル予測プロセスを使用して、動きベクトルおよび／または視差ベクトルを示すシグナリングされたシンタックス要素を決定し得る。上記で説明したように、動きベクトル予測プロセスはＡＭＶＰモードとマージモードとを含み得る。上記で説明した本開示の技法によれば、動き／視差補償ユニット８２は、視差ベクトル候補リストと動きベクトル候補とを形成することを含む動き予測プロセスを実行するように構成され得る。具体的には、１つまたは複数の例では、視差ベクトル候補リストは、多仮説視差ベクトル構成のための本開示の技法を使用して生成され得る。
【０１５７】
[0155]動き／視差補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【０１５８】
[0156]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータを使用して量子化の程度を決定し、同様に、適用すべき逆量子化の程度を決定することを含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
【０１５９】
[0157]動き／視差補償ユニット８２が、動きベクトルおよび／または視差ベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために復号ブロックをフィルタ処理するデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するか、またはさもなければビデオ品質を改善するために、（コーディングループ内またはコーディングループ後の）他のループフィルタも使用され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する（復号ピクチャバッファと呼ばれることがある）参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での表示のために、復号ビデオを記憶する。
【０１６０】
[0158]図１０は、本開示の技法による例示的な復号方法を示すフローチャートである。ビデオデコーダ３０の１つまたは複数のハードウェアユニットは図１０の方法を実施するように構成され得る。一例では、ビデオデコーダ３０は、動きベクトル予測プロセスのための動きベクトル候補リストを決定すること（１０００）と、動きベクトル予測プロセスのための視差ベクトル候補リストを決定すること（１０１０）と、動きベクトル予測プロセスを使用してビデオデータのブロックを復号するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行することと（１０２０）とを行うように構成される。
【０１６１】
[0159]本開示の一例では、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含む。本開示の別の例では、ＳＤＶは空間的に隣接するブロックの視差動きベクトルから導出され、ＴＤＶは時間的に隣接するブロックの視差動きベクトルから導出される。本開示の別の例では、視差ベクトル候補リストは、平滑化時間ビュー（ＳＴＶ）視差ベクトルをさらに含む。
【０１６２】
[0160]本開示の別の例では、ビデオデコーダ３０は、アドバンスト動きベクトル予測（ＡＭＶＰ）モードを使用して、ビデオデータのブロックを復号するように構成され得る。本開示の別の例では、ビデオデコーダ３０は、マージモードを使用して、ビデオデータのブロックを復号するように構成され得る。
【０１６３】
[0161]本開示の別の例では、ビデオデコーダ３０は優先プロセスを使用して視差ベクトル候補リストを決定するように構成され得、より高い優先度が割り当てられたすべての利用可能な視差ベクトルタイプが、比較的低い優先度が割り当てられた視差ベクトルタイプの前に、視差ベクトル候補リストの最大長に至るまで、視差ベクトル候補リストに追加される。一例では、優先プロセスはＳＤＶに最も高い優先度を割り当てる。別の例では、優先プロセスはＳＴＶ視差ベクトルに２番目に高い優先度を割り当て、ＶＤＶに３番目に高い優先度を割り当て、ＴＤＶに最も低い優先度を割り当てる。
【０１６４】
[0162]本開示の別の例では、ビデオデコーダ３０は、推定深度モードおよび精密深度モードのうちの１つを使用して、視差ベクトルのタイプのうちの少なくとも１つを決定し、マージモードを使用してビデオデータのブロックを復号するようにさらに構成され得る。本開示の別の例では、動きベクトル予測プロセスはマージモードであり、ビデオデコーダ３０は、動きベクトル予測プロセスが視差ベクトル候補リストを使用して実行されるか、動きベクトル候補リストを使用して実行されるかを示すフラグを受信するようにさらに構成され得る。本開示の別の例では、動きベクトル予測プロセスはアドバンスト動きベクトル予測（ＡＭＶＰ）モードであり、ビデオデコーダ３０は参照ピクチャインデックスを受信することと、受信された参照インデックスに基づいて、視差ベクトル候補リストを用いて動きベクトル予測プロセスを実行すべきか、または動きベクトル候補リストを用いて動きベクトル予測プロセスを実行すべきかを決定することとを行うようにさらに構成され得る。
【０１６５】
[0163]図１１は、本開示の技法による例示的な符号化方法を示すフローチャートである。ビデオエンコーダ２０の１つまたは複数のハードウェアユニットは図１１の方法を実施するように構成され得る。本開示の一例では、ビデオエンコーダ２０は、動きベクトル予測プロセスのための動きベクトル候補リストを決定すること（１１００）と、動き予測プロセスのための視差ベクトル候補リストを決定すること（１１１０）と、動きベクトル予測プロセスを使用してビデオデータのブロックを符号化するために、視差ベクトル候補リスト中の候補のうちの１つまたは複数を使用して動きベクトル予測プロセスを実行すること（１１２０）とを行うように構成される。
【０１６６】
[0164]本開示の一例では、視差ベクトル候補リストは、空間視差ベクトル（ＳＤＶ）と、ビュー視差ベクトル（ＶＤＶ）と、時間視差ベクトル（ＴＤＶ）とを含む複数の視差ベクトルタイプから、少なくとも２つのタイプの視差ベクトルを含む。本開示の別の例では、ＳＤＶは空間的に隣接するブロックの視差動きベクトルから導出され、ＴＤＶは時間的に隣接するブロックの視差動きベクトルから導出される。本開示の別の例では、視差ベクトル候補リストは、平滑化時間ビュー（ＳＴＶ）視差ベクトルをさらに含む。
【０１６７】
[0165]本開示の別の例では、ビデオエンコーダ２０は、アドバンスト動きベクトル予測（ＡＭＶＰ）モードを使用して、ビデオデータのブロックを符号化するように構成される。本開示の別の例では、ビデオエンコーダ２０は、マージモードを使用して、ビデオデータのブロックを符号化するように構成される。
【０１６８】
[0166]本開示の別の例では、ビデオエンコーダ２０は優先プロセスを使用して視差ベクトル候補リストを決定するように構成され、より高い優先度が割り当てられたすべての利用可能な視差ベクトルタイプが、比較的低い優先度が割り当てられた視差ベクトルタイプの前に、視差ベクトル候補リストの最大長に至るまで、視差ベクトル候補リストに追加される。本開示の一例では、優先プロセスはＳＤＶに最も高い優先度を割り当てる。本開示の別の例では、優先プロセスはＳＴＶ視差ベクトルに２番目に高い優先度を割り当て、ＶＤＶに３番目に高い優先度を割り当て、ＴＤＶに最も低い優先度を割り当てる。
【０１６９】
[0167]本開示の別の例では、ビデオエンコーダ２０は、推定深度モードおよび精密深度モードのうちの１つを使用して、視差ベクトルのタイプのうちの少なくとも１つを決定し、マージモードを使用してビデオデータのブロックを符号化するように構成される。本開示の別の例では、動きベクトル予測プロセスはマージモードであり、ビデオエンコーダ２０は、動きベクトル予測プロセスが視差ベクトル候補リストを使用して実行されるか、動きベクトル候補リストを使用して実行されるかを示すフラグをシグナリングするように構成される。本開示の別の例では、動きベクトル予測プロセスはアドバンスト動きベクトル予測（ＡＭＶＰ）モードであり、ビデオエンコーダ２０は視差ベクトル候補リストを用いて動きベクトル予測プロセスを実行すべきか、または動きベクトル候補リストを用いて動きベクトル予測プロセスを実行すべきかを示すための参照インデックスをシグナリングするように構成される。
【０１７０】
[0168]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【０１７１】
[0169]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【０１７２】
[0170]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な任意の他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。
【０１７３】
[0171]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
【０１７４】
[0172]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
【図１】
2015507883.tif 000011
【図２】
2015507883.tif 000012
【図３】
2015507883.tif 000013
【図４】
2015507883.tif 000014
【図５】
2015507883.tif 000015
【図６】
2015507883.tif 000016
【図７】
2015507883.tif 000017
【図８】
2015507883.tif 000018
【図９】
2015507883.tif 000019
【図１０】
2015507883.tif 000020
【図１１】
2015507883.tif 000021
【国際調査報告】
2015507883.tif 000022
2015507883.tif 000023