(57)【特許請求の範囲】
【請求項１】
複数の画素（１１）のうちの各画素（１１）がカメラ（４０）とそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、前記複数の画素（１１）からなるフレーム（１０）の形式をした深度マップを予測符号化する方法であって、
前記フレーム（１０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給するステップ（Ｓ１）と、
前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて予測重みを計算するステップ（Ｓ２）と、
前記フレーム（１０）の少なくとも１つの画素値および前記予測重みによって重み付けされた前記参照フレーム（２０、３０）の少なくとも１つの画素値に基づいて前記フレーム（１０）に対する予測残差を計算するステップ（Ｓ３）と、
を含み、前記深度マップの符号化表現が前記予測残差の符号化表現を含む、方法。
【請求項２】
前記少なくとも第１の深度クリッピング面パラメータ値を供給するステップ（Ｓ１）は、前記フレーム（１０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値と、前記参照フレーム（２０、３０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値とを供給するステップ（Ｓ１）を含み、
前記予測重みを計算するステップ（Ｓ２）は、前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値と前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値とに基づいて前記予測重みを計算するステップ（Ｓ２）を含む、
請求項１に記載の方法。
【請求項３】
前記予測重みを計算するステップ（Ｓ２）は、Ｚｎｅａｒ，１が前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，１が前記フレーム（１０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚｎｅａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚが前記参照フレームにおける画素の深度値を表現するとき、
0006005157.tif 000017
として前記予測重みを計算するステップ（Ｓ２）を含む、請求項２に記載の方法。
【請求項４】
前記予測重みを計算するステップ（Ｓ２）は、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて前記フレーム（１０）および前記参照フレーム（２０、３０）のペアに対して単一の予測重みを計算するステップ（Ｓ２）を含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記参照フレーム（２０、３０）は、画素（２１、３１）の複数のブロック（２２、３２）を含み、前記予測重みを計算するステップ（Ｓ２）は、前記複数のブロック（２２、３２）のうちのブロック（２２、３２）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値、前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記ブロック（２２、３２）を表す少なくとも１つの画素値に基づいて単一の予測重みを計算するステップ（Ｓ２）を含む、請求項１から３のいずれか一項に記載の方法。
【請求項６】
前記予測重みの符号化表現を前記深度マップの前記符号化表現に挿入するステップ（Ｓ２０）をさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
複数の参照フレーム（２０、３０）を識別するステップ（Ｓ３０）と、
前記複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するステップ（Ｓ３１）と、
前記類似性メトリックに基づいて参照フレームリストの中で前記複数の参照フレーム（２０、３０）を順序付けるステップ（Ｓ３２）と、
それぞれの参照フレームインデックスを前記参照フレームリストの中の前記複数の参照フレーム（２０、３０）のうちの少なくとも１つの参照フレーム（２０、３０）に割り当てるステップ（Ｓ３３）と、
をさらに含み、前記深度マップの前記符号化表現が前記それぞれの参照フレームインデックスの符号化表現を含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記類似性メトリックに基づいて、前記参照フレームリストの中での前記複数の参照フレーム（２０、３０）の前記順序付けを指示するメモリ・マネジメント・コントロール・オペレーション・コマンドを生成するステップ（Ｓ５０）と、
前記メモリ・マネジメント・コントロール・オペレーション・コマンドを前記深度マップの前記符号化表現に挿入するステップ（Ｓ５１）と、
をさらに含む、請求項７に記載の方法。
【請求項９】
複数の候補参照フレーム（２０、３０）を識別するステップ（Ｓ７０）と、
前記複数の候補参照フレーム（２０、３０）のうちの各候補参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記候補参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するステップ（Ｓ７１）と、
前記複数の候補参照フレーム（２０、３０）の中で、閾値未満である類似性メトリックを有している少なくとも１つの参照フレーム（２０、３０）を識別するステップ（Ｓ７２）と、
前記フレーム（１０）内の画素（１１）の複数のブロック（１２）の中の画素（１１）のブロック（１２）毎に、前記少なくとも１つの参照フレーム（２０、３０）の中で動き探索を実行するステップ（Ｓ７３）と、
をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
複数の参照フレーム（２０、３０）を識別するステップ（Ｓ８０）と、
前記複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するステップ（Ｓ８１）と、
第１の補間フィルタを前記複数の参照フレーム（２０、３０）のうち前記類似性メトリックが閾値未満である参照フレームに適用するステップ（Ｓ８３）と、
第２の補間フィルタを前記複数の参照フレーム（２０、３０）のうち前記類似性メトリックが前記閾値以上である参照フレームに適用するステップ（Ｓ８４）と、
をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項１１】
複数の画素（１１）のうちの各画素（１１）がカメラ（４０）とそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、前記複数の画素（１１）からなるフレーム（１０）の形式をした深度マップの符号化表現を予測復号化する方法であって、
前記深度マップの前記符号化表現に基づいて、前記フレーム（１０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算された予測重みを供給するステップ（Ｓ９２）と、
前記フレーム（１０）に対する予測残差および前記予測重みによって重み付けされた前記参照フレーム（２０、３０）の少なくとも１つの画素値に基づいて前記深度マップの復号化表現を決定するステップ（Ｓ９３）と、
を含む方法。
【請求項１２】
前記深度マップの前記符号化表現に基づいて複数の参照フレーム（２０、３０）の中で前記参照フレーム（２０、３０）を識別するステップ（Ｓ９０）と、
前記深度マップの前記符号化表現に基づいて前記フレーム（１０）に対する前記予測残差を決定するステップ（Ｓ９１）と、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記予測重みを供給するステップ（Ｓ９２）は、前記深度マップの前記符号化表現から前記予測重みの符号化表現を取り出すステップ（Ｓ１００）を含む、請求項１１または１２に記載の方法。
【請求項１４】
前記予測重みを供給するステップ（Ｓ９２）は、
前記深度マップの前記符号化表現から、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値の符号化表現を取り出すステップ（Ｓ１１０）と、
前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて前記予測重みを計算するステップ（Ｓ１１１）と、
を含む、請求項１１または１２に記載の方法。
【請求項１５】
前記符号化表現を取り出すステップ（Ｓ１１０）は、前記フレーム（１０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値と前記参照フレーム（２０、３０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値との符号化表現を取り出すことを含み、
前記予測重みを計算するステップ（Ｓ１１１）は、前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値と前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値とに基づいて前記予測重みを計算することを含む、
請求項１４に記載の方法。
【請求項１６】
前記予測重みを計算するステップ（Ｓ１１１）は、前記フレーム（１０）に関連付けられた前記遠方深度クリッピング面パラメータ値と前記近接深度クリッピング面パラメータ値との間の差と、前記参照フレーム（２０、３０）に関連付けられた前記遠方深度クリッピング面パラメータ値と前記近接深度クリッピング面パラメータ値との間の差との間の商に基づいて前記予測重みを計算するステップ（Ｓ１１１）を含む、
請求項１５に記載の方法。
【請求項１７】
前記予測重みを計算するステップ（Ｓ１１１）は、Ｚｎｅａｒ，１が前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，１が前記フレーム（１０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚｎｅａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚが前記参照フレームにおける画素の深度値を表現するとき、
0006005157.tif 000018
として前記予測重みを計算するステップ（Ｓ１１１）を含む、請求項１５または１６に記載の方法。
【請求項１８】
前記予測重みを計算するステップ（Ｓ１１１）は、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて前記フレーム（１０）および前記参照フレーム（２０、３０）のペアに対して単一の予測重みを計算するステップ（Ｓ１１１）を含む、請求項１４から１７のいずれか一項に記載の方法。
【請求項１９】
前記参照フレーム（２０、３０）は、画素（２１、３１）の複数のブロック（２２、３２）を含み、前記予測重みを計算するステップ（Ｓ１１１）は、前記複数のブロック（２２、３２）のうちのブロック（２２、３２）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値、前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記ブロック（２２、３２）を表す少なくとも１つの画素値に基づいて単一の予測重みを計算するステップ（Ｓ１１１）を含む、請求項１４から１８のいずれか一項に記載の方法。
【請求項２０】
参照フレームリストの中の複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するステップ（Ｓ１２０）と、
前記類似性メトリックに基づいて前記参照フレームリストの中で前記複数の参照フレーム（２０、３０）を順序付けるステップ（Ｓ１２１）と、
をさらに含み、前記参照フレーム（２０、３０）を識別するステップ（Ｓ９０）は、前記深度マップの前記符号化表現に基づいて供給された参照フレームインデックスに基づいて前記参照フレームリストから前記参照フレーム（２０、３０）を識別するステップ（Ｓ９０）を含む、請求項１２に記載の方法。
【請求項２１】
前記類似性メトリックを計算するステップ（Ｓ１２０）は、前記複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値と前記参照フレーム（２０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値との間の絶対差として前記類似性メトリックを計算するステップ（Ｓ１２０）を含み、
前記複数の参照フレーム（２０、３０）を順序付けるステップ（Ｓ１２１）は、前記複数の参照フレーム（２０、３０）のうちの参照フレーム（２０、３０）毎に、
前記類似性メトリックを閾値と比較するステップ（Ｓ４０）と、
前記類似性メトリックが前記閾値未満である場合、前記複数の参照フレーム（２０、３０）が前記フレーム（１０）までのこれらのそれぞれの距離に基づいて順序付けられている予備順序リストに関して前記参照フレームリストの中の前方に向かって少なくとも１つの位置だけ前記参照フレーム（２０、３０）の位置をシフトするステップ（Ｓ４１）と、
を含む、請求項２０に記載の方法。
【請求項２２】
前記フレーム（１０）は、画素（１１）からなる複数のブロック（１２）を含み、前記フレーム（１０）は、近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値に関連付けられ、前記複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）は、それぞれの近接深度クリッピング面パラメータ値およびそれぞれの遠方深度クリッピング面パラメータ値に関連付けられ、前記方法は、
前記複数のブロック（１２）のうちの各ブロック（１２）に対して、前記深度マップの前記符号化表現から前記ブロック（１２）の平均画素値を表すブロック基準値を取り出すステップ（Ｓ１３０）を含み、
前記類似性メトリックを計算するステップ（Ｓ１２０）は、
前記複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた近接深度クリッピング面パラメータ値に基づいて近接類似性メトリックを計算するステップ（１２０）と、
前記複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記遠方深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた遠方深度クリッピング面パラメータ値に基づいて遠方類似性メトリックを計算するステップ（１２０）と、
を含み、
前記複数の参照フレーム（２０、３０）を順序付けるステップ（Ｓ１２１）は、前記複数のブロック（１２）のうちのブロック（１２）毎に、
前記ブロック基準値が閾値以上である場合、前記近接類似性メトリックに基づいて前記参照フレームリストの中で前記複数の参照フレーム（２０、３０）を順序付けるステップ（Ｓ１２１）と、
前記ブロック基準値が前記閾値未満である場合、前記遠方類似性メトリックに基づいて前記参照フレームリストの中で前記複数の参照フレーム（２０、３０）を順序付けるステップ（Ｓ１２１）と、
を含む、請求項２０または２１に記載の方法。
【請求項２３】
複数の候補参照フレーム（２０、３０）のうちの各候補参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記候補参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するステップ（Ｓ７１）と、
前記複数の候補参照フレーム（２０、３０）の中で、閾値未満である類似性メトリックを有している少なくとも１つの参照フレーム（２０、３０）を識別するステップ（Ｓ７２）と、
前記フレーム（１０）内の画素（１１）からなる複数のブロック（１２）の中で画素（１１）からなるブロック（１２）毎に、前記少なくとも１つの参照フレーム（２０、３０）の中で動き探索を実行するステップ（Ｓ７３）と、
をさらに含む、請求項１１から２２のいずれか一項に記載の方法。
【請求項２４】
複数の参照フレーム（２０、３０）のうちの各参照フレーム（２０、３０）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するステップ（Ｓ８１）と、
第１の補間フィルタを前記複数の参照フレーム（２０、３０）のうち前記類似性メトリックが閾値未満である参照フレーム（２０、３０）に適用するステップ（Ｓ８３）と、
第２の補間フィルタを前記複数の参照フレーム（２０、３０）のうち前記類似性メトリックが前記閾値以上であるいずれの参照フレームに適用するステップ（Ｓ８４）と、
をさらに含む、請求項１１から２３のいずれか一項に記載の方法。
【請求項２５】
複数の画素（１１）のうちの各画素（１１）がカメラ（４０）とそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、前記複数の画素（１１）からなるフレーム（１０）の形式をした深度マップを予測符号化するエンコーダ（１００、２００、３００、４００）であって、
前記フレーム（１０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給するように構成されている値供給部（１１０、２１０、３１０、４１０）と、
前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて予測重みを計算するように構成されている重み計算部（１２０、２２０、３２０、４２０）と、
前記フレーム（１０）の少なくとも１つの画素値および前記予測重みによって重み付けされた前記参照フレーム（２０、３０）の少なくとも１つの画素値に基づいて前記フレーム（１０）に対する予測残差を計算するように構成されている残差計算部（１３０、２３０、３３０、４３０）と、
を備え、前記深度マップの符号化表現が前記予測残差の符号化表現を含む、エンコーダ（１００、２００、３００、４００）。
【請求項２６】
前記値供給部（１１０、２１０、３１０、４１０）は、前記フレーム（１０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値と、前記参照フレーム（２０、３０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値とを供給するように構成され、
前記重み計算部（１２０、２２０、３２０、４２０）は、前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値と前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値とに基づいて前記予測重みを計算するように構成されている、
請求項２５に記載のエンコーダ。
【請求項２７】
前記重み計算部（１２０、２２０、３２０、４２０）は、Ｚｎｅａｒ，１が前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，１が前記フレーム（１０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚｎｅａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚが前記参照フレームにおける画素の深度値を表現するとき、
0006005157.tif 000019
として前記予測重みを計算するように構成されている、請求項２６に記載のエンコーダ。
【請求項２８】
前記参照フレーム（２０、３０）は、画素（２１、３１）の複数のブロック（２２、３２）を含み、前記重み計算部（１２０、２２０、３２０、４２０）は、前記複数のブロック（２２、３２）のうちのブロック（２２、３２）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値、前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記ブロック（２２、３２）を表す少なくとも１つの画素値に基づいて単一の予測重みを計算するように構成されている、請求項２５から２７のいずれか一項に記載のエンコーダ。
【請求項２９】
前記予測重みの符号化表現を前記深度マップの前記符号化表現に挿入するように構成されている挿入部（１４０、２４０）をさらに備える、請求項２５から２８のいずれか一項に記載のエンコーダ。
【請求項３０】
複数の画素（１１）のうちの各画素（１１）がカメラ（４０）とそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、前記複数の画素（１１）からなるフレーム（１０）の形式をした深度マップの符号化表現を予測復号化するデコーダ（６００、７００、８００、９００）であって、
前記深度マップの前記符号化表現に基づいて、前記フレーム（１０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算された予測重みを供給する重み供給部（６３０、７３０、８３０、９３０）と、
前記フレーム（１０）に対する予測残差および前記予測重みによって重み付けされた前記参照フレーム（２０、３０）の少なくとも１つの画素値に基づいて前記深度マップの復号化表現を決定するように構成されている表現決定部（６４０、７４０、８４０、９４０）と、
を備えるデコーダ（６００、７００、８００、９００）。
【請求項３１】
前記深度マップの前記符号化表現に基づいて複数の参照フレーム（２０、３０）の中で前記参照フレーム（２０、３０）を識別するように構成されているフレーム識別部（６１０、７１０、８１０、９１０）と、
前記深度マップの前記符号化表現に基づいて前記フレーム（１０）に対する前記予測残差を決定するように構成されている残差決定部（６２０、７２０、８２０、９２０）と、
をさらに備える、請求項３０に記載のデコーダ。
【請求項３２】
前記重み供給部（６３０、７３０、８３０、９３０）は、前記深度マップの前記符号化表現から前記予測重みの符号化表現を取り出すように構成されている、請求項３０または３１に記載のデコーダ。
【請求項３３】
前記重み供給部（６３０）は、
前記深度マップの前記符号化表現から、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値の符号化表現を取り出すように構成されている取り出し部（６３２）と、
前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて前記予測重みを計算するように構成されている重み計算部（６３４）と、
を備える、請求項３０または３１に記載のデコーダ。
【請求項３４】
前記取り出し部（６３２）は、前記フレーム（１０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値と前記参照フレーム（２０）に関連付けられた近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値との符号化表現を取り出すように構成され、
前記重み計算部（６３４）は、前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値と前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値および前記遠方深度クリッピング面パラメータ値とに基づいて前記予測重みを計算するように構成されている、
請求項３３に記載のデコーダ。
【請求項３５】
前記重み計算部（６３４）は、Ｚｎｅａｒ，１が前記フレーム（１０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，１が前記フレーム（１０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚｎｅａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記近接深度クリッピング面パラメータ値を表現し、Ｚｆａｒ，０が前記参照フレーム（２０、３０）に関連付けられた前記遠方深度クリッピング面パラメータ値を表現し、Ｚが前記参照フレームにおける画素の深度値を表現するとき、
0006005157.tif 000020
として前記予測重みを計算するように構成されている、請求項３４に記載のデコーダ。
【請求項３６】
前記参照フレーム（２０、３０）は、画素（２１、３１）の複数のブロック（２２、３２）を含み、前記重み計算部（６３４）は、前記複数のブロック（２２、３２）のうちのブロック（２２、３２）に対して、前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値、前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記ブロック（２２、３２）を表す少なくとも１つの画素値に基づいて単一の予測重みを計算するように構成されている、請求項３３または３４に記載のデコーダ。
【請求項３７】
複数の画素（１１）のうちの各画素（１１）がカメラ（４０）とそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、前記複数の画素（１１）からなるフレーム（１０）の形式をした深度マップを受信するように構成されている入力部（５１０）と、
メモリ（５４０）に記憶されたコンピュータプログラム（５５０）のコード手段を処理するように構成されているプロセッサ（５２０）と、
を備え、前記コード手段は、前記プロセッサ（５２０）上で実行されたとき、前記プロセッサ（５２０）に、
前記フレーム（１０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給させ、
前記フレーム（１０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値および前記参照フレーム（２０、３０）に関連付けられた前記少なくとも第１の深度クリッピング面パラメータ値に基づいて予測重みを計算させ、
前記フレーム（１０）の少なくとも１つの画素値および前記予測重みによって重み付けされた前記参照フレーム（２０、３０）の少なくとも１つの画素値に基づいて前記フレーム（１０）に対する予測残差を計算させ、
前記予測残差の符号化表現を含む前記深度マップの符号化表現を出力するように構成されている出力部（５３０）をさらに備える、エンコーダ（５００）。
【請求項３８】
複数の画素（１１）のうちの各画素（１１）がカメラ（４０）とそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、前記複数の画素（１１）からなるフレーム（１０）の形式をした深度マップの符号化表現を受信するように構成されている入力部（１０１０）と、
メモリ（１０４０）に記憶されたコンピュータプログラム（１０５０）のコード手段を処理するように構成されているプロセッサ（１０２０）と、
を備え、前記コード手段は、前記プロセッサ（１０２０）上で実行されたとき、前記プロセッサ（１０２０）に、
前記深度マップの前記符号化表現に基づいて、前記フレーム（１０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム（２０、３０）に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算された予測重みを供給させ、
前記フレーム（１０）に対する予測残差および前記予測重みによって重み付けされた前記参照フレーム（２０、３０）の少なくとも１つの画素値に基づいて前記深度マップの復号化表現を決定させ、
前記深度マップの前記復号化表現を出力するように構成されている出力部（１０３０）をさらに備える、デコーダ（１０００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、概して、深度マップの処理に、詳しくは、深度マップの予測符号化および復号化に関する。
【背景技術】
【０００２】
動画像符号化専門家グループ−４  高度映像符号化（ＭＰＥＧ−４  ＡＶＣ）と称されることもあるＨ．２６４は、最先端の映像符号化標準である。これは、フレーム間および１フレーム内の冗長性の除去をうまく利用するハイブリッド・コーデックである。符号化プロセスの出力は、伝送または蓄積前にネットワーク抽象化層（ＮＡＬ）単位にさらにカプセル化されるビデオ符号化層（ＶＣＬ）データである。優れた圧縮効率を与えるある程度の数の圧縮技術を使用するのは、ハイブリッド映像符号化標準である。
【０００３】
Ｈ．２６４は、ブロックベースであり、すなわち、映像フレームは、サブマクロブロックにさらに分割されることがある１６×１６画素のブロックであるマクロブロック（ＭＢ）の単位で処理される。符号化すべきデータの量を最小化するために、動き補償（ＭＣ）と称される技術が最善を尽くして現在ブロックの画素値を予測するため近傍フレームにおいて既に復元された画素値を使用する各非イントラブロックに適用される。現在ブロックの予測を得るために、参照フレーム内で現在ブロックに類似する領域への参照がビットストリームの中でシグナル通知される。最終的な復元は、予測画素値を残差画素値と一緒に加算することにより行える。参照フレーム内で現在符号化ブロックの最良一致を見つけるために、動き探索が通常はエンコーダ側で行われる。動き探索は、現在ブロックと候補参照ブロックとの間の絶対差の和（ＳＡＤ）又は最小の平方差の和（ＳＳＤ）を見つけようとする。動き探索の結果は、動き探索がいずれの参照フレームを参照しているかをシグナル通知する参照フレームインデックス、および、参照領域を指し示す動きベクトル（ＭＶ）と称されるオフセットベクトルである。
【０００４】
Ｈ．２６４には、３種類のスライス：Ｉスライス、ＰスライスおよびＢスライスが存在する。Ｉスライスは、何ら他のフレームを参照することなく、そのままで符号化されたデータだけを収容している。Ｐスライスは、それぞれの他のフレーム内のそれぞれの単一の領域を参照している単方向予測されたマクロブロックを収容する。Ｂスライスは、ＩスライスもしくはＰスライス、または他のＢスライス内の復元された画素を参照するブロックを収容することがある。その上、Ｂスライスは、予測が異なる参照領域から取得される複数の成分で構成される場合、双方向予測ＭＢも収容することがある。典型的に、予測は、順方向参照と逆方向参照とを平均化することにより行われる。重み付き予測は、参照成分が等しい重みをもたない特別の種類の双方向予測である。重み付き予測は、フェードイン・シーンのような特別の状況で著しい利点をもたらすことができる。
【０００５】
今日の３Ｄ映像表現では、広く使われるフォーマットは、「テクスチャ＋深度」である。テクスチャ映像は、実際の映像テクスチャを表現し、一方、深度マップは、テクスチャ表現に関連する全ての深度情報を収容する。ビュー合成アルゴリズムを使用すると、任意の数のビューがステレオまたは自動立体視アプリケーションのいずれでも使用できるテクスチャ＋深度フォーマットから合成できる。深度マップは、通常は、輝度値がカメラと物体との間の距離を指示する階調画像である。深度マップは、別のビューを作成するために、テクスチャ映像と一緒に使用できる。１つの広く使われる種類の深度マップは、物体がカメラに接近するほど、輝度値が高くなる、という特性を有している。
【０００６】
ビット深度により限定されると、深度マップは、制限された値域だけを有している。ビット深度が８ビットである場合、最大２５６段階の輝度値が存在し得る。最大２５６段階は、現実のシーンがほぼ無限遠での雲から、またはカメラレンズの正面での蟻に、多岐にわたる可能性があるので、現実のシーンの全ての範囲を表現するには遥かに不十分である。カメラが撮影できる無限遠として輝度値０を、そして、最近接シーンとして輝度値２５５を考慮する場合、精度が失われるのに対して、量子化誤差が非常に大きくなるであろう。幸いにも、現実のシナリオでは、映像は、通常は、接近した書籍と遠方にある山の両方に焦点を当てることがない。その結果、シーンの特性に従って、制限された２５６段階を着目している局所範囲に適切に割り当てることができる。このような深度範囲に対し、２つのパラメータが定義される。Ｚｎｅａｒは、深度値によって分解できる最近接物体を指示する。最近接物体は、典型的に、輝度値２５５を有している。カメラから０とＺｎｅａｒとの間にある距離を有している全てのシーンは、深度Ｚｎｅａｒを有し、それゆえに、これらの輝度値として２５５を有しているものとして取り扱われる。同様に、Ｚｆａｒは、深度値によって分解できる最遠方物体を指示する。最遠方物体は、輝度値０を有している。カメラからＺｆａｒと無限遠との間にある距離を有している全てのシーンは、深度値Ｚｆａｒを有し、それゆえに、輝度値として０を有しているものとして取り扱われる。ＺｎｅａｒとＺｆａｒとの中間の深度ｚは、以下の式１によって与えられ、ここで、ｄは、輝度を表現する：
0006005157.tif 000002
【０００７】
深度マップは、３Ｄビットストリームの中で伝送されるように３Ｄ効果を表現するために３Ｄクライアント側で必要とされる。伝送帯域幅を節約するために、できる限り深度マップを圧縮することが望ましい。今日では、深度マップを符号化する専用映像コーデックは存在しない。Ｈ．２６４のような標準的な「テクスチャ」映像コーデックが典型的に使用される。
【０００８】
深度クリッピング面パラメータ、すなわち、ＺｎｅａｒおよびＺｆａｒは、前述の輝度−深度変換公式（式１）を定義するためにキーパラメータとして、深度マップと一緒に同様に伝送される。深度クリッピング面は、カメラが撮影しているシーンに基づいてフレーム毎に変化する可能性がある。たとえば、カメラがズームインしているとき、おそらくＺｎｅａｒとＺｆａｒは両方ともにコンテンツにより良く合うように減少させられる。時には、静止シーンの場合でも、ＺｎｅａｒおよびＺｆａｒは、コンテンツプロデューサーが作成したいと思う特殊効果を作るために修正される。
【０００９】
深度マップの符号化および復号化と、詳しくは、深度マップの予測符号化および復号化とは、特に、符号化または復号化される現在フレームと参照フレームとの間で深度クリッピング面パラメータ値に著しい変化が存在するとき、問題を引き起こす可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
深度マップの予測符号化および復号化を提供することは、一般的な目的である。
【００１１】
深度マップの予測符号化および復号化と併せて深度クリッピング面パラメータ値を使用することは、特定の目的である。
【課題を解決するための手段】
【００１２】
上記目的および他の目的は、本書に開示された実施形態によって達成される。
【００１３】
実施形態の態様は、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップを予測符号化する方法に関連する。この方法は、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給することを含む。予測重みは、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算され、フレームに対する予測残差を計算するために使用される。この予測残差は、フレームの少なくとも１つの画素値と、予測重みによって重み付けされた参照フレームの少なくとも１つの画素値とに基づいて計算される。深度マップの符号化表現は、予測残差の符号化表現を含む。
【００１４】
実施形態の関連する態様は、複数の画素からなるフレームの形式をした深度マップを予測符号化するエンコーダを規定する。エンコーダは、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給するように構成されている値供給部を備える。エンコーダの重み計算部は、少なくとも第１の深度クリッピング面パラメータ値に基づいて予測重みを計算するように構成されている。エンコーダは、フレームの少なくとも１つの画素値および予測重みによって重み付けされた参照フレームの少なくとも１つの画素値に基づいてフレームに対する予測残差を計算するように構成されている残差計算部をさらに備える。深度マップの符号化表現は、予測残差の符号化表現を含む。
【００１５】
実施形態の別の関連する態様は、複数の画素からなるフレームの形式をした深度マップを受信するように構成されている入力部を備えるエンコーダを規定する。エンコーダは、メモリに記憶されたコンピュータプログラムのコード手段を処理するように構成されているプロセッサを備える。コード手段は、プロセッサ上で実行されたとき、プロセッサにフレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給させる。コード手段は、さらにプロセッサにフレームおよび参照フレームの少なくとも第１の深度クリッピング面パラメータ値に基づいて予測重みを計算させ、フレームの少なくとも１つの画素値および予測重みによって重み付けされた参照フレームの少なくとも１つの画素値に基づいてフレームに対する予測残差を計算させる。エンコーダは、予測残差の符号化表現を含む深度マップの符号化表現を出力するように構成されている出力部をさらに備える。
【００１６】
実施形態の別の態様は、複数の画素からなるフレームの形式をした深度マップの符号化表現を予測復号化する方法に関連する。これらの複数の画素のうちの各画素は、カメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している。この方法は、深度マップの符号化表現に基づいて、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算された予測重みを供給することを含む。深度マップの復号化表現は、フレームに対する予測残差および予測重みによって重み付けされた参照フレームの少なくとも１つの画素値に基づいて決定される。
【００１７】
実施形態の関連する態様は、複数の画素からなるフレームの形式をした深度マップの符号化表現を予測復号化するデコーダを規定する。デコーダは、深度マップの符号化表現に基づいて予測重みを供給するように構成されている重み供給部を備える。予測重みは、フレームに関連付けられた少なくとも第１の深度マップクリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度マップクリッピング面パラメータ値に基づいて計算される。デコーダの表現決定部は、フレームに対する予測残差および予測重みによって重み付けされた参照フレームの少なくとも１つの画素値に基づいて深度マップの復号化表現を決定するように構成されている。
【００１８】
実施形態の別の関連する態様は、複数の画素からなるフレームの形式をした深度マップの符号化表現を受信するように構成されている入力部を備えるデコーダを規定する。デコーダのプロセッサは、メモリに記憶されたコンピュータプログラムのコード手段を処理するように構成されている。コード手段は、プロセッサ上で実行されたとき、プロセッサに深度マップの符号化表現に基づいて予測重みを供給させる。予測重みは、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算される。コード手段は、さらにプロセッサにフレームに対する予測残差および予測重みによって重み付けされた参照フレームの少なくとも１つの画素値に基づいて深度マップの復号化表現を決定させる。デコーダは、深度マップの復号化表現を出力するように構成されている出力部をさらに備える。
【００１９】
深度クリッピング面パラメータ値に基づいて深度マップの予測符号化および復号化を実行することと、そして、詳しくは、深度クリッピング面パラメータ値に基づいて予測重みを計算することとは、深度マップ符号化および復号化の符号化効率を改善する。
【００２０】
発明は、発明のさらなる目的および利点と一体となって、添付図面と併せて以下の説明を参照することにより最も良く理解されることがある。
【図面の簡単な説明】
【００２１】
【図１】３つの物体Ａ、ＢおよびＣを含むシーン内の設定ＺｎｅａｒおよびＺｆａｒの実施例を示す図である。
【図２】物体Ａがカメラと相対的に水平方向に移動している図１のシーンを示す図である。
【図３】物体Ａがシーンの外へ移動している図１のシーンを示す図である。
【図４】複数の物体を含むシーン内のＺｎｅａｒおよびＺｆａｒの正確な設定の実施例を示す図である。
【図５】複数の物体を含むシーン内のＺｎｅａｒおよびＺｆａｒのインテリジェントな設定の実施例を示す図である。
【図６】実施形態による深度マップを予測符号化する方法のフローチャートである。
【図７】図６および図１７における重み計算ステップの実施形態を示すフローチャートである。
【図８】実施形態による図６の方法の付加的な自由選択のステップを示すフローチャートである。
【図９】実施形態による図６の方法の付加的な自由選択のステップを示すフローチャートである。
【図１０】図９および図１８における順序付けステップの実施形態を示すフローチャートである。
【図１１】実施形態による図６の方法の付加的な自由選択のステップを示すフローチャートである。
【図１２】実施形態による図９の方法の付加的な自由選択のステップを示すフローチャートである。
【図１３】実施形態による図６および図１５の方法の付加的な自由選択のステップを示すフローチャートである。
【図１４】別の実施形態による図６および図１５の方法の付加的な自由選択のステップを示すフローチャートである。
【図１５】実施形態による深度マップの符号化表現を予測復号化する方法のフローチャートである。
【図１６】図１５における重み供給ステップの実施形態を示すフローチャートである。
【図１７】図１５における重み供給ステップの別の実施形態を示すフローチャートである。
【図１８】実施形態による図１５の方法の付加的な自由選択のステップを示すフローチャートである。
【図１９】実施形態による図１８の方法の付加的な自由選択のステップを示すフローチャートである。
【図２０】実施形態によるフレームのストリームを概略的に示す図である。
【図２１】実施形態によるエンコーダの概略ブロック図である。
【図２２】別の実施形態によるエンコーダの概略ブロック図である。
【図２３】図２２におけるフレーム順序付けユニットの実施形態の概略ブロック図である。
【図２４】さらなる実施形態によるエンコーダの概略ブロック図である。
【図２５】さらに別の実施形態によるエンコーダの概略ブロック図である。
【図２６】少なくとも部分的にソフトウェアで実施された実施形態によるエンコーダの概略ブロック図である。
【図２７】実施形態によるデコーダの概略ブロック図である。
【図２８】図２７における重み供給部の実施形態の概略ブロック図である。
【図２９】別の実施形態によるデコーダの概略ブロック図である。
【図３０】図２９におけるフレーム順序付けユニットの実施形態の概略ブロック図である。
【図３１】さらなる実施形態によるデコーダの概略ブロック図である。
【図３２】さらに別の実施形態によるデコーダの概略ブロック図である。
【図３３】少なくとも部分的にソフトウェアで実施された実施形態によるデコーダの概略ブロック図である。
【発明を実施するための形態】
【００２２】
図面全体を通じて、同じ符号が類似または対応する要素のため使用される。
【００２３】
本実施形態は、概して、深度マップの処理に、詳しくは、深度マップの予測符号化および復号化に関係する。
【００２４】
実施形態の一般的な態様では、深度マップの予測符号化および復号化は、現在フレームの形式をした深度マップに関連付けられた深度クリッピング面パラメータ値および現在フレームに対する符号化および復号化基準として使用される参照フレームに関連付けられた深度クリッピング面パラメータ値の情報に少なくとも部分的に基づいて実行される。より詳細には、予測符号化および復号化で使用される予測重みは、かかる深度クリッピング面パラメータに基づいて決定される。かかる深度クリッピング面に基づく重み付けの結果として、残差信号は、最小化できるので、符号化効率が最大化される。それゆえに、深度マップを符号化および復号化するときにどのようにシーンが変化させられるかに関する情報を考慮することにより、たとえば、重み付き予測を使用することにより、符号化効率の改善が得られる。
【００２５】
深度クリッピング面がどのように深度マップに関係するかについての概念が図１から５を参照して以下で最初に分析される。図１から３において、深度クリッピング面パラメータ値のいわゆる正確な設定（ＰＳ）が使用されている。かかるプロセスは、様々な実施形態によれば、深度クリッピング面パラメータ値を決定できるかもしれない。実施形態では、シーン内の深度は、たとえば、タイム・オブ・フライト方式カメラを使用して、直接的に測定される。これは、深度マップ内の最小深度および最大深度についての知識を提供し、深度クリッピング面パラメータ値ＺｎｅａｒおよびＺｆａｒは、それに応じて設定できる。別の実施形態では、深度は、たとえば、ステレオペアに基づいて、そして、カメラパラメータを供給することにより推定される。このような事例では、深度は、視差から計算でき、ＺｎｅａｒおよびＺｆａｒがそれに応じて設定される。さらなる実施形態は、特に、コンピュータ・グラフィックス・アニメーションとの関連において適用できる。このような事例では、組み込み型合成モデルがカメラまでの最近接物体と最遠方物体との間の距離を取得するために使用でき、ＺｎｅａｒおよびＺｆａｒがそれに応じて設定される。
【００２６】
図１は、ＺｎｅａｒおよびＺｆａｒが順番にカメラ４０から離れて位置している３つの物体Ａ、ＢおよびＣだけを収容する簡単なシーン内でどのように設定されるかについての実施例を示す。Ｚｎｅａｒは、物体Ａで正確に設定され、Ｚｆａｒは、物体Ｃで正確に設定される。物体Ａとカメラ４０との間の領域は、白色に、すなわち、８ビット深度の場合の輝度値２５５に塗られる。物体Ｃと無限遠との間の領域は、黒色に、すなわち、輝度値０に塗られる。物体Ａと物体Ｃとの間の領域は、各物体が深度マップ内で見えるべき階調を大まかに指示する傾斜階調中間色を使用して塗られる。
【００２７】
実施例では、物体ＢおよびＣが静止し、Ａが水平方向に移動している、と仮定する。図２は、図１に示されたフレームの時間的に１フレーム後の状況を示す。この時点で、物体Ａの半分がシーンから外へ移動している。しかし、物体Ａは、依然として、Ｚｎｅａｒが設定された最近接シーンを表現している。
【００２８】
図３では、物体Ａは、シーンから完全に外へ移動しているので、物体Ｂがカメラ４０に最近接している物体になる。その結果、Ｚｎｅａｒは、カメラ４０からの物体Ｂの距離に従って急峻に増加する。
【００２９】
フレーム０（図１）およびフレーム２（図３）が最初に、たとえば、フレーム０がＩフレームとして、そして、フレーム２がＰフレームとして符号化される典型的な階層映像符号化構造を仮定する。中間にあるフレーム１（図２）は、その後、たとえば、双方向予測を使用して、たとえば、参照ピクチャまたはフレームリスト中にフレーム０とフレーム２を共に含むＢフレームとして符号化される。実施形態は、フレーム１からフレーム２までにＺｎｅａｒの急峻な増加が存在することを検出することが可能であり、これがフレーム１の符号化前に起こるという事実を使用する。この知識は、どのようにシーンが変化したかについての大まかなアイデアを得るために使用でき、このことが本書にさらに開示されるように符号化効率改善を可能にする。
【００３０】
深度クリッピング面パラメータ値を設定する別の手法は、最近接物体の距離をＺｎｅａｒとして、または、最遠方物体の距離をＺｆａｒとして単に設定することに必ずしも基づいていない。このアプローチは、シーン内の深度の分布を分析し、そして、対象とされた深度範囲と量子化誤差との間でバランスがとられるように、好ましくは、深度範囲の密な部分を対象とすることだけによりＺｎｅａｒおよびＺｆａｒを設定するよりインテリジェントな手法を実行する。このアプローチは、本書では、インテリジェントな設定（ＩＳ）と表される。
【００３１】
ＩＳは、より高い深度分解能を提供するために深度クリッピング面を物体が群がる場所に巧妙に調整できる。一部の事例では、特殊効果を生み出すために手動による介入がさらに加えられる。物体は、深度クリッピング面の範囲外に存在し得るので、Ｚｎｅａｒおよび／またはＺｆａｒの急激な変化は、変化する深度マップコンテンツにＰＳシナリオとは異なる解釈を与える。
【００３２】
図４は、ＰＳを用いるシーンに対する深度クリッピング面パラメータ値を設定する典型的な手法である。図５は、ＺｎｅａｒおよびＺｆａｒがＩＳアプローチに従って設定されている対応するシーンを示す。このシーンには、深度値が異なる複数の物体が存在する。図４に表されたフレームでは、全ての物体は、物体Ａが（８ビット深度分解能を仮定すると）値２５５によって表現され、他の全ての物体が２５５未満の輝度値によって表現されていることを除いて、深度クリッピング面の範囲に含まれている。図５に表されたフレームでは、Ｚｎｅａｒは、物体Ｂが位置している距離まで増加させられる。ＩＳアプローチが、たとえば、物体がこの場所に群がっていることを検出する自己適応アルゴリズムを使用すること、そして、この領域の深度分解能を増加すること、または、手動による介入によることが理に適っているということがあり得る。この種類の挙動は、大域的な輝度変化の効果を生じ得る。物体Ａと物体Ｂとの間の物体は、全て輝度値２５５を有しているであろう。物体Ｂと物体Ｃとの間の物体は、図４と比べるとより高い輝度値を有しているであろう。変化しない唯一の物体は、依然として黒色である物体Ｃである。それゆえに、図４と図５を比較したときの全体的な効果は、大域的な輝度値が増加させられていることである。
【００３３】
この種類の輝度変化挙動が分かると、実施形態は、符号化効率を改善し、より優れた予測を得るために、重み付き予測の利点をうまく利用する。
【００３４】
図６は、図２０をさらに参照して、複数の画素１１からなるフレーム１０の形式をした深度マップの予測符号化の実施形態を示すフローチャートである。フレーム１０の中のこれらの複数の画素１１のうちの各画素１１は、カメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している。画素値は、好ましくは、深度を表現するために従来から使用され、上記式１の中のｄによって表現された前述の輝度値である。
【００３５】
この方法の一般的な実施形態は、ステップＳ１において、フレーム１０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム２０、３０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値を供給することを含む。ステップＳ２は、フレーム１０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム２０、３０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて予測重みを計算する。フレーム１０に対する予測残差は、フレーム１０の少なくとも１つの画素値および予測重みによって重み付けされた参照フレーム２０、３０の少なくとも１つの画素値に基づいてステップＳ３で計算される。深度マップの符号化表現は、その結果、予測残差の符号化表現を含む。
【００３６】
この一般的な実施形態の様々な特別の実施形態を次に本書においてさらに説明する。
【００３７】
実施形態では、図６の方法は、現在フレーム１０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値が参照フレーム２０、３０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値と一緒に供給されるステップＳ１において一般的に記載する。供給された深度クリッピングパラメータ値は、現在フレーム１０および参照フレーム２０、３０のそれぞれのＺｎｅａｒ値、または、現在フレーム１０および参照フレーム２０、３０のそれぞれのＺｆａｒ値であるかもしれない。このようにして、これらの代替策では、単一のそれぞれの深度クリッピング面パラメータ値がステップＳ１においてフレーム１０、２０、３０毎に供給される。代替的な実施形態では、ステップＳ１は、現在フレーム１０のＺｎｅａｒ値およびＺｆａｒ値と参照フレーム２０、３０のＺｎｅａｒ値およびＺｆａｒ値とを共に供給する。このような実施形態では、２つの深度クリッピング面パラメータ値が各フレーム１０、２０、３０に対してステップＳ１において供給される。
【００３８】
ステップＳ１は、現在フレーム１０および参照フレーム２０、３０に関連付けられたデータに基づいて深度クリッピング面パラメータ値を決定または取り出すのが有利である。本書においてこれまでに開示されたように、これらのパラメータ値は、ＰＳアプローチに従って、または、ＩＳアプローチに従って決定されるかもしれない。代替的に、パラメータ値は、事前に決定され、フレーム１０、２０、３０の画素データ（輝度値）と一緒に送信される。
【００３９】
次のステップＳ２は、ステップＳ１において供給された、現在フレーム１０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレーム２０、３０に関連付けられた少なくとも第１のクリッピング面パラメータ値に基づいて予測重みを計算する。それゆえに、実施形態によれば、ステップＳ１において現在フレーム１０および参照フレーム２０、３０のため供給された深度クリッピング面パラメータ値は、参照フレーム２０、３０に対する適当な予測重みを計算するためにステップＳ２において使用される。
【００４０】
ステップＳ２において計算された予測重みは、その後、現在フレーム１０からの予測残差または差分を計算するためにステップＳ３において使用される。この予測残差は、現在フレーム１０の少なくとも１つの画素値およびステップＳ２において計算された予測重みによって重み付けされた参照フレーム２０、３０の少なくとも１つの画素値に基づいて計算されている。深度マップ、すなわち、現在フレーム１０の符号化表現は、好ましくは、典型的に、可変長符号化版のようなこの現在フレームの符号化版または符号化表現の形式をしたこの計算された予測残差を含む。
【００４１】
参照フレーム２０、３０の少なくとも１つの画素値は、典型的に、当技術分野においてよく知られた、動きベクトル２５、３５によって識別される。深度マップの符号化表現は、その結果、好ましくは、この動きベクトルの符号化表現を含む。
【００４２】
このような予測映像符号化の目的は、零に接近した残差値が、典型的に、より大きい予測残差と比べてより少数のビットを使って符号化されるので、予測残差信号を最小化することである。単一の参照フレーム、すなわち、単方向予測を使用して、予測残差信号は、一般に、Δｄ１＝ｄ１−ｐｄ１として記述でき、式中、ｄ１は、現在フレームの中で予測されるべき信号（現在フレームの少なくとも１つの画素値）を指示し、ｐｄ１は、予測信号を指示し、Δｄ１は、予測残差信号（予測残差）を指示する。現在フレームがフレーム１であり、参照フレームがフレーム０であると仮定すると、ステップＳ２において計算されるような予測重みｗは、予測を改善するために使用することができ、ｐｄ１＝ｗ×ｄ０かつΔｄ１＝ｄ１−ｗ×ｄ０が得られ、式中、ｄ０は、参照フレームの中の参照信号（参照フレームの少なくとも１つの画素値）を指示する。
【００４３】
前掲の概念は、当然ながら、双方向予測にも適用できる。このような事例では、ステップＳ１は、現在フレーム１０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値と、第１の参照フレーム２０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値と、第２の参照フレーム３０に関連付けられた少なくとも第１の深度クリッピング面パラメータ値とを供給する。ステップＳ２は、現在フレーム１０に対しておよび第１の参照フレーム２０に対してステップＳ１において供給された深度クリッピング面パラメータ値に基づいて第１の予測重みを計算する。ステップＳ２は、好ましくは、ステップＳ１において現在フレーム１０および第２の参照フレーム３０に対して供給された深度クリッピング面パラメータ値に基づいて第２の予測重みをさらに計算する。このような事例では、ステップＳ３は、フレーム１０の少なくとも１つの画素値と、第１の予測重みによって重み付けされた第１の参照フレーム２０の少なくとも１つの画素値と、第２の予測重みによって重み付けされた第２の参照フレーム３０の少なくとも１つの画素値とに基づいて現在フレーム１０に対する予測残差を計算する。
【００４４】
予測残差信号は、そこで、上記に対応して、Δｄ１＝ｄ１−ｗＡ×ｄ０Ａ−ｗＢ×ｄ０Ｂとして計算されるかもしれず、式中、ｗＡ／Ｂは、第１／第２の予測重みを表現し、ｄ０Ａ／ｄ０Ｂは、第１／第２の参照フレーム２０／３０の中の参照信号を表現する。
【００４５】
少なくとも１つの深度クリッピング面パラメータ値がステップＳ１において供給された参照フレームは、たとえば、動き補償または推定手続きにおいて、映像符号化の技術でよく知られたテクニックに従って特定または見つけられる可能性がある。概して、ストリームの中の少なくとも１つの、典型的に複数の、フレーム２０、３０の集合は、現在フレーム１０に対する見込みまたは候補参照フレームとして識別される。これらの参照フレーム２０、３０は、現在フレーム１０の時点より先行するか、または、後続することさえあるそれぞれの時点を有するかもしれない。しかし、参照フレームは、符号化／復号化順序に従って現在フレーム１０より先行する。典型的なアプローチでは、これらの見込み参照フレーム２０、３０は、フレームストリームの中で時間的に近接するフレームの中から選択されるかもしれない。マルチビュー映像符号化の事例では、参照フレームは、現在フレーム１０と同じ時点を有しているが、現在フレームの現在カメラビューと比べると他のカメラビューに属しているフレームの中からさらに選択されるかもしれない。
【００４６】
複数の候補参照フレーム２０、３０の集合が利用可能である場合、ステップＳ１は、好ましくは、このような各候補参照フレーム２０、３０に対してそれぞれの深度クリッピング面パラメータ値を供給する。それぞれの予測重みは、各候補参照フレーム２０、３０に対してステップＳ２において計算され、現在フレーム１０の中の画素１１の現在ブロック１２とそれぞれの重みによって重み付けされた画素値を有する画素２１、３１のブロック２２、３２の見込み参照領域との間の最小の平方差の和（ＳＳＤ）または絶対値差の和（ＳＡＤ）を見つけるために使用される。動き探索の結果は、いずれの参照フレーム２０、３０を参照するかをシグナル通知する参照インデックスと、参照領域２２、３２を指し示す動きベクトル（ＭＶ）２５、３５と称されるオフセットベクトルとである。ＳＳＤまたはＳＡＤを最小化した予測残差は、深度マップの符号化表現を形成するために参照インデックスおよび動きベクトル２５、３５と一緒に使用される。
【００４７】
特別の実施形態では、ステップＳ１は、現在フレームに関連付けられた近接深度クリッピング面パラメータ値（Ｚｎｅａｒ）および遠方深度クリッピング面パラメータ値（Ｚｆａｒ）と、参照フレームに関連付けられたＺｎｅａｒおよびＺｆａｒとを供給する。このような事例では、これらの４つの深度クリッピング面パラメータ値は、予測重みを計算するためにステップＳ２において使用される。
【００４８】
特別の実施形態では、予測重みは、現在フレームに関連付けられたＺｆａｒとＺｎｅａｒとの間の差と、参照フレームに関連付けられたＺｆａｒとＺｎｅａｒとの間の差との間の商に基づいてステップＳ２において計算されるかもしれない。
【００４９】
以下では、予測重みを計算する様々な実施形態について説明する。本実施形態は、しかし、深度マップ符号化および復号化に関連して予測重みを計算するためにどのように深度クリッピング面パラメータ値を使用するかについての例示的であるが、限定的ではない実施例として考えられるべきである。
【００５０】
実施形態では、ｄ０およびｄ１は、フレーム０（参照フレーム）およびフレーム１（現在フレーム）のそれぞれの中の画素値（輝度値）であり、８ビット表現が使用され、すなわち、ｄ０およびｄ１は、０と２５５との間である、と仮定される。ｄ０およびｄ１は、これらのそれぞれのＺ値対応部分Ｚ０およびＺ１に、すなわち、フレームｉ＝０およびｉ＝１のそれぞれに対するそれぞれの値Ｚｎｅａｒ，１およびＺｆａｒ，ｉが与えられた場合に、式１を介して、カメラからの物理距離に関連している。Ｚｎｅａｒ，１およびＺｆａｒ，ｉの値が経時的に変化することを考慮すると、この関係は、最適予測重みｗを導出するために使用できる。
【００５１】
予測の目的のため、参照距離Ｚ０および現在距離値Ｚ１が等しいと仮定することが妥当である。なぜならば、典型的に、フレーム内のある特定の物体に属する画素は、参照フレーム内の同じ物体からの画素から予測されるからであり、物体移動の事例では、これは、物体移動に応じて動き補償を適用することにより獲得されることがある。実質的に高いフレームレート時の２つの隣接するフレームの間では、カメラからの物体の距離は、あまり変化していない、とさらに仮定できる。次に、Ｚ０＝Ｚ１を仮定すると、Ｚｎｅａｒ，１およびＺｆａｒ，ｉの変化する値は、ｄ０およびｄ１の対応する画素値の間に差を引き起こすことになる。この目的は、差を補償するように、従って、予測残差を最小化するように、この差に応じて予測重みｗを選択すること、すなわち、Δｄ１＝ｄ１−ｗｏｐｔ×ｄ０＝０かつｗｏｐｔ＝ｄ１／ｄ０とすることである。式１を使用して、ｄ１は、以下のとおり記述できる：
0006005157.tif 000003
本実施例では、Ｚ＝Ｚ０＝Ｚ１は、予測の目的のため一定であると仮定される物理距離を指示する。このようにして、最適重みは：
0006005157.tif 000004
として記述できる。この公式２を検討すると、僅かな特殊な事例は、Ｚｎｅａｒ，０＝Ｚｎｅａｒ，１かつＺｆａｒ，０＝Ｚｆａｒ，１であり、すなわち、深度クリッピング面は、変化しない。このとき、最適予測重みは、１であり、すなわち、特別の重み付けがない。
【００５２】
別の実施形態では、予測重みを取得する再マッピング関数が仮定される。ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  ＭＰＥＧ２０１１／Ｎ１２３４９、２０１１年１２月のＭｉｓｋａ  Ｍ．  ＨａｎｎｕｋｓｅｌａによるＴｅｓｔ  ｍｏｄｅｌ  ｕｎｄｅｒ  ｃｏｎｓｉｄｅｒａｔｉｏｎ  ｆｏｒ  ＡＶＣ−ｂａｓｅｄ  ３Ｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ（３ＤＶ−ＡＴＭ）のセクション４．４  Ｄｅｐｔｈ  Ｒａｎｇｅ  Ｂａｓｅｄ  Ｗｅｉｇｈｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ（ＤＲＷＰ）を参照のこと。ｂが正の整数であるとして、ａおよびａ＋２ｂと表された２つの入力サンプル値を仮定する。これは、２つの出力サンプル値ｙ１およびｙ２を与える。出力サンプル値ｙは、このとき、入力サンプル値ｘの線形関数：
0006005157.tif 000005
になり、式中、ｒｏｕｎｄ（）は、最も近い整数を返す関数である。この再マッピング関数は、整数計算では：ｙ＝ｙ１＋（（（ｘ−ａ）×（ｙ２−ｙ１）＋２ｂ−１）＞＞ｂ）として定義でき、式中、＞＞は、ビット右シフト演算を表す。オフセットｏがｏ＝ｙ１＋（（（−ａ）×（ｙ２−ｙ１）＋２ｂ−１）＞＞ｂ）として定義され、重みｗがｗ＝ｙ２−ｙ１として定義される場合、再マッピング関数は、明示的重み付け予測ｙ＝（ｘ×ｗ＋２ｂ−１）＞＞ｂ＋ｏになる。予測重みは、従って：
0006005157.tif 000006
として表現できる。パラメータｂは、ビットストリームの中に含まれたカメラおよびビュー合成パラメータから導出できる。
【００５３】
使用可能なスケーリングまたは重み付けを実行するさらなる実施形態は、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  ＭＰＥＧ２０１／Ｎ１２５５９、２０１２年２月のＨｅｉｋｏ  ＳｃｈｗａｒｔｚとＫｒｚｙｓｔｏｆ  ＷｅｇｎｅｒによるＴｅｓｔ  Ｍｏｄｅｌ  ｕｎｄｅｒ  Ｃｏｎｓｉｄｅｒａｔｉｏｎ  ｆｏｒ  ＨＥＶＣ  ｂａｓｅｄ  ３Ｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ、セクション２．３．３  Ｚ−ｎｅａｒ  ｚ−ｆａｒ  ｃｏｍｐｅｎｓａｔｅｄ  ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎに開示されている。このアプローチでは、予測重みは：
0006005157.tif 000007
として定義され、オフセットは、
0006005157.tif 000008
として定義される。
【００５４】
特別の実施形態では、図７に示されるように、この方法は、図６のステップＳ１から続く。次のステップＳ１０は、参照フレーム内で、画素ブロック、または、本書では単にブロックとも称される少なくとも１つの画素のブロックの各画素に対してそれぞれの予測重みを計算する。それぞれの予測重みは、好ましくは、
0006005157.tif 000009
として計算され、式中、Ｚは、画素の深度値を表現する。これは、画素のブロックの中の各画素がそれぞれの予測重みを有することを意味する。ブロックが、たとえば、マクロブロックである場合、これは、１６×１６個の予測重みがステップＳ１０において計算されることを意味する。次のステップＳ１１は、ステップＳ１０において計算されたそれぞれの予測重みの平均に基づいて単一の予測重みを計算する。このようにして、この平均予測重みは、参照フレーム内の該当ブロックに対する最適予測重みとして使用される。
【００５５】
平均予測重みを計算する前掲の実施例は、それぞれの予測重みがブロック内の各予測重みに対して計算されるので非常に計算集約的である。これは、結局、たとえば、４×４ブロックに対する１６個の予測重みからマクロブロックに対する２５６個の予測重みまで計算することになるかもしれない。新しい映像符号化標準の高効率映像符号化（ＨＥＶＣ）では、マクロブロックより大きい画素ブロック（符号化ユニットと称される）が提案されている。
【００５６】
別の代替案は、そこで、図６のステップＳ２が現在フレームと参照フレームとのペアに対して、これらの２つのフレームの少なくとも第１の深度クリッピング面パラメータ値に基づいて単一の予測重みを計算することである。
【００５７】
特別の実施形態では、ステップＳ２は、
0006005157.tif 000010
に基づいて、または、好ましくは、これとして、予測重みを計算する。本実施形態では、パラメータＺは、参照フレームに対する平均深度値を表現する。
【００５８】
本実施形態の実施例では、平均深度値は、参照フレーム全体に対する平均深度である。それゆえに、本実施例では、単一の予測重みは、現在フレームおよび参照フレームの所定のペアに対して計算される。本実施形態は、参照フレームに対して計算される必要がある予測重みの個数を著しく削減する。
【００５９】
さらなる代替案は、図６のステップＳ２が複数のこのようなブロックを含む参照フレーム内の画素のブロックに対する予測重みを計算することである。予測重みは、現在フレームの少なくとも第１のクリッピング面パラメータ値と、参照フレームの少なくとも第１のクリッピング面パラメータ値と、画素のブロックを表す少なくとも１つの画素値とに基づいて計算される。
【００６０】
特別の実施形態では、ステップＳ２は、
0006005157.tif 000011
に基づいて、または、好ましくは、これとして、予測重みを計算する。本実施形態では、パラメータＺは、ブロックに対する平均深度値を表現する。
【００６１】
このようにして、予測重みは、画素に基づいて、ブロックに基づいて、またはフレームに基づいて本書に開示されるように計算できる。典型的に、符号化効率改善は、粒度が大きいほど大きくなり、すなわち、フレーム固有の予測重みと比べて画素固有またはブロック固有の予測重みに対して大きくなる。しかし、このような改善は、複雑さおよび計算の増加を犠牲にして得られる。その結果、最も実際的なアプリケーションでは、ブロックまたはフレームに基づいて予測重みを計算することで概ね十分であろう。
【００６２】
本書においてこれまでに開示されているように、予測重みがブロック単位またはフレーム単位で導出される場合、いくつかの画素が対象とされるので、導出のため使用されるべきＺの単一の値はない。この事例では、数種類の平均化が実行できる。実施形態は、そこで、対象とされた画素、すなわち、それぞれのブロックまたはフレーム内の画素のＺ値の算術平均または幾何平均のいずれかとしてＺを使用できる。代替的に、予測重みを計算する公式は、対象とされた各画素に対して別々に適用されるかもしれず、その後、平均重み、たとえば、算術平均または幾何平均が別個の重み値に基づいて導出される。
【００６３】
予測重みを計算する上記例示された実施例では、現在フレームおよび参照フレームのＺｎｅａｒおよびＺｆａｒ値が共に重み計算で使用されている。実施形態は、しかし、これらに限定されない。特別の事例では、予測重みは、現在フレームおよび参照フレームのＺｎｅａｒ値に基づいて、または、現在フレームおよび参照フレームのＺｆａｒ値に基づいて図６のステップＳ２において計算される。
【００６４】
実施例では、近接深度クリッピング面パラメータ値Ｚｎｅａｒ，０、Ｚｎｅａｒ，１、Ｚｎｅａｒ，２を有する３つの連続したフレームが仮定され、符号化されるべき現在フレームは、フレーム１である。フレーム０に対する予測重みは、その後、
0006005157.tif 000012
に基づいて計算される、または、好ましくは、これに等しくなるかもしれない。フレーム２に対する対応する予測重みは、
0006005157.tif 000013
に基づいて計算される、または、好ましくは、これに等しくなるかもしれない。
【００６５】
これらの公式の基礎となる考え方は、予測重みが２つの深度クリッピング面の間の距離に反比例するように、輝度変化が深度クリッピング面変化に直線的に比例すると仮定することにある。分母は、Ｚｎｅａｒ，０＝Ｚｎｅａｒ，２であるときに零に等しい正規化係数であることに注意を要する。このような事例では、予測重みｗ０、ｗ１に１が設定される可能性がある。
【００６６】
対応する公式は、Ｚｎｅａｒ，０、Ｚｎｅａｒ，１、Ｚｎｅａｒ，２をＺｆａｒ，０、Ｚｆａｒ，１、Ｚｆａｒ，２と置換することにより、すなわち、
0006005157.tif 000014
0006005157.tif 000015
により、遠方深度クリッピング面パラメータ値のためにも使用されるかもしれない。
【００６７】
Ｚｎｅａｒ値に基づく公式およびＺｆａｒ値に基づく公式は、独立に使用でき、または、たとえば、映像の大量のコンテンツが背景であるか、もしくは、前景であるかに依存して、一体として考慮できる。一例として、ＺｎｅａｒおよびＺｆａｒの両方の組み合わせ効果は、
0006005157.tif 000016
のような上記公式をそれぞれ使用して計算されたＺｎｅａｒおよびＺｆａｒの重み付け係数の乗算によって表現できる。
【００６８】
上記の開示されているような予測重みは、エンコーダ側で計算され、たとえば、ブロック単位またはフレーム単位で、ビットストリームの中で副情報としてデコーダに送信されるかもしれない。図８は、このような実施形態を示す。この方法は、その後、図６のステップＳ３から継続する。次のステップＳ２０は、予測重みの符号化表現を深度マップの符号化表現に挿入する。本実施形態では、デコーダは、この予測重みの符号化表現を簡単に取り出すことができるので、復号化中に予測重み計算を繰り返す必要がない。
【００６９】
別の実施形態では、フレーム符号化に関連した上記の開示された予測重みの計算は、深度マップの符号化表現の復号化と併せてデコーダによっても実行される。この事例では、副情報は、ビットストリームの中で送信される必要がなく、予測重みは、既に開示された公式のいずれかに従って、パラメータＺとしてそれぞれの参照画素値を用いて計算されるかもしれない。
【００７０】
現在フレームおよび参照フレームの深度クリッピング面パラメータ値は、符号化効率を改善するために付加的または代替的な手法でさらに使用できる。このような実施形態は、図９に開示されている。この方法は、一般に、複数の参照フレームまたは候補参照フレームが現在フレームに対して識別されるステップＳ３０で始まる。これらの参照フレームは、本書において前述されているように、現在フレームに時間的に先行または後続する時間的近傍にある参照フレーム、または、現在フレームと同じ時点を有しているが、マルチビュー映像符号化の事例において他のカメラビューに属している参照フレームであるかもしれない。次のステップは、ステップＳ３０において識別された各参照フレームに対して類似性メトリックを計算する。このような類似性メトリックは、フレームに関連付けられた第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた第１の深度クリッピング面パラメータ値に基づいている。複数の参照フレームは、その後、ステップＳ３２において計算された類似性メトリックに少なくとも部分的に基づいて参照ピクチャまたはフレームリストの中で順序付けられる。次のステップＳ３３は、ステップＳ３２における参照フレームの順序付け後の参照フレームリストの中で、それぞれの参照フレームインデックスをステップＳ３０において識別された少なくとも１つの参照フレームに割り当てる。深度マップの符号化表現は、そこで、少なくとも１つの参照フレームインデックスのそれぞれの符号化表現を含むことがある。この方法は、その後、図６のステップＳ１に続く。
【００７１】
特別の実施形態では、ステップＳ３１は、フレームに関連付けられた深度クリッピング面パラメータ値と参照フレームに関連付けられた深度クリッピング面パラメータ値との間の絶対差として類似性メトリックを計算する。
【００７２】
図１０は、図９の順序付けステップＳ３２の特別の実施形態を示すフローチャートである。この方法は、図９のステップＳ３１から続く。次のステップＳ４０は、類似性メトリック（ＳＭ）を閾値（Ｔ）と比較する。類似性メトリックが閾値未満である場合、この方法は、参照フレームの位置が、複数の参照フレームが現在フレームまでのこれらのそれぞれの距離に基づいて順序付けられた予備順序に関連して、参照フレームリストの中の前方に向かって少なくとも１つの位置だけシフトされるステップＳ４１に続く。
【００７３】
それゆえに、特別の実施形態では、図９のステップＳ３０において識別された参照フレームは、たとえば、現在フレームまでのこれらのそれぞれの距離に基づいて決定された予備順序で最初に順序付けられる。たとえば、現在フレームがフレーム番号ｊを有する場合、予備参照フレームリストは、フレームｊ−１、フレームｊ−２、フレームｊ−３などの順序であるかもしれない。参照フレームが時間的に先行するフレームおよび後続するフレームを共に含む場合、これらは、フレームｊ−１、フレームｊ＋１、フレームｊ−２、フレームｊ＋２などのように同じ予備参照フレームリストの中で、または、フレームｊ−１、フレームｊ−２，フレームｊ−３などを含む第１のリストとフレームｊ＋１、フレームｊ＋２、フレームｊ＋３などを含む第２のリストとのように２つの異なる予備フレームリストの中で順序付けられるかもしれない。
【００７４】
参照フレームが、このとき、閾値未満である類似性メトリックを有している場合、この参照フレームは、好ましくは、ステップＳ４１においてリストの前方に向かって前方向に少なくとも１段階シフトされるか、または、移動させられる。このようにして、参照フレームが予備順序に従ってリスト位置番号３を占める場合、この参照フレームは、好ましくは、ステップＳ４１において位置２、１または０のいずれかにシフトされる。
【００７５】
実施形態では、閾値未満であるそれぞれの類似性メトリックを有している参照フレームは、参照フレームリストの前方に位置付けられ、リストの前方の中でのこれらの相対位置は、現在フレームまでのこれらのそれぞれの距離に基づいて定義されるかもしれない。これらのそれぞれの類似性メトリックが閾値未満ではない参照フレームはいずれも参照フレームリストの中でこれらの参照フレームの後に来る。これらの最後の参照フレームは、現在フレームまでのこれらのそれぞれの距離に基づいて定義されたリストの後方の中にこれらの相対位置を有しているかもしれない。
【００７６】
代替的なアプローチでは、ステップＳ４１は、リストの前方に向かって、かつ、予備順序によるこれらの原位置と相対的に、１段階のような所定の段階の数だけ参照フレームの位置をシフトする。
【００７７】
小さい類似性メトリック（ＳＭ＜Ｔ）を有している参照フレームと大きい類似性メトリック（ＳＭ≧Ｔ）とを有している参照フレームとを区別する前掲の実施形態は、２つ以上の閾値を使用する事例に拡張できる。たとえば、ＳＭ＜Ｔ１を有する参照フレームは、参照フレームリスト内の前方に位置付けられ、Ｔ１≦ＳＭ＜Ｔ２を有している参照フレームは、参照フレームリストの中の中間に位置付けられ、ＳＭ≧Ｔ２を有している参照フレームは、参照フレームリストの中の後方に位置付けられ、ここで、Ｔ１＜Ｔ２である。代替的に、ｋ＞ｌとして、ＳＭ＜Ｔ１を有している参照フレームは、予備順序によるこれらの原位置と相対的に前方にｋ段階だけこれらの位置をシフトし、Ｔ１≦ＳＭ＜Ｔ２を有している参照フレームは、これらの原位置と相対的に前方にｌ段階だけこれらの位置をシフトするかもしれない。これは、当然ながら、３つ以上の異なる閾値を使う事例に拡張できる。
【００７８】
多くのコーデックでは、参照フレームインデックスは、参照フレームインデックスの値が小さいほど、この参照フレームインデックスに割り当てられる符号語が短くなることを意味する可変長符号化を使用して符号化される。従来技術では、参照フレームは、現在フレームからのこれらの距離に依存してソートされる。第１の態様によれば、参照フレーム順序付けは、小さい類似性メトリックを有している参照フレームが参照フレームリストの前方に位置付けされ、その結果として、より小さいインデックス値を有するように、影響される可能性がある。
【００７９】
類似性メトリックは、実施例では、ΔＺｎｅａｒ＝｜Ｚｎｅａｒ，１−Ｚｎｅａｒ，０｜として計算されるかもしれない。この類似性メトリックは、好ましくは、現在フレームが依存している参照フレーム毎に計算される。閾値Ｔは、その後、ΔＺｎｅａｒ＜Ｔを有しているこれらの参照フレームを「類似＿Ｚｎｅａｒ」として分類するために使用される。類似性分類は、代替的に、または、付加的に、類似性メトリックΔＺｆａｒ＝｜Ｚｆａｒ，１−Ｚｆａｒ，０｜を取得するためにＺｆａｒに対して実行されるかもしれない。同じ閾値または異なる閾値が参照フレームを「類似＿Ｚｆａｒ」として分類するために使用されるかもしれない。
【００８０】
それゆえに、実施形態では、図９のステップＳ３２における参照フレームの順序付けは、Ｚｎｅａｒ値に基づいて計算された、Ｚｆａｒ値に基づいて計算された、または、ΔＺ＝｜Ｚｎｅａｒ，１−Ｚｎｅａｒ，０｜＋｜Ｚｆａｒ，１−Ｚｆａｒ，０｜のような、ＺｎｅａｒおよびＺｆａｒ値に共に基づいて計算された類似性メトリックに基づいている。
【００８１】
参照フレームリストの中の参照フレームの再順序付けは、暗黙的にシグナル通知されるかもしれない。それゆえに、このような事例では、デコーダは、ビットストリームの中でシグナル通知された深度クリッピング面パラメータに基づいて参照フレームリストの中の各参照フレームに対して類似性メトリックを計算する。エンコーダおよびデコーダは、その後、類似性メトリックに基づいて参照フレームリストの中の参照フレームの位置をシフトする同じ順序付けルールを使用する。何らかのシフト用コマンドの明示的なシグナリングは、その結果、必要とされない。
【００８２】
図１１は、明示的なシグナリングを伴う別のアプローチを示す。この方法は、図９のステップＳ３３から続く。次のステップＳ５０は、類似性メトリックに基づいてメモリ・マネジメント・コントロール・オペレーション（ＭＭＣＯ）コマンドを生成する。このＭＭＣＯコマンドは、参照フレームリストの中の参照フレームの更新された順序を指示する。このＭＭＣＯコマンドは、ステップＳ５１において、深度マップの符号化表現に挿入される。デコーダは、その後、類似性メトリックを計算する必要性なしに参照フレームリストの中の参照フレームの正確な順序付けを実行するためにＭＭＣＯコマンドを簡単に取り出すことができる。
【００８３】
深度クリッピング面パラメータに基づいて参照フレームリストの中で参照フレームを順序付けるアプローチは、図１２に表されるように、フレーム単位またはブロック単位で実行されるかもしれない。この事例では、この方法は、図９のステップＳ３０から続く。次のステップＳ６０は、現在フレーム内の複数のこのようなブロックうちの画素の各ブロックに対するブロック基準値を決定する。ステップＳ６０において決定されたブロック基準値は、ブロックに対する平均画素値を表す。このように、ブロック基準値は、画素のブロックに対する平均輝度値であるかもしれない。
【００８４】
この方法は、その後、図９のステップＳ３１に続く。このステップＳ３１は、フレームに関連付けられた近接深度クリッピング面パラメータ値および参照フレームに関連付けられた近接深度クリッピング面パラメータ値に基づいてステップＳ３０において識別された各参照フレームに対して近接類似性メトリックを計算する。これらの近接類似性メトリックは、好ましくは、ΔＺｎｅａｒ＝｜Ｚｎｅａｒ，１−Ｚｎｅａｒ，０｜として計算される。ステップＳ３１は、好ましくは、現在フレームの遠方深度クリッピング面パラメータ値および参照フレームの遠方深度クリッピング面パラメータ値に基づいて各参照フレームに対して遠方類似性メトリックをさらに計算する。これらの遠方類似性メトリックは、好ましくは、ΔＺｆａｒ＝｜Ｚｆａｒ，１−Ｚｆａｒ，０｜として計算される。
【００８５】
図１２のステップＳ６０において決定されたブロック基準値が閾値以上である場合、複数の参照フレームは、好ましくは、近接類似性メトリックに基づいて現在ブロックに対して順序付けられる。しかし、ブロック基準値が閾値未満である場合、複数の参照フレームは、好ましくは、その代わりに、遠方類似性メトリックに基づいて現在ブロックに対して順序付けられる。
【００８６】
このように、高輝度値（閾値以上であるブロック基準値）をもつブロックに対して、「類似＿Ｚｎｅａｒ」グループが昇格させられ、その一方で、「類似＿Ｚｆａｒ」グループは、特に取り扱われない。低輝度値（閾値未満であるブロック基準値）をもつブロックに対して、「類似＿Ｚｆａｒ」グループが昇格させられる。「類似＿Ｚｎｅａｒ」グループは、特に取り扱われない。
【００８７】
このように、本実施形態では、複数の参照フレームは、好ましくは、最初に、現在フレームまでのこれらのそれぞれの距離に基づいて予備順序で順序付けられる。この予備順序は、その後、近接類似性メトリックまたは遠方類似性メトリックのいずれかに基づいて現在フレーム内の画素の各ブロックに対して更新される。たとえば、現在フレーム内のブロック番号１は、非常に高い輝度値、すなわち、大きいブロック基準値を有している。これは、「類似＿Ｚｎｅａｒ」グループに属する参照フレームが、予備順序と比べると一定の段階数だけ前方に移動させられるか、または、リストの前方に移動させられるように、昇格させられるべきことを意味する。その後、参照フレームインデックスが更新されたリスト順序に対して設定される。現在フレーム内の次のブロック番号２がその代わりに低輝度値を有している場合、予備順序は、ΔＺｆａｒ＝｜Ｚｆａｒ，１−Ｚｆａｒ，０｜＜Ｔであるこれらの参照フレームをリストの中で一定の段階数だけ前方に移動させる、または、これらの参照フレームをリストの先方へ移動させるように、「類似＿Ｚｆａｒ」グループを昇格させることにより遠方類似性メトリックに基づいて更新される。
【００８８】
上記開示されているようにブロック単位の参照フレームの再順序付けは、本書においてこれまでに開示されているように、デコーダに暗黙的にシグナル通知されるか、または、ＭＭＣＯコマンドを使用して明示的にシグナル通知されるかもしれない。
【００８９】
上記検討され、図９から１２に関連して深度クリッピング面パラメータに基づいて参照フレームを再順序付けする実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みを使用する予測符号化に特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づいて計算されたいずれの予測重みからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用するか、または、実際には予測重みを全く使用しない従来技術の予測符号化に適用されるかもしれない。
【００９０】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素は、カメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対して参照フレームリストの中の参照フレームを順序付ける方法に関係する。この方法は、フレームに対して複数の参照フレームを識別することを含む。次のステップは、複数の参照フレームのうちの各参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算する。この方法は、類似性メトリックに少なくとも部分的に基づいて参照フレームリストの中で複数の参照フレームを順序付けること、をさらに含む。次の自由選択のステップは、参照フレームリストの中の複数の参照フレームのうちの少なくとも１つの参照フレームに対してそれぞれの参照フレームインデックスを割り当てる。この自由選択のステップは、それぞれの参照フレームインデックスを参照フレームリストの中の各参照フレームに割り当てるかもしれない。
【００９１】
リストの中の参照フレームの順序付けは、現在フレームおよび参照フレームの深度クリッピング面パラメータ値に基づいて、そして、場合によっては、現在フレームと参照フレームとの間の時間的距離および／またはビュー間距離のような距離にさらに基づいて実行される。
【００９２】
図９から１２に関連して上記検討された様々な実施形態は、前述の態様の特別の実施例として適用されるかもしれない。
【００９３】
深度クリッピング面パラメータは、符号化を改善し、複雑さを低減するために、他の手法でも使用できる。このような手法は、図１３に開示されている。この方法は、現在フレームに対する複数の候補参照フレームを識別するステップＳ７０で始まる。このステップＳ７０は、図９のステップＳ３０に基本的に対応し、本書ではこれ以上検討されない。次のステップＳ７１は、ステップＳ７０において識別された各候補参照フレームに対して類似性メトリックを計算する。類似性メトリックは、現在フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および候補参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算される。このステップＳ７１は、図９のステップＳ３１に基本的に対応している。
【００９４】
次のステップＳ７２は、ステップＳ７０において識別された複数の候補参照フレームの中で現在フレームに対する少なくとも１つの参照フレームを識別する。ステップＳ７２において識別された参照フレームは、ステップＳ７１において計算されたような、閾値未満である類似性メトリックを有している。次のステップＳ７３は、現在フレーム内の画素の各ブロックに対してステップＳ７２において識別された少なくとも１つの参照フレームの中で動き探索を実行する。この方法は、次に、図６のステップＳ１に続く。
【００９５】
動き探索は、映像符号化において最も時間を消費する処理のうちの１つである。図１３に関連して上記開示された実施形態は、「類似＿Ｚｎｅａｒ」グループに属する、すなわち、ΔＺｎｅａｒ＝｜Ｚｎｅａｒ，１−Ｚｎｅａｒ，０｜＜Ｔを有しているこれらの候補参照フレームの間だけで、「類似＿Ｚｆａｒ」グループに属する、すなわち、ΔＺｆａｒ＝｜Ｚｆａｒ，１−Ｚｆａｒ，０｜＜Ｔを有しているこれらの候補参照フレームの間だけで、または、「類似＿Ｚｎｅａｒ」グループもしくは「類似＿Ｚｆａｒ」グループに属するこれらの候補フレームの間だけでこのような動き探索を実行する。これは、これらの実施形態によれば、大きい類似性メトリックを有しているこれらの候補参照フレーム上での動き探索を省略することが可能であることを意味する。これは、符号化中に複雑性を著しく低減する。
【００９６】
このようにして、実施形態では、候補参照フレームの初期集合は、たとえば、現在フレームの時点および現在フレームのカメラビューに基づいて、ステップＳ７０において現在フレームに対して識別される。ステップＳ７２は、その後、動き探索が実行されるこれらの候補参照フレームの部分集合を選択する。この部分集合は、現在フレームおよび候補参照フレームの深度クリッピング面パラメータ値に基づいて選択される。それゆえに、動き探索は、好ましくは、現在フレームのＺｎｅａｒおよび／またはＺｆａｒに近接したＺｎｅａｒおよび／またはＺｆａｒを有しているこれらの候補参照フレームの上だけで実行される。
【００９７】
別のあまり根本的ではないアプローチは、より短い探索範囲を使用すること、または、探索位置を「類似＿Ｚｎｅａｒ」グループまたは「類似＿Ｚｆａｒ」グループに属していないとみなされるこれらの候補参照フレームに対する整数画素に制限することである。
【００９８】
前述され、そして、図１３に関連して深度クリッピング面パラメータに基づいて参照フレームの間に動き探索を制限する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重み、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けを使用する予測符号化に特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測符号化、および、参照フレームリストの中の参照フレームの従来技術の順序付けに適用できるかもしれない。
【００９９】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対して動き探索を実行する方法に関係する。この方法は、フレームに対して複数の候補参照フレームを識別することを含む。次のステップは、複数の候補参照フレームのうちの各候補参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および候補参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算する。この方法は、複数の候補参照フレームの中で、閾値未満である類似性メトリックを有している少なくとも１つの参照フレームを識別することをさらに含む。次のステップは、フレーム内の画素からなる複数のブロックの中で少なくとも１つの、好ましくは、１つずつの画素からなるブロックに対して、閾値未満である類似性メトリックを有している少なくとも１つの参照フレームの間、好ましくは、この間だけで動き探索を実行する。
【０１００】
深度マップ符号化に関連して複雑さを低減する別のアプローチは、図１４に開示されている。この方法は、現在フレームに対して複数の参照フレームを識別するステップＳ８０で始まる。このステップＳ８０は、図９のステップＳ３０および図１３のステップＳ７０に基本的に対応している。次のステップＳ８１は、ステップＳ８０において識別された各参照フレームに対して類似性メトリックを計算する。この類似性メトリックは、フレームに関連付けられた第１の深度クリッピング面パラメータおよび参照フレームに関連付けられた第１の深度クリッピング面パラメータ値に基づいて計算される。このステップＳ８１は、図９のステップＳ３１および図１３のステップＳ７１に基本的に対応している。この方法は、参照フレームに対してステップＳ８１において計算された類似性メトリック（ＳＭ）を閾値（Ｔ）と比較するステップＳ８２に続く。類似性メトリックが閾値未満である場合、この方法は、第１の補間フィルタを動き探索手続き中に参照フレームに適用するステップＳ８３に続く。しかし、類似性メトリックが閾値以上である場合、この方法は、ステップＳ８２から、第２の異なる補間フィルタを動き探索手続き中に参照フレームに適用するステップＳ８４へ続く。この方法は、その後、図６のステップＳ１に続く。
【０１０１】
本実施形態では、異なる補間フィルタが参照フレームの深度クリッピング面パラメータに依存して参照フレームに適用される。特別の実施形態では、より簡単な補間フィルタが、好ましくは、現在フレームの深度クリッピング面パラメータ値と異なる深度クリッピング面パラメータ値、すなわち、閾値以上である類似性メトリックを有している参照フレームに適用される。たとえば、ステップＳ８３において適用された補間フィルタは、たとえば、半画素位置のための６タップのウィーナ補間フィルタおよび４画素位置を取得するために双一次フィルタを使用して、４倍の画素値または位置を生成するかもしれない。このような事例では、ステップＳ８４において適用された補間フィルタは、たとえば、双一次フィルタではなく６タップのウィーナ補間フィルタだけを使用して、半画素位置に限定されるかもしれない。代替的なアプローチでは、ステップＳ８３は、半画素または４倍画素位置を可能にする（単一または複数の）補間フィルタを使用するかもしれないが、ステップＳ８４は、補間フィルタを全く使用しないので、整数画素位置だけを使用するかもしれない。
【０１０２】
さらなる変形は、ステップＳ８３において少なくとも１つの適応補間フィルタを使用することであるが、ステップＳ８４は、固定補間フィルタまたは固定補間フィルタの組を使用することに制限される。
【０１０３】
前述され、そして、図１４に関連して深度クリッピング面パラメータに基づいて補間フィルタを選択する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重み、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けを使用する予測符号化に特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測符号化、および、参照フレームリストの中の参照フレームの従来技術の順序付けに適用できるかもしれない。
【０１０４】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対する補間フィルタリング方法に関係する。この方法は、フレームに対して少なくとも１つの、好ましくは、複数の参照フレームを識別することを含む。次のステップは、少なくとも１つのまたは複数の参照フレームのうちの各参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算する。この方法は、第１の補間フィルタ、または、第１の補間フィルタの組を類似性メトリックが閾値未満である少なくとも１つの、または、複数の参照フレームのうちのいずれの参照フレームにも適用することをさらに含む。これに対応して、この方法は、第２の異なる補間フィルタ、または、第２の異なる補間フィルタの組を類似性メトリックが閾値以上である少なくとも１つの、または、複数の参照フレームのうちのいずれの参照フレームにも適用することを含む。
【０１０５】
図１５は、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップの符号化表現の予測復号化の方法を示すフローチャートである。
【０１０６】
一般的な実施形態では、この方法は、ステップＳ９２において、そして、深度マップの符号化表現に基づいて、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算された予測重みを供給する。深度マップの復号化表現は、フレーム１０に対する予測残差および予測重みによって重み付けされた参照フレーム２０、３０の少なくとも１つの画素値に基づいてステップＳ９３において決定される。
【０１０７】
この一般的な実施形態の様々な特別の実施形態について次にさらに説明する。
【０１０８】
特別の実施形態では、図１５の方法は、深度マップの符号化表現に基づいて複数の参照フレームの中で参照フレームを識別する自由選択の、しかし、好ましいステップＳ９０において一般に始まる。
【０１０９】
典型的な実施では、符号化表現は、参照フレームを識別する参照フレームインデックスを含む。ステップＳ９０は、このとき、好ましくは、参照フレームインデックスを取り出し、そして、深度マップの符号化表現の符号形式で供給された場合、おそらく復号化することを含む。参照フレームは、その後、取り出され、そして、おそらく復号化された参照フレームインデックスを使用して識別される。参照フレームは、本書において前述されているように参照フレームまたはピクチャリストの中で参照フレームインデックスによって識別されることがある。
【０１１０】
図１５のステップＳ９０は、現在フレームに対する復号化基準として単一の参照フレームを識別すること、または、複数の参照フレームを識別することを含むかもしれない。後者の事例では、複数の参照フレームインデックスが供給され、たとえば、単一または複数の参照フレームリストから参照フレームを識別するために使用される可能性がある。
【０１１１】
自由選択の、しかし、好ましいステップＳ９１は、深度マップの符号化表現に基づいて現在フレームに対する予測残差を決定する。ステップＳ９１は、典型的に、深度マップの符号化表現から予測残差の符号化表現として符号語を取り出すことを含む。予測残差は、その後、当技術分野においてよく知られた技術に従って符号語を復号化することによりこの符号語から取得されることがある。
【０１１２】
ステップＳ９０およびＳ９１は、どのような順序でも直列に、または、少なくとも部分的には並列に実行できる。
【０１１３】
次のステップＳ９２は、深度マップの符号化表現に基づいて予測重みを供給する。この予測重みは、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値およびステップＳ９０において識別された参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算される。
【０１１４】
ステップＳ９０が複数の参照フレームを識別した場合、ステップＳ９２は、好ましくは、識別された参照フレーム毎にそれぞれの予測重みを供給する。
【０１１５】
以下のステップＳ９３は、ステップＳ９１において決定された予測残差およびステップＳ９２において供給された予測重みによって重み付けされたステップＳ９０において識別された参照フレームの少なくとも１つの画素値に基づいてフレームの復号化表現を決定する。それゆえに、現在深度マップ内の画素の画素値は、予測残差および参照フレームからの重み付けされた画素値に基づいて決定される。
【０１１６】
当技術分野においてよく知られているように、画素の符号化および復号化は、典型的に、画素のブロックに対して実行される。ステップＳ９３は、そこで、好ましくは、参照フレームの領域が深度マップの符号化表現の中でシグナル通知された動きベクトルに基づいて識別されるとして、予測残差および参照フレームのこの領域からの重み付けされた画素値に基づいて現在フレーム内のこのような画素のブロックの復号化表現を生成することを含む。それゆえに、ステップＳ９３は、好ましくは、再試行し、動きベクトルの符号化表現を復号化し、予測重みによって重み付けられるべき参照フレーム内の画素値を識別するためにこれを使用する。
【０１１７】
双方向予測が画素の現在ブロックのため使用された場合、ステップＳ９３は、好ましくは、予測残差と、第１の動きベクトルによって識別されたような第１の参照フレームの第１の予測重みおよび画素値と、第２の動きベクトルによって識別されたような第２の参照フレームの第２の予測重みおよび画素値とに基づいて画素のブロックの復号化表現を決定する。
【０１１８】
ステップＳ９３は、その後、好ましくは、復号化される現在フレームの画素の各ブロックに対して繰り返される。このような事例では、異なる参照フレームと、その結果、異なる予測重みとが異なる画素のブロックのため使用される可能性があり、または、同じ参照フレーム（群）および予測重み（群）が現在フレーム内もしくは現在フレームの少なくともスライスの中の全ての画素のブロックのため使用されるかもしれない。
【０１１９】
図１６は、図１５におけるステップＳ９２の特別の実施形態を示す。この方法は、ステップＳ９１から続き、ステップＳ１００において深度マップの符号化表現から予測重みの符号化表現を取り出す。このように、本実施形態では、深度マップの符号化表現、および、その結果、ビットストリームは、典型的に符号化形式をした予測重みを含む。これは、深度クリッピング面パラメータ値に基づく予測重みの計算が、この計算がエンコーダで既に行われているので、デコーダで必要とされないことを意味する。デコーダは、その結果、ステップＳ１００において予測重みを簡単に取り出し、そして、おそらく復号化し、その後、予測重みが使用される図１５のステップＳ９３へ続く。
【０１２０】
前述され、そして、図１６に開示された実施形態は、計算の量、および、それによって、デコーダでの復号化の複雑さを低減する。しかし、これは、予測重みがビットストリームの中でシグナル通知されることが必要であるので、余分なオーバーヘッドを犠牲にして得られる。
【０１２１】
図１７は、図１５のステップＳ９２において予測重みを供給する別の実施形態を示すフローチャートである。この方法は、図１５のステップＳ９１から続く。次のステップＳ１１０は、深度マップの符号化表現から現在フレームおよび参照フレームに関連付けられた深度クリッピング面パラメータ値の符号化表現を取り出す。これらの深度クリッピング面パラメータ値は、式１に従って、画素値、すなわち、輝度値から深度値を計算するためにデコーダにシグナル通知されることが必要である。それゆえに、これらの深度クリッピング面パラメータ値は、ビットストリームの中に既に存在する。付加的なオーバーヘッドは、それによって、必要とされない。
【０１２２】
取り出され、そして、おそらく復号化された深度クリッピング面パラメータ値は、予測重みを計算するためにステップＳ１１１において使用される。ステップＳ１１１におけるこの計算は、図６のステップＳ２のように基本的に実行される。本実施形態では、エンコーダおよびデコーダは共に深度クリッピング面パラメータ値に基づいて予測重みを計算する。
【０１２３】
本書においてこれまでに開示されているように、ステップＳ１１０は、現在フレームまたは参照フレームに関連付けられたそれぞれの近接深度クリッピング面パラメータ値およびそれぞれの遠方深度クリッピング面パラメータ値の符号化表現を取り出すことを含むかもしれない。このような事例では、ステップＳ１１１は、近接深度クリッピング面パラメータ値および遠方深度クリッピング面パラメータ値に基づいて予測重みを計算する。実施形態では、予測重みは、現在フレームに関連付けられた遠方深度クリッピング面パラメータ値と近接深度クリッピング面パラメータ値との間の差と参照フレームに関連付けられた遠方深度クリッピング面パラメータ値と近接深度クリッピング面パラメータ値との間の差との間の商に基づいて計算される。
【０１２４】
予測重みは、好ましくは、式２から９のうちのいずれかのような既に開示された式のうちのいずれかに従って、そして、特に、式２に従って計算される。
【０１２５】
図７に関連したこれまでの検討と同様に、予測重みは、ステップＳ１０において参照フレーム内の少なくとも１つの画素のブロックの各画素に対して式２に従ってそれぞれの予測重みを計算することにより計算されるかもしれない。パラメータＺは、このとき、画素の深度値を表現する。予測重みは、その後、ステップＳ１１においてそれぞれの予測重みの平均として計算される。
【０１２６】
代替的なアプローチでは、単一の予測重みが深度クリッピング面パラメータ値に基づいて現在フレームおよび参照フレームのペアに対して図１７のステップＳ１１１において計算される。この単一の予測重みは、参照フレームに対する平均深度値を表現するパラメータＺを用いる式２に従って本書においてこれまでに開示されているように計算されるかもしれない。
【０１２７】
別の実施形態では、予測重みは、現在フレームおよび参照フレームに関連付けられた深度クリッピング面パラメータ値に基づいて、かつ、画素のブロックを表す少なくとも１つの画素値に基づいて参照フレーム内の画素のブロックに対してステップＳ１１１において計算される。たとえば、予測重みは、式２を使用して本書においてこれまでに開示されているように計算されるかもしれない。このような事例では、パラメータＺは、好ましくは、画素のブロックに対する平均深度値を表現する。
【０１２８】
それゆえに、深度マップの符号化に関連してこれまでに検討され、開示された深度クリッピング面パラメータ値に基づいて予測重みを計算する実施形態および実施例のいずれかがデコーダ側で同様に使用されるかもしれない。
【０１２９】
深度マップの復号化に関連して予測重みを使用し、これらの予測重みが深度クリッピング面パラメータ値に基づいて計算された実施形態は、本書においてこれまでに検討されているように符号化効率を改善し、複雑さを低減する他の技術を用いて補完されるかもしれない。
【０１３０】
たとえば、深度クリッピング面パラメータ値に基づく参照フレームリストの中の参照フレームの順序付けまたは再順序付けは、復号化と併せて使用されるかもしれない。図１８は、このような実施形態を示す。
【０１３１】
この方法は、その後、好ましくは、参照フレームリスト内の各参照フレームに対してそれぞれの類似性メトリックを計算することによりステップＳ１２０において始まる。この類似性メトリックは、現在フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて本書においてこれまでに開示されているように計算される。このステップＳ１２０は、図９のステップＳ３１に基本的に対応する。
【０１３２】
本書においてこれまでに記載されているように、参照フレームリストは、好ましくは、フレームのストリームの中の現在フレームに関して近傍または隣接参照フレームを含む。それゆえに、他のカメラビューに属しているが、好ましくは、現在フレームと同じ時点を有している時間的近傍フレームおよび場合によっては近傍フレームが１つ以上の参照フレームリストに含まれるかもしれない。ステップＳ１２０の計算は、好ましくは、このような参照フレーム毎に実行される。
【０１３３】
次のステップＳ１２１は、ステップＳ１２０において計算された類似性メトリックに少なくとも部分的に基づいて参照フレームリスト内の参照フレームを順序付ける。この方法は、その後、参照フレームが深度マップの符号化表現に基づいて供給された参照フレームインデックスに基づいて、そして、典型的に、符号化形式をした深度マップの符号化表現から参照フレームインデックスを取り出し、この取り出されたデータを復号化すことにより、順序付き参照フレームリストから識別される図１５のステップＳ９０へ続く。
【０１３４】
ステップＳ１２１の順序付けは、予備または初期設定順序にある参照フレームを現在フレームまでのこれらのそれぞれの（時間またはビューにおける）相対距離に基づいて順序付けることにより実行されるかもしれない。その後、類似性メトリックに基づく参照フレームの何らかの再順序付けが好ましくは実行される。
【０１３５】
これは、参照フレームが、好ましくは、図１５のステップＳ９０において正確な参照フレームを識別するため参照フレームインデックスを使用する前に、深度クリッピング面パラメータ値に基づいて参照フレームリストの中で（再）順序付けされることを意味する。参照フレームインデックスは、典型的に、位置０、位置１、位置２などのような参照フレームリストの中の位置、すなわち、参照フレームの暗黙的または相対的識別子を指示する。その結果、正しい参照フレームが、参照フレームインデックスが指し示す位置を占めることが重要である。それゆえに、ステップＳ１２１における参照フレームの順序付けは、その結果、好ましくは、参照フレームインデックスを使用する前に実行される。
【０１３６】
図１０は、参照フレームを順序付ける実施形態を示す。本実施形態では、類似性メトリックは、好ましくは、現在フレームに関連付けられた第１の（近接または遠方）深度クリッピング面パラメータ値と参照フレームに関連付けられた第１の（近接または遠方）深度クリッピング面パラメータ値との間の絶対差として計算される。類似性メトリックがステップＳ４０の比較において決定されたように閾値未満である場合、参照フレームリストの中の参照フレームの位置は、参照フレームリストの前方に向かって少なくとも１位置ずつシフトされる。それゆえに、現在フレームの（近接または遠方）深度クリッピング面パラメータ値に接近している（近接または遠方）深度クリッピング面パラメータ値を有するこれらの参照フレームは、参照フレームリストの前方に向かって移動させられ、その結果、参照フレームリストの後方に向かって位置付けされた参照フレームと比べるとビットに関してより短い参照フレームインデックスを使用できる。
【０１３７】
図１９は、現在フレーム内の画素のブロックに対する平均画素値を表すブロック基準値がステップＳ１３０において深度マップの符号化表現に基づいて決定されるか、または、深度マップの符号化表現から取り出される特別の実施形態を示す。図１８のステップＳ１２０は、このとき、好ましくは、現在フレームおよび各参照フレームの近接深度クリッピング面パラメータ値に基づいてそれぞれの近接類似性メトリックと、現在フレームおよび各参照フレームの遠方深度クリッピング面パラメータ値に基づいてそれぞれの遠方類似性メトリックとを計算することを含む。
【０１３８】
図１９のステップＳ１３０において取り出された、または、決定されたブロック基準値が閾値未満である場合、遠方類似性メトリックは、好ましくは、現在の画素のブロックに対してステップＳ１２１において参照フレームを順序付けるときに使用される。しかし、ブロック基準値が閾値以上である場合、近接類似性メトリックは、その代わりに、現在の画素のブロックに対して参照フレームを順序付けるときに使用される。本実施形態では、参照フレームは、好ましくは、現在フレームまでの相対距離に基づいて予備順序の中で最初に順序付けられ、ステップＳ１２１におけるいずれの再順序付けも予備順序から始めて現在フレーム内の各画素のブロックに対する遠方または近接類似性メトリックに基づいて実行される。
【０１３９】
上記検討され、そして、図１８および１９に関連して深度クリッピング面パラメータに基づいて参照フレームを再順序付けする実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みを使用する予測復号化に特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づいて計算されたいずれの予測重みからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測復号化に適用されるかもしれない。
【０１４０】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対する参照フレームリストの中で参照フレームを順序付ける方法に関係する。この方法は、フレームに対して複数の参照フレームを識別することを含む。次のステップは、複数の参照フレームのうちの各参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算する。この方法は、類似性メトリックに少なくとも部分的に基づいて参照フレームリストの中で複数の参照フレームを順序付けることをさらに含む。この方法の自由選択のステップは、順序付けステップに続いて、そして、深度マップの符号化表現に基づいて取得された参照フレームインデックスに基づいて参照フレームリストから参照フレームを識別することを含む。
【０１４１】
図１８および１９に関連して上記検討された様々な実施形態は、前述の態様の特別の実施例として適用されるかもしれない。
【０１４２】
深度クリッピング面パラメータは、復号化を改善し、複雑さを低減するために他の手法でさらに使用できる。このような手法は、本書においてこれまでに開示された図１３に開示されている。このようにして、動き探索を実行することは、閾値未満であるそれぞれの類似性メトリックを有しているこれらの候補参照フレームに限定されるかもしれない。それゆえに、図１３に関連して本書においてこれまでに検討された実施形態は、デコーダでも適用できる。
【０１４３】
深度クリッピング面パラメータに基づいて参照フレームの中で動き探索を制限する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みを使用する予測復号化、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測復号化、および、参照フレームリストの中の参照フレームの従来技術の順序付けに適用できるかもしれない。
【０１４４】
深度マップ復号化に関連して複雑さを低減する別のアプローチは、図１４に開示されている。このようにして、図１４に関連してこれまでに検討され、そして、補間フィルタを選択するために、類似性メトリック、そして、従って、深度クリッピング面パラメータ値を使用することに関連する実施形態は、復号化中に利用される可能性がある。
【０１４５】
上記検討され、そして、図１４に関連して深度クリッピング面パラメータに基づいて補間フィルタを選択する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みを使用する予測復号化、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測復号化、および、参照フレームリストの中の参照フレームの従来技術の順序付けに適用できるかもしれない。
【０１４６】
図２１は、実施形態による複数の画素からなるフレームの形式をした深度マップを予測符号化するエンコーダの概略ブロック図である。エンコーダ１００は、現在フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値と、参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータとを供給するように構成されている値供給部を備える。これらの深度クリッピング面パラメータ値は、予測重みを計算する重み計算部１２０によって使用される。エンコーダ１００の残差計算部１３０は、現在フレームの少なくとも１つの画素値と重み計算部１２０によって計算された予測重みによって重み付けされた参照フレームの少なくとも１つの画素値とに基づいてフレームに対する予測残差を計算するように構成されている。深度マップの符号化表現は、典型的には、符号化形式をした、計算された予測残差を含む。
【０１４７】
値供給部１１０は、好ましくは、現在フレームまたは参照フレームに関連付けられたそれぞれの近接および遠方深度クリッピング面パラメータ値を供給する。これらの近接および遠方深度クリッピング面パラメータ値は、その後に、たとえば、現在フレームに関連付けられた遠方および近接深度クリッピング面パラメータ値と参照フレームに関連付けられた遠方および近接深度クリッピング面パラメータ値との間の商に基づいて、予測重みを計算するために重み計算器１２０によって使用される。
【０１４８】
重み計算器１２０は、式２から９のいずれかに従うような、これまでに検討された実施形態および実施例のいずれかに従って予測重みを計算するように構成されるかもしれない。
【０１４９】
たとえば、それぞれの予測重みは、重み計算部１２０によって、たとえば、式２に従って、参照フレーム内の少なくとも１つの画素のブロックのうちの各画素に対して計算されるかもしれない。重み計算部１２０は、これらのそれぞれの予測重みの平均に基づいて、画素のブロックに対して、予測重みをさらに計算する。
【０１５０】
代替的なアプローチでは、単一の予測重みは、たとえば、式２に従って、そして、参照フレームに対する平均深度値を使用して、現在フレームおよび参照フレームのペアに対して、重み計算部１２０によって計算される。
【０１５１】
さらなる可能性は、たとえば、式２に従って、そして、画素のブロックに対する平均深度値のような、深度クリッピング面パラメータ値および画素のブロックを表す少なくとも１つの画素値に基づいて、参照フレーム内の画素のブロックに対して予測重みを計算することである。
【０１５２】
自由選択の実施形態では、エンコーダ１００は、重み計算器１２０によって計算された予測重みの符号表現を深度マップの符号化表現に挿入するように構成されている挿入部１４０をさらに備える。
【０１５３】
図２２は、エンコーダ２００の別の実施形態の概略ブロック図である。このエンコーダ２００は、好ましくは、図２１に関連してこれまでに説明されたように動作する値供給部２１０と、重み計算部２２０と、残差計算部２３０と、自由選択の挿入部２４０とを備える。
【０１５４】
エンコーダ２００は、好ましくは、現在フレームに対する複数の参照フレームを識別するように構成されているフレーム識別部２５０をさらに備える。フレーム識別部２５０は、好ましくは、図９のステップＳ３０に関連して検討されているように参照フレームを識別する。メトリック計算部２６０は、好ましくは、フレーム識別部２５０によって識別された各参照フレームに対して類似性メトリックを計算するためにエンコーダ２００において実施される。メトリック計算部２６０は、現在フレームおよび参照フレームの遠方または近接深度クリッピング面パラメータ値の間の絶対差のような現在フレームに関連付けられた深度クリッピング面パラメータ値および参照フレームに関連付けられた深度クリッピング面パラメータ値に基づいて類似性メトリックを計算する。
【０１５５】
エンコーダ２００は、メトリック計算部２６０によって計算された類似性メトリックに基づいてフレームリストの中のフレーム識別部２５０によって識別された複数の参照フレームを順序付けるように構成されているフレーム順序付けユニット２７０をさらに備える。インデックス割り当て部２８０は、それぞれの参照フレームインデックスを参照フレームリストの中の少なくとも１つの参照フレームに割り当てるように構成されている。この少なくとも１つの参照フレームインデックス、または、これの符号化版が、そこで、深度マップの符号化表現に含まれている。
【０１５６】
図２３は、図２２のフレーム順序付けユニット２７０の特別の実施形態の概略ブロック図である。フレーム順序付けユニット２７０は、参照フレームに対してメトリック計算部によって計算された類似性メトリックを閾値と比較するように構成されている比較部２７２を備える。フレームシフト部２７４は、その後、現在フレームまでのそれぞれの距離に基づいて取得された複数の参照フレームの予備順序と比べて参照フレームリストの中で前方に向かって少なくとも１つの位置だけ参照フレームの位置をシフトする。
【０１５７】
フレームシフト部２７４は、図１０のステップＳ４１に関連して本書においてこれまでに検討されているように様々な実施形態に従って動作するかもしれない。
【０１５８】
自由選択の実施形態では、図２２のエンコーダ２００は、類似性メトリックに基づいてＭＭＣＯコマンドを生成するように構成されているコマンド生成部２９０を備える。ＭＭＣＯコマンドは、それによって、参照フレームリストの中で複数の参照フレームの順序を指示する。このＭＭＣＯコマンドは、挿入部２４０によって深度マップの符号化表現に挿入される。これは、デコーダが、本実施形態では、類似性メトリックを計算する必要がなく、深度クリッピング面パラメータ値に基づいて参照フレームリストの中で参照フレームの順序付けを達成するためにＭＭＣＯコマンドを簡単に使用できることを意味する。
【０１５９】
別の自由選択の実施形態では、エンコーダ２００は、現在フレーム内の画素のブロック毎にブロック基準値を決定するように構成されている値決定部２９５を備える。ブロック基準値は、ブロックに対する平均画素値を表している。メトリック計算部２６０は、本実施形態では、各参照フレームに対して、本書においてこれまでに開示されているように、近接類似性メトリックおよび遠方類似性メトリックを計算するように構成されている。フレーム順序付けユニット２７０は、ブロック基準値が閾値未満である場合、遠方類似性メトリックに基づいて参照フレームリストの中で参照フレームを順序付け、そうでなければ、近接類似性メトリックに基づいて参照フレームを順序付けるために構成されている。
【０１６０】
前述の深度クリッピング面パラメータに基づいて参照フレームの再順序付けを可能にするためにユニット２５０から２９５を有しているエンコーダ２００の実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みを使用する予測符号化に特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づいて計算されたいずれの予測重みからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用するか、または、実際には予測重みを全く使用しない従来技術の予測エンコーダに適用されるかもしれない。
【０１６１】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対する参照フレームリストの中で参照フレームを順序付ける装置に関係する。この装置は、フレームに対して複数の参照フレームを識別するように構成されているフレーム識別部２５０を備える。メトリック計算部２６０は、複数の参照フレームのうちの各参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するように構成されている。この装置は、類似性メトリックに少なくとも部分的に基づいて参照フレームリストの中で複数の参照フレームを順序付けるように構成されているフレーム順序付けユニット２７０をさらに備える。このようにして、フレーム順序付けユニット２７０は、現在フレームおよび参照フレームの深度クリッピング面パラメータ値に基づいて、そして、場合によっては、現在フレームと参照フレームとの間の距離にさらに基づいて、リストの中の参照フレームを順序付ける。自由選択のインデックス割り当て部２８０は、参照フレームリストの中の複数の参照フレームの少なくとも１つの参照フレームに対してそれぞれの参照フレームインデックスを割り当てるように構成されている。
【０１６２】
図２２に関連して上記検討された様々な実施形態は、前述の態様の特有の実施例として適用されるかもしれない。このようにして、参照フレームを順序付ける装置は、場合によっては、コマンド生成部２９０および挿入部２４０および／または値決定部２９５を備えるかもしれない。
【０１６３】
図２４は、エンコーダ３００の別の実施形態の概略ブロック図である。このエンコーダ３００は、好ましくは、図２１に関連して前述されているように動作する値供給部３１０、重み計算部３２０および残差計算部３３０を備える。
【０１６４】
エンコーダ３００は、好ましくは、図１３のステップＳ７０に関連して前述されているように、現在フレームに対して複数の候補参照フレームを識別するように構成されているフレーム識別部３５０をさらに備える。メトリック計算部３６０は、現在フレームおよび参照フレームの深度クリッピング面パラメータ値に基づいて各候補参照フレームに対して類似性メトリックを計算するように構成されている。このユニットは、図２２のメトリック計算部２５０のように基本的に動作する。フレーム識別部３５０は、本実施形態において、閾値未満である類似性メトリックを有している複数の候補参照フレームの中で少なくとも１つの参照フレームを識別するようにさらに構成されている。エンコーダ３００の動き推定部３７０は、その後、フレーム識別部３５０によって識別された少なくとも１つの参照フレームの中で現在フレーム内の画素のブロック毎に動き探索を実行する。
【０１６５】
上記検討され、そして、図２４に関連して深度クリッピング面パラメータに基づいて参照フレームの中で動き探索を制限するエンコーダ３００を有する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みおよび／または深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けを使用する予測エンコーダに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用するか、または、実際には予測重みを全く使用せず、そして、参照フレームリストの中の参照フレームの従来技術の順序付けを使用する従来技術の予測エンコーダに適用されるかもしれない。
【０１６６】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対して動き探索を実行する装置に関係する。この装置は、フレームに対して複数の候補参照フレームを識別するように構成されているフレーム識別部３５０を備える。メトリック計算部３６０は、複数の候補参照フレームのうちの各候補参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および候補参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するように構成されている。フレーム識別部３５０は、複数の候補参照フレームの中で、閾値未満である類似性メトリックを有している少なくとも１つの参照フレームを識別するようにさらに構成されている。この装置の動き推定部３７０は、フレーム内の複数の画素のブロックの中で少なくとも１つの、好ましくは、１つずつの画素のブロックに対して、類似性メトリックに基づいてフレーム識別部３５０によって識別された少なくとも１つの参照フレームの中で、好ましくは、この中だけで、動き探索を実行するように構成されている。
【０１６７】
図２５は、エンコーダ４００の別の実施形態の概略ブロック図である。このエンコーダ４００は、好ましくは、図２１に関連してこれまでに説明されたように動作する値供給部４１０と、重み計算部４２０と、残差計算部４３０とを備える。
【０１６８】
エンコーダ４００は、好ましくは、図１４のステップＳ８０に関連してこれまでに検討されているように、現在フレームに対する複数の参照フレームを識別するように構成されているフレーム識別部４５０をさらに備える。メトリック計算部４６０は、現在フレームおよび参照フレームの深度クリッピング面パラメータ値に基づいて各参照フレームに対して類似性メトリックを計算するように構成されている。このユニットは、図２２のメトリック計算部２５０および図２４のメトリック計算部３６０のように基本的に動作する。エンコーダ４００は、第１の補間フィルタまたは第１の補間フィルタの組をメトリック計算部４６０によって計算された類似性メトリックが閾値未満であるフレーム識別部４５０によって識別されたいずれの参照フレームにも適用するように構成されているフィルタユニット４７０をさらに備える。このフィルタユニット４７０は、その後、本書において前述されているように第２の補間フィルタまたは第２の補間フィルタの組を類似性メトリックが閾値以上であるいずれの参照フレームにも適用する。
【０１６９】
上記検討され、そして、図２５に関連して深度クリッピング面パラメータに基づいて補間フィルタを選択する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重み、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けを使用する予測エンコーダに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測エンコーダ、および、参照フレームリストの中の参照フレームの従来技術の順序付けに適用できるかもしれない。
【０１７０】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップを補間フィルタリングする装置に関係する。この装置は、フレームに対して複数の参照フレームを識別するように構成されているフレーム識別部４５０を備える。メトリック計算部４６０は、複数の参照フレームのうちの各参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するように構成されている。この装置は、第１の補間フィルタ、または、第１の補間フィルタの組を類似性メトリックが閾値未満である複数の参照フレームのうちのいずれの参照フレームにも適用するように構成されているフィルタユニット４７０をさらに備える。これに対応して、フィルタユニット４７０は、第２の異なる補間フィルタ、または、第２の異なる補間フィルタの組を類似性メトリックが閾値以上である複数の参照フレームのうちのいずれの参照フレームにも適用するように構成されている。
【０１７１】
図２１、２２、２４、２５のエンコーダ１００、２００、３００、４００は、ハードウェア、ソフトウェアまたはハードウェアおよびソフトウェアの組み合わせで実施できる。エンコーダ１００、２００、３００、４００は、携帯電話機、タブレット、デスクトップ、ノートブック、マルチメディアプレーヤ、映像ストリーミングサーバ、セット・トップ・ボックスまたはコンピュータのようなユーザ機器で実施できる。エンコーダ１００、２００、３００、４００は、通信ネットワークまたはシステムにおける無線基地局のような、ネットワークノードの形式をした、または、ネットワークノードに接続されたネットワーク装置でさらに実施されることがある。エンコーダ１００、２００、３００、４００は、マルチビュー映像コンテンツを符号化する装置の一部として実施されるのが有利である。
【０１７２】
図２１から２５に関連して開示されたそれぞれのユニット１１０〜１４０、２１０〜２９５、３１０〜３７０、４１０〜４７０は、エンコーダ１００、２００、３００、４００内で物理的に別個のユニット１１０〜１４０、２１０〜２９５、３１０〜３７０、４１０〜４７０として開示され、全てがＡＳＩＣ（特定用途向け集積回路）のような特定目的回路でもよいが、ユニット１１０〜１４０、２１０〜２９５、３１０〜３７０、４１０〜４７０の一部または全部が汎用プロセッサ上で動くコンピュータ・プログラム・モジュールとして実施されたエンコーダ１００、２００、３００、４００の代替的な実施形態が可能である。このような実施形態は、図２６に開示されている。
【０１７３】
図２６は、ＤＳＰ（デジタル信号プロセッサ）またはＣＰＵ（中央処理ユニット）のような処理ユニットまたはプロセッサ５２０を有しているエンコーダ５００またはコンピュータの実施形態を概略的に示す。プロセッサ５２０は、本書において説明された方法の種々のステップを実行する単一のユニット、または、複数のユニットとすることができる。エンコーダ５００は、それぞれの画素値がカメラとそれぞれの物体との間の距離を表現している複数の画素からなるフレームの形式をした深度マップを受信する入力部５１０をさらに備える。エンコーダの出力部５３０は、深度マップの符号化表現を出力するように構成されている。入力部５１０および出力部５３０は、別個のユニットの形式で示されているが、図２６の単一の入力／出力（Ｉ／Ｏ）ユニットの形式とすることもできる。
【０１７４】
さらに、エンコーダ５００は、不揮発性メモリ５４０、たとえば、ＥＥＰＲＯＭ（電気的消去可能プログラマブル・リード・オンリー・メモリ）、フラッシュメモリまたはディスクドライブの形式をした少なくとも１つのコンピュータ・プログラム・プロダクトを備える。コンピュータ・プログラム・プロダクトは、たとえば、プロセッサ５２０によって、エンコーダ５００上で動かされた、または、エンコーダ５００によってもしくはエンコーダ５００上で実行されたとき、プロセッサ５２０に図６に関連して前述された方法のステップを実行させるコード手段を備えるコンピュータプログラム５５０を備える。それゆえに、自由選択の実施形態では、コンピュータプログラム５５０におけるコード手段は、深度クリッピング面パラメータ値を供給する値供給モジュールまたは値供給部１１０、２１０、３２０、４１０と、予測重みを計算する重み計算モジュールまたは重み計算部１２０、２２０、３２０、４２０と、予測残差を計算する残差計算モジュールまたは残差計算部１３０、２３０、３３０、４３０とを備える。これらのモジュールは、プロセッサ５２０上で動かされたとき、図６のフローチャートのステップを原則的に実行する。このようにして、種々のモジュールがプロセッサ５２０上で動かされたとき、これらは、図２１、２２、２４、２５の対応するユニットに対応している。
【０１７５】
コンピュータプログラム５５０は、図２１〜２５に開示された他のユニットに対応するモジュールを付加的に備えることがある。
【０１７６】
図２７は、複数の画素からなるフレームの形式をした深度マップの符号化表現を予測復号化するデコーダ６００の概略ブロック図である。デコーダ６００は、深度マップの符号化表現に基づいて複数の参照フレームの中で参照フレームを識別するように構成されている自由選択のフレーム識別部６１０を備える。フレーム識別部６１０は、図１５のステップＳ９０に関連して本書においてこれまでに検討されているように、好ましくは、深度マップの符号化表現に基づいて取得された参照フレームインデックスを使用して参照フレームリストから参照フレームを識別する。
【０１７７】
デコーダ６００の自由選択の残差決定部６２０は、図１５のステップＳ９１に関連して検討されたように、深度マップの符号化表現に基づいて現在フレームに対する予測残差を決定するように構成されている。
【０１７８】
デコーダ６００は、深度マップの符号化表現に基づいて予測重みを供給するように構成されている重み供給部６３０を備える。この予測重みは、現在フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値およびフレーム識別部６１０によって識別された参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて計算される。
【０１７９】
表現決定部６４０は、残差決定部６２０によって決定された予測残差と重み供給部６３０によって供給された予測重みによって重み付けされた、フレーム識別部６１０によって識別された参照フレームの少なくとも１つの画素値とに基づいて、現在フレームの復号化表現を決定するように構成されている。予測重みによって重み付けされた少なくとも１つの画素値は、好ましくは、深度マップの符号化表現に基づいて決定された動きベクトルを使用して識別される。
【０１８０】
実施形態では、重み供給部６３０は、深度マップの符号化表現から予測重みの符号化表現を取り出すように構成されている。重み供給部６３０は、それによって、予測重みの取り出された符号化表現に基づいて参照フレームに対して使用される予測重みを決定した。
【０１８１】
図２８は、重み供給部６３０の別の実施形態の概略ブロック図である。本実施形態では、重み供給部６３０は、深度マップの符号化表現から現在フレームおよび参照フレームの深度クリッピング面パラメータ値の符号化表現を取り出すように構成されている自由選択の取り出し部６３２を備える。重み計算部６３４は、その後、取り出し部６３２によって取り出されたデータに基づいて決定された復号化深度クリッピング面パラメータ値に基づいて予測重みを計算する。
【０１８２】
デコーダ６００において実施される重み計算部６３４は、エンコーダにおいて実施された対応部分と基本的に同様に動作する。それゆえに、図２１、２２、２４、２５のエンコーダ１２０、２２０、３２０、４２０についての検討は、図２８の重み計算部６３４に同様に適用できる。これは、重み計算部６３４が式２から９のいずれかに従って予測重みを計算するかもしれないことを意味する。たとえば、重み計算部６３４は、参照フレーム内の少なくとも１つの画素のブロックのうちの各画素に対して式２に従ってそれぞれの予測重みを計算するかもしれない。重み計算部６３４は、画素のブロックに対して、これらのそれぞれの予測重みの平均に基づいて、予測重みを付加的に計算する。
【０１８３】
代替的に、重み計算部６３４は、現在フレームおよび参照フレームのペアに対して単一の予測重みを計算する。たとえば、単一の予測重みは、式２と参照フレームに対する平均深度値とに基づいて計算されるかもしれない。
【０１８４】
さらなる代替案では、重み計算部６３４は、現在フレームおよび参照フレームの深度クリッピング面パラメータ値に基づいて、かつ、画素のブロックを表す少なくとも１つの画素値に基づいて参照フレーム内の画素のブロックに対する予測重みを計算する。たとえば、予測重みは、式２に基づいて、かつ、画素のブロックに対する平均深度値を使用して計算されるかもしれない。
【０１８５】
図２９は、デコーダ７００の別の実施形態の概略ブロック図である。このデコーダ７００は、好ましくは、図２７に関連してこれまでに説明されたように動作するフレーム識別部７１０と、残差決定部７２０と、重み供給部７３０と、表現決定部７４０とを備える。
【０１８６】
デコーダ７００は、好ましくは、深度クリッピング面パラメータ値に基づいて参照フレームリストの中の各参照フレームに対して類似性メトリックを計算するように構成されているメトリック計算部７５０をさらに備える。このメトリック計算部７５０は、好ましくは、図２２においてエンコーダ側で実施されたメトリック計算部２６０と同様に動作する。デコーダ７００は、メトリック計算器７５０によって計算された類似性メトリックに基づいて参照フレームリストの中で複数の参照フレームを順序付けるために構成されているフレーム順序付けユニット７６０をさらに備える。フレーム識別部７１０は、そこで、深度マップの符号化表現に基づいて取得された参照フレームインデックスに基づいて参照フレームリストから参照フレームを識別するように構成されている。
【０１８７】
図２９におけるフレーム順序付けユニット７６０は、図２２のフレーム順序付けユニット２７０と同様に基本的に動作する。
【０１８８】
メトリック計算部７５０は、好ましくは、現在フレームに関連付けられた近接または遠方深度クリッピング面パラメータ値と参照フレームに関連付けられた近接または遠方深度クリッピング面パラメータ値との間の絶対差として類似性メトリックを計算するように構成されている。
【０１８９】
図３０は、フレーム順序付けユニット７６０の実施形態の概略ブロック図である。本実施形態では、フレーム順序付けユニット７６０は、類似性メトリックを閾値と比較するように構成されている比較部７６２を備える。この比較部７６２は、図２３の比較部２７２と同様に動作する。フレームシフト部７６４は、現在フレームまでの複数の参照フレームのそれぞれの距離に基づいて定義された予備順序から参照フレームリストの前方に向かって少なくとも１つの位置だけ参照フレームの位置をシフトするように構成されている。フレームシフト部７６４は、類似性メトリックが閾値未満である場合、このような位置シフトを実行する。フレームシフト部７６４は、図２３のフレームシフト部２７４と同様に動作する。
【０１９０】
実施形態では、図２９のデコーダ７００は、深度マップの符号化表現から現在フレーム内で画素のブロックに対するブロック基準値を取り出すように構成されている取り出し部７７０を備える。ブロック基準値は、画素のブロックに対する平均画素値を表している。
【０１９１】
メトリック計算部７５０は、そこで、本書においてこれまでに開示されたように、各参照フレームに対してそれぞれの近接類似性メトリックおよびそれぞれの遠方類似性メトリックを計算するように構成されている。このような事例では、フレーム順序付けユニット７６０は、ブロック基準値が閾値未満である場合、遠方類似性メトリックに基づいて参照フレームリストの中で参照フレームの順序付けを実行し、そうではない場合、すなわち、ブロック基準値が閾値以上である場合、フレーム順序ユニット７６０は、参照フレームを順序付けるとき、その代わりに、近接類似性メトリックを使用する。
【０１９２】
上記検討され、そして、図２９および３０に関連した深度クリッピング面パラメータに基づいて参照フレームを再順序付けする実施形態は、深度クリッピング面パラメータに基づいて計算された予測重みを使用する予測デコーダに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づいて計算されたいずれの予測重みとも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用する、または、実際には予測重みを全く使用しない従来技術の予測デコーダに適用されるかもしれない。
【０１９３】
これらの実施形態の態様は、そこで、複数の画素のうちの各画素がカメラとそれぞれの物体との間のそれぞれの距離を表現するそれぞれの画素値を有している、複数の画素からなるフレームの形式をした深度マップに対する参照フレームリストの中で参照フレームを順序付ける装置に関係する。この装置は、フレームに対する複数の参照フレームを識別するように構成されている自由選択のフレーム識別部７１０を備える。メトリック計算部７５０は、複数の参照フレームのうちの各参照フレームに対して、フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値および参照フレームに関連付けられた少なくとも第１の深度クリッピング面パラメータ値に基づいて類似性メトリックを計算するように構成されている。この装置は、類似性メトリックに少なくとも部分的に基づいて参照フレームリストの中で複数の参照フレームを順序付けるように構成されているフレーム順序付けユニット７６０をさらに備える。自由選択のフレーム識別部７１０は、参照フレームを順序付けるフレーム順序付けユニット７６０に続いて、そして、深度マップの符号化表現に基づいて取得された参照フレームインデックスに基づいて、参照フレームリストから参照フレームを識別するようにさらに構成されている。
【０１９４】
図２９および３０に関連して上記検討された様々な実施形態は、前述の態様の特別な実施例として適用されるかもしれない。
【０１９５】
図３１は、デコーダ８００の別の実施形態の概略ブロック図である。このデコーダ８００は、好ましくは、図２７に関連してこれまでに説明されたように動作するフレーム識別部８１０と、残差決定部８２０と、重み供給部８３０と、表現決定部８４０とを備える。
【０１９６】
デコーダ８００は、複数の候補フレームのうちの各候補フレームに対して類似性メトリックを計算するように構成されているメトリック計算部８５０をさらに備える。類似性メトリックは、現在フレームおよび候補参照フレームとそれぞれに関連付けられた深度クリッピング面パラメータ値に基づいて計算される。メトリック計算部８５０の動作は、図２４における対応するメトリック計算部３６０の動作に類似している。
【０１９７】
フレーム識別部８１０は、本実施形態では、複数の候補参照フレームの中から少なくとも１つの参照フレームを識別するように構成されている。この少なくとも１つの識別された参照フレームは、閾値未満である類似性メトリックを有し、それによって、現在フレームの深度クリッピング面パラメータ値に等しいか、または、少なくとも接近している深度クリッピング面パラメータ値を有している。
【０１９８】
動き推定部８８０は、フレーム識別部８１０によって識別された少なくとも１つの参照フレームの中で、現在フレーム内の複数のこのような画素のブロックの中の画素のブロック毎に動き探索を実行するためにデコーダ８００において実施される。それゆえに、動き探索は、現在フレームの深度クリッピング面パラメータ値から閾値未満しか違わない深度クリッピング面パラメータ値を有しているこれらの参照フレームに限定される。この動き推定部の動作は、図２４における動き推定部３７０と基本的に同じである。
【０１９９】
深度クリッピング面パラメータに基づいて動き探索を参照フレームの中に制限する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重み、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けを使用する予測デコーダに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用するか、または、実際には予測重みを全く使用せず、そして、参照フレームリストの中での参照フレームの従来技術の順序付けを使用する従来技術の予測デコーダに適用されるかもしれない。
【０２００】
図３２は、デコーダ９００の別の実施形態の概略ブロック図である。デコーダ９００は、好ましくは、図２７に関連して前述されたように動作するフレーム識別部９１０と、残差決定部９２０と、重み供給部９３０と、表現決定部９４０とを備える。
【０２０１】
デコーダ９００は、現在フレームおよび参照フレームの深度クリッピング面パラメータに基づいて複数の参照フレームのうちの各参照フレームに対してそれぞれの類似性メトリックを計算するように構成されているメトリック計算部９５０をさらに備える。メトリック計算部９５０の動作は、図２５におけるメトリック計算部４６０の動作と基本的に同じである。
【０２０２】
フィルタユニット９９０は、参照フレームに対して計算された類似性メトリックの値に基づいて第１の補間フィルタもしくはフィルタの組、または、第２の補間フィルタもしくはフィルタの組のどちらかを参照フレームに適用するためにデコーダ９００において実施される。このようにして、閾値未満である類似性メトリックを有している参照フレームは、第１の補間フィルタ（の組）を使用することになるが、閾値以上である類似性メトリックを伴う参照フレームは、その代わりに、第２の補間フィルタ（の組）を使用することになる。フィルタユニット９９０の動作は、図２５におけるフィルタユニット４７０の動作と基本的に同じである。
【０２０３】
上記検討され、そして、図３２に関連した深度クリッピング面パラメータに基づいて補間フィルタを選択する実施形態は、深度クリッピング面パラメータに基づいて計算された予測重み、および／または、深度クリッピング面パラメータに基づく参照フレームリストの中の参照フレームの順序付けを使用する予測デコーダに特有の実施形態として適用されるかもしれない。代替的なアプローチでは、これらの実施形態は、深度クリッピング面パラメータに基づくいずれの予測重み計算または参照フレーム順序付けからも分離して使用される。このような事例では、実施形態は、従来技術の予測重みを使用するか、または、実際には予測重みを全く使用せず、そして、参照フレームリストの中の参照フレームの従来技術の順序付けを使用する従来技術の予測デコーダに適用されるかもしれない。
【０２０４】
図２７、２９、３１、３２のデコーダ６００、７００、８００、９００は、ハードウェア、ソフトウェアまたはハードウェアおよびソフトウェアの組み合わせで実施できる。デコーダ６００、７００、８００、９００は、携帯電話機、タブレット、デスクトップ、ノートブック、マルチメディアプレーヤ、映像ストリーミングサーバ、セット・トップ・ボックスまたはコンピュータのようなユーザ機器で実施できる。デコーダ６００、７００、８００、９００は、マルチビュー映像コンテンツを復号化する装置の一部として実施されるのが有利である。
【０２０５】
図２７から３２に関連して開示されたそれぞれのユニット６１０〜６４０、７１０〜７７０、８１０〜８８０、９１０〜９９０は、デコーダ６００、７００、８００、９００内で物理的に別個のユニット６１０〜６４０、７１０〜７７０、８１０〜８８０、９１０〜９９０として開示され、全てがＡＳＩＣ（特定用途向け集積回路）のような特定目的回路でもよいが、ユニット６１０〜６４０、７１０〜７７０、８１０〜８８０、９１０〜９９０の一部または全部が汎用プロセッサ上で動くコンピュータ・プログラム・モジュールとして実施されたデコーダ６００、７００、８００、９００の代替的な実施形態が可能である。このような実施形態は、図３３に開示されている。
【０２０６】
図３３は、ＤＳＰ（デジタル信号プロセッサ）またはＣＰＵ（中央処理ユニット）のような処理ユニットまたはプロセッサ１０２０を有しているデコーダ１０００またはコンピュータの実施形態を概略的に示す。プロセッサ１０２０は、本書において説明された方法の種々のステップを実行する単一のユニット、または、複数のユニットとすることができる。デコーダ１０００は、それぞれの画素値がカメラとそれぞれの物体との間の距離を表現している複数の画素からなるフレームの形式をした深度マップの符号化表現を受信する入力部１０１０をさらに備える。デコーダ１０００の出力部１０３０は、深度マップの復号化表現を出力するように構成されている。入力部１０１０および出力部１０３０は、別個のユニットの形式で示されているが、図３３の単一の入力／出力（Ｉ／Ｏ）ユニットの形式とすることもできる。
【０２０７】
さらに、デコーダ１０００は、不揮発性メモリ１０４０、たとえば、ＥＥＰＲＯＭ（電気的消去可能プログラマブル・リード・オンリー・メモリ）、フラッシュメモリまたはディスクドライブの形式をした少なくとも１つのコンピュータ・プログラム・プロダクトを備える。コンピュータ・プログラム・プロダクトは、たとえば、プロセッサ１０２０によって、デコーダ１０００上で動かされた、または、デコーダ１０００によってもしくはデコーダ１０００上で実行されたとき、プロセッサ１０２０に図１５に関連して前述された方法のステップを実行させるコード手段を備えるコンピュータプログラム１０５０を備える。それゆえに、自由選択の実施形態では、コンピュータプログラム１０５０におけるコード手段は、参照フレームを識別する値識別モジュールまたはフレーム識別部６１０、７１０、８１０、９１０と、予測残差を決定する残差決定モジュールまたは残差決定部６２０、７２０、８２０、９２０と、予測重みを供給する重み供給モジュールまたは重み供給部６３０、７３０、８３０、９３０と、フレーム／深度マップの復号化表現を決定する表現決定モジュールまたは表現決定部６４０、７４０、８４０、９４０とを備える。これらのモジュールは、プロセッサ１０２０上で動かされたとき、図１５のフローチャートのステップを原則的に実行する。このようにして、種々のモジュールがプロセッサ１０２０上で動かされたとき、これらは、図２７、２９、３１、３２の対応するユニットに対応している。
【０２０８】
コンピュータプログラム１０５０は、図２７〜３２に開示された他のユニットに対応するモジュールを付加的に備えることがある。
【０２０９】
特有の実施形態が検討されているが、当業者は、記載された解決策が何らかの適当な通信標準をサポートし、そして、何らかの適当なコンポーネントを使用するどんな適切なタイプの通信システムにおいて実施されてもよいことが分かるであろう。これは、上記識別された機能性の一部または全部、および／または、前述の解決策をサポートするために必要などんな機能性でも提供するために使用されることがあるソフトウェア、および／または、メモリとプロセッサ（群）とのようなハードウェアのどんな組み合わせも含む。
【０２１０】
前述の実施形態は、本発明の少数の例示的な実施例として理解されるべきである。様々な本発明の範囲から逸脱することなく実施形態に様々な変形、組み合わせ、および変更を加えてもよいことが当業者によって理解されるであろう。特に、種々の実施形態における種々の部分解決策は、技術的に可能である場合、他の構成で組み合わせることができる。本発明の範囲は、しかしながら、請求項によって規定される。
【図１】
0006005157.tif 000021
【図２】
0006005157.tif 000022
【図３】
0006005157.tif 000023
【図４】
0006005157.tif 000024
【図５】
0006005157.tif 000025
【図６】
0006005157.tif 000026
【図７】
0006005157.tif 000027
【図８】
0006005157.tif 000028
【図９】
0006005157.tif 000029
【図１０】
0006005157.tif 000030
【図１１】
0006005157.tif 000031
【図１２】
0006005157.tif 000032
【図１３】
0006005157.tif 000033
【図１４】
0006005157.tif 000034
【図１５】
0006005157.tif 000035
【図１６】
0006005157.tif 000036
【図１７】
0006005157.tif 000037
【図１８】
0006005157.tif 000038
【図１９】
0006005157.tif 000039
【図２０】
0006005157.tif 000040
【図２１】
0006005157.tif 000041
【図２２】
0006005157.tif 000042
【図２３】
0006005157.tif 000043
【図２４】
0006005157.tif 000044
【図２５】
0006005157.tif 000045
【図２６】
0006005157.tif 000046
【図２７】
0006005157.tif 000047
【図２８】
0006005157.tif 000048
【図２９】
0006005157.tif 000049
【図３０】
0006005157.tif 000050
【図３１】
0006005157.tif 000051
【図３２】
0006005157.tif 000052
【図３３】
0006005157.tif 000053