(57)【要約】  バーチャルリファレンスピクチャを使用する方法及び装置が提供される。本装置は、結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して少なくとも１つのピクチャを符号化するエンコーダを有する。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
2009543521.tif 000002
【特許請求の範囲】
【請求項１】
結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して少なくとも１つのピクチャを符号化するエンコーダを有する装置であって、
前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる装置。
【請求項２】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツの少なくとも２つのビューの少なくとも１つに対応する、請求項１記載の装置。
【請求項３】
前記少なくとも１つのバーチャルリファレンスピクチャは、信号処理変換が実行された少なくとも１つのリファレンスピクチャから生成される、請求項１記載の装置。
【請求項４】
前記エンコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記信号処理変換のワーピングパラメータを示す、請求項３記載の装置。
【請求項５】
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのフィルタリングされたリファレンスピクチャから生成される、請求項１記載の装置。
【請求項６】
前記エンコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのフィルタリングされたリファレンスピクチャをフィルタリングするのに使用されるフィルタ係数を示す、請求項５記載の装置。
【請求項７】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツに対応し、
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのビュー補間されたピクチャを使用して生成される、請求項１記載の装置。
【請求項８】
前記エンコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのビュー補間されたピクチャのパラメータを示す、請求項７記載の装置。
【請求項９】
前記エンコーダは、前記結果として得られるビットストリームにおいて、前記少なくとも１つのバーチャルリファレンスピクチャの存在を示す、請求項１記載の装置。
【請求項１０】
前記エンコーダは、前記結果として得られるビットストリームの少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのバーチャルリファレンスピクチャの存在を示す、請求項１記載の装置。
【請求項１１】
前記少なくとも１つのバーチャルリファレンスピクチャを生成するための方法とパラメータの少なくとも１つが、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて示される、請求項１記載の装置。
【請求項１２】
前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファに格納される、請求項１記載の装置。
【請求項１３】
前記エンコーダは、前記復号化ピクチャバッファに関して、前記少なくとも１つのバーチャルリファレンスピクチャについて所定の挿入及び削除処理を利用する、請求項１２記載の装置。
【請求項１４】
前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの短期メモリ部分に格納される、請求項１２記載の装置。
【請求項１５】
前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの長期メモリ部分に格納される、請求項１２記載の装置。
【請求項１６】
前記少なくとも１つのバーチャルリファレンスピクチャは、バーチャルリファレンスピクチャに専用のメモリに格納される、請求項１記載の装置。
【請求項１７】
前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファとは別の一時的ピクチャバッファに格納される、請求項１記載の装置。
【請求項１８】
前記エンコーダは、前記少なくとも１つのバーチャルリファレンスピクチャのインデックスを使用して、前記少なくとも１つのピクチャに対する予測処理において前記少なくとも１つのバーチャルリファレンスピクチャを直接参照する、請求項１記載の装置。
【請求項１９】
前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、デフォルトリファレンスリスト構築処理が実行される、請求項１８記載の装置。
【請求項２０】
前記少なくとも１つのリファレンスピクチャのリスト並び替えコマンドは、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるよう規定される、請求項１９記載の装置。
【請求項２１】
所定のリファレンスリスト並び替えコマンドは、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、ハイレベルシンタックスと合成される、請求項１９記載の装置。
【請求項２２】
前記少なくとも１つのバーチャルリファレンスピクチャのそれぞれは、リファレンスピクチャリストに対応するリファレンスピクチャインデックスにより参照される、請求項１記載の装置。
【請求項２３】
結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して少なくとも１つのピクチャを符号化するステップを有する方法であって、
前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる方法。
【請求項２４】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツの少なくとも２つのビューの少なくとも１つに対応する、請求項２３記載の方法。
【請求項２５】
前記少なくとも１つのバーチャルリファレンスピクチャは、信号処理変換が実行された少なくとも１つのリファレンスピクチャから生成される、請求項２３記載の方法。
【請求項２６】
前記符号化するステップは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記信号処理変換のワーピングパラメータを示す、請求項２５記載の方法。
【請求項２７】
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのフィルタリングされたリファレンスピクチャから生成される、請求項２３記載の方法。
【請求項２８】
前記符号化するステップは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのフィルタリングされたリファレンスピクチャをフィルタリングするのに使用されるフィルタ係数を通知する、請求項２７記載の方法。
【請求項２９】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツに対応し、
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのビュー補間されたピクチャを使用して生成される、請求項２３記載の方法。
【請求項３０】
前記符号化するステップは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのビュー補間されたピクチャのパラメータを通知する、請求項２９記載の方法。
【請求項３１】
前記符号化するステップは、前記結果として得られるビットストリームにおいて、前記少なくとも１つのバーチャルリファレンスピクチャの存在を通知する、請求項２３記載の方法。
【請求項３２】
前記符号化するステップは、前記結果として得られるビットストリームの少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのバーチャルリファレンスピクチャの存在を通知する、請求項２３記載の方法。
【請求項３３】
前記符号化するステップは、前記少なくとも１つのバーチャルリファレンスピクチャを生成するための方法とパラメータの少なくとも１つを、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて通知する、請求項２３記載の方法。
【請求項３４】
前記少なくとも１つのバーチャルリファレンスピクチャを、復号化ピクチャバッファに格納するステップをさらに有する、請求項２３記載の方法。
【請求項３５】
前記復号化ピクチャバッファに関して、前記少なくとも１つのバーチャルリファレンスピクチャについて所定の挿入及び削除処理を利用するステップをさらに有する、請求項３４記載の方法。
【請求項３６】
前記少なくとも１つのバーチャルリファレンスピクチャを、前記復号化ピクチャバッファの短期メモリ部分に格納するステップをさらに有する、請求項３４記載の方法。
【請求項３７】
前記少なくとも１つのバーチャルリファレンスピクチャを、前記復号化ピクチャバッファの長期メモリ部分に格納するステップをさらに有する、請求項３４記載の方法。
【請求項３８】
前記少なくとも１つのバーチャルリファレンスピクチャを、バーチャルリファレンスピクチャに専用のメモリに格納するステップをさらに有する、請求項２３記載の方法。
【請求項３９】
前記少なくとも１つのバーチャルリファレンスピクチャを、復号化ピクチャバッファとは別の一時的ピクチャバッファに格納するステップをさらに有する、請求項２３記載の方法。
【請求項４０】
前記符号化するステップは、前記少なくとも１つのバーチャルリファレンスピクチャのインデックスを使用して、前記少なくとも１つのピクチャに対する予測処理において前記少なくとも１つのバーチャルリファレンスピクチャを直接参照する、請求項２３記載の方法。
【請求項４１】
前記少なくとも１つのバーチャルリファレンスピクチャを含むデフォルトリファレンスリスト構築処理を実行するステップをさらに有する、請求項４０記載の方法。
【請求項４２】
前記少なくとも１つのリファレンスピクチャのリスト並び替えコマンドを、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるよう規定するステップをさらに有する、請求項４１記載の方法。
【請求項４３】
前記デフォルトリファレンスリストの構築処理を実行するステップは、所定のリファレンスリスト並び替えコマンドを、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、ハイレベルシンタックスと合成する、請求項４１記載の方法。
【請求項４４】
前記少なくとも１つのバーチャルリファレンスピクチャのそれぞれは、リファレンスピクチャリストに対応するリファレンスピクチャインデックスにより参照される、請求項２３記載の方法。
【請求項４５】
少なくとも１つのバーチャルリファレンスピクチャを使用して、ビットストリームから少なくとも１つのピクチャを復号化するデコーダを有する装置であって、
前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる装置。
【請求項４６】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツの少なくとも２つのビューの少なくとも１つに対応する、請求項４５記載の装置。
【請求項４７】
前記少なくとも１つのバーチャルリファレンスピクチャは、信号処理変換が実行された少なくとも１つのリファレンスピクチャから生成される、請求項４５記載の装置。
【請求項４８】
前記デコーダは、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記信号処理変換のワーピングパラメータを決定する、請求項４７記載の装置。
【請求項４９】
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのフィルタリングされたリファレンスピクチャから生成される、請求項４５記載の装置。
【請求項５０】
前記デコーダは、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記少なくとも１つのフィルタリングされたリファレンスピクチャをフィルタリングするのに使用されるフィルタ係数を決定する、請求項４９記載の装置。
【請求項５１】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツに対応し、
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのビュー補間されたピクチャを使用して生成される、請求項４５記載の装置。
【請求項５２】
前記デコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記少なくとも１つのビュー補間されたピクチャのパラメータを決定する、請求項５１記載の装置。
【請求項５３】
前記デコーダは、前記ビットストリームにおける前記少なくとも１つのバーチャルリファレンスピクチャの存在を決定する、請求項４５記載の装置。
【請求項５４】
前記デコーダは、前記ビットストリームのハイレベルシンタックスから、前記少なくとも１つのバーチャルリファレンスピクチャの存在を決定する、請求項４５記載の装置。
【請求項５５】
前記少なくとも１つのバーチャルリファレンスピクチャを生成するための方法とパラメータの少なくとも１つが、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから決定される、請求項４５記載の装置。
【請求項５６】
前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファに格納される、請求項４５記載の装置。
【請求項５７】
前記デコーダは、前記復号化ピクチャバッファに関して、前記少なくとも１つのバーチャルリファレンスピクチャについて所定の挿入及び削除処理を利用する、請求項５６記載の装置。
【請求項５８】
前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの短期メモリ部分に格納される、請求項５６記載の装置。
【請求項５９】
前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの長期メモリ部分に格納される、請求項５６記載の装置。
【請求項６０】
前記少なくとも１つのバーチャルリファレンスピクチャは、バーチャルリファレンスピクチャに専用のメモリに格納される、請求項４５記載の装置。
【請求項６１】
前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファとは別の一時的ピクチャバッファに格納される、請求項４５記載の装置。
【請求項６２】
前記デコーダは、前記少なくとも１つのバーチャルリファレンスピクチャのインデックスを使用して、前記少なくとも１つのピクチャに対する予測処理において前記少なくとも１つのバーチャルリファレンスピクチャを直接参照する、請求項４５記載の装置。
【請求項６３】
前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、デフォルトリファレンスリスト構築処理が実行される、請求項６２記載の装置。
【請求項６４】
前記少なくとも１つのリファレンスピクチャのリスト並び替えコマンドは、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるよう規定される、請求項６３記載の装置。
【請求項６５】
前記少なくとも１つのバーチャルリファレンスピクチャのそれぞれは、リファレンスピクチャリストに対応するリファレンスピクチャインデックスにより参照される、請求項４５記載の装置。
【請求項６６】
少なくとも１つのバーチャルリファレンスピクチャを使用して、ビットストリームから少なくとも１つのピクチャを復号化するステップを有する方法であって、
前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる方法。
【請求項６７】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツの少なくとも２つのビューの少なくとも１つに対応する、請求項６６記載の方法。
【請求項６８】
前記少なくとも１つのバーチャルリファレンスピクチャは、信号処理変換が実行された少なくとも１つのリファレンスピクチャから生成される、請求項６６記載の方法。
【請求項６９】
前記復号化するステップは、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記信号処理変換のワーピングパラメータを決定する、請求項６８記載の方法。
【請求項７０】
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのフィルタリングされたリファレンスピクチャから生成される、請求項６６記載の方法。
【請求項７１】
前記復号化するステップは、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記少なくとも１つのフィルタリングされたリファレンスピクチャをフィルタリングするのに使用されるフィルタ係数を決定する、請求項７０記載の方法。
【請求項７２】
前記少なくとも１つのピクチャは、マルチビュービデオコンテンツに対応し、
前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのビュー補間されたピクチャを使用して生成される、請求項６６記載の方法。
【請求項７３】
前記復号化するステップは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記少なくとも１つのビュー補間されたピクチャのパラメータを決定する、請求項７２記載の方法。
【請求項７４】
前記復号化するステップは、前記ビットストリームにおける前記少なくとも１つのバーチャルリファレンスピクチャの存在を決定する、請求項６６記載の方法。
【請求項７５】
前記復号化するステップは、前記ビットストリームのハイレベルシンタックスから、前記少なくとも１つのバーチャルリファレンスピクチャの存在を決定する、請求項６６記載の方法。
【請求項７６】
前記復号化するステップは、前記少なくとも１つのバーチャルリファレンスピクチャを生成するための方法とパラメータの少なくとも１つを、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから決定する、請求項６６記載の方法。
【請求項７７】
前記少なくとも１つのバーチャルリファレンスピクチャを、復号化ピクチャバッファに格納するステップをさらに有する、請求項６６記載の方法。
【請求項７８】
前記復号化ピクチャバッファに関して、前記少なくとも１つのバーチャルリファレンスピクチャについて所定の挿入及び削除処理を利用するステップをさらに有する、請求項７７記載の方法。
【請求項７９】
前記少なくとも１つのバーチャルリファレンスピクチャを、前記復号化ピクチャバッファの短期メモリ部分に格納するステップをさらに有する、請求項７７記載の方法。
【請求項８０】
前記少なくとも１つのバーチャルリファレンスピクチャを、前記復号化ピクチャバッファの長期メモリ部分に格納するステップをさらに有する、請求項７７記載の方法。
【請求項８１】
前記少なくとも１つのバーチャルリファレンスピクチャを、バーチャルリファレンスピクチャに専用のメモリに格納するステップをさらに有する、請求項６６記載の方法。
【請求項８２】
前記少なくとも１つのバーチャルリファレンスピクチャを、復号化ピクチャバッファとは別の一時的ピクチャバッファに格納するステップをさらに有する、請求項６６記載の方法。
【請求項８３】
前記符号化するステップは、前記少なくとも１つのバーチャルリファレンスピクチャのインデックスを使用して、前記少なくとも１つのピクチャに対する予測処理において前記少なくとも１つのバーチャルリファレンスピクチャを直接参照する、請求項６６記載の方法。
【請求項８４】
前記少なくとも１つのバーチャルリファレンスピクチャを含むデフォルトリファレンスリスト構築処理を実行するステップをさらに有する、請求項６６記載の方法。
【請求項８５】
前記少なくとも１つのリファレンスピクチャのリスト並び替えコマンドを、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるよう規定するステップをさらに有する、請求項８４記載の方法。
【請求項８６】
前記少なくとも１つのバーチャルリファレンスピクチャのそれぞれは、リファレンスピクチャリストに対応するリファレンスピクチャインデックスにより参照される、請求項６６記載の方法。
【請求項８７】
ビデオ符号化のためのビデオ信号構造であって、
結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して符号化される少なくとも１つのピクチャを有し、
前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なるビデオ信号構造。
【請求項８８】
符号化されたビデオ信号データを有する記憶媒体であって、
結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して符号化される少なくとも１つのピクチャを有し、
前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その内容のすべてが参照することによりここに援用される、２００６年７月１１日に出願された米国仮出願第６０／８３０，１９５号の効果を主張する。
【０００２】
本原理は、一般にビデオ符号化及び復号化に関し、より詳細には、バーチャルリファレンスピクチャを使用する方法及び装置に関する。
【背景技術】
【０００３】
ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４）のＰａｒｔ  １０のＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｅｃｔｏｒ）のＨ．２６４の勧告（以降、“ＭＰＥＧ−４  ＡＶＣ規格”）などの既存のビデオ圧縮システム及び規格では、以前に再構成／復号化されたピクチャが以降のピクチャのリファレンスとして利用され、これらのピクチャの間の動きを補償するため、動き推定及び補償が利用される。ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、近傍ビューから再構成／復号化されたピクチャがまた、ディスパリティ推定及び補償に関する予測ソースとして利用可能である。
【０００４】
ＭＰＥＧ−４  ＡＶＣ規格及び従来の適応的リファレンス再生技術における重み付けされた予測などの特定の処理が復号化されたピクチャに適用される場合、予測を向上させることが可能なケースがある。復号化されたピクチャを処理することによって、予測信号のクオリティを向上させることが可能であり、これにより、符号化効率を改善することができる。重み付け予測の場合、現在ピクチャと復号化されたピクチャとの間のグローバルなイルミネーションミスマッチが対処される。適応的リファレンス生成の場合、異なるタイプのノイズが、より関連のあるリファレンス信号を提供するため、適応的リファレンス生成により抑制可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
バーチャルリファレンスピクチャを使用する方法及び装置に関する本原理は、従来技術の上記及び他の問題及び不利益に対処する。
【課題を解決するための手段】
【０００６】
本原理の一特徴によると、装置が提供される。本装置は、結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して少なくとも１つのピクチャを符号化するエンコーダを有する。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
【０００７】
本原理の他の特徴によると、方法が提供される。本方法は、結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して少なくとも１つのピクチャを符号化するステップを有する。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
【０００８】
本原理のさらなる他の特徴によると、装置が提供される。本装置は、少なくとも１つのバーチャルリファレンスピクチャを使用して、ビットストリームから少なくとも１つのピクチャを復号化するデコーダを有する。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
【０００９】
本原理のさらなる他の特徴によると、方法が提供される。本方法は、少なくとも１つのバーチャルリファレンスピクチャを使用して、ビットストリームから少なくとも１つのピクチャを復号化するステップを有する。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
【００１０】
本原理の上記及び他の特徴及び効果は、添付した図面と共に参照される以下の実施例の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００１１】
【図１】図１は、本原理の一実施例による本原理が適用可能なバーチャルリファレンスピクチャをサポートする一例となるビデオエンコーダのブロック図である。
【図２】図２は、本原理の一実施例による本原理が適用可能なバーチャルリファレンスピクチャをサポートする一例となるビデオデコーダのブロック図である。
【図３】図３は、本原理の一実施例によるＤＰＢ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）におけるＶＰＲ（Ｖｉｒｔｕａｌ  Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ）管理を利用してビデオコンテンツを符号化する一例となる方法のフロー図である。
【図４】図４は、本原理の一実施例によるＤＰＢにおけるＶＰＲ管理を利用してビデオコンテンツを復号化する一例となる方法のフロー図である。
【図５】図５は、本原理の一実施例によるローカルメモリにおけるＶＰＲ管理を利用してビデオコンテンツを符号化する一例となる方法のフロー図である。
【図６】図６は、本原理の一実施例によるＤＰＢにおけるＶＰＲ管理を利用してビデオコンテンツを復号化する一例となる方法のフロー図である。
【発明を実施するための形態】
【００１２】
本原理は、バーチャルリファレンスピクチャを利用する方法及び装置に関する。
【００１３】
本開示は、本原理を説明する。ここには明示的には記載又は図示されていないが、本原理を実現し、その趣旨及び範囲内に含まれる各種構成を当業者が想到可能であることは理解されるであろう。
【００１４】
ここに記載されたすべての具体例及び条件付言語は、技術の進展に対して発明者が寄与した本原理及びコンセプトを読者が理解するのを助ける教育上の目的を意図したものであり、具体的に記載された具体例及び条件に限定されることなく解釈されるべきである。
【００１５】
さらに、本原理の特徴及び実施例を記載したここでのすべての言及は、その特定の具体例と共に、それの機能的及び構造的な均等を包括するものである。さらに、このような均等は、現在知られている均等と共に、将来に開発される均等、すなわち、構成に関係なく同一の機能を実行するよう開発された任意の要素をも含むことが意図される。
【００１６】
従って、例えば、ここに与えられるブロック図は本原理を実現する例示的な回路の概念図を表すことは当業者により理解されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読媒体により実質的に表され、明示的に示されているか否かに関係なくコンピュータ又はプロセッサにより実行される各種プロセスを表すことが理解されるであろう。
【００１７】
図面に示される各種要素の機能は、専用のハードウェアと適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを利用して提供されるかもしれない。プロセッサにより提供されるとき、これらの機能は、単一の専用プロセッサ、単一の共有プロセッサ又は一部が共有可能な複数の個別プロセッサにより提供されてもよい。さらに、“プロセッサ”又は“コントローラ”という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアのみを表すと解釈されるべきでなく、限定されることなく、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）ハードウェア、ソフトウェアを格納するＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及び不揮発性ストレージを暗黙的に含むかもしれない。
【００１８】
他の従来技術による及び／又はカスタムハードウェアもまた含まれるかもしれない。同様に、図面に示されるスイッチは、単なる概念的なものである。それらの機能は、プログラムロジックの処理を介し、専用ロジックを介し、プログラム制御及び専用ロジックの相互作用を介し、又は手動により実行されるかもしれず、特定の技術は本記載からより具体的に理解されるように、実践者により選択可能である。
【００１９】
請求項では、指定された機能を実行する手段として説明される何れかの要素は、例えば、ａ）当該機能を実行する回路要素の組み合わせ、又はｂ）当該機能を実行するソフトウェアを実行するのに適した回路と組み合わされるファームウェア、マイクロコードなどを含む何れかの形式によるソフトウェアなどを含む、当該機能を実行する何れかの方法を含むものである。当該請求項により規定される本原理は、記載された各種手段により提供される各機能が、請求項が求める方法により組み合わされるという事実に存在する。従って、これらの機能を提供可能な手段は、ここに示されるものと等価であるとみなされる。
【００２０】
本原理の“一実施例”又は“ある実施例”という明細書における表現は、当該実施例に関して記載される特定の特徴、構成などが本原理の少なくとも１つの実施例に含まれることを意味する。このため、明細書の各所に現れる“一実施例では”又は“ある実施例では”という表現は、そのすべてが必ずしも同一の実施例に言及しているとは限らない。
【００２１】
ここで使用される“ハイレベルシンタックス”は、階層的にマクロブロックレイヤの上位にあるビットストリームに存在するシンタックスを表す。例えば、ここで使用されるハイレベルシンタックスは、限定されるものでないが、スライスヘッダレベル、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ピクチャパラメータセットレベル、シーケンスパラメータセットレベル及びＮＡＬユニットヘッダレベルにおけるシンタックスを表すかもしれない。
【００２２】
図１を参照するに、本原理が適用可能なバーチャルリファレンスピクチャをサポートする一例となるビデオエンコーダは、参照番号１００により全体表示される。
【００２３】
ビデオエンコーダ１００への入力は、合成手段１１０の非反転入力と動き推定手段（ＭＥ）１８０の第１入力と信号通信接続される。合成手段１１０の出力は、離散コサイン変換手段１２０の入力と信号通信接続される。離散コサイン変換手段１２０の出力は、量子化手段１３０の入力と信号通信接続される。量子化手段１３０の出力は、可変長符号化手段ＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅｒ）１４０の入力と逆量子化手段１５０の入力と信号通信接続される。可変長符号化手段１４０の出力は、エンコーダ１００の出力として利用可能である。
【００２４】
逆量子化手段１５０の出力は、逆離散コサイン変換手段１５５の入力と信号通信接続される。逆離散コサイン変換手段１５５の出力は、合成手段１６５の第１非反転入力と信号通信接続される。合成手段１６５の出力は、ループフィルタ１６０の入力と信号通信接続される。ループフィルタ１６０の出力は、復号化ピクチャバッファ１７５の入力と信号通信接続される。復号化ピクチャバッファ１７５の第１出力は、バーチャルリファレンスピクチャバッファ１７０の入力と信号通信接続される。
【００２５】
スイッチ１９５の出力は、動き推定手段１８０の第２入力と動き補償手段１９０の第２入力と信号通信接続される。スイッチ１９５の入力は、復号化ピクチャバッファ１７５の第２出力又はバーチャルリファレンスピクチャバッファ１７０の出力と信号通信接続される。動き推定手段１８０の出力は、動き補償手段１９０の第１入力と信号通信接続される。動き補償手段１９０の出力は、合成手段１６５の第２非反転入力と合成手段１１０の反転入力と信号通信接続される。
【００２６】
図２を参照するに、本原理が適用可能なバーチャルリファレンスピクチャをサポートする一例となるビデオデコーダが、参照番号２００により全体表示される。
【００２７】
ビデオデコーダ２００は、ビットストリームを受信する可変長復号化手段２１０を有する。可変長復号化手段２１０の第１出力は、動き補償手段２６０の第１入力と信号通信接続される。可変長復号化手段２１０の第２出力は、逆量子化手段２２０の入力と信号通信接続される。逆量子化手段２２０の出力は、逆離散コサイン変換手段２３０の入力と信号通信接続される。逆離散コサイン変換手段２３０の出力は、合成手段２４０の第１非反転入力と信号通信接続される。合成手段２４０の出力は、ループフィルタ２９０の入力と信号通信接続される。ループフィルタ２９０の出力は、復号化ピクチャバッファ２５０の入力と信号通信接続される。復号化ピクチャバッファ２５０の第１出力は、バーチャルリファレンスピクチャバッファ２５５の入力と信号通信接続される。復号化ピクチャバッファ２５０の第２出力は、デコーダ２００の出力として利用可能である。
【００２８】
スイッチ２６５の出力は、動き補償手段２６０の第２入力と信号通信接続される。動き補償手段２６０の出力は、合成手段２４０の第２非反転入力と信号通信接続される。
【００２９】
スイッチ２６５の入力は、バーチャルピクチャバッファ２５５の出力又は復号化ピクチャバッファ２５０の第２出力と信号通信接続される。
【００３０】
復号化ピクチャバッファ２５０は、長期メモリ部分２５０Ａと短期メモリ部分２５０Ｂとを有する。
【００３１】
本原理によると、ビデオエンコーダ及び／又はビデオデコーダにおけるバーチャルリファレンスピクチャ（ＶＲＰ）の管理のための方法及び装置が提供される。一実施例では、バーチャルリファレンスピクチャは、すでに復号化されたピクチャから生成され、表示目的のためには必要とされない。一実施例では、バーチャルリファレンスピクチャは、予測のために利用可能であるが、表示目的のためには必要とされない。一実施例では、ビデオエンコーダ及び／又はデコーダにおけるＶＲＰの利用は、シンタックスサポート、ＶＲＰのためのストレージ／メモリモデル、及び予測ループにＶＲＰを含める規範的手順の実現のための要素の１以上に関する。
【００３２】
限定することなく例示によって、提案された管理方法及び装置のいくつかの可能性のあるアプリケーションは、フィルタリングされたリファレンス予測、リファレンスワーピング、ＭＶＣにおけるビュー補間予測及び生成されたバーチャルリファレンスに関する他の方法を含む。復号化ピクチャに適用される処理のタイプに応じて、ローカルベースにより処理されたリファレンス信号を取得することは不可能又は不便であるかもしれない。ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタリングとピクチャワーピングは、ブロックベースの変わりにフレームベースで処理を適用することが良好である２つの具体例である。他の例は、ビュー合成予測である。マルチビュービデオ符号化では、隣接するカメラビューの間の冗長性が、ビュー合成を通じて利用可能である。ビュー合成されたピクチャは、カメラパラメータ及び／又は深さ情報を用いて近傍ビューピクチャをワープ及び合成することによって生成可能である。合成されたピクチャは、現在のビューピクチャの予測のためのリファレンスピクチャとして利用可能であり、ディスパリティ補償された予測と比較して良好な予測ソースを提供することができる。ＶＲＰのコンセプトがまた、サンプル重み付けやＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタリングのケースなどに処理がローカルに実行可能なシナリオに適用可能であることに留意すべきである。
【００３３】
適応的リファレンス生成のコンセプトは従来から提案されており、フィルタリングされたリファレンスピクチャの特別なケースとしての加重予測がＭＰＥＧ−４  ＡＶＣ規格において採用されたが、生成されたバーチャルリファレンスピクチャを管理する技術は知られていないことが理解されるべきである。従来提案された方法では、生成されたリファレンスの管理は、補償処理において単に符号化／復号化されたピクチャを処理／フィルタリングすることによって処理可能である。すなわち、従来のアプローチでは、生成された完全なリファレンスピクチャは必要とされない。完全に生成されたリファレンスピクチャを管理する方法について従来技術はない。
【００３４】
本原理を含む実施例は、以降で詳細に説明される以下の特徴、すなわち、バーチャルリファレンスピクチャの通知、バーチャルリファレンスピクチャのメモリ管理及びバーチャルに生成されたフレームの予測における利用の１以上を含むかもしれない。
［バーチャルリファレンスピクチャの通知］
生成されたリファレンスピクチャのストレージ及びリファレンスに関する管理において以降で利用可能な生成されたリファレンスピクチャを通知するためのフレキシブルな方法をサポートすることが望ましい。そのようにするため、一実施例では、以下のシンタックスが提案される。
【００３５】
本実施例では、シーケンスレベルにおいて、ＶＲＰが有効か通知される。これは、例えば、ハイレベルシンタックスｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇなどを導入することによって実現可能である。
【００３６】
本実施例では、ピクチャレベルにおいて、いくつかのバーチャルリファレンスが存在するか、またそれらを生成する方法が通知される。例えば、本実施例の一実施形態では、バーチャルリファレンスピクチャの生成により要求されるパラメータと使用は、各符号化ピクチャについてシンタックスに存在する。可能性のあるＭＰＥＧ−４  ＡＶＣ規格に基づく実現形態では、スライスヘッダシンタックスｎｕｍ＿ｖｒｐｓが導入可能である。その後、各バーチャルリファレンスピクチャには、スライスヘッダにおいてバーチャルリファレンスピクチャパラメータシンタックスが出現する順序に対応するｖｒｐ＿ｉｄが割り当てられる。各バーチャルリファレンスピクチャの生成のためのパラメータは、正確な生成方法に依存する。ＭＶＣにおけるビュー合成された予測の例では、カメラパラメータと深さ情報とが含まれるかもしれない。通常のビデオ符号化におけるワープされたリファレンスの例では、ワーピングパラメータ（例えば、ホモグラフマトリックス（ｈｏｍｏｇｒａｐｈ  ｍａｔｒｉｘ）の各成分など）が通知されるかもしれない。適応的リファレンスフィルタリングのケースにおけるより具体的な例は、ＦＩＲフィルタ係数を通知することである。そこでは、分離不可な２次元フィルタが適用される場合、ｎ２個の係数が量子化される必要がある。
［バーチャルリファレンスピクチャのメモリ管理］
バーチャルリファレンスピクチャが生成され、エンコーダとデコーダの双方に格納される必要があるため、係るストレージメモリが考慮されるべきである。バーチャルリファレンスピクチャのためのメモリ管理モデルを提供するアプローチは複数あり、（１）第１アプローチでは、生成されたバーチャルリファレンスピクチャを復号化ピクチャフィルタに格納すること、（２）第２アプローチでは、現在フレームの符号化／復号化中のみ有効な一時的に生成されたピクチャのバッファにバーチャルに生成されたフレームを格納することがあげられる。
【００３７】
上述した第１アプローチによりメモリ管理モデルを提供することに関して、現在ピクチャの符号化／復号化のためにのみバーチャルリファレンスピクチャは必要とされるため、復号化ピクチャバッファの挿入及び削除処理が適切に定義されるべきである。１つの可能性のある実現形態では、生成されたリファレンスピクチャは、リファレンスリストの構築前に復号化ピクチャバッファに挿入され、現在フレームの符号化／復号化の終了後に削除される。
【００３８】
バーチャルリファレンスピクチャが復号化ピクチャバッファに格納されると、それらは非バーチャル復号化ピクチャと区別される必要があり、ＭＰＥＧ−４  ＡＶＣベースの実現形態においてこれを実行可能な選択肢はいくつかある。非バーチャルリファレンスピクチャから復号化ピクチャバッファに格納されているバーチャルリファレンスピクチャを区別するいくつかの例示的な選択肢として、例えば、（１）短期リファレンスピクチャとしてバーチャルリファレンスピクチャを格納し、ｕｎｕｓｅｄ  ｆｒａｍｅ＿ｎｕｍ／ｐｉｃｔｕｒｅ＿ｏｒｄｅｒ＿ｃｏｕｎｔを使用すること、（２）長期リファレンスピクチャとしてバーチャルリファレンスピクチャを格納し、長期メモリのｕｎｕｓｅｄ  ｌｏｎｇｔｅｒｍ＿ｉｄを使用すること、及び（３）バーチャルリファレンスピクチャは以前に復号化されたピクチャとは本来的に異なっているため、専用のメモリスロットが、バーチャルリファレンスピクチャを格納するため、復号化ピクチャバッファに割当て可能である、などがあげられる。このＶＲＰメモリでは、バーチャルリファレンスピクチャは、各バーチャルリファレンスピクチャに一意的なそれらのｖｒｐ＿ｉｄにより識別される。
【００３９】
上述した第２アプローチによるメモリ管理モデルを提供することに関して、現在フレームの符号化／復号化中のみ有効な一時的な生成されたピクチャのバッファにバーチャルに生成されたフレームを格納することによって、当該一時的な生成されたピクチャのバッファは、すべてのバーチャルに生成されたピクチャを格納することが可能である。バーチャルリファレンスピクチャは、各バーチャルリファレンスピクチャに一意的なそれらのｖｒｐ＿ｉｄにより識別される。
［予測におけるバーチャルに生成されたフレームの使用］
現在のピクチャの予測に対してバーチャルに生成されたピクチャが参照可能にすることを可能にするため、予測処理にバーチャルリファレンスピクチャを含めるフレキシブルな方法を可能にする必要がある。ここに提供される本原理の教示が与えられると、当該技術分野及び関連する技術分野の当業者は、本原理の範囲を維持しながら、予測処理にバーチャルリファレンスピクチャを含めるためのこれらの及び他の方法を想到するであろうことが理解されるべきであるが、本原理によると、これを実現するための２つの実施例が提案される。
【００４０】
予測処理にバーチャルリファレンスピクチャを含めるための一実施例では、バーチャルリファレンスピクチャが直接参照される。この方法では、何れのバーチャルリファレンスピクチャが予測処理に使用されるか示すため、ｒｅｆｅｒｅｎｃｅ＿ｖｒｐ＿ｉｄシンタックスが使用される。これを実行することによって、従来のリファレンスリストはそのままとされ、ＶＲＰが予測に関係するときに限って、シンタックスｒｅｆｅｒｅｎｃｅ＿ｖｒｐ＿ｉｄが存在する。
【００４１】
予測処理にバーチャルリファレンスピクチャを含めるための他の実施例では、リファレンスリストを介しバーチャルリファレンスピクチャが参照される。このため、デフォルトリファレンスリストマーキング処理は、存在する場合にはバーチャルリファレンスピクチャを含むよう変更されてもよく、一般的なＲＰＬＲコマンドを用いてリファレンスリストの構築をサポートすることが可能であるか、又はＶＲＰに固有のＲＰＬＲ（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｌｉｓｔ  Ｒｅｏｒｄｅｒｉｎｇ）コマンドが、リファレンスリストの構築をサポートするよう定義できる。具体的には、ＶＲＰ専用スロットが復号化ピクチャバッファに割り当てられるか、又は一時的なＶＲＰバッファが使用される場合、ＶＲＰに固有のＲＰＬＲコマンドが、ｒｅｆｅｒｅｎｃｅ＿ｖｒｐ＿ｉｄにより示されるバーチャルリファレンスピクチャを構築中のリファレンスリストに配置するよう導入される。さらに、各リファレンスインデックスに対して、それがバーチャルリファレンスピクチャを参照しているか示す追加的なシンタックス要素がスライスヘッダに導入可能である。参照している場合、係るｒｅｆｅｒｅｎｃｅ＿ｖｒｐ＿ｉｄを用いてそれを通知可能である。本方法では、異なるリファレンスインデックスが復号化ピクチャバッファにおける同一の復号化ピクチャを参照することを可能にするため、一般的なＲＰＬＲコマンドが利用可能であるため、新たなＶＲＰに固有のＲＰＬＲコマンドを導入することは不要である。このとき、ｒｅｆｅｒｅｎｃｅ＿ｖｒｐ＿ｉｄを介して、当該リファレンスピクチャがオリジナルの復号化リファレンスピクチャであるか、又はそれが復号化リファレンスピクチャから生成されたバーチャルリファレンスピクチャであるか示すことができる。
【００４２】
図３を参照するに、復号化ピクチャバッファ（ＤＰＢ）におけるバーチャルリファレンスピクチャ（ＶＲＰ）管理を利用してビデオコンテンツを符号化する一例となる方法が、参照番号３００により全体表示される。本方法３００は、機能ブロック３１０に制御をわたすスタートブロック３０５を有する。機能ブロック３１０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをゼロに設定し、判定ブロック３１５に制御をわたす。判定ブロック３１５は、ＶＲＰが有効か判断する。そうである場合、制御は機能ブロック３２０にわたされる。そうでない場合、制御は機能ブロック３７０にわたされる。
【００４３】
機能ブロック３２０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に設定し、機能ブロック３２５に制御をわたす。機能ブロック３２５は、ｎｕｍ＿ｖｒｐｓとＶＲＰパラメータシンタックスを設定し、機能ブロック３３０に制御をわたす。機能ブロック３３０は、１以上のＶＲＰ（以降、ＶＲＰ）を生成するためＶＲＰ生成を実行し、機能ブロック３３５に制御をわたす。機能ブロック３３５は、ＶＲＰを復号化ピクチャバッファ（ＤＰＢ）に挿入し、ｆｒａｍｅ＿ｎｕｍ／ピクチャオーダカウント、ｌｏｎｇ＿ｔｅｒｍ＿ｆｒａｍｅ＿ｉｄｘ又はｖｒｐ＿ｉｄを設定し、機能ブロック３４０に制御をわたす。機能ブロック３４０は、ＶＲＰをリファレンスリスト構築において含め、機能ブロック３４５に制御をわたす。機能ブロック３４５は、リファレンスリスト並び替えにＶＲＰを含め、機能ブロック３５０に制御をわたす。機能ブロック３５０は、ハイレベルシンタックスをビットストリームに書き込み、機能ブロック３５５に制御をわたす。機能ブロック３５５は、現在のピクチャを符号化し、ＶＲＰが存在する場合にはＶＲＰをｒｅｆ＿ｉｄｘにより参照し、機能ブロック３６０に制御をわたす。機能ブロック３６０は、ＤＰＢからＶＲＰを削除し、機能ブロック３６５に制御をわたす。機能ブロック３６５は、ローレベルシンタックスをビットストリームに書き込み、エンドブロック３９９に制御をわたす。
【００４４】
機能ブロック３７０は、ＶＲＰによりリファレンスリスト構築を実行し、機能ブロック３５０に制御をわたす。
【００４５】
図４を参照するに、復号化ピクチャバッファ（ＤＰＢ）におけるバーチャルリファレンスピクチャ（ＶＲＰ）管理を用いてビデオコンテンツを復号化する一例となる方法が、参照番号４００により全体表示される。本方法４００は、機能ブロック４１０に制御をわたすスタートブロック４０５を有する。機能ブロック４１０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｎｕｍ＿ｖｒｐｓ及び他のＶＲＰパラメータシンタックスなどを含むハイレベルシンタックスをビットストリームから読み取り、判定ブロック４１５に制御をわたす。判定ブロック４１５は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいか判断する。そうである場合、制御は機能ブロック４２０にわたされる。そうでない場合、制御は機能ブロック４６０にわたされる。
【００４６】
機能ブロック４２０は、ＶＲＰパラメータを復号化し、機能ブロック４２５に制御をわたす。機能ブロック４２５は、１以上のＶＲＰ（以降、ＶＲＰ）を生成するため、ＶＲＰ生成を実行し、機能ブロック４３０に制御をわたす。
【００４７】
機能ブロック４３０は、ＶＲＰをＤＰＢに挿入し、ｆｒａｍｅ＿ｎｕｍ／ピクチャオーダカウント、ｌｏｎｇ＿ｔｅｒｍ＿ｆｒａｍｅ＿ｉｄｘ又はｖｒｐ＿ｉｄを設定し、機能ブロック４３５に制御をわたす。機能ブロック４３５は、ＶＲＰをデフォルトリファレンスリスト構築に含め、機能ブロック４４０に制御をわたす。機能ブロック４４０は、ＶＲＰをリファレンスリスト並び替えに含め、機能ブロック４４５に制御をわたす。機能ブロック４４５は、ビットストリームからローレベルシンタックスを読み取り、機能ブロック４５０に制御をわたす。機能ブロック４５０は、現在のピクチャを復号化し、ＶＲＰが存在する場合にはｒｅｆ＿ｉｄｘによりＶＲＰを参照し、機能ブロック４５５に制御をわたす。機能ブロック４５５は、ＤＰＢからＶＲＰを削除し、エンドブロック４９９に制御をわたす。
【００４８】
機能ブロック４６０は、ＶＲＰによりリファレンスリスト構築を実行し、機能ブロック４４５に制御をわたす。
【００４９】
図５を参照するに、ローカルメモリにおけるバーチャルリファレンスピクチャ（ＶＲＰ）管理を用いてビデオコンテンツを符号化する一例となる方法が、参照番号５００により全体表示される。本方法５００は、機能ブロック５１０に制御をわたすスタートブロック５０５を有する。機能ブロック５１０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをゼロに設定し、判定ブロック５１５に制御をわたす。判定ブロック５１５は、ＶＲＰが有効か判断する。そうである場合、制御は機能ブロック５２０にわたされる。そうでない場合、制御は機能ブロック５４０にわたされる。
【００５０】
機能ブロック５２０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１に設定し、機能ブロック５２５に制御をわたす。機能ブロック５２５は、ｎｕｍ＿ｖｒｐｓとＶＲＰパラメータシンタックスを設定し、機能ブロック５３０に制御をわたす。機能ブロック５３０は、１以上のＶＲＰ（以降、ＶＲＰ）を生成するためＶＲＰ生成を実行し、機能ブロック５３５に制御をわたす。機能ブロック５３５は、ＶＲＰをローカルメモリに挿入し、ｖｒｐ＿ｉｄを設定し、機能ブロック５４０に制御をわたす。機能ブロック５４０は、ＶＲＰによりリファレンスリスト構築を実行し、機能ブロック５４５に制御をわたす。機能ブロック５４５は、ハイレベルシンタックスをビットストリームに書き込み、機能ブロック５５０に制御をわたす。機能ブロック５５０は、現在のピクチャを符号化し、ＶＲＰが存在する場合にはＶＲＰをｖｒｐ＿ｉｄにより参照し、機能ブロック５５５に制御をわたす。機能ブロック５５５は、ＶＲＰに割り当てられているメモリを解放し、機能ブロック５６０に制御をわたす。機能ブロック５６０は、ローレベルシンタックスをビットストリームに書き込み、エンドブロック５９９に制御をわたす。
【００５１】
図６を参照するに、復号化ピクチャバッファ（ＤＰＢ）におけるバーチャルリファレンスピクチャ（ＶＲＰ）管理を用いてビデオコンテンツを復号化する一例となる方法が、参照番号６００により全体表示される。本方法６００は、機能ブロック６１０に制御をわたすスタートブロック６０５を有する。機能ブロック６１０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｎｕｍ＿ｖｒｐｓ及び他のＶＲＰパラメータシンタックスなどを含むハイレベルシンタックスをビットストリームから読み取り、判定ブロック６２０に制御をわたす。判定ブロック６２０は、ｖｒｐ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいか判断する。そうである場合、制御は機能ブロック６２５にわたされる。そうでない場合、制御は機能ブロック６４５にわたされる。
【００５２】
機能ブロック６２５は、ＶＲＰパラメータを復号化し、機能ブロック６３０に制御をわたす。機能ブロック６３０は、１以上のＶＲＰ（以降、ＶＲＰ）を生成するため、ＶＲＰ生成を実行し、機能ブロック６４０に制御をわたす。機能ブロック６４０は、ＶＲＰをローカルメモリに挿入し、ｖｒｐ＿ｉｄを設定し、機能ブロック６４５に制御をわたす。機能ブロック６４５は、ＶＲＰなしにリファレンスリストを実行し、機能ブロック６５０に制御をわたす。機能ブロック６５０は、ローレベルシンタックスをビットストリームから読み取り、機能ブロック６６０に制御をわたす。機能ブロック６６０は、現在のピクチャを復号化し、ＶＲＰが存在する場合にはｖｒｐ＿ｉｄによりＶＲＰを参照し、機能ブロック６６５に制御をわたす。機能ブロック６６５は、ＶＲＰに割り当てられているメモリを解放し、機能ブロック６７０に制御をわたす。機能ブロック６７０は、ＤＰＢからＶＲＰを削除し、エンドブロック６９９に制御をわたす。
【００５３】
本発明の多数の付随する効果／特徴の一部がこれから説明されるが、その一部は上述されたものである。例えば、１つの効果／特徴は、結果として得られるビットストリームを生成するため、少なくとも１つのバーチャルリファレンスピクチャを使用して少なくとも１つのピクチャを符号化するエンコーダを有する装置である。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
【００５４】
他の効果／特徴は、前記少なくとも１つのピクチャは、マルチビュービデオコンテンツの少なくとも２つのビューの少なくとも１つに対応する、上述されるようなエンコーダを有する装置である。
【００５５】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、信号処理変換が実行された少なくとも１つのリファレンスピクチャから生成される、上述されるようなエンコーダを有する装置である。
【００５６】
さらなる他の効果／特徴は、前記エンコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記信号処理変換のワーピングパラメータを示す、上述されるようなエンコーダを有する装置である。
【００５７】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのフィルタリングされたリファレンスピクチャから生成される、上述されるようなエンコーダを有する装置である。
【００５８】
さらなる他の効果／特徴は、前記エンコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのフィルタリングされたリファレンスピクチャをフィルタリングするのに使用されるフィルタ係数を示す、上述されるようなエンコーダを有する装置である。
【００５９】
さらなる他の効果／特徴は、前記少なくとも１つのピクチャは、マルチビュービデオコンテンツに対応し、前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのビュー補間されたピクチャを使用して生成される、上述されるようなエンコーダを有する装置である。
【００６０】
さらなる他の効果／特徴は、前記エンコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのビュー補間されたピクチャのパラメータを示す、上述されるようなエンコーダを有する装置である。
【００６１】
さらなる他の効果／特徴は、前記エンコーダは、前記結果として得られるビットストリームにおいて、前記少なくとも１つのバーチャルリファレンスピクチャの存在を示す、上述されるようなエンコーダを有する装置である。
【００６２】
さらなる他の効果／特徴は、前記エンコーダは、前記結果として得られるビットストリームの少なくとも１つのハイレベルシンタックスにおいて、前記少なくとも１つのバーチャルリファレンスピクチャの存在を示す、上述されるようなエンコーダを有する装置である。
【００６３】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャを生成するための方法とパラメータの少なくとも１つが、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスにおいて示される、上述されるようなエンコーダを有する装置である。
【００６４】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファに格納される、上述されるようなエンコーダを有する装置である。
【００６５】
さらなる他の効果／特徴は、前記エンコーダは、前記復号化ピクチャバッファに関して、前記少なくとも１つのバーチャルリファレンスピクチャについて所定の挿入及び削除処理を利用する、上述されるようなエンコーダを有する装置である。
【００６６】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの短期メモリ部分に格納される、上述されるようなエンコーダを有する装置である。
【００６７】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの長期メモリ部分に格納される、上述されるようなエンコーダを有する装置である。
【００６８】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、バーチャルリファレンスピクチャに専用のメモリに格納される、上述されるようなエンコーダを有する装置である。
【００６９】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファとは別の一時的ピクチャバッファに格納される、上述されるようなエンコーダを有する装置である。
【００７０】
さらなる他の効果／特徴は、前記エンコーダは、前記少なくとも１つのバーチャルリファレンスピクチャのインデックスを使用して、前記少なくとも１つのピクチャに対する予測処理において前記少なくとも１つのバーチャルリファレンスピクチャを直接参照する、上述されるようなエンコーダを有する装置である。
【００７１】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、デフォルトリファレンスリスト構築処理が実行される、上述されるようなエンコーダを有する装置である。
【００７２】
さらなる他の効果／特徴は、前記少なくとも１つのリファレンスピクチャのリスト並び替えコマンドは、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるよう規定される、上述されるようなエンコーダを有する装置である。
【００７３】
さらなる他の効果／特徴は、所定のリファレンスリスト並び替えコマンドは、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、ハイレベルシンタックスと合成される、上述されるようなエンコーダを有する装置である。
【００７４】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャのそれぞれは、リファレンスピクチャリストに対応するリファレンスピクチャインデックスにより参照される、上述されるようなエンコーダを有する。
【００７５】
さらなる他の効果／特徴は、少なくとも１つのバーチャルリファレンスピクチャを使用して、ビットストリームから少なくとも１つのピクチャを復号化するデコーダを有する装置である。前記少なくとも１つのバーチャルリファレンスピクチャは、以前に復号化されたピクチャと異なる。
【００７６】
さらなる他の効果／特徴は、前記少なくとも１つのピクチャは、マルチビュービデオコンテンツの少なくとも２つのビューの少なくとも１つに対応する、上述されるようなデコーダを有する装置である。
【００７７】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、信号処理変換が実行された少なくとも１つのリファレンスピクチャから生成される、上述されるようなデコーダを有する装置である。
【００７８】
さらなる他の効果／特徴は、前記デコーダは、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記信号処理変換のワーピングパラメータを決定する、上述されるようなデコーダを有する装置である。
【００７９】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのフィルタリングされたリファレンスピクチャから生成される、上述されるようなデコーダを有する装置である。
【００８０】
さらなる他の効果／特徴は、前記デコーダは、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記少なくとも１つのフィルタリングされたリファレンスピクチャをフィルタリングするのに使用されるフィルタ係数を決定する、上述されるようなデコーダを有する装置である。
【００８１】
さらなる他の効果／特徴は、前記少なくとも１つのピクチャは、マルチビュービデオコンテンツに対応し、前記少なくとも１つのバーチャルリファレンスピクチャは、少なくとも１つのビュー補間されたピクチャを使用して生成される、上述されるようなデコーダを有する装置である。
【００８２】
さらなる他の効果／特徴は、前記デコーダは、前記結果として得られるビットストリームに含まれる少なくとも１つのハイレベルシンタックスから、前記少なくとも１つのビュー補間されたピクチャのパラメータを決定する、上述されるようなデコーダを有する装置である。
【００８３】
さらなる他の効果／特徴は、前記デコーダは、前記ビットストリームにおける前記少なくとも１つのバーチャルリファレンスピクチャの存在を決定する、上述されるようなデコーダを有する装置である。
【００８４】
さらなる他の効果／特徴は、前記デコーダは、前記ビットストリームのハイレベルシンタックスから、前記少なくとも１つのバーチャルリファレンスピクチャの存在を決定する、上述されるようなデコーダを有する装置である。
【００８５】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャを生成するための方法とパラメータの少なくとも１つが、前記ビットストリームに含まれる少なくとも１つのハイレベルシンタックスから決定される、上述されるようなデコーダを有する装置である。
【００８６】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファに格納される、上述されるようなデコーダを有する装置である。
【００８７】
さらなる他の効果／特徴は、前記デコーダは、前記復号化ピクチャバッファに関して、前記少なくとも１つのバーチャルリファレンスピクチャについて所定の挿入及び削除処理を利用する、上述されるようなデコーダを有する装置である。
【００８８】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの短期メモリ部分に格納される、上述されるようなデコーダを有する装置である。
【００８９】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、前記復号化ピクチャバッファの長期メモリ部分に格納される、上述されるようなデコーダを有する装置である。
【００９０】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、バーチャルリファレンスピクチャに専用のメモリに格納される、上述されるようなデコーダを有する装置である。
【００９１】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャは、復号化ピクチャバッファとは別の一時的ピクチャバッファに格納される、上述されるようなデコーダを有する装置である。
【００９２】
さらなる他の効果／特徴は、前記デコーダは、前記少なくとも１つのバーチャルリファレンスピクチャのインデックスを使用して、前記少なくとも１つのピクチャに対する予測処理において前記少なくとも１つのバーチャルリファレンスピクチャを直接参照する、上述されるようなデコーダを有する装置である。
【００９３】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャを含めるため、デフォルトリファレンスリスト構築処理が実行される、上述されるようなデコーダを有する装置である。
【００９４】
さらなる他の効果／特徴は、前記少なくとも１つのリファレンスピクチャのリスト並び替えコマンドは、前記デフォルトリファレンスリストの構築に前記少なくとも１つのバーチャルリファレンスピクチャを含めるよう規定される、上述されるようなデコーダを有する装置である。
【００９５】
さらなる他の効果／特徴は、前記少なくとも１つのバーチャルリファレンスピクチャのそれぞれは、リファレンスピクチャリストに対応するリファレンスピクチャインデックスにより参照される、上述されるようなデコーダを有する装置である。
【００９６】
本原理の上記及び他の特徴及び効果は、ここでの教示に基づき、当業者により容易に確認されるかもしれない。本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの各種形式により実現可能であることが理解されるべきである。
【００９７】
最も好ましくは、本原理の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記憶ユニット上に有形に実現されるアプリケーションプログラムとして実現されるかもしれない。アプリケーションプログラムは、何れか適切なアーキテクチャを有するマシーンにアップロード及び実行されるかもしれない。好ましくは、当該マシーンは、１以上の中央処理ユニット（ＣＰＵ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及び入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロ命令コードを含むかもしれない。ここに記載される各種プロセス及びファンクションは、ＣＰＵにより実行可能なマイクロ命令コードの一部、アプリケーションプログラムの一部又はこれらの何れかの組み合わせであるかもしれない。さらに、追加的なデータ記憶ユニット及び印刷ユニットなどの他の各種周辺ユニットが、コンピュータプラットフォームに接続されるかもしれない。
【００９８】
添付した図面に示されるシステムのコンポーネント及び方法は、好ましくは、ソフトウェアにより実現されるため、システムコンポーネント又はプロセスファンクションブロックの間の実際の接続は、本原理がプログラムされる方法に応じて異なるかもしれないことがさらに理解されるべきである。ここでの教示が与えられると、当業者は、本原理の上記及び同様の実現形態又は構成を想到可能であろう。
【００９９】
例示的な実施例が添付した図面を参照してここに記載されるが、本原理は、これら正確な実施例に限定されるものでなく、本原理の範囲又は趣旨から逸脱することなく当業者により実行可能であることが理解されるべきである。このような変更及び改良は、添付した請求項に与えられる本原理の範囲内に含まれるものである。
【図１】
2009543521.tif 000003
【図２】
2009543521.tif 000004
【図３】
2009543521.tif 000005
【図４】
2009543521.tif 000006
【図５】
2009543521.tif 000007
【図６】
2009543521.tif 000008
【国際調査報告】
2009543521.tif 000009
2009543521.tif 000010
2009543521.tif 000011
2009543521.tif 000012