(57)【要約】  様々な実装例が説明されており。いくつかの実装例は、奥行き情報を使用して対応する基準ブロックを判定する１または複数のエンコーディングモードに関する。全般的な態様によれば、多視点システムにおける第１の視点から得られる第１視点画像の部分がエンコーディングされる。当該部分は、第１視点画像の全部分または一部分である。多視点システムにおける第２の視点から得られる第２視点画像の部分が当該第１視点画像の当該部分に対応していることが判定される。この判定は当該第２視点画像の当該部分の奥行き情報を提供する第２視点奥行き値に基づいている。当該第２視点画像の当該一部は、当該第１視点画像の当該部分のエンコーディングから得られる情報を使用してエンコーディングされる。
2011519226.tif 000002
【特許請求の範囲】
【請求項１】
多視点システム内の第１の視点から得られる第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングするステップと、
前記多視点システム内の第２の視点から得られる第２視点画像の部分が前記第１視点画像の前記部分に対応していることを判定するステップであって、当該判定が前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいているステップと、
前記第２視点画像の前記部分を前記第１視点画像の前記部分のエンコーディングから得られる情報を使用してエンコーディングするステップと、
を含むことを特徴とする方法。
【請求項２】
前記第１視点画像の当該エンコーディングされた部分、前記第２視点画像の当該エンコーディングされた部分、及び当該エンコーディングされた第２視点の奥行き値が、奥行きマップのコーディングをサポートせずに多視点コーディングをサポートしている規格に従ってエンコーディングされていることを特徴とする請求項１に記載の方法。
【請求項３】
前記規格がＭＶＣ規格であることを特徴とする請求項２に記載の方法。
【請求項４】
前記第１視点画像の当該エンコーディングされた部分、前記第２視点画像の当該エンコーディングされた部分、及び前記第２視点奥行き値を、保存または伝送のために提供するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記提供するステップが前記第１視点画像の当該エンコーディングされた部分、前記第２視点画像の当該エンコーディングされた部分、及び前記第２視点奥行き値を、構造化された１つのフォーマットにするステップを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記第２視点奥行き値をエンコーディングするステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記第２視点奥行き値が所定のマクロブロックまたはマクロブロックの一部に関する単一の値であることを特徴とする請求項１に記載の方法。
【請求項８】
前記第２視点画像の前記部分が前記第１視点画像の前記部分に対応することを判定するステップがワーピング処理を使用するステップを含み、前記ワーピング処理が、
前記第２視点画像の前記部分内の点の位置に基づいて現実の空間内の点の位置を判定するステップと、
現実の空間内の前記点の位置に基づいて前記第１視点画像の前記部分内の点の位置を判定するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記第２視点画像の前記部分の視差ベクトルを判定するステップをさらに含み、前記視差ベクトルが、前記第２視点画像の前記部分の位置と前記第１視点画像の前記部分の位置との間の差を示し、前記視差ベクトルが前記第２視点奥行き値に基づいて判定されることを特徴とする請求項１に記載の方法。
【請求項１０】
前記視差ベクトルを判定するステップが、さらに、前記視差ベクトルを合成ではなくエンコーディングにさらに適合させる精緻化に基づいていることを特徴とする請求項９に記載の方法。
【請求項１１】
前記視差ベクトルに基づいて視差ベクトル予測因子を生成するステップと、
前記視差ベクトル予測因子に基づいて前記視差ベクトルをエンコーディングするステップと、
をさらに含むことを特徴とする請求項９に記載の方法。
【請求項１２】
前記第１視点画像の前記部分に対して奥行きから導出された視差ベクトルに基づいて視差ベクトル予測因子を生成するステップと、
前記視差ベクトル予測因子に基づいて前記視差ベクトルをエンコーディングするステップと、
をさらに含むことを特徴とする請求項９に記載の方法。
【請求項１３】
前記第２視点画像の前記部分をエンコーディングするステップが、前記第２視点画像の前記部分が前記第１視点画像の前記部分を再構築してものを利用して再構築されるべきことを示すフラグを設定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記第２視点画像の前記部分をエンコーディングするステップが、前記第１視点画像の前記部分のエンコーディングから得られたモーションベクトルを使用するステップ、及び前記第２視点画像の前記部分と前記モーションベクトルによって前記第２視点画像から指し示されている基準画像との間の残余を判定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１５】
前記第１視点画像がビデオシーケンスから得られたピクチャを含み、前記第１視点画像の前記部分をエンコーディングするステップが前記ピクチャのマクロブロックをエンコーディングするステップを含むことを特徴とする請求項１に記載の方法。
【請求項１６】
少なくとも前記第２視点画像が、複数の画像から形成されているビデオシーケンス内に含まれており、かつ前記複数の画像の各々に関する少なくとも１つの視差ベクトルを有していることを特徴とする請求項１に記載の方法。
【請求項１７】
少なくとも前記第２視点画像が、複数の画像から形成されているビデオシーケンス内に含まれており、かつ前記複数の画像の各々に関する複数の視差ベクトルを有していることを特徴とする請求項１に記載の方法。
【請求項１８】
前記方法がエンコーダ内に実装されることを特徴とする請求項１に記載の方法。
【請求項１９】
前記第１視点画像の前記部分の照度を前記第２視点画像の前記部分の照度と比較するステップと、
前記第２視点画像の前記部分に関する照度オフセットを前記比較の結果に基づいて判定するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項２０】
装置であって、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングする手段と、
前記多視点システムにおける第２の視点から得られた第２視点画像部分が前記第１視点画像の前記部分に対応しているかを判定する手段と、
前記第１視点画像の前記部分のエンコーディングから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングする手段と、を含み、
前記判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいて判定されることを特徴とする装置。
【請求項２１】
命令が保存されているプロセッサ可読媒体であって、前記命令がプロセッサに少なくとも、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングさせ、
前記多視点システムにおける第２の視点から得られた第２視点画像部分が前記第１視点画像の前記部分に対応しているかを判定させ、
前記第１視点画像の前記部分のエンコーディングから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングさせ、
前記判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいて判定されることを特徴とするプロセッサ可読媒体。
【請求項２２】
プロセッサを含む装置であって、前記プロセッサが少なくとも、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分のエンコーディングと、
前記多視点システムにおける第２の視点から得られた第２視点画像部分が前記第１視点画像の前記部分に対応しているかの判定と、
前記第１視点画像の前記部分のエンコーディングから得られた情報を使用した前記第２視点画像の前記部分のエンコーディングと、を実行し、
前記判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいて判定されることを特徴とする装置。
【請求項２３】
多視点システムにおける第２の視点から得られた第２視点画像の部分が多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分と対応していることを判定する視差コンバータと、
前記第１視点画像の前記部分をエンコーディングして、前記第１視点画像の前記部分のエンコーディングから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングするエンコ−ディングユニットと、を含み、
前記判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいていることを特徴とする装置。
【請求項２４】
前記第１視点画像の当該エンコーディングされた部分、前記第２視点画像当該エンコーディングされた部分、及び前記第２視点奥行き値を保存または伝送するために提供する出力ユニットをさらに含むことを特徴とする請求項２３に記載の装置。
【請求項２５】
多視点システムにおける第２の視点から得られた第２視点画像の部分が多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分と対応していることを判定する視差コンバータと、
前記第１視点画像の前記部分をエンコーディングして、前記第１視点画像の前記部分のエンコーディングから得られた情報を使用して前記第２視点画像の前記部分をエンコーディングするエンコ−ディングユニットと、
前記第１視点画像の前記部分及び前記第２視点画像の前記部分のエンコーディングを含む信号を変調する変調器と、を含み、
前記判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいて判定されることを特徴とする装置。
【請求項２６】
情報を含むようにフォーマット化されたビデオ信号であって、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分のコーディングされた情報を含む第１視点画像セクションと、
前記第１視点画像の前記部分に対応する前記多視点システムにおける第２の視点から得られた第２視点画像の部分のコーディングされた情報を含む第２視点画像セクションと、
前記第２視点画像の部分の奥行き情報を提供する第２視点奥行き値の情報を含む第２視点奥行きセクションと、を含み、
前記第１視点画像セクション、前記第２視点画像セクション、及び前記第２視点奥行きセクションが、奥行きマップをサポートせずに多視点コーディングをサポートしている規格に従ってフォーマット化されていることを特徴とするビデオ信号。
【請求項２７】
ビデオ信号構造であって、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分のコーディングされた情報を含む第１視点画像セクションと、
前記第１視点画像の前記部分に対応する前記多視点システムにおける第２の視点から得られた第２視点画像の部分のコーディングされた情報を含む第２視点画像セクションと、
前記第２視点画像の部分の奥行き情報を提供する第２視点奥行き値の情報を含む第２視点奥行きセクションと、を含み、
前記第１視点画像セクション、前記第２視点画像セクション、及び前記第２視点奥行きセクションが、奥行きマップをサポートせずに多視点コーディングをサポートしている規格に従ってフォーマット化されていることを特徴とするビデオ信号構造。
【請求項２８】
ビデオ信号構造が保存されているプロセッサ可読媒体であって、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分のコーディングされた情報を含む第１視点画像セクションと、
前記第１視点画像の前記部分に対応する前記多視点システムにおける第２の視点から得られた第２視点画像の部分のコーディングされた情報を含む第２視点画像セクションと、
前記第２視点画像の部分の奥行き情報を提供する第２視点奥行き値の情報を含む第２視点奥行きセクションと、を含み、
前記第１視点画像セクション、前記第２視点画像セクション、及び前記第２視点奥行きセクションが、奥行きマップをサポートせずに多視点コーディングをサポートしている規格に従ってフォーマット化されていることを特徴とするプロセッサ可読媒体。
【請求項２９】
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分とのエンコーディングをデコーディングするステップと、
前記多視点システムにおける第２の視点から得られた第２視点画像の部分が前記第１視点画像の前記部分に対応すること判定するステップと、
前記第１視点画像の当該デコーディングされた部分から得られた情報を使用して前記第２視点画像の前記部分のエンコーディングをデコーディングするステップと、含み、
前記判定は前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいていることを特徴とする方法。
【請求項３０】
前記第２視点画像の前記部分をデコーディングするステップが、前記第２視点画像の前記部分が、前記第１視点画像の前記部分を再構築したものを利用して再構築されるべきことを示すフラグを読み込むステップを含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記第１視点画像の前記部分の照度と前記第２視点画像の前記部分の照度との間の差を示す照度オフセットにアクセスするステップと、
前記照度オフセットに基づいて前記第２視点画像の前記部分の再構築の照度を調整するステップと、
をさらに含むことを特徴とする請求項３０に記載の方法。
【請求項３２】
前記第２視点画像の前記部分をデコーディングするステップが、前記第１視点画像の当該デコーディングされた部分から得られたモーションベクトルを使用するステップと、前記第２視点画像の前記部分と前記第２視点画像から前記モーションベクトルによって指し示されている基準画像との間の残余を判定するステップと、を含むことを特徴とする請求項２９に記載の方法。
【請求項３３】
前記第２視点奥行き値を処理するステップをさらに含むことを特徴とする請求項２９に記載の方法。
【請求項３４】
前記第２視点奥行き値を処理するステップが、受信された信号から得られた前記第２視点奥行き値を解析するステップかまたは前記第２視点奥行き値をデコーディングするステップの１または複数を含むことを特徴とする請求項３３に記載の方法。
【請求項３５】
前記第１視点画像の当該エンコーディングされた部分及び前記第２視点画像の当該エンコーディングされた部分が、奥行きマップのコーディングをサポートせずに多視点のコーディングをサポートしている規格に従って構築されているフォーマットにて受信されることを特徴とする請求項２９に記載の方法。
【請求項３６】
前記規格がＭＶＣ規格であることを特徴とする請求項３５記載の方法。
【請求項３７】
前記第２視点奥行き値が所定のマクロブロックまたはマクロブロックの所定の部分の単一の値であることを特徴とする請求項２９に記載の方法。
【請求項３８】
前記第２視点画像の前記部分の視差ベクトルを判定するステップをさらに含み、前記視差ベクトルは、前記第２視点の前記部分の位置と前記第１視点画像の前記部分の位置との間の差を示し、前記視差ベクトルは、前記第２視点奥行き値に基づいて判定されることを特徴とする請求項２９に記載の方法。
【請求項３９】
前記第２視点画像の前記部分の視差ベクトル予測因子を形成するステップと、
前記視差ベクトル予測因子に基づいて視差ベクトルをデコーディングするステップと、を含み、
前記視差ベクトル予測因子は、前記第２視点画像の前記部分の位置と前記第１視点画像の前記部分の位置との間の差を示し、前記視差ベクトル予測因子は、前記第２視点奥行き値に基づいて判定されることを特徴とする請求項２９に記載の方法。
【請求項４０】
前記第１視点画像の前記部分の視差ベクトルであって奥行き値から導出された視差ベクトルに基づいて視差ベクトル予測因子を生成するステップと、
前記視差ベクトル予測因子に基づいて視差ベクトルをデコーディングするステップと、をさらに含むことを特徴とする請求項２９に記載の方法。
【請求項４１】
前記方法がデコーダ内に実装されることを特徴とする請求項２９に記載の方法。
【請求項４２】
前記方法がエンコーダ内にエンコーディング処理の一部として実装されることを特徴とする請求項２９に記載の方法。
【請求項４３】
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングしたものデコーディングする手段と、
前記多視点システムにおける第２の視点から得られた第２視点画像の部分が前記第１視点画像の前記部分と対応していることを判定する手段と、
前記第１視点画像の当該デコーディングされた部分から得られた情報を使用して前記第２視点画像の前記部分をエンコーディングしたものをデコーディングする手段と、を含み、
前記判定は、前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいていることを特徴とする装置。
【請求項４４】
命令が保存されているプロセッサ可読媒体であって、前記命令がプロセッサに少なくとも、
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングしたものデコーディングするステップと、
前記多視点システムにおける第２の視点から得られた第２視点画像の部分が前記第１視点画像の前記部分と対応していることを判定するステップと、
前記第１視点画像の当該デコーディングされた部分から得られた情報を使用して前記第２視点画像の前記部分をエンコーディングしたものをデコーディングするステップと、を実行させ、
前記判定は、前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいていることを特徴とするプロセッサ可読媒体。
【請求項４５】
プロセッサを含む装置であって、前記プロセッサは少なくとも
多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングしたものをデコーディングするステップと、
前記多視点システムにおける第２の視点から得られた第２視点画像の部分が前記第１視点画像の前記部分と対応していることを判定するステップと、
前記第１視点画像の当該デコーディングされた部分から得られた情報を使用して前記第２視点画像の前記部分をエンコーディングしたものをデコーディングするステップと、を実行し、
前記判定は、前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいていることを特徴とする装置。
【請求項４６】
多視点システムにおける第２の視点から得られた第２視点画像の部分が前記多視点システムにおける第１の視点から得られた第１視点画像の全部分または一部分である前記第１視点画像部分と対応していることを判定する視差コンバータと、
前記第１視点画像の前記部分をエンコーディングしたものをデコーディングし、前記第１視点画像の当該デコーディングされた部分から得られた情報を使用して前記第２視点画像の前記部分をエンコーディングしたものをデコーディングするデコーディングユニットと、を含み、
前記判定は、前記第２視点画像の前記部分の奥行き情報を提供する第２視点奥行き値に基づいていることを特徴とする装置。
【請求項４７】
多視点システムにおける第１の視点から得られる第１視点画像の全部分または一部分である前記第１視点画像の部分をエンコーディングしたもの含みかつ前記多視点システムにおける第２の視点から得られる第２視点画像の部分をエンコーディングしたものを含む信号を受信して復調する復調器と、
前記第２視点画像の前記部分の奥行き情報を値今日する第２視点奥行き値に基づいて前記第２視点画像の前記部分が前記第１視点画像の前記部分に対応していることを判定する視差コンバータと、
前記第１視点画像の前記部分をエンコーディングしたものをデコーディングして、前記第１視点画像の当該デコーディングされた部分から得られる情報を使用して前記第２視点画像前記部分をエンコーディングしたものをデコーディングするデコーディングユニットと、
を含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
コーディングシステムに関する実装例が説明される。様々な具体的な実装例は、奥行きを用いた視点間スキップモードに関する。
【背景技術】
【０００２】
関連発明の相互参照
本願は、米国仮特許出願第６１／１２５，５２０号（発明名称「奥行きを用いた視点間スキップモード」、出願日２００８年４月２５日）の利益を主張し、当該出願は参照されることによって本願に包含されている。
【０００３】
他のマクロブロックからの情報を用いて現在のマクロブロックをデコーディングする１または複数のコーディングツールが存在する。１つのコーディングツールは、奥行き情報を用いて現在のマクロブロックをデコーディングする視点間スキップモードである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国仮特許出願第６１／１２５，５２０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視点間スキップモードコーディングツールの１または複数の欠点が本出願において認識される。
【課題を解決するための手段】
【０００６】
全体的な態様によれば、多視点システム内の第１の視点から得られた第１視点画像の部分がエンコーディングされる。当該部分は、第１視点画像の全てまたは一部である。多視点システム内の第２の視点得られた第２視点画像の部分が第１視点画像の部分に対応することが判定される。この判定は、第２視点画像の部分の奥行き情報を提供する第２視点奥行き値に基づいている。第２視点画像の部分は、第１視点画像の部分のエンコーディングから得られた情報を用いてエンコーディングされる。
【０００７】
他の全体的な特徴によれば、ビデオ信号またはビデオ信号構造が以下のセクションを含む。第１視点画像セクションは、多視点システムにおける第１の視点から得られた第１視点画像の部分に関するコーディングされた情報を含む。第１視点画像セクションの部分は、第１視点画像の全部分または一部分である。第２視点画像セクションは、多視点システムにおける第２の視点から得られた第２視点画像の部分に関するコーディングされた情報を含み、当該第２視点画像の部分は、第１視点画像の部分に対応している。第２視点奥行きセクションは、第２視点画像の部分の奥行き情報を提供する第２視点奥行き値に関する情報を含む。第１視点画像セクション、第２視点画像セクション、及び第２視点奥行きセクションは、奥行きマップのコーディングをサポートせずに多視点のコーディングをサポートする規格に従ってフォーマット化される。
【０００８】
他の全体的な特徴によれば、多視点システム内の第１の視点から得られた第１視点画像の部分のエンコーディングがデコーディングされる。当該部分は、第１視点画像の全部分または一部分である。多視点システムにおける第２の視点から得られた第２視点画像の部分が第１視点画像の部分に対応していることが判定される。この判定は、第２視点画像の部分の奥行き情報を提供する第２視点奥行き値に基づいている。第２視点画像の部分のエンコーディングは、第１視点画像のデコーディングされた部分から得られた情報を用いてデコーディングされる。
【０００９】
１または複数の実施例の詳細が添付の図面及び以下の発明を実施するための形態において説明される。１つの具体的な態様において説明されたとしても、実装は様々な態様で構成または実施されることは明らかである。例えば、実装は方法として実行されるか、装置（操作のセットを実行する装置、または操作のセットを実行する命令を保存する装置）として実施されるか、信号内で具体化される。他の態様及び特徴は、以下の発明を実施するための形態において、添付図面及び特許請求の範囲を参照しつつ明らかにされるだろう。
【図面の簡単な説明】
【００１０】
【図１】エンコーダの実装例の図である。
【図２】デコーダの実装例の図である。
【図３】ビデオ伝送システムの実装例の図である。
【図４】ビデオ受信システムの実装例の図である。
【図５】ビデオ処理デバイスの実装例の図である。
【図６】実装例において現在のマクロブロックの隣接マクロブロックを識別する図である。
【図７Ａ】第１のエンコーディングプロセスの実装例の図である。
【図７Ｂ】第１のエンコーディングプロセスの実装例の図である。
【図８】第１のデコーディングプロセスの実装例の図である。
【図９】精細モーションマッチングの実装例の図である。
【図１０Ａ】第２のエンコーディングプロセスの実装例の図である。
【図１０Ｂ】第２のエンコーディングプロセスの実装例の図である。
【図１１】第２のデコーディングプロセスの実装例の図である。
【図１２Ａ】第３のエンコーディングプロセスの実装例の図である。
【図１２Ｂ】第３のエンコーディングプロセスの実装例の図である。
【図１３】第３のデコーディングプロセスの実装例の図である。
【発明を実施するための形態】
【００１１】
視点間スキップは、奥行き情報を用いて現在のマクロブロックをデコーディングするコーディングツールである。発明者は、視点間スキップの欠点は、視点間スキップが、デコーダにおいて奥行きマップが利用可能であることを必要とするかまたは仮定する点であると見出している。このことは、奥行きマップが視点合成のために必要とされる３ＤＶフレームワークにおいて起こり得る。多視点ビデオコーディング（ＭＶＣ）の場合、奥行きマップの標準的伝送は規定されていない。結果として、奥行きマップを必要とするモードは使用不可能である。
【００１２】
少なくとも１つの実装例において、我々は奥行きを伴った視点間スキップモードを使用するためのフレームワークを提案する。少なくとも１つの実装例において、我々は、視点間スキップの技術を多視点コーティングのコーディングモードとして使用することを提案する。本明細書に記載の少なくとも１つの実装例は、例えば、奥行きマップを別個に伝送する代わりに対応するマクロブロックの奥行きを伝送することによってこの手法を変更することを提案する。オリジナルのビデオシーケンス及び対応するカメラパラメータから生成された奥行き情報は、デコーダ側における視点合成（view synthesis）に対する利点だけでなく、エンコーダにおけるコーディング効率に対する利点ももたらし得る。奥行き情報を用いると、２つの視点間ピクチャ間の一致の評価が従来の方法よりもさらに正確になり得る。少なくとも１つの実装例において、我々は、新しい「スキップモード」、すなわち「奥行きスキップモード」を導入する。
【００１３】
従って、少なくともいくつかの実装例によって解決される少なくとも１つの課題は、奥行きを伴った視点間スキップモードを使用した多視点ビデオシーケンスの効率的なコーディングである。多視点ビデオシーケンスは、異なった視点から同一の場面を記録している２または複数のビデオシーケンスのセットである。
【００１４】
さらに、上述のように、多視点ビデオコーディング（ＭＶＣ）の場合、奥行きマップの標準的伝送は規定されていない。結果として、奥行きマップを必要とするモードは使用できない。本明細書に記載の少なくとも１つの実装例は、必要ならば奥行き情報（奥行きマップとは全体として異なる）を明示的に送信することによってこの問題を解決する。「奥行き情報」は、奥行きに関する様々な種類の情報をいう一般的な用語である。１つのタイプの奥行き情報は「奥行きマップ」であり、これは通常は、ピクセル毎奥行き画像と称される。他のタイプの奥行き情報は、単一の奥行き値を、コーディングされたピクセルの各々ではなくコーディングされたブロックの各々に使用するものを含む。
【００１５】
図１は、本発明の原理の実施形態に従って、本発明の原理が適用される例示のエンコーダ１００を示している。エンコーダ１００は、合成器１０５を含み、合成器１０５は変換器１１０の入力と信号通信接続されている出力を有する。変換器１１０の出力は、量子化器１１５の入力と信号通信接続されている。量子化器１１５の出力は、エントロピーコーダ１２０の入力及び逆量子化器１２５の入力に信号通信接続されている。逆量子化器１２５の出力は、逆変換器１３０の入力に信号通信接続されている。逆変換器１３０の出力は、合成器１３５の第１の非反転入力と信号通信接続されている。合成器１３５の出力は、イントラ予測器１４５の入力及び非ブロック化フィルタ１５０の入力と信号通信接続されている。非ブロック化フィルタ１５０は、例えば、マクロブロック境界に沿ったアーチファクト（ａｒｔｉｆａｃｔ）を除去する。非ブロック化フィルタ１５０の第１の出力は、基準画像ストア１５５（時間予測のため）の入力及び基準画像ストア１６０（視点間予測のため）の第１の入力と信号通信接続されている。基準画像ストア１５５の出力は、モーション補償器１７５の第１の入力及びモーション評価器１８０の第１の入力と信号通信接続されている。モーション評価器１８０の出力は、モーション補償器１７５の第２の入力と信号通信接続されている。基準画像ストア１６０の第１の出力は、視差評価器１７０の第１の入力と信号通信接続されている。基準画像ストア１６０の第２の出力は、視差補償器１６５の第１の入力と信号通信接続されている。視差評価器１７０の出力は、切換器１３４の第１の出力と信号通信接続されている。視差コンバータ１３２（奥行きに基づく）の出力は、切換器１３４の第２の入力と信号通信接続されている。切換器の第１または第２の入力のいずれかを選択するために、視差選択器１３１の第１の出力は、切換器１３４の制御入力と信号通信接続されている。切換器１３４の出力は、視差補償器１６５の第２の入力と信号通信接続されている。
【００１６】
エントロピーデコーダ１２０の出力、モード判定モジュール１１５の第１の出力、及び視差選択器１３１の出力は、ビットストリームを出力するために、各々エンコーダ１００の個別の出力として利用可能である。視差選択器１３１は、様々な形式の奥行き情報を出力するために使用されてもよい。このような奥行き情報は、保存されるか伝送されても良く、例えば、デコーディング動作を許可して、エンコーディングされている視点の全てまたは一部の視差ベクトルを判定するために使用され得る。
【００１７】
合成器１０５の第１の入力、モーション補償器１７５の第３の入力、モーション評価器１８０の第２の入力、視差評価器１７０の第２の入力、及び視差コンバータ１３２の第１の入力は、視点ｉのピクチャデータを受信するために、各々がエンコーダの個別の入力として利用可能である。視差コンバータ１３２の第２の入力は、帯域外の奥行きを受信するために、エンコーダ１００の入力として利用可能である。
【００１８】
補償器１７５の出力は、切換器１８５の第１の入力と信号通信接続されている。視差補償器１６５の出力は、切換器１８５の第２の入力と信号通信接続されている。イントラ予測器１４５の出力は、切換器１８５の第３の入力と信号通信接続されている。切換器１８５の出力は、合成器１０５の反転入力及び合成器１３５の非反転入力と信号通信接続されている。モード判定モジュール１１５の出力は、どの入力が切換器１８５に提供されるかを決定する。
【００１９】
図１の部分、ブロック１１０、１１５及び１２０等は、個別にまたは集合的に、エンコーダ、エンコーダユニット、またはアクセスユニットとも称される。同様に、例えば、ブロック１２５、１３０、１３５及び１５０は、個別にまたは集合的に、デコーダまたはデコーディングユニットとも称される。
【００２０】
図２は、本発明の原理の実施形態に従って、本発明の原理が適用され得る例示のデコーダ２００を示している。デコーダ２００は、エントロピーデコーダ２０５を含み、エントロピーデコーダ２０５は、逆量子化器２１０の入力と信号通信接続されている出力を有する。逆量子化器の出力は、逆変換器２１５の入力と信号通信接続されている。逆変換器２１５の出力は、合成器２２０の第１の非反転入力と信号通信接続されている。合成器２２０の出力は、非ブロック化フィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信接続されている。非ブロック化フィルタ２２５の第１の出力は、基準画像ストア２４０（時間的予測のため）の入力及び基準画像ストア２４５（視点間予測のため）の第１の入力と信号通信接続されている。基準画像ストア２４０の出力は、モーション補償器２３５の第１の入力と信号通信接続されている。基準画像ストア２４５の出力は、視差補償器２５０の第１の入力と信号通信接続されている。
【００２１】
ビットストリーム受信器２０１の出力は、ビットストリーム解析器２０２の入力と信号通信接続されている。ビットストリーム解析器２０２の第１の出力（残余ストリームを提供する）は、エントロピーデコーダ２０５の入力と信号通信接続されている。ビットストリーム解析器２０２の第２の出力（スイッチ２５５によってどの入力が選択されるかを制御する制御シンタックスを提供する）は、モード選択器２２２の入力と信号通信接続されている。ビットストリーム解析器２０２の第３の出力（モーションベクトルを提供する）は、モーション補償器２３５の第２の入力と信号通信接続されている。ビットストリーム解析器２０２の第４の出力（照度オフセットを提供する）は、視差補償器２５０の第２の入力と信号通信接続されている。ビットストリーム解析器２０２の第５の出力（視差制御シンタックスを提供する）は、視差選択器２０４の入力と信号通信接続されている。ビットストリーム解析器２０２の第６の出力（視差ベクトルを提供する）は、スイッチ２１１の第１の入力と信号通信接続されている。ビットストリーム解析器１０２の第７の出力（帯域内奥行きを提供する）は、視差コンバータ２０３の第１の入力と信号通信接続されている。視差コンバータ２０３の出力は、切換器２１１の第２の入力と信号通信接続されている。視差選択器２０４の出力は、どの入力が切換器２１１に提供されるかを決定する。当該切換器の出力は、視差補償器２５０の第３の入力と信号通信接続されている。照度オフセットが任意的な入力であり、実施例によって使用されたり使用されなかったりすることが理解されるべきである。
【００２２】
切換器２５５の出力は、合成器２２０の非反転入力と信号通信接続されている。切換器２５５の第１の入力は、視差補償器２５０の出力と信号通信接続されている。切換器２５５の第２の入力は、モーション補償器２３５の出力と信号通信接続されている。切換器２５５の第３の入力は、イントラ予測器２３０の出力と信号通信接続されている。モードモジュール２２２の出力は、切換器２５５によって選択される入力はどれかを制御するために、スイッチ２５５と信号通信接続されている。非ブロック化フィルタ２２５の第２の出力は、デコーダ２００の出力として利用可能である。視差コンバータ２０３の第２の出力は、帯域外奥行きを受信するために、デコーダ２００の入力として利用可能である。
【００２３】
図２の部分、ビットストリーム解析器２０２、及びデータまたは情報の特定の一部へのアクセスを提供する他のブロック等は、個別にまたは集合的に、アクセスユニットとも称される。同様に、例えば、ブロック２０５、２１０、２１５、２２０及び２２５は、個別にまたは集合的に、デコーダまたはデコーディングユニットとも称される。
【００２４】
図３は、本発明の原理の実施形態に従って本発明の原理が適用され得る例示のビデオ伝送システム３００を示している。ビデオ伝送システム３００は、例えば、衛星、ケーブル、電話線、または地上放送波等の任意の様々な媒体を使用して信号を伝送するヘッドエンド（ｈｅａｄ−ｅｎｄ）または伝送システムであってもよい。この伝送は、インターネットまたはいくつかの他のネットワークを介して提供されてもよい。
【００２５】
ビデオ伝送システム３００は、奥行きを伴った視点間スキップモードを用いてエンコーディングされているビデオコンテンツを生成して配信することが可能である。このことは、奥行き情報を含むエンコーディング信号（単数または複数）、または例えばデコーダを有し得る受信側において奥行き情報を合成するために使用可能な情報を含むエンコーディング信号（単数または複数）を生成することによって成される。
【００２６】
ビデオ伝送システム３００は、エンコーダ３１０と、エンコーディングされた信号を伝送可能な送信器３２０と、を含む。エンコーダ３１０は、ビデオ情報を受信して、奥行きを用いた視点間スキップモードを使用して、そこからエンコーディングされた信号（単数または複数）を生成する。エンコーダ３１０は、例えば、詳細に上述されたエンコーダ３００であってもよい。エンコーダ３１０は、サブモジュールを有していてもよく、例えば、情報の様々な部分を受信して保存または送信のための構造化フォーマットにするアセンブリユニットを有し得る。情報の様々な部分は、例えば、コーディングされたビデオまたはコーディングされていないビデオ、コーディングされた奥行き情報またはコーディングされていない奥行き情報、並びにモーションベクトル、コーディングモードインジケータ及びシンタックス要素等を含み得る。
【００２７】
送信器３２０は、例えば、エンコーディングされている画像を表す１または複数のビットストリーム及び／またはそれらに関連する情報を有するプログラム信号を伝送するのに適していてもよい。典型的な送信器は、エラー訂正コーディングの提供、信号内のデータのインターリーブ、信号内のエネルギのランダム化、及び１もしくは複数の搬送波への信号の変調のうちの１または複数等の機能を果たす。送信器は、アンテナ（図示せず）を含むかまたはアンテナと連動していてもよい。従って、送信器３２０の実装例は、変調器を含むかまたは変調器に限定され得る。
【００２８】
図４は、本発明の原理の実施形態に従って本発明の原理が適用され得る例示のビデオ受信システム４００を示している。ビデオ受信システム４００は、衛星、ケーブル、電話線または地上放送波等の様々な媒体を介して信号を受信するように構成されていてもよい。信号は、インターネットまたはいくつかの他のネットワークを介して受信されてもよい。
【００２９】
ビデオ受信システム４００は、エンコーディングされているビデオを受信して、例えば、ユーザに表示するためまたは保存のためにデコーディングされたビデオを提供する、例えば、携帯電話、コンピュータ、セットトップボックス（ｓｅｔ−ｔｏｐ  ｂｏｘ）、テレビ、または他のデバイスであってもよい。従って、ビデオ受信システム４００は、例えば、テレビのスクリーン、コンピュータのモニタ、コンピュータ（保存、処理または表示のため）、またはいくつかの他の保存、処理または表示デバイスに出力を提供してもよい。
【００３０】
ビデオ受信システム４００は、ビデオ情報を含むビデオコンテンツを受信して処理可能である。ビデオ受信システム４００は、本願の実装例において説明されている信号等のエンコーディングされている信号を受信可能な受信器４１０と、当該受信された信号をデコーディング可能なデコーダ４２０と、を含む。
【００３１】
受信器４１０は、例えば、エンコーディングされている画像に相当する複数のビットストリームを有するプログラム信号を受信するのに適していてもよい。典型的な受信器は、例えば、変調されかつエンコーディングされているデータ信号の受信、１または複数の搬送波からのデータ信号の復調、信号内のエネルギのデランダム化（de-randomizing）、信号内のデータのデインターリーブ（de-interleaving）、及び信号のエラー訂正デコーディングの内の１または複数等の機能を果たす。受信器４１０は、アンテナ（図示せず）を含んでいるかまたはアンテナと連動していてもよい。受信器４１０の実装例は、復調器を含むかまたは復調器に限定され得る。
【００３２】
デコーダは、ビデオ情報及び奥行き情報を含むビデオ信号を出力する。デコーダ４２０は、例えば、詳述されたデコーダ４００であってもよい。
【００３３】
図５は、本発明の原理の実施形態に従って本発明の原理が適用され得る例示のビデオ処理デバイス５００を示している。ビデオ処理デバイス５００は、例えば、エンコーディングされているビデオを受信して、例えば、ユーザに表示するためかまたは保存のためにデコーディングされたビデオを提供する、例えば、セットトップボックス、または他のデバイスであってもよい。従って、ビデオ処理デバイス５００は、テレビ、コンピュータのモニタ、またはコンピュータもしくは他の処理デバイスに出力を提供してもよい。
【００３４】
ビデオ処理デバイス５００は、フロントエンド（ＦＥ）デバイス５０５及びデコーダ５１０を含む。フロントエンドデバイス５０５は、例えば、エンコーディングされた画像に相当する複数のビットストリームを有するプログラム信号を受信すること、及びデコーディングのために当該複数のビットストリームから１または複数のビットストリームを選択することに適した受信器であってもよい。典型的な受信器は、例えば、変調されかつエンコーディングされているデータ信号の受信、データ信号の復調、データ信号の１または複数のエンコーディングのデコーディング（例えば、チャンネルコーディング及び／またはソースコーディング）、及び／またはデータ信号のエラー訂正等の機能を果たす。フロントエンドデバイス５０５は、例えば、アンテナ（図示せず）からプログラム信号を受信してもよい。フロントエンドデバイス５０５は、受信したデータ信号をデコーダ５１０に提供する。
【００３５】
デコーダ５１０は、データ信号５２０を受信する。データ信号５２０は、例えば、１または複数のアドバンスド・ビデオ・コーディング（ＡＶＣ）、スケーラブル・ビデオ・コーディング（ＳＶＣ）または多視点ビデオコーディング（ＭＶＣ）互換ストリームを含んでもよい。
【００３６】
ＡＶＣは、さらに厳密には、現行の国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４）第１０部ＡＶＣ（ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  Ｃｏｒｄｉｎｇ）規格／国際電気通信連合、電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「Ｈ２６４／ＭＰＥＧ−４ＡＶＣ規格」、または「ＡＶＣ規格」もしくは単に「ＡＶＣ」といった変化形で称される）をいう。
【００３７】
ＭＶＣは、さらに厳密には、Ｈ２６４／ＭＰＥＧ−４  ＡＶＣ、ＭＶＣ拡張（「ＭＶＣ拡張」または単に「ＭＶＣ」）とも称される、ＡＶＣ規格の多視点ビデオコーディング（ＭＶＣ）拡張（Ａｎｎｅｘ  Ｈ）をいう。
【００３８】
ＳＶＣは、さらに厳密には、Ｈ２６４／ＭＰＥＧ−４  ＡＶＣ、ＳＶＣ拡張（「ＳＶＣ拡張」または単に「ＳＶＣ」）とも称される、ＡＶＣ規格のスケーラブル・ビデオ・コーディング（ＳＶＣ）拡張（Ａｎｎｅｘ  Ｇ）をいう。
【００３９】
デコーダ５１０は、受信した信号５２０の全てまたは一部をデコーディングし、出力としてデコーディングされたビデオ信号５３０を提供する。デコーディングされたビデオ５３０は、選択器５５０に提供される。デバイス５００は、ユーザ入力５７０を受信するユーザインタフェース５６０も含む。ユーザインタフェース５６０は、ユーザ入力５７０に基づいて、選択器５５０に画像選択信号５８０を提供する。画像選択信号５８０及びユーザ入力５７０は、複数のピクチャ、シーケンス、スケーラブル・バージョン（ｓｃａｌａｂｌｅ  ｖｅｒｓｉｏｎ）、視点、またはその他のデコーディングされたデータのどれを表示したいとユーザが望んでいるかを示す。選択器５５０は、選択されたピクチャ（１または複数）を出力５９０として提供する。選択器５５０は、ピクチャ選択情報５８０を使用して、出力５９０として提供されるデコーディングされたビデオ５３０内のピクチャを選択する。
【００４０】
様々な実装例において、選択器５５０はユーザインタフェース５６０を含むが、他の実装例において、別個のインタフェース機能が実行されずに、選択器５５０がユーザ入力５７０を直接受信する故に、ユーザインタフェース５６０は必要無い。例えば、選択器５５０は、ソフトウェア内に実装されるかまたは集積回路として実装されてもよい。１つの実装例において、選択器５５０は、デコーダ５１０に組み込まれており、他の実施例においては、デコーダ５１０、選択器５５０、及びユーザインタフェース５６０は、全て統合されている。
【００４１】
１つの適用例において、フロントエンド５０５は、様々なテレビ番組の放送を受信し、処理のために１つを選択する。１つの番組の選択は、見たいと望むチャンネルのユーザ入力に基づいている。フロントエンドデバイス５０５へのユーザの入力は図５に示されていないが、フロントエンドデバイス５０５は、ユーザ入力５７０を受信する。フロントエンド５０５は、放送を受信して、放送スペクトルの関連部分を復調して、当該復調された番組になされたエンコーディングをデコーディングすることによって所望の番組を処理する。フロントエンド５０５は、デコーディングされた番組をデコーダ５１０に提供する。デコーダ５１０は、デバイス５６０及び５５０を含む統合されたユニットである。従って、デコーダ５１０は、番組において見たい所望の視点のユーザによる提示であるユーザ入力を受信する。デコーダ５１０は、選択された視点及び他の視点からの任意の必要な関連画像をデコーディングし、テレビ（図示せず）への表示のためにデコーディングされた視点５９０を提供する。
【００４２】
上述の適用例に続いて、ユーザは、表示されている視点を切り替えたいと望み得、デコーダ５１０に新たな入力を提供するだろう。ユーザから「視点変更」を受信した後、デコーダ５１０は、以前の視点及び新しい視点の両方をデコードしかつ、当該以前の視点と当該新しい視点との間にある任意の視点をデコーディングする。すなわち、デコーダ５１０は、当該以前の視点を撮影しているカメラと当該新しい視点を撮影しているカメラとの間に物理的に位置するカメラから撮影された任意の視点をデコーディングする。フロントエンドデバイス５０５は、当該以前の視点、新しい視点及びその間の視点を特定する情報も受信する。このような情報は、例えば、視点の位置に関する情報を有するコントローラ（図５には図示せず）またはデコーダ５１０によって提供されてもよい。他の実装例は、フロントエンドデバイスと一体化されているコントローラを有するフロントエンドデバイスを使用してもよい。
【００４３】
デコーダ５１０は、これらのデコーディングされている視点の全てを出力５９０として提供する。ポストプロセッサ（図５内には図示せず）は、視点間で補間を行って、以前の視点から新しい視点へのスムーズな遷移を提供し、この遷移をユーザに表示する。新しい視点への遷移の後、ポストプロセッサは、（図示していない１または複数の通信リンクを介して）新しい視点のみが必要であることをデコーダ５１０及びフロントエンドデバイス５０５に通知する。その後、デコーダ５１０は、出力５９０として新しい視点のみを提供する。
【００４４】
システム５００は、一連の画像の複数の視点を受信して、表示のために単一の視点のみを提供し、スムーズな態様にて様々な視点間で切換を行うために使用されてもよい。スムーズな態様は、他の視点に移動するために視点間で補間を行うことを含む。さらに、システム５００は、物体または場面を回転させること、または物体または場面を三次元表示で見ることをユーザに可能とさせ得る。例えば、物体の回転は、視点間で移動して、視点間のスムーズな遷移を得るかまたは単に三次元表示を得るために視点間の補間を行うことに相当し得る。すなわち、ユーザは、補間された視点を、表示される「視点」として「選択」することができる。
【００４５】
＜奥行きマップを用いた視点間対応の発見＞
点Ｍ（ｘ，ｙ，ｚ）（ｚは奥行きマップから導出される）が、カメラ平面１において座標（ｕ１，ｖ１）の突起を有し、カメラ平面２において座標（ｕ２，ｖ２）の突起を有すると仮定する。点（ｘ，ｙ，ｚ）は、カメラ装置から独立した現実世界座標システムからのものであり、三次元点の位置を特定する。点（ｕ１，ｖ１）は、視点１のカメラ座標システムへの三次元点（ｘ，ｙ，ｚ）の突出座標である。同様に、点（ｕ２，ｖ２）も、視点２のカメラ座標システムへの三次元点（ｘ，ｙ，ｚ）の突出座標である。
【００４６】
突出行列Ｐは、カメラパラメータＫ、Ｒ及びＴから以下のように導出される。
【００４７】
【数１】
2011519226.tif 000003
【００４８】
ここで、Ｋは固有行列であり、Ｒは回転行列であり、Ｔは並進ベクトルであり、式１は行列Ｒが行列Ｔによって右マージされていることを示しており、その結果に行列Ｋが乗じられている。
【００４９】
視点１及び視点２に関して、式（２）及び式（３）によれば、視点２におけるピクセル（ｕ２，ｖ２）は、視点１における対応する（ｕ１，ｖ１）を発見可能である。ここで、Ｐ１及びＰ２は、視点１及び視点２の突出行列を以下のように表す。
【００５０】
【数２】
2011519226.tif 000004
【００５１】
カメラの各々は、上記３×４行列で示された固有の突出行列Ｐを有している。現実世界の座標に突出行列を左から掛けると、カメラ座標システムにおける座標を得ることが可能である。カメラの各々は、自らの式のセットを生成する。
【００５２】
＜視差演算及び奥行きスキップモード＞
上述の演算はピクセルベースであるが、少なくとも１つの実際の実装例は、視差ベクトルとして、マクロブロック全体の内の左上のピクセルの対応のみを必要とする。左上ピクセル（ｕ１，ｖ１）を有する現在のマクロブロックに対して、その視点間で対応するのがピクセル（ｕ２，ｖ２）である場合、奥行きスキップモードの視差ベクトル（ＤＶ）は、ＤＶ＝（ｕ２−ｕ１、ｖ２−ｖ１）となる。このモードの基準ピクチャは、基準リスト０内の第１の視点間ピクチャに設定される。残りのものは送信される必要がない。
【００５３】
エンコーダまたはデコーダにおいてＤＶを判定するプロセスは、通常は、ピクチャ内の点の（ｕ１，ｖ１）を使用しかつ（ｕ１，ｖ１）に付随する奥行き値を使用して当該ピクチャ内の点の位置（ｘ，ｙ，ｚ）を判定することを含む。これは式２を用いて行われる。その後、（ｘ，ｙ，ｚ）が式３内で使用されて、当該点の（ｕ２，ｖ２）が判定される。このプロセスは「ワーピング（ｗａｒｐｉｎｇ）」と称され、例えば、個別にかまたは奥行きマップの一部としてコーディングされるかまたは外部的に伝送され得る奥行き値に基づいている。視点１内のピクセル（ｕ１，ｖ１）の各々にワーピングプロセスを使用すると、視点２内の対応するピクセル（ｕ２，ｖ２）が通常は特定され得る。その後、ＤＶが（ｕ２−ｕ１，ｖ２−ｖ１）に設定される。ＤＶは、基準ピクチャ内の対応するブロックを指し示す。対応するブロックが十分に近似している場合、「奥行きスキップ」モードは、以下に示すように、対応するブロックからのピクセルをコピーすることによって現在のブロックをコーディングするために使用され得る。
【００５４】
本明細書に示されている様に、奥行き情報は、視差ベクトルの生成に使用され得る。
【００５５】
＜奥行きスキップモードにおける照度補償＞
従来のスキップモードにおいて、基準ピクチャは同一の視点からのものであるので、照度の変化はない。しかし、他の視点から基準ピクチャを取得する場合、照度補償（ＩＣ）が考慮され得る。従って、照度補償ツールが使用可能である場合、奥行きスキップモードにおける照度補償のための補償オフセットが伝送されるべきである。このオフセットは、本技術分野において知られている様々な態様にて演算される。
【００５６】
＜帯域外で伝送される奥行きデータを用いる実施形態０＞
表１Ａは、ＭＶＣ規格からの現在シンタックス構造の変更を示している。表１Ａのシンタックスは、マクロブロックレベルにおける奥行きスキップモードの使用を示するために使用され得る。照度補償も、照度補償オフセット値として信号伝達される。変更されている部分は、全体としてイタリック体で示されている。macroblock_layer_mvc_extension()は、slice_data()から呼び出されるmacroblock_layer()と入れ替わるべきであることに留意する。
【００５７】
【表１】
2011519226.tif 000005
【００５８】
depth_skip_flagが１であることは、コーディングされているマクロブロックが奥行きスキップモードであることを示す。depth_skip_flagが０であることは、コーディングされているマクロブロックが奥行きスキップモードでないことを示す。
【００５９】
ic_enableが１であることは、現在のスライスに対して照度補償が有効であることを特定する。ic_enableが０であることは、現在のスライスに対して照度補償が無効であることを特定する。
【００６０】
mc_ic_flagが１であることは、現在のマクロブロックに対して照度補償が使用されていることを特定する。mc_ic_flagが０であることは、現在のマクロブロックに対して照度補償が使用されていないことを特定する。mc_ic_flagの初期値は０である。
【００６１】
dpcm_of_dvicは、現在のマクロブロックに使用されるべき照度補償オフセットの量を特定する。
【００６２】
少なくとも１つの実装例において、我々は、奥行きスキップモードの性能を向上させることを提案する。このモードが、奥行きデータがデコーダにおいて利用可能であることを想定している故に、この方法によって必要とされるビットレート全体は、ビットレート（ビデオ）＋ビットレート（奥行き）である。奥行きデータが奥行きスキップモードをサポートするためのだけにコーディングされる場合、奥行きデータのための追加のビットレートがコーディング最適化において考慮される。さらに、多視点ビデオコーディング規格は、ビデオ信号と共に奥行き信号を伝送することをサポートしてこなかった。
【００６３】
少なくとも部分的にこれら２つの問題を解決するために、我々は、ビデオ信号と共に奥行き情報を伝送する方法を提案する。
＜帯域内で伝送される奥行きデータを用いる実施形態１＞
奥行きデータが各々の視点のエンコーダにおいて利用可能であると仮定する。上述のプロセスにおいて言及されてきたように、１つの実装例に関して、奥行きスキップモードは、奥行きスキップモードでコーディングされているマクロブロックの左上ピクセルの奥行き値を必要とする。他の実装例は、例えば、右下ピクセルまたはブロック内の全てのピクセルの平均を使用してもよい。奥行きスキップモードにおいて、奥行き値は、現在の視点に対応する奥行き信号の対応ピクセルから取得される。
【００６４】
マクロブロックのモードを選択するための判定は、レート歪み最適化に基づいていてもよい。従って、全てのマクロブロックが奥行きスキップモードとして選択されるわけではない。このことに関わらず、奥行きデータは画像全体かつ画像全てに対して送信されると仮定する。このことは、奥行きデータがレンダリング目的等の任意の他の目的に必要無い場合に、多視点システム全体に高いビットレートを必要とする。
【００６５】
従って、我々は、この高いビットレート要求を著しく低減する方法を提案する。奥行きスキップモードが、ある程度の割合のマクロブロックのみに選択される故に、全てのピクセル及び全ての画像に関する奥行き値を送信する必要はない。従って、我々は、奥行きスキップモードを使用するマクロブロックに関してのみ奥行き値を送信することを提案する。
【００６６】
【表２】
2011519226.tif 000006
【００６７】
【表３】
2011519226.tif 000007
【００６８】
このことは図１Ｂに示されており、図１Ｂにおいて、macroblock_layer_mvc_extension()構造は、depth_skip_flag及び奥行きに関するコーディングされた値を送信するべく変更されている。depth_skip_flagが真の場合、そのマクロブロックの追加の奥行き値を伝送する。これは、表１Ｂに示されているシンタックス要素depthdによって示される。このシンタックス要素のセマンティクスは、以下のように記述され得る：
depthdは、使用される奥行き値と現在のマクロブロックの予測との間の差異を特定する。
【００６９】
depth_skip_flagが１であることは、コーディングされているマクロブロックが奥行きスキップモードであることを示す。depth_skip_flagが０であることは、コーディングされているマクロブロックが奥行きスキップモードでないことを示す。slice_typeがＰまたはＢでない場合、この値は０と導出される。
【００７０】
現在のマクロブロックの最後の、すなわち再構成された奥行きは、以下のように導出される：
predDepth=Min(depthA, depthB)
mbAが存在しない場合、
predDepth=depthB
mbBが存在しない場合、
predDepth=depthA
mbA及びmbBが存在しないかまたはmbA及びmbBと関連付けられている奥行きが無い場合、
predDepth=128
depth=predDepth+depthd
【００７１】
ここでdepthAは、左隣のマクロブロックの再構成された奥行き信号であり、depthBは上隣のマクロブロックの再構成された奥行き信号である。depthA及びdepthBは、単一の値である。図６は、本発明の原理の実施形態に従って、「Ｃｕｒｒ」とラベリングされている現在マクロブロックに対して「Ａ」、「Ｂ」及び「Ｃ」とラベリングされた隣接マクロブロックを示している。
【００７２】
奥行きスキップモードは、マクロブロックの残余部分すなわちピクセル値の残余部分を伝送しない。このことは制限され得、我々は、奥行きスキップモードが拡張されて、マクロブロックに関して残余部分が送信されることが許容されることを提案する。我々は、これを奥行きダイレクトモードという。残余部分を送ることは、奥行きフラグ及び奥行き情報を伴ってまたは伴わずに行われてもよい。
【００７３】
図７は、第１の例示の実施形態に従って、奥行きを用いた奥行きスキップモードを使用するエンコ−ディングの例示の方法７００を示すフロー図である。ステップ７０６において、エンコーダ設定ファイルが読み込まれる。ステップ７０９において、ＳＰＳ拡張内のアンカーピクチャ基準または非アンカーピクチャ基準が設定される。ステップ７１２において、視点の数がＮに設定され、変数ｉ及びｊが０に初期化される。ステップ７１５において、ｉ＜Ｎであるか否かが判定される。もしも、ｉ＜Ｎならば、制御はステップ７１８に送られる。そうでなければ、制御はステップ７６０に送られる。
【００７４】
ステップ７１８にいて、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）であるか否かが判定される。もし、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）であるならば、制御はステップ７２１に送られる。そうでなければ、制御はステップ７５４に送られる。
【００７５】
ステップ７２１において、現在のマクロブロックのエンコーディングが開始される。ステップ７２４において、マクロブロックモードがチェックされる。ステップ７２７において、視点間スキップマクロブロックモードがチェックされる。ステップ７３０において、視点間スキップモードが最良のモードであるか否かが判定される。最良のモードであるならば、制御はステップ７３３に送られる。そうでなければ、制御はステップ７５７に送られる。
【００７６】
ステップ７３３において、depth_skip_flagは１に設定され、depthdは左上ピクセルの奥行き引く奥行き予測因子に設定される。ステップ７３６において、照度補償が有効かどうか否かが判定される。有効な場合、制御はステップ７３９に送られる。そうでない場合、制御はステップ７４２に送られる。
【００７７】
ステップ７３９において、mb_ic_flagは１に設定され、dpcm_of_dvicが設定される。ステップ７４２において、現在のマクロブロックがエンコーディングされる。ステップ７４５において、全てのマクロブロックがエンコーディングされたか否かが判定される。もしもエンコーディングされていたならば、制御はステップ７４８に送られる。そうでなければ、制御はステップ７２１に戻される。
【００７８】
ステップ７４８において、変数ｊがインクリメントされる。ステップ７５１において、frame_num及びピクチャオーダカウント（ＰＯＣ）がインクリメントされる。
【００７９】
ステップ７５４において、変数ｉがインクリメントされ、frame_num及びＰＯＣがリセットされる。
【００８０】
ステップ７５７において、depth_skip_flagが０に設定される。
【００８１】
ステップ７６０において、ＳＰＳ、ＰＰＳ及び／またはＶＰＳを帯域内で信号伝達するか否かを判定する。帯域内で信号伝達する場合、制御はステップ７６３に送られる。そうでない場合、制御はステップ７６６に送られる。
【００８２】
ステップ７６３において、ＳＰＳ、ＰＰＳ及び／またはＶＰＳが帯域内で送信される。
【００８３】
ステップ７６６において、ＳＰＳ、ＰＰＳ及び／またはＶＰＳが帯域外で送信される。
【００８４】
ステップ７６９において、ビットストリームがファイルに書き込まれるかまたはネットワークを介して流される。
【００８５】
図８は、第１の実施形態に従って、奥行きを用いた視点間スキップモードを使用したデコーディングの例示の方法８００を示しているフロー図である。
【００８６】
ステップ８０６において、view_idは、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、またはネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダから解析される。ステップ８０９において、他のＳＰＳパラメータが解析される。ステップ８１２において、現在のピクチャがデコーディングを必要としているか否かが判定される。デコーディングを必要としている場合、制御はステップ８１５に送られる。そうでない場合、制御はステップ８３０に送られる。
【００８７】
ステップ８１５において、POC(curr)!=POC(prev)であるか否かが判定される。POC(curr)!=POC(prev)であるならば、制御はステップ８１８に送られる。そうでなければ、制御はステップ８２１に送られる。
【００８８】
ステップ８１８において、view_numが０に設定される。ステップ８２１において、view_id情報がハイレベルでインデックス化されて視点コーディング順序が判定され、view_numがインクリメントされる。
【００８９】
ステップ８２４において、現在のピクチャが予期されたコーディング順序である否かが判定される。予期されたコーディング順序であるならば、制御はステプ８３３に送られる。そうでなければ、制御はステップ８２７に送られる。
【００９０】
ステップ８３３において、スライスヘッダが解析される。ステップ８３６において、depth_skip_flagが解析される。ステップ８３９において、depth_skip_flagが１であるか否かが判定される。１である場合、制御はステップ８４２に送られる。そうでなければ、制御はステップ８６３に送られる。
【００９１】
ステップ８４２において、depthd及びmb_ic_flagが解析される。ステップ８４５において、mb_ic_flagが１であるか否かが判定される。１である場合、制御はステップ８４８に送られる。そうでない場合、制御はステップ８４９に送られる。
【００９２】
ステップ８４８において、dpcm_of_dvicが解析される。ステップ８４９において、depthdが使用されて視差ベクトルが取得される。ステップ８５１において、現在のマクロブロックがデコーディングされる。ステップ８５４において、全てのマクロブロックが終了しているか（デコーディングされているか）否かが判定される。終了している場合、制御はステップ８５７に送られる。そうでなければ、制御はステップ８３６に戻される。
【００９３】
ステップ８５７において、現在のピクチャは、デコーディングされているピクチャバッファ（ＤＰＢ）内に挿入される。ステップ８６０において、全てのピクチャがデコーディングされているか否かが判定される。デコーディングされている場合、デコーディングが完了させられる。そうでなければ、制御はステップ８３３に戻される。
【００９４】
ステップ８２７において、現在のピクチャが隠される（concealed）。
【００９５】
ステップ８３０において、次のピクチャが取得される。
【００９６】
ステップ８６３において、ＭＢモード、ｍｖ、及びref_idxが解析される。
＜実施形態２＞
この実施形態において、我々は、全体視差ベクトル（ＧＤＶ）の使用の代わりに奥行き情報を使用するためにモーションスキップモードを変更することを提案する。
【００９７】
モーションスキップモードの少なくとも１つの実装例において、モーションスキップモードは、モード及びモーション情報を、全体視差ベクトルを用いて隣接する視点から推測する。この視差ベクトルは、エンコーダにおいて演算されてアンカーピクチャの各々にのせて送信される。そして、非アンカーピクチャの視差ベクトルは、先行する一連のアンカーピクチャのＧＤＶから導出され得る。ＧＤＶは、他の視点内の対応するマクロブロックまたはサブマクロブロック（sub-macroblock）を決定するために使用される。我々は、この全体視差ベクトルを使用する代わりに、モーションスキップモードを選択しているマクロブロックまたはサブマクロブロックに関して伝送される奥行き値を使用することを提案する。この奥行き値は、上述のように視差ベクトルを判定するために使用され得る。このサブマクロブロック及び奥行き信号及びベクトルの改善のケースは表２に示されている。表２は、例えば、イタリック体で示されている「depthd」を含めることによるシンタックスの変更を示している。
【００９８】
【表４】
2011519226.tif 000008
【００９９】
エンコーダにおいて、モード判定は、上述のように、マクロブロックまたはサブマクロブロックの奥行きを使用してこれらをワープする。これは、視差ベクトルに相当する。
【０１００】
このワーピング（warping）は、基準視点内の位置を指し示す。この位置が、（モーションスキップモードで要求されるように）マクロブロックまたはサブマクロブロックの境界に必ずしもアラインメントさせられないので、この位置は、最も近いマクロブロックまたはサブマクロブロック境界に近似され（rounded）得る。奥行きスキップモードにおいて、対応するピクセルがマクロブロックまたはサブマクロブロック境界上に無くても対応するピクセルがコピーされ得る故に、このようなアラインメントは厳格には必要ではないことに留意する。
【０１０１】
さらに、この点の周囲のさらなる検索が、視差ベクトルを精密化するために行われ得る。このことは図９に示されている。すなわち、図９は、精密視差マッチング９００の例を示している。精密視差マッチングは、コーディングされるべき現在のマクロブロック９１０を内部に有するコーディングピクチャ９２０、視点間基準ピクチャ９５０、及び視点間基準ピクチャ９５０内の現在のマクロブロック９１０から対応するブロック９８０までの初期視差ベクトル９７０に関与する。さらなる検索が、例えば、９１０及び９８０のピクセルベースの比較をして、その後、対応するブロック９８０を検索領域９９０（陰付きで示す）内の異なった位置に移動して、最良のピクセルベース比較を有するブロックを選択することによって行われてもよい。図９に示されているように、対応するブロック９８０は、陰付きの検索領域９９０の中央部分を占有しており、対応するマクロブロック９８０は、太線で囲まれている。
【０１０２】
デコーダにおいて、同様の手順が行われ、デコーディングされている奥行き値が、現在のマクロブロック及びサブマクロブロックを隣接する視点内の位置にワープさせるために使用される。精密化されたものが伝送された場合、当該精密化されたものはこの位置に追加され、最も近いマクロブロックまたはサブマクロブロック位置に近似される（round off）。
【０１０３】
他の視点内の対応するマクロブロック及びサブマクロブロックからのモード及びモーションは、現在のマクロブロックまたはサブマクロブロックをエンコーディングするためにエンコーダによって使用される。モード及びモーション情報は、例えば、時間的に異なっているが現在のマクロブロックまたはサブマクロブロックと同一の視点からのものであるピクチャ内の特定のブロック／サブブロックを指し示してもよい。同様に、デコーダは、導出されたモーション情報によって指し示された（同一の視点の）時間的に異なったマクロブロックまたはサブマクロブロックに関する現在のマクロブロックまたはサブマクロブロックをデコーディングする。
【０１０４】
図１０は、第２の例示の実施形態に従って奥行きを用いたモーションスキップモードを使用したエンコーディングの例示の方法１０００を示している。ステップ１００６において、エンコーダ設定ファイルが読み込まれる。ステップ１００９において、ＳＰＳ拡張内のアンカー及び非アンカーピクチャが設定される。ステップ１０１２において、視点の数がＮに設定され、変数ｉ及びｊが０に初期化される。ステップ１０１５において、ｉ＜Ｎであるか否かが判定される。ｉ＜Ｎであるならば、制御はステップ１０１８に送られる。そうでなければ、制御はステップ１０６０に送られる。
【０１０５】
ステップ１０１８において、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）であるか否かが判定される。ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）である場合、制御は１０２１に送られる。そうでない場合、制御は１０５７に送られる。
【０１０６】
ステップ１０２１において、現在のマクロブロックのエンコーディングが開始される。ステップ９２４において、マクロブロックモードがチェックされる。ステップ１０２８において、マクロブロック（ＭＢ）の奥行き値を使用して視差ベクトルが取得される。ステップ１０３１において、視差ベクトルは、最も近接しているマクロブロックまたはサブマクロブロック位置に近似される。ステップ１０３２において、検索が最良の視差ベクトルに関するこの（近似された）位置の周囲で行われる。ステップ１０３４において、モーションスキップが最良のモードか否かが判定される。最良のモードである場合、制御はステップ１０３５に送られる。そうでない場合、制御はステップ１０５８に送られる。
【０１０７】
ステップ１０３５において、motion_skip_flagが１に設定され、depthdが、左上ピクセルの奥行きから奥行き予測因子を引いたものに設定される。ステップ１０３７において、オフセット値が設定される。ステップ１０４２において、現在のマクロブロックがエンコーディングされる。ステップ１０４５において、全てのマクロブロックがエンコーディングされているか否かが判定される。全てのマクロブロックがエンコーディングされている場合、制御はステップ１０４８に送られる。そうでなければ、制御はステップ１０２１に戻される。
【０１０８】
ステップ１０４８において、変数ｊがインクリメントされる。ステップ１０５１において、frame_num及びピクチャオーダカウント（ＰＯＣ）がインクリメントされる。
【０１０９】
ステップ１０５７において、変数ｉがインクリメントされ、frame_num及びＰＯＣがリセットされる。
【０１１０】
ステップ１０５８において、motion_skip_flagが０に設定される。
【０１１１】
ステップ１０６０において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域内で信号伝達されるか否かが判定される。帯域内で信号伝達される場合、制御はステップ１０６３に送られる。そうでなければ、制御はステップ１０６６に送られる。
【０１１２】
ステップ１０６３において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域内で送信される。
【０１１３】
ステップ１０６６において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域外で送信される。
【０１１４】
ステップ１０６９において、ビットストリームがファイルに書き込まれるかまたはネットワークを介して流される。
【０１１５】
図１１は、第２の例示の実施形態に従って奥行きを用いた視点間スキップモードを使用してデコーディングする例示の方法１１００を示すフロー図である。
【０１１６】
ステップ１１０６において、view_idがＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、またはネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダから解析される。ステップ１１０９において、他のＳＰＳパラメータが解析される。ステップ１１１２において、現在のピクチャがデコーディングを必要としているか否かが判定される。デコーディングが必要な場合、制御はステップ１１１５に送られる。そうでなければ、制御はステップ１１３０に送られる。
【０１１７】
ステップ１１１５において、POC(curr)!=POC(prev)であるか否かが判定される。POC(curr)!=POC(prev)である場合、制御はステップ１１１８に送られる。そうでなければ、制御はステップ１１２１に送られる。
【０１１８】
ステップ１１１８において、view_numが０に設定される。ステップ１１２１において、view_id情報がハイレベルにおいてインデックス化されて視点コーディング順序が判定され、view_numがインクリメントされる。
【０１１９】
ステップ１１２４において、現在のピクチャが期待されているコーディング順序であるか否かが判定される。期待されているコーディング順序である場合、制御はステップ１１３３に送られる。そうでなければ、制御はステップ１１２７に送られる。
【０１２０】
ステップ１１３３において、スライスヘッダが解析される。ステップ１１３５において、motion_skip_flagが解析される。ステップ１１３８において、motion_skip_flagが１か否かが判定される。１である場合、その後制御は１１４１に送られる。そうでなければ、制御は１１６３に送られる。
【０１２１】
ステップ１１４１において、depthdが解析される。ステップ１１４４において、視差ベクトルオフセットが解析される。ステップ１１４５において、奥行きを用いかつ視差オフセットを追加することによって、視差が演算される。ステップ１１４７において、現在のマクロブロックがデコーディングされる。ステップ１１５４において、全てのマクロブロックが終了している（デコーディングされている）か否かが判定される。終了している場合、その後制御はステップ１１５７に送られる。そうでなければ、制御はステップ１１３５に戻される。
【０１２２】
ステップ１１５７において、現在のピクチャがデコーディングピクチャバッファ（ＤＰＢ）内に装入される。ステップ１１６０において、全ての画像がデコーディングされているか否かが判定される。全てのピクチャがデコーディングされている場合、その後デコーディングが完了される。そうでなければ、制御がステップ１１３３に戻される。
【０１２３】
ステップ１１２７において、現在のピクチャが隠される。
【０１２４】
ステップ１１３０において、次のピクチャが取得される。
【０１２５】
ステップ１１６３において、ＭＢモード、ｍｖ、及びref_idxが解析される。
＜実施形態３＞
モーションベクトル予測において、どのモーションベクトルがモーションベクトル予測因子として使用されるかを判定するためにプロセスが特定される。同様に、視点間モーション補償に対して、視差ベクトルが使用される。一般的に、モーションベクトル予測に使用されるのと同一のプロセスは、視差ベクトル予測に適用され得る。さらに、我々は、奥行き値から変換された視差ベクトルを、視差ベクトル予測因子の追加の候補として使用することを提案する。
【０１２６】
我々は、視差ベクトル予測因子としての歪んだ値の使用または視差ベクトル予測因子としての従来の中央値予測の使用を信号伝達することが可能である。このことは、マクロブロックレベルシンタックスの表３及びサブマクロブロックレベルシンタックスの表４において示されている。
【０１２７】
【表４】
2011519226.tif 000009
【０１２８】
【表５】
2011519226.tif 000010
【０１２９】
表３及び表４は、新しいシンタックス要素「disparity_vec_pred_type」を含んでいる。マクロブロックレベルまたはサブマクロブロックレベルにおいて行われる実施形態のために、奥行き情報も送信され得る。
【０１３０】
シンタックスdisparity_vec_pred_typeは、以下のセマンティクスを有する。
【０１３１】
disparity_vec_pred_typeは、現在のマクロブロックまたはサブマクロブロックに関する視差ベクトル予測因子を如何にして導出するかを示す。disparity_vec_pred_typeが１に等しいことは、奥行き値から変換された視差ベクトルが、視差ベクトル予測因子として使用されることを示す。disparity_vec_pred_typeが０に等しいことは、中間値予測因子を用いて得られた視差ベクトルが視差ベクトル予測因子として使用されることを示す。
【０１３２】
以下の点が、少なくとも部分的に上述のコンセプト詳述し、様々な実装例の詳細を提供し得る。以下の実装例は、以前の実装例、または本発明の変更例及び／または新しい実装例に対応し得る。
【０１３３】
第１に、奥行きスキップモードにおいて、残余コーディングが必要無くともよくかつ／または奥行きが帯域外で送信されてもよい。対応するブロックは、他の視点において判定されてもよく、これらのピクセルは、現在のブロック（通常は、マクロブロックまたはサブマクロブロックと称される）の再構築のために使用されてもよい。フラグが送信され、このコーディングモードを示して、再構築された基準視点内の対応するブロックからのピクセルをデコーダが使用することを命令してもよい
しかし、多くの実装例において、対応するブロックを見付けるために現在のブロックの奥行き情報が必要である。この奥行き情報は、良く知られているように、視差ベクトルの生成のために使用され得る。従って、様々な実装例において、我々は、このモード（これを我々は、「奥行きスキップモード」と称する）を信号伝達するシンタックスを提案しかつ奥行き情報も送信するさらに変更されたシンタックスを提案する。
【０１３４】
多くの実装例が奥行き予測因子を使用するので、我々は奥行き差のみを送信する必要があることに留意する。
【０１３５】
第２に、エンコーディングのその他のモードは、モーションスキップモード（ＭＳＭ）である。このモードは、視点間ブロックを見て、そのモーションデータを取得して、時間的な基準から動きを表現する。すなわち、異なった視点内のブロックからの時間的モーション情報は、現在のブロックから取り込まれる。しかし、モーションスキップモードにおいて、通常は全体視差ベクトルが使用されて、他の視点の対応するブロックが発見される。全体視差ベクトルは、通常はそのピクチャのグループ（ＧＯＰ）のアンカーピクチャと共に送信されるが、当該全体視差ベクトルは、ピクチャのグループ内の任意の所定のブロックに対する最良の視差ベクトルではないかもしれない。１または複数の実装例は、現在のブロックの奥行き情報を使用して、対応するブロックへのポインタを異なった視点から取得する。全体視差ベクトルを使用するのではなく、奥行き情報は、現在のブロックの奥行きデータに基づいている視差ベクトルを生成するために使用される。このような実装例は、通常はビットストリーム内または帯域外にて奥行きデータを送信するので、デコーダは、デコーディングのために類似の動作を実行することができる。
【０１３６】
奥行き情報点から計算された視差ベクトルは、他の視点内の対応するブロックを示す。この対応するブロックからのモーション情報（例えば、モーションベクトル、基準ピクチャインデックス等）は、その後、現在のブロックに用いられる。このモーション情報は、現在のブロックをエンコーディングするために使用されるだろう時間的基準を示すために現在のブロックによって使用される。
【０１３７】
第３に、視点間予測において、視点モーションベクトルが使用されて他の視点内の対応するブロックが発見される。視点モーションベクトルは、同時刻の場合の異なった視点からのピクチャ（またはピクチャの一部）間の差（視点モーションまたは単にモーションと称される）を示す。視点モーションベクトルは、現在のマクロブロックを予測的にエンコーディングするために使用される他の視点内の基準ブロックを指し示す。
【０１３８】
視点モーションと時間的モーションとの間のコンセプトの類似性を前提として、視点モーションベクトルは、通常は、例えば、異なった時刻における同一視点のピクチャ間のモーションを判定するために使用される従来のモーション評価手法を使用して生成される。視点モーションベクトル（Ｖ−ＭＶ）は、しばしば、単に視差ベクトルと称されるが、通常は、奥行きデータを用いて生成されない。Ｖ−ＭＶ予測因子（Ｖ−ＭＶＰ）も使用され、予測因子間の差及びＶ−ＭＶが伝送される。このプロセスは、（時間的予測における）ＭＶの生成に類似しているが、視点間予測の場合に適用される。しかし、どちらの場合においても、目標は、予測の使用（時間的予測または視点間予測）及びデコーディングに必要とされる情報をデコーダに伝えることを含む。我々は、Ｖ−ＭＶＰを変更することを提案する。Ｖ−ＭＶＰは、通常は、空間的に近接するブロックからのＶ−ＭＶに基づいて生成される。例えば、中間値が予測因子として使用されてもよい。
【０１３９】
しかし、様々な実装例において、我々は、現在のブロックの奥行き情報に基づいて視差ベクトル（ＤＶ）を演算する。このＤＶは、通常は、現在のブロックに最も密接に対応し得る他の視点内のブロックの良好な評価であり、このＤＶはＶ−ＭＶよりも良好な評価であり得る。このＤＶによって指し示されているブロックは、対応するブロックと称される。従って、いくつかの実装例は、現在のマクロブロックのＶ−ＭＶＰの判定においても（または代替的に）ＤＶを使用する。３つの例のように、現在ブロックのＶ−ＭＶＰは、（１）ＤＶと等しく設定されてもよく、（２）現在のマクロブロックと空間的に近接しているブロックから得られたＤＶ及び１または複数のＶ−ＭＶの関数であってもよく、（３）ＤＶによって指し示された対応するブロックからのＶ−ＭＶの関数であってもよい。対応するブロックから得られたＶ−ＭＶは、例えば、カメラが規則的に間隔を開けられているかまたは物体のモーションが一定である場合に、Ｖ−ＭＶＰの計算に関連しかつＶ−ＭＶＰの計算において有用であってもよいことに留意する。
【０１４０】
少なくとも１つの実装例において、デコーダは以下の動作を行う：
（１）伝送された現在のブロックの奥行きデータを受信し、（２）ＤＶを計算し、（３）ＤＶによって指し示される対応するブロックを発見し、（４）可能ならば、その対応するブロックからＶ−ＭＶを取得し、（５）可能ならば、現在のブロックに空間的に近接した１または複数のブロックからＶ−ＭＶを取得し、（６）１または複数のＶ−ＭＶ及び／またはＤＶに基づいて現在のブロックのＶ−ＭＶＰを計算し、（７）エンコーダによって送信される、Ｖ−ＭＶＰとＶ−ＭＶとの間の差のエンコーダによる判定である「差」を受信し、（８）受信した「差」に計算されたＶ−ＭＶＰを追加することで現在のブロックのＶ−ＭＶを計算し、（９）計算された現在のブロックのＶ−ＭＶによって指し示されるブロックに基づいて現在のブロックをデコーディングする。実装において、記載した動作を記載した順序で実行する必要は無い。
【０１４１】
さらに他の実装例は、他の視点内の対応するブロックを発見するために単にＤＶを使用する。この対応するブロックは、その後、現在のブロックをエンコーディングするための基準ブロックとして取得される。この実装例は、ＤＶによって指し示されている対応するブロックがＶ−ＭＶによって指し示されている対応するブロックよりも良好な基準である場合に効果がある。この実装例は、Ｖ−ＭＶＰ及びＶ−ＭＶの計算を回避し、「差」（Ｖ−ＭＶＰ  −  Ｖ−ＭＶ）の送信も回避する。図１２は、第３の例示の実施形態に従って奥行きを用いた奥行きスキップモードを使用したエンコーディングに関する例示の方法１２００を示すフロー図である。ステップ１２０６において、エンコーダ設定ファイルが読み込まれる。ステップ１２０９において、ＳＰＳ拡張内のアンカー及び非アンカーピクチャ基準が設定される。ステップ１２１２において、視点の数がＮに設定され、変数ｉ及びｊが０に初期化される。ステップ１２１５において、ｉ＜Ｎか否かが判定される。そうである場合、制御はステップ１２１８に送られる。そうでなければ、制御はステップ１２６０に送られる。
【０１４２】
ステップ１２１８において、ｊ＜視点ｉ内のピクチャの数（ｎｕｍ）か否かが判定される。そうである場合、その後、制御はステップ１２２１に送られる。そうでなければ、制御はステップ１２５４に送られる。
【０１４３】
ステップ１２２１において、現在のマクロブロックのエンコーディングが開始される。ステップ１２２４において、マクロブロックモードがチェックされる。ステップ１２２７において、視点間スキップマクロブロックモードがチェックされる。ステップ１２３５において、視差ベクトル（ＤＶ）予測因子を計算するために奥行きが使用される場合、disparity_vec_pred_typeが１に設定され、それ以外の場合disparity_vec_pred_typeは０に設定される。ステップ１２４２において、現在のマクロブロックがエンコーディングされる。ステップ１２４５において、全てのマクロブロックがエンコーディングされたか否かが判定される。そうである場合、その後、制御はステップ１２４８に送られる。そうでなければ、制御はステップ１２２１に戻される。
【０１４４】
ステップ１２４８において、変数ｊがインクリメントされる。ステップ１２５１において、frame_num及びピクチャオーダカウント（ＰＯＣ）がインクリメントされる。
【０１４５】
ステップ１２５４において、変数ｉがインクリメントされ、frame_num及びＰＯＣがリセットされる。
【０１４６】
ステップ１２６０において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳを帯域内で信号伝達するか否かが判定される。そうである場合、その後、制御はステップ１２６３に送られる。そうでなければ、制御はステップ１２６６に送られる。
【０１４７】
ステップ１２６３において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域内で送信される。
【０１４８】
ステップ１２６６において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳが帯域外で送信される。
【０１４９】
ステップ１２６９において、ビットストリームがファイルに書き込まれるかまたはネットワークを介して流される。
【０１５０】
ステップ１２８２において、視差ベクトルが使用されて、対応するマクロブロックの奥行きが視差ベクトル（ＤＶ）予測因子として使用される。
【０１５１】
ステップ１２８４において、中間値モーションベクトルが、モーションベクトル（ＭＶ）予測因子として使用される。
【０１５２】
図１３は、第３の例示の実施形態に従って奥行きを用いた視点間スキップモードを使用したデコーディングの例示の方法１３００を示すフロー図である。
【０１５３】
ステップ１３０６において、view_idが、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ、またはネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダから解析される。ステップ１３０９において、他のＳＰＳパラメータが解析される。ステップ１３１２において、現在のピクチャがデコーディングを必要としているか否かが判定される。そうである場合、その後、制御はステップ１３１５に送られる。そうでなければ、制御はステップ１３３０に送られる。
【０１５４】
ステップ１３１５において、ＰＯＣ（curr）!＝ＰＯＣ（prev）か否かが判定される。そうである場合、制御はステップ１３１８に送られる。そうでなければ、制御はステップ１３２１に送られる。
【０１５５】
ステップ１３１８において、view_numが０に設定される。ステップ１３２１において、view_id情報が、ハイレベルにおいてインデックス化されて視点コーディング順序が判定され、view_numがインクリメントされる。
【０１５６】
ステップ１３２４において、現在のピクチャが期待されたコーディング順序で有るか否かが判定される。そうである場合、その後、制御はステップ１３３３に送られる。そうでなければ、制御はステップ１３２７に送られる。
【０１５７】
ステップ１３３３において、スライスヘッダが解析される。ステップ１３３５において、マクロブロックレベルデータ及び奥行きデータが解析される。ステップ１３３８において、diparity_vec_pred_typeが解析される。ステップ１３４１において、disparity_vec _pred_typeが１に等しいか否かが判定される。そうである場合、その後、制御はステップ１３４４に送られる。そうでなければ、制御はステップ１３４７に送られる。
【０１５８】
ステップ１３４４において、depthdが使用されて視差ベクトル予測因子が導出される。
【０１５９】
ステップ１３４７において、中間値予測因子が使用されて、視差ベクトル予測因子が導出される。
【０１６０】
ステップ１３５０において、現在のマクロブロックがデコーディングされる。ステップ１３５４において、全てのマクロブロックが終了したか（デコーディングされたか）否かが判定される。そうである場合、その後、制御はステップ１３５７に送られる。そうでなければ、制御はステップ１３３５に戻される。
【０１６１】
ステップ１３５７において、現在のピクチャがデコーディングされたピクチャのバッファ（ＤＰＢ）内に挿入される。ステップ１３６０において、全てのピクチャがデコーディングされたか否かが判定される。そうである場合、その後、デコーディングは終了する。そうでなければ、制御はステップ１３３３に戻される。
【０１６２】
ステップ１３２７において、現在のピクチャが隠される。
【０１６３】
ステップ１３３０において、次のピクチャが取得される。
【０１６４】
このようにして、１つの実装例に従って、我々は、奥行きマップを用いて他の視点内の対応するブロックを発見し、その対応するブロックを使用して、何もコーディングせずに奥行きスキップモードを実行する。他の実装例において、視差ベクトルは、モーションベクトルを発見するために行われるが如く、ピクセル比較を用いて評価される。しかし、本発明の原理に従った奥行きマップの使用は、例えば、奥行きマップがピクセル比較視差ベクトルに比べてさらに正確な視差ベクトルを生成する場合のピクセル比較法において好ましいだろう。実際、従来の方法において、奥行きマップは、単純なピクセル比較ではなくてさらに複雑な方法、すなわちモーション評価方式（ＭＥ−方式）モーションマッチングを用いて取得される。さらに、このような場合、視差の正確な指示が与えられれば、奥行きマップの使用は、ビデオコーディング効率を向上させるだろう。
【０１６５】
他の実装例によれば、我々は奥行きマップを使用して、他の視点内の対応するブロックを発見し、モーションスキップモードを実行する。ここで、我々は、対応するブロック及びモーションベクトルに基づいているコードからモーションベクトルを取得する（従って、新しい残余を生成する）。特定の実装例において、我々は、異なった時刻の同一の視点から得られた基準を使用する。これは、少なくとも奥行きマップの他の使用方法とは異なる。他の方法によって実行されるモーションスキップ解析も、ピクチャのグループ（ＧＯＰ）全体の単一の視差ベクトル（全体視差ベクトル）しか使用しない。
【０１６６】
さらに他の実施形態によれば、我々は、より良好なコーディング結果のために奥行きマップベースの視差ベクトルを最適化／精緻化する。この精緻化の１つは、検索範囲（search window）内の視差ベクトルを移動すること及びレート歪みが改善するかの判定を含む。その後、奥行きマップベースの視差ベクトルは、実際の奥行きマップベースの視差ベクトルを（少なくとも部分的に）使用して予測される。
【０１６７】
説明されているいくつかの実施形態は、奥行き信号を含むビデオデータをエンコーディングすることが可能である。奥行き信号はエンコーディングされる必要が無いが、例えば、差分エンコーティング及び／またはエントロピーエンコーディングを用いてエンコーディングされてもよい。同様に、説明されているいくつかの実施形態は、奥行き信号を含むビデオデータをデコーディングすることが可能であり、様々な方法で奥行き信号または奥行き値を処理することが可能である。このような処理は、受信された奥行き値を解析してその奥行き値をデコーディングすることを含み、かつ例えばそれに依存している（奥行き値がすでにエンコーディングされていると仮定する）。奥行き値を処理するための処理ユニットが、例えば、（１）ビットストリーム解析器、（２）奥行きに基づいている視差コンバータ２０３、及び（３）いくつかの実装例において使用されてエントロピーコーディングされている奥行き値をデコーディングし得るエントロピーデコーダ２０５を含んでもよいことに留意する。
【０１６８】
本願において説明されている実装例及び特徴のいくつかは、Ｈ２６４／ＭＰＥＧ−４ＡＶＣ（ＡＶＣ）規格、またはＭＶＣ拡張を伴っているＡＶＣ規格もしくはＳＶＣ拡張を伴っているＡＶＣ規格の環境において使用されてもよい。しかし、これらの実装例及び特徴は、（現在または未来の）他の規格の環境において使用されても良いし、規格を伴わない環境において使用されてもよい。このようにして、我々は、特定の特徴及び態様を有する１または複数の実装例を提供する。しかし、説明されてきた実装例の特徴及び態様は、他の実装例に適合させられてもよい。
【０１６９】
さらに、多くの実装例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、またはエンコーダへの入力を提供するプリプロセッサの内の１または複数において実装されてもよい。さらに、他の実装例は、この開示によって予期される。
【０１７０】
上述のように、我々は、特定の特徴及び態様を有する１または複数の実装例を提供する。しかし、説明されてきた実装例の特徴及び態様は、他の実装例に適合されてもよい。実装例は、限定するわけではないが、ＳＥＩメッセージ、スライスヘッダ、他のハイレベルシンタックス、非ハイレベルシンタックス、帯域外情報、データストリームデータ、及び非明示的信号伝達を含む様々な方法を用いて情報を信号伝達してもよい。従って、本明細書内で説明されている実装例は特定の状況において説明されているが、このような説明は、これらの特徴及びコンセプトを当該実装例または状況に限定するとしては全く解釈されるべきではない。
【０１７１】
明細書における、本発明原理の「１つの実施形態」もしくは「実施形態」または「１つの実装例」もしくは「実装例」、及びこれらの変化形への言及は、実施形態に関連して説明された特定の特徴、構造、及び性質等が本発明の原理の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書の様々な場所に登場する「１つの実施形態において」もしくは「実施形態において」または「１つの実装例において」もしくは「実装例において」というフレーズ、及びこれらの変化形は、必ずしも全てが同一の実施形態に言及するものではない。
【０１７２】
例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」及び「Ａ及びＢのうちの少なくとも１つ」における「／」、「及び／または」及び「〜のうちの少なくとも１つ」の使用は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていると理解されるべきである。他の例として、「Ａ、Ｂ及び／またはＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」という場合は、当該表現は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、３番目に挙げられた選択肢（Ｃ）のみの選択、最初及び２番目に挙げられた選択肢（Ａ及びＢ）のみの選択、最初及び３番目に挙げられた選択肢（Ａ及びＣ）のみの選択、２番目及び３番目に挙げられた選択肢（Ｂ及びＣ）のみの選択、または３つの全ての選択肢（Ａ、Ｂ及びＣ）の選択を包含することが意図されている。このことは、本技術分野及び関連技術分野の当業者によって容易に理解されるように、多数のアイテムが挙げられる場合に拡張され得る
本明細書において説明されている実装例は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号内に実装されてもよい。単一の形式の実装例においてのみ説明されていても（例えば、方法としてのみ説明されていても）、説明されている特徴の実装例は、他の形式（例えば、装置またはプログラム）において実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能論理デバイス等を含み、一般的に処理デバイスをいうプロセッサのような装置内に実装され得る。プロセッサは、例えば、コンピュータ、携帯電話、ＰＤＡ（portable/personal digital assistant）、及び他のデバイスであってエンドユーザ間の情報の通信を容易にするデバイスを含む通信デバイスも含む。
【０１７３】
本明細書において説明されている様々な処理及び特徴の実装例は、様々な異なった装置またはアプリケーションにおいて具体化されてもよく、特に、例えば、データエンコーディング及びデータデコーディングに関連する装置またはアプリケーションにおいて具体化されてもよい。これらの装置の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信デバイスを含む。明快であるが、これらの装置は、可動式かつ移動車両に設けられていてもよい。
【０１７４】
さらに、方法は、プロセッサによって実行される命令によって実装されてもよく、このような命令（及び／または実装例によって生成されたデータ値）は、例えば、集積回路、ソフトウェア担体、またはハードディスク、コンパクトディスケット、ＲＡＭ（random access memory）もしくはＲＯＭ（read-only memory）等の他の記憶デバイス等のプロセッサ可読媒体に保存されてもよい。これらの命令は、プロセッサ可読媒体に明確に具体化されるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせ内にあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、またはこれら２つの組み合わせ内に含まれていてもよい。従って、プロセッサは、例えば、処理を実行するデバイス及び処理を実行する命令を有するプロセッサ可読媒体（記憶デバイス等）を含むデバイスの両方として見なされてもよい。さらに、プロセッサ可読媒体は、命令に加えてかまたは命令の代わりに、実装例によって生成されるデータ値を保存してもよい。
【０１７５】
本技術分野の当業者に明らかなように、実装例は保存されるかまたは送信され得る情報を伝送するためにフォーマット化された様々な信号を生成してもよい。この情報は、例えば、方法を実行するための命令、上述の実装例のうちの１つによって生成されるデータを含んでもよい。例えば、信号は、上述の実施形態のシンタックスを書き込むかまたは読み込むことに関するルールをデータとして伝送するために、または上述の実施形態によって書き込まれた実際のシンタックス値をデータとして伝送するためにフォーマット化されてもよい。このような信号は、例えば、電磁波（例えば、スペクトルのラジオ周波数部分を使用）としてかまたはベースバンド信号としてフォーマット化されてもよい。フォーマット化は、例えば、データストリームエンコーディング、エンコーディングされたデータストリームを有する搬送波の変調を含んでもよい。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報でもよい。知られているように、信号は様々な異なった有線接続または無線接続を介して伝送されてもよい。信号は、プロセッサ可読媒体に保存されてもよい。
【０１７６】
多くの実装例が説明されてきた。しかしながら、様々な変更がなされ得ることが理解されるだろう。例えば、異なった実装例の要素が組み合わせられ、保管され、変更され、除去されて他の実装例が生成されてもよい。さらに、当業者は、他の構造及び処理がこれらの開示に置き換えられ、結果としてもたらされた実装例が、少なくとも実質的に同一の方法（単数または複数）にて少なくとも実質的に同一の機能（単数または複数）を発揮され、上述の実装例と少なくとも実質的に同一の結果（単数または複数）が達成されることを理解するだろう。従って、これら及び他の実装例は、本願によって予期され、添付の特許請求の範囲内に含まれる。
【図１】
2011519226.tif 000011
【図２】
2011519226.tif 000012
【図３】
2011519226.tif 000013
【図４】
2011519226.tif 000014
【図５】
2011519226.tif 000015
【図６】
2011519226.tif 000016
【図７Ａ】
2011519226.tif 000017
【図７Ｂ】
2011519226.tif 000018
【図８】
2011519226.tif 000019
【図９】
2011519226.tif 000020
【図１０Ａ】
2011519226.tif 000021
【図１０Ｂ】
2011519226.tif 000022
【図１１】
2011519226.tif 000023
【図１２Ａ】
2011519226.tif 000024
【図１２Ｂ】
2011519226.tif 000025
【図１３】
2011519226.tif 000026
【国際調査報告】
2011519226.tif 000027
2011519226.tif 000028
2011519226.tif 000029
2011519226.tif 000030
2011519226.tif 000031