(57)【要約】ビデオ・コーディング・デバイスは、複数のビューに加えてデプス情報を含むビットストリームをコード化するように構成されうる。これらビューのうちの２つは、低減された解像度を有しうる一方、第３のビューは、フル解像度を有しうる。第３のビューは、２つの低減された解像度のビューのアップサンプルされたバージョンに対して予測されうる。おのおののビューは、テクスチャ・データとデプス・データを含みうる。これによって、ビュー成分は、テクスチャ成分とデプス成分とを含みうるようになる。さらに、テクスチャ成分およびデプス成分は、特定の順にしたがって、アクセス・ユニット内に整えられる。これは、アクセス・ユニットからの成分抽出を簡素化しうる。
2014524707.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・データをコード化する方法であって、
第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードすることと、
前記第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードすることと、
第２の解像度を有するアップサンプルされた第１のピクチャを生成するために、前記第１のピクチャをアップサンプルすることと、ここで、前記第２の解像度は、前記第１の解像度よりも高い、
前記第２の解像度を有するアップサンプルされた第２のピクチャを生成するために、前記第２のピクチャをアップサンプルすることと、
前記第２の解像度を有する第３のピクチャを生成するために、前記アップサンプルされた第１のピクチャと前記アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードすることと、
を備える方法。
【請求項２】
ビデオ・コーディング規格の３次元ビデオ（３ＤＶ）プロファイルに準拠するプロファイルを用いて、修正されたサブセット・シーケンス・パラメータ・セットをコード化することをさらに備え、
前記修正されたサブセット・シーケンス・パラメータ・セットは、マルチビュー・ビデオ・コーディング（ＭＶＣ）のサブセット・シーケンス・パラメータ・セット設計を拡張し、前記修正されたサブセット・シーケンス・パラメータ・セットの最後においてコード化されたデータを用いて、さらなる拡張性を提供する、請求項１に記載の方法。
【請求項３】
前記コード化された第１のビューのビデオ・データは、前記第１の解像度を有する第１のテクスチャ成分と前記第１の解像度を有する第１のデプス成分とを備える第１のビュー成分を備え、
前記コード化された第２のビューのビデオ・データは、前記第１の解像度を有する第２のテクスチャ成分と前記第１の解像度を有する第２のデプス成分とを備える第２のビュー成分を備え、
前記コード化された第３のビューのビデオ・データは、前記第２の解像度を有する第３のテクスチャ成分と前記第２の解像度を有する第３のデプス成分とを備える第３のビュー成分を備える、請求項１に記載の方法。
【請求項４】
前記第１のピクチャは、前記第１のテクスチャ成分を備え、
前記第２のピクチャは、前記第２のテクスチャ成分を備え、
前記コード化された第３のビューのビデオ・データをデコードすることは、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第１の予測データを生成することと、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第２の予測データを生成することと、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のテクスチャ成分をデコードすることと
を備える、請求項３に記載の方法。
【請求項５】
前記第１のピクチャは、前記第１のデプス成分を備え、
前記第２のピクチャは、前記第２のデプス成分を備え、
前記コード化された第３のビューのビデオ・データをデコードすることは、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のデプス成分のための第１の予測データを生成することと、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のデプス成分のための第２の予測データを生成することと、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス成分をデコードすることと
を備える、請求項３に記載の方法。
【請求項６】
前記コード化された第１のビューのビデオ・データをデコードすることは、
前記第１のブロックの動きベクトルによって示される第１のリファレンス・ブロックを用いて、前記第１のテクスチャ成分の第１のブロックを予測することと、
前記第１のブロックの動きベクトルによって示される第２のリファレンス・ブロックを用いて、前記第１のデプス成分の第２のブロックを予測することとを備え、
前記第２のブロックは、前記第１のデプス成分内で、前記第１のテクスチャ成分の第１のブロックと、空間的にコロケートされる、請求項３に記載の方法。
【請求項７】
前記コード化された第３のビューのビデオ・データをデコードすることは、
前記第１のブロックの動きベクトルによって示される第１のリファレンス・ブロックを用いて、前記第３のテクスチャ成分の第１のブロックを予測することと、
前記第１のブロックの動きベクトルによって示される第２のリファレンス・ブロックを用いて、前記第３のデプス成分の第２のブロックを予測することとを備え、
前記第２のブロックは、前記第３のデプス成分内で、前記第３のテクスチャ成分の第１のブロックと、空間的にコロケートされる、請求項３に記載の方法。
【請求項８】
前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロファイルを示す情報を受信すること、をさらに備える請求項１に記載の方法。
【請求項９】
前記情報は、前記第１のピクチャのブロックの数、前記第２のピクチャのブロックの数、および前記第３のピクチャのブロックの数を示す、請求項８に記載の方法。
【請求項１０】
前記情報は、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す、請求項８に記載の方法。
【請求項１１】
前記情報を受信することは、前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューのためのシーケンス・パラメータ・セットを受信することを備える、請求項８に記載の方法。
【請求項１２】
前記第１のピクチャは、ダウンサンプルされた第１のピクチャを備え、
前記第２のピクチャは、ダウンサンプルされた第２のピクチャを備え、
前記方法はさらに、
前記ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルすることと、ここで、前記受信された第１のピクチャは、前記第２の解像度を有する、
前記ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルすることと、ここで、前記受信された第２のピクチャは、前記第２の解像度を有する、
前記コード化された第１のビューのビデオ・データを生成するために、前記ダウンサンプルされた第１のピクチャをエンコードすることと、
前記コード化された第２のビューのビデオ・データを生成するために、前記ダウンサンプルされた第２のピクチャをエンコードすることと、
前記コード化された第３のビューのビデオ・データを生成するために、前記アップサンプルされた第１のピクチャと前記アップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードすることと、ここで、前記受信された第３のピクチャは、前記第２の解像度を有する、
を備える、請求項１に記載の方法。
【請求項１３】
前記受信された第１のピクチャに関連付けられた第１のデプス・マップをエンコードすることと、ここで、前記第１のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第１のピクチャを備える第１のテクスチャ成分と、前記エンコードされた第１のデプス・マップを備える第１のデプス成分とを備える第１のビュー成分を生成することと、
前記受信された第２のピクチャに関連付けられた第２のデプス・マップをエンコードすることと、ここで、前記第２のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第２のピクチャを備える第２のテクスチャ成分と、前記エンコードされた第２のデプス・マップを備える第２のデプス成分とを備える第２のビュー成分を生成することと、
前記受信された第３のピクチャに関連付けられた第３のデプス・マップをエンコードすることと、ここで、前記第３のデプス・マップは、前記第２の解像度を有する、
前記エンコードされた第３のピクチャを備える第３のテクスチャ成分と、前記エンコードされた第３のデプス・マップを備える第３のデプス成分とを備える第３のビュー成分を生成することと、
をさらに備える請求項１２に記載の方法。
【請求項１４】
前記受信された第３のピクチャをエンコードすることは、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のピクチャのための第１の予測データを生成することと、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のピクチャのための第２の予測データを生成することと、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のピクチャをエンコードすることと
を備える、請求項１３に記載の方法。
【請求項１５】
前記第３のデプス・マップをエンコードすることは、
前記エンコードされた第１のデプス・マップをデコードすることと、
アップサンプルされた第１のデプス・マップを生成するために、前記デコードされた第１のデプス・マップをアップサンプルすることと、
前記アップサンプルされた第１のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第１の予測データを生成することと、
前記エンコードされた第２のデプス・マップをデコードすることと、
アップサンプルされた第２のデプス・マップを生成するために、前記デコードされた第２のデプス・マップをアップサンプルすることと、
前記アップサンプルされた第２のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第２の予測データを生成することと、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス・マップをエンコードすることと
を備える、請求項１３に記載の方法。
【請求項１６】
前記ダウンサンプルされた第１のピクチャをエンコードすることは、前記ダウンサンプルされた第１のピクチャの第１のブロックの動きベクトルを計算することを備え、
前記第１のデプス・マップをエンコードすることは、前記第２のブロックに関連する動きベクトルによって示される第２のリファレンス・ブロックを用いて、前記第１のデプス・マップの第２のブロックを予測することを備え、
前記第２のブロックは、前記第１のデプス・マップ内で、前記ダウンサンプルされた第１のピクチャの第１のブロックと、空間的にコロケートされる、請求項１３に記載の方法。
【請求項１７】
前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロファイルを示す情報を生成すること、をさらに備える請求項１２に記載の方法。
【請求項１８】
前記情報は、前記ダウンサンプルされた第１のピクチャのブロックの数、前記ダウンサンプルされた第２のピクチャのブロックの数、および前記第３のピクチャのブロックの数を示す、請求項１７に記載の方法。
【請求項１９】
前記情報は、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す、請求項１７に記載の方法。
【請求項２０】
前記情報を生成することは、前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューのためのシーケンス・パラメータ・セットを生成することを備える、請求項１７に記載の方法。
【請求項２１】
ビデオ・データをコード化するためのデバイスであって、
第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードし、
前記第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードし、
第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、前記第１のピクチャをアップサンプルし、ここで、前記第２の解像度は、前記第１の解像度よりも高い、
前記第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、前記第２のピクチャをアップサンプルし、
前記第２の解像度を有する第３のピクチャを生成するために、前記アップサンプルされた第１のピクチャと、前記アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードする
ように構成されたビデオ・コーダ、を備えるデバイス。
【請求項２２】
前記コード化された第１のビューのビデオ・データは、前記第１の解像度を有する第１のテクスチャ成分と前記第１の解像度を有する第１のデプス成分とを備える第１のビュー成分を備え、
前記コード化された第２のビューのビデオ・データは、前記第１の解像度を有する第２のテクスチャ成分と前記第１の解像度を有する第２のデプス成分とを備える第２のビュー成分を備え、
前記コード化された第３のビューのビデオ・データは、前記第２の解像度を有する第３のテクスチャ成分と前記第２の解像度を有する第３のデプス成分とを備える第３のビュー成分を備える、請求項２１に記載のデバイス。
【請求項２３】
前記第１のピクチャは、前記第１のテクスチャ成分を備え、
前記第２のピクチャは、前記第２のテクスチャ成分を備え、
前記コード化された第３のビューのビデオ・データをデコードするために、
前記ビデオ・コーダは、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第１の予測データを生成し、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第２の予測データを生成し、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のテクスチャ成分をデコードする
ように構成された、請求項２２に記載のデバイス。
【請求項２４】
前記第１のピクチャは、前記第１のデプス成分を備え、
前記第２のピクチャは、前記第２のデプス成分を備え、
前記コード化された第３のビューのビデオ・データをデコードするために、
前記ビデオ・コーダは、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のデプス成分のための第１の予測データを生成し、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のデプス成分のための第２の予測データを生成し、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス成分をデコードする
ように構成された、請求項２２に記載のデバイス。
【請求項２５】
前記ビデオ・コーダは、前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロフィールを示す情報と、前記第１のピクチャにおけるブロックの数、前記第２のピクチャにおけるブロックの数、および前記第３のピクチャにおけるブロックの数を示す情報と、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す情報とを受信するように構成された、請求項２１に記載のデバイス。
【請求項２６】
前記ビデオ・コーダは、ビデオ・デコーダを備える、請求項２２に記載のデバイス。
【請求項２７】
前記ビデオ・コーダは、ビデオ・エンコーダを備え、
前記第１のピクチャは、ダウンサンプルされた第１のピクチャを備え、
前記第２のピクチャは、ダウンサンプルされた第２のピクチャを備え、
前記ビデオ・エンコーダはさらに、
前記ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルし、ここで、前記受信された第１のピクチャは、前記第２の解像度を有する、
前記ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルし、ここで、前記受信された第２のピクチャは、前記第２の解像度を有する、
前記コード化された第１のビューのビデオ・データを生成するために、前記ダウンサンプルされた第１のピクチャをエンコードし、
前記コード化された第２のビューのビデオ・データを生成するために、前記ダウンサンプルされた第２のピクチャをエンコードし、
前記コード化された第３のビューのビデオ・データを生成するために、前記アップサンプルされた第１のピクチャと前記アップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードする、ここで、前記受信された第３のピクチャは、前記第２の解像度を有する、
ように構成された、請求項２２に記載のデバイス。
【請求項２８】
前記ビデオ・エンコーダはさらに、
前記受信された第１のピクチャに関連付けられた第１のデプス・マップをエンコードし、ここで、前記第１のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第１のピクチャを備える第１のテクスチャ成分と、前記エンコードされた第１のデプス・マップを備える第１のデプス成分とを備える第１のビュー成分を生成し、
前記受信された第２のピクチャに関連付けられた第２のデプス・マップをエンコードし、ここで、前記第２のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第２のピクチャを備える第２のテクスチャ成分と、前記エンコードされた第２のデプス・マップを備える第２のデプス成分とを備える第２のビュー成分を生成し、
前記受信された第３のピクチャに関連付けられた第３のデプス・マップをエンコードし、ここで、前記第３のデプス・マップは、前記第２の解像度を有する、
前記エンコードされた第３のピクチャを備える第３のテクスチャ成分と、前記エンコードされた第３のデプス・マップを備える第３のデプス成分とを備える第３のビュー成分を生成する
ように構成された、請求項２７に記載のデバイス。
【請求項２９】
前記受信された第３のピクチャをエンコードするために、
前記ビデオ・エンコーダは、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のピクチャのための第１の予測データを生成し、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のピクチャのための第２の予測データを生成し、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のピクチャをエンコードする
ように構成された、請求項２８に記載のデバイス。
【請求項３０】
前記第３のデプス・マップをエンコードするために、
前記ビデオ・エンコーダは、
前記エンコードされた第１のデプス・マップをデコードし、
アップサンプルされた第１のデプス・マップを生成するために、前記デコードされた第１のデプス・マップをアップサンプルし、
前記アップサンプルされた第１のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第１の予測データを生成し、
前記エンコードされた第２のデプス・マップをデコードし、
アップサンプルされた第１のデプス・マップを生成するために、前記デコードされた第２のデプス・マップをアップサンプルし、
前記アップサンプルされた第２のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第２の予測データを生成し、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス・マップをエンコードする
ように構成された、請求項２８に記載のデバイス。
【請求項３１】
前記ビデオ・エンコーダはさらに、前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロフィールを示す情報と、前記ダウンサンプルされた第１のピクチャにおけるブロックの数、前記ダウンサンプルされた第２のピクチャにおけるブロックの数、および前記第３のピクチャにおけるブロックの数を示す情報と、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す情報とを生成するように構成された、請求項２７に記載のデバイス。
【請求項３２】
前記デバイスは、集積回路と、マイクロプロセッサと、前記ビデオ・コーダを含む無線通信デバイスと、のうちの少なくとも１つを備える、請求項２１に記載のデバイス。
【請求項３３】
ビデオ・データをコード化するためのデバイスであって、
第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードする手段と、
前記第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードする手段と、
第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、前記第１のピクチャをアップサンプルする手段と、ここで、前記第２の解像度は、前記第１の解像度よりも高い、
前記第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、前記第２のピクチャをアップサンプルする手段と、
前記第２の解像度を有する第３のピクチャを生成するために、前記アップサンプルされた第１のピクチャと、前記アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードする手段と、
を備えるデバイス。
【請求項３４】
前記コード化された第１のビューのビデオ・データは、前記第１の解像度を有する第１のテクスチャ成分と前記第１の解像度を有する第１のデプス成分とを備える第１のビュー成分を備え、
前記コード化された第２のビューのビデオ・データは、前記第１の解像度を有する第２のテクスチャ成分と前記第１の解像度を有する第２のデプス成分とを備える第２のビュー成分を備え、
前記コード化された第３のビューのビデオ・データは、前記第２の解像度を有する第３のテクスチャ成分と前記第２の解像度を有する第３のデプス成分とを備える第３のビュー成分を備える、
請求項３３に記載のデバイス。
【請求項３５】
前記第１のピクチャは、前記第１のテクスチャ成分を備え、
前記第２のピクチャは、前記第２のテクスチャ成分を備え、
前記コード化された第３のビューのビデオ・データをデコードする手段は、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第１の予測データを生成する手段と、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第２の予測データを生成する手段と、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のテクスチャ成分をデコードする手段と
を備える、請求項３４に記載のデバイス。
【請求項３６】
前記第１のピクチャは、前記第１のデプス成分を備え、
前記第２のピクチャは、前記第２のデプス成分を備え、
前記コード化された第３のビューのビデオ・データをデコードする手段は、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のデプス成分のための第１の予測データを生成する手段と、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のデプス成分のための第２の予測データを生成する手段と、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス成分をデコードする手段と
を備える、請求項３４に記載のデバイス。
【請求項３７】
前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロフィールを示す情報と、前記第１のピクチャにおけるブロックの数、前記第２のピクチャにおけるブロックの数、および前記第３のピクチャにおけるブロックの数を示す情報と、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す情報とを受信する手段、をさらに備える請求項３３に記載のデバイス。
【請求項３８】
前記第１のピクチャは、ダウンサンプルされた第１のピクチャを備え、
前記第２のピクチャは、ダウンサンプルされた第２のピクチャを備え、
前記デバイスはさらに、
前記ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルする手段と、ここで、前記受信された第１のピクチャは、前記第２の解像度を有する、
前記ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルする手段と、ここで、前記受信された第２のピクチャは、前記第２の解像度を有する、
前記コード化された第１のビューのビデオ・データを生成するために、前記ダウンサンプルされた第１のピクチャをエンコードする手段と、
前記コード化された第２のビューのビデオ・データを生成するために、前記ダウンサンプルされた第２のピクチャをエンコードする手段と、
前記コード化された第３のビューのビデオ・データを生成するために、前記アップサンプルされた第１のピクチャと前記アップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードする手段と、ここで、前記受信された第３のピクチャは、前記第２の解像度を有する、
をさらに備える請求項３３に記載のデバイス。
【請求項３９】
前記受信された第１のピクチャに関連付けられた第１のデプス・マップをエンコードする手段と、ここで、前記第１のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第１のピクチャを備える第１のテクスチャ成分と、前記エンコードされた第１のデプス・マップを備える第１のデプス成分とを備える第１のビュー成分を生成する手段と、
前記受信された第２のピクチャに関連付けられた第２のデプス・マップをエンコードする手段と、ここで、前記第２のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第２のピクチャを備える第２のテクスチャ成分と、前記エンコードされた第２のデプス・マップを備える第２のデプス成分とを備える第２のビュー成分を生成する手段と、
前記受信された第３のピクチャに関連付けられた第３のデプス・マップをエンコードする手段と、ここで、前記第３のデプス・マップは、前記第２の解像度を有する、
前記エンコードされた第３のピクチャを備える第３のテクスチャ成分と、前記エンコードされた第３のデプス・マップを備える第３のデプス成分とを備える第３のビュー成分を生成する手段と、
をさらに備える請求項３８に記載のデバイス。
【請求項４０】
前記受信された第３のピクチャをエンコードする手段は、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のピクチャのための第１の予測データを生成する手段と、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のピクチャのための第２の予測データを生成する手段と、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のピクチャをエンコードする手段と
を備える、請求項３９に記載のデバイス。
【請求項４１】
前記第３のデプス・マップをエンコードする手段は、
前記エンコードされた第１のデプス・マップをデコードする手段と、
アップサンプルされた第１のデプス・マップを生成するために、前記デコードされた第１のデプス・マップをアップサンプルする手段と、
前記アップサンプルされた第１のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第１の予測データを生成する手段と、
前記エンコードされた第２のデプス・マップをデコードする手段と、
アップサンプルされた第２のデプス・マップを生成するために、前記デコードされた第２のデプス・マップをアップサンプルする手段と、
前記アップサンプルされた第２のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第２の予測データを生成する手段と、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス・マップをエンコードする手段と
を備える、請求項３９に記載のデバイス。
【請求項４２】
前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロフィールを示す情報と、前記ダウンサンプルされた第１のピクチャにおけるブロックの数、前記ダウンサンプルされた第２のピクチャにおけるブロックの数、および前記第３のピクチャにおけるブロックの数を示す情報と、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す情報とを生成すること、をさらに備える請求項３８に記載のデバイス。
【請求項４３】
格納された命令群を有するコンピュータ読取可能な記憶媒体であって、
前記命令群は、実行された場合、１または複数のプロセッサに対して、
第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードさせ、
前記第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードさせ、
第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、前記第１のピクチャをアップサンプルさせ、ここで、前記第２の解像度は、前記第１の解像度よりも高い、
前記第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、前記第２のピクチャをアップサンプルさせ、
前記第２の解像度を有する第３のピクチャを生成するために、前記アップサンプルされた第１のピクチャと、前記アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードさせる、
コンピュータ読取可能な記憶媒体。
【請求項４４】
前記コード化された第１のビューのビデオ・データは、前記第１の解像度を有する第１のテクスチャ成分と前記第１の解像度を有する第１のデプス成分とを備える第１のビュー成分を備え、
前記コード化された第２のビューのビデオ・データは、前記第１の解像度を有する第２のテクスチャ成分と前記第１の解像度を有する第２のデプス成分とを備える第２のビュー成分を備え、
前記コード化された第３のビューのビデオ・データは、前記第２の解像度を有する第３のテクスチャ成分と前記第２の解像度を有する第３のデプス成分とを備える第３のビュー成分を備える、
請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項４５】
前記第１のピクチャは、前記第１のテクスチャ成分を備え、
前記第２のピクチャは、前記第２のテクスチャ成分を備え、
前記１または複数のプロセッサに対して、前記コード化された第３のビューのビデオ・データをデコードさせるための命令群は、前記１または複数のプロセッサに対して、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第１の予測データを生成させ、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のテクスチャ成分のための第２の予測データを生成させ、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のテクスチャ成分をデコードさせる
命令群を備える、請求項４４に記載のコンピュータ読取可能な記憶媒体。
【請求項４６】
前記第１のピクチャは、前記第１のデプス成分を備え、
前記第２のピクチャは、前記第２のデプス成分を備え、
前記１または複数のプロセッサに対して、前記コード化された第３のビューのビデオ・データをデコードさせるための命令群は、前記１または複数のプロセッサに対して、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のデプス成分のための第１の予測データを生成させ、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のデプス成分のための第２の予測データを生成させ、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス成分をデコードさせる
命令群を備える、請求項４４に記載のコンピュータ読取可能な記憶媒体。
【請求項４７】
前記１または複数のプロセッサに対して、前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロフィールを示す情報と、前記第１のピクチャにおけるブロックの数、前記第２のピクチャにおけるブロックの数、および前記第３のピクチャにおけるブロックの数を示す情報と、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す情報とを受信させるための、格納された命令群をさらに有する、請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項４８】
前記第１のピクチャは、ダウンサンプルされた第１のピクチャを備え、
前記第２のピクチャは、ダウンサンプルされた第２のピクチャを備え、
前記１または複数のプロセッサに対して、
前記ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルさせ、ここで、前記受信された第１のピクチャは、前記第２の解像度を有する、
前記ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルさせ、ここで、前記受信された第２のピクチャは、前記第２の解像度を有する、
前記コード化された第１のビューのビデオ・データを生成するために、前記ダウンサンプルされた第１のピクチャをエンコードさせ、
前記コード化された第２のビューのビデオ・データを生成するために、前記ダウンサンプルされた第２のピクチャをエンコードさせ、
前記コード化された第３のビューのビデオ・データを生成するために、前記アップサンプルされた第１のピクチャと前記アップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードさせる、ここで、前記受信された第３のピクチャは、前記第２の解像度を有する、
ための格納された命令群をさらに有する、請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項４９】
前記１または複数のプロセッサに対して、
前記受信された第１のピクチャに関連付けられた第１のデプス・マップをエンコードさせ、ここで、前記第１のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第１のピクチャを備える第１のテクスチャ成分と、前記エンコードされた第１のデプス・マップを備える第１のデプス成分とを備える第１のビュー成分を生成させ、
前記受信された第２のピクチャに関連付けられた第２のデプス・マップをエンコードさせ、ここで、前記第２のデプス・マップは、前記第１の解像度を有する、
前記エンコードされた、ダウンサンプルされた第２のピクチャを備える第２のテクスチャ成分と、前記エンコードされた第２のデプス・マップを備える第２のデプス成分とを備える第２のビュー成分を生成させ、
前記受信された第３のピクチャに関連付けられた第３のデプス・マップをエンコードさせ、ここで、前記第３のデプス・マップは、前記第２の解像度を有する、
前記エンコードされた第３のピクチャを備える第３のテクスチャ成分と、前記エンコードされた第３のデプス・マップを備える第３のデプス成分とを備える第３のビュー成分を生成させる
ための格納された命令群をさらに有する、請求項４８に記載のコンピュータ読取可能な記憶媒体。
【請求項５０】
前記１または複数のプロセッサに対して、前記受信された第３のピクチャをエンコードさせるための命令群は、前記１または複数のプロセッサに対して、
前記アップサンプルされた第１のピクチャの１または複数の部分から、前記第３のピクチャのための第１の予測データを生成させ、
前記アップサンプルされた第２のピクチャの１または複数の部分から、前記第３のピクチャのための第２の予測データを生成させ、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のピクチャをエンコードさせる、
ための命令群を備える、請求項４９に記載のコンピュータ読取可能な記憶媒体。
【請求項５１】
前記１または複数のプロセッサに対して、前記第３のデプス・マップをエンコードさせるための命令群は、前記１または複数のプロセッサに対して、
前記エンコードされた第１のデプス・マップをデコードさせ、
アップサンプルされた第１のデプス・マップを生成するために、前記デコードされた第１のデプス・マップをアップサンプルさせ、
前記アップサンプルされた第１のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第１の予測データを生成させ、
前記エンコードされた第２のデプス・マップをデコードさせ、
アップサンプルされた第２のデプス・マップを生成するために、前記デコードされた第２のデプス・マップをアップサンプルさせ、
前記アップサンプルされた第２のデプス・マップの１または複数の部分から、前記第３のデプス・マップのための第２の予測データを生成させ、
前記第１の予測データと前記第２の予測データとを用いて、前記第３のデプス・マップをエンコードさせる、
ための命令群を備える、請求項４９に記載のコンピュータ読取可能な記憶媒体。
【請求項５２】
前記１または複数のプロセッサに対して、前記コード化された第１のビュー、前記コード化された第２のビュー、および前記コード化された第３のビューがしたがうプロフィールを示す情報と、前記ダウンサンプルされた第１のピクチャにおけるブロックの数、前記ダウンサンプルされた第２のピクチャにおけるブロックの数、および前記第３のピクチャにおけるブロックの数を示す情報と、前記第３のビューが、前記第１のビューと前記第２のビューとに関連して予測されていることを示す情報とを生成させるための、格納された命令群をさらに有する、請求項４８に記載のコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【優先権主張】
【０００１】
本願は、その全体内容が参照によって本明細書に組み込まれている２０１１年８月１１日出願の米国仮出願６１／５２２，５５９の利益を主張する。
【技術分野】
【０００２】
本開示は、ビデオ・コーディングに関し、さらに詳しくは、３次元ビデオ・プレイバックのためにビデオ・データをコーディングすることに関する。
【背景技術】
【０００３】
デジタル・ビデオ機能は、デジタル・テレビ、デジタル・ダイレクト・ブロードキャスト・システム、無線ブロードキャスト・システム、携帯情報端末（ＰＤＡ）、ラップトップ・コンピュータまたはデスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、デジタル・メディア・プレーヤ、ビデオ・ゲーム・デバイス、ビデオ・ゲーム・コンソール、セル電話または衛星ラジオ電話、ビデオ・テレビ会議デバイス等を含む広範囲のデバイスに組み込まれうる。デジタル・ビデオ・デバイスは、デジタル・ビデオ情報をより効率的に送信および受信するために、例えば、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３またはＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、パート１０、アドバンスト・ビデオ・コーディング（ＡＶＣ）（単純にＨ．２６４／ＡＶＣまたはＨ．２６４とも称される）、新興の高効率ビデオ・コーディング（ＨＥＶＣ）規格、このような規格の拡張のようなビデオ・コーディング技術を実施する。
【０００４】
Ｈ．２６４／ＡＶＣに基づいて、新たなビデオ・コーディング規格を開発する努力がなされている。そのような１つの規格は、スケーラブル・ビデオ・コーディング（ＳＶＣ）規格である。これは、Ｈ．２６４／ＡＶＣに対するスケール可能な拡張である。別の規格は、マルチビュー・ビデオ・コーディング（ＭＶＣ）である。これはＨ．２６４／ＡＶＣに対するマルチビュー拡張である。ＭＶＣの共同ドラフトは、２００８年１月−２月、スイス、ジュネーブにおける第３０回ＪＶＴミーティングにおけるＪＶＴ−ＡＤ００７、「ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４ | ＩＳＯ／ＩＥＣ  １４４９６−１０  アドバンスト・ビデオ・コーディングに対するエディタのドラフト版」（"Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding）に記載されている。これは、ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｖｔ−ｓｉｔｅ／２００９＿０１＿Ｇｅｎｅｖａ／ＪＶＴ−ＡＤ００７において利用可能である。
【０００５】
ビデオ圧縮技術は、ビデオ・シーケンスにおいて特有の冗長性を低減または除去するために、空間予測および／または時間予測を実行する。ブロック・ベースのビデオ・コーディングの場合、ビデオ・フレームまたはスライスは、マクロブロックへパーティションされうる。各マクロブロックはさらにパーティションされうる。イントラ・コード（Ｉ）フレームまたはスライスにおけるマクロブロックは、近隣のマクロブロックに関する空間予測を用いてエンコードされる。インタ・コード（ＰまたはＢ）フレームまたはスライスにおけるマクロブロックは、同じフレームまたはスライスにおける近隣マクロブロックに関して空間予測を用い、他のリファレンス・フレームに関して時間予測を使用しうる。
【発明の概要】
【０００６】
一般に、本開示は、例えば３次元ビデオ・プレイバックのために、マルチビュー・ビデオ・データをコーディングするための技術を記載している。これらの技術によれば、ビデオ・データのビュー成分は、テクスチャ成分とデプス成分との両方を含みうる。これらビュー成分のいくつかは、受信されたオリジナルのデータに対して低い解像度（例えば、半解像度）しか有さない場合がありうる。その他のビュー成分は、フル解像度を有し、解像度が低減されたビュー成分のアップサンプル・バージョンに関連してコード化されうる。例えば、左ビューおよび右ビューが、低減された解像度を有し、中央ビューが、フル解像度を有しうる。中央ビューのビュー成分は、左ビューおよび右ビューのビュー成分のアップサンプルされたバージョンから予測されうる。このように、本開示の技術にしたがうビデオ・データは、３次元ビデオ・プレイバックをサポートするための非対称な空間解像度を含みうる。
【０００７】
一例では、方法は、第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードすることと、第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードすることと、第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、第１のピクチャをアップサンプルすることと、ここで、第２の解像度は、第１の解像度よりも高い、第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、第２のピクチャをアップサンプルすることと、第２の解像度を有する第３のピクチャを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードすることと、を含む。
【０００８】
この方法はさらに、ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルすることと、ここで、受信された第１のピクチャは、第２の解像度を有する、ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルすることと、ここで、受信された第２のピクチャは、第２の解像度を有する、コード化された第１のビューのビデオ・データを生成するために、ダウンサンプルされた第１のピクチャをエンコードすることと、コード化された第２のビューのビデオ・データを生成するために、ダウンサンプルされた第２のピクチャをエンコードすることと、コード化された第３のビューのビデオ・データを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードすることと、ここで、受信された第３のピクチャは、第２の解像度を有する、を含みうる。
【０００９】
別の例において、ビデオ・データをコード化するためのデバイスは、第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードし、第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードし、第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、第１のピクチャをアップサンプルし、ここで、第２の解像度は、第１の解像度よりも高い、第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、第２のピクチャをアップサンプルし、第２の解像度を有する第３のピクチャを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードする、ように構成されたビデオ・コーダを含む。ビデオ・コーダは、ビデオ・デコーダまたはビデオ・エンコーダを備えうる。
【００１０】
いくつかの例では、ビデオ・コーダは、ビデオ・エンコーダを備え、第１のピクチャは、ダウンサンプルされた第１のピクチャを備え、第２のピクチャは、ダウンサンプルされた第２のピクチャを備え、ビデオ・エンコーダはさらに、ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルし、ここで、受信された第１のピクチャは、第２の解像度を有する、ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルし、ここで、受信された第２のピクチャは、第２の解像度を有する、コード化された第１のビューのビデオ・データを生成するために、ダウンサンプルされた第１のピクチャをエンコードし、コード化された第２のビューのビデオ・データを生成するために、ダウンサンプルされた第２のピクチャをエンコードし、コード化された第３のビューのビデオ・データを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードする、ここで、受信された第３のピクチャは、第２の解像度を有する、ように構成される。
【００１１】
別の例では、ビデオ・データをコード化するデバイスは、第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードする手段と、第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードする手段と、第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、第１のピクチャをアップサンプルする手段と、ここで、第２の解像度は、第１の解像度よりも高い、第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、第２のピクチャをアップサンプルする手段と、第２の解像度を有する第３のピクチャを生成するために、アップサンプルされた第１のピクチャと、アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードする手段と、を含む。
【００１２】
このデバイスはさらに、ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルする手段と、ここで、受信された第１のピクチャは、第２の解像度を有する、ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルする手段と、ここで、受信された第２のピクチャは、第２の解像度を有する、コード化された第１のビューのビデオ・データを生成するために、ダウンサンプルされた第１のピクチャをエンコードする手段と、コード化された第２のビューのビデオ・データを生成するために、ダウンサンプルされた第２のピクチャをエンコードする手段と、コード化された第３のビューのビデオ・データを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードする手段と、ここで、受信された第３のピクチャは、第２の解像度を有する、を含む。
【００１３】
別の例において、コンピュータ読取可能な記憶媒体は、実行された場合、１または複数のプロセッサに対して、第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードし、第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードし、第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、第１のピクチャをアップサンプルし、ここで、第２の解像度は、第１の解像度よりも高い、第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、第２のピクチャをアップサンプルし、第２の解像度を有する第３のピクチャを生成するために、アップサンプルされた第１のピクチャと、アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードする、ようにさせるための命令群を格納している。
【００１４】
コンピュータ読取可能な記憶媒体はさらに、１または複数のプロセッサに対して、ダウンサンプルされた第１のピクチャを生成するために、受信された第１のピクチャをダウンサンプルし、ここで、受信された第１のピクチャは、第２の解像度を有する、ダウンサンプルされた第２のピクチャを生成するために、受信された第２のピクチャをダウンサンプルし、ここで、受信された第２のピクチャは、第２の解像度を有する、コード化された第１のビューのビデオ・データを生成するために、ダウンサンプルされた第１のピクチャをエンコードし、コード化された第２のビューのビデオ・データを生成するために、ダウンサンプルされた第２のピクチャをエンコードし、コード化された第３のビューのビデオ・データを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードする、ここで、受信された第３のピクチャは、第２の解像度を有する、ようにさせるための命令群を格納している。
【００１５】
別の例では、デバイス内に実装されるか、または、デバイスによって実現される３Ｄビデオ・コーデックは、複数のシーケンス・パラメータ・セットをコード化する。ここで、これらパラメータ・セットのうちの少なくとも１つは、シーケンス・パラメータ・セット（例えば、Ｈ．２６４／ＡＶＣプロファイルに準拠したシーケンス・パラメータ・セット）に属し、これらパラメータ・セットのうちの別のものは、サブセット・シーケンス・パラメータ・セット（Ｈ．２６４／ＭＶＣプロファイルに準拠しうる）に属し、これらパラメータ・セットのうちのさらに別のものは、３ＤＶプロファイルに準拠した新たなサブセット・シーケンス・パラメータ・セット（サブセットＳＰＳ）に属する。異なるビューが非対称な解像度を有する場合、３Ｄビデオ・コーデックは、さらに２つのシーケンス・ニュー・パラメータ・セットをコード化しうる。本開示は、デプス・ビュー成分に対応する新たなサブセット・シーケンス・パラメータ・セットを提供する。これは、デプス・ビュー成分のためのインタ・ビュー予測をディセーブルするフラグを含みうる。新たなサブセットＳＰＳが追加された場合、サブセットＳＰＳは、既存のＳＰＳを拡張しながら、同じＮＡＬユニット・タイプを、オリジナルのサブセットＳＰＳとして共有しうる。拡張されたシンタックスでは、新たなサブセットＳＰＳのさらなる拡張を可能にするために、本明細書において“ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ２＿ｄａｔａ＿ｆｌａｇ”と称される新たなフラグが導入される。
【００１６】
１または複数の例の詳細が、添付図面および以下の説明において述べられる。他の特徴、目的、および利点が、説明と図面から、および特許請求の範囲から明らかになるだろう。
【図面の簡単な説明】
【００１７】
【図１】図１は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するための技術を利用しうるビデオ・エンコードおよびデコード・システムの例を例示するブロック図である。
【図２】図２は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するための技術を実施しうるビデオ・エンコードの例を例示するブロック図である。
【図３】図３は、エンコードされたビデオ・シーケンスをデコードするビデオ・デコーダの例を例示するブロック図である。
【図４】図４は、ＭＶＣ予測パターンの例を例示する概念図である。
【図５Ａ】図５Ａは、図４に関してより詳細に説明されたインタ・ビュー予測処理を例示する概念図である。
【図５Ｂ】図５Ｂは、図４に関してより詳細に説明されたインタ・ビュー予測処理を例示する概念図である。
【図６】図６は、コード化のために準備されているビュー成分のセットの例を例示する概念図である。
【図７Ａ】図７Ａは、ビットストリームにおけるアクセス・ユニット構造の例を例示する概念図である。
【図７Ｂ】図７Ｂは、ビットストリームにおけるアクセス・ユニット構造の例を例示する概念図である。
【図８】図８は、本開示の技術にしたがうビデオ・エンコード方法の例を例示するフローチャートである。
【図９】図９は、本開示の技術にしたがうビデオ・デコード方法の例を例示するフローチャートである。
【図１０】図１０は、テクスチャ・ビュー成分とデプス・ビュー成分との間における動きベクトルの再使用を例示する概念図である。
【発明を実施するための形態】
【００１８】
一般に、本開示は、非対称な空間解像度を有するビデオ・データをコード化する（例えば、エンコードおよび／またはデコードする）ための技術を説明する。ビデオ・エンコーダは、例えば、ピクチャの空間解像度をダウンサンプルすることと、ダウンサンプルされたピクチャをエンコードすることとによって、受信されたビューのセットのピクチャをエンコードしうる。ビデオ・エンコーダはまた、ダウンサンプルされたエンコードされたピクチャをデコードおよびアップサンプルすることによって、１または複数のその他のビューのピクチャをエンコードし、そして、これらデコードされたピクチャを、１または複数のその他のビューのピクチャのためのリファレンスとして使用しうる。同様に、ビデオ・デコーダは、低減された解像度を有するビューのセットのピクチャをデコードおよびアップサンプルし、これらデコードされたピクチャを用いて、フル解像度を有する１または複数のビューのピクチャをデコードするように構成されうる。
【００１９】
これらピクチャは、テクスチャ情報および／またはデプス情報を含みうる。すなわち、本開示の技術にしたがって、ビデオ・コーディング・デバイス（例えば、ビデオ・エンコーダまたはビデオ・デコーダ）は、本明細書に記載された方式で、テクスチャ情報およびデプス情報をコード化するように構成されうる。コード化されたビットストリームのいくつかのビューのビュー成分は、フル解像度を有しうる一方、コード化されたビットストリームのその他のビューのビュー成分は、例えば半解像度のように、低減された解像度を有しうる。ここで、ビュー成分は、テクスチャ成分とデプス成分との両方を含みうる。このように、テクスチャ情報とデプス情報との両方は、本開示の技術にしたがって、さまざまなビューのフル解像度または低減された解像度のいずれかを有しうる。特定のビューのビュー成分は、テクスチャ成分およびデプス成分を含みうる。そして、ビュー成分のテクスチャ成分とデプス成分とは、同じ解像度を有しうる。
【００２０】
例えば、２つのビューは、水平方向または垂直方向のいずれかにおいて、半解像度でコード化されたビュー成分を含みうる。これら２つのビューのピクチャは、最初にキャプチャまたは生成された場合、第１の解像度を有しうる。ビデオ・エンコーダは、この解像度を、例えば半分まで低減させるために、これら２つのビューのピクチャをダウンサンプルまたはサブサンプルしうる。同様に、ビデオ・エンコーダは、これらのビューのために、低減された解像度を有するデプス情報を生成しうる。これらのビュー成分のテクスチャ成分は、ＭＶＣステレオ・ハイ・プロファイルに準拠しうる。第３のビューは、フル解像度でコード化されうる。そして、アップサンプルされた低解像度ビュー成分をリファレンスとして用いることによって、インタ・ビュー予測がイネーブルされうる。例えば、ビデオ・エンコーダは、これら２つのビューのピクチャ（テクスチャおよび／またはデプス）をアップサンプルし、その後、別の２つのビューのアップサンプルされたピクチャに関連する第３のビューのピクチャをエンコードしうる。同様に、ビデオ・デコーダは、これら２つのビューのデコードされたピクチャをアップサンプルし、その後、これらアップサンプルされたデコードされたピクチャに関連する第３のビューのピクチャをデコードしうる。
【００２１】
本開示はまた、本開示の技術にしたがって、ビットストリームが、コード化された１または複数のビューを含むか否かを示すための新たなプロファイルを説明する。Ｈ．２６４／ＡＶＣは、エンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダのための規格に準拠していることを保証することが課せられる。ビデオ・コーディング規格のコンテキストでは、「プロファイル」は、アルゴリズム、機能、またはツールのサブセットと、アルゴリズム、機能、またはツールのサブセットに適合する制約とに対応する。例えば、Ｈ．２６４規格によって定義されているように、「プロファイル」は、Ｈ．２６４規格によって指定されるビットストリーム・シンタックス全体のサブセットである。「レベル」は、例えばデコーダ・メモリおよび計算のように、デコーダ・リソース使用量の制限に対応し、これらは、ピクチャの解像度、ビット・レート、およびマクロブロック（ＭＢ）処理レートに関連している。プロファイルは、ｐｒｏｆｉｌｅ＿ｉｄｃ（プロファイル・インジケータ）値を用いてシグナルされうる一方、レベルは、ｌｅｖｅｌ＿ｉｄｃ（レベル・インジケータ）値を用いてシグナルされうる。
【００２２】
例えば、Ｈ．２６４／ＡＶＣ規格は、所与のプロファイルのシンタックスによって課せられる範囲内において、例えば、デコードされたピクチャの指定されたサイズのような、ビットストリーム内のシンタックス要素によって採用されている値に依存して、エンコーダおよびデコーダのパフォーマンスにおける大きな変化を要求することが可能であることを認識する。Ｈ．２６４規格はさらに、多くのアプリケーションにおいて、特定のプロファイル内のシンタックスのすべての仮説の使用を取り扱うことができるデコーダを実装することは現実的でも経済的でもないことを認識する。したがって、Ｈ．２６４規格は、「レベル」を、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットとして定義する。これらの制約は、値に対する単純な制約でありうる。あるいは、これらの制約は、これら値の演算的な組み合わせにおける制約（例えば、毎秒あたりデコードされたピクチャ数が乗じられたピクチャ高さが乗じられたピクチャ幅）の形態をとりうる。Ｈ．２６４規格はさらに、個々の実施が、サポートされている各プロファイルのために、異なるレベルをサポートしうることを規定する。
【００２３】
プロファイルに準拠するデコーダは、通常、プロファイルにおいて定義されたすべての機能をサポートする。例えば、コーディング機能として、Ｂ−ピクチャ・コーディングは、Ｈ．２６４／ＡＶＣのベースライン・プロファイルではサポートされていないが、Ｈ．２６４／ＡＶＣのその他のプロファイルではサポートされている。レベルに準拠するデコーダは、レベルで定義された制限を超えるリソースを必要としないあらゆるビットストリームを復号できなくてはならない。プロファイルおよびレベルの定義は、実施可能性のために有用でありうる。例えば、ビデオ送信中に、プロファイルとレベルのペアの定義が、送信セッション全体についてネゴシエートされ合意されうる。さらに詳しくは、Ｈ．２６４／ＡＶＣでは、レベルは例えば、処理される必要のあるマクロブロックの数、デコードされたピクチャ・バッファ（ＤＰＢ）サイズ、コード化されたピクチャ・バッファ（ＣＰＢ）サイズ、垂直動きベクトル範囲、２つの連続したＭＢあたりの動きベクトルの最大数、および、Ｂ−ブロックが８×８未満のピクセルのサブ・マクロブロック・パーティションを有しうるか否か、における制約を定義しうる。このように、デコーダは、デコーダがビットストリームを適切にデコードすることができるか否かを判定しうる。
【００２４】
Ｈ．２６４／ＡＶＣ（アドバンスド・ビデオ・コーディング）の例では、コード化されたビデオ・セグメントは、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニットへ体系化される。これは、例えば、テレフォニー、ストレージ、ブロードキャスト、またはストリーミングのようなアプリケーションを取り扱う「ネットワーク・フレンドリ」なビデオ表現を提供しうる。ＮＡＬユニットは、ビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ  ＮＡＬユニットとに分類されうる。ＶＣＬユニットは、コア圧縮エンジンを含みうる。そして、ブロック、マクロブロック、および／または、スライス・レベル・データを含みうる。その他のＮＡＬユニットは、非ＶＣＬ  ＮＡＬユニットでありうる。いくつかの例において、通常はプライマリ・コード・ピクチャとして表されるワン・タイム・インスタンスにおいてコード化されたピクチャが、１または複数のＮＡＬユニットを含みうるアクセス・ユニットに含まれうる。
【００２５】
非ＶＣＬ  ＮＡＬユニットは、特に、パラメータ・セットＮＡＬユニットと、補足エンハンスメント情報（ＳＥＩ）ＮＡＬユニットとを含みうる。パラメータ・セットは、（シーケンス・パラメータ・セット（ＳＰＳ）内に）シーケンス・レベル・ヘッダ情報と、（ピクチャ・パラメータ・セット（ＰＰＳ）内に）稀にしか変化しないピクチャ・レベル・ヘッダ情報とを含みうる。稀にしか変化しない情報は、パラメータ・セット（例えば、ＰＰＳおよびＳＰＳ）を用いて、各シーケンスまたはピクチャのために繰り返される必要はないので、コード化効率が改善されうる。さらに、これらパラメータ・セットを使用することによって、重要なヘッダ情報の帯域外送信が可能となりうるので、誤り回復のための冗長送信の必要性を回避する。帯域外送信の例では、パラメータ・セットＮＡＬユニットが、例えば補足エンハンスメント情報（ＳＥＩ）ＮＡＬユニットのような他のＮＡＬユニットとは異なるチャネルで送信されうる。
【００２６】
ＳＥＩ  ＮＡＬユニットは、ＶＣＬ  ＮＡＬユニットからのコード化されたピクチャ・サンプルをデコードする必要のない情報を含みうるが、デコード目的、表示目的、誤り回復目的、およびその他の目的に関連する処理における支援を行いうる。ＳＥＩメッセージは、非ＶＣＬ  ＮＡＬユニットに含まれうる。ＳＥＩメッセージは、いくつかの規格仕様の標準部分であるので、規格準拠のデコーダ実装のために常に必須という訳ではない。ＳＥＩメッセージは、シーケンス・レベルＳＥＩメッセージまたはピクチャ・レベルＳＥＩメッセージでありうる。あるシーケンス・レベル情報は、例えば、ＳＶＣの例におけるスケーラビリティ情報ＳＥＩメッセージ、および、ＭＶＣにおけるビュー・スケーラビリティ情報ＳＥＩメッセージのようなＳＥＩメッセージに含まれうる。これらのＳＥＩメッセージの例は、例えば、動作ポイントの抽出および動作ポイントの特徴に関する情報を伝送しうる。
【００２７】
ＭＶＣの例は、マルチビュー・ビデオのためのシーケンス・パラメータ・セット（ＳＰＳ）拡張を提供する。ＳＰＳ拡張情報は、サブＳＰＳ  ＮＡＬユニットに含まれうる。これは、他のＮＡＬユニットとは異なるＮＡＬユニット・タイプを有しうる。サポートされている動作ポイントのプロファイル情報およびレベル情報は、ＳＰＳ拡張情報を含むＮＡＬユニットに含まれうる。
【００２８】
本開示の技術にしたがって、ＳＰＳは、（例えば、最大コード化ユニット（ＬＣＵ）またはマクロブロック（ＭＢ）の単位で）ビューの空間解像度を示しうる（例えば、シグナルしうる）。新興の高効率ビデオ・コーディング規格のＬＣＵは、Ｈ．２６４／ＡＶＣのマクロブロックに概念的に類似しており、「ツリーブロック」とも称されうる。ビデオ・デコーダは、ビューが、エンハンスされた垂直スケール増加または水平スケール増加を有しているかを判定するために、ＳＰＳにおける情報を使用しうる。ＳＰＳはまた、ビューが、より低い解像度のビューに関連して予測されているか否かを示しうる。これによって、ビデオ・デコーダは、現在のビューをデコードするために、より低い解像度のビューが、デコードされている現在のビューの解像度へアップサンプルされるべきであるか否かを判定しうる。ＳＰＳはさらに、ビューが、同じ解像度の別のビューに関連して予測されているか否かを示しうる。このように、ＳＰＳは、低解像度のビューから高解像度のビューへの予測のみならず、もしあれば、高い解像度の複数のビュー間の予測をも示しうる。
【００２９】
さらに、ビデオ・コーディング・デバイスは、対応するデプス成分をコード化するために、テクスチャ成分の動き予測を再使用するように構成されうる。例えば、テクスチャ成分およびデプス成分が、同じ解像度であれば、テクスチャ成分およびデプス成分において同じ数のブロックが存在し、テクスチャ成分におけるブロックのおのおのは、対応するデプス成分における対応するブロックとコロケート（collocate）されうる。重複した動き探索を避けるために、そして、ビットストリームにおけるデータの量を低減するために、ビデオ・コーディング・デバイスは、デプス成分をコード化する場合、テクスチャ成分のブロックのための同じ動き情報を、コロケートされた、対応するデプス成分のブロックに適用しうる。このように、デプス・ビュー成分のブロックは、コロケートされたテクスチャ・ビュー成分のブロックの動きベクトルを採用しうる。そして、デプス・ビュー成分のコーディング・モードが、インタ成分動き予測であれば、さらなる動き情報はシグナルされる必要はない。
【００３０】
図１は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するための技術を利用しうるビデオ・エンコードおよびデコード・システム１０の例を例示するブロック図である。図１に図示されるように、システム１０は、エンコードされたビデオを、通信チャンネル１６を介して宛先デバイス１４へ送信するソース・デバイス１２を含んでいる。ソース・デバイス１２および宛先デバイス１４は、広範なデバイスのうちの何かを備えうる。いくつかの場合には、ソース・デバイス１２および宛先デバイス１４は、いわゆるセルラ無線電話または衛星無線電話といった無線ハンドセットのような無線通信デバイス、または、この場合無線である通信チャネル１６を介してビデオ情報を通信しうる任意の無線デバイスを備えうる。しかしながら、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化することに関する本開示の技術は、無線アプリケーションまたは設定に必ずしも限定される必要はない。例えば、これらの技術は、オーバ・ザ・エア・テレビジョン・ブロードキャスト、ケーブル・テレビジョン送信、衛星テレビジョン送信、インターネット・ビデオ送信、記憶媒体にエンコードされたエンコード済みのデジタル・ビデオ、またはその他のシナリオに適合しうる。したがって、通信チャネル１６は、エンコードされたビデオ・データの送信または記憶のために適切な無線媒体、有線媒体、または記憶媒体の任意の組み合わせを備えうる。
【００３１】
図１の例では、ソース・デバイス１２は、ビデオ・ソース１８、ビデオ・エンコーダ２０、変調器／復調器（モデム）２２、および送信機２４を含んでいる。宛先デバイス１４は、受信機２６、モデム２８、ビデオ・デコーダ３０、およびディスプレイ・デバイス３２を含んでいる。本開示によれば、ソース・デバイス１２のビデオ・エンコーダ２０は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するための技術を適用するように構成されうる。別の例では、ソース・デバイスおよび宛先デバイスは、その他の構成要素または構成を含みうる。例えば、ソース・デバイス１２は、例えば外部カメラのような外部ビデオ・ソース１８からビデオ・データを受信しうる。同様に、宛先デバイス１４は、統合されたディスプレイ・デバイスを含んでいるのではなく、外部のディスプレイ・デバイスとインタフェースしうる。
【００３２】
図１の例示されたシステム１０は単なる一例である。ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するための技術は、任意のデジタル・ビデオ・エンコードおよび／またはデコード・デバイスによって実行されうる。一般に、本開示の技術は、ビデオ・エンコード・デバイスによって実行されるが、これら技術はまた、「コーデック」と一般に称されるビデオ・エンコーダ／デコーダによっても実行されうる。さらに、本開示の技術はまた、ビデオ・プリプロセッサによっても実行されうる。ソース・デバイス１２および宛先デバイス１４は、単に、ソース・デバイス１２が、宛先デバイス１４への送信のために、コード化されたビデオ・データを生成するこのようなコーディング・デバイスの例である。いくつかの例において、デバイス１２，１４は、デバイス１２，１４のおのおのがビデオ・エンコードおよびデコード構成要素を含むように、実質的に対称的に動作しうる。したがって、システム１０は、例えば、ビデオ・ストリーミング、ビデオ・プレイバック、ビデオ・ブロードキャスト、またはビデオ・テレフォニのために、ビデオ・デバイス１２，１４間の一方向または二方向のビデオ送信をサポートしうる。
【００３３】
ソース・デバイス１２のビデオ・ソース１８は、例えば、ビデオ・カメラ、以前にキャプチャされたビデオを含んでいるビデオ・アーカイブ、および／または、ビデオ・コンテンツ・プロバイダからのビデオ・フィードのようなビデオ・キャプチャ・デバイスを含みうる。さらなる代案として、ビデオ・ソース１８は、コンピュータ・グラフィック・ベースのデータを、ソース・ビデオとして、または、ライブ・ビデオと、アーカイブされたビデオと、コンピュータによって生成されたビデオとの組み合わせとして生成しうる。いくつかのケースにおいて、ビデオ・ソース１８がビデオ・カメラであれば、ソース・デバイス１２および宛先デバイス１４は、いわゆるカメラ電話またはテレビ電話を形成しうる。しかしながら、前述したように、本開示において記載されているこれら技術は、一般に、ビデオ・コーディングに適用可能でありうる。そして、無線または有線のアプリケーションに適用されうる。各ケースでは、キャプチャされたビデオ、プリキャプチャされたビデオ、または、コンピュータによって生成されたビデオが、ビデオ・エンコーダ２０によってエンコードされうる。エンコードされたビデオ情報は、その後、通信規格にしたがってモデム２２によって変調され、送信機２４を介して宛先デバイス１４へ送信されうる。モデム２２は、さまざまなミキサ、フィルタ、増幅器、または信号変調のために設計されたその他の構成要素を含みうる。送信機２４は、増幅器、フィルタ、および１または複数のアンテナを含む、データの送信のために設計された回路を含みうる。
【００３４】
宛先デバイス１４の受信機２６は、チャネル１６によって情報を受信し、モデム２８は、この情報を復調する。繰り返すが、ビデオ・エンコード処理は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するために、本明細書で記載された技術のうちの１または複数を実施しうる。チャネル１６によって通信される情報は、ビデオ・エンコーダ２０によって定義されたシンタックス情報を含みうる。これは、ビデオ・デコーダ３０によっても使用され、マクロブロック、および例えばＧＯＰのようなその他のコード化されたユニットの処理、および／または、特徴を記述するシンタックス要素を含んでいる。ディスプレイ・デバイス３２は、デコードされたビデオ・データをユーザへ表示しうる。そして、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイ・デバイスのようなさまざまなディスプレイ・デバイスのうちの何かを備えうる。
【００３５】
図１の例では、通信チャネル１６は、例えば、ラジオ周波数（ＲＦ）スペクトルまたは１または複数の物理送信ライン、または無線媒体と有線媒体との任意の組み合わせのような任意の無線媒体または有線媒体を備えうる。通信チャネル１６は、例えば、ローカル・エリア・ネットワーク、広域ネットワーク、またはインターネットのようなグローバル・ネットワークといったパケット・ベースのネットワークの一部を形成しうる。通信チャネル１６は、一般に、ソース・デバイス１２から宛先デバイス１４へビデオ・データを送信するために、有線媒体と無線媒体との任意の適切な組み合わせを含む、任意の適切な通信媒体、または別の通信媒体の集合を表す。通信チャネル１６は、ルータ、スイッチ、基地局、または、ソース・デバイス１２から宛先デバイス１４への通信を容易にするために有用なその他任意の機器を含みうる。別の例では、ソース・デバイス１２は、エンコードされたデータを、送信するのではなく、記憶媒体に格納しうる。同様に、宛先デバイス１４は、エンコードされたデータを、記憶媒体から取得するように構成されうる。
【００３６】
ビデオ・エンコーダ２０およびビデオ・デコーダ３０は、例えば、ＭＰＥＧ  ４、パート１０、アドバンスト・ビデオ・コーディング（ＡＶＣ）とも称されるＩＴＵ−Ｔ  Ｈ．２６４規格のようなビデオ圧縮規格にしたがって動作しうる。しかしながら、本開示の技術は、任意の特定のコーディング規格に限定されない。別の例は、ＭＰＥＧ２とＩＴＵ−Ｔ  Ｈ．２６３とを含んでいる。図１に図示されていないが、いくつかの態様では、ビデオ・エンコーダ２０およびビデオ・デコーダ３０はおのおの、オーディオ・エンコーダおよびデコーダと統合されうる。そして、共通のデータ・ストリームまたは個別のデータ・ストリームでオーディオとビデオとの両方のエンコードを取り扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、またはその他のハードウェアおよびソフトウェアを含みうる。適用可能であれば、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサ・プロトコル、または、例えばユーザ・データグラム・プロトコル（ＵＤＰ）のようなその他のプロトコルに準拠しうる。
【００３７】
ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、ジョイント・ビデオ・チーム（ＪＶＴ）として知られている集合的なパートナシップの製品として、ＩＳＯ／ＩＥＣ  ムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）とともにＩＴＵ−Ｔビデオ・コーディング・エキスパート・グループ（ＶＣＥＧ）によって公布された。いくつかの態様では、本開示に記載された技術は、一般に、Ｈ．２６４規格に準拠するデバイスに適用されうる。Ｈ．２６４規格は、２００５年３月付の、ＩＴＵ−Ｔスタディ・グループによる、一般的なオーディオビジュアル・サービスのためのＩＴＵ−ＴリコメンデーションＨ．２６４、アドバンスト・ビデオ・コーディングに記載されている。これは、本明細書では、Ｈ．２６４規格またはＨ．２６４仕様、またはＨ．２６４／ＡＣＤ規格または仕様と称されうる。ジョイント・ビデオ・チーム（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣに対する拡張に取り組み続けている。
【００３８】
ビデオ・エンコーダ２０およびビデオ・デコーダ３０はおのおの、例えば１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート・ロジック、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせ、のようなさまざまな適切なエンコーダ回路のうちの何れかとして実現されうる。ビデオ・エンコーダ２０およびビデオ・デコーダ３０のおのおのは、１または複数のエンコーダまたはデコーダに含まれうる。これらの何れかは、それぞれのカメラ、コンピュータ、モバイル・デバイス、加入者デバイス、ブロードキャスト・デバイス、セット・トップ・ボックス、サーバ等において組み合わされたエンコーダ／デコーダ（コーデック）の一部として統合されうる。
【００３９】
ビデオ・シーケンスは一般に、ビデオ・フレームのシリーズを含んでいる。ピクチャのグループ（ＧＯＰ）は一般に、１または複数のビデオ・フレームのシリーズを備えている。ＧＯＰは、ＧＯＰに含まれるフレームの数を記述するシンタックス・データを、ＧＯＰのヘッダ、ＧＯＰの１または複数のフレームのヘッダ、あるいはその他の場所に含みうる。おのおののフレームは、それぞれのフレームのためのエンコード・モードを記述するフレーム・シンタックス・データを含みうる。ビデオ・エンコーダ２０は、一般に、ビデオ・データをエンコードするために、個々のビデオ・フレーム内のビデオ・ブロックで動作する。ビデオ・ブロックは、マクロブロック、または、マクロブロックのパーティションに対応しうる。ビデオ・ブロックは、固定サイズまたは可変サイズを有しうる。そして、指定されたコーディング規格によってサイズが異なりうる。おのおののビデオ・フレームは、複数のスライスを含みうる。おのおののスライスは、複数のマクロブロックを含みうる。これらは、サブ・ブロックとも称されるパーティションに構成されうる。
【００４０】
例として、ＩＴＵ−Ｔ  Ｈ．２６４規格は、例えば、輝度成分のための１６バイ１６、８バイ８、または４バイ４と、彩度成分のための８×８のようなさまざまなブロック・サイズにおけるイントラ予測のみならず、例えば、輝度成分のための１６×１６、１６×８、８×１６、８×８、８×４、４×８、および４×４と、彩度成分のためにスケールされた対応するサイズとのようなさまざまなブロック・サイズにおけるインタ予測をサポートする。本開示では、「ＮｘＮ」と「ＮバイＮ」は、例えば１６×１６ピクセルまたは１６バイ１６ピクセルのような垂直方向の次元および水平方向の次元の観点から、ブロックのピクセル次元を称するために相互交換可能に使用されうる。一般に、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）と、水平方向に１６ピクセル（ｘ＝１６）を有するだろう。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ個のピクセルと、水平方向にＮ個のピクセルとを有する。ここで、Ｎは、負ではない整数値を表す。ブロックにおけるピクセルは、行と列とで構成されうる。さらに、ブロックは、必ずしも、垂直方向と同じ数のピクセルを、水平方向に有する必要はない。例えば、ブロックは、Ｎ×Ｍピクセルを備えうる。ここで、Ｍは、必ずしもＮに等しくはない。
【００４１】
１６バイ１６未満であるブロック・サイズは、１６バイ１６のマクロブロックのパーティションと称されうる。ビデオ・ブロックは、ピクセル領域にピクセル・データのブロックを備えうる。あるいは、例えば、ディスクリート・コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または、コード化されたビデオ・ブロックと予測ビデオ・ブロックとの間のピクセル差分を表す残余ビデオ・ブロック・データへの概念的に同じ変換にしたがって、変換領域に変換係数のブロックを備えうる。いくつかのケースでは、ビデオ・ブロックは、変換領域に、量子化された変換係数のブロックを備えうる。
【００４２】
より小さなビデオ・ブロックは、より良好な解像度を提供しうる。そして、高レベルの詳細を含むビデオ・フレームの位置のために使用されうる。サブ・ブロックとしばしば称されるマクロブロックおよびさまざまなパーティションは、一般に、ビデオ・ブロックと考慮されうる。さらに、スライスは、例えばマクロブロックおよび／またはサブ・ブロックのような複数のビデオ・ブロックであると考えられうる。おのおののスライスは、ビデオ・フレームの、独立してデコードすることが可能な単位でありうる。あるいは、フレームはそれ自体デコードすることが可能な単位でありうる。あるいは、フレームの他の部分が、デコードすることが可能な単位として定義されうる。用語「コーディング・ユニット」は、例えば、フレーム全体、フレームのスライス、シーケンスとも称されるピクチャのグループ（ＧＯＰ）、または、適用可能なコーディング技術にしたがって定義された独立してデコードすることが可能なその他の単位のような、ビデオ・フレームの独立してデコードすることが可能な任意の単位を称しうる。
【００４３】
本開示の技術によれば、ビデオ・エンコーダ２０は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをエンコードするように構成されうる。すなわち、ビデオ・エンコーダ２０は、さまざまなビューについて、ビデオ・ソース１８から、生の（コード化されていない）ピクチャを受信しうる。これらピクチャのおのおのは、特定の解像度を有する。ビデオ・エンコーダ２０は、これらビューのうちのいくつかのピクチャの解像度を、例えば半分まで低減しうる。そして、低減された解像度のピクチャの、アップサンプルされたバージョンに関連する、別のビューのピクチャをエンコードしうる。
【００４４】
これらビューのおのおのは、本開示の技術によれば、テクスチャ情報および／またはデプス情報を含みうる。前述したように、ビットストリームが、ビューのセットに体系化されうる。ここで、おのおののビューは、ビットストリームのサブ・ビットストリームに対応する。さらに、ビットストリームは、時間位置にしたがって、ビデオ・データのユニットにパーティションされうる。ここで、この時間位置は、ビデオ・データのユニットの出力（すなわち表示）時間に対応する。例えば、ビットストリームは、アクセス・ユニットへパーティションされうる。ここで、おのおののアクセス・ユニットは、特定の時間インスタンスのためのすべてのデータを含む。したがって、出力時間ｔに対応するアクセス・ユニットは、出力時間ｔを有するビューのおのおののためのデータを含みうる。
【００４５】
さらに詳しくは、アクセス・ユニットは、１または複数のビュー成分のセットを含みうる。ここで、ビュー成分のおのおのは、これらビューのうちの特定の１つに対応する。本開示の技術によれば、おのおののビュー成分は、テクスチャ・ビュー成分およびデプス・ビュー成分を含みうる。テクスチャ・ビュー成分およびデプス・ビュー成分はおのおの、１または複数のＮＡＬユニットを含みうる。これらは、テクスチャ情報またはデプス情報のスライスをカプセル化しうる。例えば、テクスチャ・ビュー成分は、それぞれのテクスチャ・スライスをカプセル化する１または複数のＮＡＬユニットを含みうる。一方、デプス・ビュー成分は、それぞれのデプス・スライスをカプセル化する１または複数のＮＡＬユニットを含みうる。テクスチャ・スライスは、テクスチャ・ビュー成分に対応するピクチャの輝度データおよび／または彩度データを含みうる一方、デプス・スライスは、デプス・ビュー成分に対応するデプス・マップのためのデプス情報を含みうる。
【００４６】
本開示の技術によれば、ビデオ・エンコーダ２０は、デプス・ビュー成分をコード化するために、テクスチャ・ビュー成分をコード化した場合に決定されるある予測情報を再使用しうる。例えば、テクスチャ・ビュー成分およびデプス・ビュー成分は、同じ空間解像度を有しうる。すなわち、テクスチャ・ビュー成分中におけるおのおののピクセルについて、デプス・ビュー成分に、対応する、コロケートされたピクセルが存在しうる。したがって、テクスチャ・ビュー成分におけるブロックのためのブロック境界は、デプス・ビュー成分におけるブロックのためのブロック境界とともにコロケートされうる。ブロック・ベースのコーディングは、インタ予測を含みうる。これは、ブロックのための１または複数の動きベクトルの計算を含みうる。ビデオ・エンコーダ２０は、例えば、デプス・ビュー成分のための動きベクトルを再計算するのではなく、テクスチャ・ビュー成分におけるブロックのための動きベクトルを計算し、その後、計算された動きベクトルを再使用して、デプス・ビュー成分においてコロケートされたブロックをコード化しうる。したがって、デプス・ビュー成分のための個別の動きベクトルは、シグナルされる必要はない。
【００４７】
さらに、ビデオ・エンコーダ２０は、インタ・ビュー予測を用いて、あるビューのビュー成分をコード化しうる。２次元ビデオ・コーディングでは、ビデオ・データは、イントラ予測（すなわち、空間予測、または、同じピクチャ内のデータに基づく予測）、またはインタ予測（すなわち、時間予測、または、以前にコード化されたピクチャのデータに基づく予測）を用いて予測されうる。３次元ビデオ・コーディングでは、ビデオ・データは、インタ・ビュー予測を用いてさらに予測されうる。一般に、同じ時間位置に対応する（すなわち、同じまたは実質的に同じプレイバック時間を有する）ビュー成分は、視聴者に実質的に同時に表示された場合に、３次元効果を生成するために、互いから水平的にオフセットされうる。したがって、インタ・ビュー予測を使用することによって活用されうる２つのビュー成分における顕著な量の冗長データが存在しうる。
【００４８】
例えば、１つのビュー成分におけるブロックは、別のビュー成分のブロックに実質的に類似しうるが、水平的にシフトされうる。この水平シフトは、これら２つのブロック間の視差と呼ばれうる。したがって、ビデオ・エンコーダ２０は、視差ベクトルを用いて、別のビューにおける別のブロックに関連する、１つのビューにおけるブロックの１つをコード化しうる。視差ベクトルは、別の時間位置におけるピクチャではなく、視差ベクトルが別のビューにおけるブロックを示すことを除いて、動きベクトルに実質的に類似しうる。
【００４９】
本開示の技術によれば、２つのビューのビュー成分は、例えば１／２解像度のような、低減された解像度にダウンサンプルされうる。第３のビューは、ダウンサンプルされたビューに関連してコード化されうる。ビデオ・エンコーダ２０は、低減された解像度ビューのビュー成分をダウンサンプルし、その後、ダウンサンプルされたビュー成分をコード化しうる。フル解像度ビューをコード化するために、ビデオ・エンコーダ２０は、ダウンサンプルされたビュー成分のフル解像度バージョンを再生するために、ダウンサンプルされたビュー成分をデコードし、アップサンプルしうる。そして、アップサンプルされたビュー成分の何れかまたは両方に関連する、第３の（フル解像度の）ビュー成分のインタ・ビュー予測を実行しうる。
【００５０】
一例として、２つのダウンサンプルされたビューは、「左ビュー」および「右ビュー」とそれぞれ称されうる。フル解像度ビューは、「中央ビュー」と称されうる。この例において、左ビューは、中央ビューの左側に水平にあるカメラ視点に相当しうる。また、中央ビューは、右ビューの左側に水平にあるカメラ視点に相当しうる。このように、中央ビューは、左ビューと右ビューとの間にあるカメラ視点に相当しうる。
【００５１】
上記の例に続いて、ビデオ・エンコーダ２０、すなわち前処理ユニットは、例として、６台の異なるカメラからイメージを受け取りうる。これらカメラは、例えばコンピュータ・グラフィックをレンダする場合に、コンピューティング・デバイスによって使用されるカメラ視点のような仮想的なカメラ、またはカメラ・アレイにおける物理的なカメラでありうる。ビデオ・エンコーダ２０（すなわち、前処理ユニット）は、これらピクチャの３つに対応するデプス・マップを生成するためにこれらピクチャを使用し、その後、６つのビューではなく、３つのビューをコード化しうる。デプス・マップは、対応する彩度データ無しで、輝度データとしてコード化されうる。したがって、ビオオ・エンコーダ２０は、６つのピクチャのためのイメージ・データのコード化するのではなく、これらピクチャのうちの３つのためのイメージ・データと、これら３つのピクチャのためのデプス・マップとをコード化しうる。ビデオ・デコーダ３０（または、ビデオ・デコーダ３０に関連付けられたレンダリング・デバイス）は、コード化されていないピクチャ、または、その他の水平なカメラ視点におけるピクチャを再生するために、デプス・マップを使用するように構成されうる。
【００５２】
ビデオ・エンコーダ２０は、これらピクチャのデータと、デプス・マップとを、ビュー成分に構成しうる。具体的には、残りの３つのビュー（左ビュー、右ビュー、および中央ビュー）のおのおのに対して、ビデオ・エンコーダ２０は、テクスチャ情報とデプス情報との両方を、テクスチャ成分とデプス成分との形式で提供しうる。さらに、ビデオ・エンコーダ２０は、左ビューと右ビューとのテクスチャ成分およびデプス成分をダウンサンプルし、ダウンサンプルされた左ビューと右ビューとのテクスチャ成分およびデプス成分のバージョンをコード化しうる。その後、ビデオ・エンコーダ２０は、左ビューと右ビューとのテクスチャ成分およびデプス成分をデコードおよびアップサンプルし、アップサンプルされた左ビューと右ビューとのテクスチャ成分およびデプス成分に関連する中央ビューのテクスチャ・データおよびデプス・データのフル解像度バージョンをコード化しうる。
【００５３】
ビデオ・エンコーダ２０は、インタ予測またはイントラ予測を用いてテクスチャ成分をコード化しうる。インタ予測を用いてテクスチャ成分をコード化する場合、ビデオ・エンコーダ２０は、おのおののブロックについて、１または複数の動きベクトルを計算しうる。すなわち、ビデオ・エンコーダ２０は、コード化されている現在のブロックと緊密にマッチするリファレンス・ブロックを識別するために、動き探索を実行しうる。例えば、テクスチャ成分の現在のブロックをコード化する場合、ビデオ・エンコーダ２０は、緊密にマッチするリファレンス・ブロックを識別するために、同じビューの以前にコード化されている１または複数のピクチャにおける動き探索を実行しうる。ビデオ・エンコーダ２０は、その後、現在のブロックに関連するリファレンス・ブロックを特定する動きベクトルを計算しうる。同じビュー成分のデプス成分およびテクスチャ成分は、同じ空間解像度を有しうる。したがって、ビデオ・エンコーダ２０は、対応するデプス成分のブロックをコード化する場合、動き探索を個別に実行するのではなく、テクスチャ成分におけるブロックの動きベクトルを再使用しうる。したがって、ビデオ・エンコーダ２０は、対応するテクスチャ成分におけるリファレンス・ブロックとともにコロケートされたデプス成分におけるリファレンス・ブロックを用いて、デプス成分の現在のブロックをコード化しうる。
【００５４】
ビデオ・エンコーダ２０はさらに、ビットストリームが対応するプロファイルを示すシグナリング・データを提供しうる。本開示の技術にしたがって、プロファイルは、非対称のマルチビューに加えて、デプス・ビデオ・プロファイルを備えうる。このプロファイルでは、ビットストリームは、複数のビューを含みうる。各ビューは、テクスチャ成分とデプス成分との両方を含むビュー成分を有し、これらビュー成分は、ビュー間で同じである必要はない。例えば、コード化前、オリジナルのピクチャが、第１の解像度を有すると仮定すると、これらビューのうちのいくつかは、コード化された場合、第１の解像度に対して低減された解像度を有しうる一方、その他のビューは、第１の解像度を有しうる。
【００５５】
例えば、オリジナルの解像度は、１０２４×７６８ピクセルを備え、低減された解像度は、５１２×７６８ピクセルを備えうる。一例では、左ビューおよび右ビューのビュー成分は、コード化された場合５１２×７６８ピクセルを有しうる一方、中央ビューのビュー成分は、コード化された場合１０２４×７６８ピクセルを有しうる。左ビューのテクスチャ成分およびデプス成分の両方は、５１２×７６８ピクセルの解像度を有しうる。また、同様に、右ビューのテクスチャ成分およびデプス成分の両方もまた、５１２×７６８ピクセルの解像度を有しうる。一方、中央ビューのテクスチャ成分およびデプス成分の両方は、１０２４×７６８ピクセルの解像度を有しうる。他の例では、その他の解像度が使用されうる。さらに、ダウンサンプルすることは、水平方向においてではなく、垂直方向においてでありうる。さらに、ダウンサンプルすることは、いくつかの例では、水平方向と垂直方向との両方でなされうる。ダウンサンプルすることは、いくつかの例では、デシメーションまたはサブサンプルを含みうる。デシメーションは、ピクセルの値を結合することを含みうる。そして、サブサンプルすることは、例えばピクセルの交互する行および／または列のようなあるデータを破棄することを含みうる。
【００５６】
パラメータ・セット・データ構造は、非対称なマルチビューに加えて、デプス・プロファイルに対応するビットストリームのための情報を提供しうる。例えば、前述したように、ビデオ・エンコーダ２０は、表１に準拠するシーケンス・パラメータ・セット（ＳＰＳ）を形成しうる。したがって、ビデオ・エンコーダ２０は、複数のブロックのユニット（例えば、マクロブロックまたはＬＣＵ）におけるビューの空間解像度をシグナルしうる。このように、ビデオ・デコーダ３０は、どのビューが、エンハンスされた垂直スケール増加または水平スケール増加を有しているのかを判定するために、このシグナルされた空間解像度を使用しうる。同様に、ビデオ・エンコーダ２０は、１または複数の低解像度（すなわち、低減された解像度）ビューから、さらなる高解像度（例えば、フル解像度）ビューへのインタ・ビュー予測をシグナルしうる。追加のフル解像度ビューが提供される場合、ビデオ・エンコーダ２０はまた、これらフル解像度ビュー間のインタ・ビュー予測をシグナルしうる。
【００５７】
したがって、ビデオ・デコーダ３０は、低減された解像度のピクチャを有するいくつかのビューと、フル解像度のピクチャを有するその他のビューとを含むビットストリームを受信しうる。ビデオ・デコーダ３０は、低減された解像度のピクチャを有するビューのピクチャをデコードおよびアップサンプルしうる。ビデオ・デコーダ３０はその後、アップサンプルされたピクチャに関連するフル解像度を有するピクチャをデコードしうる。
【００５８】
予測データおよび残余データを生成するための、イントラ予測コーディングまたはインタ予測コーディングの後、さらには、変換係数を生成するための、任意の変換（例えば、Ｈ．２６４／ＡＶＣまたはディスクリート・コサイン変換ＤＣＴにおいて使用される４×４または８×８の整数変換）の後に、変換係数の量子化が実行されうる。量子化は、一般に、恐らくは、変換係数を表すために使用されるデータの量を低減するために、変換係数が量子化される処理を称する。この量子化処理は、これら係数のうちのいくつかまたはすべてに関連付けられたビット・デプスを低減しうる。例えば、ｎ−ビット値は、量子化中に、ｍビット値に丸められうる。ここで、ｎは、ｍよりも大きい。
【００５９】
量子化の後、量子化されたデータのエントロピ・コーディングが、例えば、コンテンツ適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ計算コーディング（ＣＡＢＡＣ）、またはその他のエントロピ・コーディング方法にしたがって実行されうる。エントロピ・コーディングのために構成された処理ユニット、または、その他の処理ユニットは、例えば、コード化ブロック・パターン（ＣＢＰ）値、マクロブロック・タイプ、コーディング・モード、コード化されたユニット（例えば、フレーム、スライス、マクロブロック、またはシーケンス）のための最大マクロブロック・サイズ等のようなシンタックス情報の生成、および／または、量子化された係数のゼロ・ラン・レングス・コーディングのようなその他の処理機能を実行しうる。
【００６０】
ビデオ・エンコーダ２０はさらに、例えば、ブロック・ベースのシンタックス・データ、フレーム・ベースのシンタックス・データ、およびＧＯＰベースのシンタックス・データのようなシンタックス・データを、例えば、フレーム・ヘッダ、ブロック・ヘッダ、スライス・ヘッダ、またはＧＯＰヘッダで、ビデオ・デコーダ３０へ送信しうる。ＧＯＰシンタックス・データは、それぞれのＧＯＰにおけるフレームの数を記述しうる。そして、フレーム・シンタックス・データは、対応するフレームをエンコードするために使用されるエンコード／予測モードを示しうる。
【００６１】
ビデオ・エンコーダ２０およびビデオ・デコーダ３０はおのおの、適用可能であれば、例えば、１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはこれら任意の組み合わせのように、さまざまな適切なエンコーダまたはデコーダ回路の何れかとして実現されうる。ビデオ・エンコーダ２０およびビデオ・デコーダ３０のおのおのは、１または複数のエンコーダまたはデコーダに含まれうる。これらの何れかは、結合されたビデオ・エンコーダ／デコーダ（コーデック）の一部として統合されうる。ビデオ・エンコーダ２０および／またはビデオ・デコーダ３０を含む装置は、集積回路、マイクロプロセッサ、および／または、例えばセルラ電話のような無線通信デバイスを備えうる。
【００６２】
図２は、ビューのうち、非対称な空間解像度を有するマルチビュー・ビデオ・データをコード化するための技術を実施しうるビデオ・エンコーダ２０の例を例示するブロック図である。ビデオ・エンコーダ２０は、マクロブロック、または、マクロブロックのパーティションまたはサブ・パーティションを含む、ビデオ・フレーム内のブロックのイントラ・コーディングおよびインタ・コーディングを実行しうる。イントラ・コーディングは、所与のビデオ・フレーム内のビデオにおける空間冗長性を低減または除去するために、空間予測に依存する。インタ・コーディングは、ビデオ・シーケンスの隣接フレーム内のビデオにおける時間冗長性を低減または除去するために、時間予測に依存する。イントラ・モード（Ｉ−モード）は、いくつかの空間ベースの圧縮モードの何れかを称し、例えば、単一方向予測（Ｐ−モード）または双方向予測（Ｂ−モード）のようなインタ・モードは、いくつかの時間ベースの圧縮モードの何れかを称しうる。
【００６３】
図２に図示されるように、ビデオ・エンコーダ２０は、エンコードされるべきビデオ・フレーム内の現在のビデオ・ブロックを受け取る。図２の例では、ビデオ・エンコーダ２０は、動き補償ユニット４４、動き推定ユニット４２、リファレンス・フレーム・メモリ６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピ・コーディング・ユニット５６を含んでいる。ビデオ・ブロック再構築のために、ビデオ・エンコーダ２０はまた、逆量子化ユニット５８、逆変換ユニット６０、および加算器６２を含んでいる。再構築されたビデオからのブロックネス・アーチファクトを除去するためにブロック境界をフィルタするデブロッキング・フィルタ（図２に図示せず）もまた含まれ得る。所望されるのであれば、デブロッキング・フィルタは、一般には、加算器６２の出力をフィルタするであろう。例えば、ループ・フィルタまたはサンプル適応オフセット（ＳＡＯ）フィルタのようなその他のタイプのフィルタもまた使用されうる。
【００６４】
エンコード処理中、ビデオ・エンコーダ２０は、コード化されるべきビデオ・フレームまたはスライスを受け取る。フレームまたはスライスは、複数のビデオ・ブロックに分割されうる。動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を与えるために、１または複数のリファレンス・フレームにおける１または複数のブロックに関連する、受信されたビデオ・ブロックのインタ予測コーディングを実行する。イントラ予測ユニット４６は、同じフレームまたはスライスにおける１または複数の近隣ブロックに関連する、受信されたビデオ・ブロックのイントラ予測コーディングを、空間圧縮を提供するためにコード化されるべきブロックとして実行しうる。
【００６５】
モード選択ユニット４０は、例えば、誤り結果に基づいて、イントラまたはインタのコーディング・モードのうちの１つを選択しうる。そして、結果として得られたイントラ・コード化されたブロックまたはインタ・コード化されたブロックを加算器５０に提供し、残余ブロック・データを生成する。また、加算器６２に提供し、エンコードされたブロックを、リファレンス・フレームとして使用するために再構築する。いくつかの例では、モード選択ユニット４０はさらに、例えばフル解像度ピクチャのために、インタ・ビュー予測を選択しうる。モード選択ユニット４０は、いくつかの例では、低減された解像度のビューのアップサンプルされたピクチャ、または、その他のフル解像度のピクチャに関連するフル解像度のピクチャのために、インタ・ビュー予測を選択しうる。
【００６６】
動き推定ユニット４２および動き補償ユニット４４は、高度に統合されうるが、概念の目的のために、個別に例示されている。動き推定は、ビデオ・ブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のフレーム内でコード化されている現在のブロック（または、その他のコード化されたユニット）に関連する予測リファレンス・フレーム（または、その他のコード化されたユニット）内の予測ブロックの変位を示しうる。予測ブロックは、絶対差分（ＳＡＤ）の合計、平方差分（ＳＳＤ）の合計、または、その他の別のメトリックによって決定されうるピクセル差分の観点においてコード化されるべきブロックに緊密にマッチするものとして発見されるブロックである。動きベクトルはまた、マクロブロックのパーティションの変位をも示しうる。動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含みうる。繰り返すが、動き推定ユニット４２と動き補償ユニット４４とは、いくつかの例では、機能的に統合されうる。
【００６７】
動き推定ユニット４２は、インタ・コード化されたフレームのビデオ・ブロックを、リファレンス・フレーム・メモリ６４内のリファレンス・フレームのビデオ・ブロックと比較することによって、インタ・コード化されたフレームのビデオ・ブロックの動きベクトルを計算する。動き補償ユニット４４はまた、例えばＩ−フレームまたはＰ−フレームのようなリファレンス・フレームのサブ整数ピクセルを補間しうる。ＩＴＵ  Ｈ．２６４規格は、例として、２つのリストを記述している。すなわち、エンコードされている現在のフレームよりも早い表示順を有するリファレンス・フレームを含むリスト０と、エンコードされている現在のフレームよりも遅い表示順を有するリファレンス・フレームを含むリスト１である。したがって、リファレンス・フレーム・メモリ６４に格納されたデータは、これらリストにしたがって体系化されうる。
【００６８】
動き推定ユニット４２は、リファレンス・フレーム・メモリ６４からの１または複数のリファレンス・フレームのブロックを、例えばＰ−フレームまたはＢ−フレームのような現在のフレームのエンコードされるべきブロックと比較する。リファレンス・フレーム・メモリ６４におけるリファレンス・フレームが、サブ整数ピクセルのための値を含んでいる場合、動き推定ユニット４２によって計算された動きベクトルは、リファレンス・フレームのサブ整数ピクセル位置を示しうる。サブ整数ピクセル位置の値が、リファレンス・フレーム・メモリ６４に格納されていないのであれば、動き推定ユニット４２および／または動き補償ユニット４４は、リファレンス・フレーム・メモリ６４に格納されたリファレンス・フレームのサブ整数ピクセル位置の値を計算するようにも構成されうる。動き推定ユニット４２は、計算された動きベクトルを、エントロピ・コーディング・ユニット５６および動き補償ユニット４４に送る。動きベクトルによって識別されたリファレンス・フレーム・ブロックは、予測ブロックと称されうる。
【００６９】
動き推定ユニット４２はさらに、インタ・ビュー予測における使用のための視差ベクトルを計算するように構成されうる。すなわち、動き推定ユニット４２は、別のビューの一般的な一時的に位置するフレームの予測ブロックに対する、現在のビューの現在のフレームのブロックの視差を計算しうる。したがって、動き推定ユニット４２は、「動き／視差推定ユニット４２」とも称されうる。同様に、動き補償ユニット４４は、「動き／視差補償ユニット４４」と称されうる。
【００７０】
いくつかの例において、モード選択ユニット４０は、現在のブロック、すなわち、現在コード化されているブロックが、テクスチャ・ビュー成分またはデプス・ビュー成分に対応するか否かを判定しうる。このブロックが、テクスチャ・ビュー成分に対応し、インタ予測が利用可能である場合、モード選択ユニット４０は、前述したように、緊密にマッチしているリファレンス・ブロックを識別する動きベクトルを計算するために、動き推定ユニット４２に対して、動き探索を実行させうる。一方、このブロックが、デプス・ビュー成分に対応している場合、モード選択ユニット４０は、代わりに、対応するテクスチャ・ビュー成分においてコロケートされたブロックのための動きベクトルを取得し、この動きベクトルを、動き補償ユニット４４に提供しうる。動きベクトルは、例えば、テクスチャ・ビュー成分のために、シンタックス・データの形式で、リファレンス・フレーム・メモリ６４に格納されうる。したがって、モード選択ユニット４０は、リファレンス・フレーム・メモリ６４から、このブロックの動きベクトルを取得しうる。このように、ビデオ・エンコーダ２０は、対応するデプス・ビュー成分においてコロケートされたブロックをコード化するために、テクスチャ・ビュー成分内のブロックのために計算された動きベクトルを再使用しうる。
【００７１】
動き補償ユニット４４は、動きベクトルによって識別された予測ブロックに基づいて予測データを計算しうる。ビデオ・エンコーダ２０は、コード化されているオリジナルのビデオ・ブロックから、動き補償ユニット４４からの予測データを引くことにより、残余ビデオ・ブロックを形成する。この残余ビデオ・ブロックは、コード化されているオリジナルのブロックと予測ブロックとの間のピクセル毎の差分を含む。加算器５０は、この減算演算を実行する構成要素（単数または複数）を表す。変換処理ユニット５２は、例えば離散コサイン変換（ＤＣＴ）または概念的に類似した変換のような変換を、残余ブロックに適用し、残余変換係数値を備えるビデオ・ブロックが生成される。変換処理ユニット５２は、例えばＨ．２６４規格によって定義されているもののように、概念的にＤＣＴに類似したその他の変換を実行しうる。ウェーブレット変換、整数変換、サブ帯域変換、またはその他のタイプの変換もまた使用されうる。何れの場合も、変換処理ユニット５２は、この変換を残余ブロックに適用し、残余変換係数のブロックが生成される。この変換は、残余情報を、ピクセル値領域から、例えば周波数領域のような変換領域に変換しうる。量子化ユニット５４は、残余変換係数を量子化して、さらにビット・レートを低減する。この量子化処理は、これら係数のうちのいくつかまたはすべてに関連付けられたビット・デプスを低減しうる。量子化の程度は、量子化パラメータを調節することにより修正されうる。
【００７２】
量子化後、量子化された変換係数を、エントロピ・コーディング・ユニット５６が、エントロピ・コード化する。例えば、エントロピ・コーディング・ユニット５６は、コンテンツ適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ計算コーディング（ＣＡＢＡＣ）、またはその他のエントロピ・コーディング技術を実行しうる。エンコードされたビデオは、エントロピ・コーディング・ユニット５６によるエントロピ・コーディング後、別のデバイスへ送信されうるか、または、後の送信または取得のためにアーカイブされうる。コンテキスト適応バイナリ計算コーディングのケースでは、コンテキストは、近隣のマクロブロックに基づきうる。
【００７３】
いくつかのケースでは、エントロピ・コーディング・ユニット５６またはビデオ・エンコーダ２０のその他のユニットは、エントロピ・コーディングに加えて、その他のコーディング機能を実行するように構成されうる。例えば、エントロピ・コーディング・ユニット５６は、マクロブロックおよびパーティションのためのＣＢＰ値を決定するように構成されうる。さらに、いくつかのケースでは、エントロピ・コーディング・ユニット５６は、マクロブロックまたはそのパーティションにおける係数のラン・レングス・コーディングを実行しうる。特に、エントロピ・コーディング・ユニット５６は、マクロブロックまたはパーティションにおける変換係数をスキャンするために、ジグ・ザグ・スキャンまたはその他のスキャン・パターンを適用し、さらなる圧縮のために、ゼロのランをエンコードしうる。エントロピ・コーディング・ユニット５６はまた、エンコードされたビデオ・ビットストリームにおける送信のために、適切なシンタックス要素を用いて、ヘッダ情報を構築しうる。
【００７４】
逆量子化ユニット５８および逆変換ユニット６０は、例えば、リファレンス・ブロックとして後に使用するために、逆量子化または逆変換をそれぞれ適用し、ピクセル領域内の残余ブロックを再構築しうる。動き補償ユニット４４は、残余ブロックを、リファレンス・フレーム・メモリ６４のフレームのうちの１つの予測ブロックへ加えることによって、リファレンス・ブロックを計算しうる。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、１または複数の補間フィルタを、再構築された残余ブロックに適用しうる。加算器６２は、動き補償ユニット４４によって生成された動き補償予測ブロックに、再構築された残余ブロックを加え、リファレンス・フレーム・メモリ６４に格納するために、再構築されたビデオ・ブロックが生成される。再構築されたビデオ・ブロックは、その後のビデオ・フレームにおけるブロックをインタ・コード化するために、動き推定ユニット４２および動き補償ユニット４４によって、リファレンス・ブロックとして使用されうる。
【００７５】
本開示の技術によれば、ビデオ・エンコーダ２０は、あるビューのピクチャをダウンサンプルするように構成されうる。例えば、ビデオ・エンコーダ２０は、受信したピクチャの交互の行および交互の列を抽出することによって、この受信したピクチャをサブサンプルしうる。別の例として、ビデオ・エンコーダ２０は、受信したピクチャを、５点型（または、チェッカーボード）サンプリングを用いてサブサンプルしうる。また別の例として、ビデオ・エンコーダ２０は、受信したピクチャをデシメートしうる。これは、ピクチャの空間解像度を低減するために、行および／または列を数学的に結合することを含みうる。あるいは、特定のビューのピクチャをダウンサンプルするようにビデオ前処理ユニットが構成されうる。さらに、ダウンサンプルされたピクチャをエンコードするようにビデオ・エンコーダ２０が構成されうる。
【００７６】
その後、このようなダンサンプルされた、エンコードされたピクチャをデコードした後、ビデオ・エンコーダ２０は、このデコードされたピクチャを、リファレンス・フレーム・メモリ６４内に格納する前に、アップサンプルしうる。図示されていないが、再構築されたビデオ・ブロックを加算器６２から受け取り、リファレンス・フレーム・メモリ６４内に格納するために、再構築されたビデオ・ブロックから形成されるピクチャをアップサンプルする、ピクチャ・アップサンプリング・ユニットが提供されうる。アップサンプリング手順は、一般に、ダウンサンプリング手順の逆でありうる。そして、このピクチャをフル解像度にアップサンプルするために、ピクセルの値を計算するための空間補間を含みうる。
【００７７】
前述したように、ビデオ・エンコーダ２０は、例えばマクロブロックまたはコーディング・ユニットのようなブロックのユニットにおいて、コード化されたピクチャの空間解像度を示す情報を含むパラメータ・セットを生成しうる。このパラメータ・セットはまた、特定のビューのために、インタ・ビュー予測が利用可能であるか否かと、もしも利用可能であれば、どのビューがリファレンスのために使用されるのかとを示す情報を含みうる。本開示の技術によれば、フル解像度のビューは、１または複数の低減された解像度のビュー（このケースでは、前述したように、低減された解像度のビューは、リファレンスのために使用されるために、アップサンプルされうる）、および／または、インタ・ビュー予測用のリファレンスのために、１または複数のフル解像度のビューを使用しうる。前述したように、パラメータ・セットは、表１および表２に対応する情報を含みうる。
【００７８】
さらに、ビデオ・エンコーダ２０は、ビューのビュー成分に関し、テクスチャ・ビュー成分とデプス・ビュー成分との両方をコード化しうる。いくつかの例において、ビデオ・エンコーダ２０は、テクスチャ・データまたはデプス・データの符号化されたスライスを、それぞれのＮＡＬユニットにカプセル化しうる。これはさらに、それぞれのビュー成分内でカプセル化されうる。それぞれのビュー成分はさらに、アクセス・ユニット内でカプセル化されうる。それぞれのビューのうちの何れかまたはすべてのビュー成分は、それぞれのテクスチャ・ビュー成分および／またはデプス・ビュー成分を含みうる。アクセス・ユニットは、例えば、特定の出力（または表示）時間を有するすべてのビュー成分のような、一般的な時間インスタンスのためのすべてのビュー成分を含みうる。他の例では、個別のユニット（例えば、カプセル化ユニット）は、ビデオ・エンコーダ２０によって出力された、エンコードされたビデオ・データをカプセル化しうる。
【００７９】
このように、ビデオ・エンコーダ２０は、第２の解像度を有するダウンサンプルされた第１のピクチャを生成するために、受信された、第１の解像度を有する第１のビューの第１のピクチャをダウンサンプルし、ここで、第２の解像度は、第１の解像度よりも低く、第２の解像度を有するダウンサンプルされた第２のピクチャを生成するために、受信された、第１の解像度を有する第２のビューの第２のピクチャをダウンサンプルし、ダウンサンプルされた第１のピクチャをエンコードし、ダウンサンプルされた第２のピクチャをエンコードし、第１のピクチャをデコードし、第２のピクチャをデコードし、第１の解像度を有する、アップサンプルされた第１のピクチャを生成するために、デコードされた第１のピクチャをアップサンプルし、第１の解像度を有する、アップサンプルされた第２のピクチャを生成するために、デコードされた第２のピクチャをアップサンプルし、コード化された第３のビューのビデオ・データを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャとに関連する、受信された第３のピクチャをエンコードし、受信された第３のピクチャは、第１の解像度を有する、ように構成されたビデオ・コーダの例を表す。
【００８０】
図３は、エンコードされたビデオ・シーケンスをデコードするビデオ・デコーダ３０の例を例示するブロック図である。図３の例では、ビデオ・デコーダ３０は、エントロピ・デコード・ユニット７０、動き補償ユニット７２、イントラ予測ユニット７４、逆量子化ユニット７６、逆変換ユニット７８、リファレンス・フレーム・メモリ８２、および加算器８０を含む。ビデオ・デコーダ３０は、いくつかの例において、ビデオ・エンコーダ２０（図２）に関して記載されたエンコード・パスに一般に逆であるデコード・パスを実行しうる。動き補償ユニット７２は、エントロピ・デコード・ユニット７０から受け取られた動きベクトルに基づいて、予測データを生成しうる。
【００８１】
動き補償ユニット７２は、リファレンス・フレーム・メモリ８２内のリファレンス・フレームにおける予測ブロックを識別するために、ビットストリームで受け取られた動きベクトルを使用しうる。イントラ予測ユニット７４は、空間的に隣接したブロックから予測ブロックを生成するために、ビットストリームで受け取られたイントラ予測モードを使用しうる。逆量子化ユニット７６は、ビットストリームで提供され、エントロピ・デコード・ユニット７０によってデコードされた、量子化されたブロック係数を逆量子化する。逆量子化処理は、例えば、Ｈ．２６４デコード規格によって定義されたような従来の処理を含みうる。逆量子化処理はまた、量子化の程度、また同様に、適用されねばならない逆量子化の程度を決定するために、各マクロブロックについてエンコーダ５０によって計算された量子化パラメータＱＰＹを使用することをも含みうる。
【００８２】
動き補償ユニット７２はさらに、図２の動き補償ユニット４４に関して前述したように、インタ・ビュー予測を実行するために視差ベクトルを利用するように構成されうる。したがって、動き補償ユニット７２はまた、「動き／視差補償ユニット７２」とも称されうる。
【００８３】
本開示の技術によれば、ビデオ・デコーダ３０は、例えば、コード化されたピクチャのシーケンスが、本開示の非対称な３次元ビデオ技術を用いてコード化されることを示す情報を含むシーケンス・パラメータ・セット（ＳＰＳ）のようなシグナリング・データを受信するように構成されうる。例えば、ＳＰＳは、コード化されたビデオ・データが、Ｈ．２６４／ＡＶＣまたはＨＥＶＣの非対称な３次元ビデオ・プロファイルに準拠していることを示しうる。ビデオ・デコーダ３０は、このデータを受信すると、ビットストリームのデータが、このプロファイルにしたがってフォーマットされていることを判定し、それにしたがってこのビットストリームを解析し、デコードしうる。
【００８４】
例えば、ビデオ・デコーダ３０は、低減された解像度を有するビューの、エンコードされたピクチャをデコードするために、インタ予測またはイントラ予測を使用しうる。ビデオ・デコーダ３０はさらに、フル解像度を有するピクチャを再生するために、これらビューのデコードされたピクチャをアップサンプルしうる。ビデオ・デコーダ３０は、エンコードされたフル解像度のピクチャのその後のインタ予測またはイントラ・ビュー予測で使用するために、リファレンス・フレーム・メモリ８２におけるこのようなフル解像度のピクチャのコピーを格納しうる。いくつかの例において、ＳＰＳは、ＭＢまたはＬＣＵの単位で、ビューの空間解像度をシグナルしうる。
【００８５】
いくつかの例では、フル解像度のビューが後に続く２つの低減された解像度のビューが存在する場合、ビデオ・デコーダ３０は、アクセス・ユニットにおけるビュー成分の位置に基づいて、低減された解像度のビュー成分の位置を決定しうる。例えば、以下により詳細に説明される図７Ｂに図示されるように、ビデオ・デコーダ３０は、（それぞれテクスチャ成分およびデプス成分を含む）最初の２つのビュー成分が、半解像度のビューに相当する一方、（同様に、それぞれテクスチャ成分およびデプス成分を含む）第３のビュー成分がフル解像度のビューに相当することを判定しうる。
【００８６】
ビデオ・デコーダ３０はまた、デプス・ビュー成分をデコードする場合に、本開示の技術を用いて、テクスチャ・ビュー成分の動き情報を再使用するように構成されうる。例えば、ビデオ・デコーダ３０は、テクスチャ・ビュー成分のブロックの動きベクトルをデコードしうる。ビデオ・デコーダ３０は、その後、対応するデプス・ビュー成分においてコロケートされたブロックをデコードするために、動きベクトルを再使用しうる。したがって、ビデオ・デコーダ３０は、ブロックがインタ予測されていると仮定して、デプス・ビュー成分におけるブロックに関する追加の動き情報を受信も、解析も、またはデコードもする必要はない。
【００８７】
前述したように、ビデオ・デコーダ３０は、同様にインタ・ビュー予測も実行するように構成されうる。例えば、ビデオ・デコーダ３０は、２つの、デコードされた、低減された解像度のビュー成分をアップサンプルし、その後、このアップサンプルされたビュー成分に関連する、第３の、フル解像度のビューのビュー成分を予測しうる。さらに、ビデオ・デコーダ３０は、以前にデコードされたビュー、または、１または複数のアップサンプルされた、低減された解像度のビューに関連する、別のフル解像度のビューのインタ・ビュー予測を使用するように構成されうる。前述したように、ＳＰＳまたはその他のシグナリング情報は、他のビューに対して、どのビューが、潜在的にインタ・ビュー予測されているのかを示しうる。
【００８８】
逆変換ユニット５８は、ピクセル領域における残余ブロックを生成するために、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様な逆変換処理を変換係数に適用する。動き補償ユニット７２は、動き補償ブロックを生成し、恐らくは、補間フィルタに基づいて、補間を実行する。サブ・ピクセルの精度を持つ動き推定のために使用されるべき補間フィルタのためのアイデンティファイヤが、シンタックス要素に含まれうる。動き補償ユニット７２は、リファレンス・ブロックのサブ整数ピクセルについて、補間された値を計算するために、ビデオ・ブロックのエンコード中、ビデオ・エンコーダ２０によって使用されるような補間フィルタを使用しうる。動き補償ユニット７２は、受信したシンタックス情報にしたがって、ビデオ・エンコーダ２０によって使用される補間フィルタを決定しうる。そして、予測ブロックを生成するために、この補間フィルタを使用しうる。
【００８９】
動き補償ユニット７２は、エンコードされたビデオ・シーケンスをデコードするために、エンコードされたビデオ・シーケンスのフレーム（単数または複数）をエンコードするために使用されるマクロブロックのサイズを決定するシンタックス情報のいくつかと、エンコードされたビデオ・シーケンスのフレームのおのおののマクロブロックがどのようにパーティションされているのかを記述するパーティション情報と、おのおののパーティションがどのようにしてエンコードされるのかを示すモードと、インタ・エンコードされたおのおののマクロブロックまたはパーティションの１または複数のリファレンス・フレーム（およびリファレンス・フレーム・リスト）と、その他の情報とを使用する。
【００９０】
加算器８０は、デコードされたブロックを生成するために、残余ブロックを、動き補償ユニット７２またはイントラ予測ユニットによって生成された対応する予測ブロックと加算する。所望されるのであれば、ブロッキネス（blockiness）アーティファクトを除去するために、デブロッキング・フィルタも適用され、デコードされたブロックがフィルタされる。デコードされたビデオ・ブロックはその後、リファレンス・フレーム・メモリ８２に格納される。これは、その後の動き補償のためリファレンス・ブロックを提供し、さらに、（例えば、図１のディスプレイ・デバイス３２のような）ディスプレイ・デバイス上で表示するために、デコードされたビデオを生成する。
【００９１】
このように、ビデオ・デコーダ３０は、第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードし、第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードし、第２の解像度を有する、アップサンプルされた第１のピクチャを生成するために、第１のピクチャをアップサンプルし、ここで、第２の解像度は、第１の解像度よりも高く、第２の解像度を有する、アップサンプルされた第２のピクチャを生成するために、第２のピクチャをアップサンプルし、第２の解像度を有する第３のピクチャを生成するために、アップサンプルされた第１のピクチャと、アップサンプルされた第２のピクチャとに関連する、コード化された第３のビューのビデオ・データをデコードする、ように構成されたビデオ・コーダの例を表す。
【００９２】
図４は、ＭＶＣ予測パターンの例を例示する概念図である。図４の例では、（ビュー“Ｓ０”乃至“Ｓ７”を有する）８つのビューが例示されており、おのおののビューについて、１２の時間位置（“Ｔ０”乃至“Ｔ１１”）が例示されている。すなわち、図４におけるおのおのの行が、ビューに対応する一方、おのおのの列は、時間位置を示している。図４は、一般的なＭＶＣ予測構造を例示している。これは、おのおののビュー内のインタ・ピクチャ予測と、インタ・ビュー予測との両方を含みうる。予測は、矢印によって示される。ここでは、ポイント・トゥ・オブジェクト（pointed-to object）が、予測リファレンスのためにポイント・フロム・オブジェクト（pointed-from object）を使用する。ＭＶＣでは、インタ・ビュー予測が、視差動き補償によってサポートされうる。これは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用しうるが、別のビューにおけるピクチャが、リファレンス・ピクチャとして使用されるようになる。
【００９３】
一般的なＭＶＣデコード順は、タイム・ファースト（time-first）コーディングである。すなわち、おのおののアクセス・ユニットは、１つの出力時間インスタンスについて、コード化されたすべてのビューのピクチャを含むように定義されうる。例えば、時間Ｔ０に関するアクセス・ユニットは、時間Ｔ０におけるビューＳ１−Ｓ７のフレームのすべてを含みうる。アクセス・ユニットのデコード順は、出力順またはディスプレイ順とは必ずしも同じである必要はない。
【００９４】
２つのビューのコーディングもまたＭＶＣによってサポートされうる。そして、ＭＶＣの利点の１つは、ＭＶＣエンコーダが、３Ｄビデオ入力として、２つよりも多くのビューを取りうることと、ＭＶＣデコーダが、このようなマルチビュー表示をデコードしうることである。したがって、ＭＶＣデコーダを備えるいずれのレンダラも、複数のビューを備えた３Ｄビデオ・コンテンツを期待しうる。ＭＶＣでは、同じアクセス・ユニットにおけるピクチャ間の予測を可能にする（すなわち、同じ時間インスタンスを持つ）ことによって、インタ・ビュー予測が可能とされる。非ベース・ビューの１つにおけるピクチャをコーディングする場合、ピクチャは、もしも別のビューにあるが同じ時間インスタンスを持つのであれば、ピクチャが、リファレンス・ピクチャ・リストに追加されうる。インタ・ビュー予測リファレンス・ピクチャは、ちょうどインタ予測リファレンス・ピクチャのように、リファレンス・ピクチャ・リストの任意の位置に置かれうる。
【００９５】
ＭＶＣは、Ｈ．２６４／ＡＶＣデコーダによってデコード可能であるいわゆるベース・ビューを有するが、ステレオ・ビュー・ペアもまたＭＶＣによってサポートされうる。ＭＶＣの利点は、２よりも多くのビューを３Ｄビデオ入力として使用し、かつ、複数のビューによって表示されるこの３Ｄビデオをデコードするという例をサポートしうることである。ＭＶＣデコーダを有するクライアントのレンダラは、複数のビューを持つ３Ｄビデオ・コンテンツを期待しうる。
【００９６】
図４におけるフレームでは、図４における各行および各列の交点において、対応するフレームがイントラ・コード化された（すなわち、Ｉ−フレーム）か、または、一方向で（すなわち、Ｐ−フレームとして）または複数方向で（すなわし、Ｂ−フレームとして）インタ・コード化されたかを示す文字を含む陰付きブロックを用いて示されている。一般に、予測は矢印によって示される。ここで、ポイント・トゥ・フレームは、予測リファレンスに関するポイント・フロム・オブジェクトを使用する。例えば、時間位置Ｔ０におけるビューＳ２のＰ−フレームは、時間位置Ｔ０におけるビューＳ０のＩ−フレームから予測される。
【００９７】
単一のビュー・ビデオ・エンコードのように、マルチビュー・ビデオ・コーディング・ビデオ・シーケンスのフレームは、別の時間位置におけるフレームに関して予測的にエンコードされうる。例えば、時間位置Ｔ１におけるビューＳ０のｂ−フレームは、時間位置Ｔ０におけるビューＳ０のＩ−フレームからそこへ示された矢印を有する。これは、ｂ−フレームが、Ｉ−フレームから予測されることを示す。しかしながら、それに加えて、マルチビュー・ビデオ・エンコーディングのコンテキストでは、フレームは、インタ・ビュー予測されうる。すなわち、ビュー成分は、リファレンスのために、別のビューにおけるビュー成分を使用しうる。ＭＶＣでは、例えば、インタ・ビュー予測は、別のビューにおけるビュー成分が、インタ予測リファレンスであるかのように実現される。潜在的なインタ・ビュー・リファレンスは、シーケンス・パラメータ・セット（ＳＰＳ）ＭＶＣ拡張でシグナルされる。そして、インタ予測リファレンスまたはインタ・ビュー予測リファレンスのフレキシブルな順序を可能にするリファレンス・ピクチャ・リスト構成処理によって修正されうる。
【００９８】
図４は、インタ・ビュー予測のさまざまな例を提供する。図４の例では、ビューＳ１のフレームが、ビューＳ１の別の時間位置におけるフレームから予測されるのみならず、同じ時間位置におけるビューＳ０およびＳ２のフレームからインタ・ビュー予測されるように例示されている。例えば、時間位置Ｔ１におけるビューＳ１のｂ−フレームが、時間位置Ｔ０およびＴ２におけるビューＳ１のＢ−フレームのおのおのからのみならず、時間位置Ｔ１におけるビューＳ０およびＳ２のｂ−フレームからも予測される。
【００９９】
図４の例では、大文字“Ｂ”および小文字“ｂ”は、異なるエンコード方法ではなく、フレーム間の異なる階層関係を示すことが意図されている。一般に、大文字“Ｂ”フレームは、小文字“ｂ”フレームよりも、予測階層において相対的に高い。図４はまた、異なる陰付きレベルを用いて、予測階層におけるバリエーションを例示している。ここで、陰付きの多い（すなわち、比較的暗い）フレームは、陰付きの少ない（すなわち、比較的明るい）フレームよりも、予測階層において高い。例えば、図４におけるすべてのＩ−フレームは、全陰付きで例示されている一方、Ｐ−フレームは幾分明るい陰付きを有し、Ｂ−フレーム（および小文字ｂ−フレーム）は、互いに対してさまざまな陰付きレベルを有しているが、Ｐ−フレームおよびＩ−フレームの陰より常に明るい。
【０１００】
一般に、予測階層は、ビュー順位インデクスに関連付けられており、ここでは、予測階層において相対的に高いフレームが、この階層において相対的に低いフレームのデコード中にリファレンス・フレームとして使用されうるように、予測階層において相対的に高いフレームが、この階層において相対的に低いフレームをデコードする前にデコードされねばならない。ビュー順位インデクスは、アクセス・ユニットにおけるビュー成分のデコード順を示すインデクスである。ビュー順位インデクスは、Ｈ．２６４／ＡＶＣのアネックスＨ（ＭＶＣ修正）において指定されたように、ＳＰＳ  ＭＶＣ拡張において示唆されている。ＳＰＳでは、おのおののインデクスｉについて、対応するｖｉｅｗ＿ｉｄがシグナルされる。ビュー成分のデコードは、ビュー順位インデクスの昇順にしたがうものとする。ビューがすべて表示されると、ビュー順位インデクスは、０から、ビューのフル番号から１を引いた数まで、すなわち、０からｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１までの連続順になる。
【０１０１】
このように、リファレンス・フレームとして使用されるフレームは、リファレンス・フレームに関してエンコードされたフレームをデコードする前にデコードされうる。
【０１０２】
等しい階層レベルにおけるいくつかのフレームの場合、デコード順は、互いに関連することではないかもしれない。例えば、時間位置Ｔ０におけるビューＳ０のＩ−フレームは、時間位置Ｔ０におけるビューＳ２のＰ−フレームのリファレンス・フレームとして使用される。一方、このＰ−フレームは、時間位置Ｔ０におけるビューＳ４のＰ−フレームのためのリファレンス・フレームとして使用される。したがって、時間位置Ｔ０におけるビューＳ０のＩ−フレームは、時間位置Ｔ０におけるビューＳ２のＰ−フレームの前にデコードされねばならない。一方、このＰフレームは、時間Ｔ０におけるビューＳ４のＰ−フレームの前にデコードされねばならない。しかしながら、Ｓ１とＳ３との間で、デコード順は重要ではない。なぜなら、ビューＳ１およびＳ３は、予測のために互いに依存せず、予測階層において高いビューからのみ予測されるからである。さらに、ビューＳ１がビューＳ０およびビューＳ２の後にデコードされる限り、ビューＳ１はビューＳ４の前にデコードされうる。
【０１０３】
このように、階層順は、ビューＳ０乃至Ｓ７を記述するために使用されうる。表記ＳＡ＞ＳＢは、ビューＳＡが、ビューＳＢの前にデコードされるべきであることを意味する。この表記を用いると、図４の例では、Ｓ０＞Ｓ２＞Ｓ４＞Ｓ６＞Ｓ７である。さらに、図４の例に関し、Ｓ０＞Ｓ１、Ｓ２＞Ｓ１、Ｓ２＞Ｓ３、Ｓ４＞Ｓ３、Ｓ４＞Ｓ５、およびＳ６＞Ｓ５である。これらの要件を破らないどのようなビューのデコード順も可能である。したがって、ある限定のみを伴う多くの異なるデコード順が可能である。
【０１０４】
従来の３Ｄのビデオ・コーディングでは、Ｈ．２６４／ＡＶＣ（およびその拡張）デコーダを用いたステレオおよびモノ・デコード出力をサポートする要件が存在しうる。３ビュー・ケースのマルチビューおよびデプス・マップのコーディングをサポートするために、（ＭＶＣを用いてコード化された３つのフル解像度ビューの総和と、それらのデプス・マップとして測定されるように）帯域幅全体が高くなりうる。さらに、デプス・マップを含むデータ・フローは、対応するＨ．２６４／ＡＶＣワン・ビュー・ビットストリームのデータ・フローの４．５倍でありうる。
【０１０５】
本開示の技術にしたがって、ビューのうちのいくつかは、低減された解像度のピクチャを有しうる一方、その他のビューは、低減された解像度のピクチャのサンプルされたバージョンに関連する、コード化されたフル解像度のピクチャを有しうる。例えば、ビューＳ０およびビューＳ２のピクチャは、例えば半解像度のような、低減された解像度を有しうる。ビューＳ１のピクチャは、フル解像度でありうる。例えばビデオ・エンコーダ２０および／またはビデオ・デコーダ３０のようなビデオ・コーディング・デバイスは、ビューＳ０のデコードされたピクチャに関連する、ビューＳ２のピクチャをコード化しうる。ビデオ・コーディング・デバイスは、ビューＳ０およびビューＳ２のデコードされたピクチャをアップサンプルし、その後、ビューＳ０およびビューＳ２のアップサンプルされたピクチャに関連する、ビューＳ１のピクチャをデコードしうる。したがって、これらの技術は、データ・フローにおいてデプスに加えて複数のビューを提供する場合に使用される帯域幅の量を低減しうる。
【０１０６】
上記例に続いて、ビューＳ０，Ｓ１，Ｓ２のおのおのは、テクスチャ成分とデプス成分との両方を含みうる。ビューＳ０およびビューＳ２のテクスチャ成分およびデプス成分は、半解像度でありうる一方、ビューＳ１のテクスチャ成分およびデプス成分は、フル解像度でありうる。すなわち、ビューＳ０およびビューＳ２のテクスチャ成分およびデプス成分は、ビューＳ１のテクスチャ成分およびデプス成分の１／２の空間解像度を有しうる。さらに、ビューＳ０およびビューＳ２のビュー成分は、イントラ予測またはインタ予測を用いてコード化されうる。例として、時間Ｔ２におけるビューＳ０のテクスチャＢ−ピクチャは、インタ・コード化されうる。したがって、このテクスチャＢ−ピクチャのブロックは、２つの動きベクトルを用いてコード化されうる。
【０１０７】
例の目的のために、このテクスチャＢ−ピクチャにおけるブロックは、時間Ｔ０においてビューＳ０のＩ−ピクチャにおけるリファレンス・ブロックに関連してコード化され、時間Ｔ４においてビューＳ０のＢ−ピクチャにおけるリファレンス・ブロックに関連してコード化されることを仮定されたい。したがって、ブロックは、時間Ｔ０におけるＩ−ピクチャのための第１の動きベクトルと、時間Ｔ４におけるＢ−ピクチャのための第２の動きベクトルとを有しうる。本開示の技術にしたがって、ビューＳ０における時間Ｔ２におけるテクスチャＢ−ピクチャにおけるブロックに対応する（すなわち、ともにコロケートされた）デプス成分におけるブロックは、自身の、ユニークにコード化された動きベクトルを有しておらず、第１および第２の動きベクトルを用いてコード化されうる。動きベクトルは、時間Ｔ０においてＩ−ピクチャに、時間Ｔ４においてＢ−ピクチャに対応するデプス・ピクチャを参照するために使用されうる。
【０１０８】
図５Ａおよび図５Ｂは、図４に関してより詳細に説明されたインタ・ビュー予測処理を例示する概念図である。マルチビュー・データをエンコードすることに関して記載されているが、エンコードされたビデオ・データをデコードするために図５Ａおよび図５Ｂに関して記載されているものと実質的に類似した技術が使用されうる。図５Ａに図示されるように、ビデオ・エンコーダ２０は、受信ピクチャ１００とラベルされた第１のビューのピクチャを受信しうる。ビデオ・エンコーダ２０は、半解像度ピクチャ１０２を生成するために、受信ピクチャ１００をダウンサンプルしうる。その後、ビデオ・エンコーダ２０は、エンコードされたピクチャ１０４を生成するために、半解像度ピクチャ１０２をエンコードしうる。
【０１０９】
図２に関して説明されているように、ビデオ・エンコーダ２０はさらに、例えば逆量子化ユニット５８、逆変換ユニット６０、および加算器６２のように、エンコードされたピクチャをデコードするための構成要素を含む。したがって、ビデオ・エンコーダ２０は、例えば、イントラ・ビュー予測またはインタ・ビュー予測のためのリファレンス・ピクチャとして使用するため、デコードされたピクチャ１０６を生成するために、エンコードされたピクチャ１０４をデコードしうる。さらに、ビデオ・エンコーダ２０は、例えばフル解像度のピクチャを有するビューのためのインタ・ビュー予測のために、再びリファレンス・ピクチャとして使用するため、アンプサンプルされたピクチャ１０８を生成するために、デコードされたピクチャ１０６をアップサンプルしうる。
【０１１０】
類似の方式で、ビデオ・エンコーダ２０は、半解像度ピクチャ１２２を生成するために、第２のビューの受信ピクチャ１２０をダウンサンプルしうる。ビデオ・エンコーダ２０は、その後、エンコードされたピクチャ１２４を生成するために、半解像度ピクチャ１２２をエンコードしうる。図５Ａの例では、ビデオ・エンコーダ２０は、インタ・ビュー予測を実行するために、第１のビューのデコードされたピクチャ１０６に対する半解像度ピクチャ１２２を予測しうる。あるいは、または、それに加えて、ビデオ・エンコーダ２０は、半解像度ピクチャ１２２のインタ予測またはイントラ予測を実行しうる。ビデオ・エンコーダ２０は、リファレンス・ピクチャとして使用するため、デコードされたピクチャ１２６を生成するために、エンコードされたピクチャ１２４をデコードしうる。同様に、ビデオ・エンコーダ２０は、アップサンプルされたピクチャ１２８を生成するために、デコードされたピクチャ１２６をアップサンプルしうる。
【０１１１】
ビデオ・エンコーダ２０はさらに、図５Ａの例では受信ピクチャ１４０としてラベルされている第３のビューのピクチャを受信しうる。この例において、ビデオ・エンコーダ２０は、ピクチャ１４０をエンコードするために、第１のビューのアップサンプルされたピクチャ１０８と、第２のビューのアップサンプルされたピクチャ１２８とに関連する受信ピクチャ１４０を予測し、エンコードされたピクチャ１４２を生成する。同様に、ビデオ・エンコーダ２０は、デコードされたピクチャ１４４を生成するために、エンコードされたピクチャ１４２をデコードしうる。これは、ビデオ・エンコーダ２０が、他のフル解像度ビューのピクチャをインタ・ビュー予測するためのリファレンス・ピクチャとして使用しうる。
【０１１２】
このように、図５Ａにおける第１のビューおよび第２のビューは、低減された解像度のビュー、すなわち、受信ピクチャの解像度に対して低減された解像度のピクチャを有するビューの例を表す。第３のビューは、この例では、低減された解像度のビューの、アップサンプルされ、デコードされたピクチャに関連する、予測されたフル解像度のビューの例を示す。
【０１１３】
例えばビデオ・デコーダ３０のようなビデオ・デコーダは、エンコードされたピクチャ１０４，１２４，１４２を受信し、図５Ａに図示されたものと実質的に類似のデコード・タスクおよびアップサンプリング・タスクを実行しうる。例えば、ビデオ・デコーダ３０は、デコードされたピクチャ１０６を生成するために、エンコードされたピクチャ１０４をデコードし、その後、デコードされたピクチャ１０６をアップサンプルし、アップサンプルされたピクチャ１０８を生成しうる。ビデオ・デコーダ３０はまた、デコードされたピクチャ１２６を生成するために、エンコードされたピクチャ１２４をデコードしうる。その後、デコードされたピクチャ１２６をアップサンプルし、アップサンプルされたピクチャ１２８を生成しうる。ビデオ・デコーダ３０は、エンコードされたピクチャ１２４をデコードする場合、インタ・ビュー予測、インタ予測、またはイントラ予測を使用しうる。さらに、ビデオ・デコーダ３０は、エンコードされたピクチャ１４２をデコードするために、エンコードされたピクチャ１４２をインタ・ビュー予測し、デコードされたピクチャ１４４を生成する。ビデオ・デコーダ３０は、エンコードされたピクチャ１４２をデコードする場合、アップサンプルされたピクチャ１０８に関連する、エンコードされたピクチャ１４２をインタ・ビュー予測しうる。もちろん、ビデオ・デコーダ３０は、その代わりに、または、それに加えて、エンコードされたピクチャ１４２をデコードするために、エンコードされたピクチャ１４２を、インタ予測またはイントラ予測しうる。
【０１１４】
図５Ｂは、本開示にしたがうインタ・ビュー予測技術を例示する別の概念図である。図５Ｂは、左ビュー（ＶＬ）、右ビュー（ＶＲ）、および中央ビュー（ＶＣ）のみならず、これらビュー間のインタ・ビュー予測をも例示する。例示されているビュー成分は、テクスチャ・ビュー成分またはデプス・ビュー成分を表しうる。この例において、ＶＬ成分１５０は、ＶＲ成分１５２を予測するために使用され、ＶＬ成分１５０およびＶＲ成分１６２は、ＶＣ成分１５４を予測するために使用される。特に、ＶＬ成分１５０およびＶＲ成分１５２は、ＶＣ成分１５４に対して低減された解像度を有する。したがって、ＶＬ成分１５０は、ＶＬアップサンプル成分１５６を生成するためにアップサンプルされうる。そして、ＶＲ成分１５２は、ＶＲアップサンプル成分１５８を生成するためにアップサンプルされうる。したがって、ＶＣ成分１５４は、ＶＬアップサンプル成分１５６およびＶＲアップサンプル成分１５８から予測されうる。
【０１１５】
ＶＬ成分１５０からＶＬアップサンプル成分１５６、および、ＶＲ成分１５２からＶＲアップサンプル成分１５８をアップサンプルするために、さまざまなフィルタが使用されうる。例えば、Ｈ．２６４／ＡＶＣ  ６タップをアップサンプリング・フィルタが使用されうる。ビデオ・デコーダ３０は、このようなアップサンプリングを、直ちに実行しうる。これによって、ＶＬアップサンプル成分１５６およびＶＲアップサンプル成分１５８を格納するために、余分なピクチャ・バッファは必要とされなくなる。
【０１１６】
図６は、例えばビデオ・エンコーダ２０によるコーディングのために準備されているビュー成分のセットの例を例示する概念図である。この例では、ＶＬ成分１８０は、１０２４×７６８ピクセルの空間解像度を有し、ＶＣ成分１８２は、１０２４×７６８ピクセルの空間解像度を有し、ＶＲ成分１８４は、１０２４×７６８ピクセルの空間解像度を有する。ビデオ・エンコーダ２０は、５１２×７６８の空間解像度を有するＶＬ成分１９０を生成するために、ＶＬ成分１８０をダウンサンプルし、５１２×７６８の空間解像度を有するＶＲ成分１９０を生成するために、ＶＲ成分１９４をダウンサンプルしうる。ビデオ・エンコーダ２０は、ＶＣ成分１８２をダウンサンプルする必要はない。したがって、（この例では１０２４×７６８である）ＶＣ成分１８２の空間解像度に等しい空間解像度を有するＶＣ成分１９２をコード化しうる。さまざまな例において、これら成分は、水平方向または垂直方向の何れか、またはその両方でダンプサンプルされうることが注目されるべきである。ビデオ・エンコーダ２０またはその他の構成要素は、アクセス・ユニット１９６に、ＶＬ成分１９０、ＶＲ成分１９４、およびＶＣ成分１９２をカプセル化しうる。
【０１１７】
この例において、ＶＬ成分１９０は、受信されたＶＬ成分１８０の１／２の空間解像度を有する。同様に、ＶＲ成分１９４は、この例において、受信されたＶＲ成分１９４の１／２の空間解像度を有する。したがって、ビデオ・エンコーダ２０は、受信された対応する成分に対して低減された空間解像度を有するＶＬ成分１９０およびＶＲ成分１９４をエンコードしうる。しかしながら、ビデオ・エンコーダ２０は、フル解像度、すなわち、受信されたＶＣ成分１８２と同じ解像度を有するＶＣ成分１９２をエンコードしうる。デプス・マップは、図５Ａ、図５Ｂ、および図６には例示されていないが、これらビュー成分が、テクスチャ成分とデプス成分との両方を含みうることと、これらデプス成分が、同じビュー成分における対応するテクスチャ成分と同じ空間解像度を有しうることが理解されるべきである。
【０１１８】
本開示の技術にしたがって、ビデオ・エンコーダ２０（または、ソース・デバイス１２のその他の要素）は、新たなプロファイルである「マルチビュー・デプス・プロファイル」および／または「非対称マルチビュー・デプス・プロファイル」にしたがって、ビデオ・データのビューをエンコードしうる。ビットストリームは、さまざまな例において、本開示の技術にしたがう４つのシーケンス・パラメータ・セット（ＳＰＳ）、これら４つのＳＰＳの任意の組み合わせ、または概念的に類似したシグナリング・データを含みうる。  
・ベース・ビュー成分およびテクスチャ・ビュー成分によって使用されるＡＶＣ  ＳＰＳ；  
・ステレオ高のプロファイルを持ち、ＭＶＣデコードのコンテキストにおける低解像度テクスチャ・ビュー成分のために使用されるサブセットＳＰＳ；  
・例えば「マルチビュー・デプス・プロファイル」のようなプロファイルを持ち、３ＶＤ（マルチビュー・ビデオ・プラス・デプス）デコードのコンテキストにおいて（低解像度の）デプス・ビュー成分によって使用されるべきサブセットＳＰＳ。シンタックス要素の観点では、これは、ステレオ高プロファイルを持つサブセットＳＰＳのスーパセットである。このことは、これが、Ｈ．２６４／ＡＶＣ  ＳＰＳ、ＳＰＳ  ＭＶＣ拡張、および、例えば異なるビュー冗長性を有しうるデプス・マップのシーケンス・レベル特性に関連するさらなる拡張において指定されたようなすべてのシンタックス要素を含んでおり、シグナルされるべきであることを意味する。および／または、  
・３ＤＶ（マルチビュー・ビデオ・プラス・デプス）デコードのコンテキストにおいて、フル解像度を有するデプス・ビュー成分によって使用されるべき、例えば「非対称マルチビュー・デプス・プロファイル」であるプロファイルを持つサブセットＳＰＳ。シンタックス要素の観点では、このＳＰＳは、ステレオ高プロファイル、またはマルチビュー高プロファイル、または「マルチビュー・デプス・プロファイル」を持つＳＰＳのサブセットである。このことは、これが、Ｈ．２６４／ＡＶＣ  ＳＰＳ、半解像度を持つテクスチャ・ビュー成分のためのＳＰＳ  ＭＶＣ拡張、例えば、ビュー冗長性のような半解像度デプス・シーケンスのための特性、および、これらビューのビュー冗長性を含むさらなるビューの特性において指定されるようなすべてのシンタックス要素を含んでいることを意味する。
【０１１９】
ＳＰＳでは、半解像度のビューが水平（または垂直）方向においてダウンサンプルされたのであれば、ＭＢ（マクロブロック）サイズの単位でシグナルされたような幅（または高さ）は、他のＳＰＳにおいてシグナルされた幅（または高さ）の２倍である。
【０１２０】
以下に示す表１は、「非対称なマルチビュー・デプス・プロファイル」を備えるサブセットＳＰＳの例を例示する。サブセットＳＰＳは、ＳＰＳ  ＭＶＣ拡張後、さらなるＳＰＳ非対称デプス拡張として表１のシンタックス要素を有しうる。  
【表１】
2014524707.tif 000003
【０１２１】
これらのシンタックス要素は、以下の意味を有しうる。ａｄｄｉｔｉｏｎａｌ＿ｖｉｅｗ＿ｆｌａｇは、ＡＶＣまたはＭＶＣ準拠のサブ・ビットストリームにおける解像度よりも高い解像度を持つさらなるビューが存在するか否かを示しうる。ｎｕｍ＿ａｄｄｉｔｉｏｎａｌ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１は、より高い解像度を持つさらなるビューの数を指定しうる。これは、指定されていない場合、−１であると推定されうる。ｖｉｅｗ＿ｉｄ  以下の表２に示されるように、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ａｓｙｍ＿３ＤＶ＿ｅｘｔｅｎｓｉｏｎ  ＳＰＳが、サブセットＳＰＳ  ＲＢＳＰに含まれうる。  
【表２】
2014524707.tif 000004
【０１２２】
このように、サブセット・シーケンス・パラメータ・セットのプロファイル・インジケータ（ｐｒｏｆｉｌｅ＿ｉｄｃ）が、対応するシーケンスのためのプロファイルが、非対称なマルチビュー・デプス・プロファイルに準拠していることを示す場合、サブセット・シーケンス・パラメータ・セットはさらに、例えば表１および表２に関して記述された情報のようなシーケンス・パラメータ・セット非対称３次元ビデオ拡張に対応する情報を含みうる。表２に図示されるように、従来のＨ．２６４／ＡＶＣの“ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ１＿ｆｌａｇ”は、この拡張例では、“ｂｉｔ＿ｅｑｕａｌ＿ｔｏ＿ｏｎｅ”となるようにリネームされる。さらに、“ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ２＿ｄａｔａ＿ｆｌａｇ”は、ａｄｄｉｔｉｏｎａｌ＿ｅｘｔｅｎｓｉｏｎ２＿ｄａｔａ＿ｆｌａｇに対応するデータによって伝送される、さらなる拡張性を可能にするために、この拡張例の一部として追加される。従来のＨ．２６４／ＡＶＣのサブセットＳＰＳ（および、特に、Ｈ．２６４／ＡＶＣのＭＶＣ拡張）に対する変更によって、本開示のサブセットＳＰＳは、「新たなサブセットＳＰＳ］と称されうる。あるいは、本開示のサブセットＳＰＳは、例えばＨ．２６４／ＡＶＣのＭＶＣ拡張のサブセットＳＰＳの修正バージョンのような修正済のサブセットＳＰＳと称されうる。
【０１２３】
図７Ａおよび図７Ｂは、ビットストリームにおけるアクセス・ユニット構造の例を例示する概念図である。図７Ａの例では、アクセス・ユニット２００は、第１のビューに対応するビュー成分２０２と、第２のビューに対応するビュー成分２１２と、第３のビューに対応するビュー成分２２２とを含む。ビュー成分２０２は、テクスチャ成分２０４とデプス成分２０６とを含み、ビュー成分２１２は、テクスチャ成分２１４とデプス成分２１６とを含み、ビュー成分２２２は、テクスチャ成分２２４とデプス成分２２６とを含む。一般に、テクスチャ成分２０４は、デプス成分２０６と同じ空間解像度を有し、テクスチャ成分２１４は、デプス成分２１６と同じ空間解像度を有し、テクスチャ成分２２４は、デプス成分２２６と同じ空間解像度を有する。
【０１２４】
ビュー成分２０２，２１２は、低減された解像度のビューに相当しうる。したがって、テクスチャ成分２０４およびデプス成分２０６は、例えば半解像度のように、低減された解像度を有しうる。同様に、テクスチャ成分２１４およびデプス成分２１６もまた、例えば半解像度のように、低減された解像度を有しうる。ビュー成分２２２は、フル解像度ビューに相当しうる。したがって、テクスチャ成分２２４およびデプス成分２２６は、フル解像度を有しうる。さらに、テクスチャ成分２２４は、テクスチャ成分２２４の予測データが、テクスチャ成分２０４のアップサンプルされたバージョンの少なくとも一部と、テクスチャ成分２１４のアップサンプルされたバージョンの少なくとも一部とを含むようにコード化されうる。同様に、デプス成分２２６は、デプス成分２２６の予測データが、デプス成分２０６のアップサンプルされたバージョンの少なくとも一部と、デプス成分２１６のアップサンプルされたバージョンの少なくとも一部とを含むようにコード化されうる。
【０１２５】
図７Ｂは、アクセス・ユニット２５０の別の例を例示する概念図である。この例において、アクセス・ユニット２５０は、コード化されたＶＬテクスチャ成分２５２と、コード化されたＶＬデプス成分２５４と、コード化されたＶＲテクスチャ成分２５６と、コード化されたＶＲデプス成分２５８と、コード化されたＶＣテクスチャ成分２６０と、コード化されたＶＣテクスチャ成分２６２とを含む。成分２５２，２５４，２５６，２５８は、半解像度（この例では、５１２×７６８）を有する一方、成分２６０，２６２は、フル解像度（この例では、１０２４×７６８）を有する。この例において、成分２５２，２５４は左ビューに相当し、成分２５６，２５８は右ビューに相当し、成分２６０，２６２は中央ビューに相当する。
【０１２６】
アクセス・ユニットは、Ｍ＋Ｎ個のビュー成分を含みうる。ここで、Ｍは、半解像度のビューの数を示す整数であり、Ｎは、フル解像度のビューの数を示す整数である。図７Ａおよび図７Ｂの例では、Ｍは２以上であり、Ｎは１以上である。これらの例におけるおのおののビューは、テクスチャ成分およびデプス成分を含んでいる。そして、ビューのデプス成分は、ビットストリームにおいて、同じビューのテクスチャ成分に直ちに後続しうる。
【０１２７】
アクセス・ユニット構成のみならず、本開示の情報（例えば、ＳＰＳデータ構造）を提供することによって、デバイスは、サブ・ビットストリーム抽出を実行しうる。例えば、ビデオ・デコーダ３０、宛先デバイス１４、または他のデバイス（例えば、コンテンツ配信ネットワークのルータ）は、本開示の技術にしたがって、複数のビューのデータを含むフル・ビットストリームから、サブ・ビットストリームを抽出しうる。このデバイスは、フル・ビットストリームから、ＭＶＣ準拠ビットストリームまたはステレオ・ビューに加えて、デプス・サブ・ストリームを抽出しうる。
【０１２８】
サブ・ビットストリームが、同じ解像度を有するビューから抽出されると仮定すると、ステレオ・サブ・ビットストリームまたはステレオ・ビデオに加えてデプス・サブ・ビットストリームを抽出する際、サブ・ビットストリームは、必ずしも、非対称な解像度を含んでいる必要はないであろう。したがって、“ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ａｓｙｍ＿３ＤＶ＿ｅｘｔｅｎｓｉｏｎ”を備えたサブセットＳＰＳを抽出する必要も、抽出するデバイスが、この情報を、例えばビデオ・デコーダ３０へ提供する必要もないであろう。ビデオ・デコーダ３０がこの情報を受信しない場合、出力のためのビュー成分ターゲットが、ベース・ビューよりも高い解像度を有していないのであれば、抽出するデバイスはまた、ａｓｙｍ＿ｍｕｌｔｉｖｉｅｗ＿ｄｅｐｔｈ＿ｐｒｏｆｉｌｅのプロファイルを持つサブセットＳＰＳを破棄しうる。
【０１２９】
図８は、本開示の技術にしたがうビデオ・エンコード方法を例示するフローチャートである。ビデオ・エンコーダ２０は、第１のビューの第１のピクチャを受信しうる（３００）。例えば、ビデオ・エンコーダ２０は、特定の解像度を有する第１のピクチャを受信しうる。ビデオ・エンコーダ２０は、第１のピクチャを、例えば半解像度のような低減された解像度にダウンサンプルしうる（３０２）。ビデオ・エンコーダ２０は、水平方向、垂直方向、またはこれら両方における解像度を低減しうる。その後、ビデオ・エンコーダ２０は、ダウンサンプルされた第１のピクチャをエンコードしうる（３０４）。ビデオ・エンコーダ２０はまた、例えば、リファレンス・ピクチャとして使用するために、この第１のピクチャをデコードしうる（３０６）。
【０１３０】
ビデオ・エンコーダ２０はまた、第２のビューの第２のピクチャを受信しうる（３０８）。第２のピクチャは、第１のピクチャのものと同じ初期解像度を有しうる。ビデオ・エンコーダ２０は同様に、第２のピクチャを、例えば半解像度のような低減された解像度にダウンサンプルしうる（３１０）。ビデオ・エンコーダ２０はさらに、ダウンサンプルされた第２のピクチャをエンコードしうる（３１２）。いくつかの例において、ビデオ・エンコーダ２０は、インタ・ビュー予測を用いて、デコードされた第１のピクチャに関連する、ダウンサンプルされた第２のピクチャをエンコードしうる。あるいは、または、それに加えて、ビデオ・エンコーダ２０は、ダウンサンプルされた第２のピクチャを、イントラ予測またはインタ予測を用いてエンコードしうる。さらに、ビデオ・エンコーダ２０は、リファレンス・ピクチャとして使用するために、第２のピクチャをデコードしうる（３１３）。これは、デコードされた第１のピクチャに関連する第２のピクチャをデコードすることを含みうる。
【０１３１】
ビデオ・エンコーダ２０はさらに、デコードされた第１および第２のピクチャをアップサンプルしうる（３１４）。ビデオ・エンコーダ２０はさらに、第３のビューの第３のピクチャを受信しうる（３１６）。第３のピクチャは、第１および第２のピクチャのものと同じ初期解像度を有しうる。しかしながら、ビデオ・エンコーダ２０は、第３のピクチャの解像度をダウンサンプルするのではなく、アップサンプルされた第１および第２のピクチャに関連する第３のピクチャを、インタ・ビュー予測を用いてエンコードしうる（３１８）。もちろん、別の例では、ビデオ・エンコーダ２０はさらに、または、その代わりに、アップサンプルされた唯一のピクチャに対する第３のピクチャを、インタ・ビュー予測を用いて、または、インタ予測またはイントラ予測を用いてエンコードしうる。さらに、ビデオ・エンコーダ２０は、インタ予測、イントラ予測、および／または、インタ・ビュー予測を用いて、さらなるビューのピクチャをエンコードしうる。
【０１３２】
ビデオ・エンコーダ２０、または、ビデオ・エンコーダ２０に関連付けられたその他のデバイスもまた、例えば、これらビューの空間解像度、および／または、これらビューが互いにどのようにして予測されるのかを示すために、前述したＳＰＳデータ構造を構築するように構成されうる。さらに、これらピクチャは、それぞれのビューのテクスチャ情報および／またはデプス情報の何れかまたは両方を含みうる。前述したように、ビデオ・エンコーダ２０は、インタ予測を用いてデプス成分をエンコードおよびデコードする場合、デプス成分のコロケートされたブロックをエンコードおよびデコードするために、対応するテクスチャ成分のブロックについて計算された動き情報を再使用しうる。
【０１３３】
このように、図８の方法は、第２の解像度を有するダウンサンプルされた第１のピクチャを生成するために、第１の解像度を有する第１のビューの、受信された第１のピクチャをダウンサンプルすることと、ここで、第２の解像度は第１の解像度より低い、第２の解像度を有するダウンサンプルされた第２のピクチャを生成するために、第１の解像度を有する第２のビューの、受信された第２のピクチャをダウンサンプルすることと、ダウンサンプルされた第１のピクチャをエンコードすることと、ダウンサンプルされた第２のピクチャをエンコードすることと、第１のピクチャをデコードすることと、第２のピクチャをデコードすることと、第１の解像度を有するアップサンプルされた第１のピクチャを生成するために、デコードされた第１のピクチャをアップサンプルすることと、第１の解像度を有するアップサンプルされた第２のピクチャを生成するために、デコードされた第２のピクチャをアップサンプルすることと、コード化された第３のビューのビデオ・データを生成するために、アップサンプルされた第１のピクチャと、アップサンプルされた第２のピクチャとに対する、受信された第３のピクチャをエンコードすることと、ここで、受信された第３のピクチャは、第１の解像度を有する、を含む方法の例を表す。
【０１３４】
図９は、本開示の技術にしたがうビデオ・デコード方法の例を例示するフローチャートである。このデコード方法は、ビデオ・デコーダ３０によって完全にまたは部分的に実行されうる。この例において、ビデオ・デコーダ３０は、第１のビューの第１のピクチャを受信しうる（３３０）。第１のピクチャは、フル解像度に対して低減された解像度を有しうる。例えば、ビデオ・デコーダ３０は、第１のピクチャの解像度が、別のピクチャの解像度よりも低いことを示すシグナリング・データを受信しうる。例として、このシグナリング・データは、第１のピクチャが、例えばマクロブロックのユニットまたはＬＣＵにおいて、別のフル解像度のピクチャの１／２の空間解像度を有している、ことを示すＳＰＳに含まれうる。ビデオ・デコーダ３０は第１のピクチャをデコードしうる（３３２）。
【０１３５】
ビデオ・デコーダ３０はまた、第２のビューの第２のピクチャを受信しうる（３３４）。第２のピクチャはさらに、例えば、フル解像度に対する半解像度のように、第１のピクチャの、低減された解像度を有しうる。ビデオ・デコーダ３０は、第２のピクチャをデコードしうる（３３６）。いくつかの例において、ビデオ・デコーダ３０は、デコードされた第１のピクチャに対する第２のピクチャを、インタ・ビュー予測を用いてデコードしうる。もちろん、ビデオ・デコーダ３０は、その代わりに、または、それに加えて、第２のピクチャを、インタ予測またはイントラ予測を用いてデコードしうる。ビデオ・デコーダ３０は、ピクチャの特定のブロックを、イントラ予測を用いて、インタ予測を用いて、および／または、インタ・ビュー予測を用いてデコードするのかを示すモード情報を受信しうる。さらに、シグナリング・データは、特定のビューのピクチャが、１または複数の他のビューに対してインタ・ビュー予測されうるか否かを示しうる。例えば、シグナリング・データは、第２のビューが、第１のビューに対してインタ・ビュー予測されうるのかを示しうる。
【０１３６】
ビデオ・デコーダ３０はまた、デコードされた第１および第２のピクチャをアップサンプルしうる（３３８）。例えば、ビデオ・デコーダ３０は、デコードされた第１および第２のピクチャを、前述したシグナリング・データに基づいてアップサンプルし、第１および第２のピクチャが、低減された解像度を有することを示す。ビデオ・デコーダ３０は、第１および第２のピクチャをアップサンプルするために、これらピクチャが、水平方向において、低減された解像度を有する場合には、これらピクチャの交互の列のピクセル値を、または、これらピクチャが、垂直方向において、低減された解像度を有する場合には、これらピクチャの交互の行のピクセル値を補間しうる。これらピクチャが、水平方向および垂直方向において、低減された解像度を有する場合には、ビデオ・デコーダ３０は、垂直方向によって後続される水平方向における値を最初に補間しうる。あるいは、水平方向によって後続される垂直方向における値を最初に補間しうる。
【０１３７】
ビデオ・デコーダ３０はまた、第３のビューの第３のピクチャを受信しうる（３４０）。これは、ビデオ・デコーダ３０が、アップサンプルされた第１および第２のピクチャに関連してデコードしうる（３４２）。シグナリング・データは、第３のピクチャがフル解像度を有することを示しうる。したがって、ビデオ・デコーダ３０は、第３のピクチャをアップサンプルする必要はない。さらに、ビデオ・デコーダ３０は、このシグナリング・データから、第３のピクチャが、第１のビューおよび第２のビューに関連してインタ・ビュー予測されていることを判定しうる。したがって、ビデオ・デコーダ３０は、第３のビューの第３のピクチャをデコードするインタ・ビュー予測を実行するためのリファレンス・ピクチャとして、これらアップサンプルされた第１および第２のピクチャを使用しうる。このように、第３のビューの第３のピクチャは、受信されるとフル解像度を有しうる一方、第１および第２のピクチャは、受信されると（例えば、第３のピクチャの解像度に対して）低減された解像度を有しうる。いくつかの例では、第１および第２のピクチャは、水平方向または垂直方向で受信されたような第３のピクチャの解像度の１／２を有しうる。
【０１３８】
前述したように、これらピクチャは、テクスチャ・ビュー成分またはデプス・ビュー成分を備えうる。ビデオ・デコーダ３０は、テクスチャ・ビュー成分とデプス・ビュー成分との両方について、図９の方法と類似の処理を使用しうる。例えば、ビデオ・デコーダ３０は、まず、この方法を用いてテクスチャ・ビュー成分をデコードしうる。その後、この方法を用いて、デプス・ビュー成分をデコードしうる。あるいは、ビデオ・デコーダ３０は、第１のビューの対応するデプス・ビュー成分が後続する第１のビューのテクスチャ・ビュー成分をデコードし、その後、第２のビューの対応するデプス・ビュー成分が後続する第２のビューのテクスチャ・ビュー成分をデコードするという具合である。
【０１３９】
いくつかの例では、ビデオ・デコーダ３０は、テクスチャ・ビュー成分のデコード中、テクスチャ・ビュー成分のビデオ・データのブロックについてシグナルされた動き情報をデコードしうる。動き情報は、例えば、リスト・インジケータ（例えば、リスト０、リスト１、または結合されたリスト）、インジケートされたリストにおける対応するリファレンス・ピクチャを識別するリファレンス・ピクチャ・インデクス、水平成分、および垂直成分を備えうる。
【０１４０】
水平成分および垂直成分は、動きベクトル予測因子に適用されるべき差分値を備えうる。動きベクトル予測因子は、さまざまな例において、空間的に近隣するブロック、時間的にコロケートされたブロック、または、別のビューにおいてコロケートされたブロックの動きベクトルに対応しうる。ビデオ・デコーダ３０は、（例えば、動きベクトル候補のセットから動きベクトルのメジアンを計算することによって）規定された選択スキームを用いて暗黙的に、または、（例えば、動きベクトル因子の位置を示す情報を受信することによって）明示的に動きベクトル因子を決定しうる。ビデオ・デコーダ３０は、その後、水平差分値を、動きベクトル因子の水平成分へ、垂直差分値を、動きベクトル因子の垂直成分へ加えることによって、現在のブロックの動きベクトルをデコードしうる。
【０１４１】
いくつかの例では、ビデオ・デコーダ３０は、デプス成分の対応するブロックをデコードするために、テクスチャ成分の対応するブロックの動き情報に加えて、デプス成分のブロックの動き情報をデコードするのではなく、テクスチャ成分のブロックの、デコードされた動き情報を再使用しうる。例えば、ビデオ・デコーダ３０は、テクスチャ成分のブロックの動き情報をデコードしうる。その後、ビデオ・デコーダ３０は、対応するデプス成分においてコロケートされたブロックをデコードするために、デコードされた動き情報を使用しうる。このように、デプス成分のブロックのためにさらなる動き情報がシグナルされる必要はない。
【０１４２】
このように、図９の方法は、第１の解像度を有する第１のピクチャを生成するために、コード化された第１のビューのビデオ・データをデコードすることと、第１の解像度を有する第２のピクチャを生成するために、コード化された第２のビューのビデオ・データをデコードすることと、第２の解像度を有するアップサンプルされた第１のピクチャを生成するために、第１のピクチャをアップサンプルすることと、ここで、第２の解像度は、第１の解像度よりも高い、第２の解像度を有するアップサンプルされた第２のピクチャを生成するために、第２のピクチャをアップサンプルすることと、第２の解像度を有する第３のピクチャを生成するために、アップサンプルされた第１のピクチャとアップサンプルされた第２のピクチャに関連する、コード化された第３のビューのビデオ・データをデコードすることと、を含む方法の例を表す。
【０１４３】
図１０は、テクスチャ・ビュー成分とデプス・ビュー成分との間で動きベクトルを再使用することを例示する概念図である。図１０の例は、さまざまな時間位置におけるテクスチャ成分およびデプス成分を示す。具体的には、ピクチャ３５４は、時間位置Ｔにおけるテクスチャ・ビュー成分の例を示す。ピクチャ３５４は、ピクチャ３５０のリファレンス・ブロック３５２に関連する、予測されたブロック３５６を含んでいる、ここで、ピクチャ３５０は、時間位置Ｘにおけるテクスチャ・ビュー成分の例を示す。時間位置Ｘは、時間位置Ｔよりも早くまたは遅く生じうるが、ピクチャ３５０は、ピクチャ３５４よりも前にデコードされうる。
【０１４４】
ブロック３５６のコード化されたデータは、リファレンス・ブロック３５２の位置を示す動きベクトル３５８を定義する動き情報を含みうる。例えば、動き情報は、リスト・インジケータ、リファレンス・ピクチャ・インデクス、水平成分、垂直成分、および、恐らくは、動きベクトル因子の明示的なインジケータを含みうる。したがって、この動き情報は、ブロック３５６のためにシグナルされうる。
【０１４５】
図１０はさらに、ピクチャ３５４に対応するデプス・マップ３６４を例示する。すなわち、デプス・マップ３６４とピクチャ３５４との両方とも、時間位置Ｔにおいて生じる。したがって、共通のビュー成分は、ピクチャ３５４に対応するテクスチャ・ビュー成分と、デプス・マップ３６４に対応するデプス・ビュー成分との両方を含みうる。同様に、図１０は、ピクチャ３５０に対応するデプス・マップ３６０を例示する。デプス・マップ３６４のブロック３６６は、この例では、対応するピクチャ３５４におけるブロック３５６とともにコロケートされる。
【０１４６】
本開示の技術によれば、（例えばビデオ・エンコーダ２０および／またはビデオ・デコーダ３０のような）ビデオ・コーダは、コロケートされたブロック３６６をコーディングする場合、ブロック３５６の動き情報を再使用しうる。したがって、ブロック３６６のために動き情報がシグナルされる必要はない。代わりに、ブロック３５６のためにシグナルされる動き情報は、ブロック３６６をデコードするために使用されうる。ブロック３６６は、対応するデプス・マップ３６４において、ブロック３５６とともにコロケートされうる。この動き情報の再使用は、動きベクトル３５８と動きベクトル３６８との間の矢印によって表される。したがって、動き情報は、動きベクトル３６８をも定義する。これは、動きベクトル３６８を生成するためにさらなる動き情報をシグナルする必要はないことを示すために、破線を用いて例示される。動きベクトル３６８は、デプス・マップ３６０のリファレンス・ブロック３６２の位置を示す。リファレンス・ブロック３６２は、対応するピクチャ３５０のリファレンス・ブロック３５２とコロケートされる。
【０１４７】
１または複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実現されうる。ソフトウェアで実現されるのであれば、これら機能は、コンピュータ読取可能な媒体におけるコードまたは１または複数の命令群で送信されるか格納され、ハードウェア・ベースの処理ユニットによって実行されうる。コンピュータ読取可能な媒体は、コンピュータ読取可能な記憶媒体を含みうる。これは、例えばデータ記憶媒体のような有形な媒体に対応するか、または、例えば通信プロトコルにしたがって、１つの場所から別の場所へのコンピュータ・プログラムの転送を容易にする任意の媒体を含む通信媒体に対応する。このように、コンピュータ読取可能な媒体は、一般に、（１）非一時的である有形のコンピュータ読取可能な記憶媒体、または、（２）例えば信号または搬送波のような通信媒体に対応しうる。データ記憶媒体は、本開示において記述された技術を実施するための命令群、コード、および/または、データ構造を取得するために１または複数のコンピュータまたは１または複数のプロセッサによってアクセスされうる任意の利用可能な媒体でありうる。コンピュータ・プログラム製品は、コンピュータ読取可能な媒体を含みうる。
【０１４８】
限定する訳ではなく、例として、このようなコンピュータ読取可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、またはその他の光ディスク記憶装置、磁気ディスク記憶装置、またはその他の磁気記憶デバイス、フラッシュ・メモリ、または、命令群またはデータ構造の形式でかつコンピュータによってアクセスされうる所望のプログラム・コードを格納するために使用されうるその他任意の媒体を備えうる。さらに、いかなる接続も、コンピュータ読取可能な媒体として適切に称される。例えば、同軸ケーブル、光ファイバ・ケーブル、ツイスト・ペア、デジタル加入者線（ＤＳＬ）、または、例えば赤外線やラジオやマイクロ波のような無線技術を用いて、ウェブサイト、サーバ、またはその他の遠隔ソースから命令群が送信されるのであれば、同軸ケーブル、光ファイバ・ケーブル、ツイスト・ペア、ＤＳＬ、あるいは、赤外線やラジオやマイクロ波のような無線技術が、媒体の定義に含まれる。しかしながら、コンピュータ読取可能な記憶媒体およびデータ記憶媒体は、コネクション、搬送波、信号、またはその他の一時的な媒体を含まず、代わりに、非一時的な、有形の記憶媒体に向けられていることが理解されるべきである。本明細書で使用されるディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクト・ディスク（ｄｉｓｃ）（ＣＤ）、レーザ・ディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｄｉｓｋ）、およびブルー・レイ・ディスク（ｄｉｓｃ）を含む。これらｄｉｓｃは、レーザを用いてデータを光学的に再生する。それに対して、ｄｉｓｋは、通常、データを磁気的に再生する。前述した組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
【０１４９】
命令群は、例えば１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ロジック・アレイ（ＦＰＧＡ）、またはその他等価な集積またはディスクリート論理回路のような１または複数のプロセッサによって実行されうる。したがって、本明細書で使用されているように、用語「プロセッサ」は、前述した構成、または、本明細書に記載された技術の実施のために適切なその他任意の構成のうちの何れかを称しうる。さらに、いくつかの態様では、本明細書に記載された機能は、エンコードおよびデコードのために構成された専用のハードウェアおよび／またはソフトウェア・モジュール内に適用されうるか、または、結合されたコーデック内に組み込まれうる。さらに、これら技術は、１または複数の回路または論理要素で完全に実現されうる。
【０１５０】
本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む種々さまざまなデバイスまたは装置において実現されうる。さまざまな構成要素、モジュール、またはユニットは、本開示では、開示された技術を実行するように構成されたデバイスの機能態様を強調するように記載されているが、異なるハードウェア・ユニットによる実現を必ずしも必要とする訳ではない。むしろ、前述されたように、さまざまなユニットは、適切なソフトウェアおよび／またはハードウェアと連携する、前述されたような１または複数のプロセッサを含む共通のハードウェア・ユニットの集合によって提供されうるか、コーデック・ハードウェア・ユニットに結合されうる。
【０１５１】
さまざまな例が記載された。これらの例およびその他の例は、以下の特許請求の範囲のスコープ内である。
【図１】
2014524707.tif 000005
【図２】
2014524707.tif 000006
【図３】
2014524707.tif 000007
【図４】
2014524707.tif 000008
【図５Ａ】
2014524707.tif 000009
【図５Ｂ】
2014524707.tif 000010
【図６】
2014524707.tif 000011
【図７Ａ】
2014524707.tif 000012
【図７Ｂ】
2014524707.tif 000013
【図８】
2014524707.tif 000014
【図９】
2014524707.tif 000015
【図１０】
2014524707.tif 000016
【国際調査報告】
2014524707.tif 000017
2014524707.tif 000018
2014524707.tif 000019