(57)【要約】  ビデオ符号化／復号方法およびビデオエンコーダ／デコーダが提供され、ビデオ符号化方法は以下のステップ、つまり第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビューと第２のビューを合成することによって少なくとも１層の予測情報抽出するステップと、少なくとも１層の予測情報にエンハンスメントレイヤ符号化を実行するステップと、第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得するステップとを含んでおり、他のビデオ符号化方法は、以下のステップ、つまり第１のビューにベースレイヤ符号化を実行して、ローカル復号された第１のビューと第２のビューを合成することによって第１の層の予測情報を抽出するステップと、第１の層の予測情報にエンハンスメントレイヤ符号化を実行するステップと、少なくとも１層の予測情報インクリメントを抽出して、これにエンハンスメントレイヤ符号化を実行するステップと、ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得するステップとを含む。立体ビデオのコンテンツに対して階層的な符号化／復号を実現して、異なるネットワークで接続された種々の立体ディスプレイデバイスの異なるレベルの立体表示要件を満たすことができる。【選択図】図４
2011501581.tif 000002
【特許請求の範囲】
【請求項１】
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビュー及び第２のビューを合成することによって少なくとも１層の予測情報を抽出するステップと、
前記少なくとも１層の予測情報にそれぞれエンハンスメントレイヤ符号化を実行するステップと、
前記第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得するステップと、
を備えるビデオ符号化方法。
【請求項２】
前記予測情報が運動ベクトル情報および／または深度／視差情報である、請求項１に記載のビデオ符号化方法。
【請求項３】
前記ベースレイヤコードおよび前記エンハンスメントレイヤコードが運動補償による離散コサイン変換コードである、請求項１に記載のビデオ符号化方法。
【請求項４】
前記第１のビューを前記基準ビューとして使用して前記第１のビューに前記ベースレイヤ符号化を実行する前に、ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析し、前記ディスプレイデバイスおよび／またはネットワークによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するステップをさらに備え、
前記ローカル復号された第１のビュー及び前記第２のビューを合成することによって前記少なくとも１層の予測情報を抽出するステップを、前記ローカル復号された第１のビュー及び前記第２のビューを合成することによって、前記ディスプレイデバイスおよび／または前記ネットワークによって必要とされる前記３Ｄビューディスプレイレベルに対応する少なくとも１層の予測情報を抽出するステップとした、請求項１〜請求項３の何れか１項に記載のビデオ符号化方法。
【請求項５】
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュールと、
ローカル復号された第１のビュー及び第２のビューを合成することによって少なくとも１層の予測情報を抽出するように適合された少なくとも１つの予測情報抽出モジュールと、
前記少なくとも１層の予測情報にエンハンスメントレイヤ符号化を実行するように適用されたエンハンスメントレイヤ符号化モジュールと、
前記第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得するように適合された多重化モジュールと、
を備えるビデオコーダ。
【請求項６】
ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析して、前記ディスプレイデバイスおよび／またはネットワークによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するように適合された解析モジュールをさらに備える、請求項５に記載のビデオコーダ。
【請求項７】
受信された符号化情報を逆多重化し、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するステップと、
前記ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するステップと、
前記エンハンスメントレイヤコードを復号して、少なくとも１層の予測情報を取得するステップと、
前記少なくとも１層の予測情報および前記第１のビューにしたがって第２のビューを予測するステップと、
を備えるビデオ復号方法。
【請求項８】
前記予測情報が運動ベクトル情報および／または深度／視差情報である、請求項７に記載のビデオ復号方法。
【請求項９】
前記エンハンスメントレイヤコードを復号する前に、ディスプレイデバイスからのリクエスト情報を解析し、前記ディスプレイデバイスによって必要とされる少なくとも１つの３次元（３Ｄ）ビデオディスプレイレベルを取得するステップをさらに備え、
前記エンハンスメントレイヤコードを復号し、前記少なくとも１層の予測情報を取得するステップを、前記エンハンスメントレイヤコードを復号し、前記ディスプレイデバイスによって必要とされる前記３Ｄディスプレイレベルに対応する少なくとも１層の予測情報を取得するステップとした、請求項７または請求項８に記載のビデオ復号方法。
【請求項１０】
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュールと、
前記ベースレイヤコードを復号し、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュールと、
前記エンハンスメントレイヤコードを復号し、少なくとも１層の予測情報を取得するように適合されたエンハンスメントレイヤ復号モジュールと、
前記少なくとも１層の予測情報および前記第１のビューにしたがって第２のビューを予測するように適合された予測モジュールと、
を備えるビデオデコーダ。
【請求項１１】
ディスプレイデバイスからのリクエスト情報を解析し、前記ディスプレイデバイスによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するように適合された解析モジュールをさらに備える、請求項１０に記載のビデオデコーダ。
【請求項１２】
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビュー及び第２のビューを合成することによって第１の層の予測情報を抽出するステップと、
前記第１の層の予測情報にエンハンスメントレイヤ符号化を実行するステップと、
現在の層の予測情報の増分を、第２の層の予測情報の増分の抽出から開始する以下の方法により抽出するステップであって、
前記ローカル復号された第１のビュー、前記第２のビュー、及び先行層の予測情報を合成することによって前記現在の層の予測情報の増分を抽出し、前記現在の層の予測情報の増分に前記エンハンスメントレイヤ符号化を実行し、最後の層の予測情報の増分が前記エンハンスメントレイヤ符号化を受けるまで続くステップと、
ベースレイヤコードおよびエンハンスメントレイヤコードを多重化し、符号化情報を取得するステップと、
を備えるビデオ符号化方法。
【請求項１３】
前記ローカル復号された第１のビューと、前記第２のビューと前記先行層の予測情報を合成することによって前記現在の層の予測情報インクリメントを抽出するステップを、
前記ローカル復号された第１のビューと前記第２のビューを合成することによって現在の層の予測情報を抽出し、
前記現在の層の予測情報および前記先行層の予測情報にしたがって前記現在の層の予測情報インクリメントを算出するステップとした、請求項１２に記載のビデオ符号化方法。
【請求項１４】
前記現在の層の予測情報の増分を抽出するステップを、
現在の層の運動ベクトル情報の増分および／または現在の層の深度／視差情報の増分を抽出するステップとした、請求項１３に記載のビデオ符号化方法。
【請求項１５】
前記ベースレイヤコードおよび前記エンハンスメントレイヤコードが運動補償による離散コサイン変換コードである、請求項１４に記載のビデオ符号化方法。
【請求項１６】
前記第１の層の予測情報に前記エンハンスメントレイヤ符号化を実行する前に、
ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析し、前記ディスプレイデバイスおよび／またはネットワークによって必要とされる３次元（３Ｄ）ビューディスプレイレベルを取得し、前記ディスプレイレベルにしたがって抽出される前記予測情報の増分の層の総数およびレベルを判断するステップをさらに備える、請求項１２〜請求項１５の何れか１項に記載のビデオ符号化方法。
【請求項１７】
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュールと、
少なくとも２層の予測情報抽出モジュールであって、第１の層の予測情報抽出モジュールが前記ベースレイヤ符号化モジュールと接続されており、ローカル復号された第１のビュー及び第２のビューを合成することによって第１の層の予測情報を抽出するように適合されており、前記第１の層の予測情報抽出モジュール以外の他の層の予測情報抽出モジュールが先行層の予測情報抽出モジュールに接続され、前記ローカル復号された第１のビュー、前記第２のビュー、及び先行層の予測情報を合成することによって現在の層の予測情報の増分を抽出するように適合されたモジュールと、
前記第１の層の予測情報および複数層の予測情報の増分にエンハンスメントレイヤ符号化を実行するように適合されたエンハンスメントレイヤ符号化モジュールと、
ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得するように適合された多重化モジュールとを備えるビデオコーダ。
【請求項１８】
ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析し、前記ディスプレイデバイスおよび／またはネットワークによって必要とされる３次元（３Ｄ）ビューディスプレイレベルを取得し、前記ディスプレイレベルにしたがって抽出される前記予測情報の増分の層の総数およびレベルを判断するように適合された解析モジュールをさらに備える、請求項１７に記載のビデオコーダ。
【請求項１９】
受信された符号化情報を逆多重化し、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するステップと、
前記ベースレイヤコードを復号し、第１のビューを基準ビューとして取得するステップと、
前記エンハンスメントレイヤコードを復号し、第１の層の予測情報および複数層の予測情報の増分を取得するステップと、
前記第１の層の予測情報および前記複数層の予測情報の増分にしたがって少なくとも２層の予測情報を算出するステップと、
前記少なくとも２層の予測情報および前記第１のビューにしたがって第２のビューを予測するステップと、
を備えるビデオ復号方法。
【請求項２０】
前記第１の層の予測情報および前記複数層の予測情報の増分を取得するステップを、
第１の層の運動ベクトル情報および／または第１の層の深度／視差情報、ならびに複数層の運動ベクトル情報の増分および／または複数層の深度／視差情報の増分を取得するステップとした、請求項１９に記載のビデオ復号方法。
【請求項２１】
前記エンハンスメントレイヤコードを復号する前に、
ディスプレイデバイスからのリクエスト情報を解析し、前記ディスプレイデバイスによって必要とされる３次元（３Ｄ）ビューディスプレイレベルを取得し、前記ディスプレイレベルにしたがってエンハンスメントレイヤ復号の層の総数およびレベルを判断するステップをさらに備える、請求項１９または請求項２０に記載のビデオ復号方法。
【請求項２２】
受信された符号化情報を逆多重化し、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュールと、
前記ベースレイヤコードを復号し、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュールと、
前記エンハンスメントレイヤコードを復号し、第１の層の予測情報および複数層の予測情報の増分を取得するように適合されたエンハンスメントレイヤ復号モジュールと、
前記第１の層の予測情報および前記複数層の予測情報の増分にしたがって少なくとも２層の予測情報を算出するように適合された算出モジュールと、
前記少なくとも２層の予測情報および前記第１のビューにしたがって第２のビデオを予測するように適合された予測モジュールと、
を備えるビデオデコーダ。
【請求項２３】
ディスプレイデバイスからのリクエスト情報を解析し、前記ディスプレイデバイスによって必要とされる３次元（３Ｄ）ビューディスプレイレベルを取得し、前記ディスプレイレベルにしたがってエンハンスメントレイヤ復号の層の総数およびレベルを判断するように適合された解析モジュールをさらに備える、請求項２２に記載のビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ処理技術、とりわけビデオ符号化方法、ビデオ復号方法、ビデオコーダ（a video coder）およびビデオデコーダ（a video decoder）に関する。
【背景技術】
【０００２】
従来の２次元（２Ｄ）ビデオは平面情報のキャリアである。これは１場面のコンテンツをレンダリングするが、この場面の深度情報をレンダリングすることはできない。状況を考慮すると、オブジェクトの幅および高さを知るだけでなく、このオブジェクトの深度を知覚し、かつオブジェクト間の距離や、観察者とオブジェクト間の距離を把握する必要がある。このような３次元（３Ｄ）特徴はこのように生成される、つまり、ある距離にあるオブジェクトを両眼で見ると、この２つの目は、左目と右目の間隔ゆえに異なる画像を受信する。この２つの画像は合成されて、人間の脳において立体感覚を生成する。ビデオ技術の発達によって、人は２Ｄビデオにはもはや満足せず、より良好なユーザ経験および臨場感を追求する。３Ｄビデオ技術は、この目的を達成するための重要な技術の１つである。
【０００３】
人間の両眼の視差の原理に基づいて、３Ｄビデオ技術はカメラを使用して、同一場面の異なる視点から２つの画像を取得し、この２つの画像を同時または順次スクリーンに表示し、両眼にこの２つの画像を見せて、立体感覚を取得する。従来の２Ｄビデオと比較して、３Ｄビデオは２つのビデオストリームを有している。圧縮符号化を考慮せずに画像解像度を保証するために、送信する３Ｄビデオのデータトラフィックは、２Ｄビューのデータトラフィックの２倍である。データトラフィックの増大は記憶および送信を困難にし、この問題は、記憶容量およびネットワーク帯域幅を増大させることのみでは解決されない。効率的な符号化方法が、３Ｄビデオデータを圧縮するように設計される必要がある。
【０００４】
現在、種々の仕様の３Ｄディスプレイデバイス、例えばヘルメットディスプレイ、立体眼鏡、ホログラフィックディスプレイデバイス、および異なる解像度の種々の自動３Ｄディスプレイなどが市場に出回っている。異なる３Ｄディスプレイは異なる層の３Ｄビデオコンテンツを必要とし、３Ｄディスプレイに接続されたネットワークは異なる帯域幅を有する。結果として、異なる層の３Ｄビデオコンテンツが、同一の３Ｄディスプレイが異なるネットワークで接続される場合に必要とされる。例えば、高速ネットワークの３Ｄディスプレイデバイスは、この解像度性能にしたがった豊富な３Ｄ情報を必要とし、高品質の３Ｄビデオを表示することができる。環境によっては、３Ｄディスプレイは、これ自体の条件やネットワーク帯域幅の制約による単純な３Ｄ情報のみを必要とし、単純な立体感覚のビデオを表示する。従来の２Ｄディスプレイのようなディスプレイは、２Ｄビューの表示のみを必要とするため、３Ｄ情報を必要としない。異なるディスプレイデバイスおよび異なるネットワーク送信性能が共存する現状は、異なるネットワークで接続された種々の３Ｄディスプレイデバイスによって異なる層の３Ｄディスプレイを可能にするための３Ｄビデオ符号化および復号方法を必要とする。
【０００５】
本発明を具現化するプロセスにおいて、本発明者は従来技術において少なくとも以下の欠陥を発見している、つまり、既存の３Ｄビデオ符号化および復号方法は２Ｄディスプレイおよび３Ｄディスプレイの個別符号化のみを達成する、つまり、両眼のビデオのビューの一方を基準ビューとして使用し、基準ビューを符号化するための標準符号化モードを使用し、この基準ビューに対して他のビューを符号化する。このように、ディスプレイサイドで復号された基準ビューは２Ｄモードで表示可能であり、ディスプレイサイドで復号された全コンテンツが３Ｄモードで表示可能であるが、異なるネットワークで接続された種々の３Ｄディスプレイデバイスに異なる品質の３Ｄディスプレイを付与させるのは不可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、３Ｄビューの階層的符号化を達成するためのビデオ符号化方法、ビデオ復号方法、ビデオコーダおよびビデオデコーダを提供するため、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。
【０００７】
本発明の一実施形態で提供されたビデオ符号化方法は、
第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビュー及び第２のビューを合成することによって少なくとも１層の予測情報を抽出するステップと、
少なくとも１層の予測情報のそれぞれにエンハンスメントレイヤ符号化（enhancement-layer coding）を実行するステップと、
第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して符号化情報を取得するステップと、を含む。
【０００８】
本発明の一実施形態で提供されたビデオコーダは、
第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュールと、
ローカル復号された第１のビュー及び第２のビューを合成することによって少なくとも１層の予測情報を抽出するように適合された少なくとも１つの予測情報抽出モジュールと、
少なくとも１層の予測情報にエンハンスメントレイヤ符号化を実行するように適合されたエンハンスメントレイヤ符号化モジュールと、
第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して符号化情報を取得するように適合された多重化モジュールと、を含む。
【０００９】
本発明の一実施形態で提供されたビデオ復号方法は、
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するステップと、
ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するステップと、
エンハンスメントレイヤコードを復号して、少なくとも１層の予測情報を取得するステップと、
少なくとも１層の予測情報及び第１のビューにしたがって第２のビューを予測するステップと、を含む。
【００１０】
本発明の一実施形態で提供されたビデオデコーダは、
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュールと、
ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュールと、
エンハンスメントレイヤコードを復号して、少なくとも１層の予測情報を取得するように適合されたエンハンスメントレイヤ復号モジュールと、
少なくとも１層の予測情報と第１のビューにしがたって第２のビューを予測するように適合された予測モジュールと、を含む。
【００１１】
本発明の一実施形態で提供されたビデオ符号化方法は、
第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビュー及び第２のビューを合成することによって第１の層の予測情報を抽出するステップと、
第１の層の予測情報にエンハンスメントレイヤ符号化を実行するステップと、現在の層の予測情報の増分（increment）を、
第２の層の予測情報の増分（increment）の抽出から開始する以下の方法により抽出するステップと、
ローカル復号された第１のビュー、第２のビュー、及び先行層の予測情報を合成することによって現在の層の予測情報を抽出し、最後の層の予測情報の増分（increment）がエンハンスメントレイヤ符号化を受けるまで現在の層の予測情報にエンハンスメントレイヤ符号化を実行するステップであって、
ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して符号化情報を取得するステップと、を含む。
【００１２】
本発明の一実施形態で提供されたビデオコーダは、
第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュールと、
少なくとも２層の予測情報抽出モジュールであって、第１の層の予測情報抽出モジュールがベースレイヤ符号化モジュールと接続されており、ローカル復号された第１のビュー及び第２のビューを合成することによって第１の層の予測情報を抽出するように適合されており、第１の層の予測情報抽出モジュール以外の他の層の予測情報抽出モジュールは先行層の予測情報抽出モジュールと接続され、ローカル復号された第１のビュー、第２のビュー、及び先行層の予測情報を合成することによって現在の層の予測情報を抽出するように適用されたモジュールと、
第１の層の予測情報および複数層の予測情報の増分（increments）にエンハンスメントレイヤ符号化を実行するように適合されたエンハンスメントレイヤ符号化モジュールと、
ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して符号化情報を取得するように適合された多重化モジュールと、を含む。
【００１３】
本発明の一実施形態で提供されたビデオ復号方法は、
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するステップと、
ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するステップと、
エンハンスメントレイヤコードを復号して、第１の層の予測情報および複数層の予測情報の増分（increments）を取得するステップと、
第１の層の予測情報と複数層の予測情報の増分（increments）にしたがって少なくとも２層の予測情報を算出するステップと、
少なくとも２層の予測情報及び第１のビューにしたがって第２のビューを予測するステップと、を含む。
【００１４】
本発明の一実施形態で提供されたビデオデコーダは、
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュールと、
ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュールと、
エンハンスメントレイヤコードを復号して、第１の層の予測情報および複数層の予測情報の増分（increments）を取得するように適合されたエンハンスメントレイヤ復号モジュールと、
第１の層の予測情報と複数層の予測情報の増分（increments）にしたがって少なくとも２層の予測情報を算出するように適合された算出モジュールと、
少なくとも２層の予測情報及び第１のビューにしたがって第２のビューを予測するように適合されている予測モジュールと、を含む。
【００１５】
本発明の実施形態のビデオ符号化方法、ビデオ復号方法、ビデオコーダおよびビデオデコーダによって、少なくとも１層の予測情報が抽出され、それぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューが階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の第１の実施形態にしたがったビデオ符号化方法のフローチャートである。
【図２】図２は、本発明の第２の実施形態にしたがったビデオ符号化方法のフローチャートである。
【図３】図３は、本発明の第３の実施形態にしたがったビデオ符号化方法のフローチャートである。
【図４】図４は、本発明の第４の実施形態にしたがったビデオ符号化方法のフローチャートである。
【図５】図５は、本発明の第１の実施形態にしたがったビデオコーダの構造を示している。
【図６】図６は、本発明の第２の実施形態にしたがったビデオコーダの構造を示している。
【図７】図７は、本発明の第１の実施形態にしたがったビデオ復号方法のフローチャートである。
【図８】図８は、本発明の第２の実施形態にしたがったビデオ復号方法のフローチャートである。
【図９】図９は、本発明の第３の実施形態にしたがったビデオ復号方法のフローチャートである。
【図１０】図１０は、本発明の第４の実施形態にしたがったビデオ復号方法のフローチャートである。
【図１１】図１１は、本発明の第１の実施形態にしたがったビデオデコーダの構造を示している。
【図１２】図１２は、本発明の第１の実施形態にしたがった別のビデオ符号化方法のフローチャートである。
【図１３】図１３は、本発明の第２の実施形態にしたがった別のビデオ符号化方法のフローチャートである。
【図１４】図１４は、本発明の第３の実施形態にしたがった別のビデオ符号化方法のフローチャートである。
【図１５】図１５は、本発明の第４の実施形態にしたがった別のビデオ符号化方法のフローチャートである。
【図１６】図１６は、本発明の第１の実施形態にしたがった別のビデオコーダの構造を示している。
【図１７】図１７は、本発明の第２の実施形態にしたがった別のビデオコーダの構造を示している。
【図１８】図１８は、本発明の第１の実施形態にしたがった別のビデオ復号方法のフローチャートである。
【図１９】図１９は、本発明の第２の実施形態にしたがった別のビデオ復号方法のフローチャートである。
【図２０】図２０は、本発明の第３の実施形態にしたがった別のビデオ復号方法のフローチャートである。
【図２１】図２１は、本発明の第４の実施形態にしたがった別のビデオ復号方法のフローチャートである。
【図２２】図２２は、本発明の第１の実施形態にしたがった別のビデオデコーダの構造を示している。
【発明を実施するための形態】
【００１７】
本発明の技術的解決法について、添付の図面および複数の例示的実施形態を参照して詳細に以下に記述する。
【００１８】
第１の実施形態のビデオ符号化方法について以下に記述する。
【００１９】
図１は、本発明の第１の実施形態にしたがったビデオ符号化方法のフローチャートである。この方法は以下のステップを含んでいる。
【００２０】
ステップ１０１：第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビュー及び第２のビューを合成することによって少なくとも１層の予測情報を抽出する。第１のビューおよび第２のビューはそれぞれ左目ビューおよび右目ビューであり得、予測情報は運動ベクトル情報および／または深度あるいは視差情報であり得る。
【００２１】
ステップ１０２：それぞれ少なくとも１層の予測情報にエンハンスメントレイヤ符号化を実行する。
【００２２】
ステップ１０３：第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得する。
【００２３】
本実施形態では、少なくとも１層の予測情報が抽出されて、それぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューが階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。
【００２４】
第２の実施形態のビデオ符号化方法について以下に記述する。
【００２５】
図２は、本発明の第２の実施形態にしたがったビデオ符号化方法のフローチャートである。本実施形態では、深度／視差情報が、１層の深度／視差情報を抽出するための予測情報として使用され、抽出される情報はスパース深度／視差情報であるとする。本実施形態は以下のステップを含む。
【００２６】
ステップ２０１：異なる視点からの２つ以上のカメラを使用して１つの場面を撮影して、２つのビュー、つまり左目ビューおよび右目ビューを取得する。
【００２７】
ステップ２０２：左目ビューまたは右目ビューのいずれかを基準ビューとして選択し、基準ビューにベースレイヤ符号化を実行する。本実施形態では、左目ビューが基準ビューとして選択されたものとする。
【００２８】
ステップ２０３：ベースレイヤ符号化を受けた左目ビューをローカル復号し（locally decode the left-eye）、右目ビューに照らしてスパース深度／視差情報を抽出する。スパース深度／視差情報は、事前に取得された３Ｄビューディスプレイレベルに対応している。
【００２９】
ステップ２０４：スパース深度／視差情報にエンハンスメントレイヤ符号化を実行する。
【００３０】
ステップ２０５：左目ビューのベースレイヤコードおよびエンハンスメントコードを多重化して、符号化情報を取得する。
【００３１】
ステップ２０３において、事前に取得された３Ｄビューディスプレイレベルは、抽出される深度／視差情報の所定の層数およびレベルにしたがって判断され得、あるいはステップ２０３の前に付加された以下のステップで判断され得る。
【００３２】
ステップ２０２１：ディスプレイデバイスのリクエスト情報および／またはネットワーク送信情報を解析する。解析結果が、ネットワークが比較的過密しているときに送信可能なコンテンツは少ないことを示している場合、３Ｄビューの必要なディスプレイレベルは低く、スパース深度／視差情報が抽出可能である。
【００３３】
本実施形態では、予測情報は運動ベクトル情報、あるいは深度／視差情報および運動ベクトル情報の組み合わせであり得、ベースレイヤコードおよびエンハンスメントレイヤコードは、運動補償による離散コサイン変換コードであり得る。事前に取得された３Ｄビューディスプレイレベルが高い場合、本実施形態の１層の予測情報は高密度予測情報または精密予測情報であり得る。
【００３４】
本実施形態では、１層のスパース深度／視差情報が抽出され、エンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。なお、特定の層の深度／視差情報はディスプレイデバイスおよびネットワークの条件にしたがって抽出可能であるため、符号化効率を改良し、符号化の複雑さを低減し、更にネットワーク送信効率を改良することも可能である。本実施形態はベースレイヤコードを多重化し、また、２Ｄビューはベースレイヤコードにしたがって表示可能であるため２Ｄディスプレイ機能と両立可能である。
【００３５】
第３の実施形態のビデオ符号化方法について以下に記述する。
【００３６】
図３は、本発明の第３の実施形態にしたがったビデオ符号化方法のフローチャートである。本実施形態は深度／視差情報を予測情報として使用する。図１のステップが実行される前、抽出される深度／視差情報の層数およびレベルが事前設定可能である。本実施形態では、３層の深度／視差情報、つまりスパース深度／視差情報、高密度深度／視差情報、および精密深度／視差情報が抽出される必要があるものとする。本実施形態の技術的解決法について後述する。本実施形態のビデオ符号化方法は以下のステップを含む。
【００３７】
ステップ３０１：異なる視点からの２つ以上のカメラを使用して１つの場面を撮影し、２つのビュー、つまり左目ビューおよび右目ビューを取得する。
【００３８】
ステップ３０２：左目ビューまたは右目ビューのいずれかを基準ビューとして選択し、基準ビューにベースレイヤ符号化を実行する。本実施形態では、左目ビューが基準ビューとして選択されたものとする。
【００３９】
ステップ３０３：ベースレイヤ符号化を受けた左目ビューをローカル復号し（locally decode）、右目ビューに照らしてそれぞれスパース深度／視差情報、高密度深度／視差情報、および精密深度／視差情報を抽出する。
【００４０】
ステップ３０４：スパース深度／視差情報、高密度深度／視差情報、および精密深度／視差情報にそれぞれエンハンスメントレイヤ符号化を実行する。
【００４１】
ステップ３０５：左目ビューのベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得する。
【００４２】
本実施形態のビデオ符号化方法において、予測情報は、運動ベクトル情報、あるいは深度／視差情報および運動ベクトル情報の組み合わせであり得、ベースレイヤコードおよびエンハンスメントレイヤコードは、運動補償による離散コサイン変換コードであり得る。
【００４３】
本実施形態のビデオ符号化方法によって、少なくとも１層の深度／視差情報が抽出され、それぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューが階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。本実施形態はまたベースレイヤコードを多重化し、また、２Ｄビューはベースレイヤコードにしたがって表示可能であるため２Ｄディスプレイ機能と両立可能である。
【００４４】
第４の実施形態のビデオ符号化方法について以下に記述する。
【００４５】
図４は、本発明の第４の実施形態にしたがったビデオ符号化方法のフローチャートである。本実施形態は、ステップ３０１の前に、抽出された深度／視差情報の層数およびレベルを事前設定する必要はないが、以下のステップがステップ３０３の前に追加される点が、第３の実施形態と異なる。
【００４６】
ステップ３０２１：ディスプレイデバイスのリクエスト情報および／またはネットワーク送信情報を解析する。解析結果が、ディスプレイデバイスが比較的高い解像度を有していると示す場合、３Ｄビューを表示するのに必要な層は比較的高く、精密深度／視差情報が抽出される必要があり、解析結果が、ネットワークが比較的過密しているときに送信可能なコンテンツは少ないことを示している場合、３Ｄビューを表示するのに必要な層は比較的低く、スパース深度／視差情報が抽出される必要がある。このような２つの要因を考慮すると、異なるネットワークの種々のディスプレイデバイスによって必要とされる少なくとも１つの３Ｄビューディスプレイレベルが取得される。
【００４７】
具体的に、ステップ３０３は、ベースレイヤ符号化を受けた左目ビューをローカル復号し（locally decoding）、右目ビューに照らしてディスプレイデバイスおよび／またはネットワークによって必要とされる３Ｄビューディスプレイレベルに対応する少なくとも１層の深度／視差情報を抽出することである。
【００４８】
上記第３の実施形態に基づいて、本実施形態はさらに、ディスプレイデバイスの要件およびネットワーク条件にしたがって対応するレベルの深度／視差情報を抽出することによって、符号化効率を改良し、符号化の複雑さを低減し、ネットワーク送信効率を改良することができる。
【００４９】
第１の実施形態のビデオコーダについて以下に記述する。
【００５０】
図５は、本発明の第１の実施形態にしたがったビデオコーダの構造を示している。ビデオコーダは、
第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュール１０と、
ローカル復号された第１のビュー及び第２のビューを合成することによって少なくとも１層の予測情報を抽出するように適合された少なくとも１つの予測情報抽出モジュール、例えば図５の予測情報抽出モジュール１１、１２、１３・・・と、
それぞれ少なくとも１層の予測情報にエンハンスメントレイヤ符号化を実行するように適合されたエンハンスメントレイヤ符号化モジュール１４と、
第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得するように適合された多重化モジュール１５と、を含む。
【００５１】
本実施形態で提供された符号化装置（the coder）、ここに提供されているビデオ符号化方法の第１から第４の実施形態に適用可能である。
【００５２】
本実施形態では、少なくとも１つの予測情報抽出モジュールが、それぞれ少なくとも１層の予測情報を抽出し、これらにエンハンスメントレイヤ符号化を実行する。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスは３Ｄビューを階層的に表示可能である。
【００５３】
第２の実施形態のビデオコーダについて以下に記述する。
【００５４】
図６は、本発明の第２の実施形態にしたがったビデオコーダの構造を示している。ビデオコーダは、
左目ビューを基準ビューとして使用して左目ビューにベースレイヤ符号化を実行するか、右目ビューを基準ビューとして使用して右目ビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュール２０と、
右目ビュー及びローカル復号された左目ビューを合成することによってスパース予測情報を抽出するように適合されたスパース予測情報抽出モジュール２１と、
右目ビュー及びローカル復号された左目ビューを合成することによって高密度予測情報を抽出するように適合された高密度予測情報抽出モジュール２２と、
右目ビュー及びローカル復号された左目ビューを合成することによって精密予測情報を抽出するように適合された精密予測情報抽出モジュール２３と、
それぞれスパース予測情報（sparse predictioninformation）、高密度予測情報および精密予測情報にエンハンスメントレイヤ符号化を実行するように適合されたエンハンスメントレイヤ符号化モジュール２４と、
左目ビューのベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得するように適合された多重化モジュール２５と、を含む。
【００５５】
本実施形態のビデオコーダはさらに、ディスプレイデバイスのリクエスト情報および／またはネットワーク送信情報を解析し、ディスプレイデバイスおよび／またはネットワークによって必要とされる少なくとも１つの３Ｄビューディスプレイレベルを取得するように適合された解析モジュール２６を含んでもよい。
【００５６】
本実施形態のビデオコーダは、上記３層の予測情報抽出モジュールに制限されない。例えば、ディスプレイデバイスおよび／またはネットワークによって必要とされるような実際の必要性に応じて、少なくとも１つの予測情報抽出モジュールが、異なるディスプレイデバイスおよび／またはネットワークの要件を満たすように設定される。
【００５７】
本実施形態では、スパース予測情報抽出モジュール２１、高密度予測情報抽出モジュール（dense prediction information module）２２および精密予測情報抽出モジュール２３は３層の予測情報を抽出するように設定されており、この３層の予測情報はそれぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。加えて、ディスプレイデバイスの特定の要件およびネットワーク条件は解析モジュール２６にしたがって取得されてもよく、対応するレベルの予測情報が抽出されることによって、符号化効率を改良し、符号化の複雑さを低減し、更にネットワーク送信効率を改良することができる。
【００５８】
第１の実施形態のビデオ復号方法について以下に記述する。
【００５９】
図７は、本発明の第１の実施形態にしたがったビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第１の実施形態のビデオ符号化方法に関連し、以下のステップを含んでいる。
【００６０】
ステップ４０１：受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得する。
【００６１】
ステップ４０２：ベースレイヤコードを復号し、第１のビューを基準ビューとして取得する。
【００６２】
ステップ４０３：エンハンスメントレイヤコードを復号して、少なくとも１層の予測情報を取得する。
【００６３】
ステップ４０４：少なくとも１層の予測情報と第１のビューにしたがって第２のビューを予測する。
【００６４】
第１のビューおよび第２のビューはそれぞれ左目ビューおよび右目ビューであり得、予測情報は運動ベクトル情報および／または深度または視差情報であり得る。
【００６５】
本実施形態では、少なくとも１層の予測情報が取得されるため、３Ｄビューが階層的に復号される。のみならず、第２のビューは第１のビューに照らして予測され、３Ｄビューは、第１のビューおよび予測された第２のビューにしたがって表示可能である。したがって、種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。
【００６６】
第２の実施形態のビデオ復号方法について以下に記述する。
【００６７】
図８は、本発明の第２の実施形態にしたがったビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第２の実施形態のビデオ符号化方法に関連し、以下のステップを含んでいる。
【００６８】
ステップ５０１：受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得する。
【００６９】
ステップ５０２：ベースレイヤコードを復号して、左目ビューを基準ビューとして取得する。
【００７０】
ステップ５０３：エンハンスメントレイヤコードを復号して、スパース深度／視差情報を取得する。
【００７１】
ステップ５０４：スパース深度／視差情報および左目ビューにしたがって右目ビューを予測する。
【００７２】
本実施形態では、スパース深度／視差情報が取得され、スパース深度／視差情報は、符号化時に事前取得された３Ｄビューディスプレイレベルに対応する。したがって、３Ｄビューは階層的に復号される。なお、第２のビューは第１のビューに照らして予測され、３Ｄビューは第１のビューおよび予測された第２のビューにしたがって表示可能である。したがって、種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。
【００７３】
第３の実施形態のビデオ復号方法について以下に記述する。
【００７４】
図９は、本発明の第３の実施形態にしたがったビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第４の実施形態のビデオ符号化方法に関連し、以下のステップを含んでいる。
【００７５】
ステップ６０１：受信された符号化情報を逆多重化し、ベースレイヤコードおよびエンハンスメントレイヤコードを取得する。
【００７６】
ステップ６０２：ベースレイヤコードを復号し、左目ビューを基準ビューとして取得する。
【００７７】
ステップ６０３：エンハンスメントレイヤコードを復号し、スパース深度／視差情報、高密度深度／視差情報および精密深度／視差情報を取得する。
【００７８】
ステップ６０４：スパース深度／視差情報、高密度深度／視差情報、精密深度／視差情報および左目ビューにしたがって右目ビューを予測する。
【００７９】
符号化プロセスにおいて、少なくとも１つの３Ｄビューディスプレイレベルが、ディスプレイデバイスおよび／またはネットワーク送信情報を解析することによって取得され、このディスプレイレベルに対応する３層の予測情報構造がディスプレイレベルにしたがって取得され、この場合、３層の予測情報とは、スパース深度／視差情報、高密度深度／視差情報および精密深度／視差情報のことである。したがって、復号プロセスにおいて、エンハンスメントレイヤコードが直接復号されて、３層の深度／視差情報を取得する。
【００８０】
本実施形態のビデオ復号方法において、予測情報は運動ベクトル情報か、深度／視差情報および運動ベクトル情報の組み合わせであり得る。
【００８１】
本実施形態のビデオ復号方法において、少なくとも１層の深度／視差情報が取得され、次いで３Ｄビューが階層的に復号される。のみならず、右目ビューが左目ビューに照らして予測され、したがって３Ｄビューは左目ビューおよび予測された右目ビューにしたがって表示可能である。したがって、種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。加えて、本実施形態のビデオ復号方法はベースレイヤコードを復号し、また、２Ｄビューはベースレイヤコードの復号情報にしたがって表示可能であるため、２Ｄディスプレイ機能と両立可能である。
【００８２】
第４の実施形態のビデオ復号方法について以下に記述する。
【００８３】
図１０は、本発明の第４の実施形態にしたがったビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第３の実施形態のビデオ符号化方法に関連し、以下の点で第３の実施形態の復号方法と異なっている。
【００８４】
符号化プロセスにおいて、３層の予測情報構造は、抽出される予測情報の所定の層数およびレベルにしたがって判断される。したがって、復号プロセスはさらに、ステップ６０３の前に以下のステップを含んでもよい。
【００８５】
ステップ６０２１：ディスプレイデバイスからのリクエスト情報を解析して、種々のディスプレイデバイスによって必要とされる少なくとも１つの３Ｄビューディスプレイレベルを取得する。
【００８６】
具体的に、ステップ６０３は、少なくとも１つの３Ｄビューディスプレイレベルに対応するエンハンスメントレイヤコードを復号して、スパース深度／視差情報、または高密度深度／視差情報、または精密深度／視差情報、またはこれらの組み合わせであり得る少なくとも１層の深度／視差情報を取得することである。
【００８７】
第３の実施形態の復号方法に基づいて、本実施形態はさらに、ディスプレイデバイスの特定の要件にしたがって対応するレベルのエンハンスメントレイヤコードを復号し、対応するレベルの深度／視差情報を取得することによって、復号効率を改良し、復号の複雑さを低減することができる。
【００８８】
第１の実施形態のビデオデコーダについて以下に記述する。
【００８９】
図１１は、本発明の第１の実施形態にしたがったビデオデコーダの構造を示している。ビデオデコーダは、
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュール３０と、
ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュール３１と、
エンハンスメントレイヤコードを復号して、少なくとも１層の予測情報を取得するように適合されたエンハンスメントレイヤ復号モジュール３２と、
少なくとも１層の予測情報及び第１のビューにしたがって右目ビューを予測するように適合された予測モジュール３３と、を含む。
【００９０】
本実施形態のビデオデコーダはさらに、ディスプレイデバイスからのリクエスト情報を解析して、ディスプレイデバイスによって必要とされる少なくとも１つの３Ｄビューディスプレイレベルを取得するように適合された解析モジュール３４を含み得る。エンハンスメントレイヤ復号モジュール３２は、少なくとも１つの３Ｄビューディスプレイレベルに対応する少なくとも１層の予測情報を取得する。
【００９１】
本実施形態で提供されたデコーダは、ここで提供されているビデオ復号方法の第１から第４の実施形態に適用可能である。
【００９２】
本実施形態では、エンハンスメントレイヤ復号モジュール３２が設定され、少なくとも１層の予測情報が取得される。ゆえに、３Ｄビューは階層的に復号され、種々の３Ｄディスプレイデバイスは３Ｄビューを階層的に表示可能である。加えて、ディスプレイデバイスの特定の要件が解析モジュール２４にしたがって取得可能であり、対応するレベルの予測情報が復号されることによって、復号効率を改良し、復号の複雑さを低減することができる。
【００９３】
第１の実施形態の別のビデオ符号化方法について以下に記述する。
【００９４】
図１２は、本発明の第１の実施形態にしたがった別のビデオ符号化方法のフローチャートである。本方法は以下のステップを含む。
【００９５】
ステップ７０１：第１のビューを基準ビューとして使用して第１のビューにベースレイヤ符号化を実行し、ローカル復号された第１のビュー及び第２のビューを合成することによって第１の層の予測情報を抽出する。
【００９６】
ステップ７０２：第１の層の予測情報にエンハンスメントレイヤ符号化を実行する。
【００９７】
ステップ７０３：第２の層の予測情報の増分（increment）の抽出から開始する以下の方法で、現在の層の予測情報の増分（increment）を抽出し、
ローカル復号された第１のビュー、第２のビュー、及び先行層の予測情報を合成することによって現在の層の予測情報の増分（increment）を抽出し、現在の層の予測情報にエンハンスメントレイヤ符号化を実行し、これは最後の層の予測情報の増分（increment）がエンハンスメントレイヤ符号化を受けるまで続く。
【００９８】
ステップ７０４：ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得する。
【００９９】
本実施形態のビデオ符号化方法によって、１層の予測情報および少なくとも１層の深度／視差情報の増分（increment）が抽出され、それぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューが階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。少なくとも１層の深度／視差情報の増分（increment）はエンハンスメントレイヤ符号化を受けるため、本方法は、ネットワークで送信される必要のある情報が少ないという点で、予測情報にエンハンスメントレイヤ符号化を直接実行することより優れており、必要なネットワーク送信帯域幅は縮小され、送信効率が改良される。
【０１００】
第２の実施形態の別のビデオ符号化方法について以下に記述する。
【０１０１】
図１３は、本発明の第２の実施形態にしたがった別のビデオ符号化方法のフローチャートである。本実施形態では、深度／視差情報が予測情報として使用され、１層の深度／視差情報および１層の深度／視差情報の増分（increment）、つまりスパース深度／視差情報および高密度深度／視差情報の増分（increment）をそれぞれ抽出する。本実施形態は以下のステップを含む。
【０１０２】
ステップ８０１：異なる視点からの２つ以上のカメラを使用して１つの場面を撮影して、２つのビュー、つまり左目ビューおよび右目ビューを取得する。
【０１０３】
ステップ８０２：左目ビューまたは右目ビューのいずれかを基準ビューとして選択し、基準ビューにベースレイヤ符号化を実行する。本実施形態では、左目ビューが基準ビューとして選択されたものとする。
【０１０４】
ステップ８０３：ベースレイヤ符号化を受けた左目ビューをローカル復号し、右目ビューに照らしてスパース深度／視差情報を抽出し、スパース深度／視差情報にエンハンスメントレイヤ符号化を実行する。
【０１０５】
ステップ８０４：ローカル復号された左目ビューと、右目ビューと、スパース深度／視差情報を合成することによって高密度深度／視差情報インクリメントを抽出し、高密度深度／視差情報インクリメントにエンハンスメントレイヤ符号化を実行する。
【０１０６】
具体的に、ステップ８０４は、ローカル復号された左目ビューおよび右目ビューを合成することによって高密度深度／視差情報を抽出し、スパース深度／視差情報に対する高密度深度／視差情報の増分（increment）、つまり高密度深度／視差情報の増分（increment）を算出することであり得る。
【０１０７】
ステップ８０５：ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得する。
【０１０８】
本実施形態では、スパース深度／視差情報および高密度深度／視差情報は、事前取得された２つの３Ｄビューディスプレイレベルに対応する。事前取得された２つの３Ｄビューディスプレイレベルは、抽出される深度／視差情報の所定の層数およびレベルにしたがって判断され得、あるいはステップ８０３の前に追加された以下のステップにしたがって判断され得る。
【０１０９】
ステップ８０２１：ディスプレイデバイスのリクエスト情報および／またはネットワーク送信情報を解析する。解析結果が、ディスプレイデバイスが比較的高い解像度を有すると示している場合、３Ｄビューを表示するのに必要な層は比較的高く、高密度深度／視差情報が抽出される必要があり、解析結果が、ネットワークが比較的過密しているときに送信可能なコンテンツは少ないと示している場合、３Ｄビューを表示するのに必要な層は比較的低く、スパース深度／視差情報が抽出される必要がある。このような２つの要因を考慮すると、ディスプレイデバイスおよび／またはネットワークによって必要とされる３Ｄビューディスプレイレベルが取得され、抽出される深度／視差情報の層の総数およびレベルがディスプレイレベルにしたがって判断される。例えば、ディスプレイレベルが２層の深度／視差情報の抽出を必要とする場合、これらの層は「スパース深度／視差情報」および「高密度深度／視差情報」と判断される。
【０１１０】
本実施形態のビデオ符号化方法において、予測情報は運動ベクトル情報、あるいは深度／視差情報および運動ベクトル情報の組み合わせであり得、ベースレイヤコードおよびエンハンスメントレイヤコードは、運動補償による離散コサイン変換コードであり得る。本実施形態の２層の予測情報は、スパース予測情報、高密度予測情報および精密予測情報のうちのいずれか２つの組み合わせであり得る。
【０１１１】
本実施形態のビデオ符号化方法において、１層の深度／視差情報および１層の深度／視差情報インクリメントが抽出されて、それぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。１層の深度／視差情報の増分（increment）はエンハンスメントレイヤ符号化を受けるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。加えて、対応する層およびレベルの深度／視差情報が、ディスプレイデバイスの要件およびネットワーク条件にしたがって抽出可能であるため、符号化効率を改良し、符号化の複雑さを低減し、ネットワーク送信効率をさらに改良することができる。本実施形態はベースレイヤコードを多重化し、また、２Ｄビューはベースレイヤコードにしたがって表示可能であるため、２Ｄディスプレイ機能と両立可能である。
【０１１２】
第３の実施形態の別のビデオ符号化方法について以下に記述する。
【０１１３】
図１４は、本発明の第３の実施形態にしたがった別のビデオ符号化方法のフローチャートである。本実施形態は深度／視差情報を予測情報として使用する。図１４のステップが実行される前に、抽出される深度／視差情報の層数およびレベルが事前設定されてもよい。本実施形態では、３層の深度／視差情報、つまりスパース深度／視差情報、高密度深度／視差情報および精密深度／視差情報が抽出される必要があるものとする。本実施形態の技術的解決法について後述する。本実施形態のビデオ符号化方法は以下のステップを含む。
【０１１４】
ステップ９０１：異なる視点からの２つ以上のカメラを使用して１つの場面を撮影し、２つのビュー、つまり左目ビューおよび右目ビューを取得する。
【０１１５】
ステップ９０２：左目ビューまたは右目ビューを基準ビューとして選択し、基準ビューにベースレイヤ符号化を実行する。本実施形態では、左目ビューが基準ビューとして選択されたものとする。
【０１１６】
ステップ９０３：ベースレイヤ符号化を受けた左目ビューをローカル復号し、右目ビューに照らしてスパース深度／視差情報を抽出し、スパース深度／視差情報にエンハンスメントレイヤ符号化を実行する。
【０１１７】
ステップ９０４：ローカル復号された左目ビュー、右目ビューおよびスパース深度／視差情報を合成することによって高密度深度／視差情報の増分（increment）を抽出し、高密度深度／視差情報の増分（increment）にエンハンスメントレイヤ符号化を実行する。
【０１１８】
ステップ９０５：ローカル復号された左目ビュー、右目ビューおよび高密度深度／視差情報を合成することによって精密深度／視差情報の増分（increment）を抽出し、精密深度／視差情報の増分（increment）にエンハンスメントレイヤ符号化を実行する。
【０１１９】
ステップ９０６：ベースレイヤコードおよびエンハンスメントレイヤコードを多重化し、符号化情報を取得する。
【０１２０】
具体的に、ステップ９０４は、ローカル復号された左目ビュー及び右目ビューを合成することによって高密度深度／視差情報を抽出し、スパース深度／視差情報に対する高密度深度／視差情報の増分（increment）、つまり高密度深度／視差情報の増分（increment）を算出することであってもよい。ステップ９０５でも同じである。
【０１２１】
本実施形態のビデオ符号化方法において、予測情報は運動ベクトル情報、あるいは、深度／視差情報および運動ベクトル情報の組み合わせであり得、ベースレイヤコードおよびエンハンスメントレイヤコードは運動補償による離散コサイン変換コードであり得る。
【０１２２】
本実施形態の符号化方法は３層の予測情報の抽出に制限されない。抽出される予測情報の所定の層総数および所定の層にしたがって、１層の予測情報および少なくとも１層分の予測情報が抽出され得る。
【０１２３】
本実施形態のビデオ符号化方法によって、１層の深度／視差情報および複数層の深度／視差情報の増分（increments）が抽出されて、それぞれエンハンスメントレイヤ符号化を受ける。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスは３Ｄビューを階層的に表示可能である。エンハンスメントレイヤ符号化は複数層の深度／視差情報インクリメントに実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。本実施形態もまたベースレイヤコードを多重化し、また、２Ｄビューはベースレイヤコードにしたがって表示可能であるため、２Ｄディスプレイ機能と両立可能である。
【０１２４】
第４の実施形態の別のビデオ符号化方法について以下に記述する。
【０１２５】
図１５は、本発明の第４の実施形態にしたがった別のビデオ符号化方法のフローチャートである。本実施形態は、抽出された深度／視差情報の層数およびレベルをステップ９０１の前に事前設定する必要はないが、以下のステップがステップ９０３の前に追加されうるという点において、第３の実施形態の別のビデオ符号化方法と異なっている。
【０１２６】
ステップ９０２１：ディスプレイデバイスのリクエスト情報および／またはネットワーク送信情報を解析する。解析結果が、ディスプレイデバイスが比較的高い解像度を有すると示す場合、３Ｄビューを表示するのに必要な層は比較的高く、精密深度／視差情報が抽出される必要があり、解析結果が、ネットワークが比較的過密している場合に送信可能なコンテンツは少ないと示す場合、３Ｄビューを表示するのに必要な層は比較的低く、スパース深度／視差情報が抽出される必要がある。このような２つの要因を考慮すると、ディスプレイデバイスおよび／またはネットワークによって必要とされる３Ｄビューディスプレイレベルが取得され、抽出される深度／視差情報の層の総数およびレベルはディスプレイレベルにしたがって判断される。例えば、ディスプレイレベルが３層の深度／視差情報の抽出を必要とする場合、これらの層は「スパース深度／視差情報」、「高密度深度／視差情報」および「精密深度／視差情報」と判断され、ステップ９０３から９０６がステップ９０２１の後に実行される必要がある。
【０１２７】
上記第３の実施形態の別のビデオ符号化方法に基づいて、本実施形態はさらに、ディスプレイデバイスの要件およびネットワーク条件にしたがって対応する層およびレベルの深度／視差情報を抽出するため、符号化効率を改良し、符号化の複雑さを低減し、ネットワーク送信効率を改良することができる。
【０１２８】
第１の実施形態の別のビデオコーダについて以下に記述する。
【０１２９】
図１６は、本発明の第１の実施形態にしたがった別のビデオコーダの構造を示している。ビデオコーダは、
第１のビューを基準ビューとして使用して、第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュール４０と、
少なくとも２層の予測情報抽出モジュールであって、第１の層の予測情報抽出モジュール４１がベースレイヤ符号化モジュール４０と接続されており、ローカル復号された第１のビュー及び第２のビューを合成することによって第１の層の予測情報を抽出するように適合された、第１の層の予測情報抽出モジュール４１以外の他の層の予測情報抽出モジュール４２、４３・・・は先行層の予測情報抽出モジュールに接続されており、ローカル復号された第１のビュー、第２のビューおよび先行層の予測情報を合成することによって現在の層の予測情報インクリメントを抽出するように適合されたモジュールと、
第１の層の予測情報および複数層の予測情報インクリメントにエンハンスメントレイヤ符号化を実行するように適合されているエンハンスメントレイヤ符号化モジュール４４と、
ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得するように適合されている多重化モジュール４５とを含む。
【０１３０】
本実施形態で提供されたコーダは、ここに提供されている別のビデオ符号化方法の第１から第４の実施形態に適用可能である。
【０１３１】
本実施形態では、第１の層の予測情報抽出モジュール４１および他の層の予測情報抽出モジュール４２、４３・・・は、１層の予測情報および少なくとも１層の深度／視差情報インクリメントを抽出し、これらにそれぞれエンハンスメントレイヤ符号化を実行する。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。エンハンスメントレイヤ符号化が増分のために（for the increment）実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。
【０１３２】
第２の実施形態の別のビデオコーダについて以下に記述する。
【０１３３】
図１７は、本発明の第２の実施形態にしたがった別のビデオコーダの構造を示している。ビデオコーダは、
左目ビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュール５０と、
ベースレイヤ符号化モジュール５０に接続され、右目ビューとローカル復号された左目ビューとを合成することによってスパース予測情報を抽出するように適合されたスパース予測情報抽出モジュール５１と、
スパース予測情報抽出モジュール５１に接続され、スパース予測情報抽出モジュール５１によって送信されたスパース予測情報を受信し、かつ、右目ビューとローカル復号された左目ビューとを合成することによって高密度予測情報の増分（increment）を抽出するように適合されている高密度予測情報抽出モジュール５２と、
高密度予測情報抽出モジュール５２に接続され、高密度予測情報抽出モジュール５２によって送信された高密度予測情報を受信し、かつ、右目ビューとローカル復号された左目ビューとを合成することによって精密予測情報の増分（increment）を抽出するように適合された精密予測情報抽出モジュール５３と、
スパース予測情報、高密度予測情報の増分（increment）、および精密予測情報の増分（increment）にそれぞれエンハンスメントレイヤ符号化を実行するように適合されているエンハンスメントレイヤ符号化モジュール５４と、
ベースレイヤコードおよびエンハンスメントレイヤコードを多重化して、符号化情報を取得するように適合された多重化モジュール５５と、を含む。
【０１３４】
本実施形態のビデオコーダはさらに、ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析して、ディスプレイデバイスおよび／またはネットワークによって必要とされる３Ｄビューディスプレイレベルを取得し、ディスプレイレベルにしたがって抽出される予測情報の増分（increment）の層の総数およびレベルを判断するように適合されている解析モジュール５６を含み得る。
【０１３５】
本実施形態のビデオコーダは、上記３層の予測情報抽出モジュールに制限されない。例えば、ディスプレイデバイスおよび／またはネットワークによって必要とされるような実際の必要性に応じて、少なくとも２層の予測情報抽出モジュールが、異なるディスプレイデバイスおよび／またはネットワークの要件を満たすように設定される。
【０１３６】
本実施形態では、スパース予測情報抽出モジュール５１、高密度予測情報抽出モジュール５２、および精密予測情報抽出モジュール５３が、スパース予測情報、高密度予測情報インクリメント、および精密予測情報インクリメントを抽出し、これらにそれぞれエンハンスメントレイヤ符号化を実行するように設定される。したがって、３Ｄビューは階層的に符号化され、異なるネットワークで接続された種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。エンハンスメントレイヤ符号化が高密度予測情報の増分（increment）および精密予測情報の増分（increment）に対して実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。加えて、ディスプレイデバイスの特定の要件およびネットワーク条件は解析モジュール５６にしたがって取得され得、対応する層およびレベルの予測情報が抽出されることによって、符号化効率を改良し、符号化の複雑さを低減し、ネットワーク送信効率をさらに改良することができる。
【０１３７】
第１の実施形態の別のビデオ復号方法について以下に記述する。
【０１３８】
図１８は、本発明の第１の実施形態にしたがった別のビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第１の実施形態の別のビデオ符号化方法に関連し、以下のステップを含んでいる。
【０１３９】
ステップ１００１：受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得する。
【０１４０】
ステップ１００２：ベースレイヤコードを復号して、第１のビューを基準ビューとして取得する。
【０１４１】
ステップ１００３：エンハンスメントレイヤコードを復号して、第１の層の予測情報および複数層の予測情報の増分（increments）を取得する。
【０１４２】
ステップ１００４：第１の層の予測情報および複数の層の予測情報の増分（increments）にしたがって少なくとも２層の予測情報を算出する。
【０１４３】
ステップ１００５：少なくとも２層の予測情報および第１のビューにしたがって第２のビューを予測する。
【０１４４】
本実施形態のビデオ復号方法によって、少なくとも２層の予測情報が、取得された第１の層の予測情報および複数層の予測情報にしたがって算出される。したがって、３Ｄビューは階層的に復号され、種々の３Ｄディスプレイデバイスは３Ｄビューを階層的に表示可能である。エンハンスメントレイヤ復号は複数層の予測情報インクリメントに実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。本実施形態はまたベースレイヤコードを復号し、また、２Ｄビューはベースレイヤコードの復号情報にしたがって表示可能であるため、２Ｄディスプレイ機能と両立可能である。
【０１４５】
第２の実施形態の別のビデオ復号方法について以下に記述する。
【０１４６】
図１９は、本発明の第２の実施形態にしたがった別のビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第２の実施形態の別のビデオ符号化方法に関連し、以下のステップを含んでいる。
【０１４７】
ステップ１１０１：受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得する。
【０１４８】
ステップ１１０２：ベースレイヤコードを復号して、左目ビューを基準ビューとして取得する。
【０１４９】
ステップ１１０３：エンハンスメントレイヤコードを復号して、スパース深度／視差情報および高密度深度／視差情報インクリメントを取得する。
【０１５０】
ステップ１１０４：スパース深度／視差情報および高密度深度／視差情報の増分（increment）にしたがって高密度深度／視差情報を算出する。
【０１５１】
ステップ１１０５：スパース深度／視差情報、高密度深度／視差情報および左目ビューにしたがって右目ビューを予測する。
【０１５２】
本実施形態のビデオ復号方法によって、２層の予測情報が、取得されたスパース予測情報および高密度予測情報の増分（increment）にしたがって算出される。したがって、３Ｄビューは階層的に復号され、種々の３Ｄディスプレイデバイスは３Ｄビューを階層的に表示可能である。エンハンスメントレイヤ復号が高密度予測情報の増分（increment）に実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅が縮小され、送信効率は改良される。本実施形態はまたベースレイヤコードを復号し、また、２Ｄビューはベースレイヤコードの復号情報にしたがって表示可能であるため２Ｄディスプレイ機能と両立可能である。
【０１５３】
第３の実施形態の別のビデオ復号方法について以下に記述する。
【０１５４】
図２０は、本発明の第３の実施形態にしたがった別のビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は、本発明の第４の実施形態の別のビデオ符号化方法に関連し、以下のステップを含んでいる。
【０１５５】
ステップ１２０１：受信された符号化情報を逆多重化し、ベースレイヤコードおよびエンハンスメントレイヤコードを取得する。
【０１５６】
ステップ１２０２：ベースレイヤコードを復号し、左目ビューを基準ビューとして取得する。
【０１５７】
ステップ１２０３：エンハンスメントレイヤコードを復号し、スパース深度／視差情報、高密度深度／視差情報の増分（increment）、および精密深度／視差情報の増分（increment）を取得する。
【０１５８】
ステップ１２０４：スパース深度／視差情報および高密度深度／視差情報の増分（increment）にしたがって高密度深度／視差情報を算出し、高密度深度／視差情報および精密深度／視差情報の増分（increment）にしたがって精密深度／視差情報を算出する。
【０１５９】
ステップ１２０５：スパース深度／視差情報、高密度深度／視差情報、精密深度／視差情報および左目ビューにしたがって右目ビューを予測する。
【０１６０】
符号化プロセスにおいて、少なくとも１つの３Ｄビューディスプレイレベルが、ディスプレイデバイスおよび／またはネットワーク送信情報を解析することによって取得され、ディスプレイレベルに対応する３層の予測情報構造がディスプレイレベルにしたがって取得され、この場合、３層の予測情報とはスパース深度／視差情報、高密度深度／視差情報、および精密深度／視差情報のことである。したがって、復号プロセスにおいて、エンハンスメントレイヤコードは直接復号され、３層の深度／視差情報を取得する。
【０１６１】
本実施形態のビデオ復号方法において、予測情報は運動ベクトル情報、あるいは深度／視差情報および運動ベクトル情報の組み合わせであり得る。
【０１６２】
本実施形態のビデオ復号方法によって、少なくとも２層の深度／視差情報が、取得された第１の層の深度／視差情報および複数層の深度／視差情報の増分（increments）にしたがって算出される。したがって、３Ｄビューが階層的に復号される。右目ビューは左目ビューに照らして予測され、３Ｄビューは左目ビューおよび予測された右目ビューにしたがって表示可能であり、種々の３Ｄディスプレイデバイスにより３Ｄビューを階層的に表示させることができる。エンハンスメントレイヤ復号が複数層の深度／視差情報の増分（increments）に実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。本実施形態はまたベースレイヤコードを復号し、また、２Ｄビューはベースレイヤコードの復号情報にしたがって表示可能であるため、２Ｄディスプレイ機能と両立可能である。
【０１６３】
第４の実施形態の別のビデオ復号方法について以下に記述する。
【０１６４】
図２１は、本発明の第４の実施形態にしたがった別のビデオ復号方法のフローチャートである。本実施形態のビデオ復号方法は本発明の第３の実施形態の別のビデオ符号化方法に関連し、以下の点で第３の実施形態の別のビデオ復号方法と異なっている。
【０１６５】
符号化プロセスにおいて、３層の予測情報構造が、抽出される予測情報の所定の層数およびレベルにしたがって判断される。したがって、復号プロセスはさらに、ステップ１２０３の前に以下のステップを含み得る。
【０１６６】
ステップ１２０２１：ディスプレイデバイスからのリクエスト情報を解析し、種々のディスプレイデバイスによって必要とされる少なくとも１つの３Ｄビューディスプレイレベルを取得し、ディスプレイレベルにしたがってエンハンスメントレイヤ復号の層の総数およびレベルを判断する。
【０１６７】
具体的に、ステップ１２０３は、エンハンスメントレイヤコードの所定の層の総数および所定のレベルにしたがってエンハンスメントレイヤコードを復号し、スパース深度／視差情報および少なくとも１層の深度／視差情報の増分（increment）を取得することである。少なくとも１層の深度／視差情報の増分（increment）は高密度深度／視差情報の増分（increment）であってもよく、あるいは高密度深度／視差情報の増分（increment）および精密深度／視差情報の増分（increment）の組み合わせであってもよい。
【０１６８】
第３の実施形態の別のビデオ復号方法に基づいて、本実施形態はさらに、ディスプレイデバイスの特定の要件にしたがって対応する層およびレベルのエンハンスメントレイヤコードを復号し、対応するレベルの深度／視差情報を取得することによって、復号効率を改良し、復号の複雑さを低減することができる。
【０１６９】
第１の実施形態の別のビデオデコーダについて以下に記述する。
【０１７０】
図２２は、本発明の第１の実施形態にしたがった別のビデオデコーダの構造を示している。ビデオデコーダは、
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュール６０と、
ベースレイヤコードを復号し、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュール６１と、
エンハンスメントレイヤコードを復号し、第１の層の予測情報および複数層の予測情報を取得するように適合されたエンハンスメントレイヤ復号モジュール６２と、
第１の層の予測情報および複数層の予測情報の増分（increments）にしたがって少なくとも２層の予測情報を算出するように適合されている算出モジュール６３と、
少なくとも２層の予測情報及び第１のビューにしたがって第２のビューを予測するように適合された予測モジュール６４と、を含む。
【０１７１】
本実施形態のビデオデコーダはさらに、ディスプレイデバイスからのリクエスト情報を解析し、ディスプレイデバイスによって必要とされる３Ｄビューディスプレイレベルを取得し、ディスプレイレベルにしたがってエンハンスメントレイヤ復号の層の総数を判断するように適合されている解析モジュール６５を含み得る。
【０１７２】
本実施形態で提供されたデコーダは、ここに提供されている別のビデオ復号方法の第１から第４の実施形態に適用可能である。
【０１７３】
本実施形態では、エンハンスメントレイヤ復号モジュール６２および算出モジュール６３が、少なくとも２層の予測情報を取得するように設定される。したがって、３Ｄビューは階層的に復号され、種々の３Ｄディスプレイデバイスは３Ｄビューを階層的に表示可能である。エンハンスメントレイヤ復号は複数層の予測情報の増分（increments）に対して実行されるため、ネットワークで送信される必要のある情報は少なく、必要なネットワーク送信帯域幅は縮小され、送信効率は改良される。本実施形態はまた解析モジュール６５にしたがってディスプレイデバイスの特定の要件を取得し、対応する層およびレベルの予測情報を復号することによって、復号効率を改良し、復号の複雑さを低減することができる。
【０１７４】
最後に、上記実施形態は、本発明の技術的解決法を説明するために提供されたにすぎず、本発明に制限されるものではない点に留意されたい。本発明は上記実施形態を参照して詳細に説明されたが、修正や置換が対応する技術的解決法の本質を本発明の範囲から逸脱させない限り、上記実施形態で説明された技術的解決法に対する修正が可能であり、あるいは技術的解決法の技術的特徴に対して同等の置換が可能である点が当業者によって理解されるであろう。
【図１】
2011501581.tif 000003
【図２】
2011501581.tif 000004
【図３】
2011501581.tif 000005
【図４】
2011501581.tif 000006
【図５】
2011501581.tif 000007
【図６】
2011501581.tif 000008
【図７】
2011501581.tif 000009
【図８】
2011501581.tif 000010
【図９】
2011501581.tif 000011
【図１０】
2011501581.tif 000012
【図１１】
2011501581.tif 000013
【図１２】
2011501581.tif 000014
【図１３】
2011501581.tif 000015
【図１４】
2011501581.tif 000016
【図１５】
2011501581.tif 000017
【図１６】
2011501581.tif 000018
【図１７】
2011501581.tif 000019
【図１８】
2011501581.tif 000020
【図１９】
2011501581.tif 000021
【図２０】
2011501581.tif 000022
【図２１】
2011501581.tif 000023
【図２２】
2011501581.tif 000024
【手続補正書】
【提出日】平成22年5月25日(2010.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
抽出される予測情報の層数およびレベル数を事前設定するか、ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析するステップと、
前記ディスプレイデバイスおよび／またはネットワークによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するステップと、
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行し、前記ローカル復号された第１のビュー及び第２のビューを合成することによって、前記ディスプレイデバイスおよび／または前記ネットワークによって必要とされる前記予測情報のレベルまたは前記３Ｄビューディスプレイレベルの事前設定数に対応する少なくとも１層の予測情報を抽出するステップと、
前記少なくとも１層の予測情報にそれぞれエンハンスメント符号化を実行するステップと、
前記第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得するステップと、
を備えるビデオ符号化方法。
【請求項２】
前記予測情報が運動ベクトル情報および／または深度／視差情報である、請求項１に記載のビデオ符号化方法。
【請求項３】
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行する前に、前記ディスプレイレベルにしたがって抽出される前記予測情報の増分の層の総数およびレベルを判断するステップと、
前記ローカル復号された第１のビュー及び第２のビューを合成することによって、前記ディスプレイデバイスおよび／または前記ネットワークによって必要とされる前記予測情報のレベルまたは前記３Ｄビューディスプレイレベルの事前設定数に対応する少なくとも１層の予測情報を抽出し、前記少なくとも１層の予測情報にそれぞれエンハンスメントレイヤ符号化を実行するステップであって、
前記第１の層の予測情報にエンハンスメントレイヤ符号化を実行し、
現在の層の予測情報の増分を、第２の層の予測情報の増分の抽出から開始する以下の方法により抽出するステップと、
前記ローカル復号された第１のビュー、前記第２のビュー、及び先行層の予測情報を合成することによって前記現在の層の予測情報の増分を抽出し、最後の層の予測情報が前記エンハンスメントレイヤ符号化を受けるまで前記現在の層の予測情報の増分に前記エンハンスメントレイヤ符号化を実行するステップと、
ベースレイヤコードおよび各エンハンスメントレイヤコードを多重化し、符号化情報を取得するステップと、
を備える、請求項１に記載のビデオ符号化方法。
【請求項４】
前記ローカル復号された第１のビュー、前記第２のビュー、及び前記先行層の予測情報合成することによって前記現在の層の予測情報を抽出するステップを、
前記ローカル復号された第１のビュー及び前記第２のビューを合成することによって現在の層の予測情報を抽出し、
前記現在の層の予測情報および前記先行層の予測情報にしたがって前記現在の層の予測情報インクリメントを算出するステップとした、請求項３に記載のビデオ符号化方法。
【請求項５】
前記現在の層の予測情報を抽出するステップを、
現在の層の運動ベクトル情報インクリメントおよび／または現在の層の深度／視差情報の増分を抽出するステップとした、請求項４に記載のビデオ符号化方法。
【請求項６】
前記ベースレイヤコードおよび前記エンハンスメントレイヤコードが運動補償による離散コサイン変換コードである、請求項１及び請求項３の何れか１項に記載のビデオ符号化方法。
【請求項７】
抽出される前記予測情報の層の数およびレベルを事前設定するか、ディスプレイデバイスからのリクエスト情報および／またはネットワーク送信情報を解析して、前記ディスプレイデバイスおよび／またはネットワークによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するように適合された事前設定または解析モジュールと、
第１のビューを基準ビューとして使用して前記第１のビューにベースレイヤ符号化を実行するように適合されたベースレイヤ符号化モジュールと、
前記ローカル復号された第１のビュー及び第２のビューを合成することによって、前記ディスプレイデバイスおよび／または前記ネットワークによって必要とされる前記予測情報のレベルまたは前記３Ｄビューディスプレイレベルの事前設定数に対応する少なくとも１層の予測情報を抽出するように適合された少なくとも１つの予測情報抽出モジュールと、
前記少なくとも１層の予測情報にエンハンスメントレイヤ符号化を実行するように適合されたエンハンスメントレイヤ符号化モジュールと、
前記第１のビューのエンハンスメントレイヤコードおよびベースレイヤコードを多重化して、符号化情報を取得するように適合された多重化モジュールと、
を備えるビデオコーダ。
【請求項８】
予測情報の増分の層の総数およびレベルの判断モジュールが、前記ディスプレイレベルにしたがって抽出される前記予測情報の増分の層の総数およびレベルを判断するように適合された、請求項７に記載のビデオコーダ。
【請求項９】
ディスプレイデバイスからのリクエスト情報を解析し、前記ディスプレイデバイスによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するステップと、
受信された符号化情報を逆多重化し、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するステップと、
前記ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するステップと、
前記エンハンスメントレイヤコードを復号して、前記ディスプレイデバイスによって必要とされる前記３Ｄディスプレイレベルに対応する少なくとも１層の予測情報を取得するステップと、
前記少なくとも１層の予測情報および前記第１のビューにしたがって第２のビューを予測するステップと、
を備える、ビデオ復号方法。
【請求項１０】
受信された符号化情報を逆多重化してベースレイヤコードおよびエンハンスメントレイヤコードを取得する前に、前記ディスプレイレベルにしたがってエンハンスメントレイヤ復号の層の総数およびレベルを判断するステップを備える、請求項９に記載のビデオ復号方法。
【請求項１１】
前記エンハンスメントレイヤコードを復号し、前記ディスプレイデバイスによって必要とされる前記３Ｄディスプレイレベルに対応する少なくとも１層の予測情報を取得するステップを、
前記エンハンスメントレイヤコードを復号して、第１の層の予測情報および複数層の予測情報インクリメントを取得し、
前記第１の層の予測情報および前記複数層の予測情報にしたがって少なくとも２層の予測情報を算出するステップとした、請求項９に記載のビデオ復号方法。
【請求項１２】
前記予測情報が運動ベクトル情報および／または深度／視差情報である、請求項９及び請求項１１の何れか１項に記載のビデオ復号方法。
【請求項１３】
受信された符号化情報を逆多重化して、ベースレイヤコードおよびエンハンスメントレイヤコードを取得するように適合された逆多重化モジュールと、
前記ベースレイヤコードを復号して、第１のビューを基準ビューとして取得するように適合されたベースレイヤ復号モジュールと、
ディスプレイデバイスからのリクエスト情報を解析し、前記ディスプレイデバイスによって必要とされる少なくとも１つの３次元（３Ｄ）ビューディスプレイレベルを取得するように適合された解析モジュールと、
前記エンハンスメントレイヤコードを復号し、前記解析モジュールによって取得された少なくとも１つの３次元ビューディスプレイレベルに対応する少なくとも１層の予測情報を取得するように適合されたエンハンスメントレイヤ復号モジュールと、
前記少なくとも１層の予測情報および前記第１のビューにしがたって第２のビューを予測するように適合された予測モジュールと、
を備えるビデオデコーダ。
【請求項１４】
前記ディスプレイレベルにしたがって復号したエンハンスメントレイヤの層の総数およびレベルを判断するモジュールが、前記ディスプレイレベルにしたがって復号したエンハンスメントレイヤの層の総数およびレベルを判断するように適合された、請求項１３に記載のビデオデコーダ。
【請求項１５】
前記エンハンスメントレイヤを復号するモジュールが、
前記エンハンスメントレイヤコードを復号して、第１の層の予測情報および複数層の予測情報の増分を取得するように適合されたエンハンスメントレイヤ復号モジュールと、
前記第１の層の予測情報および前記複数層の予測情報の増分にしたがって少なくとも２層の予測情報を算出するように適合された算出モジュールと、を備える請求項１３に記載のビデオデコーダ。
【国際調査報告】
2011501581.tif 000025
2011501581.tif 000026
2011501581.tif 000027
2011501581.tif 000028
2011501581.tif 000029
2011501581.tif 000030
2011501581.tif 000031