(57)【特許請求の範囲】
【請求項１】
コンピュータが行うビデオデータ・ストリームのためのエントリー・ポイントを提供する方法であって、
エントリー・ポイント・テーブルを生成し、
エントリー・ポイントが互いから時間をおいて定められるように、前記ビデオデータ・ストリーム中のエントリー・ポイントを定め、
定められた前記エントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって、定められた前記エントリー・ポイントを前記エントリー・ポイント・テーブル中に記憶し、
前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記2Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、
前記エントリー・ポイントを定めることは、前記2Dサブストリームの隣接しない断片を読み出し復号して、前記補助サブストリームの対応する断片を読み出し前記２Dサブストリームに従属して復号することによって、前記3Dビデオデータの3Dトリックプレイを可能にするために、前記2Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントを定めることを含む、方法。
【請求項２】
前記エントリー・ポイントを定めることは、表示時間スタンプを用いて、それぞれのメイン・エントリー・ポイントと対応する補助エントリー・ポイントとの関連を確立することを含む、請求項１に記載の方法。
【請求項３】
前記エントリー・ポイントを定めることは、前記補助サブストリームのための別のエントリー・ポイント・マップに前記補助エントリー・ポイントを提供することを含む、請求項１又は請求項２に記載の方法。
【請求項４】
前記ビデオデータ・ストリームが、マルチビュー3Dビデオデータを有し、マルチビューは、少なくとも1つの左ビュー及び1つの右ビューを含む、請求項１に記載の方法。
【請求項５】
前記少なくとも1つの補助サブストリームが、
深さ情報データ・ストリーム、
透明度情報データ・ストリーム、
遮蔽情報データ・ストリーム、
のうちの少なくとも1つを有する、請求項１に記載の方法。
【請求項６】
前記ビデオデータ・ストリームが複数の補助サブストリームを有し、前記エントリー・ポイントが、トリックプレイの間に前記3Dビデオデータの低減されたバージョンをレンダリングするために、前記複数の補助サブストリームのうちの選択されたサブセットのみのための補助エントリー・ポイントを有する、請求項４又は請求項５に記載の方法。
【請求項７】
前記2Dサブストリームに関する第1エントリー・ポイント・サブテーブルを生成し、
前記補助サブストリームに関する第２エントリー・ポイント・サブテーブルを生成し、
前記第1エントリー・ポイント・サブテーブル及び前記第２エントリー・ポイント・サブテーブルによって前記3Dビデオデータに関する前記エントリー・ポイント・テーブルを形成する、請求項１に記載の方法。
【請求項８】
各々のエントリー・ポイントのために、メイン・エントリー・ポイントに対する少なくとも第1エントリー・ポイント・アドレス及び対応する補助エントリー・ポイント・アドレスに対する少なくとも第２エントリー・ポイント・アドレスを含む複数のエントリー・ポイント・アドレスのセットを定める、請求項１に記載の方法。
【請求項９】
前記データ・ストリーム及び前記エントリー・ポイント・テーブルが記憶された記録担体を提供する、請求項１に記載の方法。
【請求項１０】
ビデオデータ・ストリームのためのエントリー・ポイントを提供するための装置であって、
エントリー・ポイントが互いから時間をおいて定められるように、前記ビデオデータ・ストリーム中のエントリー・ポイントを定めて、
定められた前記エントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することにより、定められた前記エントリー・ポイントを前記エントリー・ポイント・テーブル中に記憶することによって、エントリー・ポイント・テーブルを生成するための手段、
を有し、
前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、
前記エントリー・ポイント・テーブルを生成するための手段は、前記2Dサブストリームの隣接しない断片を読み出し復号して、前記補助サブストリームの対応する断片を読み出し前記２Dサブストリームに従属して復号することによって、前記3Dビデオデータの3Dトリックプレイを可能にするために、前記2Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントを定める、装置。
【請求項１１】
記録担体に前記ビデオデータ・ストリーム及び前記エントリー・ポイント・テーブルを記憶するための書き込み手段を有する、請求項１０に記載の装置。
【請求項１２】
ビデオデータを再生するための装置であって、
ビデオデータ・ストリーム及び請求項１から請求項９のいずれか一項に記載のように定められたエントリー・ポイント・テーブルを受信するための手段を有し、
前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも1つの補助サブストリームを有する複数のサブストリームを有し、
当該装置は、
前記２Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントに基づいて、前記2Dサブストリームの隣接しない断片を読み出して復号し前記補助サブストリームの対応する断片を読み出して前記２Dサブストリームに従属して復号することにより前記3Dビデオデータを再生することによる前記3Dビデオデータの3Dトリックプレイのための手段を有する、装置。
【請求項１３】
３Dトリックプレイのための前記手段が、それぞれのメイン・エントリー・ポイントに対して、表示時間スタンプを用いて、対応する補助エントリー・ポイントを読み出す、請求項１２に記載の装置。
【請求項１４】
３Dトリックプレイのための前記手段が、前記補助サブストリームのための別のエントリー・ポイント・マップから前記補助エントリー・ポイントを読み出す、請求項１２又は請求項１３に記載の装置。
【請求項１５】
３Dトリックプレイのための前記手段が、
前記2Dサブストリームに関する第1エントリー・ポイント・サブテーブルから前記メイン・エントリー・ポイントを、
前記補助サブストリームに関する第２エントリー・ポイント・サブテーブルから前記補助エントリー・ポイントを、読み出す、
請求項１２に記載の装置。
【請求項１６】
記録担体から前記ビデオデータ・ストリーム及び前記エントリー・ポイント・テーブルを読み出すための読み出し手段を有する、請求項１２に記載の装置。
【請求項１７】
ビデオデータを伝達する信号を記録するコンピュータ可読記録媒体であって、前記信号は、
互いから時間をおいて定められるエントリー・ポイントを持つビデオデータ・ストリーム、
前記定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することにより前記定められたエントリー・ポイントを有する請求項１から請求項７のいずれか一項において定められるようなエントリー・ポイント・テーブル、
を有し、
前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも1つの補助サブストリームを有する複数のサブストリームを有し、
前記エントリー・ポイント・テーブルは、コンピュータが前記2Dサブストリームの隣接しない断片を読み出して復号して前記補助サブストリームの対応する断片を読み出し前記２Dサブストリームに従属して復号することにより3Dビデオデータの3Dトリックプレイを可能にするために、前記2Dサブストリーム中のメイン・エントリー・ポイント及び前記補助データ・ストリーム中の補助エントリー・ポイントを有する、コンピュータ可読記録媒体。
【請求項１８】
前記エントリー・ポイント・テーブルが、表示時間スタンプを用いたそれぞれのメイン・エントリー・ポイントへの対応する補助エントリー・ポイントの関連付けを含む、請求項１７に記載のコンピュータ可読記録媒体。
【請求項１９】
前記補助エントリー・ポイントが、前記補助サブストリームのための別のエントリー・ポイント・マップ中に提供される、請求項１７又は請求項１８に記載のコンピュータ可読記録媒体。
【請求項２０】
前記メイン・エントリー・ポイントが、前記２Dサブストリームに関する第1エントリー・ポイント・サブテーブル中に含まれ、
前記補助エントリー・ポイントが、前記補助サブストリームに関する第2エントリー・ポイント・サブテーブル中に含まれる、
請求項１７に記載のコンピュータ可読記録媒体。
【請求項２１】
光学的に検出可能なマークを備えるトラックを持つ光学的に読み取り可能なタイプの記録担体であり、前記マークの光学的に検出可能な特性が前記信号を表す、請求項１７から請求項２０に記載のコンピュータ可読記憶媒体。
【請求項２２】
請求項１７に記載のコンピュータ可読記録媒体に記録された前記信号に基づいてコンピュータが行うビデオデータをレンダリングする方法であって、
前記コンピュータ可読記録媒体から前記信号を受信し、
前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも1つの補助サブストリームを有する複数のサブストリームを有し、
当該方法は、
前記２Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントに基づいて、前記2Dサブストリームの隣接しない断片を読み出して復号して前記補助サブストリームの対応する断片を読み出して前記２Dサブストリームに従属して復号することにより前記3Dビデオデータを再生することによって、前記3Dビデオデータの3Dトリックプレイをレンダリングする、方法。
【請求項２３】
前記３Dトリックプレイのレンダリングは、それぞれのメイン・エントリー・ポイントに対して、表示時間スタンプを用いて、対応する補助エントリー・ポイントを読み出すことを含む、請求項２２に記載の方法。
【請求項２４】
前記３Dトリックプレイのレンダリングが、前記補助サブストリームのための別のエントリー・ポイント・マップから前記補助エントリー・ポイントを読み出すことを含む、請求項２２又は請求項２３に記載の方法。
【請求項２５】
前記３Dトリックプレイのレンダリングが、
前記2Dサブストリームに関する第1エントリー・ポイント・サブテーブルから前記メイン・エントリー・ポイントを、
前記補助サブストリームに関する第２エントリー・ポイント・サブテーブルから前記補助エントリー・ポイントを、読み出すことを含む、
請求項２２に記載の方法。
【請求項２６】
プロセッサにロードされて、当該プロセッサに請求項１から請求項９及び請求項２２から請求項２５のいずれか一項に記載の方法を実行させる１セットの命令を有するコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータ・ストリームにエントリー・ポイントを提供する方法に関し、当該方法は、
-エントリー・ポイント・テーブルを生成し、
-互いから時間をおいて定められたエントリー・ポイントをビデオデータ・ストリーム中に定め、
-定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによってエントリー・ポイント・テーブル中に定められたエントリー・ポイントを記憶する。
【０００２】
本発明はさらに、エントリー・ポイントを提供するための装置、ビデオデータを再生するための装置、信号、レンダリングの方法及びコンピュータ・プログラム製品に関する。
【０００３】
本発明は、トリックプレイ・モードで3Dビデオデータをレンダリングする、すなわち、3D表示装置上で順方向又は逆方向に増加した速度で3Dビデオを再生する分野に関する。
【背景技術】
【０００４】
2Dビデオデータをレンダリングするための装置が知られている(例えば、DVDプレーヤーのようなビデオ・プレーヤー又はデジタルビデオ信号を提供するセットトップボックス)。ソース装置は、TVセット又はモニタのような表示装置に結合される。画像データは、ソース装置から適切なインタフェース(好ましくは、HDMIのような高速デジタル・インタフェース)を介して転送される。現在、三次元(3D)画像データを供給するための3D拡張装置が提案されている。
【０００５】
3D動画又はTVプログラムのような3Dコンテンツのために、トリックプレイを可能にするための付加的な制御データが、画像データと組み合わせて提供される場合がある（例えば、増加した速度でレンダリングされることができるフレームの後続の位置へのポインタのリスト）。トリックプレイは、さまざまな速度で元の速度と異なる速度(例えば高速順方向若しくは高速逆方向、又はスローモーション)における3Dビデオ・コンテンツの任意のレンダリング・モードである。
【０００６】
文献US2006/0117357は、トリックプレイ・モードで2Dビデオデータをレンダリングするシステムを記載する。デジタルビデオ信号は、さまざまなトリック・モード再生速度で再生される。デジタルビデオ・ストリームのビデオ・フレームと関連したフレーム・インデックスがモニタリングされて、Group-of-Picture(GOP)サイズがフレーム・インデックスから決定される。１つ以上のトリック・モード再生速度パラメータが、決定されたGOPサイズに基づいて計算される。ビデオ・フレームの表示は、計算されたトリック・モード再生速度パラメータに基づいて制御される。一実施例において、トリック・モード再生速度パラメータは、フレーム・スキップ・カウント及びフレーム・リピート・カウントを含む。
【０００７】
3Dコンテンツのためのトリックプレイも開発されなければならない。3Dコンテンツの１つの例は、二次元画像及び関連する深さマップである。3Dコンテンツの他の例は、複数の二次元画像である（例えば右目画像及び左目画像を有する周知の立体視コンテンツ）。3Dコンテンツのさらに他の例は、マルチビュー・ディスプレイに表示される複数の右目画像及び左目画像を持つ立体視コンテンツである。
【０００８】
3Dビデオに関するトリックプレイの問題は、(滑らかなトリックプレイのために)復号器がより短い時間でより多くのフレームを復号しなければならないので、ビデオ復号器の負担が増加することである。立体視ビデオについては、復号器は２つ以上のストリームを復号しなければならず、これは2Dと比較して負担を増加させる。加えて、マルチビュー・ビデオが依存的サブ・ストリーム・マルチビュー符号化を用いて符号化される場合、付加的なストリームの復号は、基本ビュー・ストリームに依存的になる。
【０００９】
2Dトリックプレイを提供するために、ブルーレイ・ディスク規格は、基本ビデオ・ストリームごとにエントリー・ポイント・テーブル(EPマップ)を定める。ビデオは、周知のMPEG規格において定義されるさまざまな種類のフレームとして符号化される。テーブルは、復号が始まることができるポイントのストリームでの位置を記載する。通常、エントリー・ポイントは、MPEG Iフレーム境界にある。テーブルは、１つのストリームのためのエントリー・ポイントのみを記載し、さらに互いに依存しているいくつかのビデオ・ストリームが同時に復号される場合があることは考慮されない。
【００１０】
【非特許文献１】A novel Milti-View Video Coding Scheme Based on H.264; by GuopingLi, Yun He; ICICS-PCM 2003, 15-18 december 2003, Singapore, IEEE 0-7893-8185-8/03
【００１１】
【非特許文献２】Efficient Prediction Structures for Multi-View Video Coding; by Philipp Merkle et al; IEEE 2007
【００１２】
【非特許文献３】Depth image based rendering, compression and transmission for a new approach on 3D TV by Christoph Fehn (see http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、より便利な態様における3Dトリックプレイのための方法を提供することである。
【課題を解決するための手段】
【００１４】
この目的のために、本発明の第１の態様によると、冒頭の段落に記載の方法において、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイントを定めることは、2Dサブストリームの隣接しない断片を読み出して復号し、補助サブストリームの対応する断片を読み出して従属して復号することによって、3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを定める。
【００１５】
この目的のために、本発明の第２の態様によれば、ビデオデータ・ストリームにエントリー・ポイントを提供するための装置は、互いから時間をおいて定められるエントリー・ポイントをビデオデータ・ストリーム中に定めることによってエントリー・ポイント・テーブルを生成し、定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって定められたエントリー・ポイントをエントリー・ポイント・テーブル中に記憶するための手段を有し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイント・テーブルを生成するための手段は、2Dサブストリームの隣接しない断片を読み出して復号し、補助サブストリームの対応する断片を読み出して従属して復号することによって、3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを定めるように配置される。
【００１６】
この目的のために、本発明のさらに別の態様では、ビデオデータを再生するための装置は、ビデオデータ・ストリーム及び上で定められたようなエントリー・ポイント・テーブルを受信するための手段を有し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイントは、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有し、当該装置は、エントリー・ポイント・テーブルに従って2Dサブストリームの隣接しない断片を読み出して復号して補助サブストリームの対応する断片を読み出して従属して復号することにより3Dビデオデータを再生することによる3Dビデオデータの3Dトリックプレイのための手段を有する。
【００１７】
この目的のために、本発明のさらに別の態様では、ビデオデータを伝達する信号は、互いから時間をおいて定められるエントリー・ポイントを持つビデオデータ・ストリーム、及び、定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって定められたエントリー・ポイントを有する上で定められたようなエントリー・ポイント・テーブルを有し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、そして、エントリー・ポイント・テーブルは、2Dサブストリームの隣接しない断片を読み出して復号して補助サブストリームの対応する断片を読み出して従属して復号することにより3Dビデオデータを再生することによって3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有する。
【００１８】
この目的のために、本発明のさらに別の態様では、上で定められたような信号に基づいてビデオデータをレンダリングする方法は、ビデオデータ・ストリーム及び上で定められたようなエントリー・ポイント・テーブルを受信し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイントは、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有し、そして当該方法は、エントリー・ポイント・テーブルに従って2Dサブストリームの隣接しない断片を読み出して復号して補助サブストリームの対応する断片を読み出して従属して復号することにより3Dビデオデータを再生することによる3Dビデオデータの3Dトリックプレイをレンダリングする。
【００１９】
この方策は、複数のサブストリーム符号化3Dビデオデータ(例えばブルーレイ・ディスクのためのマルチビュー符号化ビデオ)のトリックプレイが、拡張されたエントリー・ポイント・テーブルを備えるという効果を持つ。従来のエントリー・ポイント・テーブルは、ビデオ・ストリーム中の特定の時点に１つのエントリー・ポイントを提供する。本発明によるエントリー・ポイント・テーブルは、対応する補助ビデオ・ストリームにさらに直接アクセスするための、メイン・エントリー・ポイントを持つ特定の時点のための少なくとも１つの更なるエントリー・ポイントを提供する。例えば、これは、ベースビュー・ビデオ・ストリームに関するEPマップが、それらだけでは復号されることができない関連する補助ストリームのためのエントリー・ポイントをさらに含むように、エントリー・ポイント・テーブルの定義を変更することによって達成される。トリックプレイ・モードで再生されるべき3Dビデオの特定の断片を復号するときに、メイン・ストリーム及び補助ストリームの必要なデータが、直接アクセスされることができる。有利なことに、観察者は、全てのサブストリームが正しく復号されるというわけではないか又は失われた参照に起因して利用可能であるというわけではない場合の深さの知覚を妨害する影響を感じる必要が無い。
【００２０】
本発明はさらに以下の認識に基づく。従来の技術の2Dトリックプレイ・システムは、3Dトリックプレイに対する問題を認識してない。特に、１つのビデオ・ストリームに対して、１セットのエントリー・ポイントが提供される。しかしながら、独立に復号可能であるメイン・サブストリームに加えて、１つ以上の補助サブストリームが3Dビデオ信号中に存在する。本発明者らは、そのようなサブストリームは、通常の再生スピードにおいて、メイン・ストリームに依存してのみ復号可能であることを確認した。したがって、従来は、任意の復号できないストリーム中のエントリー・ポイントには何ら利点が無いと思われるので、そのような補助ストリームはエントリー・ポイントを持たない。しかし、本発明者らは、復号できない補助ストリームに、エントリー・ポイントを追加した。メイン・エントリーポイント・アドレス及び補助エントリー・ポイント・アドレスの両方を提供することによってのみ、両方のストリームが、トリックプレイのために隣接しない断片において首尾よく復号されることができる。これは、そのような断片に対して、補助ストリームの対応する断片が、拡張されたエントリー・ポイント・テーブルに従って直ちに読み出されることができるからである。
【００２１】
システムの実施の形態において、ビデオデータ・ストリームはマルチビュー3Dビデオデータを有し、このマルチビューは、少なくとも１つの左ビュー及び１つの右のビューを含む。マルチビュー3Dビデオは、左及び右目のための複数の別々のビューを提供する。3Dシーンの複数のビューは大きいオーバラップを持ち、例えば参照文献[1]又は[2]において説明されるように、通常は従属して符号化される。拡張エントリー・ポイント・テーブルは、そのようなマルチビュー3Dビデオ・ストリームのためのトリックプレイを首尾良く提供する。
【００２２】
システムの実施の形態において、ビデオデータ・ストリームは、複数の補助サブストリームを有し、エントリー・ポイントは、トリックプレイの間は3Dビデオデータの削減されたバージョンをレンダリングするために前記複数の補助サブストリームの選択されたサブセットのため補助エントリー・ポイントのみを有する。有利には、エントリー・ポイント・テーブルのサイズは、制限されたままである。この実施の形態はさらに、トリックプレイの間はレンダリングされる3Dビデオの若干の劣化が許容できるとの認識に基づく。例えば、マルチビュー3Dビデオのビューの数は、すべてのサブストリームを復号するというわけではないことによって低減されることができ、あるいは、透明度データは、構造化3Dビデオ・フォーマットにおいて無視されることができる。
【００２３】
本発明による方法、3D装置及び信号の更なる好ましい実施の形態は添付された請求の範囲において与えられ、その開示は参照によって本願明細書に組み込まれる。
【００２４】
本発明のこれらの及び他の態様は、添付の図面を参照して、以下の記載において一例として記載される実施の形態から明らかであり、それらを参照して説明される。
【図面の簡単な説明】
【００２５】
【図１】三次元ビデオ生成システムを示す図。
【図２】マルチビュー・ディスプレイを示す図。
【図３】レンチキュラ・レンズを介した右及び左目ビューを示す図。
【図４】プレイリストの基本的な構造を示す図。
【図５】三次元(3D)ビデオデータを表示するシステムを示す図。
【図６】エントリー・ポイント・テーブル・インジケータ・テーブルを示す図。
【図７】拡張エントリー・ポイント・テーブル・インジケータ・テーブルを示す図。
【図８】拡張ストリーム・タイプ・テーブルを示す図。
【図９】２つのサブストリームを持つ3Dビデオ・ストリームを示す図。
【図１０】エントリー・ポイント・マップの定義を示す図。
【図１１】メイン・ストリーム及びサブストリームが組み合わされたエントリー・ポイント・テーブルを示す図。
【発明を実施するための形態】
【００２６】
図において、既に説明された要素の対応する要素は同じ参照符号を持つ。
【００２７】
図1は、三次元ビデオ生成システムを示す。三次元ビデオ生成システムは、一対のカメラ（右カメラ11及び左カメラ12）、記憶媒体14に記憶されるビデオ信号15を生成する3Dビデオプロセッサ13を有する。右カメラ及び左カメラは、それぞれ従来のカメラであることができる。深さスキャナが、左カメラに関連付けられることができ、例えば、さまざまな方向に向きを変えられることができるレーザ・ビーム及びレーザ・ビームの反射を検出するセンサを有する。深さ情報はさらに、カメラ情報からの計算によって生成されることができる。カメラのペアは、シーンの三次元ビデオを取り込むために、シーン10に向けられる。シーン10は、例えば人、木、住宅及び空の太陽のようなさまざまなオブジェクトを有する。各々のオブジェクトは、シーンを観察している仮想的な観察者とみなされることができるカメラのペアに対して所与の距離を持つ。
【００２８】
3Dビデオプロセッサは、例えば、命令実行装置及び後述される3Dビデオプロセッサの動作を定める１セットの命令がロードされたプログラムメモリを有することができる。例えば、記憶媒体14は、ハードディスク、書き込み可能な光学ディスク、読み取り専用型光ディスクを製造するマスタリング・システム又は固体素子メモリの形であることができる。
【００２９】
三次元ビデオ生成システムは、基本的に以下のように動作する。カメラのペアは、画像ペアのシーケンスによって形成されるシーンの基本的な三次元ビデオを提供する。画像ペアは、右画像及び左画像を有する。右のカメラによって取り込まれる右画像は、人の観察者の右目を対象とする。左のカメラによって取り込まれる左画像は、人の観察者の左目を対象とする。
【００３０】
右カメラ及び左カメラは、互いに対して特定の位置関係を持つ。この位置関係は、例えば、画面サイズ及び観察距離に関する典型的なレンダリング状況によって定められることができる。例えば、右画像のシーケンス及び相互関係のある左画像のシーケンスを有する基本的な三次元ビデオは、12メートルの典型的な画面サイズ及び18メートルの典型的な観察距離を有する映画における表示を対象とする場合がある。マルチビュー3Dビデオデータ・ストリームは、カメラ及び/又は深さ情報から生成されることができる。マルチビュー3Dビデオは、左及び右目のための複数の別々のビューを提供する。3Dシーンの複数のビューは大きいオーバラップを持ち、例えば参照文献[1]又は[2]において説明されるように、通常は従属して符号化される。
【００３１】
異なる3Dフォーマットは、2D画像及び2D画像中のオブジェクトの深さに関する情報を伝達する付加的な深さ画像(いわゆる深さマップ)を用いた２つのビューに基づく。画像+深さと呼ばれるフォーマットは、それがいわゆる「深さ」又は視差マップと2D画像との組み合わせであるという点で異なる。これは、グレースケール画像であり、それによって、ピクセルのグレーのスケール値は、関連する2D画像中の対応するピクセルの視差(又は、深さマップの場合には深さ)の量を示す。表示装置は、入力として2D画像を利用して付加的なビューを計算するために、像差、深さ又は視差マップを用いる。これは、様々な態様で実行されることができ、最も単純な形式では、それは、ピクセルに関連付けられた視差値に依存して、左に又は右にそれらのピクセルをシフトする問題である。参照文献[3]はこの技術の優れた概要を与える。
【００３２】
図1に示されるシステムにおいて、3Dビデオプロセッサ13は、入力3Dビデオデータを処理するためのエントリー・ポイント・ユニット18を持ち、3Dトリックプレイ・モードのためのエントリー・ポイント・テーブルを生成する。エントリー・ポイント・ユニットは、ビデオデータ・ストリーム中にエントリー・ポイントを定めるために配置される。エントリー・ポイントは、エントリー・ポイント・テーブル中に記憶される。エントリー・ポイントは、互いから時間をおいてビデオデータ・ストリーム中に定められる。続いて、定められたエントリー・ポイントは、例えば、定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって、エントリー・ポイント・テーブル中に記憶される。3Dビデオデータ・ストリーム・フォーマットにおいて、ビデオデータ・ストリームは、通常、3Dビデオデータの１つのストリームを符号化する複数のサブストリームを有し、そして、複数のサブストリームは、3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する。例えば、その一部は、(独立に符号化された左ビュー・ストリームによって決まる)右ビュー又は深さマップであることができる。そのような3Dビデオ・ストリームに対してエントリー・ポイントは、3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有するように生成される。
【００３３】
レンダリングの間、メイン・(2D)サブストリームの選択された断片は、メイン・エントリー・ポイントに基づいて読み出されて、2Dサブストリームの隣接しない断片として復号される。続いて、2Dサブストリームの選択された部分に対応する補助従属サブストリームの部分が、補助エントリー・ポイントに基づいて読み出されて、補助サブストリームの断片として従属して復号される。
【００３４】
図2はマルチビュー・ディスプレイ21を示し、それは、左及び右目のための異なるビューを生成するためにLCDスクリーンの前のレンチキュラ・レンズ22を用いる。僅かに異なる角度からの２つの画像ショットをインタリーブすることは、3D知覚を生み出す。この効果は両目視差に基づき、左及び右目は通常、僅かに異なる角度からオブジェクトを見る。これらは適応及び輻輳を通して一緒に融合されて、これは脳に対する強力な奥行きの手がかりの働きをする。
【００３５】
図3は、レンチキュラ・レンズ30による右及び左目ビューを示す。右目32はピクセル33の左部分のみを見て、左目31は右部分を見る。ピクセル部分は、サブピクセル34と呼ばれる。適応及び輻輳を通した人の観察者における画像の右及び左部分の融合は、１つの立体画像を示すことによって、奥行きの手がかりを生成する。複数の左及び右ビューは、複数のサブピクセルに各々のピクセルを細分することによって生成されることができる。
【００３６】
例えば、２つのインタリーブされた画像のみが示される図3とは対照的に、実際的なディスプレイは、例えば、９つのインタリーブされた画像を用いることができ、これは、概略的に図2に示されるように、より広い範囲のビュー及び輪郭を画像に与える。そのようなタイプのディスプレイを駆動することは、複数のビューを生成するために処理される画像+深さベースのビデオ、又はマルチビュー符号化ビデオを必要とする。この目的のために、ブルーレイ・ディスク規格は、そのような3Dビデオ・ストリームに対するサポートを含むように拡張されることができる。そしてプレーヤーは、自動立体視ディスプレイだけでなく、ビューを交互に切り替えて個別に両方の目のためのビューを分離するためのシャッタ目鏡を用いるディスプレイのような他のタイプのステレオ3Dディスプレイも駆動することができ、あるいは、将来的には、ホログラフ・ディスプレイを含むことさえできる。
【００３７】
レンチキュラ・スクリーンの代替はバリア・ディスプレイであり、これは、LCD中のピクセルからの光を分けるために、LCDの後方でバックライトの前方に、パララックス・バリアを用いる。バリアによって、スクリーンの前の規定の位置から、左目は右目と異なるピクセルを見る。バリアはさらに、ディスプレイのロウ中のピクセルが左及び右目によって交互に見えるように、LCDと人の観察者との間にあってもよい。
【００３８】
3Dビデオのトリックプレイによる実験から、「3D深さ」印象の質が、トリックプレイの間、低下することが判明した。考えられる説明は、立体視ビデオは、脳が目によって受け取られる２つの画像を「3D」心像に融合させるために、人の光学システム(適応及び輻輳)に、通常の2Dビデオより多くのかつより長い努力を要求することである。毎秒表示されるフレームの数がトリックプレイの間にかなり増加するとき、人の光学システムは、より高いフレームレートに十分に追いつくことができないと思われる。
【００３９】
ステレオ3Dビデオによるトリックプレイの他の問題は、(滑らかなトリックプレイのために)復号器がより短い時間により多くのフレームを復号しなければならないので、ビデオ復号器の負荷が増加することである。立体視ビデオによって、復号器は２つ以上のストリームを復号しなければならず、そしてこれは、2Dと比べて問題を増加させる。更に、マルチビュー・ビデオが、MPEGによって定められるようにスケーラブルなマルチビュー符号化を用いて符号化される場合、付加的なストリームの復号はベース・ビュー・ストリームに依存し、したがって、トリックプレイがプレーヤーにおいて実行されることができる態様は、変化する必要がある。独立に復号されることができないそのようなストリームは、この文書において補助サブストリームと呼ばれる。そのようなストリームは、対応するメイン・ストリームに基づいて従属して復号される。
【００４０】
以下の説明において、エントリー・ポイント・テーブルの例は、ブルーレイ・ディスク・システムを参照して議論される。なお、エントリー・ポイント・テーブルは、メイン及び補助ビデオ・ストリームに基づく任意の3Dビデオ・システムに適用されることができ、そしてブルーレイ・ディスク・システムの詳細は、本発明を実施するために必要とされない。ブルーレイ・ディスク規格は、基本ビデオ・ストリームごとに、(エントリー・ポイント・マップ: EPマップを含む)エントリー・ポイント・テーブルを定める。エントリー・ポイント・テーブルは、復号が開始されることができるポイントのストリーム中の位置を記載するテーブルを定める。通常これらはMPEG Iフレーム境界にある。このテーブルは、１つのストリームのためのエントリー・ポイントのみを記載し、互いに依存しているいくつかのビデオ・ストリームが同時に復号される場合もあることは考慮されない。
【００４１】
一種のスライドショー効果を生み出すためにフレームをスキップすると、トリックプレイの間の深さ知覚が改善されることが判明した。それゆえに、分離した隣接しない元の3Dビデオ・ストリームの断片が、順番に表示される。驚くべきことに、より多くのフレームがスキップされるほど、知覚される深さが良好になる。これは、復号器が全てのフレームをより速く復号する滑らかなトリックプレイがより良好に知覚される通常の2Dビデオと幾分対照的である。これは、光学システムが、(適応及び輻輳によって)目からの２つの画像を１つの立体画像に融合させて「3D」心像を生成するために時間を要することを考慮することによって説明されることができる。通常の生活において、深さ知覚は多くの要因に依存し、両目視差(立体視)が観察者の近くにあるオブジェクトに対してのみ有効であるので、これは問題でない。速く動くオブジェクトにとって、遠近視差が、遮蔽より大きな役割を果たす。しかしながら、三次元ディスプレイでは、3D効果が主に両目視差に依存し、したがって、速く動くオブジェクトに対して深さ知覚が減少するので、これは問題である。
【００４２】
トリックプレイに対する上記の問題を解決するために、上に述べたように、それぞれのトリックプレイ・モードにおいて再生されるべき選択された断片のシーケンスのためのエントリー・ポイントを定めることが必要である。
【００４３】
実施の形態において、ブルーレイ・ディスクのエントリー・ポイント・テーブルは、追加的に定められたエントリー・ポイントを収容するために拡張される。このテーブルは、ビデオのためのエントリー・ポイントを記載して、ビデオ中の時間位置とディスク上のファイル中の位置との間のリンクを提供する。この拡張によって、2Dビデオ・ストリームのためのエントリーに加えて、このテーブルはさらに、スケーラブルなビデオ符号化を用いて符号化されて、復号のためにプライマリ・ビデオ・ストリームに依存する、第２の補助ビデオ・ストリームのためのエントリー・ポイントを記載する。この第２エントリーは、第１ストリーム中のすべてのエントリーから第２ストリーム中の対応するエントリー・ポイントへの関連を確立する。これは、I又はPフレームを最後に収容することができ、Pフレームは、プライマリ・ストリームからIフレームを順番に参照することができる。このアプローチは、直接表示時間スタンプ（Presentation Time Stamp：PTS)値を用いるときに利用される。なお、第２ストリームのための分離したEPマップは、補助ストリームが従属してのみ復号可能であり、例えば同じPTS時間においてP又はBフレームのみを収容することができるので、それ自体で機能することができない。よって、補助ストリームは、それ自体で復号される場合、有効なストリームではない。例えば、ブルーレイ・ディスクにおけるマルチビュー符号化ビデオに対して、エントリー・ポイント・テーブルは拡張されることができ、そしてブルーレイ・プレーヤーがEPマップを用いる態様は、メイン・エントリー・ポイント及び補助エントリー・ポイントの両方を読み出すように適応されている。仕様は、ベース・ビュー・ビデオ・ストリームに関するEPマップがさらに、それら自体では復号されることができない関連する補助ストリームのためのエントリー・ポイントを含むように改良される。
【００４４】
参照文献[1]及び[2]は、一緒に符号化されたビデオ・ストリーム及び関連するトランスポート・フォーマットの背後の原理を記載する。例えば、符号化の前に、3Dビューは、インタリーブされて、階層化Bフレームを用いて符号化される。トランスポートの前に、ビットストリームは、プライマリ・ストリーム及び補助ストリームに分割される。これは、2D復号器が、プライマリ・ストリームを復号して用いることができ、補助ストリームを無視することができるように、下位互換性のために実行される。変更された復号器において、プライマリ及び補助ストリームは、再びインタリーブされて復号される。これは、プライマリ及び補助ストリームがディスク上に別々に記憶されるブルーレイ・ディスク上でのトリックプレイに対する問題を生じさせる。これを解決するために、プライマリ及び補助ストリームのどのクリップ（すなわちストリームの一部）が、プレーヤーがスキップしてきたビデオのセクションの表示のためにインタリーブされて復号される必要があるかをプレーヤーが知るように、EPマップ・テーブルが拡張されることが必要とされる。提案される拡張エントリー・ポイント・テーブルによって、この問題は解決される。
【００４５】
図4は、プレイリストの基本的な構造を示す。この例は、BD及びEPマップ41(制御情報CPI中のエントリー・ポイント・テーブル)がこの構造において引き受ける役割に基づく。特定のPTS値に対して、EPマップは、論理アドレスを提供する（例えば、MPEG符号化された基本ストリームであるクリップＡＶストリームファイル中の対応するソース・パケット番号）。この構造は、図6〜11を参照してさらに説明される。
【００４６】
図5は、三次元(3D)ビデオデータを表示するシステムを示す。3Dソース装置50 (例えばディスク・プレーヤー)は、三次元表示信号56を転送するために3D表示装置53に結合される。3Dソース装置は、画像情報を受信するための入力ユニット51を持つ。例えば、入力ユニット装置は、DVD又はBluRayディスクのような光学記録担体54からさまざまなタイプの画像情報を読み出すための光学ディスク・ユニット58を含むことができる。別の態様では、入力ユニットは、ネットワーク55 (例えばインターネット又は放送ネットワーク)に結合するためのネットワーク・インタフェース・ユニット59を含むことができる（そのような装置は通常、セットトップボックスと呼ばれる）。画像データは、遠隔メディア・サーバ57から読み出されることができる。ソース装置はさらに、衛星受信機、又は、直接表示信号を提供するメディア・サーバ、すなわち、表示ユニットに直接結合される三次元表示信号を出力する任意の適切な装置であることができる。
【００４７】
3D表示装置53は、3D画像データを表示するための装置である。装置は、ソース装置10から転送される3D画像データを含む三次元表示信号56を受信するための入力インタフェース・ユニットを持つ。装置は、処理された画像データを表示するための三次元ディスプレイを持つ(例えばデュアル又はレンチキュラLCD)。表示装置53は、三次元ディスプレイとも呼ばれる任意の種類の立体ディスプレイであることができ、矢印44によって示される表示深さ範囲を持つ。
【００４８】
3Dソース装置50は、表示装置に出力インタフェース・ユニット12を介して転送される3D表示信号56を生成するための画像情報を処理するための入力ユニット51に結合される画像処理ユニット52を持つ。処理ユニット52は、表示装置13上での表示のための三次元表示信号56中に含まれる画像データを生成するために配置される。ソース装置は、画像データの表示パラメータ(例えばコントラスト又はカラー・パラメータ)を制御するために、ユーザ制御要素を備える。そのようなユーザ制御素子は周知であり、3Dソース装置のさまざまな機能(例えば通常の再生及び記録機能)を制御するため、そして例えば直接的なボタンを介して又はグラフィカル・ユーザインタフェース及び/若しくはメニューを介して、トリックプレイ・モードを選択するために、さまざまなボタン及び/又はカーソル制御機能を持つ遠隔制御ユニットを含むことができる。
【００４９】
ソース装置50は、トリックプレイ・モードにおいて3Dビデオデータを処理するためのトリックプレイ処理ユニット48を持つ。3Dビデオデータは、トリックプレイの間、エントリー・ポイント・テーブルに従って、2Dサブストリームの隣接しない断片を読み出して復号し、そして補助サブストリームの対応する断片を読み出して従属して復号することによって、再生される。2Dサブストリームはそれぞれの断片で独立に復号され、補助エントリー・ポイントに基づいてビデオデータ・ストリームから読み出される補助ストリームの対応する断片に基づき、3D情報が追加される。
【００５０】
図5は、3D画像データのキャリアとして、記録担体54をさらに示す。記録担体は、ディスク形状であり、トラック及び中央のホールを持つ。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤ上の実質的に平行の軌道を構成しているターンの螺旋又は同心のパターンにより配置される。記録担体は光学的に読み取り可能であり、光学ディスク(例えばCD、DVD又はBD(ブルーレイ・ディスク))と呼ばれる。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤ上に表される。トラック構造はさらに、通常は情報ブロックと呼ばれる情報のユニットの位置を示すために、位置情報(例えばヘッダ及びアドレス)を有する。記録担体54は、DVD又はBDフォーマットのような事前に決められた記録フォーマットへとデジタル的に符号化された、例えばMPEG2又はMPEG4符号化システムに従って符号化された、3Dビデオデータを表す情報を担持する。
【００５１】
ブルーレイ・ディスク仕様に基づくEPマップ・テーブルの文法の関連する部分が以下に記載される。我々は、EPマップ・テーブルの上部に記載されるメイン・ストリームに復号のために依存する関連するストリームのエントリーをさらに収容することができるようにこのテーブルを拡張することを提案する。
【００５２】
実際には、これは、他のストリームと一緒に符号化される補助ストリームごとに、それが復号されるために依存するストリームと同じテーブル中にEP_mapが存在することを意味する。反対も可能であり(すなわち補助ストリームのための付加的なテーブル)、2D復号との下位互換性の場合、より効率的である。この場合には、補助ストリームを含むクリップのためのEPマップが存在する。このEPマップ中に、さらに、補助ストリーム中のエントリー・ポイントが復号のために従属するベース・ビュー・ストリームの部分のためのエントリー・ポイント位置が存在する。マルチビュー符号化ビデオの再生の場合、プレーヤーは、補助ストリームのEPマップをロードすることのみを必要とし、そして、補助ストリームのアクセスポイントにおけるフレームを復号することが可能であるために復号される必要があるベース・ビュー・ストリームのためのアクセスポイントを持つ。
【００５３】
詳細には、多重ストリーム符号化3Dビデオ・ストリームのためのファイル位置へのエントリー・ポイントのマッピングを含む新たなEP_mapが提案される。ブルーレイ・ディスク仕様は、EP_mapの１つのタイプのみを現在定めており、これは、以下に示すように仕様のテーブル中に示される。
【００５４】
図6は、エントリー・ポイント・テーブル・インジケータ・テーブルを示す。テーブルは、既存のEPマップ・タイプを示す。EPマップ・タイプを示すためのインジケータ値は、記録フォーマット(例えばブルーレイ・ディスク)を記載している規格において定められることができる。立体視3Dビデオのために、EP_map_MVC又はEP_map_STのような何らかの同様の名で呼ばれるこのテーブル中にマルチビュー符号化(MVC)3Dビデオのための新たなタイプを追加することが提案される。このEP_MVC_map_typeは、値2によって示されることができる。
【００５５】
図7は、拡張されたエントリー・ポイント・テーブル・インジケータ・テーブルを示す。このテーブルは、既存のEPマップ・タイプ及びこのテーブルにおいて"EP_map_MVC"と呼ばれるMVC3Dビデオのための提案された新たなタイプを示す。実施の形態において、それぞれのEPマップ・タイプは、3Dビデオデータ・ストリームを生成するときにEPマップ・データ構造中に含まれて、再生装置へと転送される。再生装置は、新たなEPマップ・テーブル・タイプを容易に検出することができ、トリックプレイ動作をそれぞれのEPマップに適応させることができる。
【００５６】
図8は、拡張されたストリーム・タイプ・テーブルを示す。図6,7の代わりに、新たなEPマップは、EP_mapにおいて参照されるストリームのタイプのための新たな値(テーブルにおいて8)を有するテーブル中に示されるようなEP_stream_type値を用いてここでは示される。実施の形態において、それぞれのEPストリーム・タイプは、3Dビデオデータ・ストリームを生成するときにsDビデオ・ストリーム・データ構造中に含まれて、再生装置に転送される。再生装置は、新たなEPストリーム・タイプを容易に検出することができ、ストリームから拡張エントリー・ポイント・テーブルを読み出すことができて、トリックプレイ動作を拡張エントリー・ポイント・テーブルに適応させることができる。
【００５７】
図9は、２つのサブストリームを持つ3Dビデオ・ストリームを示す。図は、階層化Bピクチャを用いた２つのストリームのセクションのMVC符号化の例を示す。Lによってマークされる上のシーケンスは、独立に復号可能な2Dサブストリームであり、一方、Rによってマークされる下のシーケンスは、それが第１ストリームからのデータを必要とするので、従属して復号可能である。矢印は、第１のIピクチャからのデータが、下のサブストリームの第１のPピクチャを符号化するために用いられることを示す。
【００５８】
図9に示される例において、L及びRストリームの両方に３つのエントリー・ポイントが存在する。Lストリーム中にI, B(T2)及びB(T4)ピクチャが存在し、そしてRストリーム中にP, B(T2)及びB(T4)ピクチャが存在する。間のBピクチャは非基準フレームであり、エントリー・ポイントとして機能することができない。なお、実際には、エントリー・ポイント間の距離は、実質的により大きい。
【００５９】
ユーザが位置T2へジャンプすることを望む場合に何が起こるかについて調べてみる。復号がT2において始まる場合、復号器はさらに、LストリームのためにT0におけるIピクチャにアクセスする必要があり、そしてRストリームのために、LストリームからのIピクチャ及びRストリームからのPピクチャにアクセスする必要がある。したがって、それは、Lストリーム中のIピクチャの位置及びRストリーム中のPピクチャの位置を必要とする。したがって、それは、Pピクチャの位置に対する時間ベクトル及びLフレームのIピクチャに対する空間ベクトルを必要とする。
【００６０】
ディスク上では、L及びRストリームは、各々ディスク上の異なるセクション中にインタリーブされているか又は１つのストリーム中に含まれる場合がある。したがって、１つのエントリー・ポイントのために、上で説明されたように、L及びRストリームの両方からの情報が必要とされるので、ファイル中の位置及びディスク上の位置の両方が、１つのエントリー・ポイントのために必要とされる場合がある。それゆえ、サブストリームL中のメイン・エントリー・ポイント及び従属して復号可能なサブストリームR中の補助エントリー・ポイントが提供される。
【００６１】
したがって、詳細には、我々は、各々のエントリー・ポイントが２つのアドレス(ベクトルとも呼ばれる)を含むように、MVC符号化ビデオのためのEPマップを拡張することを提案する。１つの時間ベクトルはPTSを指し、１つの空間ベクトルはエントリー・ポイントに対する基準フレームとして機能するフレームのパケット番号を指す。
【００６２】
図10は、EP_map文法とも呼ばれるエントリー・ポイント・マップの定義を示す。テーブルは、MVC符号化ビデオ用に拡張される現在のEPマップの例を示す。マップは、それぞれのサブストリームのための補助テーブルを有する。なお、テーブルは、例えば、ブルーレイ・ディスク・フォーマットにおける制御情報CPI41のような記録担体上の制御情報中に、3Dビデオデータ・ストリームに含まれるエントリー・ポイント・テーブルのデータ構造を定める。
【００６３】
図11は、組み合わされたメイン・ストリーム及びサブストリームのためのエントリー・ポイント・テーブルを示す（EP_map for one stream PIDとも呼ばれる）。この実施の形態において、図10に示されるようにいかなる特定のMVCセクションも追加されないが、各々のエントリー・ポイントがさらに従属データ・ストリーム中のパケット番号及びPTS値のリストを示すように、テーブルは追加のエントリーによって拡張される。
【００６４】
マルチビュー符号化3Dビデオのための再生装置の実施の形態において、トリックプレイは以下のように調整される。3Dビデオ・ストリームは複数の補助サブストリームを持ち、そしてエントリー・ポイントは、前記複数の補助サブストリームの選択されたサブセットのみのための補助エントリー・ポイントを有する。トリックプレイの間、3Dビデオデータの減少したバージョンは、エントリー・ポイントを持つサブストリームのみを復号することによってレンダリングされる。有利には、エントリー・ポイント・テーブルのサイズは、制限されたままである。
【００６５】
あるいは、復号器は、復号器の負荷を低減するためにトリックプレイを実行するときにビューの数を自動的に削減する。ビューの数は、速度の増加につれて段階的に動的に削減されることができる(例えば9-7-5-3-2)。減少した数のビューのためのそれぞれのエントリー・ポイントは、エントリー・ポイント・テーブルから読み出されることができる。あるいは、減少した数のビューは、標準速度再生の間に完全な数のビューを生成する処理ユニットにおいて、トリックプレイの間、生成されることができる。
【００６６】
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアで実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明される3Dビデオデータの処理に対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いる実施の形態によって説明されたが、本発明はさらに、3Dパーソナル・コンピュータ[PC]表示インタフェース、又は、無線3D表示装置に結合される3Dメディア・センターPCのような、任意の画像インタフェース方式環境に適している。
【００６７】
なお、この文書において、「有する」「含む」などの用語は、挙げられたもの以外の他の要素又はステップの存在を除外せず、単数で表現された要素は、そのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を制限せず、本発明はハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」が、ハードウェア又はソフトウェアの同じアイテムによって表現されることができ、プロセッサは、ハードウェア要素と協働して、１つ以上のユニットの機能を果たすことができる。さらに、本発明は、実施の形態に制限されず、いずれかの新規な機能又は上述の機能の組み合わせにもある。
【図１】
0005829604.tif 000002
【図２】
0005829604.tif 000003
【図３】
0005829604.tif 000004
【図４】
0005829604.tif 000005
【図５】
0005829604.tif 000006
【図６】
0005829604.tif 000007
【図７】
0005829604.tif 000008
【図８】
0005829604.tif 000009
【図９】
0005829604.tif 000010
【図１０】
0005829604.tif 000011
【図１１】
0005829604.tif 000012