(57)【要約】  合成及び表示に対して三次元（３Ｄ）画像データを転送するシステムが記載される。情報ストリームは、ビデオ情報及びオーバレイ情報を有し、前記ビデオ情報は、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、前記オーバレイ情報は、少なくとも２Ｄオーバレイストリーム及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有する。本発明によるシステムにおいて、ビデオプレーンの合成は、再生装置の代わりに表示装置において行われる。前記システムは、３Ｄ画像として合成及び表示されることを意図された解凍されたビデオ情報及び解凍されたオーバレイ情報にそれぞれ対応するユニットを有する一連のフレームをビデオインタフェース上で送信する再生装置と、前記一連のフレームを前記ビデオインタフェース上で受信し、前記ユニットから前記３Ｄビデオ情報及び前記３Ｄオーバレイ情報を抽出し、前記ユニットを３Ｄフレームに合成し、前記３Ｄフレームを表示する表示装置とを有する。
2012516069.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ情報及びオーバレイ情報を有する情報ストリームを合成及び表示する方法において、
前記ビデオ情報が、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、
前記オーバレイ情報が、少なくとも２Ｄオーバレイ情報及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有し、
前記方法が、
圧縮されたビデオ情報及び圧縮されたオーバレイ情報を有する圧縮されたストリームを受信する又は記憶媒体から読み取るステップと、
前記ビデオ情報及び前記オーバレイ情報を解凍するステップと、
ビデオインタフェース上で一連のフレームを送信するステップであって、前記一連のフレームが、ユニットを有し、各ユニットが、３Ｄ画像として合成及び表示されることを意図される解凍されたビデオ情報及び解凍されたオーバレイ情報に対応する、当該送信するステップと、
前記ビデオインタフェース上で前記一連のフレームを受信し、前記ユニットから前記３Ｄビデオ情報及び前記３Ｄオーバレイ情報を抽出するステップと、
前記ユニットを３Ｄフレームに合成し、前記３Ｄフレームを表示するステップと、
を有する、方法。
【請求項２】
前記３Ｄビデオ情報が、２Ｄビデオフレームに対する深度、遮蔽及び透明性情報を有し、前記３Ｄオーバレイ情報が、２Ｄオーバレイフレームに対する深度、遮蔽及び透明性情報を有する、請求項１に記載の方法。
【請求項３】
前記オーバレイ情報が、前記ビデオフレームと合成されるべき２つのグラフィックスプレーンを有する、請求項２に記載の方法。
【請求項４】
少なくとも１つのグラフィックスプレーンに対するオーバレイ情報が、前記２Ｄビデオフレームが送信されるフレーム周波数より低いフレーム周波数で送信される、請求項２又は３に記載の方法。
【請求項５】
少なくとも１つのグラフィックスプレーンに対する前記オーバレイ情報の画素サイズが、前記２Ｄビデオ情報の画素サイズとは異なる、請求項２ないし４のいずれか一項に記載の方法。
【請求項６】
３Ｄビデオ情報が、ステレオ情報を有する、請求項１又は２のいずれか一項に記載の方法。
【請求項７】
ビデオ情報及びオーバレイ情報を有する情報ストリームを合成及び表示するシステムにおいて、
前記ビデオ情報が、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、
前記オーバレイ情報が、少なくとも２Ｄオーバレイストリーム及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有し、
前記システムが、
−圧縮されたビデオ情報及び圧縮されたオーバレイ情報を有する圧縮されたストリームを受信し、又は記憶媒体から読み取り、
−前記ビデオ情報及び前記オーバレイ情報を解凍し、
−３Ｄ画像として合成及び表示されることを意図される解凍されたビデオ情報及び解凍されたオーバレイ情報にそれぞれ対応するユニットを有する一連のフレームをビデオインタフェース上で送信する、
再生装置と、
−前記ビデオインタフェース上で前記一連のフレームを受信し、前記ユニットから前記３Ｄビデオ情報及び前記３Ｄオーバレイ情報を抽出し、
−前記ユニットを３Ｄフレームに合成し、前記３Ｄフレームを表示する、
表示装置と、
を有するシステム。
【請求項８】
前記３Ｄビデオ情報が、２Ｄビデオフレームに対する深度、遮蔽及び透明性情報を有し、前記３Ｄオーバレイ情報が、２Ｄオーバレイフレームに対する深度、遮蔽及び透明性情報を有する、請求項７に記載のシステム。
【請求項９】
前記オーバレイ情報が、前記ビデオフレームと合成されるべき２つのグラフィックスプレーンを有する、請求項８に記載のシステム。
【請求項１０】
少なくとも１つのグラフィックスプレーンに対するオーバレイ情報が、前記２Ｄビデオフレームが送信されるフレーム周波数より低いフレーム周波数で送信される、請求項８又は９に記載のシステム。
【請求項１１】
少なくとも１つのグラフィックスプレーンに対する前記オーバレイ情報の画素サイズが、前記２Ｄビデオ情報の画素サイズとは異なる、請求項８ないし１０のいずれか一項に記載のシステム。
【請求項１２】
３Ｄビデオ情報が、ステレオ情報を有する、請求項８ないし１０のいずれか一項に記載のシステム。
【請求項１３】
前記フレームが、ＨＤＭＩインタフェース上で送信されるＲＧＢフレームである、請求項８ないし１２のいずれか一項に記載のシステム。
【請求項１４】
請求項８ないし１３のいずれか一項に記載のシステムにおいて使用するのに適した再生装置。
【請求項１５】
請求項８ないし１３のいずれか一項に記載のシステムにおいて使用するのに適した表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ情報及びオーバレイ情報を有する情報ストリームを合成及び表示する方法に関し、前記ビデオ情報は、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、前記オーバレイ情報は、少なくとも２Ｄオーバレイストリーム及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有し、送信されるビデオ情報及びオーバレイ情報は、３Ｄビデオとして合成及び表示される。
【０００２】
本発明は、ビデオ情報及びオーバレイ情報を有する情報ストリームを合成及び表示するシステムにも関し、前記ビデオ情報は、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、前記オーバレイ情報は、少なくとも２Ｄオーバレイストリーム及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有し、送信されるビデオ情報及びオーバレイ情報は、３Ｄビデオとして合成及び表示される。
【０００３】
本発明は、上述のシステムにおいて使用されるのにそれぞれ適した再生装置及び表示装置にも関する。
【０００４】
本発明は、高速デジタルインタフェース、例えばＨＤＭＩを介して、３Ｄ表示装置に表示する三次元画像データ、例えば３Ｄビデオを転送する分野に関する。
【背景技術】
【０００５】
現在のビデオプレイヤは、複数の層のビデオ及び／又はグラフィックスの合成を容易化する。例えば、ブルーレイディスクプラットフォームにおいて、一次ビデオの上で再生する二次ビデオが存在することができる（例えばディレクタコメント）。その上に、サブタイトル及び／又はメニューのようなグラフィックスが存在することができる。これらの異なる層は、全て独立に復号され／描かれ、特定の点において、単一の出力フレームに合成される。
【０００６】
このプロセスは、２Ｄディスプレイの場合に実施するのに比較的直接的であり、他の層の前にある層の各不透明画素は、その後ろの層の画素を遮蔽する。このプロセスは、シーンのトップダウンビューである図３に描かれている。ｚ軸の方向が示されている３０１。前記シーンのビデオ層３０２は、完全に緑であり、青のオブジェクトがグラフィックス層３０３に描かれている（残りは透明である）。合成ステップ３０５の後に、前記青のオブジェクトは、前記ビデオ層の前にグラフィックス層として前記緑のビデオ層上に描かれる。これは、出力３０４として合成層を生じる。
【０００７】
このプロセスは、２Ｄにおいて前記シーンを表示する場合には１つの視点のみが存在するので、実施するのに比較的直接的である。しかしながら、前記シーンが３Ｄで表示される場合、複数の視点（各目に対して少なくとも１つの視点、あるいはマルチビューディスプレイを使用する場合に、より多くの視点）が存在する。問題は、前記グラフィックス層が前記ビデオ層の前にあるので、前記ビデオ層の他の部分が異なる視点から見えることである。この問題は、図４に描かれている。
【０００８】
３Ｄ合成が、基本的に２Ｄ合成とは異なることに注意する。２Ｄ合成において、例えばＵＳ２００８／０１５８２５０に示されるように、複数の２Ｄプレーン（例えばメインビデオ、グラフィックス、インタラクティブプレーン）は、深度を各プレーンに関連付けることにより合成される。しかしながら、２Ｄ合成における深度パラメータは、異なるプレーンからの画素が合成される順序、すなわちプレーンが上に描かれる順序を決定するだけであり、最終的な画像は、三次元ディスプレイに適していない。
【０００９】
対照的に、３Ｄプレーンを合成する場合に、この合成は、非局所的である。各プレーンからのオブジェクトが三次元である場合に、より低いプレーンからのオブジェクトが、より高いプレーンを通って突き出す、又はより高いプレーンからのオブジェクトが、より低いプレーンの下に落ちることが可能である。更に、側面からのビューにおいて、後ろのオブジェクトを見ることが可能であり、したがって、あるビューにおいて画素が前のプレーンからの対象に対応する場合に、他のビューにおいて、同等の画素が、より低いプレーンからのオブジェクトに対応する。
【００１０】
図４は、２つの層からなるシーンのトップダウンビューを再び示す。ｚ軸４０１の方向が与えられる。ビデオ層４０２は、完全に緑であり、前記ビデオ層の前にあるグラフィックス層４０３は、青いオブジェクトを持つ（残りは透明である）。ここで、２つの可能な視点４０４、４０５が規定される。図に示されるように、１つの視点４０４から、前記ビデオ層の異なる部分は、他の視点４０５から見える４０７よりよく見える４０６。これは、２つのビューをレンダリングする装置が、両方の層からの全ての情報にアクセスを持つべきであることを意味する（そうでなければ、前記装置は、前記ビューの少なくとも１つにおいてレンダリングするべき情報を落とす）。
【００１１】
現在の状況において、３Ｄビデオの再生に対するシステムは、様々な層に対する圧縮されたビデオストリームを復号し、前記様々な層を合成し、ＨＤＭＩ又はＶＥＳＡのようなビデオインタフェース上でディスプレイ、通常は３ＤＴＶ（ステレオ又はオートステレオスコピック）に解凍されたビデオを送信するのに関与する３Ｄプレイヤを有する。表示装置は、前記ビューをレンダリングし、これは、実際に、２つのビューの完全なレンダリングを行うべき情報を落とすことを意味する（これも、本質的に、２より多いビューをレンダリングする場合に問題である）。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、ビューのレンダリングが改良されるようなビデオ情報及びオーバレイ情報を有する情報ストリームを合成する方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明の目的は、請求項１に記載の方法により達成される。本発明による方法において、前記ビデオ情報は、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、前記オーバレイ情報は、少なくとも２Ｄオーバレイストリーム及び３Ｄにおいて前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有し、前記方法は、圧縮されたビデオ情報及び圧縮されたオーバレイ情報を有する圧縮されたストリームを受信する又は記憶媒体から読み取るステップと、前記ビデオ情報及び前記オーバレイ情報を解凍するステップと、３Ｄ画像として合成及び表示されることを意図される解凍されたビデオ情報及び解凍されたオーバレイ情報にそれぞれ対応するユニットを有する一連のフレームを前記ビデオインタフェース上で送信するステップと、前記ビデオインタフェース上で前記一連のフレームを受信し、前記ユニットから前記３Ｄビデオ情報及び前記３Ｄオーバレイ情報を抽出するステップと、前記ユニットを３Ｄフレームに合成し、前記３Ｄフレームを表示するステップとを有する。本発明による方法は、現在のアプローチを分解し、復号及び合成はプレイヤ装置により行われ、レンダリングは表示装置により行われる。これは、前記視点の１つをレンダリングする間に情報を落とす問題を克服するために、ビデオプレイヤからの全ての視覚的情報及びグラフィックス層からの全ての視覚的情報が、前記レンダリングが行われる場所において利用可能であるべきであるという洞察に基づく。
【００１４】
更に、オートステレオスコピックディスプレイにおいて、サブ画素のフォーマット及びレイアウトは、ディスプレイタイプ毎に異なり、レンチキュラレンズと前記パネルのサブ画素との間の配置も、ディスプレイ毎にいくらか異なる。したがって、レンチキュラレンズに対するレンダリングされたビュー内のサブ画素の配置の精度は、ディスプレイ自体で達成されることができるものよりはるかに精度が低いので、レンダリングが、プレイヤの代わりにマルチビューディスプレイで行われることは、有利である。加えて、レンダリングが、ディスプレイにおいて行われる場合、これは、前記ディスプレイが、視聴状況、ユーザの深度の量の嗜好、前記ディスプレイのサイズ（重要、エンドユーザにより知覚される深度の量はディスプレイサイズに依存する）、前記ディスプレイに対する視聴者の距離に対して前記レンダリングを調節することを可能にする。これらのパラメータは、通常、再生装置において利用可能ではない。好ましくは、前記ビデオ層からの全ての情報及び前記グラフィックス層からの全ての情報は、別個のコンポーネントとして前記ディスプレイに送信されるべきである。このように、前記ビューの１つをレンダリングする場合に前記ビデオ層からの欠落した情報が存在せず、複数の視点からの高品質なレンダリングが行われることができる。
【００１５】
本発明の一実施例において、前記３Ｄビデオ情報は、２Ｄビデオフレームに対する深度、遮蔽及び透明性情報を有し、前記３Ｄオーバレイ情報は、２Ｄオーバレイフレームに対する深度、遮蔽及び透明性情報を有する。
【００１６】
本発明の他の実施例において、前記オーバレイ情報は、前記ビデオフレームと合成されるべき２つのグラフィックスプレーンを有する。有利には、より多くの層が、前記ディスプレイに送信されることができる（背景、一次ビデオ、二次ビデオ、提示グラフィックス、インタラクティブグラフィックス）。ブルーレイプラットフォームにおいて、互いを遮蔽する複数の層を持つことが可能である。例えば、前記インタラクティブグラフィックス層は、前記提示グラフィックス層の一部を遮蔽することができ、前記提示グラフィックス層は、前記ビデオ層の一部を遮蔽することができる。異なる視点から、（２層で機能する場合と同様に）各層の異なる部分が見えることが可能である。したがって、レンダリングの品質は、２より多い層を前記ディスプレイに送信することにより特定の状況において改良されることができる。
【００１７】
本発明の他の実施例において、少なくとも１つのグラフィック面に対する前記オーバレイ情報は、２Ｄビデオフレームが送信されるフレーム周波数より低いフレーム周波数において送信される。各３Ｄフレームを合成するのに必要な全ての情報を送信することは、前記インタフェースに対して負担になる。この実施例は、ほとんどのオーバレイプレーンが、速く移動するオブジェクトを有さないが、メニュー及びサブタイトルのような主に静止したオブジェクトを有し、したがって、品質の大幅な低減なしでより低いフレーム周波数において送信されることができるという洞察に基づく。
【００１８】
本発明の他の実施例において、少なくとも１つのグラフィックスプレーンに対する前記オーバレイ情報の画素サイズは、前記２Ｄビデオ情報の画素サイズと異なる。これは、幾つかのプレーンが、情報の大幅な損失なしでスケールダウンされることができ、したがって前記インタフェースにおける負担が、品質の大幅な低減なしで減少されるという洞察に基づく。より詳細な実施例において、前記２Ｄオーバレイ情報の画素サイズは、（深度又は透明性のような）前記３Ｄオーバレイ情報の画素サイズとは異なる。これは、品質の大幅な低減なしで前記インタフェース上の負担を低減する。
【００１９】
この出願は、ビデオ情報及びオーバレイ情報の合成及び表示に対するシステムにも関し、前記ビデオ情報は、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、前記オーバレイ情報は、少なくとも２Ｄオーバレイストリーム及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有し、前記システムは、圧縮されたビデオ情報及び圧縮されたオーバレイ情報を有する圧縮されたストリームを受信する又は記憶媒体から読み取り、前記ビデオ情報及び前記オーバレイ情報を解凍し、解凍されたビデオ情報にそれぞれ対応するユニットを有する一連のフレームをビデオインタフェース上で送信する再生装置と、前記ビデオインタフェース上で前記一連のフレームを受信し、前記ユニットから前記３Ｄビデオ情報及び前記３Ｄオーバレイ情報を抽出し、前記ユニットを３Ｄフレームに合成し、前記３Ｄフレームを表示する表示装置とを有する。
【００２０】
本発明のフィーチャ及び利点は、以下の図面を参照して更に説明される。
【図面の簡単な説明】
【００２１】
【図１】本発明が実施されることができる３Ｄビデオ情報の再生に対するシステム１を概略的に示す。
【図２】既知のグラフィック処理ユニットを概略的に示す。
【図３】２つの層からなるシーンの合成の上面図を示す。
【図４】２つの視点が規定された、２つの層からなるシーンの上面図を示す。
【図５】モノ（２Ｄ）状態に対して合成されたビデオ及びグラフィックスプレーンを示す。
【図６】ステレオ３Ｄに対するプレーンを示す。
【図７】画像＋深度３Ｄに対するプレーンを示す。
【図８】画像＋深度３Ｄに対するプレーンを示す。
【図９】本発明の一実施例による、ビデオインタフェース上で送信されるべきフレームのユニットを概略的に示す。
【図１０】本発明の一実施例による、ビデオインタフェース上で送信されるべきフレームのユニットの更なる細部を概略的に示す。
【図１１】本発明の一実施例による、ビデオインタフェース上のフレームの時間出力を概略的に示す。
【図１２】本発明の一実施例による処理ユニット及び出力段を概略的に示す。
【図１３】本発明の一実施例による処理ユニット及び出力段を概略的に示す。
【図１４】本発明の一実施例による、ビデオインタフェース上のフレームの時間出力を概略的に示す。
【図１５】本発明の一実施例による、ビデオインタフェース上のフレームの時間出力を概略的に示す。
【図１６】本発明の一実施例による処理ユニット及び出力段を概略的に示す。
【発明を実施するための形態】
【００２２】
本発明が実施されることができる３Ｄビデオ情報を再生及び表示するシステム１が、図１に示される。前記システムは、インタフェース１２を介して通信するプレイヤ装置１０及び表示装置１１を有する。プレイヤ装置１０は、表示されるべき符号化されたビデオ情報ストリームを受信及び前処理するフロントエンドユニット１２と、出力部１４に供給されるべきビデオストリームを復号、処理及び生成する処理ユニット１３とを有する。前記表示装置は、受信したものから３Ｄビューをレンダリングするレンダリングユニットを有する。
【００２３】
前記符号化されたビデオ情報ストリームに対して、例えば、これは、左及び右（Ｌ＋Ｒ）画像が符号化されるステレオスコピックとして既知のフォーマットであることができる。代わりに、符号化されたビデオ情報ストリームは、２Ｄピクチャと、Oliver Sheer "3D Video Communication", Wiley, 2005, p.29-34に記載される、いわゆる深度マップである、付加的なピクチャ（Ｌ＋Ｄ）とを有することができる。前記深度マップは、前記２Ｄ画像内のオブジェクトの深度に関する情報を持つ。前記深度マップ内のグレイスケール値は、前記２Ｄ画像内の関連する画素の深度を示す。ステレオディスプレイは、前記深度マップからの深度値を使用することにより、及び必要とされる画素変換を計算することによりステレオに対して必要とされる追加のビューを計算することができる。前記２Ｄビデオ＋深度マップは、遮蔽及び透明性情報（ＤＯＴ）を追加することにより拡張されることができる。好適な実施例において、参照によりここに含まれるＥＰ０８３０５４２０．５（代理人整理番号ＰＨ０１００８２）に記載されるように、ステレオ情報及び深度マップを有し、遮蔽及び透明性を加えるフレキシブルデータフォーマットが使用される。
【００２４】
表示装置１１に対して、これは、それぞれ左目及び右目に表示される画像を制御するのに制御可能な眼鏡を使用する表示装置であることができるか、又は好適な実施例において、いわゆるオートステレオスコピックディスプレイが使用されるかのいずれかである。２Ｄ表示と３Ｄ表示との間で切り換えることができる複数のオートステレオスコピック装置が、既知であり、その１つは、ＵＳ６０６９６５０に記載される。前記表示装置は、アクティブに切り替え可能な液晶レンチキュラレンズを有するＬＣＤディスプレイを有する。オートステレオスコピックディスプレイにおいて、レンダリングユニット１６内の処理は、プレイヤ装置１０からインタフェース１２を介して受信された前記復号されたビデオ情報を複数のビューに変換し、これらを表示パネル１７のサブ画素上にマッピングする。
【００２５】
プレイヤ装置１０に対して、これは、ＤＶＤ又はブルーレイディスクのような光学記録担体から様々なタイプの画像情報を取りだす光ディスクユニットを含むことにより、光ディスクから前記ビデオストリームを読み取るように適合されうる。代わりに、入力ユニットは、ネットワーク、例えばインターネット又は放送ネットワークに結合するネットワークインタフェースユニットを含むことができる。画像データは、遠隔メディアサーバから取り出されてもよい。代わりに、前記入力ユニットは、半導体メモリのような他のタイプの記憶媒体に対するインタフェースを含んでもよい。
【００２６】
Blu-Ray（登録商標）プレイヤの既知の例は、ソニー株式会社により販売されているPlayStation（登録商標）3である。
【００２７】
ＢＤシステムの場合、ビデオプレーンの合成を含む更なる細部は、公表されている技術白書"Blu-ray Disc Format General August 2004"及びブルーレイディスクアソシエーション（http://www.bluraydisc.com）により刊行された"Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November, 2005"において見つけられることができる。
【００２８】
以下、ＢＤアプリケーションフォーマットの詳細を参照する場合、米国出願番号２００６−０１１０１１１（代理人整理番号ＮＬ０２１３５９）及びブルーレイディスクアソシエーションにより刊行された白書"Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005"に開示されるアプリケーションフォーマットを特に参照する。
【００２９】
ＢＤシステムが、ネットワーク接続性を持つ完全にプログラム可能なアプリケーション環境をも提供し、これによりコンテンツプロバイダがインタラクティブコンテンツを作成することを可能にすることが、知られている。このモードは、Java（登録商標）3プラットフォームに基づき、"ＢＤ−Ｊ"として既知である。ＢＤ−Ｊは、ETSI TS 101 812として公的に入手可能なデジタルビデオ放送（ＤＶＢ）マルチメディアホームプラットフォーム（ＭＨＰ）規格１．０のサブセットを規定する。
【００３０】
図２は、既知の２Ｄビデオプレイヤ、特にブルーレイプレイヤのグラフィックス処理ユニット（処理ユニット１３の一部）を示す。前記グラフィックス処理ユニットは、２つの読み取りバッファ（１３０４及び１３０５）、２つのプレローディングバッファ（１３０２及び１３０３）並びに２つのスイッチ（１３０６及び１３０７）を備える。第２の読み取りバッファ（１３０５）は、メインＭＰＥＧストリームが復号されている間でさえも、デコーダに対するアウトオブマックス（Out-of-Mux）オーディオストリームの供給を可能にする。前記プレローディングバッファは、（ボタン選択又は起動において提示される）テキストサブタイトル、インタラクティブグラフィックス及び音響効果をキャッシュする。プレローディングバッファ１３０３は、動画再生が始まる前にデータを記憶し、前記メインＭＰＥＧストリームが復号されている間でさえ、提示に対するデータを供給する。
【００３１】
データ入力部とバッファとの間のスイッチ１３０１は、読み取りバッファ又はプレローディングバッファのいずれか１つからパケットデータを受信するのに適切なバッファを選択する。メイン動画提示を開始する前に、効果音データ（存在する場合）、テキストサブタイトルデータ（存在する場合）及びインタラクティブグラフィックス（プレロードされたインタラクティブグラフィックスが存在する場合）は、プレロードされ、前記スイッチを介してそれぞれ各バッファに送信される。前記メインＭＰＥＧストリームは、一次読み取りバッファ（１３０４）に送信され、前記アウトオブマックスストリームは、スイッチ１３０１により二次読み取りバッファ（１３０５）に送信される。メインビデオプレーン（１３１０）及び提示（１３０９）及びグラフィックスプレーン（１３０８）は、対応するデコーダにより供給され、これら３つのプレーンは、オーバレイヤ１３１１により重ねられ、出力される。
【００３２】
本発明によると、ビデオプレーンの合成は、前記表示装置に合成段１８を導入し、それに従って前記姿勢装置の処理ユニット１３及び出力部１４を適合することにより、前記再生装置の代わりに前記表示装置において行う。本発明の詳細な実施例は、図３ないし１５を参照して記載される。
【００３３】
本発明によると、レンダリングは、前記表示装置において行われ、したがって、複数の層からの全ての情報が、前記ディスプレイに送信されなければならない。これにより、レンダリングは、特定の画素を推定する必要なしに、如何なる視点からも行われることができる。
【００３４】
複数の層を別々にレンダリング装置（ディスプレイ）に送信する複数の方法が存在する。２４ｆｐｓのフレームレートを持つ１９２０×１０８０解像度におけるビデオを仮定する場合、１つの方法は、前記レンダリング装置に送信されるビデオの解像度を増加することである。例えば、３８４０×１０８０又は１９２０×２１６０への解像度の増加は、前記レンダリング装置に前記ビデオ層及び前記グラフィックス層を両方とも別々に送信することを可能にする（この例において、それぞれ隣接して又は上下である）。ＨＤＭＩ及び表示ポートは、これを可能にするのに十分な帯域幅を持つ。他のオプションは、フレームレートを増加することである。例えば、ビデオが４８又は６０ｆｐｓで前記ディスプレイに送信される場合、２つの異なる層は、時間インタリーブされて前記レンダリング装置に送信されることができる（特定の瞬間において、前記ディスプレイに送信されたフレームは、前記ビデオ層からのデータを含み、他の瞬間において、前記ディスプレイに送信されたフレームは、前記グラフィックス層からのデータを含む）。前記レンダリング装置は、受信するデータを解釈する方法を知るべきである。このために、制御信号は、（例えばＩ２Ｃを使用することにより）前記ディスプレイに送信されることができる。
【００３５】
図３は、２つの層からなるシーンの合成の上面図を示し、数字は、
３０１：ｚ軸の方向
３０２：ビデオ層
３０３：グラフィックス層
３０４：合成された層（出力）
３０５：合成アクション
を示す。
【００３６】
図４は、２つの視点が規定された、２つの層からなるシーンの上面図を示し、数字は、
４０１：ｚ軸の方向
４０２：ビデオ層
４０３：グラフィックス層
４０４：視点１（すなわち左目）
４０５：視点２（すなわち右目）
４０６：視点１から必要とされる背景層の部分
４０７：視点２から必要とされる背景層の部分
を示す。
【００３７】
プレイヤは、１より多いグラフィックスプレーン、例えばサブタイトル及びインタラクティブ又はJava（登録商標）生成グラフィックスに対する別個のプレーン（又は層）を持ちうる。これは、図５に描かれている。図５は、出力に合成するプレーンの現在の状態を示す。アイテム５０１、５０２及び５０３により示される入力プレーンは、５０４において結合され、５０５に示されるような出力を作成する。
【００３８】
図５は、モノ（２Ｄ）状況に対して合成されるＢＤビデオ及びグラフィックスプレーンを示し、数字は、
５０１：ビデオプレーン
５０２：提示（サブタイトル）グラフィックスプレーン
５０３：Java（登録商標）又はインタラクティブグラフィックスプレーン
５０４：混合及び合成段
５０５：出力
を示す。
【００３９】
３Ｄに対して有利には、本発明によると、前記プレーンは、ステレオ及び／又は画像＋深度グラフィックスをも含むように拡張される。ステレオの場合は、図６に示され、画像＋深度の場合は、図７に示される。
【００４０】
図６は、ステレオ３Ｄに対するＢＤプレーンを示し、数字は、
６０１：左ビデオプレーン
６０２：左提示（サブタイトル）グラフィックスプレーン
６０３：左Java（登録商標）又はインタラクティブグラフィックスプレーン
６０４：左混合及び合成段
６０５：左出力
６０６：右ビデオプレーン
６０７：右提示（サブタイトル）グラフィックスプレーン
６０８：右Java（登録商標）又はインタラクティブグラフィックスプレーン
６０９：右混合及び合成段
６１０：右出力
６１１：ステレオ出力
を示す。
【００４１】
図７は、画像＋深度３Ｄに対するＢＤプレーンを示し、数字は、
７０１：ビデオプレーン
７０２：提示（サブタイトル）グラフィックスプレーン
７０３：Java（登録商標）又はインタラクティブグラフィックスプレーン
７０４：混合及び合成段
７０５：出力
７０６：深度ビデオプレーン
７０７：深度提示（サブタイトル）グラフィックスプレーン
７０８：深度Java（登録商標）又はインタラクティブグラフィックスプレーン
７０９：深度混合及び合成段
７１０：深度出力
７１１：画像＋深度出力
を示す。
【００４２】
最新技術において、前記プレーンは、結合され、次いで１つのコンポーネント又はフレームとして前記ディスプレイに送信される。本発明によると、前記プレーンは、前記プレイヤにおいて結合されないが、別個のコンポーネントとして前記ディスプレイに送信される。前記ディスプレイにおいて、各コンポーネントに対するビューがレンダリングされ、前記別個のコンポーネントに対する対応するビューが合成される。前記出力は、３Ｄマルチビューディスプレイに示される。これは、品質の損失なしで最良の結果を与える。これは、図８に示される。数字８０１ないし８０６は、ビデオインタフェース上で送信される別個のコンポーネントを示し、８０７に入る。８０７において、各コンポーネントは、関連した"深度"パラメータコンポーネントを使用して複数のビューにレンダリングされる。前記ビデオ全てに対するこれらの複数のビュー、サブタイトル及びjava（登録商標）グラフィックスコンポーネントは、次いで８１１において合成される。８１１の出力は、８１２に示され、これは、前記マルチビューディスプレイ上で示される。
【００４３】
図８は、画像＋深度３Ｄに対するビデオプレーンを示し、数字は、
８０１：ビデオコンポーネント
８０２：ビデオ深度パラメータコンポーネント
８０３：提示（サブタイトル）グラフィックス（ＰＧ）コンポーネント
８０４：提示（サブタイトル）深度パラメータコンポーネント
８０５：Java（登録商標）又はインタラクティブグラフィックスコンポーネント
８０６：Java（登録商標）又はインタラクティブグラフィックス深度コンポーネント
８０７：ビデオ、ＰＧ（サブタイトル）及びJava（登録商標）又はインタラクティブグラフィックスを複数のビューにレンダリングするレンダリング段
８０８：複数のビデオビュー
８０９：複数の提示グラフィックス（サブタイトル）ビュー
８１０：複数のJava（登録商標）又はインタラクティブビュー
８１１：合成段
８１２：ディスプレイ上に示される複数のビュー
を示す。
【００４４】
本発明の好適な実施例は、図９ないし１１を参照して説明される。本発明によると、受信された圧縮されたストリームは、ステレオスコピック及びオートステレオスコピックディスプレイの両方で合成及びレンダリングを可能にする３Ｄ情報を有し、すなわち前記圧縮されたストリームは、左及び右ビデオフレーム、２Ｄ＋深度情報に基づいてレンダリングすることを可能にする深度（Ｄ）、透明性（Ｔ）及び遮蔽（Ｏ）情報を有する。以下の記載において、深度（Ｄ）、透明性（Ｔ）及び遮蔽（Ｏ）情報は、ＤＯＴと省略される。
【００４５】
圧縮されたストリームとしてのステレオ及びＤＯＴの両方の存在は、ディスプレイのタイプ及びサイズに依存して、前記ディスプレイにより最適化される合成及びレンダリングを可能にし、合成は、依然としてコンテンツ作者により制御される。
【００４６】
好適な実施例によると、以下のコンポーネントは、前記ディスプレイのインタフェース上で送信される。
−復号されたビデオデータ（ＰＧ及びＩＧ／ＢＤ−Jと混合されない）
−提示グラフィックス（ＰＧ）データ
−インタラクティブグラフィックス（ＩＧ）又はＢＤ−Ｊａｖａ（登録商標）生成（ＢＤ−Ｊ）グラフィックスデータ
−復号されたビデオＤＯＴ
−提示グラフィックス（ＰＧ）ＤＯＴ
−インタラクティブグラフィックス（ＩＧ）又はＢＤ−Ｊａｖａ（登録商標）生成（ＢＤ−Ｊ）グラフィックス。
【００４７】
図９及び１０は、本発明の実施例による、前記ビデオインタフェース上で送信されるべきフレームのユニットを概略的に示す。
【００４８】
出力段は、前記インタフェース（好ましくはＨＤＭＩ）上で６フレームのユニットを送信する。
【００４９】
フレーム１：左（Ｌ）ビデオ及びＤＯＴビデオのＹＵＶコンポーネントは、１つの２４ＨｚＲＧＢ出力フレームに結合され、前記コンポーネンツは、図９の上の図に示される。ＹＵＶは、ビデオ処理の分野において通常であるように、標準的な輝度（Ｙ）及び彩度（ＵＶ）コンポーネントを示す。
【００５０】
フレーム２：右（Ｒ）ビデオは、図９の下の図に示されるように、好ましくは２４Ｈｚで修正されずに送りだされる。
【００５１】
フレーム３：ＰＣカラー（ＰＧ−Ｃ）は、ＲＧＢコンポーネントとして、好ましくは２４Ｈｚで、修正されずに送りだされる。
【００５２】
フレーム４：前記ＰＧ−Ｃｏｌｏｒの透明性は、図１０の上の図に示されるように、別個のグラフィックスＤＯＴ出力プレーンにコピーされ、深度及び９６０×７４０遮蔽及び様々なプレーンに対する遮蔽深度（ＯＤ）コンポーネントと結合される。
【００５３】
フレーム５：ＢＤ−Ｊ／ＩＧカラー（Ｃ）は、好ましくは２４Ｈｚにおいて修正されずに送りだされる。
【００５４】
フレーム６：前記ＢＤ−Ｊ／ＩＧカラーの透明性は、図１０の下の図に示されるように、別のグラフィックスＤＯＴ出力プレーンにコピーされ、深度及び９６０×５４０遮蔽及び遮蔽深度（ＯＤ）コンポーネントと結合される。
【００５５】
図１１は、本発明の好適な実施例による、前記ビデオインタフェース上のフレームの時間出力を概略的に示す。ここで、前記コンポーネントは、前記ディスプレイに対して１４４Ｈｚのインタフェース周波数において前記ＨＤＭＩインタフェース上で時間的にインタリーブされて２４Ｈｚで送信される。
【００５６】
前記好適な実施例の利点は以下のとおりである。
・最大解像度フレキシブル３Ｄステレオ＋ＤＯＴフォーマット及び３Ｄ  ＨＤＭＩ出力は、改良された３Ｄビデオ（ディスプレイサイズ依存性に対する可変ベースライン）及び改良された３Ｄグラフィックス（より少ないグラフィックス制限、３Ｄ  ＴＶ  ＯＳＤ）、様々な３Ｄディスプレイ（ステレオ及びオートステレオスコピック）に対する可能性を可能にする。
・品質及びオーサリングフレキシビリティに対する妥協無し、プレイヤハードウェアに対する最小コスト。合成及びレンダリングは、前記３Ｄディスプレイにおいて行われる。
・必要とされる、より高いビデオインタフェース測度が、４ｋ２ｋフォーマットに対してＨＤＭＩにおいて規定され、デュアルリンクＨＤＭＩを用いて既に実施されることができる。デュアルＨＤＭＩは、３０Ｈｚ等のようなより速いフレームレートをもサポートする。
【００５７】
図１２は、本発明の好適な実施例による処理ユニット（１３）及び出力段（１４）を概略的に示す。前記処理ユニットは、本発明の各プレーンに対してビデオ及びＤＯＴを別々に処理する。各プレーンの出力は、プレーン選択ユニットにより適切な時間に選択され、前記インタフェース上で送信されるべき関連するフレームを生成する前記出力段に送信される。
【００５８】
前記表示装置のＨＤＭＩインタフェース入力部は、図９ないし１２に対して上に記載されたフレームのユニットを受信し、これらを分離し、ビデオ面の合成を引き受ける合成段１８にこの情報を送信する。前記合成段の出力は、レンダリングされたビューを生成する前記レンダリングユニットに送信される。
【００５９】
好適な実施例によるシステムが、最良の３Ｄ品質を提供するが、このようなシステムがかなり高価でありうると認められている。したがって、本発明の第２の実施例は、より低いコストのシステムに対処し、依然として従来のシステムより高いレンダリング品質を提供する。
【００６０】
図１３は、本発明の第２の実施例による処理ユニット及び出力段を概略的に示す。基本的なアイデアは、１２Ｈｚにおける１つの出力フレーム期間においてJava（登録商標）グラフィックスの２つの時間期間を結合し、これを２４Ｈｚにおける前記ビデオ及び２４Ｈｚにおける結合されたビデオＤＯＴ及びＰＧプレーンとインタリーブすることである。前記出力を合計して６０Ｈｚにおける１９２０×１０８０にする。図１５は、本発明のこの実施例による、前記ビデオインタフェース上のフレームの時間出力を概略的に示す。
【００６１】
本発明のこの実施例による前記表示装置のＨＤＭＩインタフェース入力部は、図１３及び１５に対して上に記載されたフレームのユニットを受信し、これらを分離し、ビデオプレーンの合成を引き受ける合成段１８にこの情報を送信する。前記合成段の出力は、レンダリングされたビューを生成する前記レンダリングユニットに送信される。
【００６２】
代わりに、ＰＧ又はＢＤ−Ｊプレーンのいずれか前記プレイヤ装置により選択され、特定のユニットにおいて前記インタフェース上で送信されるように、単一のプレーンに対する情報を送信することを選択することができる。図１４は、本発明のこの実施例による、前記ビデオインタフェース上のフレームの時間出力を概略的に示すのに対し、図１６は、本発明のこの実施例による処理ユニット及び出力段を概略的に示す。
【００６３】
本発明のこの実施例による前記表示装置のＨＤＭＩインタフェース入力部は、図１４及び１６に対して上に記載されたフレームのユニットを受信し、これらを分離し、ビデオプレーンの合成を引き受ける合成段１８にこの情報を送信する。前記合成段の出力は、レンダリングされたビューを生成する前記レンダリングユニットに送信される。
【００６４】
本発明の他の実施例によると、前記再生装置は、前記インタフェース及び合成能力に関して前記表示装置にクエリを行うことができ、これは、上記の３つの実施例の１つによることができる。このような場合、前記再生装置は、前記表示装置が、前記送信されたストリームを処理することができるように出力を適合する。
【００６５】
代わりに、全てのビューのレンダリングは、ここで前記ビデオ層及び前記グラフィックス層の両方からの全ての情報が利用可能であるので、前記プレイヤ／セットトップボックスにおいて行われることができる。前記プレイヤ／セットトップボックスにおいてレンダリングする場合、全ての層からの全ての情報は利用可能であり、したがってシーンが遮蔽するオブジェクトの複数の層（すなわちビデオ層及びその上の２つのグラフィックス層）からなる場合、依然として高品質のレンダリングが、当該シーンの複数の視点に対して行われることができる。このオプションは、しかしながら、前記プレイヤが異なるディスプレイに対するレンダリングアルゴリズムを含むことを必要とし、したがって、好適な実施例は、複数の層からの情報を前記ディスプレイに送信し、（しばしばディスプレイ固有の）レンダリングを、前記ディスプレイにおいて行わせる。
【００６６】
代わりに、ビデオエレメンタリストリームは、帯域幅を節約するために符号化されて前記ディスプレイに送信されることができる。これの利点は、より多くの情報が前記ディスプレイに送信されることができることである。ブルーレイのようなアプリケーションフォーマットは、記憶又は送信に対して圧縮されたビデオエレメンタリストリームを既に使用しているので、ビデオ品質は、影響を受けない。ビデオ復号は、前記ディスプレイ内で行われ、ソースは、前記ビデオエレメンタリストリームに対する通路として機能する。最近のテレビは、しばしば、デジタルテレビデコーダ内に構築され、及びネットワーク接続性のため、既にビデオストリームを復号することができる。
【００６７】
本発明は、以下のように要約されることができる。合成及び表示に対して三次元（３Ｄ）画像データを転送するシステムが記載される。情報ストリームは、ビデオ情報及びオーバレイ情報を有し、前記ビデオ情報は、少なくとも２Ｄビデオストリーム及び３Ｄにおける前記ビデオ情報のレンダリングを可能にする３Ｄビデオ情報を有し、前記オーバレイ情報は、少なくとも２Ｄオーバレイストリーム及び３Ｄにおける前記オーバレイ情報のレンダリングを可能にする３Ｄオーバレイ情報を有する。本発明によるシステムにおいて、ビデオプレーンの合成は、再生装置の代わりに表示装置において行われる。前記システムは、一連のフレームを前記ビデオインタフェース上で送信し、前記一連のフレームは、ユニットを有し、各ユニットは、３Ｄ画像として合成及び表示されることを意図される解凍されたビデオ情報及び解凍されたオーバレイ情報に対応し、表示装置は、前記ビデオインタフェース上で前記一連のフレームを受信し、前記ユニットから前記３Ｄビデオ情報及び前記３Ｄオーバレイ情報を抽出し、前記ユニットを３Ｄフレームに合成し、前記３Ｄフレームを表示する。
【００６８】
上述の実施例が、本発明を限定するのではなく説明することを意図されることに注意すべきである。当業者は、添付の請求項の範囲から逸脱することなしに多くの代替実施例を設計することができる。請求項において、括弧間に配置された参照符号は、前記請求項を限定すると解釈されるべきでない。動詞"有する"及び"含む"並びにこれらの活用形の使用は、請求項に記載されていない要素又はステップの存在を除外しない。要素に先行する冠詞"１つの"は、複数のこのような要素の存在を除外しない。本発明は、複数の別個の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実施されることができる。コンピュータプログラムは、光記憶媒体のような適切な媒体において記憶／流通される、又はハードウェア部品と一緒に供給されてもよいが、インターネット又は有線若しくは無線電気通信システムを介して配信されるような他の形式で流通されることもできる。複数の手段を列挙するシステム／装置／機器請求項において、これらの手段の幾つかは、ハードウェア又はソフトウェアの同一アイテムにより実施されてもよい。特定の方策が相互に異なる従属請求項に記載されるという単なる事実は、これらの方策の組み合わせが有利に使用されることができないことを示さない。
【図１】
2012516069.tif 000003
【図２】
2012516069.tif 000004
【図３】
2012516069.tif 000005
【図４】
2012516069.tif 000006
【図５】
2012516069.tif 000007
【図６】
2012516069.tif 000008
【図７】
2012516069.tif 000009
【図８】
2012516069.tif 000010
【図９】
2012516069.tif 000011
【図１０】
2012516069.tif 000012
【図１１】
2012516069.tif 000013
【図１２】
2012516069.tif 000014
【図１３】
2012516069.tif 000015
【図１４】
2012516069.tif 000016
【図１５】
2012516069.tif 000017
【図１６】
2012516069.tif 000018
【国際調査報告】
2012516069.tif 000019
2012516069.tif 000020
2012516069.tif 000021