(57)【要約】【課題】  既知のオーバレイ手法を3Dに拡張するとリアルタイム生成されるオーバレイグラフィックスの描画ルーチンの性能要求の増加問題が生じる。【解決手段】  符号化されたメインビデオ情報と付加的なビデオ情報を有する3Dビデオ情報を復号し出力する際、ビデオ情報にオーバレイされる3Dオーバレイ情報を受信又は生成し、オーバレイ情報のうち、メインビデオ情報にオーバレイされる第１部分を第１バッファに記憶し、付加的なビデオ情報にオーバレイされる第２部分を第２バッファに記憶し、メイン及び付加的なビデオ情報を復号し、各々の出力ビデオフレーム（ＶＦ）がメイン又は付加的なＶＦである時間インタリーブＶＦ系列を生成し、メイン又は付加的なＶＦである出力ＶＦの種類を決定し、決定されたフレームの種類にしたがって出力されるＶＦにオーバレイ情報の第１又は第２部分をオーバレイし、ＶＦ及びオーバレイされた情報を出力する。【選択図】図４
2020099045.tif 000002
【特許請求の範囲】
【請求項１】
三次元［3D］表示に適したビデオ情報を復号して出力する方法であって、前記ビデオ情報は、2Dディスプレイ上の表示に適した符号化されたメイン・ビデオ情報及び3D表示を可能にするための符号化された付加的なビデオ情報を有し、
当該方法は、
前記ビデオ情報上にオーバレイされるべき3Dオーバレイ情報を受信又は生成し、
前記メイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分を第１バッファ中にバッファリングし、
前記付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分を第２バッファ中にバッファリングし、
前記メイン・ビデオ情報及び前記付加的なビデオ情報を復号して、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成し、
メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるビデオ・フレームの種類を決定し、
決定されたフレームの種類にしたがって出力されるビデオ・フレーム上に前記オーバレイ情報の第１又は第２部分をオーバレイし、
前記ビデオ・フレーム及び前記オーバレイされた情報を出力する、方法。
【請求項２】
前記メイン・ビデオ情報が左ビデオ・フレームであり、前記付加的なビデオ情報が右ビデオ・フレームである、請求項１に記載の方法。
【請求項３】
前記オーバレイ情報がリアルタイム・グラフィックスである、請求項２に記載の方法。
【請求項４】
前記リアルタイム・グラフィックスが、Java（登録商標）仮想マシン上で動作するJava（登録商標）アプリケーションによって生成される、請求項３に記載の方法。
【請求項５】
決定されたフレームの種類にしたがう出力されるビデオ・フレーム上の前記オーバレイ情報の第１又は第２部分のオーバレイを制御するために、タイミング情報が用いられる、請求項３に記載の方法。
【請求項６】
前記付加的なビデオ情報が前記ビデオ情報に関する深さ情報を含む、請求項１に記載の方法。
【請求項７】
前記付加的なビデオ情報が深さ及び遮蔽情報をさらに含む、請求項１に記載の方法。
【請求項８】
三次元［3D］表示に適したビデオ情報を復号して出力する装置であって、前記ビデオ情報は、2Dディスプレイ上の表示に適した符号化されたメイン・ビデオ情報及び3D表示を可能にするための符号化された付加的なビデオ情報を有し、
当該装置は、
前記ビデオ情報上にオーバレイされるべき3Dオーバレイ情報を受信するための入力手段、又は、前記ビデオ情報上にオーバレイされるべき3Dオーバレイ情報を生成するための生成手段、
前記メイン・ビデオ情報及び前記付加的なビデオ情報を復号するための復号器であって、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成する復号器、
前記ビデオ情報上にオーバレイされるべき3Dオーバレイ情報を受信又は生成するための手段、
前記メイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分をバッファリングする第１バッファ及び前記付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分をバッファリングするための第２バッファを有するグラフィックス処理ユニットであって、メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるビデオ・フレームの種類を決定するためのコントローラをさらに有するグラフィックス処理ユニット、
決定されたフレームの種類にしたがって出力されるビデオ・フレーム上に前記オーバレイ情報の第１又は第２部分をオーバレイするためのミキサー、
前記ビデオ・フレーム及び前記オーバレイされた情報を出力するための出力手段、
を有する装置。
【請求項９】
前記メイン・ビデオ情報は左ビデオ・フレームであり、前記付加的なビデオ情報は右ビデオ・フレームである、請求項８に記載の装置。
【請求項１０】
前記オーバレイ情報がリアルタイム・グラフィクスである請求項９に記載の装置。
【請求項１１】
前記リアルタイム・グラフィクスが、Java（登録商標）仮想マシン上で動作するJava（登録商標）アプリケーションによって生成される、請求項１０に記載の装置。
【請求項１２】
決定されたフレームの種類にしたがう出力されるビデオ・フレーム上の前記オーバレイ情報の第１又は第２部分のオーバレイを制御するために、タイミング情報が用いられる、請求項１１に記載の装置。
【請求項１３】
前記付加的なビデオ情報が前記ビデオ情報に関する深さ情報を含む、請求項８に記載の装置。
【請求項１４】
前記付加的なビデオ情報が深さ及び遮蔽情報をさらに含む請求項９に記載の装置。
【請求項１５】
前記コントローラが、オーバレイ・フレームを生成するためにフレーム周波数で前記第１バッファ中の第１オーバレイ・フレームの一部又は前記第２バッファ中の第２オーバレイ・フレームの一部をコピーする、請求項８から請求項１４のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元［3D］表示に適したビデオ情報を復号して出力する方法に関し、ビデオ情報は、2Dディスプレイ上での表示に適した符号化されたメイン・ビデオ情報及び三次元［3D］表示を可能にするための符号化された付加的なビデオ情報を有し、3Dオーバレイ情報はビデオ情報上へオーバレイされる。
【０００２】
本発明はさらに、三次元［3D］表示に適したビデオ情報を復号して出力するための装置に関し、ビデオ情報は、2Dディスプレイ上での表示に適した符号化されたメイン・ビデオ情報及び三次元［3D］表示を可能にするための符号化された付加的なビデオ情報を有し、当該装置は、ビデオ情報上へ3Dオーバレイ情報をオーバレイするように適応されている。
【０００３】
本発明は、再生装置による3Dビデオ情報及び3Dオーバレイ情報のフィールド再生に関し、前記情報は、3D対応ディスプレイ上へ表示される。
【背景技術】
【０００４】
ビデオ・データをレンダリングするための装置（例えば、デジタル・ビデオ信号をレンダリングするためのDVDプレーヤー、BDプレーヤー又はセットトップ・ボックスのようなビデオ・プレーヤー）が知られている。レンダリング装置は、TVセットのような表示装置に結合されるソース装置として、一般的に用いられる。画像データは、HDMIのような適切なインタフェースを介してソース装置から転送される。
【０００５】
符号化されたビデオ情報ストリームに関して、例えばこれは、左及び右(L+R)画像が符号化される立体視として知られるフォーマットに基づくことができる。別の態様では、Oliver Sheer ''3D Video Communication''， Wiley， 2005， page 29-34に記載されるように、符号化されたビデオ情報ストリームは、2D画像及び付加的な画像(L+D)（いわゆる深さマップ）を有することができる。深さマップは、2D画像におけるオブジェクトの深さに関する情報を伝達する。深さマップ中のグレー・スケール値は、2D画像中の関連するピクセルの深さを示す。ステレオ・ディスプレイは、深さマップからの深さ値を用いることにより及び必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加的なビューを計算することができる。2Dビデオ+深さマップは、遮蔽及び透明度情報(DOT)を追加することによって拡張されることができる。
【０００６】
現在、3Dシステムにおいて、出力ビデオ・データをHDMIインタフェースを介して3Dディスプレイに転送するための既知の解決策は時間インタリーブであり、左又は2D情報に対応するフレームは、右又はDOTフレームによってインタリーブされる。
【０００７】
2Dビデオ・システムに対しては、ビデオ・コンテンツの配信のためのようなアプリケーション・フォーマット及び再生装置は、ビデオ上でのオーバレイ又はリアルタイム生成されたグラフィックスをサポートすることが知られている。オーバレイ・グラフィックスは、例えば、表示画面(SD)メニューのためにプレーヤー装置によって内部的に生成されるか、又は、字幕や他のグラフィックスのように受信される。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、既知のオーバレイ・モデルを3Dシステムに拡張すると、リアルタイム生成されるオーバレイ・グラフィックスのための描画ルーチンの性能要求が増加するという問題が生じる。
【課題を解決するための手段】
【０００９】
ビデオ情報及び3Dシステムに適したオーバレイ情報を復号して出力する方法を提供することが本発明の目的である。
【００１０】
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載される方法において、当該方法はさらに、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を受信又は生成し、第１バッファ中にメイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分をバッファリングし、第２バッファ中に付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分をバッファリングし、メイン・ビデオ情報及び付加的なビデオ情報を復号して、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成し、メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるべきビデオ・フレームの種類を決定し、決定されたフレームの種類に従って出力されるビデオ・フレーム上にオーバレイ情報の第１又は第２部分をオーバレイし、ビデオ・フレーム及びオーバレイされた情報を出力する。
【００１１】
この目的のために、本発明の第２の態様によれば、冒頭の段落に記載される装置は、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を受信するための入力手段、又は、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を生成するための生成手段、メイン・ビデオ情報及び付加的なビデオ情報を復号するための復号器であって、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成するようにさらに適応された復号器、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を受信又は生成するための手段、メイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分をバッファリングする第１バッファ及び付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分をバッファリングするための第２バッファを有するグラフィックス処理ユニットであって、メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるビデオ・フレームの種類を決定するためのコントローラをさらに有するグラフィックス処理ユニット、決定されたフレームの種類に従って出力されるビデオ・フレーム上にオーバレイ情報の第１又は第２部分をオーバレイするためのミキサー、ビデオ・フレーム及びオーバレイされた情報を出力するための出力手段を有する。
【００１２】
本発明はさらに以下の認識に基づく。右又はDOTフレームによってインタリーブされる左又は2D情報に対応するフレームを出力するシステムにおいては、3Dビデオ出力が２つの異なるビデオ・ストリーム間で各々のフレームを切り替えるので、3Dオーバレイ・グラフィックスはもはや、3Dビデオ出力に単純に合成されることができない。一例として、時点Tにおいて、ビデオ出力は2Dフレームを含む可能性があり、そして時点T+1において、ビデオ出力は、時間Tにおけるフレームに付随する深さ情報を含む。時間Tにおいてビデオに合成されることを必要とするグラフィックス（2Dグラフィックス）は、時間T+1においてビデオに合成されることを必要とするグラフィックス（深さグラフィックス又はRグラフィックス）とは大いに異なる。2Dビデオ・プレーヤー装置に存在するグラフィックス・ユニットは、フレームごとに、これらの異なるグラフィックスによってそのグラフィックス・プレーンをフレーム単位で更新するのに十分高速ではない。本発明による解決策は、グラフィックス・ユニット中に２つのバッファを実装することである。各々のバッファは、出力ビデオ・ストリームのうちの１つに割り当てられる。例えば、2D +深さ描画のために、１つのバッファは、2Dフレームの上のグラフィックス・オーバレイに割り当てられることができ、そして１つのバッファは、深さフレームの上のグラフィックス・オーバレイに割り当てられることができる。L+Rでは、同様に、１つのバッファはLフレームの上のグラフィックス・オーバレイに用いられることができ、１つのバッファはRフレームの上のオーバレイに割り当てられることができる。この解決策の利点は、遅いグラフィックスが、フレーム単位のオーバレイ・エンジンから分離され、処理要求が大幅に低減されることである。
【００１３】
長所として、グラフィックス制御ユニットは、オーバレイ・フレームを生成するためにフレーム周波数で第１バッファ中の第１オーバレイ・フレームの一部又は第２バッファ中の第２オーバレイ・フレームの一部をコピーするように適応されたコントローラをさらに有する。プレーヤー装置が2D + DOT深さストリームを取り扱うとき、これは、バッファリングされたフレームから関連する領域をコピーすることによって、遮蔽データの高速生成を可能にする。
【００１４】
本発明のこれらの及び他の態様は、以下の説明において及び添付の図面を参照して一例として記載される実施の形態から明らかとなり、それらを参照して説明される。図において、すでに説明された要素に対応する要素は同じ参照符号を持つ。
【図面の簡単な説明】
【００１５】
【図１】その一部において本発明が実施されることができる3Dビデオ情報を受信して表示するシステムを概略的に示す図。
【図２】既知の2Dビデオ・プレーヤーのグラフィックス処理ユニットを概略的に示す図。
【図３】既知のブルーレイ（BD）システムにおけるビデオ・プレーンの合成を概略的に示す図。
【図４】本発明によるグラフィックス処理ユニットを概略的に説明する図。
【発明を実施するための形態】
【００１６】
本発明が実施されることができる3Dビデオ情報の再生のためのシステム1が、図１に示される。システムは、インタフェース12を介して通信するプレーヤー装置10及び表示装置11を有する。プレーヤー装置10は、表示されるべき符号化されたビデオ情報ストリームを受信して前処理することに責任があるフロント・エンド装置12、並びに、出力14に供給されるべきビデオ・ストリームを復号して、処理して及び生成するための処理ユニットを有する。表示装置は、受信されたものから3Dビューをレンダリングするためのレンダリング・ユニットを有する。
【００１７】
符号化されたビデオ情報ストリームに関して、例えばこれは、左及び右(L+R)画像が符号化される立体視として知られるフォーマットに基づくことができる。別の態様では、Oliver Sheer ''3D Video Communication''， Wiley， 2005， page 29-34に記載されるように、符号化されたビデオ情報ストリームは、2D画像及び付加的な画像(L+D)（いわゆる深さマップ）を有することができる。深さマップは、2D画像中のオブジェクトの深さに関する情報を伝達する。深さマップ中のグレー・スケール値は、2D画像中の関連するピクセルの深さを示す。立体ディスプレイは、深さマップからの深さ値を用いることにより及び必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加的なビューを計算することができる。2Dビデオ+深さマップは、遮蔽及び透明度情報（DOT）を追加することによって拡張されることができる。好ましい実施の形態において、参照によって本願明細書に含まれるEP 08305420.5（代理人整理番号PH010082）に説明されるように、遮蔽及び透明度を加えた、ステレオ情報及び深さマップを有する柔軟なデータ・フォーマットが用いられる。
【００１８】
表示装置11に関して、これは、それぞれ左及び右目に表示される画像を制御するように制御可能な眼鏡を利用する表示装置であることもでき、又は、好ましい実施の形態においては、いわゆる自動立体視ディスプレイが用いられる。2Dと3Dとの間で表示を切り替えることができる複数の自動立体視装置が知られており、それらのうちの１つが、US 6.069.650に記載されている。この表示装置は、能動的に切り替え可能な液晶レンチキュラレンズを有する液晶ディスプレイを有する。自動立体視ディスプレイにおいて、レンダリング・ユニット16内部の処理は、プレーヤー装置10からインタフェース12を介して受信される復号されたビデオ情報を複数のビューへと変換して、これらをディスプレイ・パネル17のサブピクセルにマップする。レンダリング・ユニット16は、プレーヤー装置10の中に存在することもでき、その場合には複数のビューはインタフェースを介して送信されることが、当然留意されるべきである。
【００１９】
プレーヤー装置10に関して、これは、光学ディスク、他の記憶メディア（例えばフラッシュ）からビデオ・ストリームを読み出すか、又は、有線若しくは無線ネットワーク（例えばインターネット接続）を介してビデオ情報を受信するように適応されていることができる。ブルーレイ・プレーヤーの既知の例は、ソニー株式会社によって販売されるプレイステーション(登録商標)3である。
【００２０】
BDシステムの場合、更なる詳細は、公に利用可能な技術白書、ブルーレイ・ディスク協会によって公開される''Blu-ray Disc Format General August 2004''及び''Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November， 2005''において見つけることができる（http://www.bluraydisc.com）。
【００２１】
以下において、BDアプリケーション・フォーマットを参照する場合、米国特許出願公開番号2006-0110111、（代理人整理番号NL021359）、及びブルーレイ・ディスク協会によって公表された白書''Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005''に開示されるようなアプリケーション・フォーマットを特に参照する。
【００２２】
BDシステムがさらに、ネットワーク接続性を備える詳細にプログラム可能なアプリケーション環境を提供し、それにより、コンテンツ作成者がインタラクティブ・コンテンツを作成することを可能にすることが知られている。このモードは、Java(登録商標)()3プラットフォームに基づき、"BD-J"として知られている。BD-Jは、ETSI TS 101 812として公に利用可能なDigital Video Broadcasting (DVB) -Multimedia Home Platform (MHP) Specification 1.0のサブセットを定める。
【００２３】
図２は、既知の2Dビデオ・プレーヤー（すなわちブルーレイ・プレーヤー）のグラフィックス処理ユニット（処理ユニット13の一部）を示す。グラフィックス処理ユニットは、２つのリード・バッファ（1304及び1305）、２つのプリロード・バッファ（1302及び1303）並びに２つのスイッチ（1306及び1307）を備えている。第２リード・バッファ（1305）は、メインMPEGストリームが復号されている間も、復号器へのOut-of-Muxオーディオ・ストリームの供給を可能にする。プリロード・バッファは、テキスト字幕、インタラクティブ・グラフィックス及び音効果（それらはボタン選択又は起動時に示される）を蓄える。プリロード・バッファ1303は、メインMPEGストリームが復号されている間でも、動画再生が開始してプレゼンテーションのためのデータを供給する前に、データを記憶する。
【００２４】
データ入力とバッファとの間のこのスイッチ1301は、リード・バッファ又はプリロード・バッファのうちの任意の１つから、パケット・データを受信するための適切なバッファを選択する。主要な動画プレゼンテーションを始める前に、効果音データ（存在する場合）、テキスト字幕データ（存在する場合）及びインタラクティブ・グラフィックス（プリロードされているインタラクティブ・グラフィックスが存在する場合）は、プリロードされて、スイッチを通して各々のバッファにそれぞれ送信される。メインMPEGストリームはプライマリ・リード・バッファ（1304）に送信され、Out-of-Muxストリームはスイッチ1301によってセカンダリ・リード・バッファ（1305）に送信される。
【００２５】
図３は、既知のブルーレイ（BD）システムにおけるビデオ・プレーンの合成を概略的に示す。
【００２６】
示されるように、ビデオ・プレーン（31）に合成されるグラフィックスのための２つの独立した完全なグラフィックス・プレーン（32、33）が存在する。１つのグラフィックス・プレーン（32）は、アプリケーションに字幕を入れるために割り当てられ（プレゼンテーション・グラフィックス又はテキスト字幕）、他のプレーンは、インタラクティブ・アプリケーション（33）に割り当てられる（HDMV又はBD-Jモード対話型グラフィックス）。
【００２７】
図３に戻って、メイン・ビデオ・プレーン（1310）並びにプレゼンテーション（1309）及びグラフィックス・プレーン（1308）は、対応する復号器によって供給され、これら３つのプレーンはオーバレイヤー1311によってオーバレイされて出力される。
【００２８】
図４は、本発明によるグラフィックス処理ユニット(13)を概略的に示す。この具体例は、BDシステムにおける既知のグラフィックス処理ユニットの改善を構成するが、本願明細書において説明される発想は、さまざまな種類のビデオ・プレーヤーのための復号器モデルは同様であるので、ビデオ・プレーヤー中の全てのグラフィックス処理ユニットに直接適用可能である。
【００２９】
明確性のために、メイン・ビデオ・プレーンの上の１つのグラフィックス・プレーンのオーバレイが議論されるが、コンセプトは、複数のグラフィックス・プレーンをオーバレイすることに直接適用可能である。
【００３０】
3Dビデオのために、通常のブルーレイ動画で記憶されてディスプレイに送信される2Dビデオの他に、追加の情報が必要である。立体視3Dのために、立体視ディスプレイに左ビュー及び右ビューの両方を送信することが必要である。そしてディスプレイは、観察者の左目だけが左画像を見て右目だけが右画像を見るように、特定の技術を用いる。これを達成する一般的な技術は、シャッタ眼鏡又は偏光眼鏡である。
【００３１】
自動立体視ディスプレイは、異なるインタフェース・フォーマット、2D+深さビデオ・フォーマットを必要とする。2Dビデオの他に、深さ情報を送信するために付加的なビデオ・ストリームが用いられる。ディスプレイは、レンダリング段階においてビデオ・ストリームを組み合わせて、結果として生じる3D画像を計算する。
【００３２】
両方の3D技術にとって、ディスプレイの種類によって決まる特定のインタフェース・フォーマットにおいてディスプレイに２つのビデオ・ストリームを送信することが必要である。考えられるインタフェース・フォーマットは、時間インタリーブされた両方のビデオからのフレームをディスプレイに送信することである。これは、時点Tにおいて、第１ビデオ・ストリーム（左又は2D）からのフレームが送信され、そして時点T+1において、第２ビデオ・ストリーム（右又は深さ）からのフレームが送信されることを意味する。
【００３３】
上述のブルーレイ・フォーマットのようなアプリケーション・フォーマットは、ビデオの上のオーバレイ・グラフィックスをサポートする。オーバレイ・グラフィックスは、例えば、選択メニューを作成するための字幕を表示するために用いられる。ブルーレイ・オーバレイ・グラフィックスは、ディスクから読み出されて（プレゼンテーション・グラフィックス及びインタラクティブ・グラフィックス）、又は、リアルタイムで生成される（BD-Jグラフィックス、OSDディスプレイ及びテキスト・ベースの字幕）。
【００３４】
時間シーケンシャル・インタフェース・フォーマットでビデオを出力することは、リアルタイムに生成されるオーバレイ・グラフィックスのための描画ルーチンの性能要求に、特にBD-Jグラフィックスのそれに非常に影響する。これは、ビデオ出力が２つの異なるビデオ・ストリーム間で各々のフレームを切り替えるので、グラフィックス・プレーンがもはやビデオ出力に単純に合成されることができないからである。一例として、時点Tにおいて、ビデオ・プレーンは2Dビューを含む場合があり、そして時点T+1において、ビデオ・プレーンは時間Tにおけるフレームのための付随する深さ情報を含む。時点Tにおいてビデオに合成されることを必要とするBD-Jグラフィックス（2Dグラフィックス）は、時間T+1においてビデオに合成されることを必要とするBD-Jグラフィックス（深さグラフィックス）とは非常に異なる。
【００３５】
グラフィックス処理ユニット、特にBD-J描画は、フレームごとに、これらの異なるグラフィックスによってそのグラフィックス・プレーンを、フレーム単位で更新するのに十分高速ではない。本発明による解決策は、グラフィックス・ユニット中に２つのバッファを実装することである。各々のバッファは、出力ビデオ・ストリームのうちの１つに割り当てられる。例えば、2D +深さ描画のために、１つのバッファは、2Dフレームの上のグラフィックス・オーバレイに割り当てられることができ、そして１つのバッファは、深さフレームの上のグラフィックス・オーバレイに割り当てられることができる。L+Rでは、同様に、１つのバッファはLフレームの上のグラフィックス・オーバレイのために用いられることができ、１つのバッファはRフレームの上のオーバレイに割り当てられることができる。この解決策の利点は、遅いグラフィックスが、フレーム単位のオーバレイ・エンジンから分離され、処理要求が大幅に低減されることである。
【００３６】
図４において、Java（登録商標）仮想マシン上で動作しているJava（登録商標）アプリケーション41が、オーバレイ情報を生成して、グラフィックス処理ユニット（API）にそれを送信する。なお、オーバレイ情報のソースは重要ではなく、グラフィックス・プレーンのためのそのようなオーバレイ情報は、ディスクからの他のグラフィックス又はOSD（On Screen display）情報であることができる。グラフィックス処理ユニットは、２つのバッファ42及び43を有する。各々のバッファはコントローラ（45）と通信し、コントローラは、好ましくは、フレーム単位の領域コピー部を有する。タイミング情報は、描画アプリケーション（41）から送信され、そしてビデオ復号器（47）からグラフィックス処理ユニットへ送信される。受信されたタイミング情報に基づいて、フレーム単位の領域コピー部は、どのビデオ・フレームがビデオ出力プレーン上で現在復号されているかによって（これはビデオ・ソースからの時間情報によって知られる）、グラフィックス出力プレーン上へ正しいバッファを合成することができる。これを行うことによって、フレーム単位の領域コピー部は、ミキサーが、現在出力されるビデオ・フレーム上に正しいBD-Jグラフィックスを合成することを保証する(2D+深さでは、これは、2Dビデオ・フレームが復号されるときに2Dグラフィック・バッファがグラフィックス・プレーン上へコピーされ、そして深さフレームが復号されるときに深さDOTグラフィック・バッファがグラフィックス・プレーン上へコピーされることを意味する）。L+Rグラフィックスでは、Lリアルタイム・グラフィックスがLフレーム上にオーバレイされ、Rリアルタイム・グラフィックスがRフレーム上にオーバレイされることを保証する。
【００３７】
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアで実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明されたレンダリング・システムに対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いた実施の形態によって説明されたが、本発明は、オーサリング・ソフト又は放送装置のような、任意の画像処理環境にも適している。更なるアプリケーションは、3Dパーソナル・コンピュータ[PC]ユーザインタフェース又は3Dメディア・センターＰＣ、3Dモバイル・プレーヤー及び3D携帯電話を含む。
【００３８】
なお、本明細書において、「有する」「含む」などの用語は、挙げられたもの以外の他の要素又はステップを除外せず、単数で表現された要素はそのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を限定せず、本発明はハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」は、ハードウェア又はソフトウェアの同一のアイテムによって表される場合があり、プロセッサは、おそらくハードウェア素子と協働で、１つ以上のユニットの機能を果たすことができる。さらに、本発明は実施の形態に限定されず、上記で説明された新規な特徴又は特徴の組み合わせにもある。
【図１】
2020099045.tif 000003
【図２】
2020099045.tif 000004
【図３】
2020099045.tif 000005
【図４】
2020099045.tif 000006
【外国語明細書】
2020099045000001.pdf