(57)【要約】  ビジュアル情報をレンダリングするデバイス及び方法は、ビデオのような画像情報とグラフィックスのような第２の画像情報とを組み合わせる。画像情報及び第２の画像情報は、３次元空間にレンダリングされるべき出力情報を生成するために処理される。出力情報は、実際のディスプレイの奥行きレンジ４４を持つ３Ｄ立体視ディスプレイ上への表示のために設けられる。処理は、画像情報の画像の奥行きレンジを検出すること、及び、第２の画像情報の第２の奥行きレンジを検出することを含む。ディスプレイの奥行きレンジ４４において、双方がオーバーラップしない第１のサブレンジ４１及び第２のサブレンジ４３が決定される。画像の奥行きレンジが第１のサブレンジに適合され、第２の奥行きレンジが第２のサブレンジに適合される。有利には、グラフィック及びビデオは、ビデオオブジェクトがグラフィカルオブジェクトを遮へいすることなく実際の３Ｄで表示される。
2010505174.tif 000002
【特許請求の範囲】
【請求項１】
ビジュアル情報をレンダリングする方法であって、
画像情報を受信すること、
前記画像情報と組み合わせてレンダリングされるべき第２の画像情報を受信すること、及び、
３次元空間にレンダリングされるべき出力情報を生成するために前記画像情報及び前記第２の画像情報を処理することを有し、
前記出力情報は、ディスプレイの奥行きレンジを持つ３Ｄディスプレイ上への表示のために設けられ、
前記処理することは、
前記画像情報の画像の奥行きレンジを検出すること、
前記第２の画像情報の第２の奥行きレンジを検出すること、
前記ディスプレイの奥行きレンジにおいて、双方がオーバーラップしない第１のサブレンジ及び第２のサブレンジを決定すること、及び
前記画像の奥行きレンジを前記第１のサブレンジに適合させるとともに、前記第２の奥行きレンジを前記第２のサブレンジに適合させることを有する、方法。
【請求項２】
前記適合させることは、
前記第１のサブレンジに合わせるために前記画像の奥行きレンジを圧縮すること、及び／又は
前記第２のサブレンジに合わせるために前記第２の奥行きレンジを圧縮することを有する、請求項１に記載の方法。
【請求項３】
前記出力情報は、奥行き値に応じて３Ｄディスプレイの奥行きの次元に沿って前記画像データをポジショニングするための奥行きマップ及び画像データを含み、
当該方法は、
前記奥行きマップにおいて、奥行き値の第１のサブレンジ及び奥行き値の第２のサブレンジを前記第１のサブレンジ及び前記第２のサブレンジとして決定する、請求項１に記載の方法。
【請求項４】
前記第２の画像情報を受信することは、レンダリングされるときに、奥行き特性を持つグラフィカルオブジェクトを生成するためのトリガを受信することを有し、
前記適合させることは、前記奥行き特性を前記第２のサブレンジに合わせるために、前記グラフィカルオブジェクトの生成を調節することを有する、請求項１に記載の方法。
【請求項５】
第２の情報がレンダリングされるべきではない期間を検出すること、及び
検出された前記期間において、前記画像の奥行きレンジを前記ディスプレイの奥行きレンジに適合させることを有する、請求項１に記載の方法。
【請求項６】
前記画像情報と前記第２の画像情報との間の視差を増大させるために、前記画像情報をフィルタリングすること、又は、前記第２の画像情報をフィルタリングすることを有する、請求項１に記載の方法。
【請求項７】
前記ディスプレイの奥行きレンジにおいて、特に、追加の画像情報が第３のサブレンジの平面上にレンダリングされるべき２次元情報である場合に、前記追加の画像情報を表示するために、前記第１のサブレンジ及び前記第２のサブレンジとオーバーラップしない前記第３のサブレンジを決定する、請求項１に記載の方法。
【請求項８】
前記画像情報は、ビデオ情報であり、前記第２の画像情報は、グラフィックであり、
前記圧縮することは、前記グラフィックをレンダリングするための前記第２のサブレンジに関する余地を作るために、前記ビデオの奥行きレンジを後方へ移動させることを含む、請求項２に記載の方法。
【請求項９】
ビジュアル情報をレンダリングするデバイスであって、
画像情報を受信するとともに、前記画像情報と組み合わせてレンダリングされるべき第２の画像情報を受信する入力手段と、
３次元空間にレンダリングされるべき出力情報を生成するために、前記画像情報及び前記第２の画像情報を処理する処理手段とを有し、
前記処理手段は、
ディスプレイの奥行きレンジを持つ３Ｄディスプレイ上への表示のための前記出力情報を生成し、
前記画像情報の画像の奥行きレンジを検出し、
前記第２の画像情報の第２の奥行きレンジを検出し、
前記ディスプレイの奥行きレンジにおいて、双方がオーバーラップしない第１のサブレンジ及び第２のサブレンジを決定し、
前記画像の奥行きレンジを前記第１のサブレンジに適合させるとともに、前記第２の奥行きレンジを前記第２のサブレンジに適合させるように設けられる、デバイス。
【請求項１０】
前記入力手段は、光学ディスクから前記画像情報を検索する光学ディスクユニットを有する、請求項９に記載のデバイス。
【請求項１１】
前記ディスプレイの奥行きレンジに沿って前記第２の画像情報と組み合わせて前記画像情報を表示する前記３Ｄディスプレイを有する、請求項９に記載のデバイス。
【請求項１２】
プログラムが、請求項１〜８のうちいずれかに記載の方法をプロセッサに実行させるために動作する、ビジュアル情報をレンダリングするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビジュアル情報をレンダリングする方法であって、画像情報を受信し、画像情報と組み合わせてレンダリングされるべき第２の画像情報を受信し、３次元空間にレンダリングされるべき出力情報を生成するために画像情報及び第２の画像情報を処理することを有する方法に関する。
【０００２】
本発明は、更に、ビジュアル情報をレンダリングするデバイスであって、画像情報を受信し、画像情報と組み合わせてレンダリングされるべき第２の画像情報を受信する入力手段と、３次元空間にレンダリングされるべき出力情報を生成するために画像情報及び第２の画像情報を処理する処理手段とを有するデバイスに関する。
【０００３】
本発明は、更に、ビジュアル情報をレンダリングするためのコンピュータプログラムに関する。
【０００４】
本発明は、３次元（３Ｄ）ディスプレイ上に画像情報にレンダリングする分野に関し、例えば、マルチレンズ状デバイス（multi-lenticular device）のような自動立体視デバイス（auto-stereoscopic device）上にビデオをレンダリングする分野に関する。
【背景技術】
【０００５】
米国特許出願公開第２００６／００３１７７６号明細書は、多重平面（multi-planar）３次元ユーザインタフェースについて述べている。グラフィカルエレメントが３次元空間に表示される。３次元空間の使用は、コンテンツアイテムを表示するための性能を高め、ユーザインタフェースが非選択アイテムをユーザの主要な表示の外へ移動させることを可能にする。画像情報アイテムは、空間中の異なる平面上に表示され得るとともに、オーバーラップし得る。この文献は、２次元ディスプレイスクリーン上に３次元空間を表示することについて述べている。
【０００６】
現在の種々の３Ｄディスプレイシステムは、マルチレンズ状ディスプレイデバイス又は３Ｄプロジェクタシステム（3D beamer system）のような、ユーザに対して認識されたディスプレイの奥行きレンジを含む実際の３Ｄ効果を供するために開発されている。マルチレンズ状ディスプレイは、それぞれが数ピクセルをカバーする微小レンズの表面を持つ。ユーザは、それぞれの目で異なる画像を受け取るだろう。プロジェクタシステムは、スクリーン上に映し出される異なる画像と同期して、目を交互にカバーするグラスを着用することをユーザに要求する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
米国特許出願公開第２００６／００３１７７６号明細書は、２次元ディスプレイスクリーン上にレンダリングされた仮想３次元空間内の平面上にアイテムを表示する例を供している。しかしながら、この文献は、現実の奥行きの３Ｄディスプレイスシステムのオプション、及び、斯様なディスプレイシステム上に種々の画像情報エレメントを表示することについて論じていない。
【０００８】
本発明の目的は、３Ｄディスプレイシステム上に種々のタイプの画像情報の組み合わせをレンダリングするための方法及びデバイスを提供することにある。
【課題を解決するための手段】
【０００９】
この目的のため、本発明の第１の態様によれば、冒頭で述べた方法において、出力情報が、ディスプレイの奥行きレンジ（depth range）を持つ３Ｄディスプレイ上への表示のために設けられ、処理が、画像情報の画像の奥行きレンジを検出すること、第２のビジュアル情報の第２の奥行きレンジを検出すること、ディスプレイの奥行きレンジにおいて、双方がオーバーラップしない第１のサブレンジ（sub-range）及び第２のサブレンジを決定すること、及び、画像の奥行きレンジを第１のサブレンジに適合させるとともに第２の奥行きレンジを第２のサブレンジに適合させること、を有する。
【００１０】
この目的のため、本発明の第２の態様によれば、冒頭で述べたデバイスにおいて、処理手段が、ディスプレイの奥行きレンジを持つ３Ｄディスプレイ上への表示のための出力情報を生成し、画像情報の画像の奥行きレンジを検出し、第２のビジュアル情報の第２の奥行きレンジを検出し、ディスプレイの奥行きレンジにおいて、双方がオーバーラップしない第１のサブレンジ及び第２のサブレンジを決定し、画像の奥行きレンジを第１のサブレンジに適合させるとともに第２の奥行きレンジを第２のサブレンジに適合させるように設けられる。
【００１１】
この手段は、画像情報の各セットが自己の別個の奥行きレンジに割り当てられるという効果を持つ。第１及び第２の奥行きレンジがオーバーラップしないので、より後方（第１）の奥行きのサブレンジの突出エレメントによる前方（第２）の奥行きレンジに配置された画像データ中のエレメントの遮へい（occlusion）が妨げられる。有利には、ユーザは、種々の画像ソースの３Ｄオブジェクトの混同により混乱されない。
【００１２】
また、本発明は、以下の認識に基づいている。種々のソースの３Ｄ画像情報を表示することが、単一の３Ｄディスプレイシステム上に要求され得る。発明者は、種々のエレメントが異なる奥行きを持つ場合に、ディスプレイ上の組み合わせ画像がユーザを混乱させ得ることを見出した。例えば、バックグラウンドにおけるビデオアプリケーションの一部のエレメントが前方に移動して、より前方位置に配置されたグラフィカルエレメントを不意に（部分的に）遮へいし得る。一部のアプリケーションに関して、斯様なオーバーラップは予測可能であるだろうし、種々のエレメントに対する適切な奥行き位置は、斯様なコンテンツをオーサリングしながら調節され得る。しかしながら、発明者は、多くの状況において、予測不可能な組み合わせが表示されてしまうことを見出した。組み合わせた表示に対してサブレンジを決定すること、及び、各ソースに対して非オーバーラップのサブレンジを割り当てることは、異なる奥行きでの異なるソースのエレメントの混同によって混乱することを回避する。
【００１３】
本方法の一実施形態において、適合させることは、第１のサブレンジに合わせるために画像の奥行きレンジを圧縮すること、及び／又は、第２のサブレンジに合わせるために第２の奥行きレンジを圧縮することを有する。これは、オリジナル画像情報の奥行き情報が、削減されたレンジにおける画像情報の各セットに対するオリジナルの奥行き構造を維持しつつ、利用可能なサブレンジに変換されるという利点を持つ。
【００１４】
本方法の一実施形態において、出力情報は、画像データ、及び、奥行き値に応じて３Ｄディスプレイの奥行きの次元に沿って画像データをポジショニングするための奥行きマップを含み、当該方法は、奥行きマップにおいて、奥行き値の第１のサブレンジ及び奥行き値の第２のサブレンジを第１のサブレンジ及び第２のサブレンジとして決定することを有する。これは、サブレンジが、奥行きマップにおける各値のレンジ上に容易にマッピングされ得るという利点を持つ。
【００１５】
本発明によるデバイス及び方法の更に好ましい実施形態が、特許請求の範囲に付与され、これらの開示は参照によりここに組み込まれる。
【００１６】
本発明のこれら及び他の態様は、以下の説明において例示の態様により記載された実施形態及び添付図面を参照して明らかになり説明されるだろう。
【００１７】
図面において、既に説明されたエレメントに対応するエレメントは、同一の参照符号を持つ。
【図面の簡単な説明】
【００１８】
【図１】２Ｄ画像及び奥行きマップの一例を示している。
【図２】ビデオフォーマットにおける４つの平面の一例を示している。
【図３】４つの平面を用いて作成された合成画像の一例を示している。
【図４】圧縮した奥行きを伴うレンダリンググラフィックス及びビデオを示している。
【図５】３Ｄビジュアル情報をレンダリングするシステムを示している。
【発明を実施するための形態】
【００１９】
以下のセクションは、３次元ディスプレイの概略及び人間による奥行きの見識を提供する。３Ｄディスプレイは、奥行きのより鮮明な見識を供し得るという感覚において２Ｄとは異なる。これは、単眼（monocular）の奥行きの手掛かり（cue）及び動きに基づく手掛かりだけを示し得る２Ｄ表示に対して、より奥行きの手掛かりを供することで達成される。
【００２０】
単眼の（又は静止した）奥行きの手掛かりは、単一の目を用いて静止画像から取得され得る。画家は、多くの場合、絵画における奥行きの感覚を作り出すために単眼の手掛かりを用いる。これらの手掛かりは、相対的なサイズ、水平線に対する高さ、遮へい、見識、テクスチャ勾配、及び、光／影を含む。眼球運動（oculomotor）の手掛かりは、視聴者の目の筋肉における張力から得られた奥行きの手掛かりである。目は、目を回転させるため、及び、目のレンズ（eye lens）をストレッチするための筋肉を持っている。目のレンズのストレッチ及びリラックスは、調節（accommodation）と呼ばれ、画像にフォーカスするときに行われる。レンズ筋肉のストレッチ又はリラックスの量は、オブジェクトがどれくらい遠いか又は近いかに関する手掛かりを供する。目の回転は、収束（convergence）と呼ばれる、双方の目が同一のオブジェクトにフォーカスするように行われる。最終的に、運動視差（motion parallax）は、視聴者に近いオブジェクトがより離れたオブジェクトよりも速く動くように見えるという効果である。
【００２１】
両眼視差（binocular disparity）は、双方の目が僅かに異なる画像を見るという事実から得られる奥行きの手掛かりである。単眼の奥行きの手掛かりは、いずれの２Ｄビジュアルディスプレイのタイプであってもよく、及び、当該２Ｄビジュアルディスプレイのタイプにおいて用いられてもよい。ディスプレイにおける両眼視差を再現（re-create）するために、それぞれがディスプレイ上の僅かに異なる画像を見るように、ディスプレイが左側及び右側の目に対して視界を分割し得ることを要求する。両眼視差を再現し得るディスプレイは、３Ｄ又は立体視ディスプレイと称されるだろう特別なディスプレイである。３Ｄディスプレイは、人間の目により実際に把握される奥行きの次元に沿って画像を表示することができ、この文書においてディスプレイの奥行きレンジを持つ３Ｄディスプレイと呼ばれる。それ故、３Ｄディスプレイは、左側及び右側の目に対して異なる視界を供する。
【００２２】
２つの異なる視界を供し得る３Ｄディスプレイは、長い間現存している。これらのほとんどは、左目及び右目の視界を分割するためのグラスを用いることに基づいていた。ディスプレイ技術の進歩で伴う現在において、新規なディスプレイは、グラスを用いることなく立体視（stereo view）を供し得るマーケットに入れられる。これらのディスプレイは、自動立体視ディスプレイ（auto-stereoscopic display）と呼ばれる。
【００２３】
第１のアプローチは、ユーザがグラスなしで立体ビデオ（stereo video）を見ることを可能にするＬＣＤディスプレイに基づいている。これらは、レンズ状スクリーン及びバリア（barrier）ディスプレイの２つの技術のいずれかに基づいている。レンズ状ディスプレイでは、ＬＣＤが水晶体レンズ（lenticular lens）のシートによりカバーされる。これらのレンズは、左側及び右側の目が異なるピクセルから光を受け取るように、ディスプレイからの光を回折する。これは、左目の視界に対するものと右目の視界に対するものとの２つの異なる画像が表示されることを可能にする。
【００２４】
レンズ状スクリーンに代わるものが、ＬＣＤのピクセルからの光を分離するために、ＬＣＤの後方及びバックライトの前方の視差バリアを用いるバリアディスプレイである。バリアは、スクリーンの前方のセット位置から、左目が右目とは異なるピクセルを見るようなものである。バリアディスプレイを伴う問題は、明るさ及び解像度の損失であり、非常に狭い視角でもある。これは、例えば９つの視界及び複数の視界のズームを持つレンズ状スクリーンと比較して、リビングルームＴＶとしての魅力を損なうことになる。
【００２５】
他のアプローチは、高リフレッシュレート（refresh rate；例えば、１２０Ｈｚ）でフレームを表示し得る高解像度プロジェクタ（beamer）と組み合わせてシャッタグラス（shutter-glass）を用いることに依然基づいている。高リフレッシュレートは、シャッタグラスの方法では左目及び右目の視界が交互に表示されるために必要とされる。視聴者がグラスを着用している間、６０Ｈｚで立体ビデオを把握する。シャッタグラスの方法は、高クオリティのビデオ及び大きいレベルの奥行きを可能とする。
【００２６】
自動立体視ディスプレイ及びシャッタグラスの方法は、双方ともに、調節−収束のミスマッチに苦しむことになる。これは、奥行きの量、及び、これらのデバイスを用いて安心して見られ得る時間を制限する。この問題に苦しまないホログラフィック及び体積（volumetric）ディスプレイのような他のディスプレイ技術が存在する。本発明は、奥行きレンジを持ついかなるタイプの３Ｄディスプレイについても用いられ得ることに留意されたい。
【００２７】
３Ｄディスプレイに関する画像データは、電子データ、多くの場合デジタルとして利用可能であることが想定される。本発明は、斯様な画像データに関し、デジタル領域において画像データを操作する。画像データは、ソースから得られたときに、例えば、デュアルカメラを用いることにより、既に３Ｄ情報を含んでいてもよく、あるいは、専用の処理システムが、２Ｄ画像から３Ｄ情報を（再）生成するためにもたらされてもよい。画像データは、スライドのような静止したものであってもよく、あるいは、映画のようなビデオ動画であってもよい。他の画像データは、多くの場合、グラフィカルデータと呼ばれ、格納したオブジェクトとして利用可能であってもよく、あるいは、アプリケーションにより要求されるような同時進行で生成されてもよい。例えば、メニュー、ナビゲーションアイテム又はテキスト及び補助注釈のようなユーザ制御情報が、他の画像データに加えられてもよい。
【００２８】
３Ｄ画像フォーマットと呼ばれるような、立体画像がフォーマットされ得る多くの異なる態様が存在する。一部のフォーマットは、立体情報を伝えるために２Ｄチャンネルの帯域を用いることに基づいている。例えば、左及び右の視界が、飛び越され得るか、あるいは、並列に、並びに上及び下に配置され得る。これらの方法は、立体情報を伝えるために解像度を犠牲にする。他のオプションは、色を犠牲にすることであり、このアプローチは、アナグリフィックステレオ（anaglyphic stereo）と呼ばれる。アナグリフィックステレオは、補足的な色における重ね取り画像を２つに分離して表示することに基づくスペクトル多重（spectral multiplexing）を用いる。カラーフィルタを伴うグラスを用いることにより、それぞれの目は、その目の前方のフィルタとの同一色の画像だけを見る。従って、例えば、右目が赤の画像だけを見るとともに、左目が緑の画像だけを見る。
【００２９】
異なる３Ｄフォーマットは、２Ｄ画像と、２Ｄ画像のオブジェクトの奥行きに関する情報を伝達する奥行きマップと呼ばれる追加の奥行き画像とを用いた２つの視界に基づいている。
【００３０】
図１は、２Ｄ画像及び奥行きマップの一例を示している。左の画像は、多くの場合カラーの２Ｄ画像１１であり、右の画像は、奥行きマップ１２である。２Ｄ画像情報は、いずれかの適切な画像フォーマットで表わされ得る。奥行きマップ情報は、場合によっては２Ｄ画像と比べて削減した解像度で、各ピクセルに対する奥行き値を持つ追加のデータストリームであってもよい。奥行きマップにおいて、グレースケール値は、２Ｄ画像の関連するピクセルの奥行きを示している。白は、視聴者に近いことを示し、黒は、視聴者から遠くの大きい奥行きを示している。３Ｄディスプレイは、奥行きマップからの奥行き値を用いて、要求されたピクセル変形を計算することにより、立体に関して要求された追加の視界を計算し得る。遮へいは、推定又はホールフィルタ技術を用いて解決され得る。
【００３１】
また、ビデオに立体を追加することは、ブルーレイディスクプレイヤ等のプレイヤデバイスから立体ディスプレイに送られるときに、ビデオのフォーマットに影響を与える。２Ｄの場合において、２Ｄビデオストリームだけが送られる（デコードしたピクチャデータ）。現在増加する立体ビデオでは、第２のストリームは、（立体に関する）第２の視界又は奥行きマップを含めて送られなければならない。これは、電子インタフェース上への要求されたビットレートを２倍にし得る。異なるアプローチは、解像度を犠牲にし、第２の視界又は奥行きマップが、２Ｄビデオと並列に組み合わせられ、又は、配置されるように、ストリームをフォーマットすることである。図１は、２Ｄデータ及び奥行きマップを出力するための手法の一例を示している。ビデオ上のグラフィックをオーバーレイするときには、更に分割したデータストリームが用いられ得る。
【００３２】
３Ｄパブリッシングフォーマットは、ビデオだけでなく、サブタイトル、メニュー及びゲームに関するグラフィックも供されるだろう。３Ｄビデオをグラフィックと組み合わせることは、３Ｄビデオバックグラウンドの上に２Ｄメニューを配置することが満足ではない場合に、特別な注意を必要とする。ビデオのオブジェクトは、非常に奇妙な効果を生成するとともに３Ｄの見識を損なう２Ｄグラフィックアイテムをオーバーラップし得る。
【００３３】
図２は、ビデオフォーマットにおける４つの平面の一例を示している。４つの平面は、例えば、ブルーレイディスクフォーマットに基づく、透明性を用いて２Ｄディスプレイ上で用いるために表わされる。代わりに、平面は、３Ｄディスプレイの奥行きレンジに表示されてもよい。第１の平面２１は、視聴者に最も近くに配置され、インタラクティブグラフィックスを表示するために割り当てられる。第２の平面２２は、サブタイトルのようなプレゼンテーショングラフィックスを表示するために割り当てられ、第３の平面２３は、ビデオを表示するために割り当てられ、これに対し、第４の平面２４は、バックグラウンドの平面である。４つの平面は、ブルーレイディスクプレイヤにおいて利用可能であり、ＤＶＤプレイヤは３つの平面を持つ。コンテンツの作者は、バックグラウンド画像の上にメニュー、サブタイトル、及びビデオに関するグラフィックスをオーバーレイし得る。
【００３４】
図３は、４つの平面を用いて生成された合成画像の一例を示している。４つの平面のコンセプトは、図２とともに上記で説明されている。図３は、第１の平面２１上の一部のインタラクティブグラフィックス３２、第２の平面２２上に表示された一部のテキスト３３、及び、第３の平面２３上の一部のビデオ３１を示している。問題は、これらの平面の全てが追加の第３の次元を持つときに生じる。第３の次元"奥行き"は、４つの平面の間で共有されなければならないだろう。また、一の平面におけるオブジェクトは、他の平面上のオブジェクトにはみ出し得る。一部のアイテム、例えば、テキストは、２Ｄにおいて残り得る。サブタイトルに関して、プレゼンテーショングラフィック平面は、２次元を維持することが推定される。３Ｄシーンにおいて２Ｄオブジェクトを組み合わせることは、３Ｄ画像のパーツが２Ｄ画像をオーバーラップするとき、即ち、３Ｄオブジェクトのパーツが２Ｄオブジェクトよりも視聴者に近いときに、奇妙な効果を生じ得るという他の問題を引き起こす。この問題を克服するために、２Ｄテキストは、ディスプレイの前方からの設定距離、設定の奥行きで３Ｄビデオの前方に配置される。
【００３５】
しかしながら、グラフィックスは、２Ｄ及び／又は３Ｄであるだろう。これは、グラフィック平面のオブジェクトが、バックグラウンドの３Ｄビデオの後方又は前方にオーバーラップ及び出現し得ることを意味する。また、ビデオ動画のオブジェクトは、例えばメニューアイテムを遮へいするグラフィックの前方に急に現れ得る。
【００３６】
種々の画像エレメントの組み合わせに基づいて３Ｄ画像情報をレンダリングするシステムは、以下のように設けられる。先ず、システムは、画像情報、及び、画像情報と組み合わせてレンダリングされるべき第２の画像情報を受信する。例えば、種々の画像エレメントは、光学的記録キャリアのような単一のソースから、インターネットを介して、又は、いくつかのソース（例えば、ハードディスク及びローカルに生成された３Ｄグラフィカルオブジェクトからのビデオストリーム、又は、ネットワークを介しての分離した３Ｄエンハンスメントストリーム）から、受信され得る。システムは、ディスプレイの奥行きレンジを持つ３Ｄディスプレイ上の３次元空間においてレンダリングされるべき出力情報を生成するための第２の画像情報と画像情報とを処理する。
【００３７】
種々の画像エレメントの組み合わせをレンダリングするための処理は、以下のステップを含む。画像情報の画像の奥行きレンジは、最初に、例えば、画像情報の３Ｄフォーマットを検出して、対応する画像の奥行きレンジパラメータを検索することにより検出される。また、第２のビジュアル情報の第２の奥行きレンジが検出される（例えば、グラフィックの奥行きレンジパラメータ）。続いて、ディスプレイの奥行きレンジは、同時にレンダリングされるべき画像情報のセットの数に応じて、いくつかのサブレンジに再分割される。例えば、２つの３Ｄ画像情報のセットを表示するために、第１のサブレンジ及び第２のサブレンジが選択される。オーバーラップする３Ｄオブジェクトを伴う問題を未然に防ぐために、第１のサブレンジ及び第２のサブレンジがオーバーラップしないように設定される。続いて、画像の奥行きレンジが第１のサブレンジにレンダリングされ、第２の奥行きレンジが第２のサブレンジにレンダリングされる。３Ｄ画像情報をそれぞれのサブレンジに適合させるために、それぞれの画像データストリームにおける奥行き情報が、それぞれの選択されたサブレンジに合わせるために調節される。例えば、オーバーラップが回避されるまで、第２の情報を構成するグラフィック情報が前方にシフトされる一方で、メインの画像情報を構成するビデオ情報が後方にシフトされる。処理ステップが単一の出力ストリームに対して種々の画像情報のセットを組み合わせてもよいこと、又は、出力データが異なる画像データストリームを持ってもよいことに留意されたい。しかしながら、奥行き情報は、奥行き方向においてオーバーラップしないように調節される。
【００３８】
処理の一実施形態において、適合させることは、第１のサブレンジに合わせるためにメイン画像の奥行きレンジを圧縮すること、及び／又は、第２のサブレンジに合わせるために第２の奥行きレンジを圧縮することを含む。メイン及び／又は第２の画像情報のオリジナルの奥行きレンジは、利用可能なサブレンジよりも大きくなり得ることに留意されたい。そうであれば、一部の奥行き値は、それぞれのレンジの最大値又は最小値にクリップされ得る。好ましくは、オリジナルの画像奥行きレンジは、例えば、合わせるべき奥行きレンジをリニアに圧縮することにより、サブレンジに変換される。代わりに、選択した圧縮は、例えば、フロントエンドを実質的に圧縮しないで維持し、徐々に奥行きを圧縮するように適用され得る。
【００３９】
画像情報及び第２の画像情報は、種々異なるビデオストリーム、静止画像データ、予め規定されたグラフィックス、アニメグラフィックス等を含み得る。一実施形態において、画像情報がビデオ情報であり、第２の画像情報がグラフィックであり、圧縮することは、グラフィックをレンダリングするための第２のサブレンジに関する場所を作るために、ビデオの奥行きレンジを後方へ動かすことを含む。
【００４０】
一実施形態において、出力情報は、図１とともに上記で説明した画像データ及び奥行きマップを含む３Ｄフォーマットによるものである。奥行きマップは、３Ｄディスプレイの奥行きの次元に沿って画像データをポジショニングするための奥行き値を持つ。画像情報を選択サブレンジに調節するために、処理は、奥行きマップにおいて、奥行き値の第１のサブレンジ及び奥行き値の第２のサブレンジを第１のサブレンジ及び第２のサブレンジとして決定することを含む。続いて、画像データは、奥行き値のそれぞれのサブレンジだけをカバーするまで圧縮される。加えて、２Ｄ画像情報は、オーバーレイドされるべき分離したストリームとして含まれてもよく、単一の２Ｄ画像ストリームに既に組み合わせられていてもよい。更に、一部の遮へい情報が、ディスプレイデバイスにおいて種々の視界を計算し得るために出力情報に付加されてもよい。
【００４１】
図４は、圧縮された奥行きを伴うレンダリンググラフィックス及びビデオを示している。図は、矢印４４により示されたディスプレイの奥行きレンジを持つ３Ｄディスプレイを概略的に示している。後方サブレンジ４３は、全体のディスプレイの奥行きレンジの後方部分においてビデオの奥行きレンジを持つ、ビデオをメイン画像情報としてレンダリングするために割り当てられる。前方サブレンジ４１は、全体のディスプレイの奥行きレンジの前方部分において第２の奥行きを持つ、グラフィックを第２の画像情報としてレンダリングするために割り当てられる。画像ディスプレイの前面４２は、種々の（自動）立体視画像が生成される実際の平面を示す。
【００４２】
一実施形態において、処理は、ディスプレイの奥行きレンジにおいて、追加の画像情報を表示するための、第１のサブレンジ及び第２のサブレンジとオーバーラップしない第３のサブレンジを決定することを含む。図４に示され得るように、第３のレベルは、画像ディスプレイの前面４２の周りに配置され得る。特に、追加の情報は、第３のレンジの平面上にレンダリングするための２次元情報、例えば、テキストであってもよい。明らかであるように、前方の画像は、サブレンジ４３においてビデオを見ることを可能にするために、少なくとも部分的に透明であるべきである。
【００４３】
オーソライズされる画像情報に関して、種々の奥行きレンジの調節は、オーソライズの間に達成され得ることに留意されたい。例えば、グラフィック及びビデオの組み合わせに関して、これは、グラフィック及びビデオの奥行きプロファイルを注意深く整列することにより解決され得る。これらのグラフィックは、ビデオレンジとオーバーラップしないプレゼンテーショングラフィックの平面及び奥行きレンジ上にレンダリングされる。しかしながら、メニューのようなインタラクティブグラフィックに関して、これは、どこに及びいつグラフィックがビデオ内に現れるかを事前に知られていない場合にはより難しい。
【００４４】
一実施形態において、第２の画像情報を受信することは、レンダリングされるときに、奥行き特性を持つグラフィカルオブジェクトを生成するためのトリガを受信することを含んでいる。トリガは、プログラム又はアプリケーション、例えば、ゲーム又はインタラクティブ番組により生成され得る。また、ユーザが遠隔制御ユニットのボタンをアクティブにしてもよく、メニュー又はグラフィカルアニメーションがビデオ進行中にレンダリングされる。適合に関する処理は、まさに、グラフィカルオブジェクトを生成するプロセスを調節することを含む。処理は、グラフィカルオブジェクトの奥行き特性がディスプレイの選択サブレンジに合うように調節される。
【００４５】
サブレンジを分離するための画像データの適合は、トリガイベントが開始してから又は終了してからの期間、例えば、ユーザがボタンを押した後の予め決められた期間に発生し得る。同時に、ビデオの奥行きレンジは、フリーの奥行きレンジを生成するために上記に示したように調節又は圧縮され得る。それ故、処理は、第２の情報がレンダリングされるべきではない期間を検出し、検出期間において、画像の奥行きレンジをディスプレイの奥行きレンジに適合させてもよい。画像の奥行きレンジは、他のオブジェクトがレンダリングされてフリーの奥行きサブレンジを要求する必要があるときにダイナミックに変化する。
【００４６】
実用的な実施形態において、システムは、グラフィック平面におけるより奥行きの知覚のための余地を作るために、ビデオ平面の奥行きを自動的に圧縮して、ビデオ平面を後方へ移動させる。グラフィック平面は、オブジェクトがスクリーンの外へ出るように見えるように配置される。これは、グラフフィックに対してより注意を払い、バックグラウンドのビデオにあまり重きを置かない。ユーザが、メニューに一般的に提供しようとするグラフィックス（又はより一般的なユーザインタフェース）をナビゲートすることを容易にする。また、ビデオとグラフィックスとの双方が依然３Ｄであり、これらが、ディスプレイの最大奥行きレンジを同時に利用する場合に、コンテンツの作者に対してできる限り独創的な自由を保護する。
【００４７】
欠点は、スクリーンの更に後方にビデオを配置することが、長時間において体験される場合に視聴者の不快感を生じさせることである。しかしながら、システム等におけるインタラクティブタスクは、多くの場合、非常に短いので、これは、大きな問題をもたらさないだろう。不快感は、収束と調節との間の差分に関連する問題により引き起こされる。収束は、一のオブジェクトを見るために２つの目のポジショニングをすることであり、調節は、画像が網膜上にはっきりと現れるように一のオブジェクトにフォーカスするために眼球レンズを調節することである。
【００４８】
一実施形態において、処理は、画像情報と第２の情報との間の視覚的差分を増加させるために、画像情報をフィルタリングすること、又は、第２の画像情報をフィルタリングすることを含む。ビデオコンテンツの全体に渡ってフィルタを配置することにより、上述した目の不快感が削減され得る。例えば、ビデオのコントラスト又は明るさが削減され得る。特に、詳細のレベルは、ビデオ画像のぶれを生じさせるような、ビデオの高空間周波数をフィルタリングすることにより削減され得る。目は、ビデオではなくメニューのグラフィックス上に自然にフォーカスされるだろう。これは、メニューがディスプレイの前方付近に位置される場合に、目の緊張を削減する。追加の利益は、これがメニューをナビゲートすることについてユーザのパフォーマンスを向上させることである。代わりに、第２の情報、例えば、前方のグラフィックは、例えば、ぼやかすか、又は、透明度を増加させるかにより、見えにくくなってもよい。
【００４９】
図５は、３Ｄビジュアル情報をレンダリングするためのシステムを示している。レンダリングデバイス５０は、矢印４４により示されたディスプレイの奥行きレンジを持つ、３Ｄディスプレイと呼ばれる立体視ディスプレイ５３に結合されている。デバイスは、画像情報を受信するとともに、画像情報と組み合わせてレンダリングされるべき第２の画像情報を受信する入力ユニット５１を持つ。例えば、入力ユニットデバイスは、３Ｄ画像データを含むために拡張されたＤＶＤ又はブルーレイディスクのような光学記録キャリアから種々のタイプの画像情報を検索するための光学ディスクユニット５８を含んでもよい。更に、入力ユニットは、ネットワーク５５、例えば、インターネットに結合するためのネットワークインタフェースユニット５９を含んでもよい。３Ｄ画像情報は、遠隔メディアサーバ５７から検索されてもよい。デバイスは、３次元空間にレンダリングされるべき出力情報５６を生成するための画像情報及び第２の画像情報を処理するための、入力ユニット５１に結合された処理ユニット５２を持つ。処理ユニット５２は、３Ｄディスプレイ５３上への表示のための出力情報５６を生成するように設けられる。処理は、画像情報の画像奥行きレンジを検出すること、及び、第２のビジュアル情報の第２の奥行きレンジを検出することを更に含む。ディスプレイの奥行きレンジにおいて、第１のサブレンジ及び第２のサブレンジは、第１のサブレンジと第２のサブレンジとがオーバーラップしないように決定される。続いて、上記で説明されたように、画像の奥行きレンジが第１のサブレンジに適合され、第２の奥行きレンジが第２のサブレンジに適合される。
【００５０】
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び／又はソフトウェアにおいて実行され得ることに留意されたい。本発明を実行するための方法は、図３及び４を参照してシステムに関して説明されたような処理ステップを持つ。コンピュータプログラムは、各処理ステップに関するソフトウェア機能を持ってもよく、パーソナルコンピュータ又は専用のビデオシステム上で実行されてもよい。本発明は、主に、光学記録キャリア又はインターネットを用いた実施形態により説明されているが、本発明は、オーソリングソフトウェア又はブロードキャスト装置のような、いかなる画像処理環境に対しても適用可能である。更に、アプリケーションは、３Ｄパーソナルコンピュータ（ＰＣ）ユーザインタフェース、又は、３ＤメディアセンタＰＣ、３Ｄモバイルプレイヤ及び３Ｄ携帯電話機を含む。
【００５１】
この文書において、"有する"という用語は、これらに記載されたもの以外の他のエレメント又はステップの存在を除外するものではなく、エレメントにおける単数表記は、斯様なエレメントの複数の存在を除外するものではないこと、いかなる参照符号も、特許請求の範囲を限定するものではないこと、本発明は、ハードウェア及びソフトウェアの双方の態様により実行され得ること、及び、一部の"手段"又は"ユニット"は、ハードウェア又はソフトウェアの同一アイテムにより表わされてもよく、プロセッサは、可能な限りハードウェアエレメントと協働して１又はそれ以上のユニットの機能を満たしてもよいことに留意されたい。更に、本発明は、実施形態に限定されず、本発明は、上述した特徴のありとあらゆる新規な特徴又は組み合わせという点にある。
【図１】
2010505174.tif 000003
【図２】
2010505174.tif 000004
【図３】
2010505174.tif 000005
【図４】
2010505174.tif 000006
【図５】
2010505174.tif 000007
【国際調査報告】
2010505174.tif 000008
2010505174.tif 000009