(57)【要約】  立体ディスプレイ装置上に一次画像及び二次画像を配置する方法が、一次画像及び二次画像の知覚深度を確認するステップと、一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、一次及び二次画像データの少なくとも一方の知覚深度を変換するステップと、立体ディスプレイ上で見たときに、ビューアが、二次画像が立体的に見て完全に一次画像とビューアとの間に位置するように見えるような深度に位置すると知覚する位置に知覚される二次画像を配置するように、一次及び二次画像データの少なくとも一方を変換するステップとを含む。他の実施形態は、この要約書で説明した特徴から逸脱する可能性があるので、この要約書を限定的なものと考えるべきではない。【選択図】図７
2012518368.tif 000002
【特許請求の範囲】
【請求項１】
立体ディスプレイ装置上に一次画像及び二次画像を配置する方法であって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す、少なくとも一方が３次元立体画像データを表す一次及び二次画像データを受信するステップと、
前記一次画像の知覚深度を確認するステップと、
前記二次画像の知覚深度を確認するステップと、
を含み、前記一次画像及び前記二次画像の少なくとも一方の前記知覚深度を確認するステップが、前記一次及び二次画像の少なくとも一方に関連するメタデータを読み取ること、又は前記一次画像及び二次画像データの少なくとも一方の深度分析を行うことのいずれかによって行われ、
前記一次及び二次画像データの少なくとも一方の前記知覚深度を圧縮することにより、前記一次及び二次画像データの少なくとも一方の前記知覚深度を変換するステップと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換するステップと、
をさらに含むことを特徴とする方法。
【請求項２】
前記二次画像がユーザインターフェイスのグラフィクスを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記一次画像データを、前記一次画像の前記知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記二次画像データを、前記二次画像の前記知覚画像をビューアの位置に近くなるようにレンダリングする位置に変換するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記一次及び二次画像の一方に非立体的視覚修正を施すステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記非立体的視覚修正が、前記一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む、
ことを特徴とする請求項５に記載の方法。
【請求項７】
立体ディスプレイ装置上に一次及び二次画像を配置する方法であって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す一次及び二次画像データを受信するステップと、
前記一次画像の知覚深度を確認するステップと、
前記二次画像の知覚深度を確認するステップと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換するステップと、
を含むことを特徴とする方法。
【請求項８】
前記一次及び二次画像データの少なくとも一方が３次元立体画像データを表す、
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記一次画像及び前記二次画像の少なくとも一方の知覚深度を確認するステップが、前記一次及び二次画像の少なくとも一方に関連するメタデータを読み取ることによって行われる、
ことを特徴とする請求項７に記載の方法。
【請求項１０】
前記一次画像及び前記二次画像の少なくとも一方の知覚深度を確認するステップが、前記一次画像及び二次画像データの少なくとも一方の深度分析を行うことによって行われる、
ことを特徴とする請求項７に記載の方法。
【請求項１１】
前記二次画像がユーザインターフェイスのグラフィクスを含む、
ことを特徴とする請求項７に記載の方法。
【請求項１２】
前記一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、前記一次及び二次画像データの少なくとも一方の知覚深度を変換するステップをさらに含む、
ことを特徴とする請求項７に記載の方法。
【請求項１３】
前記一次画像データを、前記一次画像の前記知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換するステップをさらに含む、
ことを特徴とする請求項７に記載の方法。
【請求項１４】
前記二次画像データを、前記二次画像の前記知覚画像をビューアの位置に近くなるようにレンダリングする位置に変換するステップをさらに含む、
ことを特徴とする請求項７に記載の方法。
【請求項１５】
前記一次及び二次の一方に非立体的視覚修正を施すステップをさらに含む、
ことを特徴とする請求項７に記載の方法。
【請求項１６】
前記非立体的視覚修正が、前記一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む、
ことを特徴とする請求項１５に記載の方法。
【請求項１７】
１又はそれ以上のプログラムプロセッサ上で実行されたときに、請求項７に記載の方法を実施する命令を記憶する、
ことを特徴とするコンピュータ可読電子記憶媒体。
【請求項１８】
立体ディスプレイ装置上に一次画像及び二次画像を配置するためのシステムであって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す、少なくとも一方が３次元立体画像データを表す一次及び二次画像データを受信するデマルチプレクサと、
前記一次画像の知覚深度を確認するするとともに前記二次画像の知覚深度を確認する３Ｄ深度アナライザと、
を備え、前記一次画像及び前記二次画像の少なくとも一方の前記知覚深度の確認が、前記一次及び二次画像の少なくとも一方に関連するメタデータをメタデータデータベースから読み取ること、又は前記一次画像及び二次画像データの少なくとも一方の深度分析を行うことのいずれかによって行われ、
前記一次及び二次画像データの少なくとも一方の前記知覚深度を圧縮することにより、前記一次及び二次画像データの少なくとも一方の前記知覚深度を変換する３Ｄ深度スケーラと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換する画像ポジショナと、
をさらに備えることを特徴とするシステム。
【請求項１９】
前記二次画像がユーザインターフェイスのグラフィクスを含む、
ことを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記画像ポジショナが、前記一次画像データを、前記一次画像の前記知覚画像をビューアの位置からさらに離れるようにレンダリングする位置にさらに変換する、
ことを特徴とする請求項１８に記載のシステム。
【請求項２１】
前記画像ポジショナが、前記二次画像データを、前記二次画像の前記知覚画像をビューアの位置に近くなるようにレンダリングする位置にさらに変換する、
ことを特徴とする請求項１８に記載のシステム。
【請求項２２】
前記一次画像に非立体的視覚修正を施して、前記一次画像の強調を視覚的に抑える、
ことを特徴とする請求項１８に記載のシステム。
【請求項２３】
前記非立体的視覚修正が、前記一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む、
ことを特徴とする請求項２２に記載のシステム。
【請求項２４】
立体ディスプレイ装置上に一次画像及び二次画像を配置するためのシステムであって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す一次及び二次画像データを受信するデマルチプレクサと、
前記一次画像の知覚深度を確認するするとともに前記二次画像の知覚深度を確認する３Ｄ深度アナライザと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換する画像ポジショナと、
を備えることを特徴とするシステム。
【請求項２５】
前記一次及び二次画像データの少なくとも一方が３次元立体画像データを表す、
ことを特徴とする請求項２４に記載のシステム。
【請求項２６】
前記３Ｄ深度アナライザが、前記一次及び二次画像の少なくとも一方に関連するメタデータを読み取ることにより、前記一次画像及び前記二次画像の少なくとも一方の知覚深度を確認する、
ことを特徴とする請求項２４に記載のシステム。
【請求項２７】
前記３Ｄ深度アナライザが、前記一次画像及び二次画像データの少なくとも一方の深度分析を行うことにより、前記一次画像及び前記二次画像の少なくとも一方の知覚深度を確認する、
ことを特徴とする請求項２４に記載のシステム。
【請求項２８】
前記二次画像がユーザインターフェイスのグラフィクスを含む、
ことを特徴とする請求項２４に記載のシステム。
【請求項２９】
前記一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、前記一次及び二次画像データの少なくとも一方の知覚深度を変換する３Ｄ深度スケーラをさらに備える、
ことを特徴とする請求項２４に記載のシステム。
【請求項３０】
前記画像ポジショナが、前記一次画像データを、前記一次画像の前記知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換する、
ことを特徴とする請求項２４に記載のシステム。
【請求項３１】
前記画像ポジショナが、前記二次画像データを、前記二次画像の前記知覚画像をビューアの位置に近くなるようにレンダリングする位置にさらに変換する、
ことを特徴とする請求項２４に記載のシステム。
【請求項３２】
前記一次画像に対して非立体的視覚修正を施す、
ことを特徴とする請求項２４に記載のシステム。
【請求項３３】
前記非立体的視覚修正が、前記一次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む、
ことを特徴とする請求項３２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、Ｊｅａｎ−Ｐｉｅｒｒｅ  Ｇｕｉｌｌｏｕに付与された２００９年２月１９日に出願の米国仮特許出願第６１／１５３，７２０号に関するとともにこの優先権の利益を請求するものであり、該特許出願は引用により本明細書に組み入れられる。
【０００２】
〔著作権及び商標表示〕
本特許文書の開示の一部は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。商標は、これらのそれぞれの所有者の所有物である。
【背景技術】
【０００３】
テレビのディスプレイなどのディスプレイ上で、ユーザインターフェイス（ＵＩ）がビジュアルコンテンツと相互作用する方法が多く知られている。例えば、ＵＩをやや透明にして、ビューアがＵＩの下に存在するものを見られるようにすることができ、或いは画面を覆うウィンドウ又はボックス内にＵＩを配置することができる。一般に、ＵＩが存在する場合には、ＵＩは、ユーザがＵＩとコンテンツを両方見ることができるようにする透明な領域を有する。しかしながら、テレビのディスプレイなどが立体表示を表示している際にＵＩをどう取り扱うかに関する問題は、分かる程度まで研究されていない。
【発明の概要】
【課題を解決するための手段】
【０００４】
添付の図面と併せて行う以下の詳細な説明を参照することにより、構成及び動作方法を示す特定の例示的な実施形態、並びに目的及び利点を最も良く理解することができる。
【図面の簡単な説明】
【０００５】
【図１】本発明のいくつかの実施形態による、立体表示パネル上に立体画像を表示した俯瞰図である。
【図２】立体一次画像を２次元二次画像とともに立体表示パネル上に表示した俯瞰図である。
【図３】本発明のいくつかの実施形態による、一次立体画像と、一次画像よりもビューアの近くに配置した２次元二次画像とを立体表示パネル上に表示した俯瞰図である。
【図４】本発明のいくつかの実施形態による、ビューアから離してスケーリングした一次立体画像と、一次画像よりもビューアの近くに配置した２次元二次画像とを立体表示パネル上に表示した俯瞰図である。
【図５】本発明のいくつかの実施形態による、２次元一次画像と、一次画像よりもビューアの近くに配置した２次元二次画像とを立体表示パネル上に表示した俯瞰図である。
【図６】本発明のいくつかの実施形態による、２次元一次画像と、一次画像よりもビューアの近くに配置した３次元二次画像とを立体表示パネル上に表示した俯瞰図である。
【図７】本発明のいくつかの実施形態による処理の実施構成例のフロー図である。
【図８】図７に関連して説明した処理を行うためのシステムの単純化した機能ブロック図である。
【発明を実施するための形態】
【０００６】
本発明は、多くの異なる形の実施形態が可能であるが、このような実施形態の開示は原理の一例として見なすべきであり、図示及び説明する特定の実施形態に本発明を限定することを意図するものではないという理解の下、図面に特定の実施形態を示し本明細書で詳細に説明する。以下の説明では、図面のいくつかの図における同様の、類似の又は一致する部分については同じ参照番号を使用して説明する。
【０００７】
本明細書で使用する「１つの（英文不定冠詞）」という用語は、１又は１よりも多い、と定義される。本明細書で使用する「複数の」という用語は、２又は２よりも多い、と定義される。本明細書で使用する「別の」という用語は、少なくとも第２の又はそれ以上の、と定義される。本明細書で使用する「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」（すなわち包括的な用語）と定義される。本明細書で使用する「結合される」という用語は、必ずしも直接的接続、及び、必ずしも機械的接続を定義するものではないが、「接続される」と定義される。本明細書で使用する「プログラム」又は「コンピュータプログラム」という用語又は類似の用語は、コンピュータシステム上での実行を意図された一連の命令であると定義される。「プログラム」又は「コンピュータプログラム」は、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／ダイナミックロードライブラリ、及び／又はコンピュータシステム上で実行するように設計されたその他の一連の命令におけるサブルーチン、関数、手順、オブジェクト方法、オブジェクト実装を含むことができる。
【０００８】
本明細書で使用する「プログラム」という用語は、第２の文脈（上記の定義を第１の状況とする）で使用することもできる。第２の文脈では、この用語は「テレビ番組」という意味で使用される。この文脈では、この用語は単一のテレビ番組として解釈され、電子番組ガイド（ＥＰＧ）で伝えられるようなあらゆるまとまった一連のオーディオビデオコンテンツを意味するために使用され、このコンテンツが、映画、スポーツイベント、連続番組の一部、ニュース放送などのいずれであるかは関係ない。この用語はまた、電子番組ガイドでは番組として伝えることができないコマーシャルスポット及びその他の番組様のコンテンツを含むと解釈することもできる。
【０００９】
本明細書を通じて、「１つの実施形態」、「いくつかの実施形態」、「ある実施形態」、「ある例」、「ある実施構成」、又は同様の用語への言及は、実施形態又は例又は実施構成に関連して説明する特定の特徴、構造又は特性が、本発明の少なくとも１つの実施形態、例又は実施構成に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態、例又は実施構成について言及するものではない。さらに、上記の特定の特徴、構造又は特性を、１又はそれ以上の実施形態、実施例、及び実施構成にあらゆる好適な態様で制限なく組み合わせることができる。
【００１０】
本明細書で使用する「又は」という用語は包括的なものとして解釈すべきであり、すなわちいずれか１つ又はあらゆる組み合わせを意味する。従って、「Ａ、Ｂ又はＣ」は、「Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、ＡとＢとＣ、のいずれか」を意味する。この定義に対する例外は、要素、機能、ステップ又は行為の組み合わせが何らかの点で本質的に互いに相容れない場合にのみ生じる。
【００１１】
前述したように、テレビのディスプレイなどが立体表示を表示している際にＵＩをどう取り扱うかに関する問題は、分かる程度まで研究されていない。図１に、上から見たものとして考えられるいずれかの適当な設計の立体表示パネル１００を示す。この図では、立体技術を使用することにより、オブジェクトが、オブジェクト１０４のように画面１００の面の向こう側に異なる深度−ｖｅで位置するように見えたり、又は１０８のように画面の前に異なる深度＋ｖｅで位置するように見えたり、或いはオブジェクト１１２のように画面１００の面をまたいで、−ｖｅスケール上のいずれかから＋ｖｅスケール上のいずれかまでの距離に及ぶ深度を有するように見えたりするような錯覚を生み出すことができることを示している。図示のスケールでは、−ｖｅが、ビューアの位置に対して画面１００の面の後ろの空間を表し、＋ｖｅが、ビューアの位置に対して画面１００の前の空間を表す。
【００１２】
上記で確認した問題を解決するために、ＵＩは、コンテンツに干渉しない深度面上に配置される。これを実現するには、コンテンツ内のオブジェクトの深度についての知識がなければならない。後述するように、この深度情報を取得するための方法は少なくとも２つ存在する。
【００１３】
立体表示により生み出される３次元的錯覚を考慮すると、表示画像にユーザインターフェイスを介入させた場合、ユーザが立体ディスプレイ上でＵＩとコンテンツを快適に相互作用させることに問題が生じ得る。図２を参照しながら、３次元画像内の指示した箇所に２次元ＵＩ画像１２０を並置した場合に何が起きるかについて検討する。この場合、オブジェクト１０８及び１１２の深度が、画像内の２次元ＵＩ１２０の見掛け上の位置の境界の上又は下を覆い、或いはこれに交わることが考えられる。これにより、ＵＩが部分的に又は完全に覆い隠されてユーザがＵＩを正しく利用できなくなり、或いは２次元画像と３次元画像の間の相互作用が別様に不便又は不快になってユーザの不満が生じる。
【００１４】
本発明の実施構成に大まかに従う実施形態によれば、図３に示すように、入力画像が、３次元画像のどの部分よりもビューアに近い（＋ｖｅ値が大きな）表示画像の見掛け上の３次元深度内の位置にＵＩ１２０が位置するような画像に常に変換されることを保証することにより、この問題を解決することができる。このことは、いくつかの方法で達成することができる。図３に示すように、３次元画像は変化させずに、ＵＩ１２０の面を３次元画像内の画像よりも近い位置に並置する。しかしながら、これはビューアにとって常に可能又は快適であるとは限らない。
【００１５】
図４に示すように、この問題に対する１つの解決策は、２次元ＵＩの平面を、ビューアが通常見るのに快適な深度位置に配置する一方で、３次元オブジェクトの相対位置を矢印の方向にさらに後方（より負の−ｖｅ）へ動かすことである。この処理の一部として、ビューアから見て最も近いオブジェクトから最も遠いオブジェクトまでのスパンを望むように保持又は圧縮／スケーリングして、画像を説明通りに配置できる画像に変換することができる。１つの実施構成では、最も後方の位置をそのままにして、最も後方の部分の前にある画像要素を比例的に後方へ動かすことによりスケーリングを行うことができる。この場合、最も前の位置を、前に二次画像（ＵＩ）を挿入できるのに十分なだけ後方へ配置し、これに比例して中間のオブジェクトの相対位置をスケーリングする。しかしながら、当業者には、本教示の検討に基づいて他のスケーリング及び圧縮法が浮かぶであろう。
【００１６】
この処理を、図５に示すように、立体表示上に２次元ＵＩとともに表示された２次元画像に使用するように拡張することができる。この場合、３次元コンテンツの場合と同じように、２次元画像１３０よりもユーザに近い３次元的錯覚内の位置に２次元ＵＩ１２０の相対位置を配置することができる。この図には、２次元画像１３０が−ｖｅの深度にあり、ＵＩが＋ｖｅの深度にあるように示しているが、これは単なる例示と考えるべきである。この場合の唯一考慮すべき点は、ＵＩを錯覚内でビデオ画像よりもビューアの近くに配置するという点である。
【００１７】
さらなる例として、図６に示すように、ＵＩを３次元オブジェクトとして、深度に幅があるとともに立体表示パネル１００上に表示された２次元画像１３０の前に位置するＵＩ１４０として表すようにすることができる。１４０のような３次元ＵＩを、１０４、１０８及び１１２を含む画像のような３次元画像の前にも配置できることが明らかであろう。
【００１８】
この解決策を実現するには、コンテンツ内のオブジェクトの深度についての知識がなければならない。この深度情報を取得するための方法は少なくとも２つ存在するが、本発明による実施形態を実現するためのあらゆる適当な方法を使用することができる。
【００１９】
第１の方法によれば、深度情報を、３次元コンテンツを表すデータを含むメタデータとして組み入れることができる。この場合、ディスプレイシステムは、この（グローバルな深度範囲であってもよく、或いはシーンごと、セグメントごと、又はフレームごとのものであってもよい）メタデータを読み取り、最も近いオブジェクトよりもビューアに近い、ＵＩを配置するための深度値を選択するだけでよい。
【００２０】
第２の方法によれば、コンテンツが再生されているときにリアルタイムで、又はコンテンツの深度を求めるためのオフライン処理としてコンテンツの深度を分析するハードウェアベースのシステム又はソフトウェアベースのシステムのいずれかを使用するシステムが配置される。
【００２１】
このようにして、ＵＩ情報などの二次コンテンツを、その深度面が一次コンテンツの最も前の深度面に干渉しないようにして配置することができる。上述したように、一次コンテンツは２Ｄ又は立体のいずれであってもよく、（ＵＩなどの）二次コンテンツも２Ｄ又は立体のいずれであってもよい。一次及び二次コンテンツは、ビデオ、静止画像又はユーザインターフェイス（ＵＩ）とすることができ、これらに制限はない。
【００２２】
このようにして、立体表示上にコンテンツ又はＵＩの相対深度を、様々なコンテンツソース間に深度面の干渉が起きないようにしてこのように配置することができる。上述の実施形態では、深度メタデータ又は計算した深度情報を使用して、立体ディスプレイ上のコンテンツ又はＵＩの相対深度の配置に関する決定を行い、一次コンテンツの深度を圧縮する必要性に関する判定を行う。遷移（オン／オフ又は選択）時には、深度の変化を動的変化とすることができる。
【００２３】
いずれの場合にも、ＵＩを複数のソースビューのためのピクチャインピクチャ（ＰＩＰ）画像に置き換えることができることも想定している。上述したように、立体コンテンツの深度特性を、コンテンツを深度的に後方へ動かしてこのコンテンツの前に他のコンテンツを安全に配置できるように修正することもできる。
【００２４】
ここで図７を参照すると、上述した２つの実施構成のいずれか又は両方を想定した、２０４から開始する処理２００を示している。２０８及び２１２において、一次及び二次コンテンツがそれぞれ受信される。これは、コンテンツの事前受信、又は連続した実質的に並行するフローとすることができる。ＵＩの場合、ディスプレイ装置又は（パーソナルビデオレコーダ（ＰＶＲ）、Ａ／Ｖ受信機、ディスクプレイヤなどの）関連するハードウェアにおいて二次コンテンツが生成される。いずれの場合にも、２１６において、一次コンテンツの深度特性に関する決定が行われる。一次コンテンツが２次元である場合、ほぼ問題なく決定を行うことができるが、そうでない場合、一次コンテンツに関連するメタデータを２２０において単純に読み取る処理、又は２２４において一次コンテンツの分析を行ってその深度を判定することのいずれかによって一次コンテンツの深度を作成することができる。
【００２５】
ディスプレイの画像の特徴を分析することにより、立体表示内のあらゆるコンテンツの深度を確認することができる。立体的錯覚を生み出すために使用する画像を、右眼画像と左眼画像とが同様のものではであるが、深度に相関する空間によって分離されるようにしてディスプレイ上に配置する。画像の色又は偏光を使用して左眼画像と右眼画像の区別を維持し、視聴用眼鏡に対応する色又は偏光を使用して、画像がビューアの眼で分離されたままにする。従って、深度分析は、３次元画像を生成してこれらの画像をディスプレイ上に配置するために使用するものと類似する。画像を画面上の相対位置に配置したものの、フィルタリングする偏光又は色が逆である場合、これらを検出し、逆計算を行って、一次コンテンツ内の最も前にある画像を見つけ出すことができる。
【００２６】
同様に、（ささいな問題でない場合、又はディスプレイにおいて深度を認識又は制御できるように生成されていない場合）２２８において二次コンテンツの深度を決定することができる。この時点で、一次及び二次コンテンツの相対深度が分かり、ディスプレイが、二次コンテンツを一次コンテンツの前にあると思われる位置に単純にシフトする。しかしながら、２３２において、一次コンテンツ、二次コンテンツ又はこれらの両方の深度が深すぎて重複部分が存在する場合、或いは、二次コンテンツを見にくい深度又は快適に使用できない深度に配置する必要が生じる場合、２３６において、一次又は二次コンテンツのいずれか又は両方を深度的にスケーリングし、変換した画像を配置して重複部分をなくすようにすることができる。２３２又は２３６のいずれかにおいてコンテンツに重複部分がなくなると、２４０において、ディスプレイ上に表示するためにコンテンツを提供し、処理は新たなコンテンツを受信したときに２０８へ戻る。
【００２７】
ここで図８を参照すると、上述した処理を行うためのシステム３００の単純化した機能ブロック図を示している。このシステムでは、ケーブル、衛星、電話会社、ビデオディスク又は１又は複数のその他のソースから受信したトランスポートストリーム３０２を３０２として示しており、これがビューアの同調コマンドに基づいてコンテンツを分類するデマルチプレクサ３０６に提供される。３０２を介して受信したコンテンツは、一次コンテンツのみ又は二次コンテンツを含むことができ、立体表示パネルを使用してこれらのいずれかをレンダリングすることができる。上述したように、コンテンツ（一次及び／又は二次）は、コンテンツの深度情報を定義するメタデータを含むことができる。このような場合、このメタデータがメタデータデータベース３１０に記憶される。一次コンテンツ（及び存在する場合には二次コンテンツ）は、深度情報を決定するための分析、又はデータベース３１０に記憶したメタデータからの情報の確認のいずれかを行う３Ｄ深度アナライザ３１４へ送信される。二次コンテンツがＵＩ情報である場合、このＵＩ情報が、（ＵＩが３次元として表される場合には深度情報を含む）ＵＩグラフィクスエンジン３１８から深度アナライザ３１４において受信される。３Ｄ深度アナライザは画像の相対深度を決定して、この画像及び関連する深度を３Ｄ深度スケーラ／コンプレッサ３２２に渡し、ここで、画像の重複を避けるために必要な場合、画像表現を説明通りに配置できる画像に変換するために、一次及び二次画像の一方又は他方又は両方を、知覚されにくい深度を占めるように圧縮又はスケーリングすることができる。次に、画像が一次／二次ポジショナ（画像ポジショナ）３２６に渡され、ここで、二次画像が、３Ｄ画像の知覚深度において一次画像の前（一次画像とビューアの間）に位置するように画像の相対位置が変換される。次に、この結合画像をディスプレイドライバ３３０に渡して立体表示３１０上に表示することができる。
【００２８】
３００に示す機能ブロックでは、一次及び二次画像を互いに干渉しない画像に変換して、二次画像が常に知覚深度内に配置されて一次画像とビューアの間にくるようにするための、ハードウェア機能として、又は１又はそれ以上のプログラムプロセッサ上で実行されるソフトウェア機能として実行できる処理を表すことを意図している。説明した様々な機能は、図示の構成で実行することができ、或いはこの所望の出力を生成するいずれかの方法で組み合わせた様々な機能で制限なく再構成することができる。
【００２９】
上記に加え、ビューアは、立体キューによって取得したものの他に、３次元で見た場合のオブジェクトの深度の手掛かりを取得する。従って、上述した所望の結果を達成するためにオブジェクトを別のオブジェクトの前に立体的に配置することの使用に加え、他の非立体的な視覚的手掛かりを使用して、前方のオブジェクト又は（ＧＵＩからのメニュー選択などの）最も重要なオブジェクトが強調されることを保証するように前方又は後方の画像を修正することができる。このような手掛かりとして、以下に限定されるわけではないが、後方画像の彩度を減じること、後方画像の焦点をぼかすこと、及び後方画像の輝度を下げることが挙げられる。前方画像に反対の効果を加えて、その注目度を強調することもできる。当業者には、本教示の検討に基づいて他のこのような視覚的手掛かりが明らかとなるであろう。
【００３０】
従って、立体ディスプレイ装置上に一次画像及び二次画像を配置する方法は、立体表示パネル上に同時に表示するための一次及び二次画像を表す、少なくとも一方が３次元立体画像データを表す一次及び二次画像データを受信するステップと、一次画像の知覚深度を確認するステップと、二次画像の知覚深度を確認するステップとを含み、一次画像及び二次画像の少なくとも一方の知覚深度を確認するステップが、一次及び二次画像の少なくとも一方に関連するメタデータを読み取ること、又は一次画像及び二次画像データの少なくとも一方の深度分析を行うことのいずれかによって行われ、一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、一次及び二次画像データの少なくとも一方の知覚深度を変換するステップと、立体ディスプレイ上で見たときに、ビューアが、二次画像が立体的に見て完全に一次画像とビューアとの間に位置するように見えるような深度に位置すると知覚する位置に知覚された二次画像を配置するように、一次及び二次画像データの少なくとも一方を変換するステップとをさらに含む。
【００３１】
いくつかの実施構成では、二次画像がユーザインターフェイスのグラフィクスを含む。いくつかの実施構成では、方法が、一次画像データを、一次画像の知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換するステップをさらに含む。いくつかの実施構成では、方法が、二次画像データを、二次画像の知覚画像をビューアの位置に近くなるようにレンダリングする位置に変換するステップをさらに含む。いくつかの実施構成では、方法が、一次及び二次画像の一方に非立体的視覚修正を施すステップをさらに含む。いくつかの実施構成では、非立体的視覚修正が、一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む。
【００３２】
立体ディスプレイ装置上に一次及び二次画像を配置する別の方法は、立体表示パネル上に同時に表示するための一次及び二次画像を表す一次及び二次画像データを受信するステップと、一次画像の知覚深度を確認するステップと、二次画像の知覚深度を確認するステップと、立体ディスプレイ上で見たときに、ビューアが、二次画像が立体的に見て完全に一次画像とビューアとの間に位置するように見えるような深度に位置すると知覚する位置に知覚される二次画像を配置するように、一次及び二次画像データの少なくとも一方を変換するステップとを含む。
【００３３】
いくつかの実施構成では、一次及び二次画像データの少なくとも一方が３次元立体画像データを表す。いくつかの実施構成では、一次画像及び二次画像の少なくとも一方の知覚深度を確認するステップが、一次及び二次画像の少なくとも一方に関連するメタデータを読み取ることによって行われる。いくつかの実施構成では、一次画像及び二次画像の少なくとも一方の知覚深度を確認するステップが、一次画像及び二次画像データの少なくとも一方の深度分析を行うことによって行われる。いくつかの実施構成では、二次画像がユーザインターフェイスのグラフィクスを含む。いくつかの実施構成では、一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、一次及び二次画像データの少なくとも一方の知覚深度を変換するステップをさらに含む。いくつかの実施構成では、方法が、一次画像データを、一次画像の知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換するステップをさらに含む。いくつかの実施構成では、方法が、二次画像データを、二次画像の知覚画像をビューアの位置に近くなるようにレンダリングする位置に変換するステップをさらに含む。いくつかの実施構成では、方法が、一次及び二次の一方に非立体的視覚修正を施すステップをさらに含む。非立体的視覚修正が、一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む。
【００３４】
上述した方法のいずれかは、１又はそれ以上のプログラムプロセッサ上で実行されたときにこのような方法を実施する命令を記憶するコンピュータ可読電子記憶媒体を使用して実施することができる。
【００３５】
立体ディスプレイ装置上に一次画像及び二次画像を配置するためのシステムは、立体表示パネル上に同時に表示するための一次及び二次画像を表す、少なくとも一方が３次元立体画像データを表す一次及び二次画像データを受信するデマルチプレクサを有する。３Ｄ深度アナライザが、一次画像の知覚深度を確認するするとともに二次画像の知覚深度を確認し、一次画像及び二次画像の少なくとも一方の知覚深度の確認が、一次及び二次画像の少なくとも一方に関連するメタデータをメタデータデータベースから読み取ること、又は一次画像及び二次画像データの少なくとも一方の深度分析を行うことのいずれかによって行われる。３Ｄ深度スケーラが、一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、一次及び二次画像データの少なくとも一方の知覚深度を変換する。画像ポジショナが、立体ディスプレイ上で見たときに、ビューアが、二次画像が立体的に見て完全に一次画像とビューアとの間に位置するように見えるような深度に位置すると知覚する位置に知覚される二次画像を配置するように、一次及び二次画像データの少なくとも一方を変換する。
【００３６】
いくつかの実施構成では、二次画像がユーザインターフェイスのグラフィクスを含む。いくつかの実施構成では、画像ポジショナが、一次画像データを、一次画像の知覚画像をビューアの位置からさらに離れるようにレンダリングする位置にさらに変換する。いくつかの実施構成では、画像ポジショナが、二次画像データを、二次画像の知覚画像をビューアの位置に近くなるようにレンダリングする位置にさらに変換する。いくつかの実施構成では、一次画像に非立体的視覚修正を施して、一次画像の強調を視覚的に抑える。いくつかの実施構成では、非立体的視覚修正が、一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む。
【００３７】
立体ディスプレイ装置上に一次画像及び二次画像を配置するためのシステムは、立体表示パネル上に同時に表示するための一次及び二次画像を表す一次及び二次画像データを受信するデマルチプレクサを有する。３Ｄ深度アナライザが、一次画像の知覚深度を確認するするとともに二次画像の知覚深度を確認する。画像ポジショナが、立体ディスプレイ上で見たときに、ビューアが、二次画像が立体的に見て完全に一次画像とビューアとの間に位置するように見えるような深度に位置すると知覚する位置に知覚される二次画像を配置するように、一次及び二次画像データの少なくとも一方を変換する。
【００３８】
いくつかの実施構成では、一次及び二次画像データの少なくとも一方が３次元立体画像データを表す。いくつかの実施構成では、３Ｄ深度アナライザが、一次及び二次画像の少なくとも一方に関連するメタデータを読み取ることにより、一次画像及び二次画像の少なくとも一方の知覚深度を確認する。いくつかの実施構成では、３Ｄ深度アナライザが、一次画像及び二次画像データの少なくとも一方の深度分析を行うことにより、一次画像及び二次画像の少なくとも一方の知覚深度を確認する。いくつかの実施構成では、二次画像がユーザインターフェイスのグラフィクスを含む。いくつかの実施構成では、３Ｄ深度スケーラが、一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、一次及び二次画像データの少なくとも一方の知覚深度を変換する。いくつかの実施構成では、画像ポジショナが、一次画像データを、一次画像の知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換する。いくつかの実施構成では、画像ポジショナが、二次画像データを、二次画像の知覚画像をビューアの位置に近くなるようにレンダリングする位置にさらに変換する。いくつかの実施構成では、一次画像に対して非立体的視覚修正を施す。いくつかの実施構成では、非立体的視覚修正が、一次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む。
【００３９】
当業者であれば、上記教示を検討すれば、上記の例示的な実施形態のいくつかが、プログラムプロセッサの使用に基づくことができると理解するであろう。しかしながら、特殊用途向けハードウェア及び／又は専用プロセッサなどのハードウェア構成要素の同等物を使用して他の実施形態を実施することができるので、本発明はこのような例示的な実施形態に限定されるものではない。同様に、汎用コンピュータ、マイクロプロセッサベースのコンピュータ、マイクロコントローラ、光コンピュータ、アナログコンピュータ、専用プロセッサ、特定用途向け回路及び／又は専用配線論理回路を使用して代わりの同等の実施形態を構築することができる。
【００４０】
本明細書で説明するいくつかの実施形態は、いずれかの適当な電子又はコンピュータ可読記憶媒体上に記憶できる、フロー図の形で広義に上述したプログラミング命令を実行するプログラムプロセッサを使用して実施され又は実施することができる。しかしながら、当業者であれば、本教示を検討すると、本発明の実施形態から逸脱することなく上述の処理をあらゆる数の変形形態で及び多くの適当なプログラミング言語で実施できることを理解するであろう。例えば、多くの場合、本発明のいくつかの実施形態から逸脱することなく、実施されるいくつかの動作の順序を変更することができ、さらなる動作を追加することができ、或いは動作を削除することもできる。本発明のいくつかの実施形態から逸脱することなく、エラー捕捉を追加及び／又は増強することができ、ユーザインターフェイス及び情報提示の変形例を作成することもできる。このような変形例は想定されており、同等物と見なされる。
【００４１】
いくつかの例示的な実施形態について説明したが、当業者には、上述の説明に照らして多くの代替、修正、置換、及び変形が明らかになることが明白である。
【符号の説明】
【００４２】
２００  処理
２０４  開始
２０８  一次コンテンツを受信
２１２  二次コンテンツを受信
２１６  一次コンテンツの深度を決定
２２０  メタデータ
２２４  深度分析
２２８  二次コンテンツの深度を決定
２３２  一次コンテンツの前に二次コンテンツを配置
２３２  重複が存在するか？
２３６  深度をスケーリング／圧縮して重複を解消
２４０  表示
【図１】
2012518368.tif 000003
【図２】
2012518368.tif 000004
【図３】
2012518368.tif 000005
【図４】
2012518368.tif 000006
【図５】
2012518368.tif 000007
【図６】
2012518368.tif 000008
【図７】
2012518368.tif 000009
【図８】
2012518368.tif 000010
【手続補正書】
【提出日】平成23年8月18日(2011.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
立体ディスプレイ装置上に一次及び二次画像を配置する方法であって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す一次及び二次画像データを受信するステップと、
前記一次画像の知覚深度を確認するステップと、
前記二次画像の知覚深度を確認するステップと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換するステップと、
を含むことを特徴とする方法。
【請求項２】
１又はそれ以上のプログラムプロセッサ上で実行されたときに、請求項１に記載の方法を実施する命令を記憶する、
ことを特徴とするコンピュータ可読電子記憶媒体。
【請求項３】
立体ディスプレイ装置上に一次画像及び二次画像を配置するためのシステムであって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す、少なくとも一方が３次元立体画像データを表す一次及び二次画像データを受信するデマルチプレクサと、
前記一次画像の知覚深度を確認するするとともに前記二次画像の知覚深度を確認する３Ｄ深度アナライザと、
を備え、前記一次画像及び前記二次画像の少なくとも一方の前記知覚深度の確認が、前記一次及び二次画像の少なくとも一方に関連するメタデータをメタデータデータベースから読み取ること、又は前記一次画像及び二次画像データの少なくとも一方の深度分析を行うことのいずれかによって行われ、
前記一次及び二次画像データの少なくとも一方の前記知覚深度を圧縮することにより、前記一次及び二次画像データの少なくとも一方の前記知覚深度を変換する３Ｄ深度スケーラと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換する画像ポジショナと、
をさらに備えることを特徴とするシステム。
【請求項４】
前記二次画像がユーザインターフェイスのグラフィクスを含む、
ことを特徴とする請求項３に記載のシステム。
【請求項５】
前記画像ポジショナが、前記一次画像データを、前記一次画像の前記知覚画像をビューアの位置からさらに離れるようにレンダリングする位置にさらに変換する、
ことを特徴とする請求項３に記載のシステム。
【請求項６】
前記画像ポジショナが、前記二次画像データを、前記二次画像の前記知覚画像をビューアの位置に近くなるようにレンダリングする位置にさらに変換する、
ことを特徴とする請求項３に記載のシステム。
【請求項７】
前記一次画像に非立体的視覚修正を施して、前記一次画像の強調を視覚的に抑える、
ことを特徴とする請求項３に記載のシステム。
【請求項８】
前記非立体的視覚修正が、前記一次及び二次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む、
ことを特徴とする請求項７に記載のシステム。
【請求項９】
立体ディスプレイ装置上に一次画像及び二次画像を配置するためのシステムであって、
立体表示パネル上に同時に表示するための一次及び二次画像を表す一次及び二次画像データを受信するデマルチプレクサと、
前記一次画像の知覚深度を確認するするとともに前記二次画像の知覚深度を確認する３Ｄ深度アナライザと、
前記立体ディスプレイ上で見たときに、ビューアが、前記二次画像が立体的に見て完全に前記一次画像と前記ビューアとの間に位置するように見えるような深度に位置すると知覚する位置に前記知覚された二次画像を配置するように、前記一次及び二次画像データの少なくとも一方を変換する画像ポジショナと、
を備えることを特徴とするシステム。
【請求項１０】
前記一次及び二次画像データの少なくとも一方が３次元立体画像データを表す、
ことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記３Ｄ深度アナライザが、前記一次及び二次画像の少なくとも一方に関連するメタデータを読み取ることにより、前記一次画像及び前記二次画像の少なくとも一方の知覚深度を確認する、
ことを特徴とする請求項９に記載のシステム。
【請求項１２】
前記３Ｄ深度アナライザが、前記一次画像及び二次画像データの少なくとも一方の深度分析を行うことにより、前記一次画像及び前記二次画像の少なくとも一方の知覚深度を確認する、
ことを特徴とする請求項９に記載のシステム。
【請求項１３】
前記二次画像がユーザインターフェイスのグラフィクスを含む、
ことを特徴とする請求項９に記載のシステム。
【請求項１４】
前記一次及び二次画像データの少なくとも一方の知覚深度を圧縮することにより、前記一次及び二次画像データの少なくとも一方の知覚深度を変換する３Ｄ深度スケーラをさらに備える、
ことを特徴とする請求項９に記載のシステム。
【請求項１５】
前記画像ポジショナが、前記一次画像データを、前記一次画像の前記知覚画像をビューアの位置からさらに離れるようにレンダリングする位置に変換する、
ことを特徴とする請求項９に記載のシステム。
【請求項１６】
前記画像ポジショナが、前記二次画像データを、前記二次画像の前記知覚画像をビューアの位置に近くなるようにレンダリングする位置にさらに変換する、
ことを特徴とする請求項９に記載のシステム。
【請求項１７】
前記一次画像に対して非立体的視覚修正を施す、
ことを特徴とする請求項９に記載のシステム。
【請求項１８】
前記非立体的視覚修正が、前記一次画像の一方の焦点をぼかすこと、彩度を減じること、輝度を下げることのうちの少なくとも１つを含む、
ことを特徴とする請求項１７に記載の方法。
【国際調査報告】
2012518368.tif 000011
2012518368.tif 000012