(57)【要約】      （修正有）【課題】複数の異なる表示内容タイプを表示可能なディスプレイと、対応するソフトウエア／ハードウエアとを提供し、また、あるディスプレイタイプのために設計された視覚的効果及び画像を他のディスプレイタイプで表示するための改善された手段を提供する。【解決手段】第１表示内容タイプ４の入力画像３に関係する入力画像データ２を操作して、表示システム７ａ、７ｂ、７ｃで表示するための第２表示内容タイプ６における出力画像５を生成する方法であり、第２表示内容タイプ６を特定するメタデータ１０を取り出すことと、内容エンジン１を使用してメタデータ１０を処理し、そして、入力画像データ２を操作して、出力画像５を生成することとを含む。内容エンジン１は、表示システム７ａ、７ｂ、７ｃ上での出力画像５を生成するためのデータ信号１１を出力する。関連するコンピュータシステム、ソフトウエア及び表示システムも組み入れられている。【選択図】図１
2010271673.tif 000002
【特許請求の範囲】
【請求項１】
第１表示内容タイプの入力画像に関係する入力画像データを操作して、表示システムにおける表示のために、第２表示内容タイプの出力画像を生成するための方法であって、前記方法は以下を含む：
○前記第２表示内容タイプを特定するメタデータを引き出すこと；
○内容エンジンを使って、前記メタデータを処理し、前記入力画像データを操作して、前記出力画像を生成すること；
ここで、前記内容エンジンは、前記表示システムでの前記出力画像を生成するためにデータ信号を出力する。
【請求項２】
第１表示内容タイプの入力画像に関係する入力画像データについての画像データ操作を実行して、表示システムでの表示のために第２表示内容タイプの出力画像を生成するための内容エンジンを含むコンピュータソフトウエアであって、前記内容エンジンは、以下を含むコンピュータ読み取り可能な命令として実装されている：
−一つ又は複数の画像データ操作アルゴリズムであって、以下を実行可能なもの：
○前記入力画像データと、前記第２表示内容タイプを特定するメタデータとを処理すること、及び
○前記表示システムでの表示のために前記出力画像を生成するためのデータ信号を生成すること。
【請求項３】
第１表示内容タイプに関係する入力画像データを操作して、表示システムでの表示のために第２表示内容タイプの出力画像を生成するためのコンピュータシステムであって、前記コンピュータシステムは、以下を含む：
−バスによりプロセッサに接続されたシステムメモリ、ここで、このシステムメモリは、前記入力画像データを操作できる内容エンジンを提供する命令を記憶するものであり、そして
ここで、前記内容エンジンは、メタデータと前記入力画像データとを受け取るように構成されており、前記メタデータは、前記第２表示内容タイプを特定し、前記内容エンジンは、前記メタデータを処理し、かつ、前記入力画像データを操作して、前記表示システムでの表示のために前記出力画像を生成するためのデータ信号を生成するようになっている。
【請求項４】
好ましくは、前記第１及び第２の表示内容タイプは、以下の表示内容タイプから選ばれる：
−２Ｄ；
−深さマップを持つ２Ｄ；
−３Ｄオブジェクトデータ；
−立体視；
−多層；
−強調された色及び／又はコントラスト。
【請求項５】
多層表示（MLD）システムであって、以下を含む：
−少なくとも第１及び第２の表示層、ここで、それぞれは、第１及び第２の複数のピクセルをそれぞれ用いて画像を表示可能となっており、前記第１表示層は、前記第２表示に重畳しており、かつ、実質的に透明とされうる少なくとも一部分を有しており、これにより、見る者は、前記重畳した第１表示層を透過して見ることができ、前記第２表示層を視認できるようになっており、そして
−第１表示内容タイプに関係する入力画像データを操作して、前記MLDシステムでの表示のために第２表示内容タイプの出力画像を生成するためのコンピュータシステム、ここで、前記コンピュータシステムは、以下を含む：
○プロセッサに接続されたメモリ、ここで、前記メモリは、前記入力画像データを操作できる内容エンジンを提供する命令を記憶する、
ここで、前記内容エンジンは、以下のように構成されている：
・メタデータと前記入力画像データとを受け取る、ここで、前記メタデータは、前記第２表示内容タイプを特定する、
・前記メタデータを処理し、前記入力画像データを操作して、前記MLDシステムで表示するために前記出力画像を生成するためのデータ信号を生成する。
【請求項６】
多層表示（MLD）システムであって、ここでは、前記MLDシステムは、異なる表示内容タイプにおける少なくとも二つの画像を同時に表示することができるようになっている。
【請求項７】
本発明の他の側面では、第１の表示内容タイプの入力画像に関係する入力画像データを操作して、表示システムで表示するために第２表示内容タイプの出力画像を生成する方法が提供され、ここにおいて、前記方法は、プロセッサに接続されたメモリを有するコンピュータシステムを使用しており、そしてここにおいて、前記メモリは、コンピュータで読み取り可能な命令を記憶しており、この命令は以下を提供する：
○前記入力画像データに関係するメタデータを作り出すことができる開発環境、そして
○前記入力画像データを操作できる内容エンジン、
前記方法は以下を含む：
○前記入力画像データに関係するメタデータを作り出すこと、ここで、前記メタデータは、前記第２表示内容タイプを特定する；
○前記メタデータと前記入力画像データとを取り出すこと；
○前記内容エンジンを使って、前記メタデータを処理し、そして、前記入力画像データを操作して、前記出力画像を生成すること；
ここで、前記内容エンジンは、前記表示システムでの前記出力画像を生成するためのデータ信号を出力する。
【請求項８】
第１表示内容タイプの入力画像についての入力画像データに関係するメタデータを作り出すための開発環境を含むコンピュータソフトウエアであって、前記メタデータは、表示システムで表示されるべき出力画像のための第２表示内容タイプを特定しており、前記開発環境は、コンピュータ読み取り可能な命令として実装されており、さらに、以下を含んでいる：
−前記入力画像あるいはその一部のために前記第２表示内容タイプを特定するユーザ入力を受け取ることができるユーザインタフェース；
−メタデータをエンコードするアルゴリズム、これは、前記第２表示内容タイプについてのユーザの特定に基づいて前記メタデータを作り出すために実行可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示のための、改善された方法及びシステムに関するものである。
【０００２】
本発明は、表示のための一の表示内容タイプを、他の表示内容タイプとして表示するために、画像を操作する方法及びシステムにも関係する。
【背景技術】
【０００３】
グラフィカル画像及び／又はテキストを表示するための電子的ディスプレイ技術は劇的に発展しており、より現実的で双方向的なディスプレイを求める幅広いユーザの要求に応えてきている。異なる能力を持つ幅広いディスプレイ技術が利用可能となっており、それは以下を含む：
・陰極線管（CRT）
・双安定ディスプレイ（Bistable display）
・電子ペーパー
・ニキシー管ディスプレイ（Nixie tube displays）
・ベクター・ディスプレイ
・フラットパネル・ディスプレイ
・真空蛍光ディスプレイ（VF）
・発光ダイオード（LED）ディスプレイ
・ELD
・プラズマ・ディスプレイ・パネル（PDP）
・液晶ディスプレイ（LCD）
＊HPAディスプレイ
＊薄膜トランジスタディスプレイ（TFT）
・有機発光ダイオード・ディスプレイ（OLED）
・表面電動型電子放出素子（SED）（実験的）
・レーザTV（将来的）
・カーボン・ナノチューブ（実験的）
・ナノクリスタル・ディスプレイ（実験的）、ここでは、量子ドットが用いられて、鮮やかで柔軟なスクリーンを作ることができる。
【０００４】
この技術を用いて強調された視覚効果を得るために、さらなる改良が行われている。例えば、立体視（stereoscopic）及び多層ディスプレイ（MLD）である。立体視及び自動立体視ディスプレイは、見る者の左及び右の目に、僅かに異なる視覚画像を提供して、人間の視覚システムにおける両眼能力を用いることによって、３Ｄ画像の外観を提供する。
【０００５】
MLDシステムは、重ねられた配置状態において互いに平行とされ、かつ、物理的に互いに離間されている多層スクリーンを用いる。各スクリーンは、画像を表示することができる。このように、物理的間隔あるいは「深さ」によって離間されている多数の画像を、あるディスプレイに表示することができる。PCT公開番号WO99142889は、そのようなMLDを開示している。そこでは、ユーザにより近いスクリーン（複数でもよい）に表示される画像の背後において、見る者から最も遠い背景スクリーンに、ある深さにおいて表れる画像を表示することによって、深さが生成される。MLD、特に、公開されているPCT特許公開番号WO1999/042889及びWO1999/044095を利用したものの利点は、従来の単一焦点面ディスプレイ（SLD）に比較したときのその優れた能力によって、次第に広く知られ、そして、受け入れられてきている。
【０００６】
MLDの利点は、液晶ディスプレイ（LCD）を用いるディスプレイに特に関連するが、MLDは、他のディスプレイ技術を用いて構成することが可能であり、例えば、LCDである前方スクリーンを、OLEDである後方スクリーンの手前に重ねることができる。
【０００７】
コンピュータのモニタで使われる液晶ディスプレイには、パッシブ・マトリックスとアクティブ・マトリックスという二つの主なタイプがある。パッシブ・マトリックス液晶ディスプレイは、単一のグリッドを用いて、ディスプレイ上の特定のピクセルに対して電荷を供給する。グリッドを生成することは、基板と呼ばれる二つのガラス層から始まる。一方の基板には、欄（columns）が与えられ、他方には行（rows）が与えられるのであり、これらは透明な導電性材料から構成される。これは、通常は、酸化インジウムスズ（indium tin oxide）である。行又は欄は、電荷が送られたときに特定の欄又は行を制御する集積回路に接続される。液晶材料は、二つのガラス基板の間に挟まれており、そして、偏光フィルムが各基板の外側に追加される。
【０００８】
ピクセル（pixel）は、スクリーン上の、あるいはメモリに格納された画像における最小の分解可能領域（smallest resolvable area of image）として定義される。白黒の画像における各ピクセルは、それ自体の輝度（brightness）として、黒のための０から、白のための最大値（例えば８ビットピクセルのための２５５）までを持つ。カラー画像では、各ピクセルは、それ自体の輝度と、赤、緑、青の強度の三つ組みによって通常は表される色とを持つ。ピクセルをオンに変えるために、集積回路は、ある基板における正しい欄と、他方における正しい列において活性化されたグラウンドとに電荷を送り込む。この列と欄とは、指定されたピクセルにおいて交差し、そして、そのピクセルにおける捩れていない（untwist）液晶に電圧が供給されている。
【０００９】
パッシブ・マトリックス・システムは、著しく遅い応答時間及び不正確な電圧制御という明らかな欠点を持つ。応答時間は、表示される画像を更新するための液晶ディスプレイの能力に関係する。不正確な電圧制御は、パッシブ・マトリックスが一度に一つのピクセルのみを光らせるという能力を妨げる。非捩れの一つのピクセルに電圧が印加されているとき、それの周囲のピクセルも部分的に非捩れとなり、このことは、画像の表示を曖昧にし、そして、コントラストを不足させる。アクティブ・マトリックスの液晶ディスプレイは、薄膜トランジスタ（TFT）に依存する。薄膜トランジスタは、微小なスイッチング・トランジスタ及びキャパシタである。それらは、ガラス基板において、マトリックスとして配置される。
【００１０】
特定のピクセルを扱うために、適切な列のスイッチがオンとされ、そして、正しい欄に電荷が送り込まれる。この欄が交差する他の全ての列はオフとされており、指定されたピクセルにおけるキャパシタだけが電荷を受け取る。キャパシタは、次の更新サイクルまで電荷を保持することができる。そして、液晶に供給される電圧量が注意深く制御されるなら、所定量の光を通過させるに十分なだけ、ねじれを戻すことができる。この動作を、非常に正確に、しかも小さい増分で行うことにより、液晶ディスプレイは、グレースケールを作り出すことができる。
【００１１】
現在の多くのディスプレイは、ピクセル当たりで２５６段階の輝度を提供することができる。色を表現できる液晶ディスプレイは、赤、緑、青の色フィルタを持つ三つのサブピクセルを持っており、各色ピクセルを作り出すことができる。印加される電圧についての、慎重な制御及び変化により、各サブピクセルの光強度は、２５６以上の濃淡の範囲で変化できる。サブピクセルを組み合わせることにより、１６８０万色の可能なパレット（赤についての２５６の濃淡×緑における２５６の濃淡×青における２５６の濃淡）を提供することができる。液晶ディスプレイは、液晶技術におけるいくつかの変形を使っており、それは、例えば超捩れネマティック、デュアルスキャン・捩れネマティック、強誘電性液晶、表面安定化の強誘電性液晶を含む。それらは、それらが反射的なものとされているときには、周辺の光を使って光ることができ、透過的であるときは背景光を使って光ることができ、背景から照明されてかつ反射的であることもでき、このときはトランスフレクティブ（半透過型：transflective）と呼ばれる。
【００１２】
また、有機発光ダイオードのような発光技術や、さらには、画像を網膜の後ろに直接投射する技術も存在しており、これらは、液晶ディスプレイと同様に扱われる。これらの装置は、以下においては、LCDパネルとして記述される。
【００１３】
しかしながら、立体視及びMLDディスプレイのための表示内容を含む表示内容タイプを受け入れることは、特定の表示タイプに適した特製のコンピュータソフトウエアや表示コントローラが必要であるために、難しいものとなっていた。例えば、特別に設計されたソフトウエアとハードウエアコントローラを使うMLDを持つユーザは限られるであろう。MLDソフトウエアとコントローラは、他の表示内容のタイプを正確に表示することができないからである。一方、MLDソフトウエアとコントローラは、MLD特有に作られているので、MLDのために設計された画像は、一般には、SLDあるいは両眼立体視ディスプレイ上では正確に表示されない。
【００１４】
したがって、複数の異なる表示内容タイプを表示可能なディスプレイと、対応するソフトウエア／ハードウエアとを提供することは、有効である。
【００１５】
また、あるディスプレイタイプのために設計された視覚的効果及び画像を他のディスプレイタイプで表示するための改善された手段を提供することは有効である。
【００１６】
本発明の一つの目的は、前記した目的に対応することであり、少なくとも、公衆に対して有用な選択を提供することである。
【００１７】
理解されることとして、「含む」という用語は、多様な管轄地において、排他的あるいは包含的な意味を持ちうる。この明細書のためには、特に注記しない限り、「含む」という用語は、包含的な意味を持つものとする。つまり、この言葉は、直接に参照された要素のみではなく、特定されない要素あるいはエレメントをも包含する意味で用いる。この理論は、方法あるいはプロセスにおける一つあるいはそれ以上のステップに関して、用語「含まれた」あるいは「含まれている」が使われるときにおいても同様である。
【００１８】
本発明におけるさらなる側面及び利点は、単に例示として用いられている以下の記述から明らかとなるだろう。
【発明の開示】
【００１９】
明細書全体にわたって、下記の用語例が用いられ、そして、各用語が意図する意味が以下に記載される。
【００２０】
ここで使用されるように、下記の意味は以下のように理解される：
・「画像（image）」は、様々な視覚的効果を指しており、グラフィカルな画像、オブジェクト、テキスト、パターン、シンボル、デザイン、シャドーあるいは他の視覚的効果を含む。
・「画像データ」は、画像又はその一部についてのアスペクト、ファセット（facet）あるいはパラメータを特定する様々な情報あるいはデータを指しており、たとえば、位置、サイズ、形状、向き、色（colour）、コントラスト、輝度、強度、色調（hue）、位置、シェーディング、深さ、あるいは他のアスペクト・ファセットあるいはパラメータである。
・「操作している（manipulating）」、「操作する」及び「操作」は、画像についての変換、複製（duplication）、解釈（interpretation）、処理、消去、複写（copying）、スプライシング、インターレーシング、転送、送信、運搬、及び／又は、再編集を含む。
・「表示内容タイプ（display content type）」は、表示される画像についての表示内容のタイプを指しており、例えば、立体視（stereoscopic）、２Ｄ、３Ｄ、深さの手がかりを持つ２Ｄ、MLD効果、ステレオスコピック、自動立体視（auto-stereoscopic）、ホログラフィック、あるいは表示内容についての他のタイプである。
・「表示システム（display system）」は、視認できる画像を生成可能な一つあるいはそれ以上の電子的表示層を含む様々な表示システムを指しており、例えば、陰極線管（CRT）、液晶ディスプレイ（LCD）、有機発光ダイオード（OLED）、発光ダイオード（LED）、プラズマ表示パネル（PDP）、表面伝導型電界放出ディスプレイ（SED）、レーザTV、あるいは他の既知のあるいは将来の表示技術で構成された一つ又はそれ以上の表示層を含む。
【００２１】
本願発明の一側面によれば、第１の表示内容タイプにおける入力画像に関連する入力画像データを操作する方法が提供され、これにより、表示システムで表示するための第２の表示内容タイプにおける出力画像を生成することができる。前記方法は以下を含む：
１．前記第２の表示内容タイプを特定するメタデータを引き出すこと；
２．内容エンジン（content engine）を用いて前記メタデータを処理し、そして、前記入力画像データを操作して前記出力画像を生成すること；
ここで、前記内容エンジンは、前記表示システムでの前記出力画像を生成するためのデータ信号を出力する。
【００２２】
好ましくは、前記方法はコンピュータシステムを用いる。このコンピュータシステムは、バスでプロセッサに接続されたシステムメモリを有する。ここで、このシステムメモリは、コンピュータが読み取り可能な命令を格納する。この命令は、前記入力画像を操作し、そして前記データ信号を出力するために、前記内容エンジンを提供するものである。
【００２３】
前記の方法は、第２表示内容タイプと、そして、表示システム上でどのように画像が表示されることが意図されているかとを特定するメタデータを用いることによって、一つの表示内容タイプにおける入力画像を、他の表示内容タイプにおける出力画像に変換するための手段を提供する。第２表示内容タイプは、第１画像（その後に出力画像として表示されるもの）に適用されて、娯楽、品質強調、情報伝達あるいは他の目的のために視覚的外観を変更するための視覚的効果でありうる。見る者は、前記の方法を用いて、あるタイプの表示システムにより、他のタイプの表示システムのために設計された内容を見ることができる。例えば、２Ｄディスプレイのために設計された２Ｄ画像を、MLD上での多層画像として見ることが可能である。
【００２４】
好ましい実施形態では、第１及び第２の表示内容タイプは異なるけれども、理解されるべきこととして、ある応用においては、第１画像は、変更なしで表示されることが必要かもしれない。例えば、第１画像は、表示システム上で立体画像として表示されるべき立体画像でありうる。このような応用においては、内容エンジンは、好ましくは、第１及び出力画像が同じ表示内容タイプとなるように、つまり、第１及び第２の表示内容タイプが同じであるように、入力画像データを操作することが可能である。ある好ましい実施形態では、前記内容エンジンは、次のように構成されることもできる。すなわち、メタデータを受け取らない場合は、前記内容エンジンは、前記第１表示内容タイプにおける前記出力画像を生成する。他の好ましい実施形態では、メタデータは、出力画像が前記入力画像と同じ表示内容タイプであるべきことを指定することができる。前記内容エンジンは、前記第１表示内容タイプにおける前記出力画像を生成するように構成される。
【００２５】
前記した入力及び出力画像が単数形で参照されているときにおいても、理解されるべきこととして、複数の入力及び出力画像を使用することが可能である。
【００２６】
本発明における他の側面によれば、コンピュータソフトウエアが提供される。このコンピュータソフトウエアは、第１表示内容タイプにおける入力画像に関係する入力画像データについての画像データ操作を実行するための内容エンジンを含む。これにより、表示システムでの表示のために、第２表示内容タイプにおける出力画像を生成することができる。前記内容エンジンは、以下を含むコンピュータ可読な命令として実装される：
−一つ又は複数の画像データ操作アルゴリズムであって、以下を実行できる：
○前記入力画像データ、及び、前記第２表示内容タイプを特定するメタデータを処理すること、そして
○前記表示システムでの表示のための前記出力画像を生成するために、データ信号を生成すること。
【００２７】
好ましくは、メタデータは、前記第２表示内容タイプを特定しており、これにより、内容エンジンは、出力画像を備えたデータ信号を生成するために、対応する画像データ操作アルゴリズムを実行することができる。メタデータは、特定の第２表示内容タイプ及び／又は入力画像についての特定の操作への参照を含むことにより、第２表示内容タイプを「特定する」ことができる。例えば、ある好ましい実施形態では、メタデータは、ピクセルを、左／右、及び／又は、前方／後方ピクセルとして指定することができる。したがって、内容エンジンは、入力画像を、左／右、及び／又は、前方／後方ピクセル群（pixel groups）に分割して、出力画像データ信号を生成することができる。
【００２８】
使用されるメタデータは、第１及び第２の表示内容タイプのそれぞれの組み合わせによって変化し、第２表示内容タイプと第１表示内容タイプとは、それぞれ、異なった方法で操作される。例えば、多層の「出力画像」として表示されるべき２Ｄの入力画像は、立体視の出力画像として表示されるべき多層の入力画像とは異なる方法で操作される。
【００２９】
好ましくは、前記第１表示内容タイプは、以下の表示内容タイプの一つ又は複数を含む：
−２Ｄ；
−深さマップを有する２Ｄ
−３Ｄオブジェクトデータ；
−多層（Multi-Layered）；
−立体視（stereoscopic）；
−強調された色及び／又はコントラスト；
好ましくは、前記第２表示内容タイプは、以下の表示内容タイプの一つ又は複数を含む：
−２Ｄ；
−深さマップを有する２Ｄ
−３Ｄオブジェクトデータ；
−多層（Multi-Layered）；
−立体視（stereoscopic）；
−強調された色及び／又はコントラスト；
これらの表示内容タイプについてはここで記述される。
【００３０】
好ましくは、前記内容エンジンは、前記第１及び第２の表示内容タイプについての少なくとも一つの組み合わせ、より好ましくはそれぞれの組み合わせのための前記画像データ操作アルゴリズムを含む。
【００３１】
好ましくは、前記内容エンジンは、自動的に表示システムのタイプを検出し、それに応じて、適切な画像データ操作アルゴリズムを走らせるハードウエア特定アルゴリズムを含む。
【００３２】
２Ｄあるいは２次元画像は、ありふれた表示内容タイプであり、それは、表示層に２Ｄ画像を表示する。典型的な表示層に２Ｄ画像を形成するための画像データは、画像を形成する特定のピクセルと、これらのピクセルについての視覚的特徴、例えば色、輝度などとを含む。
【００３３】
２Ｄ画像は、画像に適用される「深さの手がかり（depth cues）」を有することができ、これにより、深さの外観（appearance of depth）を与えることができる。このような深さの手がかりは、例えば、シェーディング、遠近法（perspective）、モーションパララックス（motion parallax）、相対的なサイズ、オクルージョン（重畳する画像が重畳される画像を妨害すること）、「距離フォグ（distance fog）」、テクスチャの変化（texture gradients）などを含むことができる。理解されるべきこととして、「２Ｄの深さの手がかり」についてのここでの言及は、見る者に深さの認識を提供する全ての可能な２Ｄ効果を包含しており、そして、前記に限定されるものとして理解されてはならない。画像に適用される深さの手がかりは、「深さマップ（depth map）」を形成し、それは、画像の各部における見かけ上の深さ（apparent depth）についての２Ｄマップを提供する。
【００３４】
入力画像データは、特定の画像部分についての、例えばｘ，ｙ座標データなどの２Ｄ情報だけでなく、深さ情報（ｚデータ）をも含む３Ｄオブジェクトデータの形態で提供されうる。
【００３５】
３Ｄオブジェクトデータは、例えば、３Ｄ画像についてのボクセル情報（voxel information）を含むことができる。３Ｄオブジェクトは、前記した深さの手がかり（depth cue）のような３Ｄシミュレーション技術を用いて、従来の２Ｄ表示スクリーンに表示することができる。
【００３６】
上記したように、MLDは、少なくとも第１及び第２の表示層を含んでおり、それらはいずれも、第１及び第２の複数ピクセルをそれぞれ用いて、画像を表示することができる。前記第１表示層は、前記第２表示層に重畳しており、そして、実質的に透明とされうる部分を少なくとも有しており、見る者は、前記重畳した第１表示層を通して眺めることができ、これにより、前記第２表示層を見ることができる。
【００３７】
明確さのために、第１及び第２の表示層は、以下において「前方（front）」及び「後方（rear）」表示層としてそれぞれ参照される。しかしながら、理解されるべきこととして、MLDは、二つより多い表示層を含むことができ、したがって、「前方」及び「後方」という言及は、制約的なものと見なされてはならない。さらに、「前方」及び「後方」表示層で表示される特定の画像は、同様な視覚的効果を達成するために交換可能である。例えば、強調された色及び／又はコントラストであってかつMLDで表示される立体視の表示内容タイプについての「前方」及び「後方」画像は、交換可能であり、そのとき、同様な視覚的効果を達成することもできる。
【００３８】
したがって、多層の表示内容タイプは、複数の重畳した層における重畳した画像を表すために使用できる。ディスプレイに表示された画像は物理的に分離されているので、前方表示層の画像は、後方表示層の画像よりも、見る者に接近している。このような複数層の画像の効果に加えて、MLDを使うことで得られる多数の、例えば以下を含む視覚的効果が存在する、：
・複数層のグラフィカル・ユーザ・インタフェース（GUI）、ここでは、GUIにおける異なるパーツが異なる表示層に表示される；
・先進的な白色シルエッティング（Advanced White Silhouetting: AWS）、これは、ニュージーランド特許出願番号No. 570812に記述されている；
・前方又は後方の有色なシルエットについてのアルファ混合（alpha blending）を用いる全体的な不透明さの制御、これは、WO2007/040413に記述されている；
・２Ｄ変化混合（Gradient Blending）、これは、前方及び後方表示層に２Ｄ画像の部分を表示することを含み、これにより、重畳した部分、すなわち、二つの層の間においての画像の「混合」を生成することができる。前方及び後方表示層の間で画像が分割される比率は、変化（gradient）を規定する。
・３Ｄ変化混合、これは、深さ情報（ｚ軸）を用いる視覚的効果を意味する深さの融合（Depth Fusion）を提供し、「融合」、すなわち、前方及び後方表示層の間で連続的に延ばされたように見える体積オブジェクト（volume object）を表示することができる。深さの融合については、PCT公開番号WO03/040820に記述されている；
・「ジャンプする（Jumping）」、これは、後方層から前方層に及び／又はその逆に（あるいは繰り返して）画像を動かすことを含んでおり、これにより、ユーザの注意を画像に引きつけることができる。このことはWO2003/023491においてさらに記述されている。
・遠近の（Perspective）「ジャンプする」、これは、上記したジャンプの技術を含む。ただし、ここでは、層間において、直接に重畳している場所でないところに画像を動かす。すなわち、画像は、遠近（perspective）を提供する角度で他の層に移動する。これにより、層の間の深さを強調することができる；
・明確な分割（Clear Split）、ここでは、異なる表示層における画像は、重畳していない；
・分離した画像の重畳（Separate Image Overlays）、ここでは、例えば、注釈（annotation）あるいは他の説明（descriptor）が、他方の表示層の画像に重畳している；
・視認できるMLD領域を覆うこと（Masking visible MLD Area）、これは、視覚的外観を提供する表示システム上の複数層の画像における局所化された領域を提供することを含み、これらの領域は、ディスプレイにおける残りの部分よりも「深い（deeper）」；
・重ねられた歪み効果（Layered Distortion Effects）、これは以下を含む：
○レンズ効果；
○魚眼レンズ；
○拡大効果；
○反射及びシャドーイング（Reflections and Shadowing）；
・重ねられたパーティクル効果（Layered Particle Effects）、ここでは、小さいピクセル画像が、前方及び／又は後方の表示層にわたって分散され、これにより、表示される画像についての、強調された認知される体積的な外観を提供することができる；
・暗示的な体積技術（Suggestive Volume Techniques）、これは、通常の深さの手がかり（例えばシェーディング）を、重ねることと組み合わせて使うことを含み、これにより、より大きな深さ認知を伝えることができる；
・強調された色及び／又はコントラストの制御、これは、WO2004/002143に記載されている；
・マルチビュー（Multi view）、ここでは、前方及び後方の表示層上に画像が表示される。これらは、異なる視野角（viewing angles）からのみ視認可能とされる。このことは、PCT公開番号WO/2004/036286に記載されている。
【００３９】
ある実施形態においては、LCDパネルを使用するMLDは、前方及び後方の偏光子（polarizers）を有する後方表示パネルを有することができる。ここで、前方表示パネルは、前方の偏光子のみを持つことができる。この構成は、前方の層が後方の偏光子をも有していて出力画像におけるネガティブを生じるものに比較すると、ディスプレイを通過する間の光の損失を減らすことができる。補償のために、表示コントローラは、出力画像におけるネガティブを、前方表示パネルに供給することができ、その結果としての画像は、ポジティブな画像となる。しかしながら、このようなディスプレイのために生成されるネガティブな画像は、そのような後方偏光子を持たない他のMLDシステムにおいては、正確な表示を行わないかもしれない。
【００４０】
内容エンジンは、入力画像データを操作するために実行可能な「画像反転（image inversion）」という画像データ操作アルゴリズムを好ましくは含み、これにより、入力画像のネガティブである出力画像を生成することができる。内容エンジンは、このような「画像反転」の画像データ操作アルゴリズムを実行することができ、ここでは、表示システムは、ポジティブ／ネガティブの入力画像についての、ネガティブ／ポジティブの出力画像を生成することができる。
【００４１】
理解されることとして、これらの視覚効果のいずれについても、この明細書のためには、表示内容タイプであると見なすことができる。しかしながら、明瞭さを助けて冗長さを避けるために、「多層（Muti Layered）」という用語は、このような視覚的効果を集合的に含めるために用いられる。
【００４２】
立体視ディスプレイの内容タイプは、３次元（３Ｄ）のオブジェクトを見る者の左及び右の目で通常見えるであろう異なる見え方に対応して互いに僅かに異なる２次元（２Ｄ）の画像の組を用いることによって、深さについての錯覚を作り出す。左及び右の目の画像における要素の各部における相違に応じて、画像における異なる部分は、異なる深さにあるように見える。
【００４３】
画像の組における相違を、下記に例示する様々な方法で作り出すことができる：
・色アナグリフ（colour anaglyph）、これは、画像におけるある部分が左目で見られるべきか右目で見られるべきかに応じて、画像を異なる色に着色する。この方法では、見る者は、左及び右の目のために補い合う色フィルタを有する眼鏡を装着する必要がある；
・偏光フィルタ、これは、左及び右の目の画像に対応して、光を偏光させる。見る者は、左及び右の目の画像に対応する左及び右の目の偏光レンズを有する眼鏡を装着する。
【００４４】
好ましくは、立体視表示内容タイプは、自動立体視表示内容タイプである。自動立体視ディスプレイでは、レンチキュラ・レンズやパララックス・バリヤを用いて、左及び右の目の要素を僅かに異なる角度に分割するので、見る者は、眼鏡を装着する必要がない。パララックス・バリヤあるいはマスクを、インターレース化された画像を覆うように配置することができ、これにより、左目画像が右目に入らないように光を阻止し、あるいは逆にすることができる。
【００４５】
理解されるべきこととして、ここでの「立体視」への言及は、自動立体視を含み、逆も同様である。
【００４６】
MLD表示システムでは、パララックス・バリヤとして前方又は後方の表示層を用い、そして、後方又は前方表示層に、インターレース化された画像をそれぞれ表示することによって、画像を、立体視表示内容タイプとして表示することができる。異なる視野角において、後方／前方層での画像の左右の部分への光を選択的に阻止する前方／後方表示層のピクセルによって、パララックス・バリヤを構成することができる。後方ディスプレイは、「光バリヤ」として構成されることもできる。これは、前方のパララックス・バリヤと同様な効果を得ることができるけれども、前方及び後方の表示層の間にある拡散層（diffusion layer）に依拠しており、それは、結果としての画像についての少ない拡散をもたらすことができ、したがって、明瞭さを改善することができる。
【００４７】
前方及び後方表示層における分離の程度は、後方表示層からの光の偏向（light divergence）についての既定の角度のために、左及び右の画像要素の間における角度に影響する。偏向の角度（angle of divergence）は、立体視表示システムについての「最適の」見る位置に影響する。つまり、ここでは、見る者は、左及び右の目の画像要素が、見る者の左及び右の目を横切るように配置される。この「最適の」見る位置は、パララックス／光バリヤの厚さ及び位相差と、表示層の間の間隔と、インターレース化された画像についての左及び右の目の要素の間隔により決定される。したがって、あるＭＬＤシステムのために設計された立体視画像は、表示層間の間隔が異なるMLDシステムでは、正確には表示されないかもしれない。したがって、ある好適な実施形態では、前記内容エンジンは、前方及び後方表示層の間における空間的な分離を特定するMLDデータと、出力画像における左及び右の目の要素の間の間隔を特定する出力の間隔データとを処理するために実行可能な「ステレオ−間隔（stereo-spacing）」の画像データ操作アルゴリズムを含む。このようなステレオ−間隔の画像データ操作アルゴリズムは、表示層の間の既定の間隔のために、左及び右目の画像要素の間の間隔を最適化するための手段を提供する。
【００４８】
強調された色及び／又はコントラストは、比較可能な単一の画像よりも高い（higher）、色の全域（colour gamut）及び／又はコントラストを達成するMLDシステムを使った技術を参照する。
【００４９】
MLDシステムにおいては、前方及び後方の画像は、MLDにおける第１及び前方の表示層にそれぞれ表示される。
【００５０】
色を改善するために、後方の画像は、前方の画像の複製として表示されるが、黒のピクセルは有しておらず、そして、「ぼかされて（blurred）」おり、これによって、干渉効果を減らしている。見る者に提示される出力画像は、「強調された」レベルの色を有する単一の画像のように見える。なぜなら、見る者は、いずれも着色された二つの類似したピクセルを効果的に通過してきた光によって構成された単一の画像を見るからである。コントラストを改善するために、背景画像は、前方画像についてのグレースケールの複製として表示される。このため、結果としての画像は、「強調された」レベルのコントラストを持つ単一画像として見える。これらの両方の効果を、前方画像についての、グレースケールとぼけが組み合わされた有色の「コピー」表示することにより組み合わせることができ、これにより、強調された色及び／又はコントラストを達成できる。
【００５１】
強調された色及び／又はコントラストの技術を、二つの重畳した表示層を有する多層ディスプレイにおいて使うことができ、そしてこれを使って、前記したMLD表示内容タイプにおける出力画像の色及び／又はコントラストを強調することができる。
【００５２】
本発明における他の側面によれば、第１表示内容タイプに関係する入力画像データを操作するためのコンピュータシステムが提供され、表示システムでの表示のための第２表示内容タイプについての出力画像を生成することができる。前記コンピュータシステムは以下を含む：
−バスによりプロセッサに接続されたシステムメモリ、ここで、システムメモリは、前記入力画像を操作できる内容エンジンを提供する命令を格納する、そして
ここで、前記内容エンジンは、メタデータと前記入力画像データとを受け取るように構成されている。前記メタデータは、前記第２表示内容タイプを特定している。前記内容エンジンは、前記メタデータを処理し、そして前記入力画像データを操作する。これにより、前記表示システムで表示するための前記出力画像を生成するためのデータ信号を生成することができる。
【００５３】
本発明のさらに他の側面によれば、以下を含む表示システムが提供される：
−画像を表示することができる表示層；
−前記したようなコンピュータシステム、
ここで、前記コンピュータシステムは、前記入力画像データ及び前記メタデータを処理して、前記表示層で表示するための前記出力画像を生成するためにデータ信号を生成できるようになっている。
【００５４】
好ましくは、前記表示システムは、以下に示す表示内容タイプのいずれかとして、前記出力画像を表示できるようになっている：
−２Ｄ；
−深さマップを有する２Ｄ；
−３Ｄオブジェクトデータ；
−立体視（stereoscopic）；
−多層（Multi Layered）；
−強調された色及び／又はコントラスト；
さらに好ましい実施形態では、前記表示システムは、少なくとも二つの前記表示内容タイプの、より好ましくは全ての前記表示内容タイプの出力画像（単数又は複数）を表示することが可能となっている。
【００５５】
表示システムに特有に設計された各画像の画像データを要求せずに、前記した表示システムを用いて、多様な、異なる表示内容タイプの画像を表示することができる。したがって、表示システムを用いて、異なる表示内容タイプのために設計された画像を表示することができる。
【００５６】
好ましくは、表示システムは、表示内容タイプが異なる少なくとも二つの画像を同時に表示することができる。
【００５７】
好ましい実施形態においては、表示システムは、あらゆるタイプの表示システムであってよく、例えば、単層ディスプレイ（SLD）、立体視ディスプレイ、体積ディスプレイ（volumetric display）あるいは他の３Ｄディスプレイである。しかしながら、理解されることとして、そのような多くの表示システムは、前記した表示内容タイプの全てを表示する能力を一般には持たない。したがって、好ましい実施形態においては、前記した表示システムは、少なくとも第１及び第２の表示層を含む多層ディスプレイ（MLD）である。前記第１表示層は、前記第２表示層に重畳しており、そして、実質的に透明とされうる部分を少なくとも有している。これにより、見る者は、前記重畳した第１表示層を透過して見る（look through）ことができ、前記第２表示層を視認することができる。
【００５８】
好ましくは、前記第１及び第２の表示層は、第１及び第２の複数のピクセルをそれぞれ備えており、これらの第１及び／又は第２の複数のピクセルにおける少なくともいくつかを用いて画像を表示できる。
【００５９】
さらなる実施形態においては、表示システムは、表示層（単数又は複数）をさらに備えることができ、第２表示層は、このさらなる表示層に重畳することができる。
【００６０】
したがって、前記したMLDシステムを用いて、多様で異なる表示内容タイプのそれぞれの画像を、MLDシステムのために特に設計された各画像についての画像データを要求することなしに、表示することができる。したがって、MLDシステムを使って、異なる及び／又は通常の表示内容タイプ、例えば立体視、２Ｄあるいは模擬的３Ｄ（simulated 3D image）の画像のために設計された画像を表示することができる。さらに、MLDシステムは、好ましくは、前記した表示内容タイプの全てにおいて、画像を同時に表示することができるようになっており、これによって、MLDシステムは、２Ｄあるいは立体視画像しか一般には表示できない通常の単層ディスプレイよりも強調された視覚効果を与えることができる。
【００６１】
好ましくは、前記MLDシステムは、少なくとも二つの前記表示内容タイプの画像を同時に表示することができる。
【００６２】
本発明の他の側面によれば、以下を含む多層ディスプレイ（MLD）システムが提供される：
−少なくとも第１及び第２の表示層、ここで、これらは、第１及び第２の複数のピクセルをそれぞれ用いて画像を表示することができるようになっており、前記第１表示層は、前記第２表示層に重畳しており、かつ、実質的に透明とされうる部分を少なくとも有しており、これによって、見る者は、前記重畳した第１表示層を通して見ることができ、したがって、前記第２表示層を視認できるようになっており、そして
−第１表示内容タイプに関連する入力画像データを操作して、MLDシステムでの表示のために、第２表示内容タイプにおける出力画像を生成するためのコンピュータシステム、前記コンピュータシステムは以下を含む：
○プロセッサに接続されたメモリ、ここで、メモリは、前記入力画像データを操作することができる内容エンジンを提供するための命令を記憶する、
ここで、前記内容エンジンは、以下のように構成されている：
・メタデータと前記入力画像データとを受け取る、ここで、前記メタデータは、前記第２表示内容タイプを特定する、
・前記メタデータを処理し、そして、前記入力画像データを操作することによって、前記MLDシステムでの表示のために前記出力画像を生成するために、データ信号を生成する。
【００６３】
好ましくは、前記MLDシステムは、後述する表示内容タイプの一つとして、より好ましくは全てとして、前記出力画像を表示できるようになっている：
−２Ｄ；
−深さマップを有する２Ｄ；
−３Ｄオブジェクトデータ；
−立体視；
−多層；
−強調された色及び／又はコントラスト；
好ましくは、前記MLDシステムは、少なくとも二つの異なる表示内容タイプを、より好ましくは全ての表示内容タイプを同時に表示することができるようになっている。従来技術の表示システム、例えば２Ｄ、立体視、あるいは従来のMLDシステムは、単一の表示内容タイプ、例えば２Ｄ、立体視及びMLD表示内容タイプのそれぞれしか一般には表示できない。したがって、前記したMLDシステムが、一つより多い表示内容タイプの、好ましくは記載した全ての表示内容タイプの画像を同時に表示できるので、このMLDシステムはかなり広く受け入れられるものであり、そして、従来の表示システムに比べて、見る者に、改善された視覚体験を提供する。
【００６４】
好ましくは、内容エンジンは、前記メタデータを処理して、前記表示システムで読み取り可能な形態での前記データシグナルを出力できるハードウエア抽象化レイヤ（HAL）を備えているか、あるいはそれによって実装されており、これによって、前記出力画像を表示できるようになっている。メタデータは、第２表示内容タイプと必要な操作とを特定しているので、使用される特定のディスプレイタイプと入力画像データとの間のインタフェースとして、入力画像データの形態やディスプレイタイプとは関係なく、HALが動作できる。
【００６５】
好ましくは、前記MLDシステムにおける内容エンジンは、前記HALを含むあるいはそれで実装される。前記HALは、前方及び後方の表示層でそれぞれ表示するための前方及び後方の画像で構成される出力画像を生成する。そして、前記HALは、前記メタデータを処理して、前記入力画像データの要素を、前記メタデータで特定されているように、前記前方及び後方画像に分離するように構成されている。メタデータは、どの画像あるいは画像部分が第１及び第２の表示層のいずれにおいて表示されるかを特定しているので、HALは、異なるタイプのMLDシステム、例えば、異なる表示層間隔、深さ、偏光子、ディフューザ構成、あるいは表示層の関係を持つものにおいて画像を正しく表示するために使用可能である。
【００６６】
好ましくは、HALは、以下を実行できる画像データ操作アルゴリズムの一つ又は複数を含む：
−以下を受け取ること
○第１ハードウエアパラメータを有する第１MLDシステムでの表示のために構成された画像に関係する画像データ、そして
○第２ハードウエアパラメータを有する第２ＭＬＤシステムについてのハードウエアパラメータ情報、ここで、前記第２ハードウエアパラメータは、前記第１ハードウエアパラメータとは異なっている、そして
−前記画像を前記第２MLDシステムで表示するために、前記画像データを処理すること。
【００６７】
好ましくは、前記ハードウエアパラメータは、以下の内の一つあるいは複数を含む：
●表示層の間の間隔；
●表示層による光拡散のレベル；
●表示層（単数又は複数）を通過するときの偏光；
●表示層（単数又は複数）における色プロファイル；
●表示層が、端部接続（end on end）、又は、近接（side by side）として取り扱われているかどうか；
●表示層が、二つの分離したディスプレイ、あるいは、一つの組み合わされたディスプレイとして取り扱われているかどうか。
【００６８】
MLDシステムは、前記したパラメータの一つ以上においてしばしば異なっており、集合的なパラメータセット（少なくとも二つの前記パラメータを含むもの）が、ハードウエア「プロファイル」として参照されてもよい。このハードウエア・プロファイルは、所定のMLDシステムについての特定の特徴を記述する。したがって、さらなる実施形態では、画像データ操作アルゴリズムの一つ又は複数は、以下を実行可能となっている：
−以下を受け取ること
○第１ハードウエアプロファイルを有する第１MLDシステムでの表示のために構成された画像に関連する画像データ、そして
○第２ハードウエアプロファイルを有する第２MLDシステムについてのハードウエア・プロファイル情報、ここで、前記第２ハードウエアプロファイルは、前記第１ハードウエアプロファイルとは異なっている、そして
−前記第２MLDシステムで前記画像を表示するために前記画像データを処理すること。
【００６９】
したがって、HALは、特定のハードウエア（そのために入力画像データが設計されたもの）から入力画像データを効果的に「切り離す（de-couple）」ことができる。
【００７０】
好ましくは、前記HALは、ディスプレイシステムのタイプを自動的に検出して適切な画像データ操作アルゴリズムを走らせるハードウエア特定アルゴリズムを含む。
【００７１】
操作
多様な第１表示内容タイプの例と、それぞれについての、第２表示内容タイプの出力画像を生成するために内容エンジンで実行される入力画像データ操作の好ましい実施形態とを、表１に示す。
【００７２】
【表１】
2010271673.tif 000003
【００７３】
本発明におけるさらに他の側面では、第１表示内容タイプの入力画像に関係する入力画像データを操作する方法が提供され、これにより、表示システムで表示するための第２表示内容タイプの出力画像を生成できる。ここで、前記方法は、プロセッサに接続されたメモリを有するコンピュータシステムを使用する。またここで、メモリは、メタデータを作り出せる開発環境（development environment）を提供する、コンピュータ読み取り可能な命令を格納する。前記方法は以下を含む：
−前記入力画像データに関係するメタデータを作り出すこと、ここで、前記メタデータは、前記第２表示内容タイプを特定する。
【００７４】
本発明のさらなる側面では、第１表示内容タイプの入力画像に関連する入力画像データを操作する方法が提供され、これにより、表示システムで表示するための第２表示内容タイプの出力画像を生成できる。前記方法は、プロセッサに接続されたメモリを有するコンピュータシステムを用いる。ここで、メモリは、以下を提供するコンピュータ読み取り可能な命令を記憶する：
○前記入力画像データに関連するメタデータを作成できる開発環境、及び
○前記入力画像データを操作できる内容エンジン、
ここで、前記方法は以下を含む：
３．前記入力画像データに関係するメタデータを作成すること、ここで、前記メタデータは、前記第２表示内容タイプを特定している；
４．前記メタデータ及び前記入力データを取り込むこと；
５．前記内容エンジンを使って、前記メタデータを処理し、そして、前記入力画像データを操作して、前記出力画像を生成すること；
ここで、前記内容エンジンは、前記表示システムでの前記出力画像を生成するためのデータ信号を出力する。
【００７５】
本発明における他の側面によれば、第１表示内容タイプの入力画像における入力画像データに関係するメタデータを作成するための開発環境を含むコンピュータソフトウエアが提供される。ここで、前記メタデータは、表示スクリーンに表示されるべき出力画像のための第２表示内容タイプを特定する。前記開発環境は、コンピュータ読み取り可能な命令において実装されており、以下を含む：
−前記入力画像あるいはその一部のための前記第２表示内容タイプを特定するユーザ入力を受け取り可能なユーザインタフェース；
−メタデータをエンコードするアルゴリズム（a metadata encoding algorithm）、これは、前記第２表示内容タイプについてのユーザの特定に基づいて前記メタデータを作成するために実行可能である。
【００７６】
好ましくは、メタデータをエンコードするアルゴリズムは、各表示内容タイプのために、どのように入力画像データが処理されて前記出力画像を生成するかを特定するメタデータを作成することができる。開発環境は、ユーザが必要とする第２表示内容タイプと、表示システムを見る者に提示される出力画像に適用される視覚的効果とを指示することによってメタデータを作成するための手段を、ユーザに提供することができる。
【００７７】
好ましくは、前記開発環境は、前記第１表示内容タイプを自動的に指示するための、表示内容タイプ指示（indication）アルゴリズムを含む。ユーザは、第２表示内容タイプを特定するだけでよく、そして、メタデータをエンコードするアルゴリズム（単数又は複数）は、その表示内容タイプのための正しいメタデータを作り出す。代替可能な実施形態では、ユーザは、第１表示内容タイプを、前記ユーザインタフェースを介して手動で特定することができ、メタデータをエンコードするアルゴリズム（単数又は複数）は、表示内容タイプのために正しいメタデータを作成する。
【００７８】
好ましくは、前記内容エンジン及び／又は開発環境は、コンピュータで読み取り可能な媒体に記憶される。
【００７９】
本発明のさらなる側面によれば、前記したコンピュータシステムで生成されたデータ信号が提供される。
【００８０】
本発明のさらなる側面によれば、表示システムに画像を表示する方法が提供される。前記方法は以下を含む：
−前記内容エンジンで生成された前記データ信号を受け取ること、そして
−前記第２表示内容タイプにおける前記出力画像を表示するために、前記表示システムを操作すること。
【図面の簡単な説明】
【００８１】
本発明におけるさらなる側面は、後の記述から明らかとなるが、この記述は、単なる例として示されており、そしてこれは、下記の添付図面を参照している：
【図１】図１は、画像データを操作する方法についての概略的な手順の図を示している。
【図２ａ−ｄ】図２ａ−ｄは、MLDで表示可能な異なる表示内容タイプのいくつかについての説明図をそれぞれ示している。
【図３ａ−ｄ】図３ａ−ｄは、SLDで表示可能な異なる表示内容タイプのいくつかについての説明図をそれぞれ示している。
【図４ａ−ｄ】図４ａ−ｄは、３Ｄ（立体視）表示システムで表示可能な異なる表示内容タイプのいくつかについての説明図をそれぞれ示している。
【図５】図５ａは、本発明における好ましい一実施形態による、二つの重畳した表示層を備えたMLDシステムを示している。  図５ｂは、要素画像（Constituent images）を表示するための非重畳の表示層を有する、図５ａのMLDシステムを示している。
【図６】図６は、図５のMLDシステムで表示される入力−出力画像についての異なる組み合わせの表を示している。
【発明を実施するための最良の形態】
【００８２】
図１を参照して、本発明における好ましい一実施形態による操作方法が提供される。この方法は、コンピュータシステム（図示せず）上で動作するコンピュータソフトウエアにより実行される。このシステムは、プロセッサに接続されたメモリを有しており、このメモリ中にソフトウエアが格納される。
【００８３】
前記ソフトウエアは、第１表示内容タイプ（４）の入力画像（３）に関係する入力画像データ（２）についての画像データ操作を実行するための内容エンジン（１）を含み、表示システム（７ａ，７ｂあるいは７ｃ）で表示するための第２表示内容タイプ（６）の出力画像（５）を生成できるようになっている。内容エンジン（１）は、画像データ操作アルゴリズム（８）を含むコンピュータ読み取り可能な命令において実装されている。そしてこれは、入力画像データ（２）と入力画像データ（２）に関連するメタデータ（１０）を処理するために実行可能である。そして、メタデータ（１０）は、第２表示内容タイプ（６）を特定するものである。内容エンジン（１）は、表示システム（７ａ，７ｂ又は７ｃ）での表示のために出力画像（５）を生成するためのデータ信号（１１）をも生成する。表示システム（７ａ，７ｂ，７ｃ）の表示コントローラ（１２ａ，１２ｂ，１２ｃ）は、データ信号（１１）を受け取り、表示システム（７ａ，７ｂ，７ｃ）上で出力画像（５）を描写する。代替的に、内容エンジン（１）は、表示システム（７ａ，７ｂ，７ｃ）のための表示コントローラ（１２ａ，１２ｂ，１２ｃ）を含む、あるいは、それとして動作することができる。
【００８４】
メタデータ（１０）を生成するために、開発環境（１３）が提供される。この開発環境（１３）は、典型的には、内容エンジン（１）に対する独立のソフトウエアモジュールとして提供され、そして、第２表示内容タイプ（６）（入力画像（３）がそれとして表示されるべきもの）を特定するユーザ入力を受け取り可能なユーザインタフェース（１４）を含む。開発環境（１３）のユーザは、開発環境（１３）中において、ユーザインタフェース（１４）を介して、現存する入力画像（３）を使用し、あるいは、入力画像データ（２）を作り出すことができる。
【００８５】
開発環境（１３）は、メタデータをエンコードするアルゴリズム（１５）をも有し、これは、第２表示内容タイプ（６）についてのユーザ特定（user specification）に基づいてメタデータ（１０）を作り出すために実行可能である。
【００８６】
開発環境（１３）は、「画像ファイル」（１６）を出力し、これは、典型的には、入力画像データ（２）と、エンコードされたメタデータ（１０）とを含む。画像ファイル（１６）は、実行可能なスクリプトを含むこともでき、あるいは、そのような実行可能なスクリプトと並行して内容エンジンに送られることもできる。ここで、内容エンジンは、入力画像データ（２）及び／又はメタデータ（１０）を操作するために、あるいは他の機能を行うためにスクリプトを実行させる。
【００８７】
理解されることとして、メタデータ（１０）は、入力画像データ（２）、第１及び第２の表示内容タイプ、並びに、適用されるべき他の効果あるいは処理についての異なるタイプによって変化する。
【００８８】
開発環境（１３）は、選択的には、表示内容タイプ特定アルゴリズム（図示せず）を有し、それは、入力画像データ（２）を処理することによって、第１表示内容タイプ（４）を自動的に特定する。メタデータをエンコードするアルゴリズム（１５）は、したがって、表示内容タイプ特定アルゴリズムで作られた情報を使って、正しいメタデータを適用して、ある表示内容タイプから他への所望の変換を達成することができる。ユーザは、したがって、第２表示内容タイプ（６）を特定するだけでよく、メタデータをエンコードするアルゴリズムは、表示内容タイプのための正しいメタデータを作り出す。代替的には、ユーザは、ユーザインタフェース（１５）を介して、第１表示内容タイプを手動的に特定することができる。
【００８９】
第１及び第２の表示内容タイプは、同じでも異なっていてもよく、メタデータ（１０）は、第１及び第２の表示内容タイプ（６）を特定する。しかしながら、内容エンジン（１）は、メタデータ（１０）なしの入力画像データ（２）を受け取って表示することができる。すなわち、入力及び出力画像は、同じ表示内容タイプを持つであろう。したがって、入力画像は、「出力画像」として、変更されない状態で表示される。
【００９０】
表示システムについての三つの例が図１に示されており、そしてそれらは、多層表示（MLD）システム（７ａ）、単層表示（SLD）システム（７ｂ）及び３Ｄ表示システム（７ｃ）−例えば立体視ディスプレイ、を含んでいる。使用される特定の表示システム（７）は、ユーザの要求によって、あるいは、ある種の応用においては入力及び出力画像の表示内容タイプによって、決定される。
【００９１】
各表示システム（７）は、画像を表示可能な少なくとも一つの表示層（図示せず）を含んでおり、そして、有線、無線あるいはデータ信号を搬送可能な種々の通信チャネルを介してコンピュータシステム（図示せず）に接続されている。表示層（単数又は複数）は、典型的にはLCDパネルであるが、他のタイプの表示技術も使用可能である。SLDシステムは、画像を表示可能な単一の表示層、例えばLCD、OLED、あるいはプラズマ表示パネルを備えている。
【００９２】
「３Ｄ」立体視表示システムは、表示層に重畳したパララックス・バリヤ、レンチキュラ・レンズなどが付加された表示層（LCD、OLED、プラズマ表示パネルなど）を含んでおり、自動立体視画像（auto-stereoscopic images）を表示できるようになっている。
【００９３】
MLDシステム（７ａ）は、LCDパネルで構成された第１及び第２の表示層から構成されており、ここで、第１の「前方」表示層は、第２の「後方」表示層に重畳している。これらの表示層は、対応する表示層で画像を表示可能なピクセルの配列（array of pixels）をそれぞれ含んでいる。前方の表示層は、そのピクセルが実質的に透明とされうるように構成されており、これにより、見る者は、前方の表示層を通して見ることができ、そして、後方表示層及びその上での様々な画像を視認できるようになっている。
【００９４】
当業者には理解されることとして、このようなSLDシステム（７ｂ）は、２Ｄ画像、あるいは、深さの手がかり（例えばシェーディング、遠近画法など）を有する２Ｄ画像を表示できるのみである。なぜなら、SLDシステムは、単一の表示層のみを持つからである。３Ｄ表示システム（７ｃ）は、立体画像をも表示可能である点で相違している。
【００９５】
対照的に、MLDシステム（７ａ）は、前記した様々な表示内容タイプ、すなわち、２Ｄ、深さマップを持つ２Ｄ、立体視、自動立体視、多層、及び、強調された色及び／又はコントラストを表示することができる。したがって、MLDシステム（７ａ）を使用して、種々の異なる表示内容タイプの画像を表示することができ、このとき、MLDシステム（７ａ）のために特に設計された各画像についての画像データを要求する必要はない。MLDシステム（７ａ）は、異なる表示内容タイプの画像を同時に表示することもできる。例えば、複数の画像を表示でき、各画像は、自動立体視、多層、並びに、強調された色及び／又はコントラストの視覚効果の一つを用いることができる。
【００９６】
入力画像データ（２）は、第１表示内容タイプ（４）における入力画像（３）に関係しており、第１表示内容タイプ（４）は、２Ｄ（４ａ）、深さマップを持つ２Ｄ（４ｂ）、立体視（４ｃ）、多層（４ｄ）、３Ｄオブジェクトデータ（４ｅ）、並びに、強調された色及び／又はコントラスト（４ｆ）を含む第１表示内容タイプ（４）から選択されている。
【００９７】
表示システムとしてMLDシステム（７ａ）が使用される場合は、内容エンジン（１）は、ハードウエア抽象化レイヤ（HAL）（１７）において実装されており、そして、第１及び第２の表示層でそれぞれ表示するための第１及び第２の表示層画像で構成された出力画像（５）を出力できるようになっている。HAL（１７）は、メタデータ（１０）を読み取って、入力画像データ（２）を処理するように構成されており、これにより、メタデータ（１０）での特定に従って、入力画像データ（２）における適切な要素を第１及び第２の表示層画像に分離するようになっている。メタデータ（１０）は、第２表示内容タイプ（６）と、必要な操作とを特定しているので、HAL（１７）は、使用される特定のMLDシステムと入力画像データ（２）との間のインタフェースとして動作することができ、これは、入力画像データ（２）あるいはハードウエア・プロファイルの形態に拘わらない。
【００９８】
メタデータ（１０）は、第１及び第２表示層のそれぞれにおいて、どの画像あるいは画像部分が表示されるかを特定しており、HAL（１７）を使用して、異なるハードウエア・プロファイルを持つMLDシステム上で画像を正しく表示することができる。
【００９９】
図１に示されるように、第１表示内容タイプ（４）は、以下の表示内容タイプのいずれか一つあるいはそれ以上を含む：
−２Ｄ
−深さマップを持つ２Ｄ；
−３Ｄオブジェクトデータ
−多層；
−立体視；
−強調された色及び／又はコントラスト。
【０１００】
第２表示内容タイプ（６）は、以下の表示内容タイプいずれか一つあるいはそれ以上を含む：
−２Ｄ
−深さマップを持つ２Ｄ；
−３Ｄオブジェクトデータ
−多層；
−立体視；
−強調された色及び／又はコントラスト。
【０１０１】
前記した様々な表示内容タイプの例が図２〜４に示されている。
【０１０２】
メタデータ（１０）は、第２表示内容タイプと、出力画像（５）を生成するために入力画像データ（２）がどのように操作されるべきかとを特定している。表示内容タイプの間での変換を達成するための様々な操作方法が表１（前記したもの）に提示されており、参照の便宜のために以下に再掲する。
【０１０３】
【表１】
2010271673.tif 000004
【０１０４】
図２は、MLDシステムで表示される様々な表示内容タイプを示す。図１に記載したように、MLDシステムのためのメタデータ（１０）は、入力画像（単数または複数）におけるどの部分が、前方及び後方表示層のそれぞれにおいて表示されるべきであるかを特定する。したがって図３ａ〜ｄは、各表示内容タイプのための、前方（５ａ）及び後方（５ｂ）の画像の組を示す。
【０１０５】
図２ａ〜ｄはそれぞれ以下を示す：
ａ）前方（２０ａ）及び後方（２０ｂ）の表示層における前方（５ａ）及び後方（５ｂ）画像で構成された多層の入力画像。前方（５ａ）及び後方（５ｂ）画像は、アドバンスド・ホワイト・シルエッティング（AWS）効果を提供するように操作される；
ｂ）前方（５ａ）画像及び後方（５ｂ）画像で構成された、強調された色及び／またはコントラストの画像であり、ここで、後方画像は、前方画像（５ａ）についての、ボケたコピー（blurred copy）である；
ｃ）後方表示層（２０ｂ）における光バリヤ・パターン（５ｂ）を生成し、そして、インターレース化された左（５Ｌ）及び右（５Ｒ）の目要素から構成されている前方表示層（２０ａ）における画像（５ａ）を生成することにより構成された立体視出力画像；
ｄ）重畳する後方画像（５ｂ）に対する反転の画像勾配（reverse image gradient）を持つ境界を有する前方画像（５ａ）を表示することによって構成された、深さ融合の視覚効果を有する出力画像。
【０１０６】
図３は、SLDシステムにおける様々な表示内容タイプを示す。表１に示したように、SLDシステムのためのメタデータ（１０）は、深さ情報を特定しており、それは、SLDシステム上の２Ｄ画像においてエミュレートされる。
【０１０７】
図３ａ〜ｄは、以下から生成された出力画像をそれぞれ示す：
ａ）多層の入力画像であり、これは、多層画像における深さの積み重ね（depth layering）をエミュレートするための遠近法的な深さの手がかりを有する２Ｄ画像として表示される。
ｂ）強調された色及び／又はコントラストの入力画像。SLDシステムは、強調された色及び／又はコントラストの画像をMLDシステムと同様には表示できないので、２Ｄ出力画像（５）は、変更しないままとされるか、あるいは、単純に、色及び／又はコントラストを改善するための通常の画像処理技術を使って操作される。
ｃ）立体視入力画像であり、このときは、通常の擬似的３Ｄ技術を用いて立体視効果をエミュレートする出力画像（５）を作り出すことによる。
ｄ）深さ融合視覚効果（depth fusion visual effect）を有する入力画像。立体視入力画像（図３ｃ）からの変換のように、深さ融合効果をエミュレートする技術を使って、出力画像が作り出される。
【０１０８】
図４ａ〜ｄは、以下から生成された出力画像をそれぞれ示す：
ａ）多層の入力画像であり、これは、立体視画像において構成された分離された画像平面としてエミュレートされる、重ねられた深さ情報を有する立体視画像（５）として表示される。
ｂ）強調された色及び／又はコントラストの入力画像。立体視システムは、強調された色及び／又はコントラストの画像を、MLDシステムと同様には表示できないので、立体視画像（５）は、色及び／又はコントラストを改善するための通常の画像処理技術を用いて操作される。
ｃ）立体視入力画像。この応用においては、立体視入力画像は、左及び右の画像の組をすでに有しており、したがって、操作を必要とせずに表示されうる。
ｄ）深さ融合視覚効果を有する入力画像。立体視システムは、深さ融合視覚効果を表示できないので、立体視画像は、そのような深さ融合効果をエミュレートするための通常の画像処理技術を用いて操作される。
【０１０９】
図５に示されるように、前方（２０ａ）及び後方（２０ｂ）表示層（図５ａ参照）から構成されたMLDシステム（７ａ）は、複数の出力表示内容タイプにおける画像（図５ｂにおいて組み合わせで示す）を並行して表示することができる。図５は、そのような出力画像（２１，２２，２３，２４）を示しており、これらは、２Ｄ画像（２１）、強調された色及び／又はコントラストの画像（２２）、多層画像（２３）、及び立体視画像（２４）としてそれぞれ表示されている。先行技術の表示システム、例えば、２Ｄ、立体視、あるいは従来のMLDシステムは、単一の表示内容タイプ、例えば２Ｄ、立体視及びMLD表示内容タイプのそれぞれのみを一般に表示可能である。したがって、MLDシステム（７ａ）が全ての表示内容タイプを並行して表示することができるので、このMLDシステムは、より広く受け入れ可能であり、そして、見る者に、従来の表示システムに比較して改良された視覚経験を提供する。
【０１１０】
図５ａは、構成要素である前方（２１ａ，２２ａ，２３ａ，２４ａ）及び後方（２２ｂ，２３ｂ，２４ｂ）画像を示し、これらは、見る者から視認される、結果としての画像（５）を構成する。２Ｄ画像（２１）は、前方表示層（２０ａ）だけで表示され、深さの手がかりとしてのシェーディングを有している。強調された色及び／又はコントラストの画像は、前方表示層（２０ａ）上の前方画像（２２ａ）から構成され、この層は、後方表示層（２０ｂ）上に表示された、ぼかされた色／グレースケールのコピー（２２ｂ）に重畳している。多層の画像（２３）は、前方（２３ａ）及び後方（２３ｂ）の重畳する画像から構成される。立体視画像（２４）は、後方表示層（２０ｂ）での局在的な光バリヤ（２４ｂ）に重畳する前方表示層（２０ａ）で表示される左（２４Ｌ）及び右（２４Ｒ）の目要素を有するインターレース化された前方画像（２４ａ）から構成される。
【０１１１】
図６は、第１表示内容タイプ（４）の入力画像（３）がMLDシステム（７ａ）において、第２表示内容タイプ（６）としてどのように表示されうるかについての例を有する表を示す。
【０１１２】
図６は行ごとに、それぞれ以下を示す：
１．アドバンスド・ホワイト・シルエッティング（AWS）効果を提供するように操作された前方（２３ａ）及び後方（２３ｂ）画像から構成された多層画像（２３）として表示されるべき、メタデータ（１０）で特定された２Ｄ入力画像（３）；
２．インターレース化された画像（２４ｂ）として後方表示層（２０ｂ）での表示のために左及び右目の要素に分割された２Ｄ画像（３）により構成された立体視画像（２４）として表示されるべき、メタデータ（１０）で特定された２Ｄ入力画像（３）であり、ここでは、パララックス・バリヤ（２４ａ）として用いられる前方表示層（２０ａ）を用いて、立体視効果を提供する。反対の構成も可能であり、ここでは、パララックス・バリヤ（２４ａ）は、光バリヤとして、後方表示層（２０ｂ）に形成され、インターレース化された画像（２４ｂ）は、前方表示層（２０ａ）に表示される；
３．多層の入力画像（３）を構成する前方（３ａ）及び後方／背後（３ｂ）入力画像であって、これは、メタデータ（１０）により、２Ｄ出力画像（２１）として表示されるべきものとして特定される。前方（３ａ）及び後方（３ｂ）画像は、組み合わされて、後方表示層（２０ｂ）で表示される一方で、前方表示層（２０ａ）は透明とされる；
４．多層の入力画像（３）を形成する前方（３ａ）及び後方／背景（３ｂ）入力画像であって、これは、メタデータにより、立体画像（２４）として表示されるべきものとして特定される。これは、深さ情報を決定するために、前方（３ａ）及び後方（３ｂ）画像を処理することにより、そして、コンポジットのインターレース化画像（２４ａ）を前方表示層（２０ａ）に表示することにより構成される。ここで、後方表示層（２４ａ）には、光バリヤ（２４ｂ）が形成される。これにより、インターレース化された画像（２４ａ）は左及び右の目の要素に分離され、立体視効果を提供することができる；
５．多層の出力画像（２３）として表示されるべきであるとメタデータ（１０）により特定された立体視入力画像（３）を構成する左（３Ｌ）及び右（３Ｒ）の目の要素画像。この左（３Ｌ）及び右（３Ｒ）の目の要素画像は、間隔と、そして、深さ情報とを決定するために処理される。深さ情報は、この深さ情報を伝達する前方（２３ａ）及び後方（２３ｂ）画像を生成するために使用される。
【０１１３】
前記した方法、ソフトウエア、及びシステムは、ある表示内容タイプの入力画像を、他の表示内容タイプの出力画像に変換するための手段を提供する。そのために、第１及び／又は第２の表示内容タイプを特定するメタデータが使用され、そして、画像データ操作アルゴリズムを含む内容エンジンが操作される。このアルゴリズムは、第１及び第２の表示内容タイプの間における変換のためにデータを操作する。第２表示内容タイプは、例えば、入力画像に適用される視覚効果（したがってこれはその後に出力画像として表示される）である。これにより、娯楽、品質改善、情報伝達、あるいは他の目的のために、視覚的な外観を変更することができる。見る者は、前記の方法を使って、あるタイプの表示システムにより、他のタイプの表示システム用に設計された内容を見ることができ、逆も可能である。
【０１１４】
本発明の側面は、単なる例示として記載されている。理解されるべきこととして、これらへの修正及び追加が、その範囲から離れることなく可能である。
【図１】
2010271673.tif 000005
【図２ａ−ｄ】
2010271673.tif 000006
【図３ａ−ｄ】
2010271673.tif 000007
【図４ａ−ｄ】
2010271673.tif 000008
【図５】
2010271673.tif 000009
【図６】
2010271673.tif 000010
【外国語明細書】
2010271673000001.pdf