(57)【要約】  深さ情報を有する画像データからコンピュータ生成ビデオホログラムのリアルタイムなレンダリング及び生成を行う方法であって、第１のモードでは、３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）は、シーンの、２次元投影の形に画素化された該シーンの画像データへの変換であって、モニタの制御可能な画素の画素値を生成する変換を記述し、前記３次元レンダリング・グラフィックス・パイプラインは、第２のモードでは、１以上のホログラフィ・グラフィックス・パイプライン（ＨＰＬ）において複素ホログラム値が生成され、ホログラフィ・ディスプレイ装置（ＨＡＥ）の光変調手段（ＳＬＭ）がこれらの画素値でエンコードされるように、切り替え可能に拡張され、これにより、通常のグラフィック表示と同時に又はこれに代えて、空間中の干渉によって所望のシーンが再構成されるように、前記光変調手段（ＳＬＭ）の制御によって入射波場が変調されることを特徴とする。本発明は、既存の産業標準との互換性を保ちながら、従来のモニタとホログラフィ・ディスプレイ装置の付加的で同時の使用も可能にする。本発明は、新たなホログラフィ・ディスプレイ技術が技術的及び経済的に広く受け入れられることを保証する。【選択図】  図１ａ
2009537872.tif 000002
【特許請求の範囲】
【請求項１】
深さ情報を有する画像データからコンピュータ生成ビデオホログラムのリアルタイムなレンダリング及び生成を行う方法であって、
第１のモードでは、３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）は、シーンの、２次元投影の形に画素化された該シーンの画像データへの変換であって、モニタの制御可能な画素の画素値を生成する変換を記述し、
前記３次元レンダリング・グラフィックス・パイプラインは、
第２のモードでは、１以上のホログラフィ・グラフィックス・パイプライン（ＨＰＬ）において複素ホログラム値が生成され、ホログラフィ・ディスプレイ装置（ＨＡＥ）の光変調手段（ＳＬＭ）がこれらの画素値でエンコードされるように、切り替え可能に拡張され、
これにより、通常のグラフィック表示と同時に又はこれに代えて、空間中の干渉によって所望のシーンが再構成されるように、前記光変調手段（ＳＬＭ）の制御によって入射波場が変調される
ことを特徴とする方法。
【請求項２】
前記３次元レンダリング・グラフィックス・パイプラインは、
これに続く前記ホログラフィ・グラフィックス・パイプラインの入力データを生成するために、座標動作と、照明計算と、クリッピングとを含む第１のステップのグループを有する
ことを特徴とする請求項１に記載の方法。
【請求項３】
シーンのシーケンスの結果データを記憶するために、付加的なメモリセクションが前記３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）の前記第１のステップのグループに割り当てられ、これにより可視シーンバッファが形成される
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）の前記第１のステップのグループによって、割り当てられた可視シーンバッファ（ＶＳＢ）に対して複数の連続するシーンの結果データが生成され、これらのデータに基づいて、１以上のホログラフィ・グラフィックス・パイプライン（ＨＰＬ）によって複素ホログラム値が生成される
ことを特徴とする請求項３に記載の方法。
【請求項５】
可視シーンバッファ（ＶＳＢ）の各々は前記ビデオシーケンスの１シーンが割り当てられる
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）の前記第１のステップのグループと、前記可視シーンバッファ（ＶＳＢ）と、前記ホログラフィ・グラフィックス・パイプライン（ＨＰＬ）とを連続的に制御する制御ユニットを使用する
ことを特徴とする請求項５に記載の方法。
【請求項７】
観察者の位置は前記シーンのビューを規定し、
前記観察者には、当該観察者の目の近傍の観察者平面内に設けられた１以上の仮想観察者ウィンドウが割り当てられ、
前記光変調手段の前記画素値を生成する前記ホログラフィ・グラフィックス・パイプライン（ＨＰＬ）は、
−前記観察者の観察方向に対して適切な角度にそれぞれ設けられた２つの平行なセクション平面の間でシーンセクションデータを取得するために、前記シーンデータを平行な層に分離するステップ（１）と、
−層が放射する光波の伝播に従って前記観察者ウィンドウに該層の前記シーンセクションデータを変換するステップ（２）と、
−前記セクション平面を前記観察方向に連続的に変位しながら、前記シーンの全体が変換されるまで、前記分離するステップ（１）と前記変換するステップ（２）とを繰り返し、該変換の個々の結果を加算するステップ（３）と、
−光変調手段の位置と一致し、前記観察者平面に対して最終距離の位置に平行に設けられたホログラム平面の中へ、集約された前記データを前記観察者平面から変換し、前記ビデオホログラムのホログラムデータを生成する、逆変換のステップ（４）と、
−正規化ステップの後に、前記シーンを再構成するために前記光変調手段に転送される画素値に前記データを変換する、エンコーディングのステップ（５）と、
を有することを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記データを変換するために、フーリエ変換又はフレネル変換が使用されることを特徴とする請求項７に記載の方法。
【請求項９】
前記３次元レンダリング及び変換の処理は前記シーン（３Ｄ−Ｓ）の輪郭に対してのみ行われることを特徴とする請求項８に記載の方法。
【請求項１０】
カラー表示のために、前記方法は各原色について適用されることを特徴とする請求項９に記載の方法。
【請求項１１】
深さ情報を有する画像データからコンピュータ生成ビデオホログラムのリアルタイムなレンダリング及び生成を行う、請求項１から１０のいずれか１項に記載の方法を実行する装置であって、
第１のモードでは、シーンの、２次元投影の形に画素化された該シーンの画像データへの変換であって、モニタの制御可能な画素の画素値を生成する変換を記述する３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）を備え、
前記３次元レンダリング・グラフィックス・パイプラインは、
第２のモードでは、１以上のホログラフィ・グラフィックス・パイプライン（ＨＰＬ）において複素ホログラム値が生成され、ホログラフィ・ディスプレイ装置（ＨＡＥ）の光変調手段（ＳＬＭ）がこれらの画素値でエンコードされるように、切り替え可能に拡張され、
これにより、通常のグラフィック表示と同時に又はこれに代えて、空間中の干渉によって所望のシーンが再構成されるように、前記光変調手段（ＳＬＭ）の制御によって入射波場が変調される
ことを特徴とする装置。
【請求項１２】
観察者の位置は前記シーンのビューを規定し、
前記観察者には、当該観察者の目の近傍の観察者平面内に設けられた１以上の仮想観察者ウィンドウが割り当てられ、
前記ホログラフィ・グラフィックス・パイプラインは、
−前記観察者の観察方向に対して適切な角度にそれぞれ設けられた２つの平行なセクション平面の間でシーンセクションデータを取得するために、前記シーンデータを平行な層に分離する手段と、
−層が放射する光波の伝播に従って前記観察者ウィンドウに該層の前記シーンセクションデータを変換する手段と、
−前記セクション平面を前記観察方向に連続的に変位しながら、前記シーンの全体が変換されるまで、前記分離するステップ（１）と前記変換するステップ（２）とを繰り返し、該変換の個々の結果を加算する手段と、
−光変調手段の位置と一致し、前記観察者平面に対して最終距離の位置に平行に設けられたホログラム平面の中へ、集約された前記データを前記観察者平面から変換し、前記ビデオホログラムのホログラムデータを生成する、逆変換手段と、
−正規化ステップの後に、前記シーンを再構成するために前記光変調手段に転送される画素値に前記データを変換する、エンコーディング手段と、
を備えることを特徴とする請求項１１に記載の装置。
【請求項１３】
スクリーン手段を有するホログラフィディスプレイ装置（ＨＡＥ）用のビデオホログラムを生成するために、該スクリーン手段は、前記シーンの前記ホログラムがエンコードされる前記光変調手段（ＳＬＭ）か、又は、該光変調手段でエンコードされた前記シーンのホログラム又は波面が投影される光学エレメントであることを特徴とする請求項１１又は１２に記載の装置。
【請求項１４】
前記光学エレメントがレンズ又はミラーであることを特徴とする請求項１３に記載のホログラフィディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は深さ情報を有する画像データからコンピュータ生成ビデオホログラム（ＣＧＶＨ）のリアルタイムなレンダリング及び生成を行う方法及び装置に関する。レンダリング処理に関しては、本発明は３次元レンダリング・パイプラインに関し、これはベクトルを用いた数学的なシーンの記述からモニタスクリーン上の画素で構成された画像へのアルゴリズムを記述する。画像データは深さ情報を有し、通常は材質及び表面の特性に関する付加情報も有する。
【背景技術】
【０００２】
例えば、スクリーン座標の装置座標への変換、テクスチャリング、クリッピング、及びアンチエイリアシングは、３次元レンダリング・グラフィックス・パイプラインにおいて実行される。画素化された画像は、シーンの２次元の投影を示し、グラフィックスアダプタのフレームバッファに格納されるが、これには、例えばＬＣディスプレイのようなモニタスクリーンの制御可能な画素の画素値が含まれる。
【０００３】
コンピュータ生成ビデオホログラムに関して、本発明はホログラフィのグラフィックス・パイプラインに関する。このパイプラインでは、複素ホログラム値が光変調手段（ＳＬＭ）の画素値の形で生成される。ホログラフィデータの生成に関して、本発明はシーンの領域の変換であって、光波の伝播を記述する変換に関する。３次元のオブジェクト又はシーンのホログラフィ再構成の間、コヒーレントな光波の干渉及び重ね合わせによって光波面が生成される。
【０００４】
古典的なホログラムは干渉パターンの形で写真のように格納されたか、或いは他の適切な方法で格納されたが、これとは対照的に、ＣＧＶＨはシーンのシーケンスからのホログラムデータの計算結果として存在し、電子的手段に格納される。干渉を生成可能な変調済みの光は、振幅と位相の値が制御可能な光波面の形で観察者の目の正面の空間を伝播し、これによりこの光波面はシーンを再構成する。光変調手段のビデオホログラムのホログラム値を制御することによって、それに従って個々の画素値が変調されるディスプレイスクリーンから放射される波場は、再構成空間において干渉を作成することにより所望のシーンを再構成する。
【０００５】
本発明を実装するのに好適なホログラフィ・ディスプレイ装置は、１以上のスクリーン手段を備える。スクリーン手段は、シーンのホログラムがエンコードされる光変調手段それ自体か、或いは、光変調手段でエンコードされたシーンのホログラム又は波面が投影される、レンズ又はミラーのような光学エレメントである。スクリーン手段の定義と、可視領域においてシーンを再構成するための対応する原理は、出願人が提出した他の文書に説明されている。特許文献１と特許文献２では、スクリーン手段は光変調手段それ自体である。特許文献３のシーンをホログラフィ再構成する投影装置及び方法では、スクリーン手段は、光変調手段でエンコードされたホログラムが投影される光学エレメントである。特許文献４のシーンをホログラフィ再構成する投影装置では、スクリーン手段は、光変調手段でエンコードされたシーンの波面が投影される光学エレメントである。出願人が提出した特許文献５はビデオホログラムを計算する方法を説明している。
【０００６】
本明細書では、「光変調手段」又は「ＳＬＭ」という用語は、一つ又は少数の独立した光源によって放射された光ビームをスイッチングするか、ゲート制御するか、或いは、変調するかのいずれかによって、光の強度と色と位相との少なくともいずれかを制御する装置を示す。ホログラフィ・ディスプレイ装置は一般に制御可能な画素のマトリクスを備え、これはディスプレイパネルを通過する光の振幅及び位相の少なくともいずれかを修正することによって、オブジェクトポイントを再構成する。光変調手段はこのようなマトリクスを備える。光変調手段は、例えば音響光学変調器（ＡＯＭ）又は連続型変調器でもよい。振幅変調によりホログラムを再構成する一実施形態は、液晶ディスプレイ（ＬＣＤ）を利用することができる。本発明は十分コヒーレントな光を光波面又は光波輪郭に変調するために用いられる更に制御可能な装置にも関する。
【０００７】
本明細書では「画素」という用語は、ＳＬＭ内の制御可能なホログラム画素を示す。すなわち、画素はホログラムポイントの離散値によって個別にアドレスされ制御される。各画素はビデオホログラムのホログラムポイントを示す。したがって、ＬＣＤでは、「画素」という用語は、ディスプレイスクリーンの個別にアドレス可能な画像ポイントに対して用いられる。ＤＬＰでは、「画素」という用語は、個別のミクロミラー又はミクロミラーの小さなグループに対して用いられる。連続的なＳＬＭでは、「画素」は複素ホログラムポイントを示すＳＬＭ上の遷移領域である。したがって、「画素」の用語は一般に、複素ホログラムポイントを示すか表示することが可能な最小単位を示す。
【０００８】
「観察者ウィンドウ」は、観察者がそれを介してシーンの再構成の全体を十分な可視性をもって観察することができる限定された仮想領域である。観察者ウィンドウは観察者の目の上又はその近傍に設けられる。観察者ウィンドウはｘ，ｙ，ｚ方向に移動することができる。観察者ウィンドウ内では波面が干渉して、再構成されたオブジェクトが観察者から観察できるようになる。ウィンドウは観察者の目の近傍に設けられて、公知の位置検出・追跡システムを用いて実際の観察者の位置を追跡することができる。このため、好適には、眼の瞳の大きさよりも少し大きいだけになるように、その大きさを限ることができる。各々が各眼のために用いられる、２つの観察者ウィンドウを用いることもできる。一般に、より複雑な構成の観察者ウィンドウも可能である。更に、個別のオブジェクト又は全体のシーンの外観が観察者に対して光変調手段の背面に存在するようにビデオホログラムをエンコードすることもできる。
【０００９】
「変換」の用語は、変換と同一か、又は、変換を近似するあらゆる数学的手法又は計算手法が含まれると解釈すべきである。数学的な意味の変換は物理的な処理を単に近似するものに過ぎず、これはマクスウェル波動方程式によってより正確に記述される。フレネル変換等の変換や、或いは、フーリエ変換として知られている特定のグループの変換は第２オーダーの近似を記述する。変換は通常、代数的な非微分方程式で示されるため、公知の計算手段を用いて効率的で高性能に処理することが可能である。さらに、これは光学システムとして正確にモデル化することができる。
【００１０】
出願人が提出した特許文献５はコンピュータ生成ビデオホログラムを計算する方法を説明している。この方法によれば、シーンの複素振幅値を有するオブジェクトが平行な仮想セクション層のマトリクスドットに割り当てられ、これにより各セクション層について、個別のオブジェクトデータセットがマトリクスドットにおいて離散的な振幅値とともに定義され、また、ホログラフィ・ディスプレイ装置の光変調手段のためのホログラフィコードが画像データセットから計算される。
【００１１】
この発明によれば、この目的の解決手法は、コンピュータの補助によって以下のステップが実行される一般概念を利用する。
・セクション層に対して有限距離の位置に平行に設けられた観察者平面に対する波面の分離した２次元分布の形で、各断層シーンセクションの各オブジェクトデータセットから回折像を計算する。ここで、観察者の目の近傍の観察者平面に設けられた１以上の共通の仮想観察者ウィンドウに対して全てのセクションの波場が計算され、この観察者ウィンドウの領域はビデオホログラムと比べて縮小される。
・全てのセクション層の計算された分布を加算して、観察者平面に関連して参照されるデータセットにおける観察者ウィンドウに対して集約された波場を定義する。
・参照平面に対して有限距離の位置に平行に設けられたホログラム平面に対して参照データセットを変換し、シーンの集約されたコンピュータ生成ビデオホログラムのためのホログラムデータセットを作成する。ここで、光変調手段はホログラム平面内に設けられ、エンコードの後に光変調手段の補助によって観察者の目の正面の空間にシーンが再構成される。
【００１２】
上述の方法及びホログラフィ・ディスプレイ装置は好適には、シーンのオブジェクトそれ自体を再構成するのではなく、オブジェクトにより放射されるであろう波面を１以上の観察者ウィンドウ内に再構成するという発想に本質的に基づいている。観察者は仮想観察者ウィンドウを介してシーンを観察することができる。仮想観察者ウィンドウは、観察者の目の瞳をカバーすることができ、公知の位置検出・追跡システムの補助により観察者の実際の位置に従って追跡することができる。仮想的で錐台形状の再構成空間はホログラフィ・ディスプレイ装置の光変調手段と観察者ウィンドウとの間に広がり、そこでは、光変調手段は錐台の底面と上面の観察者ウィンドウを示す。観察者ウィンドウが非常に小さい場合、錐台はピラミッドで近似することができる。観察者は、仮想観察者ウィンドウを介してホログラフィ・ディスプレイ装置に向かって観察し、観察者ウィンドウの中でシーンを示す波面を受け取る。
【特許文献１】国際公開第２００４／０４４６５９号パンフレット
【特許文献２】国際公開第２００６／０２７２２８号パンフレット
【特許文献３】国際公開第２００６／１１９７６０号パンフレット
【特許文献４】独国特許出願公開第１０ ２００６ ００４ ３００号明細書
【特許文献５】国際公開第２００６／０６６９１９号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、深さ情報を有する画像データからビデオホログラムをリアルタイムに生成する方法を提供することである。本発明の更なる目的は、３次元レンダリング・グラフィックス・パイプラインを切り替え可能に拡張し、これにより、一方では、モニタの制御可能な画素に対する画素値を３次元レンダリング・グラフィックス・パイプラインの補助により任意に生成することができ、他方では、シーンを再構成するために、ホログラフィ・ディスプレイ装置の光変調手段の画素に対する複素ホログラム値をホログラフィ・グラフィックス・パイプラインの補助により生成することができる。
【００１４】
さらに、例えばグラフィックスカードやゲーム機で用いられているような、今日市販されているグラフィックスプロセッサとグラフィックスサブシステムを使用すべきである。ハードウェア、ソフトウェア、及びプログラムインタフェースに関して、一般性を損なうことなく、確立された産業標準を使用すべきである。
【課題を解決するための手段】
【００１５】
以下、可能な最適化を詳述せずに、本発明の方法の一般的な思想を説明する。この方法は深さ情報を有する画像データに基づく。この情報は例えば、頂点、法線ベクトル、及びマトリクスの形の記述として利用可能である。画像データは通常、材質や表面の特性などについての付加情報を含んでいる。
【００１６】
リアルタイムのレンダリングにおいて、３次元レンダリング・パイプライン又はグラフィックス・パイプラインは、ベクトルを用いた数学的なシーンの記述から、モニタ上に表示するための、フレームバッファ内の画素化された画像データへの方法を記述する。例えば、スクリーン座標の装置座標への変換、テクスチャリング、クリッピング、及びアンチエイリアシングはパイプラインにおいて実行される。画素化された画像は、シーンの２次元の投影を示し、グラフィックスアダプタのフレームバッファに格納されるが、これには、例えばＬＣディスプレイのようなモニタスクリーンの制御可能な画素の画素値が含まれる。３次元パイプラインは点や三角形のような個々のプリミティブが、例えば並列に処理可能であることを特徴とする。例えば、ある三角形はモデル座標系から眼の座標系に変換されるが、他のものはすでに画素化され、すなわち陰影がつけられている。
【００１７】
ホログラフィ表示を実現するために、干渉と、その後に続く干渉パターンの重ね合わせを生成することが可能な、光の位相変調及び振幅変調の少なくともいずれかによって、シーンは再構成される。この３次元レンダリング・グラフィックス・パイプラインは、深さ情報を有する画像データからビデオホログラムを生成する最初の処理ステップにおいても用いられる。そして、ホログラフィデータ生成はシーンの変換に基づいており、この変換は光波の伝播を記述する。逆変換の後にエンコード処理が実行され、ここではホログラフィ・ディスプレイ装置の１以上の光変調手段についての画素値に複素ホログラム値は変換される。
【００１８】
本発明は、２次元／３次元表示とビデオホログラムの生成との両方が満たされるように、ディスプレイ上で２次元／３次元シーンを表示する既存の利用可能な３次元レンダリング・グラフィックス・パイプラインを切り替え可能なように拡張するという発想に基づくものである。これはモニタの制御可能な画素の画素値が３次元レンダリング・グラフィックス・パイプラインの補助により生成されることを意味する。最後に、光変調手段が、ホログラフィ・グラフィックス・パイプラインを介して切り替え可能な態様で、エンコードされたホログラム値とともに同時に又はそれに代えて制御される。
【００１９】
ホログラフィ・グラフィックス・パイプラインは、第１の処理ステップとして、正準（カノニカル）画像空間のセクション層の分離を意味するスライシングステップを有する。これによりシーンはそれぞれ２つの平行なセクション平面によってセクション層にスライスされ、シーンセクションデータは分離される。セクション平面は好適には観察者の観察方向に対して適切な角度に存在し、計算が十分正確であることと処理性能がよいことを両立するために、セクション平面間の距離は十分小さく選択される。理想的には、計算中に考慮する必要があるのは観察者への距離が一定の深さ情報だけとなるように、この距離は非常に小さくすべきである。平面間の距離が大きい場合は、例えば、２つの平面間の平均距離が定義され、所定の層に割り当てられるように、深さ情報を選択すべきである。
【００２０】
これに続く視点動作は正準画像座標を出力ウィンドウの画素座標に変換する。そして、データは画素化され、好適には、例えばブレンド動作のような最適化するための付加的な画素動作が実行される。
【００２１】
これに続く処理ステップでは、シーンセクションデータが変換される。一般に、変換は仮想観察者ウィンドウへの光波の伝播を記述する。最も単純な変換はフーリエ変換とフレネル変換である。フーリエ変換は好適には、観察者への距離が大きいため、光波を平面波面と解釈することが可能な遠距離場で用いられる。他の変換と対照的に、フーリエ変換は変換を光学エレメントの補助によりモデル化することができるという利点を示し、その逆も真なりである。球面波の近距離場においては、フレネル変換が好適に用いられる。
【００２２】
次に、シーン全体が変換されるまで、変換は繰り返され、これによりセクション平面は観察方向に継続的に移動される。シーンセクションデータの変換済みデータは継続的に加算され、これにより集約された参照データセットが形成される。シーン全体の変換の後には、この参照データセットは個々のシーンセクションデータの変換の総和を示す。
【００２３】
これに続く処理ステップでは、光変調手段の位置と一致し、参照平面に対して最終距離の位置に平行に設けられたホログラム平面の中に参照データが変換される逆変換が行われ、これによりビデオホログラムのホログラムデータが生成される。最後の処理ステップでは、正規化の後に画素値への変換が行われるエンコード処理が行われる。ブルクハルトのエンコード方法が用いられる場合、複素ホログラム値が０と１の間の範囲に正規化された３つの値で示され、ここでは１により示される値は構成値の実現可能な最大値を形成する。
【００２４】
次に、フレームバッファ内のエンコードされた画素値は光変調手段に転送され、ここでは干渉を生成可能な光が位相及び振幅の少なくともいずれかを変調され、重ね合わされた光波により生成された干渉パターンの補助によりシーンが再構成される。
【００２５】
カラー画像コンテンツが生成される場合は、各色要素についてこの方法が同様に適用される。空間分割多重化によりカラービデオホログラムを示すために、各画素は、カラー化されたホログラムポイントを示すか表示するための三原色の各々のサブ画素で構成されてもよい。ビデオホログラムのエンコードの種類によって、カラー化されたホログラムポイントの各々の原色を示すために更なるサブ画素が用いられてもよい。他の好適な方法は時間分割多重化によるものである。
【００２６】
本発明の更なる実施形態によれば、シーンのシーケンスを処理する場合に、３次元レンダリング・グラフィックス・パイプラインとホログラフィ・グラフィックス・パイプラインを並列化する。シーンのシーケンスの結果データを記憶するために、３次元レンダリング・グラフィックス・パイプラインのステップの最初のグループに複数のメモリセクションが割り当てられ、これにより可視シーンバッファが形成される。好適には、複数の連続するシーンが、それぞれ結果データを記憶するための可視シーンバッファに割り当てられる。ここで、１以上のホログラフィ・グラフィックス・パイプラインは、このデータに基づいてホログラム値を生成する。好適には、可視シーンバッファの各々にはホログラフィ・グラフィックス・パイプラインが割り当てられる。
【００２７】
さらに、３次元レンダリング・グラフィックス・パイプラインと、可視シーンバッファと、ホログラフィ・グラフィックス・パイプラインとの、最初のステップのグループのタイミングを最適化する制御ユニットが提供される。制御ユニットは既存のリソースの最適な効率を管理し、個々のシーンを処理する個々のステップの最適なスケジューリングを保証する。制御ユニットはさらに、シーンの離散化、すなわち、セクション層の数と距離を最適化する。近距離場では良好な離散化が望ましいが、遠距離場ではより粗い離散化でも通常は十分である。
【００２８】
本発明に係る方法は複素ホログラム値のリアルタイム生成を保証する。しかし、本発明に係る３次元レンダリング・グラフィックス・パイプラインの切り替え可能な拡張によれば、従来のモニタも使用可能である。本発明は、既存の産業標準及び仕様との互換性を保ちながら、従来のモニタとホログラフィ・ディスプレイ装置の付加的で同時の使用も可能にする。本発明のこの利点は、新たなホログラフィ・ディスプレイ技術が技術的及び経済的に広く受け入れられることを保証する。
【発明を実施するための最良の形態】
【００２９】
以下、実施形態及び添付図面を用いて、本発明の更なる側面及び詳細を説明する。特に、本発明の更なる実施形態において提案される、処理ステップの並列処理について詳述する。
【００３０】
図１ａは、その中に実装されている、３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）とホログラフィ・グラフィックス・パイプライン（ＨＰＬ）との処理ステップを示す、方法のフローチャートを示す。３次元レンダリング・グラフィックス・パイプラインのステップは角が丸いボックス（３ＤＧ）に示しており、ホログラフィ・グラフィックス・パイプラインのステップは長方形のボックスに示している。
【００３１】
３次元レンダリング・グラフィックス・パイプラインは、ステップの第１のグループと第２のグループを備える。第１のグループ（３Ｄ−Ｇ１）は、幾何学的動作（３Ｄ−Ｇ）とクリッピング動作（３Ｄ−Ｃ１，２）を備えている。幾何学的動作（３Ｄ−Ｇ）は、主に、モデリング動作と、グローバル動作と、観察動作と、投影動作（３Ｄ−Ｐ）とを備える。
【００３２】
ここでは投影動作には、再構成空間すなわち錐台を正規化された正準オブジェクト空間に変換する動作が含まれる。使用されるグラフィックスシステムの種類によって、このオブジェクト空間は立方体又は直方体の形を有する。次にこの空間は正規化される。この動作は、頂点が透視空間から並列変換の正規化された空間に変換されるという効果を有する。
【００３３】
クリッピング動作は、可視ピラミッドのエッジと更にはユーザに定義されたセクション平面によって、幾何学的外形がどのように切断されるかを記述する。周辺光、散光、反射光、放射光を考慮に入れた照明動作が実行され、これにより、表面の材料特性を考慮した算術動作によって、観察者と光源の位置に依存する新たな色値が計算され、したがってこれらの表面のシェーディング（陰影）効果が得られる。
【００３４】
図１ｂはこの方法の更なる詳細を示している。ステップの第１のグループ（３Ｄ−Ｇ１）の結果は、可視シーンバッファ（ＶＳＢ）に格納される。可視シーンバッファ（ＶＳＢ）はメモリセクションを物理的に形成するが、形状（ジオメトリ）、すなわち頂点、色、法線、及びテクスチャ座標に関する情報を含む。可視シーンバッファ（ＶＳＢ）は、全ての頂点動作がすでに完了した状況、すなわち、１以上のモデリング動作が可視性の階層の中でその位置に従ってすでに頂点に適用された状況における形状のフォームを有する。ここで、可視シーンバッファ（ＶＳＢ）内のデータに基づいて、複素ホログラム値が光変調手段（ＳＬＭ）の画素値としてホログラフィ・グラフィックス・パイプライン（ＨＰＬ）内で生成される。ホログラフィ・グラフィックス・パイプライン（ＨＰＬ）は、第１の処理ステップとして正準画像空間のセクション層の分離を意味するスライシングステップ（ＨＰＬ−Ｓ）を備える。
【００３５】
これに続いて、ビューポート（表示域）動作（３Ｄ−Ｖ）は正準画像座標を出力ウィンドウの画素座標に変換する。次に、データは画素化され（３Ｄ−Ｒ）、好適には例えば、ブレンド動作のような付加的な画素最適化動作（３Ｄ−Ｏ）が実行される。
【００３６】
これに続く処理ステップでは、シーンセクションデータは仮想観察者ウィンドウに変換される（ＨＰＬ−ＦＴ）。これらの処理ステップはシーン全体が変換されるまで繰り返される。シーンセクションデータの変換されたデータは連続して加算され、これにより、ホログラフィ蓄積画像バッファとしても知られている集約された参照データセット（ＨＰＬ−ＨＩＡＢ）が形成される。シーン全体の変換の後、この参照データセット（ＨＰＬ−ＨＩＡＢ）は個々のシーンセクションデータの変換の総和を示す。
【００３７】
これに続く処理ステップでは、ホログラフィ蓄積画像バッファ（ＨＰＬ−ＨＩＡＢ）が有するデータは逆変換される（ＨＰＬ−ＦＴ−１）。正規化（ＨＰＬ−Ｎ）の後に、最後の処理ステップでは、画素値への変換を行うエンコーディング処理（ＨＰＬ−Ｋ）が実行される。ホログラムデータの生成が望まれていない場合、ＬＣＤパネルのような従来のモニタの制御可能な画素の画素値は、３次元レンダリング・グラフィックス・パイプラインのステップ、すなわち、幾何学的動作（３Ｄ−Ｇ）と、クリッピング動作（３Ｄ−Ｃ１，２）と、照明動作と、ビューポート動作（３Ｄ−Ｖ）と、画素化（３Ｄ−Ｒ）と、付加的な画素最適化動作（３Ｄ−Ｏ−１）とによって生成することができる。
【００３８】
本発明の好適な更なる実施形態は、拡張された並列処理、可変の連結、必要ならば可変でもある制御戦略を有するリソースの最適な利用に関する。
【００３９】
このため、３次元レンダリング・グラフィックス・パイプラインと、Ｌ個の可視シーンバッファと、ｍ個のホログラフィ・グラフィックス・パイプラインとのステップのｋ個のグループのタイミングを最適化する１以上の制御ユニット（ＨＰＬ−Ｓ）が提供される。最初の実施形態の処理ステップは、ｋ＝Ｌ＝ｍ＝１について直線的で順次に配置される。制御ユニットは、既存のリソースの最適な効率を管理し、個々のシーンを処理する個々のステップの最適なスケジューリングを保証する。パラメータｋ，Ｌ，ｍの比率は並列処理の一般的な度合いを規定し、これはある制御戦略に従って個々のシーン用の制御ユニットによって変化されてもよい。
【００４０】
制御ユニットはさらに、シーンの離散化、すなわちセクション層の数と距離を最適化する。近距離場では良好な離散化が望ましいが、遠距離場ではより粗い離散化でも通常は十分である。単一の可視シーンバッファ（ＶＳＢ）は、並列に処理するＶＳＢのサブセクションについて、複数のホログラフィ・グラフィックス・パイプライン（ＨＰＬ）に割り当てることも可能である。可視シーン制御ユニット（ＶＳＣＵ）とも呼ばれるローカル制御ユニットは、このローカルな並列処理を制御及び監視する。必要ならば、並列処理の部分結果の交換の制御及び監視も行う。同様な方法で、複数の可視シーンバッファ（ＶＳＢ）を一つのホログラフィ・グラフィックス・パイプライン（ＨＰＬ）に割り当てることも可能である。同じように、変換のステップ（ＨＰＬ−ＦＴ）と逆変換のステップ（ＨＰＬ−ＦＴ−１）との少なくともいずれかをホログラフィ・グラフィックス・パイプラインの中で並列化することもできる。制御ユニットは処理全体を制御し、シーンセクションデータが正しい順序のステップで処理されることを保証する。ホログラムデータのリアルタイム生成を保証するために、本発明の一般原理の中で並列処理の更なる例も可能である。本発明は上述の処理ステップを実装する手段を備える装置にも関係する。
【図面の簡単な説明】
【００４１】
【図１ａ】３次元レンダリング・グラフィックス・パイプライン（３ＤＰＬ）とホログラフィ・グラフィックス・パイプライン（ＨＰＬ）との処理ステップを示す、方法のフローチャートを示す図である。
【図１ｂ】方法の更なる詳細を示す図である
【図１ａ】
2009537872.tif 000003
【図１ｂ】
2009537872.tif 000004
【国際調査報告】
2009537872.tif 000005
2009537872.tif 000006
2009537872.tif 000007
2009537872.tif 000008
2009537872.tif 000009
2009537872.tif 000010