(57)【特許請求の範囲】
【請求項１】
少なくとも１つの光変調器手段（ＳＬＭ）と、シーン（３Ｄ−Ｓ）をオブジェクト点（ＯＰ）に構造化する３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）と、前記オブジェクト点（ＯＰ）の複素ホログラム値を生成するためのホログラフィックパイプライン（ＨＧＰ）と、を備えるホログラフィック表示装置（ＨＡＥ）に対して、ビデオホログラムをリアルタイムに生成する方法であって、
前記シーン（３Ｄ−Ｓ）は前記光変調器手段（ＳＬＭ）上で、ホログラム全体（ＨΣＳＬＭ）としてエンコードされ、且つ可視領域（ＶＲ）から再構成として見られ、
前記シーン（３Ｄ−Ｓ）は奥行き情報を有する画像データにより表され、その後前記オブジェクト点（ＯＰ）に対して少なくとも色及び奥行き情報を決定して提供し、
前記光変調器手段（ＳＬＭ）の限られたサブ領域上にエンコードされる１つのサブホログラム（ＳＨ）によって、前記シーン（３Ｄ−Ｓ）の１つの前記オブジェクト点が生成され、
前記ホログラム全体（ＨΣＳＬＭ）は、前記サブホログラム（ＳＨ）の重畳によって形成され、
実際の観察者の位置（ＶＰ）から可視である前記オブジェクト点（ＯＰＮ）のそれぞれについて、当該オブジェクト点について前記奥行き情報及び前記色情報が初めて提供されるか又は現在更新されると、前記ホログラフィックパイプライン（ＨＧＰ）は即座に前記複素ホログラム値を決定し、この際、
−（Ａ）（ＳＤ＝ＳＨＮ−ＳＨＸ）である差分サブホログラム（ＳＤ）が、前記可視であるオブジェクト点（ＯＰＮ）の対応するサブホログラム（ＳＨＮ）と、今や古いすなわち可視ではない前記オブジェクト点（ＯＰＸ）のサブホログラム（ＳＨＸ）との差であると定義される場合において、前記可視であるオブジェクト点（ＯＰＮ）に対応する、前記サブホログラム（ＳＨＮ）及び対応する前記差分サブホログラム（ＳＤ）が決定され、
−（Ｂ）前記差分サブホログラム（ＳＤ）が前記ホログラム全体（ＨΣＳＬＭ）に加算され、
−（Ｃ）前記オブジェクト点（ＯＰＮ）と対応する前記サブホログラム（ＳＨＮ）との情報リンクが、少なくとも１つのサブホログラムメモリ（ＳＨ−ＭＥＭ）において格納され及び取得可能とされる
ことを特徴とする方法。
【請求項２】
前記オブジェクト点（ＯＰＮ、ＯＰＸ）の前記差分サブホログラム（ＳＤ）は、前記更新された奥行き情報に従って、
ａ）前記観察者の位置により近接する前記オブジェクト点（ＯＰＮ）の前記サブホログラム（ＳＨＮ）と、前者によって今や覆われているためにもはや可視ではない前記オブジェクト点（ＯＰＸ）の前記サブホログラム（ＳＨＸ）と、の差（ＳＤ＝ＳＨＮ−ＳＨＸ）又はその逆により、
ｂ）前記観察者の位置からより遠い前記オブジェクト点（ＯＰＮ）の前記サブホログラム（ＳＨＮ）と、ここまで可視である前記オブジェクト点（ＯＰＸ）の前記サブホログラム（ＳＨＸ）との差（ＳＤ＝ＳＨＮ−ＳＨＸ）により、
定義されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記可視であるオブジェクト点（ＯＰＮ）と古い前記オブジェクト点（ＯＰＸ）との前記差分サブホログラム（ＳＤ）を（ＳＤ＝ＳＨＮ−ＳＨＸ）によって計算するために、前記古いオブジェクト点（ＯＰＸ）の前記サブホログラム（ＳＨＸ）は前記サブホログラムメモリ（ＳＨ−ＭＥＭ）から取得され且つ前記計算において適用されることを特徴とする、請求項２に記載の方法。
【請求項４】
前記オブジェクト点（ＯＰ）とその前記サブホログラム（ＳＨ）との情報リンクは、少なくとも１つのルックアップテーブル（ＬＵＴ）における前記サブホログラムのエントリへの対応する参照によって、又は前記サブホログラムメモリ（ＳＨ−ＭＥＭ）への参照によって、取得可能であることを特徴とする、請求項１に記載の方法。
【請求項５】
それぞれの前記オブジェクト点（ＯＰ）について、前記対応するサブホログラム（ＳＨ）の寄与がルックアップテーブル（ＬＵＴ）から取得されることを特徴とする、請求項１に記載の方法。
【請求項６】
可能な前記オブジェクト点のそれぞれについて事前に、前記オブジェクト点の前記サブホログラムのホログラム値が決定されるか、又は１つ若しくは複数のルックアップテーブルにおける前記サブホログラムの対応するエントリが生成され、
前記サブホログラム（ＳＨ）の前記複素ホログラム値は、前記オブジェクト点（ＯＰ）に対する前記光変調器手段の作用を、前記光変調器手段の変調器領域（ＭＲ）において、再構成されるべき前記オブジェクト点（ＯＰ）に焦点を有する結像素子（ＯＳ）としてモデル化し、前記結像素子（ＯＳ）の透過率関数又は変調関数を計算することにより、算出される
ことを特徴とする、請求項１に記載の方法。
【請求項７】
前記結像素子（ＯＳ）が少なくとも１つのレンズ（Ｌ）を含むか、又は、
前記結像素子（ＯＳ）が少なくとも１つのレンズ（Ｌ）を含み、さらに前記結像素子（ＯＳ）が少なくとも１つのプリズム（Ｐ）を含む
ことを特徴とする、請求項６に記載の方法。
【請求項８】
前記変調器領域（ＭＲ）の位置が決定され、
再構成される前記オブジェクト点（ＯＰ）と前記可視領域（ＶＲ）の中心とを通る直線上に前記変調器領域（ＭＲ）の中心が存在するか、
又は前記変調器領域（ＭＲ）のサイズが、前記可視領域（ＶＲ）を、前記オブジェクト点（ＯＰ）を通ってホログラム平面（ＨＥ）まで光線追跡することにより決定される
ことを特徴とする、請求項６に記載の方法。
【請求項９】
変調された前記オブジェクト点の前記サブホログラム（ＳＨ）のそれぞれがランダム位相を与えられ、全ての前記サブホログラムの前記ランダム位相が均一に分布するか、又は、
前記サブホログラム（ＳＨ）の位置を考慮して、前記ホログラム全体（ＨΣＳＬＭ）を形成するための重畳が、ＨΣＳＬＭ＝ΣＳＨｉを用いて前記サブホログラム（ＳＨ）の複素和として計算される
ことを特徴とする、請求項６に記載の方法。
【請求項１０】
前記複素ホログラム値が前記光変調器手段（ＳＬＭ）の画素値へと変換されるか、又は、
前記複素ホログラム値が前記光変調器手段（ＳＬＭ）の画素値へと変換され、前記複素ホログラム値は、Ｂｕｒｃｋｈａｒｄｔ成分又は二相成分に変換される
ことを特徴とする、請求項１乃至９の何れか１項に記載の方法。
【請求項１１】
奥行き情報を有する画像データにより表されるシーン（３Ｄ−Ｓ）をオブジェクト点（ＯＰ）へと構造化し、そして前記オブジェクト点（ＯＰ）に対して少なくとも色情報及び奥行き情報を計算及び提供する３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）を拡張するための、請求項１乃至９の何れか１項に記載の方法を実現するための、ビデオホログラムを生成する計算装置であって、
前記計算装置は、ホログラフィック表示装置（ＨＡＥ）の少なくとも１つの光変調器手段（ＳＬＭ）上で前記シーン（３Ｄ−Ｓ）を表すために、前記オブジェクト点（ＯＰ）の複素ホログラム値を生成するホログラフィックパイプライン（ＨＧＰ）を備え、
前記計算装置は少なくとも、
−前記オブジェクト点（ＯＰ）の決定された色値及び決定された奥行き値を読み出す手段と、
−色情報及び奥行き情報に関して前記オブジェクト点（ＯＰ）のサブホログラム（ＳＨ）を与える手段と、
−ホログラム全体（ＨΣＳＬＭ）を計算及び格納する手段と、
−前記オブジェクト点（ＯＰ）の差分サブホログラム（ＳＤ）を計算する手段と、
−サブホログラムメモリ（ＳＨ−ＭＥＭ）として使用される第１の格納手段であって、前記オブジェクト点（ＯＰ）と対応する前記サブホログラム（ＳＨ）との情報リンクが前記格納手段によって格納可能及び取得可能にされる、前記第１の格納手段と、
とを少なくとも備えることを特徴とする、計算装置。
【請求項１２】
前記３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）のフレームバッファ（ＦＢ）から前記オブジェクト点（ＯＰ）の前記決定された色値を読み出し、且つ前記３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）のＺバッファ（ＺＢ）から前記決定された奥行き値を読み出す手段を少なくとも備える、又は、
第２の格納手段を少なくとも備え、当該格納手段によって、各オブジェクト点（ＯＰ）について、対応する前記サブホログラム（ＳＨ）の寄与が、少なくとも１つのルックアップテーブル（ＬＵＴ）から取得されることができる
ことを特徴とする、請求項１１に記載の計算装置。
【請求項１３】
請求項６乃至１０の何れか１項に記載の方法に従って、前記ホログラフィックパイプライン（ＨＧＰ）とともに、各前記オブジェクト点（ＯＰ）について前記複素ホログラム値を解析的に決定する専用計算手段を少なくとも備えることを特徴とする、請求項１１に記載の計算装置。
【請求項１４】
ホログラフィック表示装置（ＨＡＥ）の構成データを検出する手段を備える、又は、
ホログラフィック表示装置（ＨＡＥ）の構成データを検出する手段を備え、当該検出する手段は、前記光変調器手段（ＳＬＭ）のサイズ若しくは解像度、並びにエンコードの種類を少なくとも捕らえる
ことを特徴とする、請求項１１に記載の計算装置。
【請求項１５】
前記複素ホログラム値が、前記光変調器手段（ＳＬＭ）の画素値へと変換される、又は、
前記複素ホログラム値が、前記光変調器手段（ＳＬＭ）の画素値へと変換され、前記複素ホログラム値は、Ｂｕｒｃｋｈａｒｄｔ成分又は二相成分へと変換される
ことを特徴とする、請求項１２乃至１４の何れか１項に記載の計算装置。
【請求項１６】
請求項１１に記載の計算装置を備え、スクリーン手段（Ｂ）を備えるホログラフィック表示装置であって、
前記スクリーン手段（Ｂ）は、前記シーン（３Ｄ−Ｓ）のホログラムがエンコードされる前記光変調器手段（ＳＬＭ）自体であるか、あるいは前記光変調器手段上にエンコードされる前記シーンのホログラム又は波面が結像される光学素子であることを特徴とする、ホログラフィック表示装置。
【請求項１７】
前記光学素子はレンズ又はミラーであることを特徴とする、請求項１６に記載のホログラフィック表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄレンダリング・グラフィックス・パイプラインを拡張するために、奥行き情報を有する３次元画像データからビデオホログラムをリアルタイムに生成する方法に関する。
【背景技術】
【０００２】
レンダリング処理に関して、本発明は、シーンのベクトル的数学的記述からモニタ画面上のピクセル画像になるまでのアルゴリズムを含む３Ｄレンダリングパイプライン又はグラフィックスパイプラインに関する。３次元画像データは、奥行き情報を含み、且つ一般には材料及び表面特性に関する追加の情報を更に含む。例えば、装置座標への画面座標の変換、テクスチャリング、クリッピング及びアンチエイリアシングは、３Ｄレンダリング・グラフィックス・パイプラインにおいて実行される。３次元シーンの２次元投影を表し且つグラフィックスアダプタのフレームバッファに格納されるピクセル画像は、例えばＬＣディスプレイのようなモニタ画面の制御可能な画素についての画素値を含む。
【０００３】
ホログラフィックデータの生成に関する限り、本発明は、ホログラフィック表示装置の光変調器手段上での、オブジェクト点から構成される３次元シーンの表現のためのホログラム値を生成する方法及び装置に関する。
【０００４】
ビデオホログラムに関して、更に本発明はホログラフィックパイプラインに関する。複素ホログラム値は、ホログラフィック表示装置の光変調器についての画素値の形でこのパイプラインにおいて生成される。
【０００５】
ホログラフィック表示装置等は、実質的には、サブホログラムが再構成されるシーンの各オブジェクト点と共に規定され且つホログラム全体が少なくとも１つの光変調器手段を使用してサブホログラムの重畳により形成されるという原理に基づく。尚、少なくとも１つの光変調器手段において、オブジェクト点に分割されるシーンはホログラム全体としてエンコードされ、シーンはビデオホログラムの再構成の１周期間隔内に存在する可視領域からの再構成として見られる。一般的に、その原理は、主にオブジェクトから１つ又は複数の可視領域に放射される波面を再構成することである。
【０００６】
詳細には、そのような装置は、個々のオブジェクト点の再構成は、光変調器手段においてエンコードされるホログラム全体のサブセットとしてのサブホログラムのみを必要とするという原理に基づく。ホログラフィック表示装置は、少なくとも１つのスクリーン手段を含む。スクリーン手段は、シーンのホログラムがエンコードされる光変調器自体であるか、あるいは光変調器においてエンコードされたシーンのホログラム又は波面が結像されるレンズ又はミラー等の光学素子である。
【０００７】
可視領域におけるシーンの再構成に対するスクリーン手段の定義及び対応する原理は、本出願人により出願された他の文献において説明される。国際公開第ＷＯ２００４／０４４６５９号及び国際公開第ＷＯ２００６／０２７２２８号においては、光変調器自体がスクリーン手段を形成する。国際公開第ＷＯ２００６／１１９７６０号の「Projection device and method for holographic reconstruction of scenes」においては、スクリーン手段は、光変調器上でエンコードされたホログラムが結像される光学素子である。
【０００８】
独国特許出願公開第１０ ２００６ ００４ ３００号の「Projection device for the holographic reconstruction of scenes」においては、スクリーン手段は、光変調器上でエンコードされたシーンの波面が結像される光学素子である。
【０００９】
本出願人により出願された国際公開第ＷＯ２００６／０６６９１９号は、ビデオホログラムを計算する方法を説明している。
【００１０】
「可視領域」は、観察者が十分な可視性でシーンの再構成全体を見れる制限された領域である。可視領域内において、再構成シーンが観察者に対して可視となるように波面が干渉する。可視領域の位置は、観察者の眼において又は眼に近接して特定される。可視領域は、ｘ方向、ｙ方向及びｚ方向に移動可能であり、周知の位置検出及び追跡システムを使用して実際の観察者の位置に対して追跡される。２つの可視領域、すなわち各眼に対して１つの可視領域を使用できる。一般的に、可視領域の更に複雑な構成も可能である。更に、個々のオブジェクト又はシーン全体が観察者に対して光変調器の後方に存在するように見えるようにビデオホログラムをエンコードできる。
【００１１】
本明細書において、用語「光変調器手段」又は「ＳＬＭ」は、１つ又は複数の個別の光源により放射された光ビームの切り替え、ゲート制御、又は、変調を行なうことにより光の強度、色及び／又は位相を制御する装置を示す。ホログラフィック表示装置は、一般的に、ディスプレイパネルを通過する光の振幅及び／又は位相を変調することによりオブジェクト点を再構成する制御可能な画素のマトリクスを含む。光変調器手段は、そのようなマトリクスを含む。光変調器手段は、例えば、音響光学変調器ＡＯＭ、又は、連続型変調器であってもよい。振幅変調によりホログラムを再構成する一実施形態は、液晶ディスプレイ（ＬＣＤ）を利用するものである。更に、本発明は、更に、十分にコヒーレントな光を光波面又は光波曲線に変調するために使用される制御可能装置に関する。
【００１２】
用語「画素」は、光変調器の制御可能なホログラム画素を示し、画素は、ホログラムポイントの離散値を表し、個別にアドレス指定及び制御される。各画素は、ホログラムのホログラムポイントを表す。ＬＣディスプレイの場合、画素は、個別に制御可能な表示画素である。ＤＬＰ（デジタルライトプロセッサ）等のＤＭＤ（デジタル・マイクロミラーデバイス）の場合、画素は、個別に制御可能なマイクロミラー又はそのようなミラーの小さなグループである。連続した光変調器の場合、画素は、ホログラムポイントを表す仮想領域である。カラー表現の場合、一般的に、画素は、原色を表す複数のサブ画素に細分される。
【００１３】
用語「変換」は、変換と同一の又は変換を近似する任意の数学的技術、又は、計算技術を含むものとして解釈される。数学的な意味での変換は、単に物理的な処理の近似であり、これはマクスウェル波動方程式により、更に正確に記述される。フレネル変換又はフレネル変換として周知の特別なグループの変換等の変換は、２次近似を記述する。一般的に、変換は、代数方程式及び非微分方程式により表され、従って、周知の計算手段を使用して高性能に効率的に処理される。更に、変換は、光学系を使用して正確にモデル化される。
【００１４】
本出願人により出願された国際公開第ＷＯ２００６／０６６９１９号は、ビデオホログラムを計算する方法を説明している。一般的に、その方法は、シーンを光変調器の平面に平行なセクション平面にスライスする工程と、観察者平面内の全てのセクション平面を可視領域に変換する工程と、それらを加算する工程とを含む。その後、加算された結果は、光変調器も配設されるホログラム面に逆変換され、それによりビデオホログラムの複素ホログラム値を決定する。
【００１５】
独国特許出願公開第１０ ２００６ ０２５ ０９６号は、奥行き情報を有する画像データからリアルタイムにビデオホログラムをレンダリング及び生成する方法を説明する。ここで、３Ｄレンダリング・グラフィックス・パイプラインは、３次元シーンの２次元投影としてのピクセル化画像データへの３次元シーンからの変換を記述し、第１のモードではモニタの制御可能画素の画素値を生成する。パイプラインは切り替え可能に拡張されることを特徴とし、第２のモードでは複素ホログラム値が少なくとも１つのホログラフィックパイプラインにおいて空間光変調器ＳＬＭについての画素値として生成されその結果、３次元シーンが空間において干渉により再構成されるように入射波面を変調するために、通常のグラフィック表現と同時に又はその代わりに空間光変調器がホログラム値により制御される。
【００１６】
独国特許出願公開第１０ ２００６ ０４２ ３２４号は、ビデオホログラムをリアルタイムに生成する方法を説明している。その方法は、単一のオブジェクト点の再構成がＳＬＭ上でエンコードされるホログラム全体の部分集合であるサブホログラムのみを必要とするという原理を使用する。方法は、オブジェクト点毎にサブホログラムの寄与がルックアップテーブルから検索され、シーン全体を再構成するためにホログラム全体を形成するように前記サブホログラムが蓄積されることを特徴とする。
【発明の概要】
【００１７】
説明した方法により、ホログラム値は速い速度で生成可能になる。しかし、３Ｄレンダリング・グラフィックス・パイプラインを更に考慮に入れる必要がある。３次元シーンから３次元シーンの２次元投影の形式のピクセル化画像データへの変換を記述する、３Ｄレンダリング・グラフィックス・パイプラインの結果は、２つのメモリセクション、すなわちフレームバッファ及びＺバッファに提供される。フレームバッファは、色値又は色情報、すなわち観察者により見られるようなシーンのカラーマップを含む。Ｚバッファは、観察者の位置から見られるような正規化表現におけるシーンの奥行きマップ又は奥行き情報を含む。これらのデータは、ホログラフィックパイプラインに対する入力情報である。入力情報は、列をなしてあとに続き、光変調器に対する画素値の形式で複素ホログラム値を生成する。３Ｄレンダリング・グラフィックス・パイプラインの結果が完全に利用可能である場合にのみ、すなわち全てのピクセル画像データがフレームバッファ及びＺバッファに書き込まれる場合にのみ、ホログラフィック変換は実行可能である。３次元シーン全体は、３Ｄレンダリング・グラフィックス・パイプラインによりレンダリングされる必要があり、ピクセル画像データは、ホログラフィック変換が可能になる前に完全に生成される必要がある。上述のパイプラインは、順次実行され、すなわち１つずつ実行され、結果として計算時間が長くなるという不利益をもたらす。計算時間が長くなると、例えばビデオシーケンスには所望のリフレッシュ周波数が提供されない可能性がある。
【００１８】
しかしながら、従来のビデオ技術と同様に高いリフレッシュレートが望まれ、それはビデオホログラムを再生する場合には不可欠である。更に、ビデオホログラムの生成は、必要とされる計算ステップ数が多いため、計算負荷が大きくなる原因となり、高性能でコストのかかる計算ユニットを必要とする。
【００１９】
本発明の目的は、従来技術の欠点を克服し、３Ｄレンダリング・グラフィックス・パイプライン及びホログラフィックパイプラインが１つずつ実行されることを回避する方法を提供することである。必要とされる計算時間は、大きく短縮される。その結果、計算に対するコスト及び技術的労力も低減される。更に、本方法を実現し、及びそれによりビデオホログラムがリアルタイムに生成されるのを可能にするために、今日市販されているグラフィックスカード又は３Ｄパイプラインのアーキテクチャは、追加のハードウェア及びソフトウェアモジュールにより拡張される。
【００２０】
本方法は、３次元シーンの２次元投影の形をとるピクセル画像データへの、３次元シーンの変換を記述する３Ｄレンダリング・グラフィックス・パイプラインを拡張するために、ビデオホログラムをリアルタイムに生成することに対して使用される。
【００２１】
その後、オブジェクト点に分割されたシーンがホログラム全体としてエンコードされ、且つビデオホログラムの再構成の１周期間隔内に存在する可視領域から再構成として見られうる少なくとも１つの光変調器手段を有するホログラフィック表示装置の光変調器に対して、ホログラフィックパイプラインは画素値の形で複素ホログラム値を生成する。ここで、可視領域は再構成されるシーンの各オブジェクト点と共にサブホログラムを規定し、ホログラム全体はサブホログラムの重畳により形成され、奥行き情報を有する画像データにより表されるシーンを３Ｄレンダリング・グラフィックス・パイプラインはオブジェクト点（ＯＰ）に構造化し且つオブジェクト点に対して少なくとも色及び奥行き情報を決定及び提供する。光変調器手段を有するそのようなホログラフィック表示装置は、シーンのオブジェクト点の情報により変調される波面が少なくとも１つの可視領域において重畳されるという原理に基づく。可視領域の定義は、既に上記で与えられている。
【００２２】
そのようなホログラフィック表示装置及び本発明は、シーンの個々のオブジェクト点の再構成が、光変調器手段にエンコードされるホログラム全体のサブセットとしてのサブホログラムのみを必要とするという原理に基づく。
【００２３】
単一の各オブジェクト点は、位置がオブジェクト点の位置に依存し且つサイズが観察者の位置に依存する１つのサブホログラムにより作成される。光変調器手段上のサブホログラムの領域は、以下において変調器領域と呼ばれる。変調器領域は、オブジェクト点を再構成するのに必要とされる光変調器手段のサブ領域である。それと同時に、変調器領域は、オブジェクト点を再構成するためにアドレス指定される必要がある光変調器上の画素を規定する。オブジェクト点が空間中に固定されたオブジェクト点である場合、変調器領域は固定された位置にある。これは、再構成されるオブジェクト点が観察者の位置に依存して位置を変更することを意味する。観察者の位置に依存した変調器領域の変更により、オブジェクト点が固定位置においてエンコードされることが可能になる。すなわち、空間におけるオブジェクト点の位置は観察者の位置に依存して変更されない。本発明に関する限り、それらの原理は同様に適用可能である。最も単純な一実施形態によると、変調器領域の中心は、再構成されるオブジェクト点及び可視領域の中心を通る直線上にある。最も単純な一実施形態において、再構成されるオブジェクト点を通って光変調器手段へと可視領域が逆に追跡されるという交差線の法則に基づいて、変調器領域のサイズは決定される。
【００２４】
また、サブホログラムが好適に使用される場合、光変調器手段の制御可能な最小単位を表す画素は、単一のサブホログラムの情報だけでなく、重畳の結果として複数のサブホログラムの情報を含む。
【００２５】
３次元シーンの２次元投影の形のピクセル画像データへの３次元シーンの変換を記述する３Ｄレンダリング・グラフィックス・パイプラインの結果は、２つのメモリセクション、すなわちフレームバッファ及びＺバッファに提供される。
【００２６】
本発明は、観察者の位置から可視であり、且つ少なくともそれぞれの色及び奥行き情報が提供されるように３Ｄレンダリング・グラフィックス・パイプラインのピクセル化処理が完了されるオブジェクト点毎に、そのオブジェクト点に対するサブホログラムが迅速に決定され、且つホログラム全体に加算されるという原理に基づく。ホログラム値は、３Ｄレンダリング・グラフィックス・パイプラインにより完全にレンダリングされたオブジェクト点毎にサブホログラム又はホログラム全体を使用してホログラフィックパイプラインにおいて迅速に生成される。尚、本発明の概念に従って、シーンは、その時点において３Ｄレンダリング・グラフィックス・パイプラインにより完全に処理されていないことに留意すべきである。特に可視性、色及び輝度に関するオブジェクト点のその後の変更は依然として可能である。オブジェクト点の可視性は、例えばシーン全体のレンダリング処理の結果として変更されるため、それまで可視であったオブジェクト点は、この時点では観察者により近接するオブジェクト点により覆われる。
【００２７】
本発明は、特性がレンダリング処理中に変更されるオブジェクト点の寄与を用いて、ホログラム全体を補正するという原理に更に基づく。
【００２８】
本発明の一般的な概念の一実施形態において、本方法は以下のステップを含む。観察者の位置から可視であり且つ奥行き及び色情報が最初に提供され又は更新されたオブジェクト点毎に、ホログラフィックパイプラインにおいて、
−（Ａ）現在のオブジェクト点又は可視のオブジェクト点に対応するサブホログラム、及び（ＳＤ＝ＳＨＮ−ＳＨＸ）である対応する差分サブホログラム（ＳＤ）は、現在のオブジェクト点に対応するサブホログラムと、この時点で古い又はもはや可視ではないオブジェクト点のサブホログラムとの差として迅速に計算され、
−（Ｂ）差分サブホログラムは、ホログラム全体（ＨΣＳＬＭ）に加算され、
−（Ｃ）現在のオブジェクト点の対応するサブホログラムへの情報リンクが、少なくとも１つのサブホログラムメモリに読み込むために利用可能にされる。サブホログラムは、サブホログラムメモリに物理的に書き込まれることができる。参照、インデックス及びメモリセクション等によって読み込むために、この情報リンクを利用可能にすることもまた可能である。
【００２９】
ホログラム全体は、所望通りに補償される。先行する処理ステップと同様に、現在のオブジェクト点のサブホログラムへの情報リンクは、サブホログラムメモリに読み込むために利用可能にされる。
【００３０】
現在の物体と古いオブジェクト点との差分サブホログラムは、対応する現在のサブホログラムと古いサブホログラムとの差として式（ＳＤ＝ＳＨＮ−ＳＨＸ）を使用して見つけることができる。オブジェクト点の差分サブホログラムは、更新された奥行き情報に従って以下のものによって規定される。
【００３１】
（ａ）観察者により近接しているオブジェクト点のサブホログラムと、他のオブジェクト点により覆われているために今や可視ではないオブジェクト点のサブホログラムと、の差又はその逆による（ＳＤ＝ＳＨＮ−ＳＨＸ）。
【００３２】
（ｂ）観察者からより遠いオブジェクト点のサブホログラムと、これまで可視であったオブジェクト点のサブホログラムと、の差による（ＳＤ＝ＳＨＮ−ＳＨＸ）。
【００３３】
現在のオブジェクト点と古いオブジェクト点との差分サブホログラムを計算するために、古いオブジェクト点のサブホログラムは、サブホログラムメモリから読み出され且つ計算に使用されるのが好ましい。差分サブホログラムを計算する時、サブホログラムメモリの全てのサブホログラムは計算ステップの前に値「０」で初期化されると仮定する。これは、奥行き情報が初めて提供されるオブジェクト点に（ＳＤ＝ＳＨＮ−ＳＨＸ）である差分サブホログラムが適用されることを保証する。そのような場合、古いオブジェクト点のサブホログラムＳＨＸは「０」であり、従って差分計算に影響を及ぼさない。
【００３４】
アルゴリズムは、奥行き情報が初めて決定されるか又は更新されるかに関わらず、全てのオブジェクト点に対して同一であることが分かる。観察者等に対するオブジェクト点の位置に関する状況の識別は必要ない。それらのアルゴリズムは、専用の計算ユニットにおいて実現されるのが好ましく、それにより高性能計算を保証する。
【００３５】
最後に、処理ステップは、サブホログラムに対するホログラム値が速い速度で生成されるという原理に基づく。この点において特に好適な方法が実施形態において示される。
【００３６】
次に、サブホログラムメモリについて詳細に規定する。３Ｄレンダリング・グラフィックス・パイプラインにおける処理の結果、３次元シーンは、ピクセル化されてフレームバッファ及びＺバッファに書き込まれる。ｍ行×ｎ列のこのピクセル化は、一般にディスプレイパネルの解像度に対応する。このピクセル化は、サブホログラムメモリに対して採用されるのが好ましいため、フレームバッファ及びＺバッファの各エントリに対応する格子中の要素エントリもまた、サブホログラムに対応する。一般に、任意の他のメモリアーキテクチャを使用することができる。しかし、オブジェクト点に関する情報はまた、サブホログラムメモリに書き込まれる必要がある場合がある。そのようなオブジェクト点のサブホログラムへの情報リンクは、例えばデータ、各メモリセクションへの参照等を含む。更に、種々の参照フレームにおけるサイズ、位置、インデックスリスト又はインデックスセクション等の補助記述データを使用でき、このことは迅速なデータアクセス及び好適なアルゴリズム技術を可能又は容易にする。
【００３７】
オブジェクト点のサブホログラムは、独国特許出願公開第１０ ２００６ ０４２ ３２４号において説明される原理に従ってルックアップテーブルから検索されるか又は読み出されるのが好ましく、あるいは国際公開第ＷＯ２００６／０６６９１９号において説明される既に引用された方法に従って解析的に生成される。サブホログラムに対するルックアップテーブルは、後者の方法の原理に従って生成され、あるいは事前に作成されることが好ましい。ルックアップテーブルは、観察者の許容移動範囲内の可能なオブジェクト点毎にサブホログラムの各エントリを事前に生成することにより作成され、これらのエントリを読み込みのために利用可能とする。別の特に好適な方法について、実施形態において説明される。本方法を実現するために、３Ｄレンダリング・グラフィックス・パイプラインは、上述の処理ステップを実現するホログラフィックパイプラインにより拡張される。本明細書において要約して説明される方法の過程は、ホログラム計算に必要とされる計算ユニット（ハードウェア）が物理的に分離しており且つ３Ｄ計算のための計算ユニットの後に列をなして配設される必要があることを意味しない。新世代のプログラマブル・グラフィックス・カードを使用して、ホログラム計算が３Ｄ計算のための計算ユニット（ハードウェア）において実行されることもまた想像される。この解決策は、３Ｄレンダリング・グラフィックス・パイプラインの動作がまた実行されるのと同じグラフィックスシステム又はグラフィックスチップにおいて実現されるのが好ましい。しかし、追加のチップ上での実現例は、可能な選択肢を構成する。双方の処理ユニットは、グラフィックスカードの同一の物理メモリにアクセスできるため、３Ｄレンダリング・グラフィックス・パイプラインについてのＺバッファ、カラーマップ及び他のデータに加えて、ホログラフィックパイプラインに必要とされるデータもその物理メモリに格納されることができる。
【００３８】
ホログラム値のリアルタイムの生成に対する要求は、特にサブホログラムに対するルックアップテーブルの使用により満たされる。３Ｄレンダリング・グラフィックス・パイプラインによるオブジェクト点の計算に必要な時間が、オブジェクト点のホログラフィック変換及びエンコードに必要な計算時間以上である場合、ホログラム値の生成は実現されるだろう。従来のビデオ処理技術のように、速い再生速度が計算機生成ビデオホログラムの表示に対して提供される。ここで、リアルタイムの生成は安価で単純な計算ユニットを使用しても可能である。
【００３９】
本発明は、オブジェクト点が任意の不連続な順番で３Ｄレンダリング・グラフィックス・パイプラインにより処理されることを可能にする。同様に、個々のオブジェクト点に対してパイプラインの結果が最終的に提供されるべき順番への限定は存在しない。複数のオブジェクト点は、並列処理で同時にレンダリングされ、ホログラフィックパイプラインに提供されることができる。どのように、及びどのような順番でオブジェクト点及び最終的にはシーン全体がレンダリングされるかについての方法は、周知の方法及び最適化に基づく。
【図面の簡単な説明】
【００４０】
添付の図面と共に好適な実施形態を使用して、本発明の物理的形態について以下に詳細に説明する。
【００４１】
【図１ａ】ホログラフィック表示装置が基づく原理を示す図である。
【図１ｂ】出現するオブジェクト点に対する差分サブホログラムを示す図である。
【図１ｃ】見えなくなるオブジェクト点に対する差分サブホログラムを示す図である。
【図２】本発明に係る装置の概略図を含み、本発明に係る方法を示すフローチャートである。
【００４２】
また、サブホログラムから複素ホログラム値を生成する特に好適な方法について、添付の図面を使用して以下に詳細に説明する。
【００４３】
【図Ｂ１】ホログラフィック表示装置が基づく原理及びオブジェクト点を表す変調器領域を示す図である。
【図Ｂ２ａ】レンズ及びプリズムを含む結像素子を有する表示装置を示す側面図である。
【図Ｂ２ｂ】変調器領域及び垂直方向有効プリズムを示す図である。
【図Ｂ２ｃ】変調器領域及び水平方向有効プリズムを示す図である。
【図Ｂ３】本発明に係る方法を示すフローチャートである。
【図Ｂ４】ホログラム面の後方でオブジェクト点を再構成する方法のオプションを示す図である。
【発明を実施するための形態】
【００４４】
図１ａは、１人の観察者に対するホログラフィック表示装置（ＨＡＥ）が基づく一般的な原理を示す。原理は、複数の観察者にも適用される。観察者の位置は、観察者の眼、又は、瞳孔（ＶＰ）の位置により特徴付けられる。装置は、簡潔にするために本実施形態では、スクリーン手段（Ｂ）と同一である光変調器手段（ＳＬＭ）を含む。これは、少なくとも１つの可視領域（ＶＲ）においてシーン（３Ｄ−Ｓ）のオブジェクト点の情報により変調される波面を重畳する。可視領域は、眼に対して追跡される。シーン（３Ｄ−Ｓ）の単一のオブジェクト点（ＯＰ）の再構成は、光変調器手段（ＳＬＭ）上でエンコードされるホログラム全体（ＨΣＳＬＭ）の部分集合である１つのサブホログラム（ＳＨ）のみを必要とする。変調器領域（ＭＲ）は、光変調器（ＳＬＭ）上のサブホログラムの領域である。この図から分かるように、変調器領域（ＭＲ）は、光変調器手段（ＳＬＭ）の小さなサブセクションのみを含む。最も単純な一実施形態において、変調器領域（ＭＲ）のサイズは、可視領域（ＶＲ）が再構成されるオブジェクト点（ＯＰ）を通って光変調器手段（ＳＬＭ）まで追跡されるという交差線の定理に基づいて決定される。更に、そのオブジェクト点を再構成することを要求される光変調器手段（ＳＬＭ）上の画素のインデックスが決定される。
【００４５】
図１ｂ及び図１ｃは、本方法の以下の説明の一般的な基礎となる原理として、サブホログラムの原理を示す。本発明に係る方法に基づいて、観察者の位置（ＶＰ）から可視であり、且つ少なくともそれぞれの色及び奥行き情報が提供されるように３Ｄレンダリング・グラフィックス・パイプラインのピクセル化処理が完了されるオブジェクト点毎に、そのオブジェクト点に対するサブホログラム（ＳＨ）が迅速に、すなわち更なる遅延なしで決定され、ホログラム全体（ＨΣＳＬＭ）に加算される。しかし、対応するサブホログラム（ＳＨ）の迅速な処理は、例えばオブジェクト点（ＯＰ）の可視性がシーンのレンダリング処理中に変更されることを意味する。例えばオブジェクト点は、観察者により近接するオブジェクト点により覆われる可能性があり、あるいは陰影、反射、ヘイズ等の多くの画像効果の１つにより再び不可視になる可能性がある。
【００４６】
図１ｂを参照すると、３Ｄレンダリング・グラフィックス・パイプラインは、オブジェクト点（ＯＰＸ）に対して、新しいオブジェクト点（ＯＰＮ）が観察者により近接して存在することを検出する。一般的に、３Ｄレンダリング・グラフィックス・パイプラインにより提供される先行する中間結果と比較して、新しいオブジェクト点（ＯＰＮ）がこのように現在レンダリングされているシーンに現れるが、図示するように、新しいオブジェクト点（ＯＰＮ）は、観察者の可視性によれば中間結果において可視であったオブジェクト点（ＯＰＸ）を覆うため、最初に可視であったオブジェクト点は不可視になる。以下に更に詳細に説明するように、本明細書において、オブジェクト点のサブホログラムの重畳を形成するホログラム全体（ＨΣＳＬＭ）から、不可視のオブジェクト点（ＯＰＸ）の古いサブホログラム（ＳＨＸ）を減算し、新しく可視となったオブジェクト点（ＯＰＮ）の新しいサブホログラム（ＳＨＮ）を加算する必要がある。そのような場合、差分サブホログラム（ＳＤ＝ＳＨＮ−ＳＨＸ）は、古いオブジェクト点（ＯＰＸ）のサブホログラム（ＳＨＸ）と新しいオブジェクト点（ＯＰＮ）のサブホログラム（ＳＨＮ）との差として規定され、且つこのように計算される。
【００４７】
図１ｃを参照すると、オブジェクト点（ＯＰＸ）は、３Ｄレンダリング・グラフィックス・パイプラインにより提供される先行する中間結果と比較して、現在レンダリングされているシーンにおいて見えなくなるため、図示するように、これまで隠されていたオブジェクト点（ＯＰＮ）は、観察者の可視性に従うとこの時点で可視になる。その場合、差分サブホログラム（ＳＤ＝ＳＨＮ−ＳＨＸ）は、見えなくなったオブジェクト点（ＯＰＸ）のサブホログラム（ＳＨＸ）と新しく可視となったオブジェクト点（ＯＰＮ）のサブホログラム（ＳＨＮ）との間の差として規定されるため、計算可能である。図１ｂの下で説明されたのと同様に、ホログラム全体（ＨΣＳＬＭ）はそれに従って加算される。異なる色及び／又は強度を有する固定オブジェクト点の第３の例について、特定の図を参照せずに以下に説明する。本明細書において、差分サブホログラムは、対応する色又は強度情報を記述する。しかし、一般にはサブホログラムの代わりに記述データを使用してそれらの変更を特定すれば十分である。
【００４８】
図２は、ホログラム全体（ＨΣＳＬＭ）を生成する方法を示し、奥行き情報を有する画像データからホログラフィック表示装置（ＨＡＥ）の光変調器（ＳＬＭ）に対する複素ホログラム値を生成するために、３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）がホログラフィックパイプライン（ＨＧＰ）により拡張される方法を示す。それによって、本方法を実行するための装置が同時に簡単に略述される。例えば、画面座標から装置座標への変換、テクスチャリング、クリッピング及びアンチエイリアシングは、３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）において実行される。シーンの２次元投影の形式のピクセル化画像データへのシーン（３Ｄ−Ｓ）からの変換を記述する３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）の結果は、２つのメモリセクションに提供される。
−フレームバッファ（ＦＢ）は、色値、すなわち観察者により見られるシーンのカラーマップを含む。
−Ｚバッファ（ＺＢ）は、観察者の位置から見られるような正規化表現におけるシーンの奥行きマップを含む。
【００４９】
理解し易くするために、図２において、グラフィックスパイプラインのそれらのメモリセクションは個別に示され且つ概略的に示される。これらのメモリセクションのデータは、ホログラフィック・カラー・パイプライン（ＨＧＰ）に対する入力情報である。このホログラフィック・カラー・パイプラインは列をなして続き、３次元シーン全体についての複素ホログラム値を生成する。
【００５０】
本発明によると、シーン全体の完全なＺマップ及びカラーマップが利用可能になるまでは待機せず、オブジェクト点に対するホログラフィック計算は、少なくとも３Ｄパイプラインにより処理されたオブジェクト点の奥行き及び色情報が利用可能になると、すぐに実行される。
【００５１】
本発明に係る方法に基づいて、観察者の位置（ＶＰ）から可視であり、且つ少なくともそれぞれの色及び奥行き情報が提供されるように３Ｄレンダリング・グラフィックス・パイプラインのピクセル化処理が完了されるオブジェクト点（ＯＰ）毎に、そのオブジェクト点（ＯＰＮ）に対するサブホログラム（ＳＨＮ）が迅速に、すなわち更なる遅延なしで決定され、且つホログラム全体（ＨΣＳＬＭ）に加算される。３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）の「ピクセル化」処理グループ及びホログラフィックパイプライン（ＨＧＰ）のホログラム値の生成のための処理グループは、同時に実行される。
【００５２】
本実施形態において、可視領域（ＶＲ）への光波の伝播についてのサブホログラム（ＳＨ）は、図１に示すようにルックアプテーブル（ＬＵＴ）から取得される。サブホログラムを生成する特に好適な更なる方法について、以下に詳細に説明する。３Ｄレンダリング・グラフィックス・パイプラインにより完全にレンダリングされ、且つ奥行き情報及び色情報が初めて提供されるか又は現在更新されているオブジェクト点（ＯＰ）毎に、その現在のオブジェクト点（ＯＰＮ）に対するサブホログラム（ＳＨＮ）及び対応する差分サブホログラム（ＳＤ）が迅速に計算される。図１ｂ及び図１ｃに関連して上述したように、（ＳＤ＝ＳＨＮ−ＳＨＸ）である差分サブホログラム（ＳＤ）は、現在のオブジェクト点（ＯＰＮ）の対応するサブホログラム（ＳＨＮ）と、古くなったオブジェクト点（ＯＰＸ）のサブホログラム（ＳＨＸ）との差として決定される。差分計算に必要とされる古いオブジェクト点（ＯＰＸ）のサブホログラム（ＳＨＸ）は、サブホログラムメモリ（ＳＨ−ＭＥＭ）から読み出される。オブジェクト点の個々のサブホログラムは重畳可能であり、且つホログラム全体を形成するように複素数的に加算されることができる。
【００５３】
ホログラム全体＝サブホログラムの複素和
ＨΣＳＬＭ＝ΣＳＨｉ
差分サブホログラムは、同様に重畳可能である。
【００５４】
最後に、現在のオブジェクト点（ＯＰＮ）の計算されたサブホログラム（ＳＨＮ）は、サブホログラムメモリ（ＳＨ−ＭＥＭ）に書き込まれ、読み込むために利用可能にされる。オブジェクト点（ＯＰＮ）が３Ｄレンダリング・グラフィックス・パイプラインにより出力された更新データのために再度古くなった場合、あるいは他の特性が変更されてホログラム全体（ＨΣＳＬＭ）が補正されるのを必要とする場合、サブホログラムメモリ（ＳＨ−ＭＥＭ）の対応するサブホログラム（ＳＨ）は再度提供される。
【００５５】
ホログラム全体（ＨΣＳＬＭ）の補正については、オブジェクト点の可視性の例を使用して説明した。本方法は同様に、さらにオブジェクト点の他の特性、すなわち色、輝度、光度に関する。更に、ホログラフィック表現の全体の品質を向上するために、補正はホログラム全体（ＨΣＳＬＭ）に対して行なわれることができる。
【００５６】
別の実施形態において、全て又はほぼ全てのオブジェクト点に対する対応するサブホログラムが計算され且つ対応する情報リンクが格納された後、ホログラム全体（ＨΣＳＬＭ）を加算できる。しかし、続くホログラム全体の生成のために、理想的に必要とされる計算時間を越える。
【００５７】
ホログラム値のリアルタイムの生成に対する要求は、特にサブホログラムに対するルックアップテーブルの使用により満たされる。３Ｄレンダリング・グラフィックス・パイプラインによりオブジェクト点をレンダリングするのに必要な時間が、本発明に従うオブジェクト点のホログラフィック変換及びエンコードに必要な計算時間以上である場合、ホログラム値の生成が実現されるだろう。
【００５８】
図２を参照すると、基本的な原理を適切に理解することを保証するために、３Ｄレンダリング・グラフィックス・パイプライン（ＲＧＰ）及びホログラフィックパイプライン（ＨＧＰ）が別個に示されている。しかし、これは、計算手段が空間的に別個にされることを必ずしも意味しない。本方法は、３Ｄレンダリング・グラフィックス・パイプラインの動作がまた実行されるのと同じプロセッサ又はグラフィックスチップ上で実現されるのが好ましい。３Ｄレンダリング・グラフィックス・パイプラインは、ハードウェア及びソフトウェアの点で拡張されるのが好ましい。しかし、追加のチップ上でのホログラフィックパイプラインの実現例は、可能な好適な選択肢を構成する。双方の処理ユニット、すなわち３Ｄレンダリング・グラフィックス・パイプライン及びホログラフィックパイプラインは、グラフィックスカードの同一の物理メモリにアクセスしてもよいため、３ＤパイプラインについてのＺバッファ、カラーマップ及び他のデータに加えて、他のデータもその物理メモリにおいて格納又は交換される。例えば、サブホログラムに対するルックアップテーブルは、メモリセクションに格納されるのが好ましい。
【００５９】
本発明の好適な一実施形態において、ホログラフィック表示装置は、本方法を実現する装置に構成データを提供する。それらのデータは例えば、光変調器のサイズ、その解像度、画素、並びに必要に応じてＢｕｒｃｋｈａｒｄｔエンコーディング、二相エンコーディング若しくは他の適切なエンコード方法等のエンコード方法に関する記述データを特定する。ホログラム値の生成は、所定の又は検出されたホログラフィック表示装置に対して構成及び適応される。方法を実現する装置は、特定のホログラフィック表示装置に限定されないだけでなく、サブホログラムの基本的な原理を好適に利用する装置において一般に使用される。
【００６０】
サブホログラムを生成する特に好適な方法について、図Ｂ１〜図Ｂ４を使用して以下に説明する。本方法は、複数のオブジェクト点から構成され且つ色及び奥行き情報を有する３次元シーン（３Ｄ−Ｓ）に基づく。サブホログラムが好適に使用される場合、光変調器の制御可能な最小単位を表す画素は、単一のサブホログラムの情報だけでなく、重畳の結果として複数のサブホログラムの情報を含む。
【００６１】
好適な方法は、変調器領域においてモデル化され且つ再構成されるオブジェクト点が焦点にある結像素子の、透過率関数又は変調関数が計算及び解析されるという点において、サブホログラムの複素ホログラム値が、再構成されるオブジェクト点の波面から光変調器手段の変調器領域において計算されるという概念に基づく。ホログラム面はスクリーン手段の位置により規定され、簡潔にするために、以下の説明においてスクリーン手段は光変調器自体である。
【００６２】
本方法の好適な一実施形態によると、結像素子は、ホログラム面に配設され、焦点距離ｆを有し且つ傾斜しているレンズを含む。傾斜レンズは、ホログラム面に対して傾斜していないレンズと、水平方向及び垂直方向の双方において有効なプリズムとから構成される。厳密には、非焦点プリズムの機能のためにオブジェクト点は再構成されないため、プリズムはサブホログラムを規定しない。しかし、プリズムはまた変調器領域の複素ホログラム値の一部を提供するため、本発明の考察をある程度明確にするために、これはそのように説明される。以下において、レンズ及びプリズムの例を用いて本方法を詳細に説明する。当然、本方法はレンズ又はプリズム単独にも適用される。そのような場合、処理ステップ又は対応する項は実行されないか又は無視される。サブホログラムの複素値を計算するために、本方法のこの詳細は、シーンの各可視オブジェクト点に対して以下のステップを含む。
【００６３】
Ａ：上述のように、変調器領域のサイズ及び位置を決定し、変調器領域はローカル座標系を与えられる。ローカル座標系において、原点はその中心に位置付けられ、ｘ軸は横座標を示し、ｙ軸は縦座標を示す。「ａ」は変調器領域の半分の幅であり、「ｂ」は半分の高さである。ここで、それらの間隔の境界は以下の項に含まれる。
【００６４】
Ｂ：ホログラム面においてレンズのサブホログラムを決定する。
【００６５】
Ｂ１：レンズの焦点距離ｆを決定する。レンズの焦点距離ｆは、ホログラム面から再構成されるオブジェクト点の標準的な距離であるのが好ましい。
【００６６】
Ｂ２：レンズの対応するサブホログラムの複素値。対応するサブホログラムの複素値は以下の式を使用して決定される。
ｚＬ＝ｅｘｐ｛＋／−ｉ＊［（π／λf) ＊ (ｘ２＋ｙ２）］｝
式中、λは基準波長であり、ｆは焦点距離であり、（ｘ，ｙ）は対応する座標対である。本明細書において、負符号は凹レンズの特性のためである。凸レンズは、正符号により識別される。
【００６７】
Ｂ３：ｘ軸及びｙ軸に関して対称であるため、１つの象限において複素値を決定し且つ符号の規則を使用して他の象限に値を適用するので十分である。
【００６８】
Ｃ：ホログラム面においてプリズム（Ｐ）のサブホログラムを決定する。選択されたプリズムは、以下の図に示すように、横座標又は縦座標を通る。
【００６９】
Ｃ１：水平な有効方向を有するプリズム（ＰＨ）の線形因子Ｃｘを決定する。これは、間隔ｘ∈［−ａ，ａ］において以下の式により示される。
Ｃｘ＝Ｍ＊（２π／λ）
式中、Ｍはプリズムの傾斜である。
【００７０】
Ｃ２：垂直な有効方向を有するプリズム（ＰＶ）の線形因子Ｃｙを決定する。これは、間隔ｙ∈［−ｂ，ｂ］において以下の式により示される。
Ｃｙ＝Ｎ＊（２π／λ）
式中、Ｎはプリズムの傾斜である。
【００７１】
Ｃ３：組み合わされたプリズムの対応するサブホログラムの複素値を決定する。対応するサブホログラムに対する複素値は、２つのプリズムの項を重畳することにより決定される。
ｚＰ＝ｅｘｐ｛ｉ＊［Ｃｘ＊（ｘ−ａ）＋Ｃｙ＊（ｙ−ｂ）］｝
重畳されたプリズムは、ローカル座標系の原点を通る。
【００７２】
Ｃ４：プリズムの項は、ホログラフィック表示装置が光源を可視領域に映し出す特性を示す場合にはなくなる。
【００７３】
Ｄ：レンズ及びプリズムに対するサブホログラムを変調する。レンズ及びプリズムの複素値は、組み合わされたサブホログラムを決定するために複素乗算される。
ｚＳＨ＝ｚＬ＊ｚＰ
あるいは、符号では以下の通りである。
ＳＨ＝ＳＨＬ＊ＳＨＰ
【００７４】
Ｅ：ランダム位相の適用。工程Ｄの各変調サブホログラムは、可視領域において均一な輝度分布を保証するためにランダム位相を割り当てられる。ランダム位相は、複素乗法によりサブホログラムに加算される。
ｚＳＨ：＝ｚＳＨｅｘｐ（ｉΦ０）
あるいは、符号では以下の通りである。
ＳＨ：＝ＳＨｅｘｐ（ｉΦ０）
ランダム位相は、各サブホログラムに個々に割り当てられる。全体的に、全てのサブホログラムのランダム位相は均一に分布されるのが好ましい。
【００７５】
Ｆ：強度変調。複素値は、追加の乗法因子を与えられる。これは、強度又は輝度を表す。
ｚＳＨ＝Ｃ＊ｚＳＨ
あるいは、符号では以下の通りである。
ＳＨ：＝Ｃ＊ＳＨ
【００７６】
Ｇ：ホログラム全体が計算される場合、サブホログラムは、ホログラム全体を形成するように重畳される。単純な一実施形態において、サブホログラムはホログラム全体に複素加算され、サブホログラムの位置を考慮する。
ホログラム全体＝全てのサブホログラムの複素和
ＨΣＳＬＭ＝ΣＳＨｉ
あるいは、符号では以下の通りである。
ｚＳＬＭ＝ΣｚＳＨｉ
（グローバル座標系に関して）
【００７７】
方法は、可視オブジェクト点に対してのみ使用されるのが好ましい。オブジェクト点の可視性は、３Ｄレンダリング・グラフィックス・パイプラインによるシーンのレンダリング処理の結果として決定され、それは眼の瞳孔の位置に依存し、従って、瞳孔の位置に対して追跡される可視領域の位置からの観察者の位置に依存する。
【００７８】
詳細な説明は、可能な最適な解決策の計算に関する。当然、低下された再構成品質が受け入れられるか、又は、望まれる場合、一般的に、上述の関数の項を更に単純な関数の項で置換できる。しかし、再構成品質を向上するために、更新された処理工程が適用されることが分かる。レンズ又はプリズムは、例えば、光変調器手段の収差、許容差等を補正するように選択される。同様のことが例示的に説明された変調器領域を決定する方法にも当てはまる。
【００７９】
図１に基づく図Ｂ１から分かるように、変調器領域（ＭＲ）は、原点がその中心に位置し、ｘ軸が横座標を示し、且つ、ｙ軸が縦座標を示す座標系を与えられる。変調器領域（ＭＲ）は、半分の幅「ａ」及び半分の高さ「ｂ」を有する。
【００８０】
図Ｂ２ａは、ホログラフィック表示装置（ＨＡＥ）を示す側面図であり、方法の一般的な原理を示す。図Ｂ１と同様に、変調器領域（ＭＲ）は可視領域（ＶＲ）から導出される。この領域の位置は、光変調器（ＳＬＭ）が配設されるホログラム面（ＨＥ）において特定される。変調器領域は、上述の座標系を与えられる。集束レンズ（Ｌ）及びプリズム（Ｐ）から成る結像素子（ＯＳ）は、変調器領域（ＭＲ）にある。図は、垂直方向有効プリズムウェッジのみを示し、明確にするために、結像素子（ＯＳ）はホログラム面（ＨＥ）の前方に示される。
【００８１】
図Ｂ２ｂは、使用される座標及び寸法と共に、変調器領域（ＭＲ）の前方の水平方向有効プリズムウェッジ（ＰＨ）を示す。本明細書において、プリズムウェッジは縦座標を通る。
【００８２】
図Ｂ２ｃは、同様に、横座標を通る垂直方向有効プリズムウェッジ（ＰＶ）を示す。２つのプリズムウェッジは、以下に説明するように重畳される。
【００８３】
図Ｂ３は、好適な方法を示すフローチャートである。方法の開始点は、複数のオブジェクト点（ＯＰ）から構成される３次元シーン（３Ｄ−Ｓ）である。色及び奥行き情報は、オブジェクト点（ＯＰ）に対して有効である。オブジェクト点の可視性は、観察者の位置、すなわち観察者の眼の瞳孔の位置に依存して奥行き情報に基づいて決定される。
【００８４】
工程（Ａ）において、ホログラム面（ＨＥ）又は光変調器手段における各変調器領域（ＭＲ）のサイズ及び位置は、可視オブジェクト点毎に決定される。本発明の概念によると、再構成されるオブジェクト点（ＯＰ）は、ホログラム面にある結像素子の焦点として解釈される。本明細書における結像素子は、集束レンズ（Ｌ）と図２ｂ、図２ｃに示すような垂直方向又は水平方向有効プリズム（ＰＨ、ＰＶ）との組合せとして解釈される。工程（Ｂ１）において、レンズ（Ｌ）の焦点距離は、ホログラム面（ＨＥ）からのオブジェクト点（ＯＰ）の標準的な距離として可視オブジェクト点毎に決定される。工程（Ｂ２）において、対応するサブホログラム（ＳＨＬ）に対する複素値は、以下の式を使用して決定される。
ｚＬ＝ｅｘｐ｛−ｉ＊［（π／λｆ）＊（ｘ２＋ｙ２）］｝
式中、λは基準波長であり、ｆは焦点距離であり、（ｘ，ｙ）は対応するローカル座標対である。座標系は、上述のように規定される。
【００８５】
工程（Ｃ）において、ホログラム面におけるプリズム（Ｐ）のサブホログラム（ＳＨＰ）が決定される。水平な有効方向を有するプリズム（ＰＨ）の線形因子Ｃｘの決定には、Ｍがプリズムの傾斜と定義される場合に式Ｃｘ＝Ｍ＊（２π／λ）を用いる。垂直方向有効プリズムの線形因子Ｃｙは、傾斜Ｎの同様の式により見つけられる。対応するサブホログラム（ＳＨＰ）の複素値は、２つのプリズムの項を重畳することにより決定される。
ＳＨＰ：＝ｚＰ＝ｅｘｐ｛ｉ＊［Ｃｘ＊（ｘ−ａ）＋Ｃｙ＊（ｙ−ｂ）］｝
【００８６】
ホログラフィック表示装置が光源を可視領域（ＶＲ）に映し出す特性を示す場合、１つのプリズムの項はなくなる。
【００８７】
ここで、レンズ（Ｌ）のサブホログラム（ＳＨＬ）及びプリズム（Ｐ）のサブホログラム（ＳＨＰ）が有効であり、それらのサブホログラムは、工程（Ｄ）においてレンズ及びプリズムの複素値を複素乗算することにより組合せサブホログラム（ＳＨ）を形成するように、重畳される。
ｚＳＨ＝ｚＬ＊ｚＰ
あるいは、符号では以下の通りである。
ＳＨ＝ＳＨＬ＊ＳＨＰ
【００８８】
工程（Ｅ）において、サブホログラム（ＳＨ）は、均一に分布されたランダム位相を与えられる。工程（Ｆ）において、強度変調が実行され、サブホログラム（ＳＨ）は強度因子と乗算される：
ｚＳＨ＝Ｃ＊ｚＳＨ
あるいは、符号では以下の通りである。
ＴＨ：＝Ｃ＊ＴＨ
【００８９】
所望されるように、この時点でオブジェクト点（ＯＰ）の組合せサブホログラム（ＳＨ）は、完全に有効である。追加の処理工程（Ｇ）において、ホログラム全体（ＨΣＳＬＭ）を形成するようにオブジェクト点のサブホログラムを加算できる。オブジェクト点の個々のサブホログラム（ＳＨｉ）は、重畳可能であり且つホログラム全体（ＨΣＳＬＭ）を形成するように複素加算される。
【００９０】
ホログラム全体＝オブジェクト点の全てのサブホログラムの複素和
ＨΣＳＬＭ＝ΣＳＨｉ
あるいは、
ｚＳＬＭ＝ΣＳＨｉ
（グローバル座標系に関して）
【００９１】
ホログラム全体（ＨΣＳＬＭ）は、全てのオブジェクト点のホログラムを表す。従って、それはシーン全体（３Ｄ−Ｓ）を表し且つ再構成する。
【００９２】
この方法により、対話型リアルタイムホログラフィック再構成に対するサブホログラムは、今日市販されている標準的なハードウェアコンポーネントを使用して再構成ボリュームの任意の位置のオブジェクト点に対して生成される。好適な方法は、サブホログラムを決定し、それらのサブホログラムでルックアップテーブルを満たすために使用されるのが好ましい。本発明に係る方法及び装置と同様に、好適な方法は、サブホログラムの原理を好適に利用するホログラフィック表示装置に適する。これは、上述のように、国際公開第ＷＯ２００４／０４４６５９号、国際公開第ＷＯ２００６／０２７２２８号、国際公開第ＷＯ２００６／１１９７６０号及び独国特許出願公開第１０ ２００６ ００４ ３００号において説明される装置を特に含む。
【符号の説明】
【００９３】
ＨＡＥ    ホログラフィック表示装置
ＲＧＰ    ３Ｄレンダリング・グラフィックス・パイプライン
ＦＢ    ３Ｄレンダリング・グラフィックス・パイプラインのフレームバッファ
ＺＢ    ３Ｄレンダリング・グラフィックス・パイプラインのＺバッファ
ＨＧＰ    ホログラフィックパイプライン
３Ｄ−Ｓ    オブジェクト点（ＯＰ）により構成されるシーン
ＳＬＭ    ＨＡＥの光変調器手段
Ｂ    ＨＡＥのスクリーン手段
ＶＲ    可視領域
ＯＰ    オブジェクト点（全般）
ＯＰｎ，ＯＰｎ＋１，．．．    オブジェクト点（特に参照インデックス付き）
ＯＰＮ    新しく可視になったオブジェクト点
ＯＰＸ    古いオブジェクト点
ＳＨＮ    新しいオブジェクト点のサブホログラム
ＳＨＸ    古いオブジェクト点のサブホログラム
ＳＨ    サブホログラム（全般）
ＳＨｉ    サブホログラム（全般）（インデックス付き）
ＭＲ    変調器領域
ＳＨｎ，ＳＨｎ＋１，．．．    サブホログラム（参照インデックス付き）
ＳＤ    差分サブホログラム
ＳＨ−ＩＮＤ    サブホログラム（ＳＨ）の追加の情報
ＨΣＳＬＭ    ホログラム全体
ＬＵＴ    ルックアップテーブル
ＳＨ−ＭＥＭ    サブホログラムメモリ
ＯＳ    結像素子
Ｌ    レンズ
Ｐ    プリズム
ＰＨ    水平な有効方向を有するプリズム
ＰＶ    垂直な有効方向を有するプリズム
【図１ａ】
0005468537.tif 000002
【図１ｂ】
0005468537.tif 000003
【図１ｃ】
0005468537.tif 000004
【図２】
0005468537.tif 000005
【図Ｂ１】
0005468537.tif 000006
【図Ｂ２ａ】
0005468537.tif 000007
【図Ｂ２ｂ】
0005468537.tif 000008
【図Ｂ２ｃ】
0005468537.tif 000009
【図Ｂ３】
0005468537.tif 000010
【図Ｂ４】
0005468537.tif 000011