(57)【要約】  深さ情報を有する３次元画像データからコンピュータ生成ビデオホログラムをリアルタイムにレンダリングして生成する方法であって、観察者の位置と観察方向がシーンのビューを規定し、観察者の目の近傍の観察者平面に設けられた１以上の仮想観察者ウィンドウが観察者に割り当てられ、−ステップ（１）：観察者の観察方向に対して適切な角度で設けられた２つの平行なセクション平面の間における、シーンセクションデータの深さマップの３次元レンダリング及び生成と、−ステップ（２）：シーンセクションデータの変換、すなわち、観察者ウィンドウに対する光波の伝播の計算と、−ステップ（３）：３次元レンダリングのステップと変換のステップとを繰り返し、変換の個々の結果を加算するステップと、−ステップ（４）：集約されたデータを観察者平面からホログラム平面内に変換してホログラムデータを生成する、逆変換と、−ステップ（５）：３次元シーンを再構成するための画素値の符号化と、を有し、個々の処理ステップは１以上のグラフィックプロセッサによるグラフィックスサブシステム上で実行されることを特徴とする。【選択図】  図１
2009533740.tif 000002
【特許請求の範囲】
【請求項１】
光変調手段（ＳＬＭ）を備え、オブジェクトによって観察者の目に対して放射されるであろう波面を主に再構成する、ホログラフィックディスプレイ装置において、深さ情報を有する３次元画像データからコンピュータ生成ビデオホログラムをリアルタイムにレンダリングして生成する方法であって、
前記観察者の位置と観察方向がシーン（３Ｄ−Ｓ）のビューを規定し、
前記観察者の目の近傍の観察者平面に設けられた１以上の仮想観察者ウィンドウ（ＯＷ）が前記観察者に割り当てられ、
予備的な処理ステップにおいて、前記シーンの座標を変換し、シーンの照明計算を前記観察者の前記観察方向を考慮して実行し、
−ステップ（１）：前記観察者の前記観察方向に対して適切な角度で設けられた２つの平行なセクション平面の間における、シーンセクションデータの深さマップの３次元レンダリング及び生成を行う３次元レンダリングステップと、
−ステップ（２）：前記シーンセクションデータの変換、すなわち、前記観察者ウィンドウに対する光波の伝播の計算を行う変換ステップと、
−ステップ（３）：前記３次元レンダリングステップと前記変換ステップとを繰り返すステップであって、前記シーンの全体が変換されるまで前記セクション平面を前記観察方向に継続的に変位し、該変換の個々の結果を加算するステップと、
−ステップ（４）：集約されたデータを前記観察者平面からホログラム平面内に変換して、前記ビデオホログラムのホログラムデータを生成する逆変換ステップであって、該ホログラム平面は、前記光変調手段と同じ位置を占め、前記観察者平面と平行に最終距離の位置に設けられる、逆変換ステップと、
−ステップ（５）：前記３次元シーンを再構成するために、正規化ステップの後に、画素値を計算しフレームバッファに転送する、符号化ステップと、
を有し、
個々の前記処理ステップは１以上のグラフィックプロセッサによるグラフィックスサブシステム上で実行されることを特徴とする方法。
【請求項２】
前記３次元レンダリングステップと、前記変換ステップと、前記逆変換ステップと、前記符号化ステップとは、プログラム可能な標準化されたシェーダ上に実装され、実行されることを特徴とする請求項１に記載の方法。
【請求項３】
前記変換は、フーリエ変換またはフレネル変換によって、前記観察者ウィンドウ（ＯＷ）に対する前記光波の前記伝播を記述することを特徴とする請求項１に記載の方法。
【請求項４】
前記３次元レンダリングステップの処理と、前記変換ステップの処理とは、前記シーン（３Ｄ−Ｓ）の外縁に対してのみ実行されることを特徴とする請求項１に記載の方法。
【請求項５】
カラー表示のために、前記方法が原色の各々について実行されることを特徴とする請求項１に記載の方法。
【請求項６】
前記観察者平面への前記変換は前記シーンセクションデータと前記観察者平面との間の一定の距離に基づき、該一定の距離は前記セクション平面上に設定されることを特徴とする請求項１に記載の方法。
【請求項７】
前記変換ステップの処理と前記符号化ステップの処理との反復法について、前記ステップ（１）から前記ステップ（３）は、信号雑音が最小であることが特徴である最適解が十分よく達成されるまで繰り返されることを特徴とする請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深さ情報を有する３次元画像データからコンピュータ生成ビデオホログラム（ＣＧＶＨ）をリアルタイムにレンダリング（表示）し生成する方法に関する。本発明は、レンダリング処理に関しては、３次元シーンのベクトルによる数学的な記述からモニタ画面上の画素で構成された画像へのアルゴリズムを記述する、３次元レンダリングパイプラインまたはグラフィクスパイプラインに関する。３次元画像データは深さ情報を有し、通常は材料や表面の特性についての付加情報も有する。ホログラフィックデータの生成に関しては、本発明はシーンのサブセクションの変換に関する。ここで変換は光波の伝播を記述する。３次元オブジェクトまたは３次元シーンをホログラフィック再構成する間、コヒーレントな光波の干渉及び重ね合わせによって光波面が生成される。
【背景技術】
【０００２】
干渉パターンの形態で写真のように又は他の好適な方法で格納される旧式のホログラムに対して、ＣＧＶＨは、３次元シーンのシーケンスからホログラムデータを計算した結果として存在し、電子手段に格納される。干渉を生成可能な変調された光は、その振幅と位相の値が制御可能な光波面の形態で観察者の目の正面の空間を伝播し、これにより光波面は３次元シーンを再構成する。ビデオホログラムのホログラム値とともに空間光変調器（ＳＬＭ）を制御することによって、画素内で変調されディスプレイ画面から放射される波面は、再構成空間内で干渉を生成することによって所望の３次元シーンを再構成する。
【０００３】
ホログラフィックディスプレイ装置は典型的に、照明光の振幅及び位相の少なくともいずれかを電子的に操作することによってオブジェクトポイントを再構成する制御可能な画素の配置を備える。このような配置は、空間光変調器（ＳＬＭ）、または、より一般的には光変調手段を形成する。あるいは、ディスプレイ装置はマトリクス型ではなく連続型でもよい。例えば、マトリクス制御を有する連続的なＳＬＭか、音響工学変調器（ＡＯＭ）を有する連続的なＳＬＭでもよい。液晶ディスプレイ（ＬＣＤ）は、光パターンの空間振幅変調によってビデオホログラムの再構成を行う好適なディスプレイ装置の一例である。しかし、本発明は、光波面を変調するコヒーレントな光を使用する他の制御可能な装置にも適用することができる。
【０００４】
本明細書では、「画素（ピクセル）」という用語はＳＬＭ内の制御可能なホログラム画素を指す。すなわち、画素は個別にアドレスされ、ホログラムポイントの離散値によって制御される。各画素はビデオホログラムのホログラムポイントを示す。したがって、ＬＣＤでは、「画素」という用語は、ディスプレイ画面の個別にアドレス可能な画像ポイントに対して用いられる。ＤＬＰでは、「画素」という用語は、個々のマイクロミラー又はマイクロミラーの小さなグループに対して用いられる。連続的なＳＬＭでは、「画素」は、複雑なホログラムポイントを示すＳＬＭ上での遷移領域である。したがって、「画素」という用語は一般に、複雑なホログラムポイントを示すか表示することが可能な最小のユニット（単位）を示す。
【０００５】
本願出願人が特許文献１ですでに説明したように、コンピュータ生成ビデオホログラムは、例えば、ホログラフィックディスプレイ装置を用いて再構成することができる。観察者は目の瞳孔よりも大きな１以上の仮想観察者ウィンドウを介してディスプレイ画面を観察する。
【０００６】
「観察者ウィンドウ」とは、３次元シーンの再構成全体を十分な視認性でもって観察者が観察可能な限られた仮想領域である。観察者ウィンドウは観察者の目の上または近傍に設けられる。観察者ウィンドウはｘ，ｙ，ｚ方向に移動させることができる。観察者ウィンドウ内で、波動場は、再構成オブジェクトを観察者が観察できるように干渉する。このウィンドウは観察者の目の近傍に設けられ、公知の位置検出・追跡システムを用いて観察者の実際の位置に追随することができる。したがって、これは好適には、目の瞳孔のサイズよりもやや大きいサイズだけに限定される。それぞれが目の各々に対応する、２つの観察者ウィンドウを使用することもできる。一般には、より複雑な観察者ウィンドウの構成も可能である。さらに、観察者から見てＳＬＭの背後に現れるオブジェクト又はシーン全体を有するビデオホログラムを符号化することも可能である。
【０００７】
「変換」という用語は、変換と同一の、または変換を近似する、あらゆる数学的技術または計算技術が含まれると解釈すべきである。数学的意味の変換は物理的作用の単なる近似に過ぎず、これはより正確にはマクスウェル波動方程式で記述される。フレネル変換等の変換や、あるいは、フーリエ変換として知られている特別な変換の一群は、二次的な近似を記述する。変換は通常、代数方程式や非微分方程式で示されるため、公知のコンピュータ手段を用いて効率的かつ高性能に処理することができる。さらに、これらは光学システムにおいて正確に用いることができる。
【０００８】
本願出願人が提出した特許文献２は、コンピュータ生成ビデオホログラムを計算する方法を記載している。その方法によれば、３次元シーンの複素振幅値を有するオブジェクトが互いに平行な仮想セクション層のマトリクスドットに割り当てられる。これにより、各セクション層について、別個のオブジェクトデータセットがマトリクスドットの離散振幅値で定義され、ホログラフィックディスプレイ装置の光変調マトリクスに対するホログラフィックコードが画像データセットから計算される。
【０００９】
この発明によれば、目的の解決手法は、コンピュータの援助によって以下のステップを実行するという一般的な発想を利用している。
・セクション層と有限な距離に平行に設けられた観察者平面に対する、波動場の分離した２次元分布の形態で、回折画像が、各断層シーンセクションの各オブジェクトデータセットから計算される。ここで、観察者の目の位置の近傍の観察者平面に設けられた１以上の共通の仮想ウィンドウである観察者ウィンドウについて、全てのセクションの波動場が計算される。なお、この観察者ウィンドウの領域はビデオホログラムよりも小さい。
・全てのセクション層について計算された分布は加算されて、観察者平面に関して参照されるデータセット内で観察者ウィンドウについて集約された波動場が定義される。
・参照データセットは、参照平面と有限な距離に平行に設けられたホログラム平面内に変換され、これにより集約されたシーンのコンピュータ生成ホログラムについてホログラムデータセットが作成される。ここで、光変調マトリクスがホログラム平面内に設けられており、光変調マトリクスの助けによって、符号化の後に観察者の目の正面の空間にシーンが再構成される。
【００１０】
上述の方法及びホログラフィックディスプレイ装置は、シーンのオブジェクトそのものを再構成するのではなく、好ましくは、オブジェクトによって放射されるであろう波面を１以上の観察者ウィンドウにおいて再構成するという発想に基づいている。
【００１１】
観察者は仮想観察者ウィンドウを介してシーンを観察することができる。仮想観察者ウィンドウは、公知の位置検出・追跡システムの助けによって、実際の観察者の位置に追随することができる。仮想的で錐台形状の再構成空間は、ホログラフィックディスプレイ装置の光変調手段と観察者ウィンドウとの間に広がる。ここで、ＳＬＭは錐台の底面と上面である観察者ウィンドウを示す。観察者ウィンドウが非常に小さい場合、錐台はピラミッド型に近似できる。観察者は仮想観察者ウィンドウを介してディスプレイを眺め、観察者ウィンドウ内でシーンを示す波面を受け取る。
【特許文献１】国際公開第２００４／０４４６５９号パンフレット
【特許文献２】国際公開第２００６／０６６９１９号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、深さ情報を有する３次元画像データからビデオホログラムのリアルタイム生成を行う方法を提供することである。特に、例えばグラフィックカードやゲーム機で使用されているような、今日市販されているグラフィック・プロセッサやグラフィック・サブシステムを使用すべきである。一般性を制限しないように、ハードウェア、ソフトウェア、及びプログラムインタフェースは、確立された産業標準を用いるべきである。
【課題を解決するための手段】
【００１３】
以下、本発明に係る方法の一般的な思想について、可能な最適化を詳述せずに説明する。この方法は深さ情報を有する３次元画像データに基づく。この情報は、例えば、頂点、法線ベクトル、およびマトリクス（行列）の形態で３次元の記述として利用できる。画像データは、通常、材料や表面の特性等についての付加情報も有する。
【００１４】
リアルタイムのレンダリングにおいては、３次元レンダリングパイプラインまたはグラフィックスパイプラインが、３次元シーンのベクトルによる数学的な記述から、モニタ画面上で表示するためのフレームバッファ内の画素化された画像データを導く方法を記述する。例えば、画面座標の装置座標への変換、テクスチャリング、クリッピング、およびアンチエイリアシングはパイプラインで実行される。３次元シーンの２次元投影を示し、グラフィックアダプタのフレームバッファに格納された画素化された画像は、例えばＬＣディスプレイのようなモニタ画面の制御可能な画素の画素値を有している。
【００１５】
ホログラフィック表示を実現するために、干渉を生成可能な光に対して位相変調と振幅変調の少なくともいずれかが行われ、重ね合わされた光波によって生成された干渉パターンの助けによって３次元シーンが再構成される。
【００１６】
このグラフィックスパイプラインは、深さ情報を有する３次元画像データからビデオホログラムを生成する第１の処理ステップにおいても使用される。次に、ホログラフィックデータの生成がシーンの変換に基づいて行われる。ここで、この変換は光波の伝播を記述する。逆変換の後に符号化処理が実行され、ここでは、ホログラフィックディスプレイ装置の１以上の光変調手段について、複素ホログラム値が画素値に変換される。
【００１７】
本発明は、一方の３次元レンダリング処理と、もう一方のホログラフィック変換、逆変換、および符号化処理とを、グラフィックスプロセッサと演算プロセッサとで別々に実行するのではなく、２つの処理のグループを１以上のグラフィックスプロセッサで実行するという発想に基づいている。全ての処理ステップの実行全体はグラフィックスサブシステムで行われ、このグラフィックスサブシステムは、主にグラフィックスプロセッサの主要コンポーネントと、記憶メディアと、インタフェースとを備えている。本発明によれば、これは、今日市販されているグラフィックスプロセッサの性能が演算プロセッサと比べて高いことを好適に活用することを目的としたものである。さらに、グラフィックスサブシステムと他の外部インタフェースとの間の複雑なデータ転送を省略することができる。
【００１８】
以下、上述の処理ステップを詳細に説明する。３次元シーンの見え方（ビュー）は観察者の位置と観察方向によって定められる。観察者には、参照平面内の観察者の目の近傍に位置する１以上の仮想観察者ウィンドウが割り当てられる。
【００１９】
画像データは深さ情報を有する３次元記述の形態で利用可能である。典型的には、オブジェクトの色とその表面のテクスチャの両方が規定される。さらに、材料と光源の特性が補助アルゴリズムの助けによってモデル化されるか生成される。
【００２０】
予備的なステップにおいて、観察者の観察方向に従い、シーンが、回転され、その大きさが変更され、変形されるとともに、シーンの視認性が計算される。次に、光の種類及び分布についての必要な全ての情報が照明モデルの助けによって計算される。これはホログラフィックデータを生成する後続するステップにおいて、座標と照明の詳細を繰り返し計算する必要がないことの保証を目的としている。これらの計算はむしろ複雑で、複雑なシーンの場合、システム全体の性能に悪影響を与えるだろう。
【００２１】
第１の処理ステップには深さマップの３次元レンダリングと生成が含まれる。次に、シーンデータは、２つの平行なセクション平面によってセクション層にスライス（薄切りに）される。これらの平面は観察者の観察方向に対して適切な角度に設けられ、セクション平面の間の距離は、計算結果に十分正確であるだけでなく、処理性能が良好となるように十分小さく選択される。理想的には、この距離が十分小さくて、計算中は、観察者に対する距離が一定の深さ情報だけが検討の必要があるようにすべきである。平面間の距離がこれよりも大きいと、例えば、２つの平面の間の平均距離が所定の層に対して定義され割り当てられるように、深さ情報は選択される。このようにして、ある層のシーンセクションデータはレンダリングされ、深さマップが生成される。
【００２２】
これに続く処理ステップでは、シーンセクションデータが変換される。一般に、変換は、光波の仮想観察者ウィンドウに対する伝播を記述する。最も単純な変換はフーリエ変換とフレネル変換である。好適には、フーリエ変換は、観察者に対する距離が非常に大きいために、光波を平面の波面と見ることが可能な遠距離場で用いられる。他の変換と対照的に、フーリエ変換は、その変換を光学エレメントの助けによりモデル化することができるという利点を示し、その逆も真なりである。球面波の近接する場において、フレネル変換は好適に用いられる。この変換はセクション層に伴われる一定のｚ座標に基づいている。例えば、２つの平面の一方のｚ座標か、あるいは、２つの平面のｚ座標の平均が用いられる。
【００２３】
上述の３次元レンダリングと変換の各ステップは連続的に繰り返され、これにより、シーン全体が変換されるまで、観察方向にセクション平面が継続的に変位される。シーンセクションデータの変換データが引き続き加えられて、集約された参照データセットが形成される。シーン全体の変換の後で、この参照データセットは個別のシーンセクションデータの変換を合計したものを示す。
【００２４】
後続する処理ステップでは、参照データをホログラム平面内に変換する逆変換が実行される。ここで、ホログラム平面は、ビデオホログラムに係るホログラムデータを生成するために、光変調手段と同じ位置を占め、参照平面と平行に最終距離の位置に設けられる。
【００２５】
最後の処理ステップでは符号化処理が実行され、ここでは正規化の後に画素値への変換が実行される。ブルクハルトの符号化方法が用いられる場合は、０と１との間の範囲で正規化された３つの値で複素ホログラム値が示される。ここで、１で示される値は、最大実現可能コンポーネント値を形成する。次に、これらの値は離散値に変換され、これらは離散化されたグレースケール値の形態で、光変調手段の画素に対する制御強度を示す。離散化ステップの回数は、使用されるグラフィックカードとディスプレイパネルの両方の特性に依存する。これらは、通常、８ビットの解像度と２５６のグレースケールステップを有する。例えば、１０ビット以上の他の解像度も可能である。他の好適な符号化方法は２フェーズ符号化方法である。
【００２６】
この方法の特定の実施形態によれば、解析はできないが、反復法だけが用いられる符号化方法が選択された場合、３次元レンダリングから符号化への各ステップは、信号雑音が最小である最適解が十分よく達成されるまで繰り返される。
【００２７】
次に、符号化された画素値は光変調器へのフレームバッファ内に転送され、これにより干渉を生成可能な光が位相と振幅との少なくともいずれかについて変調され、重ね合わされた光波によって生成された干渉パターンの助けによって３次元シーンが再構成される。
【００２８】
カラー画像のコンテンツが生成される場合、この方法は各カラー（色）のコンポーネントについて同様に適用される。ビデオホログラムを表示するために、各画素は、ホログラムのカラー化されたポイントを示すか表示するための３原色の各々のサブ画素から構成されていてもよい。ビデオホログラム符号化の種類に基づいて、ホログラムのカラー化されたポイントの各々の原色を示すために、さらなるサブ画素を用いてもよい。
【００２９】
したがって、本発明に係る方法は、グラフィックカードまたはゲーム機において用いられているような、今日市販されているグラフィックスプロセッサとグラフィックスサブシステムにおいて、深さ情報を有する３次元画像データからビデオホログラムをリアルタイムに生成するための基盤を提供するものである。
【発明を実施するための最良の形態】
【００３０】
以下、実施形態と添付図面を参照して、本発明のさらなる側面とその詳細について説明する。
【００３１】
図１は本発明に係る方法のフローチャートである。この方法は深さ情報を有する３次元画像データに基づく。シーンのビューは、観察者の位置と観察方向によって規定される。観察者には、参照平面内の観察者の目の近傍に存在する１以上の仮想観察者ウィンドウが割り当てられる。
【００３２】
予備的な処理ステップにおいて、シーンの座標が変換され、シーンの照明計算が観察者の観察方向を考慮して実行される。必要ならば、シーンの表示品質を改善するために、ここでさらなるステップが実行されてもよい。これらのステップとこれに続く全てのステップは、グラフィックスサブシステムで実行される。
【００３３】
最初のステップには、観察者の観察方向に対して適切な角度で設けられた２つの平行なセクション平面の間における、シーンセクションデータの深さマップの３次元レンダリングと生成が含まれる。次に、シーンセクションデータは変換される。すなわち、参照平面内の仮想観察者ウィンドウに対する光波の伝播が計算される。変換されたシーンセクションデータは加算されて、集約されたデータセットが形成される。本実施形態では、高速フーリエ変換アルゴリズムの助けによって、数値的に実装されるフーリエ変換が用いられる。この変換を実行するのに必要な主な数値的動作、すなわち、主な乗算、加算、繰り返し、条件分岐、及びこれらの組み合わせは、プログラム可能なシェーダ上に実装され、実行される。
【００３４】
シーン全体が変換されるまで、３次元レンダリングと変換の各ステップが繰り返され、セクション平面が観察方向に継続的に変位される。その後でシーンは逆変換されるが、ここでもフーリエ変換アルゴリズムが用いられる。逆変換は、もとの変換のように、プログラム可能なシェーダ上に実装され、実行される。逆変換の間、集約データは参照平面からホログラム平面内に変換される。ここで、ホログラム平面は、光変調手段と同じ位置を占め、参照平面と平行に最終距離の位置に設けられる。これによりビデオホログラムに対するホログラムデータが生成される。
【００３５】
最後にシーンは符号化され、３次元シーンを再構成するために、正規化ステップの後に、画素値が計算されて光変調手段へのフレームバッファに転送される。変換と比較して単純なこれらの演算動作も、最も単純な場合にプログラム可能なシェーダ上に実装され、実行される。
【００３６】
図２は、反復法の特別な場合に係る方法のフローチャートである。シーンの可視性と照明を計算するステップと、３次元レンダリングと深さマップの生成のステップと、変換され集約されたシーンセクションデータの変換のステップと、逆変換のステップと、符号化のステップとの主なものは、最初の実施形態で説明したように設計され実装される。この実施形態は、画素値の符号化は分析的に計算できないという考えに基づいている。このため、３次元レンダリングから符号化までの各ステップは、反復して実行される。計算された符号化画素値、すなわち位相と振幅との少なくともいずれかは、後続する変換及び逆変換の反復ステップの初期値としてその中で用いられる。この反復は、信号雑音が最小であることが特徴である最適解が十分よく達成されるまで繰り返される。変換の種類や使用される数値アルゴリズムを考慮して、他の中止の基準、または、最適解の定義を採用してもよい。
【００３７】
図３は、好適なホログラフィックディスプレイ装置（ＨＤＤ）の一般的な原理を示しており、これは、本発明に係る方法により生成されたビデオホログラムを表示するために用いられる。観察者の目で表される観察者は、仮想観察者ウィンドウ（ＯＷ）を介してホログラフィックディスプレイ装置（ＨＤＤ）を観察する。この装置は光変調手段（ＳＬＭ）を備えている。このようなホログラフィックディスプレイ装置は、オブジェクトから観察者平面（ＯＰ）内の１以上の仮想観察者ウィンドウ（ＯＷ）へ放射されるであろう波面を主に再構成する原理に基づいている。
【図面の簡単な説明】
【００３８】
【図１】本発明に係る方法のフローチャートである。
【図２】反復法の特別な場合に係る方法のフローチャートである。
【図３】好適なホログラフィックディスプレイ装置の一般的な原理を示す図ある。
【図１】
2009533740.tif 000003
【図２】
2009533740.tif 000004
【図３】
2009533740.tif 000005
【国際調査報告】
2009533740.tif 000006
2009533740.tif 000007
2009533740.tif 000008
2009533740.tif 000009
2009533740.tif 000010
2009533740.tif 000011