"透過特性を有するオブジェクト300を含む3次元シーン再現用ホログラムシステムの光学的光変調器SLMについて、観察者の少なくとも1つの眼球に対するホログラム符号化値の計算方法であって、前記3次元シーンは各オブジェクト点に分割されて、これらのオブジェクト点の座標が決定され、前記3次元シーンが明らかに知覚される仮想観察者位置400は、選択された観察者の眼球位置に対応して決定され、符号化される全てのオブジェクト点は、前記仮想観察者位置400から見た際に、他のオブジェクト点により完全に遮蔽されないように決定され、各可視オブジェクト点の実際の輝度510は、前記仮想観察者位置400における視角での、これらのオブジェクト点の位置における、前記シーンの全ての実光源及び仮想光源の位置及び明度を可能な限り考慮することで、前記実光源及び仮想光源を含む前記オブジェクト200、300の物理特性を考慮して決定され、符号化される各可視オブジェクト点について、前記仮想観察者位置400において知覚される前記オブジェクト点が有する見かけの輝度値520は、その実際の位置における実際の輝度510、前記仮想観察者位置400への距離、及び全てのオブジェクト300あるいは前記可視オブジェクト点と前記仮想観察者位置400との間に存在するオブジェクト点の透過特性を考慮して決定され、各オブジェクト点は、前記ホログラムシステムにおいて可能な限りその位置で輝度値が再現され、不透明及び透明なオブジェクト点が独立してそれぞれの位置で知覚されるように、各輝度値を有して独立して符号化されることを特徴とする方法。符号化される各オブジェクト点について、前記見かけの輝度値に加え、前記仮想観察者位置400で知覚される前記オブジェクト点が有する見かけの色値が、その位置における実際の色値、及び全てのオブジェクト300あるいは可視オブジェクト点と仮想観察者位置400の間にあるオブジェクト点の透過特性を考慮して決定され、各オブジェクト点は、前記ホログラムシステムにおいて可能な限りその現実位置あるいは仮想位置で該閾値が再現され、不透明及び透明オブジェクト点が独立してそれぞれの位置で知覚されるように、各色値を有して独立して符号化されることを特徴とする請求項1に記載の方法。追加の仮想オブジェクト点は、少なくとも1つの仮想光源または実光源の光と、再現されるシーンの3次元オブジェクト200、300のオブジェクト点との相互作用の結果としての反射、放射、あるいは散乱に応じて仮想的に生成されることで、前記オブジェクト200、300及び仮想または実光源のスペクトル特性を考慮して計算され、前記仮想観察者位置400における見かけの輝度値520、あるいは見かけの輝度値520及び色値は、現実オブジェクト点についてのように、これらのオブジェクト点について算出され、これらの各値は独立して符号化されることを特徴とする請求項1または2に記載の方法。前記オブジェクト点の位置は、必要であればオブジェクト200、300あるいは前記仮想観察者位置400と補正されるオブジェクト点との間にあるオブジェクト点における反射、屈折、あるいは回折のような光学特性に応じて、前記仮想観察者位置400について補正され、前記見かけの輝度値520、あるいは見かけの輝度値520及び色値は、補正された位置に応じて計算され、前記オブジェクト点は前記各値を有して独立して符号化されることを特徴とする請求項1乃至3のいずれか1項に記載の方法。前記仮想観察者位置400におけるオブジェクト点の前記見かけの輝度値520、あるいは前記見かけの輝度値520及び色値は、前記オブジェクト200、300あるいは前記オブジェクト点と前記仮想観察者位置400との間にあるオブジェクト点の空間透過分布を考慮することで、空間相互依存性を考慮して計算されることを特徴とする請求項1乃至4のいずれか1項に記載の方法。前記仮想観察者位置400におけるオブジェクト点の前記見かけの輝度値520、あるいは前記見かけの輝度値520及び色値は、確率統計的手法と、透過オブジェクト、反射オブジェクト、拡散オブジェクト、回折オブジェクト、及び屈折オブジェクトの少なくともいずれかのオブジェクト、あるいはオブジェクト点と前記仮想観察者位置400との間にあるオブジェクト点についての吸収、拡散、反射、及び回折可能性とを用いて計算されることにより、空間相互依存性を考慮して計算されることを特徴とする請求項1乃至5のいずれか1項に記載の方法。オブジェクト点と前記仮想観察者位置400の間にある少なくとも1つの単体オブジェクト300の少なくとも1つの透過値は、該点の視認性を強化あるいは低減するために、個々のオブジェクト点の前記見かけの輝度値520あるいは前記見かけの輝度値520及び色値の計算において、増幅あるいは減退させた形式で考慮されることを特徴とする請求項1乃至6のいずれか1項に記載の方法。吸音特性を有するオブジェクトを含む3次元シーンの音声値の空間的及び時間的な変更を含む、3次元音場を再現する少なくとも2つの音声生成手段を有する音声再現システムについて、聴取者の少なくとも1つの耳に対する符号化値の計算方法であって、3次元シーンは音声に影響を及ぼしうる個々のオブジェクト点に分割されて、これらのオブジェクト点の座標が決定され、3次元シーンが明らかに聴覚で知覚される仮想聴取者位置は、選択された聴取者の耳の位置に対応するように決定され、全てのオブジェクト点は、前記仮想聴取者位置の方向において他の完全吸音オブジェクト点に完全に遮蔽されないように決定され、前記仮想聴取者位置からの方向に配置される全てのオブジェクト点は、前記仮想聴取者位置との距離によってソートされ、音声に影響を及ぼしうる各オブジェクト点の位置における実際の音量、ピッチ、及び音声通過時間は、前記仮想聴取者位置から知覚される角度での、これらのオブジェクト点の位置における、前記シーンの全ての実光源及び仮想音源の位置及び明度を可能な限り考慮することで、前記実光源及び仮想音源を含む前記オブジェクトのの物理特性を考慮して決定され、音声に影響を及ぼしうる各オブジェクト点について、前記仮想聴取者位置において知覚される前記オブジェクト点が有する見かけの音量、ピッチ、及び音声通過時間は、前記音声に影響を及ぼしうるオブジェクト点の位置における実際の音量、ピッチ及び音声通過時間と、前記仮想聴取者位置までの距離と、全てのオブジェクトあるいはオブジェクト点と前記仮想聴取者位置の間にあるオブジェクト点の吸収特性とに基づいて決定され、該音量、ピッチ、及び音声通過時間を有する各音声値は、前記音声再現システムを用いた再現が、前記仮想聴取者位置において該見かけの音量、ピッチ、及び音声通過時間で知覚されるように独立して符号化されることを特徴とする方法。仮想的な音量、ピッチ、及び音声通過時間が、請求項8に記載の方法に応じて計算及び符号化され、さらに前記見かけの輝度値520、あるいは前記見かけの輝度値520及び色値が計算及び符号化されることを特徴とする請求項1乃至7のいずれか1項に記載の方法。透過特性を有するオブジェクト300を含む3次元シーンを再現するホログラムシステムの光学的光変調器SLM及び音声生成手段の少なくともいずれかについて、少なくとも、観察者の少なくとも1つの眼球及び聴取者の少なくとも1つの耳のいずれかに対する符号化値を計算する計算ユニットであって、請求項1乃至9のいずれか1項に記載の方法を実行することを特徴とする計算ユニット。少なくとも1つのプログラム可能なプロセッサコア、任意の形式の少なくとも1つのプログラム可能論理回路PLD、少なくとも1つの特定用途向け集積回路ASIC、及び少なくとも1つのデジタル信号プロセッサDSPのうち、少なくとも2つの装置が1つの集積回路に組み合わされて実現されることを特徴とする請求項10に記載の計算ユニット。3次元シーン再現用のディスプレイのシステムコントローラの一部であることを特徴とする請求項10または11に記載の計算ユニット。3次元シーンの計算に用いられる一般的なコンピュータシステムであることを特徴とする請求項10乃至12のいずれか1項に記載の計算ユニット。不透明及び透明オブジェクトを含む単純な3次元シーンが、図12の概略図に示される。ホログラムシステムまたはホログラム表示装置不図示を用いて再現される3次元シーンは、不透明オブジェクト200及び透明オブジェクト300を含む。2つのオブジェクト200及び300は、図12には示されない複数のオブジェクト点に分割されうる。白色拡散光源不図示は、全ての方向から均一に3次元シーンを照射する。光源の光線101から110までが、図12に概略的に示される。3次元シーンは、観察者の眼球400について再現される。観察者の眼球400が3次元シーンを明確に知覚する、シーン内の位置は、参照番号400で示される仮想観察者位置であると判断される。仮想観察者位置400についてオブジェクト200のそらし側avertedsideにある即ち、仮想観察者位置400からみてオブジェクト200の裏側にあるオブジェクトは、オブジェクト200の可視化に貢献せず、故に計算または符号化される必要がない。図12に示されるこの単純なシーンは、反射面を有するオブジェクトを含まず、またシーンは指向性光放射特性を有する光源を含まない。従って、仮想オブジェクトまたは仮想光源はシーン内に発生しない。白色光の3次元シーンの拡散照明により、オブジェクト200、300は、実際の位置にいる観察者によって、オブジェクト200、300の材質特性に関係する色値に従って知覚される。図12の例ではオブジェクト200は黄色を有する。白色光の青色成分の光強度は、オブジェクト200により吸収される。白色光の赤色光及び緑色光は、全ての方向に完全に再放射される。不透明オブジェクト300が3次元シーン内に存在しない場合、不透明オブジェクト200の可視オブジェクト点は、仮想観察者位置において、黄色はIAo=IAo_rIAo_grで実際の強度510を有して知覚される。IAo_r及びIAo_grは、不透明オブジェクト200のオブジェクト点から仮想観察者位置400に向かう指向性光の見かけの強度または実際の色値である。青色についての強度部分または色値IA_oは0に等しい。また、実際の強度の絶対値は、拡散照明の輝度から決定される。図12の3次元シーンにおいて存在する透明オブジェクト300は、透過率がそれぞれTr=0.5、Tb=0.5である赤色光及び青色光を含む。緑色光の強度成分は、透明オブジェクト300により完全に吸収される。即ち、緑色光の透過率はTgr=0である。青色光の50及び赤色光の50が透明オブジェクト300により吸収され、青色光及び赤色光の50が透過される。従って、仮想観察者位置400の位置において不透明オブジェクト200のオブジェクト点が知覚される際の見かけの強度ISo520は、ISo=TrIAo_rTgrIAo_grTbIAo_b=0.5IAo_bである。図12の例では、不透明オブジェクト200の観察されるオブジェクト点は、仮想位置400において、赤色成分が半分の強度を有するものとして知覚される。このようなオブジェクト点は、3次元シーンのホログラム再現の間、強度値が計算されて符号化される。透明オブジェクト300のオブジェクト点は、仮想観察者位置400の方向から見た場合、紫色を含む。実際の強度IAt530は、拡散白色光源の赤色、緑色、及び青色光の3つの強度成分Ir、Igr、及びIbを用いて、IAt=0.5Ir0.0Igr0.5Ibで計算されうる。透過オブジェクト300と仮想観察者位置400IAt=IStとの間には、他の透明オブジェクトは存在しない。従って、透明オブジェクト300の実際の輝度も見かけの輝度である。透明オブジェクト300のオブジェクト点は、3次元シーンの再現においてこれらの輝度値を用いて計算及び符号化される。図12に係る単純な例では、オブジェクトの光インタフェースにおける反射はないものとされている。さらに、媒体内の光路に依存する透過率の振動も除外されている。なお、このような不透明オブジェクトはシーンにおいて光源の光を遮断または遮蔽しうるため、不透明オブジェクト点は、仮想観察者位置に向かう方向にある透明オブジェクトの、実際の及び見かけの輝度及び/または実際の及び見かけの色に影響を及ぼす。より正確な物理的効果が画像合成を実行しながら考慮され、3次元シーンのより現実的な視点が生成されうる。特に再現される3次元シーンの3次元知覚を可能にするために、観察者の全ての眼球について異なる視点が生成される。再現されたホログラムが、広い視野角で同時に見える場合、異なる仮想観察者位置について例えばハードコピーや複数の視点が計算され、中間地点についての視点を隣接する視点から補間可能である。このようにすることで、3次元シーンのコンテンツが、仮想観察者位置について変更可能である複数ホログラム。単一視点の計算は、順次及び/または好ましくは並行して実行されうる。観察者の1つの眼球についての仮想観察者位置は、観察者位置が変化した場合に、観察者の移動に適応されうる。不透明オブジェクト200及び透明オブジェクト300の可視オブジェクト点は独立して符号化されるため、観察者は各単一オブジェクト200、300の各々に焦点を合わせることが可能であり、従って、3次元シーンのオブジェクトを見た場合に、眼球の輻輳と調節の間で不整合が生じないため、ほとんど眼精疲労を起こすことなく、再現された3次元シーンを観察できる。従って、観察者は歪みなく、自然な眼球の動きで再現された3次元シーンを観察可能である。本発明に係る3次元シーンの計算を実行する際、既知のプログラムライブラリがこのようなシーンの計算に用いられてもよい。このようなプログラムライブラリは、例えばOpenGL、Direct3D、あるいはXNAフレームワークである。例えばルックアップテーブルLUTの予め計算された値へのアクセスや中間値の補間等の既知の数学的手法を用いることもできる。本発明は、特定の実施形態とともに開示されたが、同一の技術分野に属する当業者にとって、多くの代替、改変、及び変形が、上記の説明に照らして同一の技術分野に属する当業者には明らかであることは理解される。従って、本発明は、添付の特許請求の範囲内にある全ての代替、改変、及び変形を包含ことを意図する。[付録]以下の開示は、上述した本発明に関するさらなる情報開示のために提供される。情報が上述の記載になく、付録のみに提供される場合であっても、付録は本発明の一部を構成することを強調する。[ホログラムディスプレイのコンテンツのリアルタイム生成、符号化、及び提示]既製ハードウェアと組み合わせてSeeRealのサブホログラム技術を用いることにより、リアルタイムにインタラクティブコンテンツあるいは映像コンテンツを有するホログラムディスプレイを駆動するためのソリューションについて説明する。コンテンツ側とホログラム側の双方から、ホログラムにおける透過率に関する態様を含む複雑なコンテンツを正確に作成するためのガイドラインが示される。コンピュータ生成されたホログラムを生成する従来の手法が、急激に計算能力を削減する、サブホログラムを用いる我々のソリューションと比較して説明される。最後にコンピュータプラットフォームと我々の20インチ直視型ホログラムプロトタイプの仕様が示されるだろう。《1.導入》CGHコンピュータ生成ホログラムを生成する従来の手法は、計算能力を大量消費するため、インタラクティブなアプリケーションに適していない。このため、これらを使用することにより、単に静止画や計算済みの動画は実現される。3Dステレオに比べて3Dホログラムの重要な利点を実現するために、インタラクティブなコンテンツ-これは3Dホログラムの快適な鑑賞を与える、専門家による設計、3Dゲーム、あるいは3D-TVのような典型的な3次元アプリケーションを組み合わせるためのロードマップを提供する-が不可欠である。従って、高性能コンピュータハードウェアを必要とせずに、リアルタイムのホログラム計算のためのソリューションが要求される。本付録では、魅力的なインタラクティブホログラムアプリケーションを作成するためのいくつかの背景を示す。さらに、我々の新しいサブホログラム技術の適応は、リアルタイムでのホログラム計算を可能にする、効果的なグラフィックス処理ユニットを利用可能にする、あるいはフィールドプログラマブルゲートアレイが説明される。《2.リアルタイムホログラフィ》本章では、ホログラフィの概要を与え、特に、リアルタイムで大規模なホログラムを計算するための基礎である、SeeRealの新たなサブホログラム技術について従来の手法を比較する。2.1なぜホログラフィなのか3Dステレオと比較して、ホログラフィは、深度-焦点と輻輳の間の、奥行き手がかりにおける不整合の問題を解決する。これは、わずかな位置の損失が発生した場合でさえも疲労や頭痛を引き起こす、所謂調節と輻輳の不整合であり、このため3Dステレオの場合、わずか深度範囲のみが実現されなければならず、休みなしで3Dステレオに夢中にさせられる時間も非常に制限されるべきであった[2]。対照的にホログラフィは、非常に広い深度範囲を可能にする、自然な立体視のようであり、オブジェクトの観察において眼球の合焦と輻輳の両方を可能にするため、悪影響がない。ホログラムを見た場合、現実世界のように、合焦されたオブジェクトはシャープに見え、異なる距離にある他のオブジェクトはぼやけて見えるだろう。3Dステレオにおいて、眼球はオブジェクトに輻輳するが、ディスプレイ自体に合焦していることになるため、上述したような図1A参照効果を導く不整合が発生する。多くのアプリケーション分野、即ち専門の3D設計、3Dゲーム、及び3Dテレビに対するより良いオプションであるため、ホログラムが近年急速に発展する3Dステレオ市場における次の大きなステップであろう理由がこれである。次節では、SeeRealの新たなソリューションを用いてサブホログラムと呼ばれるホログラムを作成するために、従来の手法との比較を行う。サブホログラムの使用は、既製のハードウェア部品を用いたホログラムディスプレイにおいてインタラクティブコンテンツを実現可能にする、広く深いホログラムをリアルタイムに計算可能にする。図1を参照する。図1Aは、3Dステレオと裸眼視/ホログラフィの違い:深度においてオブジェクトに両眼が輻輳するが、表示面に合焦する3Dステレオと、合焦も輻輳も同一である裸眼視及びホログラフィとの違い。図1Bは、従来のホログラフィの原理:コヒーレント光源により照射された場合に、複数の広く重なり合う回折パターンが複数のシーン点を再現する-再現は定義された鑑賞ゾーンにおいて見ることができる。2.2従来の手法対サブホログラムホログラムは、一般的に複雑な回折パターンである。コヒーレント光源で照射された際に、シーン点で構成される3次元シーンは空間内の定義された範囲図1Bを参照で鑑賞可能なように再現される。コンピュータ生成ホログラムCGHを計算する従来の手法は、概して以下の動作に基づく:ホログラムの各画素は、再現された各シーン点に貢献する。これは、シーンの各シーン点に対して、完全なホログラムのサイズを有する回折パターンが計算されなければならないことを意味する。これらの個々のホログラムは、完全なシーンを提示するホログラムを生成するために、-複雑な重ね合わせにより-全て1つに足し合わされる。図2を参照する。図2Aには、従来の手法を用いる場合に、広い鑑賞ゾーンが生成されるが、観察者の眼球の位置では実際は小さい部分のみが必要とされる-計算された情報の大部分は無駄となることが示される。図2Bは、サブホログラムを用いる場合、必須の情報のみが計算されることを示す。さらに、ホログラムディスプレイの解像度は、今日の生産能力において容易で十分可能である。一方で、これらの従来のホログラムは、非常に広い鑑賞ゾーンを提供するが、再現するために非常に小さい画素ピッチ即ち、約1μmが必要である図2A参照。ホログラフィの基本原理、回折光の干渉により、鑑賞ゾーンのサイズは画素ピッチにより直接定義される。鑑賞ゾーンが十分に広い場合、両眼は自動的に別の視点を知覚するため、複数のユーザが独立して3Dシーンの再現を見ている場合でも同一の点において合焦及び輻輳する。従来のホログラムでは、各シーン点を計算するための画素数は莫大である。有益なディスプレイサイズにおいて小さなピッチを提供するディスプレイ技術不足に加え、信じられないほどの演算能力を必要とするだろう。さらに、このような大量のデータの取り扱いは、データ転送レートやメモリ等に関する多くの問題につながる。これは、従来の手法を用いるリアルタイムホログラフィが予見可能な将来において商業的に実現可能に思えなかった主な理由である。これらの技術的限界故に、ハードコピーや化学フィルムのようなただの静止画は、デスクトップやTVのようなアプリケーションについての適切なサイズにおいて、今日に至るまでのスケーラブル技術を用いて実現されうる。図2Bを参照すると、眼球が実際に見ることができる情報のみが本来必要となるため、従来のホログラムにおける計算された情報の多くが無駄となっている。完全な鑑賞ゾーンの計算の代わりに、観察者の眼球の位置において特定の3Dシーン点を再現する役割があるホログラムの一部のみサブホログラムSHが計算が必要になる。この低減された鑑賞ゾーンは、所謂鑑賞ウィンドウVW:ViewingWindowである図3参照。該鑑賞ゾーンのサイズの低減は、画素ピッチ増加させることによりなされる-画素ピッチと他のパラメータが鑑賞ゾーンのサイズを定義する。異なるシーン点のSHを重複させる加算や重ね合わせことにより、緻密なシーン点を有するホログラム3DシーンがVWの位置において再現され、視認可能となる図3参照。一方、増加した画素ピッチは、他の動機として、今日のディスプレイ技術の使用で可能な、画素数の劇的な低減を導く。しかしながら、小さなVWの使用も、観察者の眼球運動に応じてVWを移動させる、高速で、信頼性があり、かつ非常に正確な眼球追跡システムの必要性も暗示する。このような眼球追跡システムは既に開発されているが、現在SeeRealは、SID、FPD横浜、及びファインテックのような公のイベントにおいてSeeRealにより既に展示されたホログラフィックプロトタイプにおいて実装された独自の眼球追跡ソリューションを用いている。ホログラムの小さい部分のみ-サブホログラム-が低減された鑑賞ゾーン鑑賞ウィンドウにおける1つの単一シーン点の再現に必要であることを示す図3を参照する。複数のサブホログラムの重ね合わせにより、シーン全体を提示するホログラムが、空間内の鑑賞ウィンドウにおいて生成され、再現される。演算能力の節約がどれほど大規模であるかを例示するために、例示的な状況を用いて一般的に両方の手法を比較する。40インチのSLM800mm×600mmを有し、1人の観察者がディスプレイから2メートル離れた位置で観察しており、鑑賞ゾーンが水平及び垂直方向に±10°で、コンテンツが前方1mの範囲からホログラムの後ろには無制限の範囲内に配置され、ホログラムはHDTV解像度1920×1080シーン点を有するシーンを再現し、波長が500nmであり、特定される状況が管理されなければならないものとする。ここで、従来の手法について、256ステップのシーン点について深度量子化が行われると想定されるため、計算はこのような大規模なホログラムに最も効率的な手法を適用するフーリエ変換[1]に基づく。SH手法について、2つの独立したホログラムは、各眼球について1つ計算される必要がある。結論として、双方の手法は、個々の観察者の位置について同一の結果を提供するが、光変調器の分解能に関しての有意差は、フレームサイズと演算能力について顕著に現れる。さらに演算能力を低減するために、SHのサイズ及びホログラム視差が1次元に低減される、所謂単一視差ホログラムが用いられうる。これは、垂直または水平方向について可能である-所謂水平視差のみHPO:horizontalparallaxonlyまたは垂直視差のみVPO:verticalparallaxonlyのホログラム[3]。例えば垂直ホログラム視差や水平両眼視差のような各眼球について異なる視点を有する半視差SHの合成により、計算必要性が低いリアルタイム映像ホログラムが生成されうる[8]。十分に理解されてホログラフィックコンテンツに組み込まれる場合、単一視差再現の知覚限界を観察者は見ることができない。表1:従来手法とサブホログラム手法との比較しかしながら、完全視差SHを提供するホログラムでさえも、十分な演算能力を提供する、フィールドプログラマブルゲートアレイFPGAやグラフィック処理ユニットGPUのような今日の最先端技術を用いるSeeRealのアルゴリズムにより処理可能である。このことは、以下の説で説明される。《3.SeeRealnoホログラフィック処理パイプライン》以下の4節は、上記で説明したようにサブホログラムを用いることによりホログラム3Dディスプレイにおいてリアルタイム3Dコンテンツを示すための重要なステップの概要を示す。我々のホログラフィック処理パイプラインの一般的な概要を示す図4を参照する。図4に示される手順は、以下のモジュールに分割される、我々のホログラフィックソフトウェアパイプラインを定義する:コンテンツ生成に始まり、コンテンツ生成器により生成されたデータが、複素数値ホログラムが計算されるホログラム合成器に引き渡される。そしてホログラム符号化器は、複素数値ホログラムを使用される空間光変調器SLM、ホログラムディスプレイに適合する表現に変換する。最後に、後処理器は、表示形式に依存する3つの色成分及び2以上の視点について異なるホログラムを合成し、最後にその結果のフレームがSLMに提示可能となる。《4.ステップI:コンテンツ生成》ホログラムディスプレイについて、2つの主要形式のコンテンツが区別可能である。まず1つは、3Dゲームや3Dアプリケーションのようなコンピュータでリアルタイムに生成されたCG3Dコンテンツである。2つ目は、3Dカメラ、3D-TV放送チャネル、3D映像ファイル、ブルーレイ登録商標、あるいは他の媒体から得られるライブ映像であってよい、実生活や生命活動の映像コンテンツである。3Dゲームや3DアプリケーションのようなリアルタイムCGコンテンツの多くについて、グラフィックス処理ユニットGPUを利用する現在の3D描画APIは使い勝手がよい。最も重要なものは、マイクロソフト登録商標のDirect3DやOpenGL-APIである。シーンを生成及び描画する場合、各画素がその2D位置と共に色を提供する、各視点について画素を有する2Dマップ3D描画APIにおけるテクスチャが生成される。各画素は、対応する3次元シーンのシーン点として見ることが可能である。これが、両方のAPIが、SeeRealのホログラフィック処理パイプラインで処理されるように、一般的にコンテンツの生成に非常に適している理由である。4.1視点、色、及び深度情報SeeRealの手法では、各観察者に対して、各眼球について1つ、つまり2つの視点が作成される。3Dステレオとの違いは、各視点についての正確な深度情報の追加が必要なことである-通常はカラーマップに結び付けられる所謂深度マップやzマップが提供される。各観察者についての2つの視点は、各眼球が見ることを期待する適切な遠近感を提供するために不可欠である。これらは共に輻輳情報を提供する。各視点の深度マップで提供される深度情報は、適切な深度におけるシーン点の再現のために用いられ、結果、空間における正しい位置に各3Dシーン点が生成され、裸眼3Dシーンの正しい合焦情報をユーザの眼球が提供される。視点は、独立して、ユーザの位置、及び各観察者の眼球の位置に順に配置される異なるVWについての3Dシーンに従って再現される。提供される深度情報は、深度マップにおいてシーン点の深度が与えられ、該深度情報が相関のある2つの視点の視差により提供されるため、非常に正確でなければならない。これは、ホログラムディスプレイの鑑賞体積における正しい位置にシーン点が再現されるために必要不可欠であり、合焦と輻輳はこれにより整合する。深度情報は、眼球が正しい輻輳点に合焦可能な、正しい回折パターン、サブホログラムを生成するために後に使用される。4.2仮想カメラまた、3Dステレオに適用されるが、コンテンツ制作者によりしばしば過小評価される重要なポイントは、両眼用の視点が取得される正しい3Dカメラ設置リアルタイム3Dコンテンツのための現実のカメラや仮想カメラである。カメラ設置と結果の再現の概略図を示す図5を参照する。FOV視野及びCDカメラ距離とCPD輻輳面の距離の関係の両方は、ED/OD眼球距離/観察者距離の設定とほぼ等しい場合、ホログラムディスプレイは、1対1再現を提供する。観察者が自分の眼球で知覚するように、仮想カメラは、輻輳情報が記録されている場所から、理想的には同じセットアップである必要がある。これは、カメラが表示面での輻輳を有する眼球位置に配置されるべきであることを意味する。そして、オリジナルのシーンを記録することが可能であり、1:1再現となるだろう。一般的に、カメラ設定のためのパラメータ間の関係は、ホログラムディスプレイが提供するセットアップとほぼ同じである必要がある-CD/CPDはほぼED/OD図5参照となるべきである。カメラの視野は、表示面から観察者の眼球に渡って、ほぼ同じ角度領域を提供すべきである。これらの制限を考慮することによってのみ、シーンはそこに実際にあるように再現され、見ることができる。でなければ、シーンは類似するが、わずかに変更された遠近感やサイズを有する場合、いずれかのパラメータに依存することは理想的ではない。パラメータが適切なジオメトリからあまりにも異なっている場合、強力な遠近法の不整合が発生しうる。仮想カメラが配置され、仮想空間内を自由にモデル化されることが可能であるので、これらの制限は、リアルタイムのコンピュータ生成3Dコンテンツについて容易に考慮されうる。このような仮想カメラは、一般的に3D描画APIについて、所謂視点マトリクス及び射影マトリクスにより表される。現実世界3Dカメラまたはコンピュータ生成されたオフラインのコンテンツすなわち、コンピュータアニメーション動画については、一度画像を撮影しているので、上記の制限は、カメラの設定が後で変更することができないことを、留意すべきである。譲歩は、要求された全ての視点が生成される色と深度情報を含む1つの中心の視点から必要なすべての視点の自動生成することであってよい[10]。しかし、品質の損失が、主に遮蔽情報が欠落しているため、考慮されなければならない。1つの視点のみが利用可能なため、オブジェクトが中心視において遮蔽されているという重要な視点情報は他の視点では使用できない。にもかかわらず、実施形態は、データストリームの一部として遮蔽データを含めることができる。リアルタイムコンピュータ生成3Dコンテンツについて、ユーザ追跡を行うホログラムディスプレイの前での実際の観察者位置が、仮想カメラの適切な位置決めのために用いられうる。鑑賞ウィンドウ内の情報のみを有するSeeRealのホログラム3Dディスプレイでは、眼球座標の知識は、元のシーンの完全な鑑賞範囲見て回る効果を提供するように、観察者の位置や動きに対応する仮想カメラの位置決めのために使用することができる。このことは、静止オブジェクトを見て回る際に、現実のように同一の位置でシーンが固定されているように見えることを意味する。また、長時間の3D視聴を快適にするための現実の全ての奥行手がかりを提供するために、これは同一の広い鑑賞ゾーンを生成し、従来の超高解像度ホログラムが本質的に提供する。さらに、該特徴は、仮想カメラのセットアップを完全にするために、観察者の眼球位置に応じて仮想カメラの距離を適切に設定するために用いられる。見て回る効果は、すべての3Dコンテンツについては望ましくないであろう任意のスイッチON/OFF特徴である。4.3透過率SeeRealのホログラフィック処理パイプラインのユニークな特徴である、興味深い効果は、半透明オブジェクトを含むシーンの再現である。ガラスや煙のような現実における透明オブジェクトは、強度、方向、または波長について、光源からの光に影響を与える。自然界では、眼球は、透明オブジェクト、またはその部分で透明なオブジェクトであるかもしれない、背後のオブジェクトの両方に合焦することができる。このような再現は、ホログラフィにSeeRealのソリューションを使用して達成することができ、表示例は以下のように実現される:眼球とディスプレイとを結ぶ1つの直線状において異なる深度に配置された複数のシーン点は、順に再現される。これは、ホログラムの同一の位置における異なる深度及び色を有する3Dシーン点について複数のSHを重ね合わせ、個々の深度で異なるシーン点に眼球が合焦可能であることを意味する図6Aを参照。観察者の眼球の合焦距離にあるシーン点は、シャープに見え、その間前後ではぼやけるだろう。あいにく、再現された3Dシーン点は、自然界において透明オブジェクトが光波を通過する物理的な振る舞いを実現できない。この振る舞いは、色フィルタや減衰のような効果を実現することに応じて、シーン点の色を操作することによりシミュレートされなければならない。コンテンツ制作側からみれば、この透過効果は既存の色及び深度地の他に、各シーン点についてアルファ値を追加することにより制御されうる。シーン点がアルファ値0.0完全に透明を有する場合、それは再現されず、SHは生成されない。アルファ値1.0は、完全に不透明なシーン点を意味し、これについて単一のSHが生成されるだろう-背後にある全てのシーン点は見えなくなり、SHはそれらについて生成されない。0.0~1.0の値は、シーン点が部分的に透過することを示し、アルファ値は透過度を示し、そして透明シーン点とその後ろあるいは前のシーン点について、サブホログラムが生成されるだろう。Direct3DやOpenGLのような現在のリアルタイム3D描画APIは、描画したシーンを格納するために、一般に1つの色マップと1つの深度マップのみが同時に用いられるため、1画素につき1つの深度値のみを提供する。透過効果の描画は、既に色マップに描画された他のオブジェクトに対して、深度順に全ての透明オブジェクトをブレンドすることにより、一般にマルチパスが実行される。これらのブレンディングパスについて、深度値の生成は一般に破棄される。深度マップにおける各画素の最終の深度値は、通常全ての透明オブジェクトの背後にある画素に対応する。故に、一方でこの既存技術の3D描画APIを使用し、他方で全ての透明オブジェクトについて深度値を生成するように、ソリューションはSeaRealにより開発された。ホログラム面において同一の位置にあるが、異なる深度値を有する複数の3Dシーン点についてのSeeRealの生成原理は、複数のコンテンツデータレイヤの使用に基づく図6Bを参照。各レイヤは、個々の色、深度、及びアルファ情報を有するシーン点を含む。これらのレイヤは順序づけられた深度レイヤのように見え、各レイヤは透過率を有する、または有さない1以上のオブジェクトを含む。要求されるそうレイヤ数は、3Dシーンにおける透明3Dシーン点を重ね合わせる最大数に対応する。この方式は、2D及び立体3Dディスプレイについて透明効果を生成する手法と互換性がある。一方の違いは、既存の色を上書きする代わりに、適切なレイヤの色マップにブレンディングパスの結果を方向付けることである。他方の違いは、生成された深度値が、それらを廃棄する代わりに、レイヤの深度マップに格納されることである。図6を参照する。図6Aは、眼球とディスプレイとを結ぶ1つの直線上の封数のシーン点が、連続して再現され、透過効果を可能にするように用いられうることを示す。図6bは、透明シーン点を扱うために、1つの追加レイヤより多いレイヤであってもよいを有する例示的なシーンを示す。透明シーン点は、第1のレイヤにおいて格納され、背景オブジェクトは背景レイヤに含まれる。最終的に、レイヤは、与えられたアルファ値に応じて全てのシーン点の色を変換するように前処理される必要があり、背後の他のシーン点からの影響を受ける。1つの例では、2つのオブジェクトがあり、後方の1つは100赤色かつ不透明であり、前方の1つは100白色かつ光のちょうど50を削ぐ半透明50透過率、アルファ=0.5である。処理後、背景オブジェクトは削がれ、新たな色は50赤色となり、前景オブジェクトは50のみ不透明で、最終的な色は50白色となる。このような再現を見る場合、前景において半透明白色オブジェクトにより遮蔽された場合に、背景オブジェクトは暗く見えるが、双方は見ることも合焦することも可能である。アルファ値の処理が完了した後、ホログラム合成において扱われるデータは、各々が色及び深度値のみを有するシーン点を含む、複数のレイヤを有する複数の視点を含む。後に、SHは有効なシーン点のみについて生成される-実際に用いられる透過レイヤの部分のみが処理される。換言すれば、透明オブジェクトの再現は、以下の方法で実現されうる。透明オブジェクトを含む、コンピュータ生成シーンからのホログラムの計算は直接行うことはできない。透明オブジェクトは、例えばガラス、水、切り、塵粒子等であってよい。通常、透明オブジェクトについての深度値は生成されないが、1以上の透明オブジェクトの背後にある不透明オブジェクトについてのみ生成される。ホログラムを用いて再現する場合、オブジェクトは深度値を有する必要がある。1人の観察者から見て、少なくとも一部が互いに陰に配置される2以上のオブジェクトについてホログラムが生成される場合、これらのオブジェクトはそれぞれの距離または深度座標にに再現され、全て可視化する。他のオブジェクトの前にあるオブジェクトは、該オブジェクトの背後にある他のオブジェクトの外観に影響を与えない。しかしながら、これは他のオブジェクトの前にある透明オブジェクトとは異なる。例えば、赤色透明ガラス版の背後にあるオブジェクトからの光伝播の赤色成分が、ガラス版を通過しうる。発明の1つの実施形態において、方法は複数のステージを有する。第1のステージでは、再現される完全な3次元シーンの深度値が、3次元シーンの透明オブジェクトなしに生成される。第2のステージでは、3次元シーンの全ての透明オブジェクトの深度値が独立して生成される。ホログラムまたはホログラムディスプレイ/SLM空間光変調器に符号化されるホログラムデータは、複数のステージにおいて同様に生成される。第1に、不透明オブジェクトあるいは不透明オブジェクト点は、サブホログラムを生成し、それらを加算することにより処理される。第2に、透明オブジェクトあるいは透明オブジェクト点は、サブホログラムを生成し、それらを加算することにより処理される。透明オブジェクトによって操作される、または影響を受ける不透明オブジェクトの色値は、以下の現実的な低次または再現のために処理される:不透明オブジェクトから観察者の眼球への方向において伝播する光の波長の操作に代えて、不透明オブジェクトからの光の波長または色は、-不透明オブジェクトの位置において-不透明オブジェクトの前にある透明オブジェクトの特性に従って、操作あるいは変更される。ホログラムは、複数ステージの処理において、不透明オブジェクトの背後にある場合は操作された色/波長データを有する不透明オブジェクトのオブジェクト点の情報/データと、透明オブジェクトのオブジェクト点の情報/データとで構築される。全てのオブジェクト-透明及び/または不透明オブジェクト-は、正しい深度及び色で再現される。普通の2次元ディスプレイまたは立体ディスプレイを用いて3次元シーンの可視化を行う場合に比べて、ホログラム再現についての、同一のx-y座標横位置を有するが、異なるz座標深度を有する追加のシーン点が、空間内に生成されうる。あるいは、追加のシーン点は、例えば霧や水のように、深度によって密度を実現するように生成されてもよい。鑑賞方向における1つの直線上にある該直線上で異なる深度値を有する、あるいはオブジェクト点がない横位置を有するこれらの追加のシーン点は、既に計算されている。これは、1つの追加のサブホログラムのみが、追加のオブジェクト点の生成に必要であり、該サブホログラムが再現された3次元シーンに追加のオブジェクト点を生成するために他の全てのサブホログラムに加算される必要があるからである。方法は、非常に効率的で、かつ少ない追加の演算能力のみで実現可能である。それは、ホログラムの計算を含む、リアルタイムまたは疑似リアルタイムの近代のグラフィックボードにおいて実行されうる。図10は、実世界/自然界において不透明オブジェクト及び透明オブジェクトがある状況を示している。図11は、発明に係る3次元シーンの再現を計算/生成するために用いられる状況を示している。4.4ホログラフィック映像フォーマットホログラフィック映像を再生するために2つの方法がある:既に計算されたホログラムを直接読み込んで提示する方法、あるいは生のシーン点を読み出し、リアルタイムにホログラムを計算する方法がある。第1のオブションは、1つの多大な不利益がある:ホログラムフレームのデータは、映像コーデックのような圧縮方法により操作されてはならず、ロスレス手法のみが適用可能である。非常にランダムな自然界のホログラフィックデータについて、ロスレス圧縮技術は、IPネットワーク上のストリーミングは言うまでもなく、ハードドライブや光メディアからストリーミングを実現するためのデータ容量を大いに低減する効果はない。これを解決するために、SeeRealは上述したように異なる視点/レイヤに格納されたオリジナルのシーン点を用いることを提案する。これとSeeRealのリアルタイムホログラム計算を組み合わせることで、使用されるビットレートに依存してより多いまたはより少ない損失を示すが、好適な圧縮レートを示す、H.264やMPEG4のような既存の映像圧縮技術を用いることが可能になる。損失は、再現の品質に直接影響を与える深度情報に関して特に厳密に制御される必要がある。しかし、高ビットレートが選択された場合に、最小で約1:10の圧縮レートであるが許容可能である損失とすることが可能である。SeeRealはホログラムディスプレイにおいて色及び透過率を含む映像フレームを再現するために、全ての重要なデータを格納する単純な映像フレームフォーマットを開発し、用いている。この柔軟なフォーマットは、映像フレームにおいて配置されるサブフレームのような色、アルファ値及び深度値を格納する、全ての必要な視点及び視点についてのレイヤを含む図7を参照。xml文書に格納される、あるいは映像コンテナに付加される追加のメタ情報は、ホログラム映像再生装置が適切なホログラムの生成に必要な、映像フレームのレイアウト及びパラメータを含む。例えば該情報は、サブフレームがどの形式で付加されるか、その位置、及びオリジナルのカメラセットアップ、特に、ホログラムディスプレイの3D座標系にそれらをマッピングするために格納された深度値をどのように解釈するかの情報を含む。映像フレームについての一般的な例示レイアウトを示す図7を参照する。サブフレームは映像フレーム内に自由に配置可能であり-独立したメタ情報レコードは、どのサブフレームが付加され、映像フレームにおけるその位置の情報を提供する。該手法によりSeeRealは、ホログラムディスプレイにおける透過効果を有する3D有色映像のり合うタイム再現を可能にしている。メタ情報は、再生装置がホログラムを生成するために必要な全てのパラメータを提供する。映像が、カメラセットアップに準拠し、3Dシーン情報の完全性即ち深度が利用可能であるを検証することを担保してもよい。《5.ステップ2:ホログラム合成》ホログラム合成は、各々が色、横位置、及び深度により特徴づけられる複数のシーン点の、ホログラムへの変換を行う。該処理は、全ての利用可能なレイヤについて反復しながら、各視点及び独立した色成分についてなされる-独立したホログラムは、各視点及び各色成分について計算される。利用可能なレイヤの各シーン点について、サブホログラムSHは計算され、所謂ホログラムセルまたはセルである、各ホログラム画素について複素数値で構成されるホログラムHに堆積される。可視シーン点のみが強度/輝度bb>0を用いて変換されるため、このことは特にしばしば一部分のみが埋められた透過レイヤについての計算時間を節約する。SLMが水平/垂直ピッチpx/py、ホログラム面と観察者との観察者距離がod、及びレイヤにおける各シーン点は、その位置ox,oyホログラムにおけるサブホログラム位置も、その深度d、及び波長λ現在処理されている色成分に従うにおける輝度bを提供する場合を考える。まず、表示面ホログラム面におけるサブホログラムの位置が計算される。そして、SH内の不連続のセル位置x,yにいおて各セルSHx,yについて、複素数値が計算される。ここで位相φx,y及び振幅Aは以下のように与えられる。このようなSHは、符号化された距離dにおける任意のシーン点を再現するための、焦点距離を有するホログラフィックレンズを記述する。φ00≦φ0≦2π項は、各シーン点についてユニークな初期位相であり、一般的にランダムである。算出されたSHは、最終的にホログラムHのSH位置ox,oyにおけるホログラムHに加算される。位置ox,oyは、ホログラム/表示面を横断し、VWにおいて開始し、空間内のシーン点の位置を通過する直線により定義され、レイヤにおけるシーン点の2D位置に対応する、ホログラムHにおけるサブホログラムSHの中央位置である。今、Hは我々の3Dシーンを再現するであろう破面を提示する。次のステップにおいて、複素数値を表示可能な実数値に変換する、ホログラム符号化器はSLMにホログラムを書き込み可能なように実行される。《6.ステップ3:ホログラム符号化》符号化は、SLM、ホログラフィックディスプレイに書き込まれるホログラムを準備する処理である。SLMは、通常複素数値を直接表示することができず、このことは、1つの単一画素における光波を同時に変調及び位相シフトできないことを意味する。しかしながら、振幅変調表示及び位相変調表示を組み合わせることにより、コヒーレント光波の変調が実現されうる。各SLM画素の変調は、ホログラムにおいて複素数値セルにより制御される。SLMをコヒーレント光で照射することにより、合成されたシーンの破面は、シーンを再現するためにVWに伝播される、ホログラム面に生成される。様々な種類のSLMが、ホログラムの生成に用いられうる、例えば:1つの複素数値のために3つの振幅値が用いられる振幅限定変調迂回位相変調SLM[4]、2つの位相を組み合わせることによる位相限定変調SLM[5]、あるいは1つの振幅画素と1つの位相画素を組み合わせることによる振幅変調及び位相変調を組み合わせたSLMがある。最後のSLMは、位相と振幅パネルの挟み込みにより実現されうる[6]。そして、SLMの形式に応じて、我々のホログラムの位相振幅、位相のみ、振幅のみの提示が要求される。ホログラムにおける各セルは、適切な提示に変換される必要がある。SLMへの符号化されたホログラムの書き込み後、各SLM画素は、位相及び振幅により通過光波を変調する。《7.ステップ4:後処理》連鎖処理の最後のステップは、色成分及び視点について異なるホログラムの合成を実行し、観察者にホログラムフレームを提示する。ホログラムディスプレイに色及び視点を提示する様々な方法がある。1つの方法は、完全な時間系列提示完全な時分割である。ここで、全ての色及び視点は、マルチユーザシステムで様々な観察者である場合でも、次々に提示される。現在提示されている視点に同期した正しい位置におけるVWの配置制御、及びλについて符号化された、現在提示されているホログラムに従って、正しい時間におけるλについての最適な光源の切り替えにより、全ての観察者は、3Dシーンの再現を見ることができる。他の方法は、2007年のロングビーチでのSIDにおいてSeeRealにより既に発表されたシステムのように、視点の独立提示及び2つの異なるSLMを用いた色の時分割である。我々の現在のプロトタイプに実装された2つの更なる方法は、1つの単一フレームへの色と視点の合成、あるいは1つの単一フレームにおける視点の合成及び色の連続提示に基づく[8]。両方について、垂直方向の単一視差ホログラムVPOが用いられるとともに、水平方向において様々な視点及び色が垂直インタレースを用いて多重化される。また、全ての観察者について、色及び視点を提示する、他の多くの方法及び手法がある。一般に、後処理器は、観察者に提示されるホログラムフレームの形式を整える役割を担う。《8.実装》上述した全ての処理ステップは、ソフトウェアシステムを参照するSeeRealのホログラフィを内蔵する総合ソフトウェアモジュールとして実装される。様々なプロトタイプについて、必要な符号化パスは、既製のPCハードウェア及びSeeRealの専用FPGAプラットホームにおいて実行される、GPUコンピューティング及びFPGAコンピューティングに最適化される。両プラットホームは以下に示されるが、まず20インチ直視型ホログラフィックプロトタイプの使用が示される。8.1SeeRealの直視型ホログラフィックプロトタイプSeeRealの20インチ直視型プロトタイプは、1Dの垂直符号化VPOを用いるフルカラーホログラフィック3Dディスプレイである。最大4人の観察者の3D眼球位置を、毎秒60回、±2.5mmの精度で伝送する、正確かつ高速な眼球追跡システムを用いることにより、鑑賞ウィンドウの追跡が提供される。しかしながら、本ホログラフィックプロトタイプは、1人の観察者のみについて設計されてもよい。眼球追跡ソフトウェアは、標準的なPCにおいて実行され、DSP/FPGA内蔵のソリューションを用いるディスプレイに完全に統合される。ホログラムパネルは、2048x7680の解像度を有する振幅変調が祖を有し、60Hzで動作する。観察者距離は、既製のLCDに対して相対的に粗い画素ピッチホログラフィ用に関して、現在約2mに設定されている。迂回位相符号化[4]を用いることにより、1つの複素ピクセルセルのピッチは156×156μmである-このことは垂直方向において8mmの対応するVWを導く。水平方向において、両方の眼球についてのホログラムは、空間的に分離される。固定光学系は、各眼球について、観察者の移動に応じて水平方向において移動される、32.5mm幅の水平スイートスポットを生成する。故に、観察者は、水平視を失うことなく、水平及び垂直方向における頭部の自由な移動が可能である。左眼及び右眼についてのホログラムは、表示されたフレームに空間多重化されるとともに、色が順次提示される。各色成分赤、緑、青について、適切な波長について異なるフレームが示される。レイヤについて512×2560のシーン点が再現可能であるが、観察者距離が2mの位置では、人間の眼球は20インチディスプレイにおいて512×2560の解像度の3Dシーンを解像することはできない。従って、3Dシーン解像度は、レイヤについて512×640のシーン点に任意に制限される-またこのことはより一般的な形式3:4を提供する。より大きいLCDについて、3Dシーン解像度は、フルHDやそれ以上に容易にスケールされうる。3Dシーンの深度範囲は、通常ホログラムディスプレイの前方約1mから始まり、ディスプレイの後方には無限大となる。8.2PCにおけるリアルタイムホログラフィホログラムディスプレイを動作させるためにPCを用いる動機は様々である:DVIを用いてSLMを動作させる、より大きな解像度のサポートが必要な、標準的なグラフィックボードが使用される。さらに、急速なペースで次々と改良される、様々な既製部品も使用可能である。リアルタイム3Dコンテンツの制作は、OpenGLやマイクロソフトウィンドウズ登録商標プラットホームのDirect3D等の幅広く規定された3D描画APIを用いて処理することは容易である。また、3Dモデル及び映像についてのフォーマット及びコーデックを提供する、便利なSDKやソフトウェアライブラリが、提供され、容易にアクセス可能である。ホログラフィック計算を行うPCを用いた場合、メインプロセッサは全く強力でない。最新のCPU、即ち約50GFlop/sを実現するインテル登録商標Corei7[9]であっても、高解像度のリアルタイム3Dホログラムの計算を十分に早く行うことはできない。より強力な部品を使用することは明らかである-オーバーヘッドや非柔軟性にもかかわらず、大規模なメモリ帯域幅及び強力な処理能力であるため、グラフィック処理ユニットGPUが最も魅力的である。利点として、プログラム可能性、柔軟性、及び処理能力は、近年明らかに改良されてきている。8.3GPUを用いたリアルタイムホログラフィマイクロソフト社のDirect3D9に基づいて、上記で示したような完全なホログラフィック処理パイプラインが、魅力的なインタラクティブなアプリケーションとともに実装されている。NVIDIAGeForce285GTXを備えるPC上で全てが動作しており、我々の20直視型ホログラフィック3Dプロトタイプを駆動している。ほぼ全ての計算が、グラフィクス処理ユニットGPU上で行われ、CPUは、プログラムフローを制御するため、及び計算用のパラメータを提供するためのみに用いられる。複数のステップの大部分については、空間画素specialpixelプログラムと頂点シェーダvertexshaderプログラムが実装されており、それらは適切なアルゴリズムを実行するようにステップ単位で切り替えられる。シェーダプログラムは、C類似の言語即ち、Direct3Dを用いる際のHLSLで書かれた、複数の小規模なコードの断片である。実行用にコンパイルされてGPUにアップロードされた場合、それらは、GPUに含まれる複数のシェーダコア内部で並列に動作することで、グラフィクスパイプライン内部の頂点vertexまたは断片/画素を処理する。最新のGPUは、典型的には200個を上回るシェーダコアを備えており、それぞれが、約1GHzの高周波数で、典型的な4次元ベクトル演算を実行可能である。CUDAのような他のGPGPUgeneralpurposecomputationongraphicsprocessingunits、GPUによる汎目的計算技術に対するDirect3Dの直接使用が選択された理由は、GPUが提供するあらゆる特徴を使用するための、より大幅な柔軟性と、アプリケーションモジュールによってリアルタイムに作成される3Dコンテンツに対する直接的なインタフェースである。GPUを利用する我々のソリューションは、非常に柔軟性があり、かつ、パラメータ化可能である。Windows登録商標-SDKが、ホログラフィック計算のあらゆる側面をカプセル化する簡易なAPIを提供しているSeeRealによって開発されているため、あらゆるアプリケーション設計者は、コンテンツ自体に焦点を合わせるだけでよい。特定のホログラフィックディスプレイ用の、仮想カメラに関連するあらゆる事項、ホログラム合成、ホログラム符号化及び後処理は、ソフトウェアシステムによって秘匿されるとともに自動的に処理される。図8は、GPUベースの処理パイプラインの概要を与える。SeeRealの20直視型ホログラフィック3Dプロトタイプ用に使用されるGPUソリューションは、以下のように機能する。第1のモジュール、即ち、コンテンツ作成ホログラフィックアプリケーションの一部では、2つのビューが作成され、それぞれが4個以下のレイヤから成り、各レイヤは、512×640個のシーン点scenepointsを格納しており、各シーン点は、カラー、深度depth及びアルファ情報を提供する。ホログラフィックアプリケーションは、Direct3D-APIが提供する全ての機能及び特徴例えば、それ特有のシェーダプログラムを使用してもよい。生成されたデータGPUメモリにおける16個以下のテクスチャ、レイヤごとに2個が深度及びカラーをアルファに提供するは、次のインスタンスにわたって処理される。これは、アプリケーション設計者が作成及び実装しなければならない唯一のモジュールであり、他の全ての部分はSDKによって提供される。我々のGPUソリューションにおけるデータフローの概要を示す、図8を参照する。次のモジュール、即ち、ホログラム合成は、アルファ値によって与えられる透過効果transparencyeffectsを適用するために各レイヤを処理するとともに、異なるレイヤ間の深度がアプリケーションによってソートされていないケースについて、深度ソートdepthsortingを実行する。次に、各レイヤにおける3Dシーン点ごとに、サブホログラムが生成され、頂点シェーダプログラムを用いて位置付けられる。各サブホログラムは、上述のように、ホログラムセル複素数値ごとに位相及び振幅の計算を実行する画素シェーダプログラムによって処理される。計算された各セルは、次に、結果として生じる複素数値ホログラムに対して蓄積される。この複素数値ホログラムは、GPUメモリにおいて、1つが実数部で1つが虚数部の、2つの浮動小数点テクスチャを用いて実装される。2007年のSIDにおいて示した我々の第1のプロトタイプバージョンでは、標準化されたサブホログラムが、256個の離散的な深度ステップdepthstepsのそれぞれについて予め計算された、ルックアップテーブルアプローチが用いられた。これは、現時点におけるGPU即ち、NVIDIA7900GTXの、限られた処理能力を克服するために行われた。これまでのところ、グラフィクス処理ユニットは、急速に改良されているものの、計算能力の方向ではメモリ帯域幅よりも大きい。現在では、改良されたGPUと最適化されたSeeRealアルゴリズムとの組み合わせによって、サブホログラムの直接計算が、より高い品質、柔軟性及び効率動的なサブホログラムサイズで可能となり、直接計算は、より効率的な計算をもたらし、GPUによって提供される無限に近い深度解像度典型的には24ビットが、再現において特に、大きな深度範囲についてより細かい深度解像度を提供するために、現在使用されており、メモリ帯域幅は、もはや計算を制限することはない。第3のステップ、即ち、ホログラム符号化では、迂回位相変調detourphasemodulationを用いて、最終的なSLM準拠SLMcompatibleの表現を作成するために、複素数値が、エンコーディングされ、これは、画素シェーダプログラムの別のセットを使用しても行われる。最終的に、2つのビューがそれぞれカラー成分ごとに3つのホログラムを有する、6つのホログラムが、SLM上の表現のために多重化される。カラー成分ごとに1つの、3つのSLMフレームが、垂直インタレースを使用してカラー成分ごとに2つのビューを1つのフレームに多重化することによって作成される。その後、これら3つのフレームは、順に表示される。8.4FPGAを用いたリアルタイムホログラフィホログラフィック3DソリューションについてのSeeRealの開発における別のステップは、フィールドプログラマブルゲートアレイFPGAへの移植のためにソフトウェアを最適化していた。その動機は、あらゆるディスプレイにも統合される、自律的なシステムを実現することである。CPUまたはGPUに対するFPGAの利点は、それら両方の世界の最善の融合であり、GPよりも大きなプログラミングの柔軟性と統合された、CPUよりも大幅に良好な並列度である。それでもなお、FPGAソリューションの複雑なプログラミングモデルは、PCベースの開発と比較して、より長い開発サイクルをもたらす。アプリケーション側では、その両方のソリューションは、既に上述したコンテンツ作成モジュールのようなものを使用して、コンテンツを作成するために、PCを使用する。しかし、このソリューションでは、生成されたデータは、単一DVIフレーム内部の両方のビューごとにカラー及び深度情報をパッキングすることによって、GPUメモリ内部のテクスチャの代わりにDVIフレームを使用して、FPGAボードに転送される。このため、セットトップボックスまたはゲーム用コンソールも、コンテンツソースとして使用するのに適することになろう。2つ以上の透過レイヤの処理は、上述の、提案した映像フレームフォーマットと同様に、4つ以下のレイヤについての情報を含むように、DVIフレームサイズを拡張することによって実現される。我々のFPGAソリューションにおけるデータフローの概要を示す、図9を参照する。後処理だけでなく、サブホログラムの計算、蓄積及びエンコーディングのためのモジュールは、VHDLを用いて実装されている。今日では、このソリューションは、レイヤについての未定のサポートを除き、SeeRealのGPUバージョンと同様の機能性を提供する。FPGAボードは、フレームを提示するためのLVDSインタフェースを使用して図9を参照、SLMを直接的に駆動する。8.5アプリケーションFPGAだけでなくGPU上で利用可能なソリューションによって、SeeRealは、映像復号用の標準規格MPEG-4のコーデックを用いてPCのハードドライブからフレームごとにストリーミングされる、60Hzという完全表示フレームレートの、ライブ符号化されたliveencoded高解像度のライフアクションlifeaction3D映像を、表示することが可能である。各フレームは、大きくheavily利用される2つのビュー及び4つのレイヤ背景プラス3つの透過レイヤごと、ローカラーrawcolor、深度及びアルファ情報を含んでいる。利用可能な全てのシーン点のうちの80を上回るシーン点が、有意義な負荷比較のために透過レイヤにおいて使用される。更に、標準規格フォーマットと、詳細にわたる3D環境における複数のモデルから成る、複雑かつインタラクティブな3Dシーンとに基づいて、コンピュータで生成された3Dモデルを表示するリアルタイムアプリケーションが、開発及び実証されている。ユーザエクスペリエンスを向上させるとともに、インタラクションを簡易化するために、3D空間マウス及び任天堂登録商標Wiiコントローラのような、選択された最新のヒューマンマシーンインタフェースが、統合されている。《9.結果》ホログラフィック3Dディスプレイ用のSeeRealの原理と、それに対応する独自仕様のアルゴリズムとに基づいて、GPU及びFPGAの両ソリューションは、空間ビュー及びシーケンシャルカラー多重を使用して、60HzというフルSLM周波数で、SeeRealの20インチホログラフィック3Dダイレクトビュープロトタイプを駆動することが可能である。更に、また、既に今日では、当該ソリューションは、スケールアップされたより高いSLM解像度、より大きなサイズのディスプレイハードウェアを、それに応じて増加した画素品質pixelqualityで、駆動することが可能である。高い解像度、フルフレームレートのGPUソリューションが、単一のNVIDIAGTX285を備えるPC上で動作し、SeeRealのFPGAソリューションは、全てのホログラフィック計算を実行するために、1つのAlteraStratixIIIを使用する。複雑な3Dシーン及び3D映像内部の透過効果がサポートされる。4つの全てのレイヤを利用する、複雑な高解像度3Dコンテンツであっても、フレームレートは、絶えず60Hzを上回る。PCによってコンテンツが提供されうるとともに、特にFPGAソリューションについては、通常の2Dまたは3Dディスプレイを駆動するような、セットトップボックス、ゲーム用コンソール等によってコンテンツが提供されうる。両ソリューションは、より多くのかつより大きなサブホログラム用の能力、特に、両方の次元フル視差ホログラフィに広がっているサブホログラム用の能力を既に組み込んだ、非常に拡張性のある設計を有する。現在のソリューションによっても、リアルタイムのフル視差カラーホログラムの計算は達成可能であるとともに、内部で試験されている。3Dシーンの複雑度complexityに依存して、利用可能な計算能力による、より小さな深度範囲には、ある程度の制約がある。既に今日では、複数のGPUNVIDIASLIまたはAMDCrossFireを使用することによって、または、複数のFPGAを結び付けることによって、計算性能を、十分かつ容易に増大させることが可能である。一例として、NVIDIASLIは、ホログラム計算フレームレートを1.9倍増加した、2つのGeForce285GTXGPUを接続するために適用されており、それにより、このソリューションについての良好な拡張性を提供している。これらのソリューションは、SeeRealが、全てがオンザフライでontheflyホログラフィックにエンコーディングされた、複雑なインタラクティブ3Dシーンだけでなく複雑な3D映像を表示することを可能にしている。これにより、技術それ自体よりも、ストリーミング、ゲームまたはホログラフィックTV用に適したフォーマットとともに、ホログラフィックコンテンツ及びアプリケーションの開発に、重点的に取り組むことを可能にしている。《10.結論及び更なる発展》本稿では、複雑かつインタラクティブな3Dコンテンツを表示するホログラフィックディスプレイを駆動するためのGPUまたはFPGAハードウェアに適合された場合に、リアルタイムのホログラムの計算を可能にする、新たなサブホログラムアプローチを用いた我々のソリューションを提示した。更なる発展では、SeeRealのGPUソリューションの効率及び柔軟性を向上させるために、新たに導入された、Compute-Shaders及びOpenCLと組み合わされたOpenGL3/4を用いる、Direct3D11のようなGPUの領域における新たな技術に焦点を合わせる予定である。複数の透過レイヤのサポートを含む、SeeRealのFPGAソリューションは、2010年に完了する予定である。更に、VHDL設計は、専用のホログラフィックASICの開発用に最適化される予定である。既存のゲームエンジンまたはアプリケーションエンジンへのSeeReal技術の統合とともに、ホログラフィック映像3D-TV及び3Dコンテンツのストリーミング用に適したフォーマットの開発またはアダプテーションについては、別に焦点を当てる予定である。[引用文献][1]GoodmanJWIntroductiontoFourierOptics2ndednMcGrawHillNewYork[2]HoffmanDMGirshickARAkeleyKBanksMSVergenceaccommodationconflictshindervisualperformanceandcausevisualfatigueJVis8130httpjournalofvisionorg8333[3]StHilairePBentonSALucenteMESutterJDPlesniakWJAdvancesinholographicvideoProcSPIE1914pp188196httplinkaiporglinkPSI19141881[4]BurckhardtCBASimplificationofLee’sMethodofGeneratingHologramsbyComputerApplOpt919491949httpaoosaorgabstractcfmURIao981949[5]HsuehCKSawchukAAComputergenerateddoublephasehologramsApplOpt1738743883httpaoosaorgabstractcfmURIao17243874[6]GregoryDAKirschJCTamECFullcomplexmodulationusingliquidcrystaltelevisionsApplOpt31163165httpaoosaorgabstractcfmURIao312163[7]NLeisterASchwerdtnerGFuttererSBuschbeckJCOlayaandSFlonFullcolorinteractiveholographicprojectionsystemforlarge3DscenereconstructionProcSPIE691169110Vhttpdxdoiorg10111712761713[8]HausslerRReicheltSLeisterNZschauEMissbachRSchwerdtnerALargerealtimeholographicdisplaysfromprototypestoaconsumerproductProcSPIE7237p72370ShttplinkaiporglinkPSI723772370S1[9]httpwwwintelcomsupportprocessorssbcs023143htm[10]httpwwwbusinesssitesphilipscom3dsolutionshomeindexpage[11]httpenwikipediaorgwikiShader[12]httpwwwnvidiacomobjectcudahomenewhtml[13]httpgpgpuorgabout"