(57)【要約】  本明細書では、２台の電子制御されたプロジェクタおよび再帰反射スクリーンを使用する３次元投影システムとその関連方法を開示する。再帰反射スクリーンは、画像が投影されると既知の非線形の光反射パターンを生じる。画像計算手段は、入力される立体ペア画像と、プロジェクタおよびスクリーンに関する情報とに基づいて各プロジェクタの平面画像情報を計算するために用いられる。本発明の好ましい実施形態において、投影システムは、ニューラルネットワークのフィードバック計算を使用して適切な平面画像情報と、任意の所与の時点でプロジェクタによってスクリーン上に投影される適切な画像とを計算する画像計算デバイスを用いる。２台よりも多いプロジェクタを使用して、複数のアスペクトのビューを生成したり、複数の観察者をサポートしたりすることができる。別の実施形態において、投影システムは、出力画像に対するフィードバックデータを提供するデジタルカメラを含む。
2005515487.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの知覚される３次元画像を生成する方法であって、
既知の非線形の光反射パターンを有する再帰反射スクリーンを得ること、
少なくとも２台の画像プロジェクタを幾何学的配置に配列して、前記スクリーンに画像を投影できるようにすること、
前記プロジェクタの各々によって投影するための別個の２次元画像を同時に計算することであって、前記計算された画像は、前記オブジェクトに関する立体ペア画像情報と、前記パターンおよび前記幾何学的配置とから求められる、同時に計算すること、および
前記計算された画像を前記プロジェクタから前記スクリーン上に、既知の場所にいる観察者に対して前記オブジェクトの３次元画像を生成する様式で前記スクリーンから反射されるように、投影すること
を含む方法。
【請求項２】
前記パターンはガウス分布を含む請求項１に記載の方法。
【請求項３】
前記パターンは比較的広角の垂直散乱および比較的小角の水平散乱を有する請求項１に記載の方法。
【請求項４】
前記プロジェクタは、前記計算された画像を表示するための透過型液晶ディスプレイパネルを含む請求項１に記載の方法。
【請求項５】
前記計算された画像は反復的に計算されて、前記オブジェクトの前記３次元画像における誤差を低減する請求項１に記載の方法。
【請求項６】
前記計算された画像の前記反復的な計算は、ニューラルネットワークを使用する計算デバイスによって行われる請求項５に記載の方法。
【請求項７】
前記計算された画像は、
前記計算された画像の各々を表示する際に各プロジェクタのディスプレイの個々の画素により生じる光波成分を推定するステップと、
結果として得られるオブジェクトの３次元画像を、前記推定された光波成分と前記既知のパターンとの予測される相互作用から計算するステップと、
前記結果として得られる３次元画像を所望の３次元画像と比較して、誤差の程度を得るステップと、
前記誤差が所定の閾値に到達するまで前記平面画像を調整するステップと
によって得られる請求項１に記載の方法。
【請求項８】
前記振幅情報を計算するステップはニューラルネットワークを用いて行われる請求項７に記載の方法。
【請求項９】
前記観察者がいる場所を検知することをさらに含む請求項１に記載の方法。
【請求項１０】
前記プロジェクタの各々によって投影するための別個の２次元画像を同時に計算するステップは、非線形連立方程式を解くことを含む請求項１に記載の方法。
【請求項１１】
前記プロジェクタの各々からテスト画像を投影するステップと、
前記投影されたテスト画像を取り込んで比較するステップと、
前記計算された画像の投影を必要に応じて変更して、前記プロジェクタからの投影に合わせるステップと
をさらに含む請求項１に記載の方法。
【請求項１２】
オブジェクトの知覚される３次元画像を生成するシステムであって、
既知の非線形の光反射パターンを有する再帰反射スクリーンと、
２次元画像を前記スクリーン上に投影することが可能な少なくとも２台のプロジェクタであって、前記スクリーンに対して幾何学的配置に配列されるとともに、それぞれが２次元画像を生成するための電子的に切り替え可能なディスプレイを含むプロジェクタと、
プロセッサを含む画像化計算デバイスであって、前記ディスプレイの画素を制御するようになっているとともに、前記ディスプレイの各々に対して別個の平面画像を生成するようになっており、前記平面画像は前記デバイスによって、前記パターンおよび前記幾何学的配置ならびに前記オブジェクトの電子立体ペア画像を用いて計算される画像化計算デバイスと
を備える、システム。
【請求項１３】
前記ディスプレイは透過型液晶ディスプレイパネルである請求項１２に記載のシステム。
【請求項１４】
前記プロジェクタの各々は少なくとも３つの透過型ディスプレイおよび少なくとも３つの光源を備え、
前記透過型ディスプレイの各々および前記光源の各々は前記平面画像の３つの色成分のうちの１つを生成するようになっており、
前記平面画像の前記色成分は組み合わせ可能であることにより前記オブジェクトのフルカラー３次元画像を生成する請求項１２に記載のシステム。
【請求項１５】
前記平面画像は前記計算デバイスにおいて反復的に計算され、前記オブジェクトの前記３次元画像における誤差を減らす請求項１２に記載のシステム。
【請求項１６】
前記計算デバイスはニューラルネットワークを使用して前記オブジェクトの前記３次元画像における誤差を低減する請求項１５に記載のシステム。
【請求項１７】
前記計算デバイスは、
前記平面画像を表示する際に前記ディスプレイの個々の画素により生じる光波成分を推定するステップと、
結果として得られるオブジェクトの３次元画像を、前記推定された光波成分と前記スクリーンの前記パターンとの予測される相互作用から計算するステップと、
前記結果として得られる３次元画像を所望の３次元画像と比較して、誤差の程度を得るステップと、
前記誤差が所定の閾値に到達するまで前記平面画像を調整するステップと
に従って動作することにより前記平面画像を計算する請求項１２に記載のシステム。
【請求項１８】
前記振幅情報を計算するステップはニューラルネットワークを用いて行われる請求項１７に記載のシステム。
【請求項１９】
前記ディスプレイ制御システムは、前記３次元画像の観察者の空間的な向きを検知する手段をさらに備え、
前記計算デバイスは、前記観察者が前記オブジェクトの前記３次元画像を知覚できるように前記生成された平面画像を調整するようになっている請求項１２に記載のシステム。
【請求項２０】
前記計算デバイスは、非線形の連立方程式を解くことにより、前記プロジェクタの各々によって投影する前記平面画像を同時に計算する請求項１２に記載のシステム。
【請求項２１】
少なくとも４台のプロジェクタをさらに備えることにより、２人の異なる観察者に対して前記オブジェクトの２つの別々に知覚される３次元ビューを表示することができる請求項１２に記載のシステム。
【請求項２２】
前記パターンはガウス分布を含む請求項１２に記載のシステム。
【請求項２３】
前記パターンは比較的広角の垂直散乱と比較的小角の水平散乱とを含む請求項１２に記載のシステム。
【請求項２４】
前記再帰反射スクリーンは、空間周波数の高いマイクロプリズムでエンボス加工された第１の表面と、空間周波数の低いマイクロプリズムでエンボス加工された第２の表面とを有するフィルムを含む請求項１２に記載のシステム。
【請求項２５】
前記再帰反射スクリーンは、マイクロプリズム再帰反射体フィルムと、１次元マイクロプリズムアレイ散乱フィルムとを含む請求項１２に記載のシステム。
【請求項２６】
前記画像化計算デバイスに電子的に接続されたカメラをさらに備え、
前記画像化計算デバイスは前記カメラによって取り込まれた画像を受け取り、前記取り込まれた画像を用いて前記別個の平面画像の生成を変更する請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［発明の分野］
本発明は３次元画像投影に関する。本発明は特に、再帰反射スクリーン上に投影される立体アスペクト画像（stereo aspect images）を使用した３次元画像投影装置とその関連方法に関する。
【０００２】
［関連出願の参照］
本件出願は、２００２年１月４日付で出願された米国仮特許出願第６０／３４５，２４５号および２００２年１月７日付で出願された米国仮特許出願第６０／３４６，３８６号の出願日の利点を主張する。
【０００３】
［発明の背景］
投影ディスプレイは、ディフューザ(diffuser)上に合焦された画像を用いてユーザに画像を提示する。投影は、シネマプロジェクタの場合のようにディフューザから見てユーザと同じ側で行われる場合と、反対側から行われる場合とがある。図１に示すような従来技術の、例えば映画館において用いられる再帰反射スクリーン型の投影システムは通常、１台のプロジェクタ１０を用いて１度に１つの画像をスクリーン１２に投影することにより２次元画像を生成する。スクリーン１２は線形の光分布（linear light distribution）を有し、スクリーン１２によって反射される画像を観察者すべてが、その人のいる位置に関係なく同じ２次元画像を見るようになっている。
【０００４】
最新の投影システムの多くでは、切り替え可能な構成画素により形成されるパターンで光を反射または透過する小型液晶ディスプレイ装置等の１つまたは複数の「ディスプレイ」上に画像を生成することができる。このような液晶ディスプレイは通常、マイクロエレクトロニクス加工技法を用いて、ディスプレイの各グリッド領域すなわち「画素」が、電気信号によってその反射性または透過性を制御できる領域となるように作製される。液晶ディスプレイにおいて、特定の画素に入射する光は、その画素に印加される信号により画素に反射されるか、部分的に反射されるか、あるいは遮断される。場合によっては、液晶ディスプレイは、光が実質的に遮断される状態から入射光が実質的に透過される状態までにわたる範囲で任意の画素の透過を段階（階調）的に変化させることのできる透過型装置である。
【０００５】
均一な光線が液晶ディスプレイで反射（または透過）されると、光線は、画素の透過状態に応じた空間強度プロファイルを得る。画素の透過（または階調）を所望の画像に合わせて電気的に調整することによって液晶ディスプレイに画像が形成される。この画像は、直接見るために拡散スクリーン(diffusing screen)上に画像化するか、あるいは何らかの中間像面に画像化し、そこから接眼レンズ（eyepiece）によって拡大して虚像(virtual image)を生じることができる。
【０００６】
長い間電子画像化システムの目標とされてきた画像の３次元表示には、現代社会において多くの潜在的な応用が考えられる。例えば、パイロットから医師までの専門家の養成は現在、３次元画像の視覚化に頼ることが多い。当然、３次元画像化には、娯楽においても多くの潜在的な応用が考えられる。３次元画像化の多くの応用では、画像の複数のアスペクトを見ることができ、例えば人間または機械部品の検査のシミュレーション中に観察者が、データを変更したり画像を切り替えたりしなくても、当該部分の連続的な３次元ビューを様々な角度および視点から得ることができることが重要である。
【０００７】
したがって、リアルタイムの３次元画像ディスプレイは長い間、様々な技術的応用における関心の対象であった。これまでに、３次元および／または体積（volumetric）画像を生成するために用いられるいくつかの技法が従来技術において知られている。これらの技法は、複雑性および結果の品質の点で異なり、心理的な奥行きの手がかりのみに訴えて２次元ディスプレイ上で３次元画像をシミュレートするコンピュータグラフィックを含む。立体ディスプレイ（stereoscopic display）は、観察者が２つ（右眼と左眼に１つずつ）の網膜像を頭の中で１つの画像に合成して奥行きの知覚を得るように設計され、ホログラフィック像は実際の波面構造を再構成し、体積型ディスプレイ（volumetric displays）は、ディスプレイの体積内で様々な奥行きの実際の光源を作動させることによって本物の物理的な高さ、奥行き、および幅を有する３次元画像を作成する。
【０００８】
基本的に、３次元画像化技法は２つのカテゴリ、すなわち、本物の３次元画像を作成するものと、３次元画像を見ているような錯覚を生じるものとに分けることができる。１番目のカテゴリは、ホログラフィックディスプレイ、可変焦点合成（varifocal synthesis）、回転スクリーン、および発光ダイオード（「ＬＥＤ」）パネルを含む。２番目のカテゴリは、心理学的な奥行きの手がかりに訴えるコンピュータグラフィックと、２つ（左右）の網膜像の頭の中での合成に基づく立体画像化との両方を含む。立体画像化ディスプレイは、特殊な眼鏡の使用を必要とするシステム（例えば、ヘッドマウントディスプレイや偏光フィルタ眼鏡）と、特殊な眼鏡の使用を必要としない自動立体技術に基づくシステムとに細分することができる。
【０００９】
ホログラフィック画像化技術は、３次元オブジェクトで反射する実際の光の波面を再現することによって本物の３次元画像が提示されるという点で従来の立体に基づく技術よりも優れてはいるものの、他の３次元画像化技術よりも複雑である。したがって、リアルタイム３次元電子ディスプレイシステムの分野の最近の研究は、商業的に最も容易に適用されると思われることから、様々な立体視（stereoscopic viewing）システムの開発に集中している。
【００１０】
最近では、自動立体技法は、リアルタイムのフルカラー３次元ディスプレイに最も受け入れられることが広く報告されている。立体視（stereoscopy）の原理は、観察者の右眼および左眼に対応する２つの異なる視点での同時画像化を行い、２次元画像に奥行きの知覚を生じることに基づく。立体画像化において、画像は、オブジェクトを例えば観察者の両眼の間の距離に対応する異なる視点から従来通りに写真撮影することを用いて記録される。
【００１１】
通常、観察者がスクリーン上に投影されたオブジェクトの立体像を見ることで空間の印象を受けるには、左眼が左の画像のみを、右眼が右の画像のみを確実に見るようにする。これは、ヘッドギアや眼鏡を用いれば達成できるが、自動立体技法は、この制限をなくすべく開発されてきた。しかしながら従来、自動立体視システムは通常、立体効果を生じるために観察者の眼が画面（一般に「観察ゾーン」として知られる）から特定の位置および距離にあることを要求してきた。
【００１２】
自動立体ディスプレイの有効な観察ゾーンを増大させる１つの方法は、複数の同時観察ゾーンを作成することである。しかしながらこの手法は、画像処理機器にますます大きな帯域幅要件を課す。さらに、多くの研究が、スクリーンに対する眼球／観察者の位置を追跡し、画像化装置の放射特性を電子的に調整して立体画像を維持することによって観察ゾーンの制限をなくすことに集中している。したがって、コンピュータにおいて観察者の体および頭部の移動ならびに対応する画像の適応を継続的に位置合わせする（register）高速な最新のコンピュータおよび動きセンサを用いることにより、立体投影を用いて環境およびオブジェクトの空間的な印象（仮想現実）を生じることができる。画像の複雑性が増すにつれ、この手法を具現するこの従来技術の成功率はますます低くなることが分かった。
【００１３】
従来技術の自動立体視システムでは、立体視の性質から、視差は、限定された観察ゾーンの別個の位置からのみ観察することができる。例えば、標準的な自動立体視システムの任意の立体ペアは、１つの位置から観察した場合にしか正確な遠近感（perspective）が得られない。したがって、自動立体ディスプレイシステムは、観察者の動きに合わせて観察者の位置を検知して異なる遠近感を有する立体ペアの画像を再生できなければならない。これは従来技術では克服されていない困難なタスクである。
【００１４】
画像投影技術の現状を考えれば、ユーザが望むときに特定のオブジェクトの多くのアスペクト(aspect)およびビューを見ることができる、様々なアスペクトすなわち「多面」画像を投影することが可能なシステムがあることが望ましい。さらにそのような観察は、観察者が立体画像を見る際に観察者の頭部の場所に関する制約を受けないように柔軟な方法で行われることが有用である。さらにそのようなシステムは、高度な３次元画像品質を提供でき、その一方で特別なヘッドギアを必要とせずに動作可能であることが望ましい。したがって、特別なヘッドギアを必要とせずに高品質の３次元画像を複数の観察場所に投影することを可能にする改良された方法および装置が依然として必要とされている。
【００１５】
［発明の概要］
上記および他の満たされていない必要性に鑑みて、本発明の目的は、特定のオブジェクトの複数のアスペクトおよびビューの投影を可能にする３次元画像投影システムを提供することである。
【００１６】
同様に、本発明の目的は、観察者を制限された観察ゾーンに限定することなく高解像度画像を提供する多面３次元画像化装置とその関連方法を提供することである。
【００１７】
また、本発明の目的は、互いに異なる観察場所にいる異なる観察者に異なるビューを同時に提供することができる多面３次元画像化装置とその関連方法を提供することである。
【００１８】
さらに、本発明の目的は、そのような装置とその関連方法が観察者にヘッドギアや眼鏡等の特別な観察機器を使用することを要求しないことである。
【００１９】
さらに、本発明の目的は、観察のために同時に投影されると知覚される３次元画像を生成するように計算された画像ペアを用いて、オブジェクトの様々な画像および遠近感を表示することができる３次元ディスプレイとその関連画像化方法を提供することである。
【００２０】
上記および他の目的を達成するために、本発明による３次元投影システムとその関連方法は、少なくとも２台のプロジェクタと、プロジェクタを制御する画像化システムと、プロジェクタによって作成されるオブジェクトの複数の画像を投影する再帰反射スクリーンとを使用する。本発明の実施形態による投影システムの画像化システムは、画像情報の数値を計算し、その情報を用いてプロジェクタの特性を制御し、それにより立体画像を生成することが可能である。プロジェクタが組み込まれる液晶画像化ディスプレイ要素を有する本発明の実施形態では、画像化システムは、プロジェクタ内の液晶ディスプレイ要素を制御して投影画像を変更するようになっている。計算された画像情報は、所望の３次元画像シーンに関連している。このような実施形態において計算された画像情報により、液晶ディスプレイは、液晶ディスプレイ上に所望の画像が生成され、光がディスプレイを通り抜けて、スクリーンに当たり、スクリーンの特性に従ってスクリーン上で拡散または反射されて、観察可能な３次元画像を生成するように制御される。
【００２１】
本発明の実施形態において、再帰反射スクリーンは、発光源とスクリーン面の間の反射角に依存する非線形分布パターンに従って光を反射する。
【００２２】
本発明の好ましい実施形態において、画像化システムは、１つまたは複数の電子制御可能な液晶ディスプレイパネルおよび光源をそれぞれ有する少なくとも２台のプロジェクタと、３次元画像生成に関する計算を行うとともに液晶パネルを制御する画像生成システムと、再帰反射スクリーンとを備える。
【００２３】
また本発明の好ましい実施形態において、画像の複数のアスペクトを提示して３次元観察体験を生じるためのシステムおよび方法は、少なくとも２台の画像プロジェクタと、プロジェクタを制御する画像生成システムと、３次元の観察可能な画像を生成する再帰反射スクリーンとを使用する。このような好ましい実施形態における画像生成システムは、ニューラルネットワークフィードバック計算を使用して任意の所与の時点で表示される適切な立体画像ペアを計算する自動立体画像生成システムである。このような実施形態において、プロジェクタはそれぞれ、少なくとも１つの電子制御可能な液晶ディスプレイ要素または他の適切な空間光変調器（ＳＬＭ）を含むことが好ましい。
【００２４】
本発明の上記実施形態のいずれかの代替的なものによれば、別個の液晶ディスプレイ（「ＬＣＤ」）パネル組を各プロジェクタの各色に用いて、フルカラー表示を行うことができる。このような代替的な１実施形態では、赤色光、青色光、および緑色光に対応する３つの個別のＬＣＤパネルを各プロジェクタに設けることができる。特定の代替的な１実施形態において、プロジェクタは３つの異なる色（例えば赤色、緑色、および青色）に対して３つの光源を有する３色カラーシーケンシャルプロジェクタである。この画像ディスプレイは、画像の赤色、緑色、および青色成分を順次表示する。液晶ディスプレイおよび光源は順次切り替えられ、赤色画像が表示されるときは、対応する液晶ディスプレイが赤色光源からの光で照明されるようになっている。画像の緑色部分が適切な液晶ディスプレイによって表示されるときは、このディスプレイは緑色光源等からの光で照明される。他も同様である。
【００２５】
本発明の別の実施形態は、多面画像マッチングシステムとその関連方式を提供する。投影システムのこの実施形態は、デジタルカメラと、対応する画像取込および処理ソフトウェアとを含む。本システムは概して、投影画像の外観に関連するデータを収集および解析して、所望の画像特性を達成するために必要な投影システムに対する変更を決めるフィードバックループを作成するように機能する。画像マッピングの目的で、投影画像は通常、カラーの点の２次元アレイまたはスクリーン上に透過される一連の垂直線である。各プロジェクタは、わずかに異なる画像をスクリーン上に放射し、カメラが異なる画像を取り込む。テスト画像における差の検出を容易にするために、画像マッチングスクリーンは、再帰反射スクリーン上に一時的に載せられる白紙または従来の投影スクリーンであることが好ましい。
【００２６】
本発明の別の実施形態において、３Ｄ投影システムは、比較的小角の水平散乱光線と比較的広角の垂直散乱光線とを有する散乱パターンを生成する再帰反射スクリーンを用いる。この所望の散乱パターンは、透明なポリマーフィルム上に２つの連続するマイクロプリズムをエンボス加工することによって形成される再帰反射スクリーンによって生成することができる。具体的には、表面を空間周波数(spatial frequency)の高い水平プリズムでエンボス加工し、裏面を空間周波数の低い、全内部反射(total internal reflection)に対して１次元再帰反射を行う９０度のマイクロプリズムでエンボス加工する。別の実施形態において、再帰反射スクリーンはマイクロプリズム再帰反射体フィルムと１次元マイクロプリズムアレイ散乱フィルムの組み合わせである。
【００２７】
本発明の様々な好ましい態様および実施形態を、以下で図面を参照して詳細に説明する。
【００２８】
[好ましい実施形態の詳細な説明]
本発明は好ましい実施形態において、少なくとも２台の画像プロジェクタと、画像プロジェクタを制御する画像生成システムと、再帰反射スクリーンとを用いて画像の複数のアスペクトを提示して３次元観察体験を生じる画像投影システムとその関連方法である。
【００２９】
図２は、本発明の１実施形態による３次元画像の投影を概略的に示す。図２に示すように、３次元すなわち立体画像は、少なくとも２台のプロジェクタ２０Ｌおよび２０Ｒを用いて観察者に提示され、プロジェクタ２０Ｌおよび２０Ｒはそれぞれ計算された画像Ｌｐおよび計算された画像Ｒｐを、例えばそれぞれの透過型ＬＣＤまたは他の同様の画素ベースのディスプレイから再帰反射スクリーン２２上に投影し、適切な再帰反射画像ＬｒおよびＲｒを観察者の左右の眼に提示する。
【００３０】
本発明の実施形態において、再帰反射スクリーン２２は光を、発光源とスクリーン面の間の反射角に依存する非線形の光分布パターンに従って反射する。１つの適切な再帰反射スクリーンの非線形の光分布を図３に示す。図３において、再帰反射体スクリーン２２は、光源２０とスクリーン２２間の反射入射角αに依存する反射光分布を生成する。図３の反射光分布はガウス分布によるものであり、光強度Ｉ（α）は角度αの観察点における次式によって表すことができる。
Ｉ（α）＝Ｉ０・ｅｘｐ（−α２／σ２）                                  式１
光のピーク強度は定数Ｉ０によって与えられ、σは定数であり、使用する特定の再帰反射スクリーンのスクリーン特性に依存する。
【００３１】
図２の２台のプロジェクタを用いた実施形態に関して、左右の眼に認められる画像は数学的に次のように表すことができる。
Ｉ（Ｌ）＝Ｉ０ｌ・ｅｘｐ（−α２ｌＬ／σ２）＋Ｉ０ｒ・ｅｘｐ（−α２ｒＬ／σ２）
式２
Ｉ（Ｒ）＝Ｉ０ｌ・ｅｘｐ（−α２ｌＲ／σ２）＋Ｉ０ｒ・ｅｘｐ（−α２ｒＲ／σ２）
式３
ここで、式２および式３の式において、Ｉ０ｌは左のプロジェクタ画像の輝度であり、Ｉ０ｒは右のプロジェクタ画像の輝度である。任意の特定の点のＩ（Ｌ）およびＩ（Ｒ）を固定することにより、左右のプロジェクタにより生成された後の計算された画像ＬおよびＲに対応するＩ０ｌおよびＩ０ｒの連立方程式を作成することができる。作成される連立方程式は非線形かつ変換不可能（non-convertible）である。したがってこの連立方程式は、近似解を得ることしかできない。
【００３２】
この解の計算に特に適した手段は、コンピュータ上で動作する人工ニューラルネットワークを用いる。同等の３次元画像化問題に対するニューラルネットワークの適用が同一の権利者が所有する（co-owned）、２０００年１１月８日付で出願されたＰＣＴ出願第ＰＣＴ／ＵＳ００／３０６８３号「Neurostereo Display」および同一の権利者が所有する、２００１年１０月１５日付で出願された米国特許出願第０９／９７７，４６２号「System and Method for Visualization of Stereo and Multi Aspect Images」に詳細に記載されている。
【００３３】
図４は、１台のプロジェクタを使用し反射スクリーンを介して観察者の眼に画像情報を伝える際の投影システムの幾何学的配置（geometry）を概略的に示す。本発明によるシステムは２台以上のプロジェクタを用いて知覚される３次元画像を生成するが、図４に示す１台のプロジェクタとスクリーンからなる構成は、実際に使用される２台以上のプロジェクタの各々によって表示される適切な画像を求める際に付随する計算を理解するのに役立つ。
【００３４】
図４に示すように、１台のプロジェクタ４０を再帰反射スクリーン４２に垂直な方向に対して角度ψに向ける。この設定において、観察者の眼４４はプロジェクタ４０と同じ水平面にある。このような構成では、固定された各頂角について、画像Ｉｅについて以下の式を求めることができる。画像Ｉｅは眼４４によって、垂直方向からの定義された観察範囲φ∈［φ１，φ２］の角度についてスクリーン４２の一部に認められる。
Ｉｅ（φ）＝Ｉ（ψ）・Ｋ（｜φ−ψ｜）                              式４
【００３５】
式４において、Ｉ（ψ）はプロジェクタ４０から再帰反射スクリーン４２へ、垂直方向ηから角度ψで移動する投影光線の輝度を定める関数である。Ｋ（｜φ−ψ｜）すなわちカーネル関数は非線形であり、スクリーンの反射特性によって定められる。カーネル関数の一例は以下に挙げる式１’であり、この式１’では、元の式１が、｜φ−ψ｜によって定められる角度を角度αに置き換えることによって変更されている。
Ｋ（｜φ−ψ｜）＝Ｉ０・ｅｘｐ（−｜φ−ψ｜２／σ２）                式１’
２次元の場合のこのカーネル関数の形式を図５の５０グラフにプロットする。図４に関して上記したように、図５にプロットされるφおよびψは垂直方向ηから求められる。
【００３６】
図４で説明したシステムを拡張して、同じ水平面にあるいくつかのプロジェクタを含むようにする場合、結果として得られる眼４４における画像の式は次のようになる。
【００３７】
【数１】
2005515487.tif 000003
【００３８】
ここで、ｎはシステムにおけるプロジェクタの台数であり、Ｉ（ψ）は垂直方向から角度ψでスクリーンに近づくプロジェクタｉからの光線の輝度であり、
【００３９】
異なる眼または眼の位置に対するｍ個の異なる画像Ｉｅ（１）〜Ｉｅ（ｍ）を作成するには、全プロジェクタについてｎ個の未知の輝度Ｉｉ（ψ）に関してｍ個の式を有する以下の連立方程式を解く必要がある。
【００４０】
【数２】
2005515487.tif 000004
【００４１】
プロジェクタ（複数可）の位置決めは大きく変化しないため、角度ψは通常変化しないことに留意されたい。この連立方程式は、上述のようなニューラルネットワークを使用して解くことができる。特定の実施形態において開示するが、当業者は、式１ないし式８の式を適宜適用することで使用できる他の同等の幾何学的配置がどれだけあるかを容易に理解するだろう。その後、適切な式を用いて、本発明の実施形態の様々なプロジェクタによって投影される画像を計算する。
【００４２】
図６は、本発明の好ましい実施形態による投影システムの部品を示す概略図である。これらの部品は、図２に示すように配置して、観察者に知覚される３次元オブジェクトを投影することができる。上述のように、立体システムにおいて、知覚される３次元画像を生成するためには、観察者の右眼が左眼とは異なる画像を知覚する必要がある。図６に示すように、画像化計算デバイス６１が、再帰反射スクリーンに対して既知の構成で配置された少なくとも２台の画像プロジェクタ６２に通信的に結合され、その制御を行う。各プロジェクタは、画像を生成する少なくとも１つの透過パネル６４（または他の適切な電子ディスプレイ要素）と、照明源６３とを備え、その両方が画像化計算デバイス６１によって制御される。照明源６３は、透過パネル６４が画像を画像化計算デバイス６１によって提示された通りに表示する際に、透過パネル６４を照明するようになっている。任意のプロジェクタ６２の任意の透過パネル６４上に表示される画像は画像化計算デバイス６１によって、他のプロジェクタ６２が表示および投影する画像と合わせられる。
【００４３】
通常、透過パネル６４はＬＣＤパネルである。ＬＣＤパネルはよく知られた画素化されたデバイスであり、各画素が「オン」または「オフ」であるかまたは中間の強度レベルに設定される。ＬＣＤパネルの各々は通常単色で、画像の２色以上の成分の強度を個別制御することはできない。カラー制御を行うには、各プロジェクタにＬＣＤマルチパネルシステムを使用することができる。このようなＬＣＤマルチパネルシステムは通常、３つの個別のＬＣＤパネルを用いる。３つのパネルの各々は別個の光源によって、人間の眼の中の３種類の錐体のうちの１つを刺激するスペクトル成分を用いて照明される。３つのＬＣＤパネルの各々は、カラー画像の１つの色成分をなす光線を反射（または透過）する。次にこれらの光線がプリズム、２色フィルタシステム、および／または他の光学要素を介して合成され、単一の有色（chromatic）画像光線となる。あるいは、各原色に対応する別個の液晶ディスプレイパネルおよび複数の単色光源を各プロジェクタにおいて用いて、当該技術分野で既知のように、異なる色の光源およびＬＣＤパネルを同期して切り替えることによりマルチカラーディスプレイを生成する。
【００４４】
また当該技術分野で既知のように、別の実施形態では、各カラーパネルシステムをシーケンシャルな色切り替えに用いることができる。この実施形態において、ＬＣＤパネルはプロジェクタ内で、赤色、青色、および緑色の切り替え可能な照明源と結合させることができる。これらの光源の各組は、ＬＣＤパネルが表示される画像の青色、緑色、および赤色成分を循環するのと同時に、１度に１つずつ順に起動される。ＬＣＤパネルとそれに対応する光源は、人間の眼の積分時間（integration time）（１００マイクロ秒未満）に比べて速い速度でディスプレイ上の画像と同時に切り替えられる。当然その場合、１つの単色ＬＣＤパネルを各プロジェクタに用いても依然としてカラーの計算された画像を提供することが可能である。
【００４５】
さらに、透過パネル６４は、投影画像を作成する他のタイプの電子制御可能なデバイスとすることができることが理解されるべきである。例えば、本発明の様々な実施形態はＬＣＤパネルの代わりに、Texas Instruments, Inc.（Dallas, Texas）製のデジタル光プロセッサ（ＤＬＰ）等の適切な空間光変調器（ＳＬＭ）を使用することができる。
【００４６】
図７は、図６に示した本発明の実施形態において使用される適切な画像化計算ユニット６１の計算および制御構造を示す概略図である。図７を参照して、画像化計算デバイスは、そのメモリユニット７２に設けられる立体ペア（または様々な画像のアスペクト）のデータベース７０を使用する。メモリユニット７２は、コンピューティングの分野で知られるいくつかの機能を有する。このような機能の１つは、メモリユニット７２が、プロセッサ７４の指示に従って使用する特定の立体ペアを立体ペアデータベース７０から抽出して記憶することである。
【００４７】
メモリユニット７２は、所望の立体ペアをプロセッサ７４に供給して、計算された画像（図２に関して上述したＬｐおよびＲｐ）を生成する。これらの計算された画像は、いったん生成されると、プロセッサ７４からプロジェクタユニットコントローラ７６へ送られる（または別法として、コントローラ７６にアクセスされるようにメモリユニット７２に記憶される）。プロジェクタユニットコントローラ７６は次に、計算された画像を適切な透過パネル６４に供給し、各画像プロジェクタ６２において透過パネル６４を照明する照明源６３のライティングを制御する。あるいは、プロセッサ７４は、個々のパネル６４および照明源に対する指示を与え、当該技術分野で既知の適切なドライバソフトウェアを用いてプロジェクタを制御してもよい。
【００４８】
全ての自動立体ディスプレイの場合と同様に、コンピューティングデバイス７１によって生成された画像は必然的に、図７の観察者位置信号情報７８の入力によって示される観察者の位置の関数である。当該技術分野では、観察者位置信号情報を生成するための様々な好適な方法が知られている。例えば、Streetに発行された米国特許第５，７１２，７３２号は、観察者の場所および距離を自動的に明らかにする自動立体画像ディスプレイシステムを記載する。Streetのディスプレイシステムは、システムが観察者の頭部の位置をスクリーンに対する距離および位置（左右）に関して求めることを可能にする距離測定装置を備える。同様に、Popovichに発行された米国特許第６，１０１，００８号は、観察者の場所をリアルタイムで追跡し、追跡した場所を使用して、表示される画像を適切に変更するためのデジタル画像化機器の使用を教示する。
【００４９】
メモリユニット７２は、各ＬＣＤパネルの個々のセルまたは要素の蓄積された信号を保持することを留意すべきである。したがって、メモリユニット７２およびプロセッサ７４は、液晶ディスプレイパネルの関連するスクリーン要素を通って再帰反射スクリーンに向かう光を蓄積および解析する能力を有する。
【００５０】
本発明の画像をメモリユニット７２、プロセッサ７４、およびプロジェクタユニットコントローラ７６の間で操作するためのデータフローにより、各プロジェクタ６２（図７では簡略化のためにこれらのプロジェクタのうち１つだけを示す）の照明源６３が発する光放射ならびに透過パネル６４の透過性が規制される。ＬＣＤパネル上の複数の異なる領域にそれぞれ描画される、オブジェクトの複数の別個の２次元画像（すなわち複数の計算された画像）に関する情報、および任意選択で、観察者の左右の眼の位置に関する情報は、プロセッサ７４によって継続的に調整され、投影のための新たな計算された画像を生成する。計算を行うことを可能にするには、設定されたプログラムに従って各プロジェクタ６２に対する各パネル６４の一部の透過状態に対応する信号を処理ブロックに入力する。
【００５１】
これらの左右の眼の信号の各々は総和されて、右眼および左眼用の計算された画像値を生じる。次にこれらの信号を、比較動作において、記憶されている各アスペクトの立体ペア画像の関連部分およびオブジェクトのアスペクトの画像の関連領域と比較する。
【００５２】
信号は当然、観察者の眼の場所によることを留意しておくと、検出される信号はいくぶん変化する可能性がある。各ＬＣＤパネルの各セルについて比較誤差を特定する。次に各誤差を事前設定された閾値信号と比較し、誤差信号が事前設定された閾値信号を超える場合、プロセッサ制御ルーチンは、ＬＣＤパネルの透過性に対応する信号を変更する。
【００５３】
観察者の位置が移動した（または異なる画像を投影することを望んだ）結果、オブジェクトの計算された画像に関する情報が変化した場合、プロセッサはこの変化を認識し、情報が変更されるまで、照明源の光放射ならびに適切なＬＣＤパネルセルの透過性に対応する信号をメモリユニットに入力する。観察者の位置が十分遠くに変化し、新たな画像が必要とされる場合、そのビューまたは画像をデータベースから抽出し、それに従って処理する。
【００５４】
近くおよび遠くのスクリーンのセルの透過性に対応する信号は、設定されたプログラムに従って処理ブロックによってメモリユニットに入力される。次のステップは、全てのスクリーンのセルから少なくとも１人の観察者の左右の眼に送ることができる光信号を特定することである。次に、各眼に送られる特定された光信号を関連オブジェクトの設定された２次元立体ペア画像の対応する領域と比較する。
【００５５】
各ＬＣＤパネルの各セルについて、関連する眼に向けて送ることができる特定された光信号と、その眼が見るはずの関連するオブジェクトのアスペクトの立体写真の特定された関連領域との間の誤差信号を特定する。受信した各誤差信号を設定された閾値信号と比較する。誤差信号が設定された閾値信号を超える場合、上記の処理ブロック制御部のプログラムが、スクリーンセルに対応する信号を変える。誤差信号が設定された閾値信号よりも低くなるか、または設定された時間が経過するまで上記プロセスを繰り返す。
【００５６】
２人（またはそれ以上）の観察者に対して２つ（またはそれ以上）の異なる方向で再構築される２つ（またはそれ以上）の異なるオブジェクトの場合の計算を解くことも可能である。全ての計算は並列で行うことができることを明記しておかなければならない。この目的のためにＤＳＰプロセッサを設計することができる。上記のように、本発明の実施形態における問題解決には人口ニューラルネットワークを有利に使用することができる。これは、人口ニューラルネットワークが並列処理を可能にすること、およびＤＳＰ統合方式（DSP integrated scheme）の応用の可能性による。
【００５７】
したがって、この反復様式において、再帰反射スクリーンおよび特定の観察者に対して投影されて知覚される３次元画像を生成することが望まれる立体画像ペアの特性を考慮して、再帰反射スクリーンに投影するための２つの「平面」（すなわち２次元の）画像を計算する（各プロジェクタにつき１つの計算された画像）。各プロジェクタのＬＣＤパネルに現れる計算された画像が計算されるという事実は多くの応用に利点を有する。計算された画像を用いることにより、本発明は、余分なもの(superfluity)を最小にし、写真材料よりも低い解像度を有する液晶パネルを用いて３次元画像を生じることができる。
【００５８】
本発明のシステムは、イメージを同時に観察する複数の観察者とともに用いられてもよいことにも留意すべきである。本方法は単純に、個々の観察者の位置を認識（または特定の観察ゾーンを設定）して、複数の観察者に適した画像を見せる。
【００５９】
設定された画像観察ゾーン（複数可）を使用するシステムを、視聴者が移動することを可能にするように適用するには、観察者位置信号をシステムに入力する。計算された画像を求めるために使用されるアルゴリズムは、システムの光学的な幾何学的配置を反映する変数を必然的に含む。これらの変数は、観察者位置信号を既知の方法で用いて求めることができる。また、観察者位置信号を用いて、どの立体ペアを表示するかを、光学的な幾何学的配置の計算に基づいて判定することができる。観察者位置信号の生成には、観察者が装着する無線周波数センサ、三角測量を行う赤外線および超音波システム、ならびにビデオの画像データ解析を用いるカメラベースのマシンビジョン等があるがこれらに限定されない、仮想現実（「ＶＲ」）の応用に使用される既知の頭部／眼球追跡システムを含む多くの既知の技術を用いることができる。
【００６０】
当業者には容易に理解されるように、本発明の特定の実施形態において、各プロジェクタの照明源は、実質的に広帯域の白色光源、特に白熱球、インダクションランプ（induction lamp）、蛍光灯、またはアーク灯等とすることができる。他の実施形態において、照明源は、異なる色、例えば赤色、緑色、および青色の単色光源の組とすることもできる。これらの光源は、発光ダイオード（「ＬＥＤ」）、レーザダイオード、または他の単色および／またはコヒーレント光源としてもよい。
【００６１】
特定の実施形態において開示してきたが、本発明の範囲から逸脱することなく多くの他の幾何学的配置および実施形態が可能であることは明らかである。例えば、本発明は２台以上のプロジェクタを有することができ、各プロジェクタは独自の場所を有することができ、再帰反射スクリーンはホログラムとすることができ、スクリーン画像と各プロジェクタの画像との間の裏面接続(back connection)に２台以上のビデオカメラを用いることができる。
【００６２】
図８に示すように、本発明の別の実施形態は、多面画像マッチングのためのシステムとその関連方式を提供する。具体的には、本発明のこの実施形態は、３Ｄ画像のアスペクトの位置をマッチングすることによりプロジェクタの光学系の歪みの可能性を最小にするシステムに関する。図８のシステムは概して、画像化計算デバイス６１および画像プロジェクタ６２に加えて、画像化計算デバイス６１に電子的に接続されたデジタルカメラ８０と、画像化計算デバイス６１内の画像取込および処理ソフトウェア８１と、スクリーン８４とを含む。概して、図８の装置は、投影画像の外観に関連するデータを収集および解析し、所望の画像特性を達成するために必要な投影システムに対する変更を決めるフィードバックループを作成するために機能する。
【００６３】
デジタルカメラ８０は、一般に市販されるよく知られたタイプのデバイスである。カメラ８０の特定のタイプは必要に応じて変えることができる。カメラ８０は通常、何らかのタイプの放射を電気に変換する技術、例えば電荷結合素子（ＣＣＤ）を有して、投影画像に関するデータを、画像化計算デバイス６１が使用できる電子形式で収集する機能を行う。
【００６４】
プロジェクタ６２およびカメラ８０はプラットフォーム８２上に構成される。プラットフォームは、プロジェクタ６２を位置決めするために用いられる構造である。初めに、プロジェクタ６２の配置および向きはランダムに決めるか、あるいは様々な既知の標準的な手順を用いて構成することができる。図８は直線の向きに配置されたプロジェクタ６２を示すが、他の向きを用いてもよい。例えばプロジェクタは、アレイまたは他の幾何学的形状またはパターンに配置することができる。カメラ８０は通常、プラットフォーム８２の中心近くでプロジェクタ６２の真ん中に配置される。
【００６５】
画像化計算デバイス６１および画像プロジェクタ６２は次に、図６および図７とその関連文に上述したように動作する。具体的には、画像化計算デバイス６１は通常、画像プロジェクタ６２の各々を、テスト画像８３（通常はカラーの点の２次元アレイまたは一連の垂直線）をスクリーン８４上に以下に説明する方法で投影するように方向付ける。
【００６６】
プロジェクタ６２のうちの１つ、通常はプラットフォーム８２の中心に最も近いプロジェクタを基準として用いる。この基準プロジェクタは、スクリーン８４上にテスト画像８３を照明して、基準テスト画像を作成する。次に、画像化計算デバイス６１が第２のプロジェクタ６２を、スクリーン８４上にテスト画像８３を送るように方向付け、２台のプロジェクタ６２からの画像投影がスクリーン８４上で重なるようにする。しかしながら、画像化計算デバイス６１は、第２のプロジェクタ６２に、基準テスト画像とは異なるわずかに変更された画像を発するよう指示する。概して、第２のプロジェクタからの画像は基準画像と色が異なる。
【００６７】
デジタルカメラ８０によるテスト画像８３の差の検出を容易にするために、スクリーン８４は、再帰反射スクリーン上に一時的に載せられる白紙または従来の投影スクリーンであることが好ましい。これにより、スクリーン８４は、略線形の反射品質を有し、スクリーンにより生じる投影テスト画像８３の歪みを最小にする。
【００６８】
カメラ８０は、この重複した画像８３の組を取り込み、画像に関連するデータを画像化計算デバイス６１に送る。画像化計算デバイス６１内の画像取込および処理ソフトウェア８１は、カメラ８０によって取り込まれた画像データを用いて、照明された(illuminated)テスト画像８３の不一致を計算し、図７とその関連文において説明した画像処理によって、この歪みの必要な補正を求める。同様に、画像取込および処理ソフトウェア８１の結果を用いて、プラットフォーム８２上のプロジェクタ６２の方向を物理的に変える。
【００６９】
このようにして、画像化計算デバイス６１は、カメラ８０からテスト画像を受け取り、このテスト画像を用いて、３Ｄ画像形成のために２台のプロジェクタに送られる画像の形状および位置を計算する。同様にこの手順を、投影画像のマッチングのために他のプロジェクタ６２のペアについて繰り返すことができる。
【００７０】
上述の画像マッチング手順が終了したら、スクリーン８３を取り除いて、システムが３Ｄ画像化に通常の方法で動作できるようにする。
【００７１】
上述のように、本発明の３Ｄ投影システムは通常、非対照的な散乱パターンを有する再帰反射スクリーンを含む。１実施形態において、再帰反射スクリーンは、図９に示すような散乱パターンを有する。具体的には、図９は、水平方向では比較的小角の（３度の範囲の）ガウス分布を有する再帰反射フィルムとして、垂直方向では広角の（５０度以上の範囲の）散乱を有する機能するスクリーンを示す。したがって、再帰反射スクリーンは、入射光線９０から散乱パターン９２を生成する。散乱パターン９２は、反射光線９１からの比較的小角の水平散乱光線９３を有する。これに対し、散乱パターン９２は、反射光線９１からの比較的広角の垂直散乱光線９４を有する。これらの特性により、優れた視覚特性を有する３Ｄディスプレイが生成される。
【００７２】
図１０は、図９の所望の散乱パターンを有する再帰反射スクリーンの可能な１実施形態を示す。図１０は、透明なポリマーフィルム上に２つの連続するマイクロプリズムをエンボス加工することによって形成されるスクリーン１００を示す。表面１０１は空間周波数の高い水平プリズムでエンボス加工して、入射光１０３からの広角の垂直散乱１０４を送る。具体的には、表面の水平プリズムは、５０〜２００ｍｋｍの範囲の特別周波数(special frequency)を有する。これに対して裏面１０２は、全内部反射に対して１次元再帰反射を行う空間周波数の低い９０度のマイクロプリズムでエンボス加工される。裏面の垂直プリズムは、５〜２０ｍｋｍの範囲の特別周波数を有する。この構成により、入射光線１０３からの比較的小角の水平散乱光線１０５が生成される。
【００７３】
再帰反射スクリーンの別の可能な実施形態を図１１に示す。複合スクリーン（composite screen）１１０は２つのフィルムの組み合わせにより形成される。具体的には、再帰反射スクリーン１１０における実質的な散乱は、ミクロプリズム再帰反射体フィルム１１１と１次元マイクロプリズムアレイ散乱フィルム１１２との組み合わせにより達成することができる。この組み合わせにより、入射光線１１３からの広角の垂直散乱光線１１４と比較的小角の水平散乱光線１１５とを有する所望の散乱パターンを生じる再帰反射スクリーン１１０が形成される。マイクロプリズム再帰反射フィルム１１１および１次元マイクロプリズムアレイ散乱フィルム１１２をそれぞれ図１２および図１３にさらに詳細に示す。
【００７４】
本明細書中では本発明の好ましい実施形態を図示し説明してきたが、当業者には、このような実施形態は例示として提示されるに過ぎないことは明らかであろう。本件出願人により本明細書中に開示された本発明の範囲を逸脱することのない、多くの本質的でない変形、変更および置き換えが、当業者には明らかであろう。したがって、本発明は併記の特許請求項の精神および範囲によってのみ制限されることが意図される。
【図面の簡単な説明】
【００７５】
【図１】従来技術において観察可能な２次元画像を観察スクリーン上に投影するために使用される１方法の図である。
【図２】本発明の実施形態に従って３次元画像の投影を示す概略図である。
【図３】本発明の実施形態において使用することができる１つの再帰反射スクリーンによって生成される非線形の光分布を示す図である。
【図４】１台のプロジェクタを使用し反射スクリーンを介して観察者の眼に画像情報を伝える際の幾何学的配置を示す概略図である。
【図５】本発明の１実施形態において使用される再帰反射スクリーンによって生成される非線形の光分布すなわちカーネル(kernel)を示す図である。
【図６】本発明の実施形態による投影システムの部品を示す概略図である。
【図７】本発明の実施形態において使用される画像化計算ユニットの計算および制御構造を示す概略図である。
【図８】本発明の実施形態による画像マッチング投影システムの部品を示す概略図である。
【図９】図６の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。
【図１０】図６の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。
【図１１】図６の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。
【図１２】図６の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。
【図１３】図６の投影システムの実施形態による再帰反射体スクリーンを示す概略図である。
【図１】
2005515487.tif 000005
【図２】
2005515487.tif 000006
【図３】
2005515487.tif 000007
【図４】
2005515487.tif 000008
【図５】
2005515487.tif 000009
【図６】
2005515487.tif 000010
【図７】
2005515487.tif 000011
【図８】
2005515487.tif 000012
【図９】
2005515487.tif 000013
【図１０】
2005515487.tif 000014
【図１１】
2005515487.tif 000015
【図１２】
2005515487.tif 000016
【図１３】
2005515487.tif 000017
【国際調査報告】
2005515487.tif 000018
2005515487.tif 000019