(57)【要約】  本発明の方法およびシステムは、パララックスバリアも解像度の損失もなく、自動立体画像を表示する。立体ペア（８）が処理されて、遠隔表示装置と、この遠隔表示装置の前に配置された１つまたは複数の透過型表示装置（４、６）とに送出される。各表示装置は、観察者の両眼（３４、３６）に向かう画像情報の少なくとも一部を含む計算された画像を有する。各表示装置は、他の表示装置のマスクとして機能する。立体ペアを処理して、計算された画像を生成することは、予測された画像データを合計すること、予測された画像データを所望の立体ペア（８）と比較すること、および誤差を最小にすることを含む。好ましい実施の形態では、この処理は、人工のニューラルネットワーク（５０）によって行われる。ディフューザのような空間マスク（５）を表示装置（４、６）の間に配置して、モアレパターンを抑制することができる。
2005509901.tif 000002
【特許請求の範囲】
【請求項１】
自動立体画像を表示する方法であって、
立体ペア画像を記憶することと、
一方が他方の前に間隔をおいて配置された少なくとも２つの透過型電子表示装置の前に少なくとも１つの観察ゾーンを決定することと、
立体ペア画像を処理することであって、それによって、前記少なくとも２つの透過型電子表示装置のそれぞれについて、少なくともいくつかの右眼画像情報および少なくともいくつかの左眼画像情報を含む計算された画像を求める、立体ペア画像を処理することと、
それぞれの前記計算された画像をそれぞれの透過型電子表示装置に表示することであって、それぞれの表示される計算された画像が、他の表示される計算された画像のマスクとして機能する、それぞれの前記計算された画像をそれぞれの透過型電子表示装置に表示することと、
前記透過型電子表示装置を背面から照明することであって、それによって、自動立体画像を前記少なくとも１つの観察ゾーンに表示する、前記透過型電子表示装置を背面から照明することと
を含む自動立体画像を表示する方法。
【請求項２】
それぞれの前記計算された画像の処理は、
前記透過型表示装置のそれぞれにおける一時的画像によって、観察者の眼のそれぞれに、最近接の透過型電子表示装置のそれぞれ個々のピクセルを通って向かう光を推定することと、
各ピクセルについて前記推定された光を前記立体ペアからの対応する光と比較することであって、それによって、誤差を求める、各ピクセルについて前記推定された光を前記立体ペアからの対応する光と比較することと、
前記一時的画像を調整することであって、それによって、各ピクセルの前記誤差が、設定された制限未満となるまで、前記誤差を低減して、計算された画像の組を生成する、前記一時的画像を調整することと、
を繰り返し行うことを含む請求項１に記載の自動立体画像を表示する方法。
【請求項３】
前記処理は、人工のニューラルネットワークによって行われる、請求項２に記載の自動立体画像を表示する方法。
【請求項４】
前記少なくとも１つの観察ゾーンは、検知された観察者位置信号に応じた計算によって決定される、請求項１に記載の自動立体画像を表示する方法。
【請求項５】
それぞれの前記計算された画像は、複数の観察ゾーンへの表示を行うために求められる、請求項１に記載の自動立体画像を表示する方法。
【請求項６】
複数の観察ゾーンへの表示を行うために複数の立体ペアを処理することをさらに含む、請求項１に記載の自動立体画像を表示する方法。
【請求項７】
モアレパターンを抑制するために、隣接する透過型電子表示装置の間にマスクを配置することをさらに含む、請求項１に記載の自動立体画像を表示する方法。
【請求項８】
前記マスクとしてディフューザを選択することをさらに含む、請求項７に記載の自動立体画像を表示する方法。
【請求項９】
液晶表示装置（ＬＣＤ）、ガスプラズマ表示装置、および有機発光ポリマ（ＯＬＥＰ）表示装置を含む群から前記表示装置を選択することをさらに含む、請求項１に記載の自動立体画像を表示する方法。
【請求項１０】
自動立体画像を表示するシステムであって、
立体ペア画像を記憶する手段と、
一方が他方の前に間隔をおいて配置された少なくとも２つの透過型電子表示装置と、
前記少なくとも２つの透過型電子表示装置の前の少なくとも１つの観察ゾーンと、
立体ペア画像を処理する手段であって、それによって、前記少なくとも２つの透過型電子表示装置のそれぞれについて、少なくともいくつかの右眼画像情報および少なくともいくつかの左眼画像情報を含む計算された画像を求める、立体ペア画像を処理する手段と、
それぞれの前記計算された画像をそれぞれの透過型電子表示装置に表示する手段であって、それぞれの表示される計算された画像が、他の表示される計算された画像のマスクとして機能する、それぞれの前記計算された画像をそれぞれの透過型電子表示装置に表示する手段と、
前記透過型電子表示装置を背面から照明する手段であって、それによって、自動立体画像を前記少なくとも１つの観察ゾーンに表示する、前記透過型電子表示装置を背面から照明する手段と、
を含む自動立体画像を表示するシステム。
【請求項１１】
それぞれの前記計算された画像を処理する前記手段は、
前記透過型表示装置のそれぞれにおける一時的画像によって、観察者の眼のそれぞれに、最近接の透過型電子表示装置のそれぞれ個々のピクセルを通って向かう光を推定することと、
各ピクセルについて前記推定された光を前記立体ペアからの対応する光と比較することであって、それによって、誤差を求める、各ピクセルについて前記推定された光を前記立体ペアからの対応する光と比較することと、
前記一時的画像を調整することであって、それによって、各ピクセルの前記誤差が、設定された制限未満となるまで、前記誤差を低減して、計算された画像の組を生成する、前記一時的画像を調整することと、
を繰り返し行う手段を備える請求項１０に記載の自動立体画像を表示するシステム。
【請求項１２】
前記処理する手段は、人工のニューラルネットワークである、請求項１１に記載の自動立体画像を表示するシステム。
【請求項１３】
前記少なくとも１つの観察ゾーンを決定する観察者位置検知手段をさらに備える、請求項１０に記載の自動立体画像を表示するシステム。
【請求項１４】
複数の観察ゾーンへの表示を行うために求められるそれぞれの前記計算された画像を処理する手段をさらに備える、請求項１０に記載の自動立体画像を表示するシステム。
【請求項１５】
複数の観察ゾーンへの表示を行うために複数の立体ペアを処理する手段をさらに備える、請求項１０に記載の自動立体画像を表示するシステム。
【請求項１６】
隣接する透過型電子表示装置の間に配置されて、モアレパターンを抑制するマスクをさらに備える、請求項１０に記載の自動立体画像を表示するシステム。
【請求項１７】
前記マスクは、ディフューザである、請求項１６に記載の自動立体画像を表示するシステム。
【請求項１８】
前記表示装置は、液晶表示装置（ＬＣＤ）、ガスプラズマ表示装置、および有機発光ポリマ（ＯＬＥＰ）表示装置からなる群から選択される、請求項１０に記載の自動立体画像を表示するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［先願との関係］
この出願は、１９９９年１２月８日に出願された米国特許出願第０９／４５６，８２６号の一部継続出願である。この米国特許出願第０９／４５６，８２６号は、その全内容が参照により本明細書に援用される。
【０００２】
［発明の分野］
この発明は、包括的には、画像の立体表示および関連する装置に関する。詳細には、本発明は、マルチアスペクト（multi aspect）表示装置の立体画像化の並列情報処理に基づく３Ｄ視覚化のシステムおよび方法である。
【０００３】
［発明の背景］
現代では、画像の立体表示が、ますます重要となってきている。例えば、パイロットから医者にまで及ぶ専門家の訓練は、現在、立体画像の視覚化によるところが多い。さらに、例えば、人間の部位または機械部品の検査のシミュレーションの間、観察者が、データの変更も画像の切り換えも行う必要なく、それらの部位または部品を連続して立体視できるように、画像の複数のアスペクトを見ることができるということが重要である。
【０００４】
長年、従来型の立体表示システムが使用されてきた。これらのすべては、左眼用の画像と右眼用の画像とを分離することに基づいている。例えば、観察者の左右の眼に異なる光景を順次表示する装置が、地図製作の用途および他の用途でうまく使用されてきた。この例では、立体画像を交互にすることを使用して、異なる光景が観察者の左眼および右眼に順次提示される。また、これは、ブラウン管表示装置または液晶表示装置を使用することによっても行われる。これらの表示装置により、観察者は、左右の眼で異なる画像を見るために偏光眼鏡または液晶シャッタ眼鏡のような特別な眼鏡をかける。
【０００５】
また、観察者が、レンチキュラーレンズスクリーンから最適な距離にいる場合に、左右の画像を別々に見ることができるように、レンチキュラーレンズも使用されてきた。例えば、Arakiに付与された米国特許第５，８３８，４９４号は、「Apparatus for Displaying Image Allowing Observer to Recognize Stereoscopic Image」に対して発行されたものである。この装置は、複数のストライプ画像を表示するレンチキュラースクリーンを使用する。各ストライプは、ユーザがレンチキュラースクリーンを通して見ている時の左右の眼の視差画像（parallax view）に対応する。この装置は、立体画像ペアの限られた個数の光景を提示するので、表示できる光景の個数に限りがある。
【０００６】
米国特許第５，９３０，０３７号は、「Stereoscopic Display Apparatus Which Prevents Inverse Stereoscopic Vision」に対してImaiに発行されたものである。この発明は、レンチキュラーレンズを使用して立体画像を見ることに関するが、右眼が左眼用の画像を見た場合およびその逆の場合の逆立体視として知られている現象も防止することに関する。このことは、確かに一定の現象の発生を防止するが、この発明は、特定のユーザに対して存在し得る立体画像ペアの個数に限りがある。
【０００７】
米国特許第５，７１２，７３２号は、「Auto Stereoscopic Image Display Adjustable for Observer Location and Distance」に対してStreetに発行されたものである。この発明は、レンチキュラーレンズが使用される場合、レンズが正確に動作するように、観察者が、レンズから特定の距離にいなければならないという理由から考案されたものである。この発明は、システムが、スクリーンに対する距離および位置（左右）に関して観察者の頭部の位置を求めることを可能にする距離計測装置を備える。このようにすることで、あらゆる特定の位置において、適切な立体画像ペアをユーザに提示することができる。この場合も、この発明は、レンチキュラースクリーンに基づいて観察者の左右の眼の視差画像を分離する。頭部の位置を特定する装置は、立体ペアの画像を見ることに関連付けられた他のさまざまな幾何学的配列を要求する。しかしながら、この発明は、このような観察中に、観察者の頭部の位置に適合することに関するものであり、作成できる画像のアスペクト数に限りがある。
【０００８】
求められているものは、ユーザが、必要に応じて、特定のオブジェクトの多くのアスペクトを見ることができるように、多数のアスペクト、すなわち「マルチアスペクト」表示を提供するシステムである。観察者が、立体画像を見ている時に、自身の頭部の位置について制約を受けないように、このような観察が柔軟な方法で行われることはさらに有益である。
【０００９】
［発明の概要］
したがって、本発明の一目的は、立体画像を作成するマルチアスペクト画像観察を提供することである。
【００１０】
本発明の別の目的は、情報を失わないように観察者に無制限な数の画像のアスペクトを提示することを可能にすると同時に、完全な立体画像を観察者に提示することを可能にすることである。
【００１１】
本発明のさらに別の目的は、オブジェクトの３次元（３Ｄ）視覚化を簡単にすることである。
【００１２】
本発明の別の目的は、観察者の３Ｄ情報の知覚を改善することである。
【００１３】
本発明の別の目的は、誤差の原因を立体画像の観察から除去することである。
【００１４】
本発明のさらに別の目的は、立体イメージを見る時に、観察者の視界からのあらゆるマスクまたは障害物を取り除くことである。
【００１５】
本発明のさらに別の目的は、３次元シーンの視覚化を試みる観察者の視界からパララックスバリアを取り除くことである。
【００１６】
従来のパララックスバリア型のレンチキュラーレンズでは、特定のオブジェクトのアスペクトは非常に少ない数しか提示されない。さらに、一方のスクリーン、すなわちプレーンが、さまざまなアスペクトに関する情報のすべてを含むのに対し、他方のスクリーン（またはマスク）は、観察される画像の左アスペクトを右アスペクトから分離するランニングスリット（running slit）またはレンチキュラーレンズしか含まない。さらに、観察者がパララックスバリア型の観察システムを使用するときは常に、観察者には、パララックスバリアまたはレンチキュラーレンズが実際には見えている。これは、立体画像の観察を試みる際に、観察者が見ることができる画像のアスペクト数をさらに制限する。
【００１７】
本発明は、立体マルチアスペクト画像の並列情報処理に基づく３次元視覚化システムおよび３次元視覚化方法である。単一の３Ｄ観察ゾーンまたは複数の３Ｄ観察ゾーンに対する画像が、処理可能である。さらに、別の実施の形態では、この処理は、その性質上、観察者の位置が変化するにつれて連続的な処理が行われるように適合することができる。したがって、意味のあるどの方法によっても観察者に制約を課さないことにより、観察者による３Ｄ画像の知覚が改善される。
【００１８】
本発明では、少なくとも２つの透過型電子表示スクリーンが、前後に配置される。このような各スクリーンは、集合して１つの画像を形成できる複数のピクセルまたはセルから構成される。以下では、この透過型電子表示スクリーンをＬＣＤ（液晶表示装置）と呼ぶが、本発明は、ＬＣＤに限定されるように意図されているわけではなく、他の透過型電子表示手段を使用こともできる。このような透過型電子表示手段としては、例えば、プラズマ表示装置、ＯＬＥＤ（有機発光ダイオード）スクリーンまたはＯＬＥＰ（有機発光ポリマ）スクリーンがあるが、これらに限定されるものではない。スクリーンは、透過型である。すなわち、スクリーンは、それぞれ光を透過するものである。照明手段が、スクリーンの背面に配置されて、作成されたＬＣＤ画像を照明する。
【００１９】
一対のスクリーンを使用して、左右の立体画像ペアまたはアスペクト（以下では、立体ペアと呼ぶ）を表示する従来技術のシステムと異なり、本発明の各スクリーンは、計算された画像を表示する。この計算された画像は、立体ペア画像の１つではなく、むしろ、現在の設計で相互作用して、観察される立体画像を生成する立体ペア画像の派生物である。この情報は、メモリユニットに記憶された立体ペアのデータベースから引き出される。メモリユニットは、所望の立体ペアを処理部に提供する。次に、処理部は、ＬＤＣパネルによって表示される計算された画像を処理する。さらに、処理部は、ＬＣＤパネルを照明する照明装置も制御することができる。
【００２０】
３Ｄ画像情報は、ＬＣＤパネル間に分散されるので、例えばレンチキュラー観察システムなどにより双方のアスペクトを単一のスクリーンまたはプレーンに表示しなければならない従来技術のシステムで見られるような解像度の損失はない。
【００２１】
本発明の別の実施の形態では、計算された画像は、観察者の位置の検知に基づいて観察者に提示される。この観察者位置信号は、位置のＩＲ検知またはＲＦもしくは超音波の追跡手段のような、当該技術分野において既知の手段によって処理部に入力される。次に、処理部は、その後の処理、提示、およびＬＣＤパネルのコントローラによる表示のために、メモリユニットから別の立体ペアを検索する。
【００２２】
本発明の基本的な実施の形態では、各パネルにおける計算された画像が、他のパネル（複数可）のマスクとして機能する。したがって、観察者には、オブジェクトそのもの以外の画像は見えない。これは、従来のパララックスバリア型画像システムとは著しく異なる。従来のパララックスバリア型画像システムでは、マスクをはっきりと見ることができる。さらに、この画像の予備的な処理の結果、レンチキュラースクリーンまたはレンチキュラーレンズによって作成されるもののような視覚上のノイズおよび歪みがなくなる。
【００２３】
本発明の別の実施の形態では、画質を向上させ、かつ、モアレパターンを抑制するために、ＬＤＣパネル間に、分離したマスクパネルを含めることができる。
【００２４】
［発明の詳細な説明］
上述したように、本発明は、２つの液晶パネルを使用して、画像の複数のアスペクトを提示し、３次元観察体験を作り出すシステムおよび方法である。
【００２５】
図１を参照して、コンピュータデバイス１は、照明サブシステム２の制御と、空間マスク５によって分離された２つの個別の液晶表示装置４および６の画像表示の制御とを提供する。コンピュータデバイス１によって制御される照明源２は、コンピュータデバイス１によって供給された画像を表示している透過型液晶表示装置４および６を照明する。
【００２６】
図２は、コンピュータデバイス１の詳細を示している。本発明は、この実施の形態では、観察者位置信号１０を含むように開示されるが、以下の例で解説するように、設定された１つの観察ゾーンまたは設定された複数の観察ゾーンを定めることにより、この特徴がなくても本発明を実施できることが当業者には分かる。本発明は、立体ペアまたはアスペクトのデータベース８を備える。この立体ペアまたはアスペクトは、メモリユニット１２に供給される。メモリユニット１２は、いくつかの機能を有する。まず、メモリユニット１２は、立体ペアデータベース８から特定の立体ペアを抽出して記憶する。この立体ペアは、最初の観察位置に対応することになる。上述したように、観察者位置センサ１０は、観察者位置信号を処理部１４に供給することができる。
【００２７】
観察期間中のすべてにおいて、観察者位置信号１０は、絶えず監視され、処理部１４に供給される。観察者の位置および（以下に）後述するようなその後のエラー処理に応じて、データベース８からの立体ペアアスペクトのその後の抽出のために、処理部１４からの観察者位置１０に関する情報が、メモリユニット１２に供給される。このように、観察者が、さまざまな位置から３Ｄオブジェクトを見たい場合、本発明は、観察者位置信号１０に基づいて、更新された一連の立体ペアを処理部に絶えず供給することができる。観察者が、観察位置にかかわらず、オブジェクトの単一の３Ｄの光景を見たい場合には、観察者位置信号１０を使用して、必要な処理に使用される光学的な幾何学的配列を求めることができる。
【００２８】
メモリユニット１２は、所望の立体ペアを処理部１４に供給し、それによって、計算された画像が生成される。この計算された画像は、処理部１４からＬＣＤパネルおよび照明部の制御ユニットに直接送出することもできるし、制御ユニット１６がアクセスするメモリユニット１２に記憶することもできる。ユニット１６は、その後、計算された画像を適切なＬＣＤパネル４、６に供給すると共に、透過型ＬＤＣパネル４、６を照明するライトを制御する。また、処理部１４もまた、ＬＣＤおよびライト制御ユニット１６に命令を供給して、適切な照明を提供する。
【００２９】
メモリユニット１２は、液晶表示装置の個々のセルまたは個々の素子の累積した信号を保持することに留意すべきである。したがって、メモリユニット１２および処理部１４は、ＬＣＤパネルの該当するスクリーンエレメントを通過して観察者の右眼および左眼に向かっている光を累積して分析する能力を有する。この観察者の右眼および左眼は、設定された観察ゾーン（複数可）または観察者位置信号１０に基づき、処理部１４によって特定される。
【００３０】
図３を参照して、本発明の光ビームの移動の図を示す。この図には、３パネルＬＣＤシステムを示している。この例において、この表示装置は、近接パネル１８、マスクパネル２０、および遠隔画像パネル２２に提示される画像を含む。これらのパネルの相対的な位置は、既知であり、その後の画像の表示を行うために、処理部に入力されている。マスクパネル２０を、画像情報を記憶できるＬＣＤパネルとして示しているが、マスクパネル２０は、ディフューザのような簡単な空間マスクデバイスとすることもできる。
【００３１】
それぞれの立体ペアを観察者に提示するのに必要な情報のさまざまな部分は、計算された適切な画像を各パネルに送ることにより、パネル１８、２０、および２２の各エレメントに表示される。この図では、左眼３６には、パネル１８に送られた計算された画像のパネル１８上の部分２８が見える。パネルは、その性質が透過型であるので、左眼３６には、マスクＬＣＤパネル２０に表示された計算された画像の部分２６も見える。さらに、この場合も、各ＬＣＤパネルが透過型であることから、左眼３６には、遠隔ＬＣＤパネル２２に表示される計算された画像の部分２４も見える。このように、計算された画像の所望の部分は、観察者の左眼によって見られるものとなる。
【００３２】
同様に、右眼３４には、近接パネル１８上の計算された画像の同じ部分２８が見えると共に、マスクパネル２０に表示された計算された画像の部分３０も見え、さらに、遠隔パネル２２の計算された画像の部分３２も見える。計算された画像のこれらの部分は、観察者の右眼によって見られるものとなる。
【００３３】
観察者の左右の眼によって見られる計算された画像のこれらの部分は、観察者が見る２つの視点を構成し、それによって、立体画像が作成される。
【００３４】
図４を参照して、本発明の画像操作のデータフローを示す。先に述べたように、メモリユニット１２、処理部１４、およびＬＣＤ制御および照明制御部１６は、遠隔スクリーン２２から発する光放射と、マスク２０および近接スクリーン１８の透過率を調節する。
【００３５】
オブジェクトの複数の個別の２次元（２Ｄ）画像（すなわち、複数の計算された画像）に関する情報、および、オプションとして、観察者の左眼および右眼の位置に関する情報は、プロセッサ部１４によって調整される。なお、上記オブジェクトの複数の個別の２次元画像のそれぞれは、ＬＤＣスクリーンの複数の異なる領域に描写されるものである。
【００３６】
近接スクリーン１８の部分２８の透過率に対応する信号と、左右の眼のそれぞれに対応したマスク２０（２６、３０）の透過率に対応する信号と、左右の眼のそれぞれの画像のそれらの部分（２４、３２）の光放射に対応した遠隔スクリーン２２に対応する信号とは、設定されたプログラムに従って、処理部に入力される。
【００３７】
次に、各観察者の左右の眼に向かう全スクリーンのセルからの光信号が特定される。この例では、セル２８、２６、および２４からの信号が、すべて、観察者の左眼３６に向かい、ブロック２８、３０、および３２からの信号が、観察者の右眼３４に向かう。
【００３８】
これらの左右の眼の信号のそれぞれは、加算されて（３８）、右眼の値４２および左眼の値４０が作成される。次いで、これらの信号は、比較演算４８において、各アスペクトの画像の該当する部分ならびにオブジェクトアスペクト４４および４６の画像の該当する領域と比較される。
【００３９】
この信号が、観察者の眼の位置の重要な関数であることを認識すると、検出された信号は、ある程度変化する可能性がある。比較によるあらゆる誤差が、近接スクリーン、マスクスクリーン、および遠隔スクリーンのそれぞれの各セルについて特定される。次いで、各誤差は、設定された閾値信号と比較される。誤差信号が、設定された閾値信号を越える場合、処理部の制御は、遠隔スクリーン２２のセルの少なくとも一部の光放射に対応する信号を変更し、その上、マスクＬＣＤ表示装置のセルおよび近接ＬＣＤ表示装置のセルの少なくとも一部の透過率も変更する。
【００４０】
観察者の位置が移動した結果、オブジェクトの計算された画像に関する情報が変化すると、処理部は、その移動を検知し、その情報が変更されるまで、メモリユニットに、遠隔スクリーンのセルの光放射に対応する信号を入力すると共に、マスクスクリーンのセルおよび近接スクリーンのセルの透過率も入力する。観察者の位置が、新しい光景を必要とするのに十分なだけ大きく変化すると、その光景または画像が、データベースから抽出されて処理される。
【００４１】
［実施例］
簡単な実施の形態において、本発明は、図１に示すような２つの透過型ＬＣＤスクリーンからなる。遠隔スクリーン４および最近接（以下、近接という）スクリーン６は、空間マスク５が配置されるギャップによって分離される。このマスクは、純粋な位相透過型（例えばレンチキュラースクリーンまたはランダムスクリーン）、振幅透過型、または複合透過型であってもよい。これらのスクリーンは、コンピュータ１によって制御される。このシステムによって形成される観察画像は、観察者の眼の移動に応じて、自動立体３Ｄ画像を形成する。解決しなければならない唯一の問題は、観察者の眼において立体画像を一体化するための遠隔スクリーンおよび近接スクリーン上の画像（すなわち、計算された画像）を計算することである。
【００４２】
この問題を解決する１つの手段は、ＬおよびＲが立体画像の左右のペアであり、観察者の眼の位置の観察ゾーンが一定であると仮定することである。空間マスクは、簡単のため、振幅タイプのものを前提とする。
【００４３】
図３に示すように、２つの光ビームは、眼３４および３６の瞳孔を通過するために、近接スクリーン１８の任意のセルｚ２８を通過することになる。これらのビームは、マスク２０の点ａ（ｚ）２６およびｃ（ｚ）３０ならびに遠隔スクリーン２２の点ｂ（ｚ）２４およびｄ（ｚ）３２とそれぞれ交差する。左眼３６の画像は、以下の合計となる。
ＳＬｚ＝Ｎｚ＋Ｍａ（ｚ）＋Ｄｂ（ｚ）                              （１）
ここで、Ｎは、近接スクリーン１８のピクセルの輝度であり、Ｍは、マスク２０のピクセルの輝度であり、Ｄは、遠隔スクリーン２２のピクセルの輝度である。
【００４４】
右眼３４については、それぞれ、合計は次のようになる。
ＳＲｚ＝Ｎｚ＋Ｍｃ（ｚ）＋Ｄｄ（ｚ）                              （２）
【００４５】
光が、近接スクリーン１８のすべてのピクセルｚ（ｎ）を通って向かうと、画像ＳＬおよびＳＲが、観察者の網膜に形成される。計算の目的は、近接スクリーン１８および遠隔スクリーン２２上の計算された画像の最適化を行い、以下のものを得ることである。
ＳＬ→Ｌ，    ＳＲ→Ｒ
【００４６】
任意のＬ画像およびＲ画像について正確な解を得ることができないということを証明することができる。そのため、本発明は、ＮおよびＤの起こり得る分布において、近似した解を見つけ出し、（目標と計算された画像との間の）最小２次差異関数（minimum quadratic disparity function）を生成する。
【００４７】
【数１】
2005509901.tif 000003
【００４８】
ここで、ρ（ｘ）は、差異（disparity）の関数であり、ピクセル輝度の範囲は、一定のＭに対して０≦Ｎ≦２５５、０≦Ｄ≦２５５である。
【００４９】
以下の特有の特徴から、この問題を解くために、人工ニューラルネットワーク（ＮＮ）を使用した。
並列処理、および
ＤＳＰ集積方式(DSP integrated scheme)の適用の可能性。
【００５０】
図５のニューラルネットワークアーキテクチャを本問題に適用した。５０は、３層のＮＮである。入力層５２は、隠れ層５４のニューロンに単位刺激を広める１つのニューロンからなる。隠れ層５４のニューロンは、近接スクリーンおよび遠隔スクリーンならびにマスクに対応する３つの群を形成する。出力層５６のニューロンは、画像ＳＬおよびＳＲに対応する２つの群を形成する。ニューロンの個数は、ＬＣＤスクリーンのピクセルの個数に対応する。近接スクリーンおよび遠隔スクリーンに対応するシナプス加重Ｗｉｊは、調整パラメータであり、マスクのＷｉｊは、定数である。隠れ層のニューロン間のシナプス結合は、このシステムの以下の光学的方式に対応する。
【００５１】
【数２】
2005509901.tif 000004
【００５２】
非線形関数は、値［０〜２５５］のシグモイド関数である。
【００５３】
【数３】
2005509901.tif 000005
【００５４】
ＮＮの機能は、以下の方程式によって記述することができる。
【００５５】
【数４】
2005509901.tif 000006
【００５６】
いずれのニューロンの出力信号も、遠隔スクリーンおよび近接スクリーンならびにマスクからの少なくとも１つの信号の加算となる。観察者の左右の眼に対応するＮＮの出力は、（（６）および（７）に従って）以下のようになる。
Ｙｋ(left) ＝Ｆ(Ｘｚ＋Ｘａ(ｚ)＋Ｘｂ(ｚ))＝Ｆ(Ｎｚ＋Ｍａ(ｚ)＋Ｄｂ(ｚ))
Ｙｋ(right)＝Ｆ(Ｘｚ＋Ｘｃ(ｚ)＋Ｘｄ(ｚ))＝Ｆ(Ｎｚ＋Ｍｃ(ｚ)＋Ｄｄ(ｚ))      （８）
この出力は、上記方程式（１）および（２）のものと同じである。
【００５７】
誤差関数は、次のようになる。
【００５８】
【数５】
2005509901.tif 000007
【００５９】
この方程式は、すべての誤差の合計である。（８）から、ＮＮの学習中にＥ→０とすると、隠れ層の出力は、スクリーンに照明される所望の計算された画像に対応することになることが明らかである。
【００６０】
ＮＮ学習
最初のステップにおいて、加重Ｗｉｊは、ランダムな値を有する。以下の誤差逆伝播法（ＢａｃｋＰｒｏｐ）をＮＮの学習に使用した。
【００６１】
【数６】
2005509901.tif 000008
【００６２】
上記方程式において、αは、学習速度である。実験は、（１０）の学習によると、許容できる精度が１０〜１５回の繰り返しで得られたこと、および、いくつかの画像については、１００回の繰り返しできわめて小さな誤差を達成できることを示している。この計算は、誤差のレベルと光学的方式のパラメータとの間の強い依存性があることを示している。光学的方式のパラメータとしては、例えば、Ｌ画像およびＲ画像の形状、近接スクリーンおよび遠隔スクリーンならびにマスクの間の距離、ならびに観察者の眼の位置といったものがある。
【００６３】
光学的パラメータの変動が小さなより安定した解を得るために、２つの代替的な方法を使用することができる。
【００６４】
第１の方法は、以下の方程式のように、正則化項を追加することにより、誤差関数（９）を変更することを含む。
【００６５】
【数７】
2005509901.tif 000009
【００６６】
上記方程式において、βは、正則化パラメータである。
【００６７】
第２の方法は、ＮＮの訓練中、少しだけ観察者の眼の位置をランダムに変更することを含む。これらの方法の双方とも、立体視の領域を拡大するために使用することができる。
【００６８】
「ＢａｃｋＰｒｏｐ」以外の訓練方法を使用することもでき、例えば、以下の共役勾配法を使用することもできる。
【００６９】
【数８】
2005509901.tif 000010
【００７０】
この方程式は、Fletcher-Reeves法の変形である。これは、訓練手順を５〜１０倍に速める。
【００７１】
本発明を使用する通常のシステムは、１０２４×７６８の解像度を有する２つの１５インチＡＭ  ＬＣＤと、立体画像処理用のＩｎｔｅｌ  Ｐｅｎｔｉｕｍ（登録商標）  ＩＩＩ−５００ＭＨｚプロセッサに基づくコンピュータシステムとからなる。このコンピュータは、分離された左右の画像をあらかじめ定められた領域に得るために、近接スクリーンおよび遠隔スクリーンに照明しなければならない計算された画像を得るためにニューラルネットワークをエミュレートする。ニューラルネットワークは、立体画像の誤差を最小にするために、表示装置の光学的方式および観察者の眼の位置をエミュレートする。
【００７２】
この技法は、情報伝送のためにすべてのスクリーンのセルを全体的に使用するので、パララックスバリア方式と比べて画質が改善される。また、本システムは、観察者の人数に加えて、各観察者の左右の眼の位置も特定することができ、そして、上述した手順を実行して、すべての観察者の特定された眼の位置に従ってこの技法を実現することができる。このようなシステムにより、数人の観察者が、同時に立体効果を知覚しながら、視覚情報を受け取ることが可能になる。
【００７３】
近接スクリーンのセルおよび遠隔スクリーンのセルの透過率に対応する信号は、設定されたプログラムに従って、処理部によりメモリユニットに入力される。その次のステップでは、すべてのスクリーンのセルから少なくとも１人の観察者の左右の眼に向かうことができる光信号が特定される。次いで、それぞれの眼に向かう特定された光信号が、該当するオブジェクトの設定された２Ｄ立体ペア画像の対応する領域と比較される。
【００７４】
各スクリーンの各セルについて、誤差信号が、該当する眼に向かうことができる特定された光信号と、同じ眼に見えるべき該当するオブジェクトアスペクトの立体映像の特定された該当領域との間で特定される。受信された各誤差信号は、設定された閾値信号と比較される。誤差信号が、設定された閾値信号を越える場合、処理部制御の上述したプログラムは、スクリーンのセルに対応する信号を変更する。上記プロセスは、誤差信号が、設定された閾値信号よりも小さくなるか、または、設定された時間が過ぎるまで繰り返される。
【００７５】
２人（または３人以上）の観察者に対して、２つ（または３つ以上）の異なる方向で２つ（または３つ以上）の異なるオブジェクトを復元する場合の計算を解くこともできる。すべての計算は、並列に実行でき、この目的でＤＳＰプロセッサを設計できることを特に言及しておかなければならない。
【００７６】
本発明は、多視点表示エミュレーションに使用することができる。本実験では、最大２０個までの観察ゾーンの画像が可能であるように、アスペクト数は、画像の情報量に依存することを示した。
【００７７】
本発明のシステムは、複数の観察者が、同時にイメージを観察する状況にも使用可能であることにも留意すべきである。このシステムは、単に、個々の観察者の位置を認識し（または特定の観察ゾーンを設定し）、複数の観察者に適切な画像を見せるだけである。
【００７８】
設定された画像観察ゾーン（または複数の画像観察ゾーン）を使用するシステムを、観察者の移動を可能にするよう適合させるために、観察者位置信号が、システムに入力される。ＳＬおよびＳＲを求めるために使用されるアルゴリズムは、光学的な幾何学的配列の変数を使用し、観察者位置信号は、それらの変数を求めるために使用される。また、観察者位置信号は、光学的な幾何学的配列の計算に基づいて、どの立体ペアを表示するかを決定することにも使用される。観察者位置信号の生成には、多数の既知の技術を使用することができ、これらの技術には、仮想現実（ＶＲ）の用途に使用される既知の頭部／眼追跡システムが含まれる。この追跡システムとしては、例えば、観察者に取り付けられたＲＦセンサ、三角測量方式のＩＲシステムおよび超音波システム、ならびに画像データのビデオ分析を使用するカメラベースのマシンビジョンがあるが、これらに限定されるものではない。
【００７９】
本明細書において、立体イメージを観察するためのシステムおよび方法を示してきた。開示した本発明の範囲から逸脱することなく、本発明の他の実施の形態が可能であることは、当業者には明らかである。
【図面の簡単な説明】
【００８０】
【図１】表示システムを示す。
【図２】本発明の計算制御アーキテクチャを示す。
【図３】本発明の光ビームの移動を示す。
【図４】表示制御プログラムのオペレーションのデータフローを示す。
【図５】画像データを求めるのに使用されるニューラルネットワークの図を示す。
【図１】
2005509901.tif 000011
【図２】
2005509901.tif 000012
【図３】
2005509901.tif 000013
【図４】
2005509901.tif 000014
【図５】
2005509901.tif 000015
【国際調査報告】
2005509901.tif 000016