(57)【要約】本発明は、水平遠近法ディスプレイを使用するハンズオン・シミュレータ・システムを開示する。ハンズオン・シミュレータ・システムはリアルタイム電子ディスプレイおよび周辺機器を含み、リアルタイム電子ディスプレイは水平遠近法画像を開放空間へ投影することができ、周辺機器によってエンドユーザは両手またはハンドヘルド・ツールで画像を操作することができる。【特許請求の範囲】
【請求項１】
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器とを含む、
3D水平遠近法シミュレータ・システム。
【請求項２】
周辺機器から入力を取り、水平遠近法ディスプレイへ出力を提供する処理ユニットを更に含む、請求項1記載のシミュレータ・システム。
【請求項３】
物理周辺機器を3D画像へ追跡させる手段を更に含む、請求項1記載のシミュレータ・システム。
【請求項４】
物理周辺機器を3D画像へ較正する手段を更に含む、請求項1記載のシミュレータ・システム。
【請求項５】
処理ユニットと、
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、
3D水平遠近法シミュレータ・システム。
【請求項６】
水平遠近法ディスプレイが、3D画像の一部分を内部アクセスボリュームへ更に表示し、それによって内部アクセスボリュームの画像部分が周辺機器によって接触されることができない、請求項5記載のシミュレータ・システム。
【請求項７】
水平遠近法ディスプレイが、自動または手作業の眼点追跡を更に含む、請求項5記載のシミュレータ・システム。
【請求項８】
水平遠近法ディスプレイが、3D画像をズーム、回転、または動かす手段を更に含む、請求項5記載のシミュレータ・システム。
【請求項９】
水平遠近法ディスプレイが、3D画像を実質的な水平面へ投影する、請求項5記載のシミュレータ・システム。
【請求項１０】
周辺機器が、ツール、ハンドヘルド・ツール、空間手袋、またはポインティング・デバイスである、請求項5記載のシミュレータ・システム。
【請求項１１】
周辺機器が先端を含み、操作が周辺機器の先端に対応する、請求項5記載のシミュレータ・システム。
【請求項１２】
操作が、表示画像を修正する動作、または異なる画像を生成する動作を含む、請求項5記載のシミュレータ・システム。
【請求項１３】
3Dサウンド・システムを更に含む、請求項5記載のシミュレータ・システム。
【請求項１４】
周辺機器のマッピングが、周辺機器の位置を処理ユニットへ入力することを含む、請求項5記載のシミュレータ・システム。
【請求項１５】
周辺機器の追跡ユニットが、三角測量または赤外線追跡システムを含む、請求項5記載のシミュレータ・システム。
【請求項１６】
表示画像の座標を周辺機器へ較正する手段を更に含む、請求項5記載のシミュレータ・システム。
【請求項１７】
較正手段が参照座標の手作業入力を含む、請求項16記載のシミュレータ・システム。
【請求項１８】
較正手段が、較正手順による参照座標の自動入力を含む、請求項16記載のシミュレータ・システム。
【請求項１９】
水平遠近法ディスプレイが、水平遠近法を使用して立体3D画像を表示する立体水平遠近法ディスプレイである、請求項5記載のシミュレータ・システム。
【請求項２０】
処理ユニットと、
水平遠近法を使用して立体3D画像を開放空間へ表示する立体水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、マルチビュー3D水平遠近法シミュレータ・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、3次元シミュレータ・システムに関し、更に具体的には、操縦者とのインタラクションが可能なハンズオン（hands-on）・コンピュータ・シミュレータ・システムに関する。
【０００２】
本願は、参照により本明細書に組み入れられる2004年4月5日に出願された米国特許仮出願第60/559,780号からの優先権を主張する。
【背景技術】
【０００３】
発明の背景
3次元（3D）能力エレクトロニクスおよびコンピューティング・ハードウェア・デバイスおよびリアルタイム・コンピュータ生成3Dコンピュータ・グラフィックスは、過去数十年の間、コンピュータ科学の人気領域であり、ビジュアル、オーディオ、および触覚システムの革新が行われてきた。この領域における研究の多くは、より大きな現実感、およびより自然なコンピュータと人間とのインタフェースを生成するように特別に設計されたハードウェアおよびソフトウェア製品を生み出してきた。これらの革新は、エンドユーザのコンピューティング体験を著しく向上および簡素化した。
【０００４】
人間が絵によって意思を伝達することを始めてから、人間は、その住んでいる3次元世界をどのようにして正確に表現するかのジレンマに直面した。彫刻は、3次元物体をうまく表現するために使用されたが、物体間および環境の中の空間関係を伝達するには不十分であった。これを行うため、初期の人間は、周囲で見るものを2次元垂直平面の上に「平らに」しようと試みた（例えば、絵画、図画、壁掛けなど）。人物が直立して木々に囲まれているシーンは、垂直平面の上に比較的うまく描写された。しかし、芸術家が立っている場所から、見渡す限り、大地が地平線まで延びている風景を、どのようにして表現できるのであろうか。
【０００５】
答えは、3次元幻影である。2次元の絵は、3次元の多数のキューを脳へ提供して、3次元画像の幻影を作り出さなければならない。3次元キューのこの効果は、脳が完全にそれに慣らされるという事実によって現実的に達成可能である。3次元の現実世界は、常におよび既に網膜、即ち目の後ろにある凹面で2次元（例えば、高さおよび幅）投影画像へ変換されている。この2次元画像から、脳は、経験および知覚によって奥行き情報を生成し、2つのタイプの奥行きキュー、即ち単眼（1つの眼の知覚）および双眼（2つの眼の知覚）から3次元可視画像を形成する。一般的に、双眼奥行きキューは生得的および生物的であるが、単眼奥行きキューは学習的および環境的である。
【０００６】
主要な双眼奥行きキューは収束および網膜差異である。脳は眼の収束量を測定して、距離の概算を提供する。なぜなら、各々の眼の視線の間の角度は、物体が近くにある場合大きくなるからである。2つの眼の隔離よる網膜像の差異は、奥行きの知覚を作り出すために使用される。その効果は立体視と呼ばれ、各々の眼はシーンの少しだけ異なる眺めを受け取る。脳は、これらの差異を使用して近隣物体間の距離の比率を決定し、異なる眺めを一緒に融合する。
【０００７】
双眼キューは、奥行きの非常に強力な知覚である。しかし、更に、単眼奥行きキューと呼ばれ、1つの眼だけを使用する奥行きキューが存在し、平坦な画像の上に奥行きの印象を作り出す。主要な単眼キューは、重なり、相対サイズ、線形遠近法、および光と影である。物体が部分的に覆われて観察される場合、この妨害パターンがキューとして使用され、物体が遠くにあることを決定する。2つの物体が同じサイズであると分かっており、1の物体が他の物体よりも小さく現れる場合、この相対サイズ・パターンが使用され、小さい方の物体が遠くにあると想定する。想定サイズのキューは、更に、線形遠近法のキューの基礎を提供し、複数の線が観察者から遠くにあれば、それらの線は接近しているように見える。なぜなら、遠近法画像の平行線は単一の点へ収束するように見えるからである。或る角度から物体上に落ちる光は、物体の形態および奥行きのキューを提供でき得る。物体上の光と陰の分布は、光は上から来るという生物学的に正しい仮定によって提供される強力な奥行き単眼キューである。
【０００８】
遠近法の図画は、相対サイズと共に、多くの場合、平坦な（2次元の）面、例えば、紙またはキャンバスの上で3次元の奥行きおよび空間関係の幻影を達成するために使用される。遠近法によって、3次元物体は2次元平面上に表現されるが、3次元空間にあるように眼を「欺く」。遠近法構成の最初の理論的論文であるDepicturaは、建築家のLeone Battista Albertiによって1400年代の早期に出版された。彼の本の導入以来、「一般的」遠近法の背後にある詳細事項が非常に十分に文書化された。しかし、多数の他のタイプの遠近法が存在する事実は、あまり知られていない。幾つかの例を挙げると、図1で示されるように、軍事1、騎士2、等角3、四角形4、中心遠近法5、および2点遠近法6である。
【０００９】
特に関心対象となるのは、図1の左下に示される中心遠近法5と呼ばれる最も通常タイプの遠近法である。1点遠近法とも呼ばれる中心遠近法は、最も簡単な種類の「真の」遠近法構成であり、多くの場合、美術および製図の初心者クラスで教えられる。図2は、更に、中心遠近法を示す。中心遠近法を使用すると、チェス盤およびチェス駒は3次元物体のように見えるが、それらは2次元の平坦な紙の上に線描されている。中心遠近法は中心消失点21を有し、長方形の物体は、前面が絵の平面と平行であるように置かれる。物体の奥行きは絵の平面と垂直である。平行で後退する全ての辺は中心消失点へ向かって延びる。観察者は真っ直ぐな視界でこの消失点の方を見る。建築家または芸術家が中心遠近法を使用して図画を創作する場合、彼らは単眼観察を使用しなければならない。即ち、図画を創作している芸術家は、図画の表面に対して垂直に、1つだけの眼で見ることによって画像を捕捉する。
【００１０】
中心遠近法画像を含む大多数の画像は、視線に垂直な平面で表示、観察、および捕捉される。90°とは異なる角度で画像を観察することは、画像の歪曲を生じる。これは、観察面が視線と垂直でない場合、正方形が長方形として見えることを意味する。
【００１１】
中心遠近法は、無数のアプリケーション、例えば、少しだけ例を挙げると、科学、データの視覚化、コンピュータ生成プロトタイプ法、映画の特殊効果、医療画像、および建築のために、3Dコンピュータ・グラフィックスで広く使用される。最も普通で周知の3Dコンピューティング・アプリケーションの1つは3Dゲームである。3Dゲームは、本明細書で1つの例として使用される。なぜなら、3Dゲームで使用される中心概念は、全ての他の3Dコンピューティング・アプリケーションへ拡張されるからである。
【００１２】
図3は、3Dソフトウェア・アプリケーションで高レベルの現実感を達成するために必要な基本構成要素をリストすることによって段階を設定するように意図された簡単な図である。ソフトウェア開発者のチーム31は3Dゲーム開発品32を創作して、アプリケーション・パッケージ33、例えばCDへそれを移植する。その最高レベルにおいて、3Dゲーム開発品32は、4つの本質的構成要素からなる。
1.設計34:ゲームのストーリーラインおよびゲーム・プレイの創作。
2.コンテンツ35:ゲーム・プレイの間に活躍するオブジェクト（人物、風景など）。
3.人工知能（AI）36:ゲーム・プレイの間にコンテンツとのインタラクションを制御する。
4.リアルタイム・コンピュータ生成3Dグラフィックス・エンジン（3Dグラフィックス・エンジン）37:設計、コンテンツ、およびAIデータを管理する。何を線描するか、どのようにそれを線描するかを決定し、次にそれをコンピュータ・モニタ上でレンダリング（表示）する。
【００１３】
3Dアプリケーション、例えば、ゲームを使用している人は、実際には、リアルタイム・コンピュータ生成3Dグラフィックス・エンジンの形態をしたソフトウェアを実行している。エンジンの重要な構成要素の1つはレンダラである。その仕事は、コンピュータによって生成される世界座標x、y、zの中に存在する3Dオブジェクトを取って、それらをコンピュータ・モニタの観察面の上にレンダリング（線描/表示）することである。観察面は平坦な（2D）平面であり、現実世界座標x、yを有する。
【００１４】
図4は、3Dグラフィックス・エンジンを実行している場合、コンピュータの内部で起こっていることを表す。全ての3Dゲームの中で、コンピュータによって生成される3D「世界」が存在する。この世界は、ゲーム・プレイの間に体験される全てのものを含む。それは、更に、デカルト座標系を使用する。このことは、それが3つの空間次元x、yおよびzを有することを意味する。これらの3つの次元は「仮想世界座標」41と呼ばれる。典型的な3Dゲームのゲーム・プレイは、コンピュータ生成3D地球、およびその地球の周りを回っているコンピュータ生成3D衛星で始まる。仮想世界座標系によって、地球および衛星は、コンピュータによって生成されるx、y、z空間の中で適切に配置される。
【００１５】
衛星および地球が時間と共に動くにつれて、それらは適切に同期を維持しなければならない。これを達成するため、3Dグラフィックス・エンジンは、コンピュータによって生成される時間のために第4の普遍次元tを作り出す。時間tの全ての時点について、3Dグラフィックス・エンジンは、衛星が回転地球の周りを回る場合、新しいロケーションおよび方位の衛星を再生成する。したがって、3Dグラフィックス・エンジンの重要な仕事は、4つの全てのコンピュータ生成次元x、y、z、およびtの中で全ての3Dオブジェクトを継続的に同期および再生成することである。
【００１６】
図5は、エンドユーザが第1人物の3Dアプリケーションをプレイ、即ち実行している場合、コンピュータの内部で起こることを概念的に示す。第1人物とは、コンピュータ・モニタが窓によく似ており、その窓を通して、ゲームをプレイしている人物が、コンピュータによって生成される世界を観察することを意味する。この観察画を生成するため、3Dグラフィックス・エンジンは、コンピュータによって生成される人物の眼の視点からシーンをレンダリングする。コンピュータによって生成される人物は、ゲームを実際にプレイしている「現実の」人物のコンピュータ生成または「仮想」シミュレーションとして考えることができる。
【００１７】
3Dアプリケーションを実行している間、現実の人物、即ちエンドユーザは、所与の時点で全体の3D世界の小さな部分のみを観察する。このように行われるのは、コンピュータのハードウェアが典型的な3Dアプリケーションで膨大な数の3Dオブジェクトを生成すると、計算的には費用が高くなるためである。エンドユーザは、現在、大多数の3Dオブジェクトについては注意を集中していない。したがって、3Dグラフィックス・エンジンの重要な仕事は、コンピュータによって生成される時間tの各時点で絶対的に必要なだけの少量の情報を線描/レンダリングすることによって、コンピュータ・ハードウェアの計算負担を最小にすることである。
【００１８】
図5の箱内の領域は、3Dグラフィックス・エンジンが、どのようにしてハードウェアの負担を最小にするかを表す。それは、3Dアプリケーションの全体の世界と比較して極端に小さな情報領域の上に、計算資源を集中する。この例において、「コンピュータによって生成された」仮想人物51によって観察されているのは、「コンピュータによって生成された」シロクマの子供である。エンドユーザは第1人物として実行しているので、コンピュータ生成人物が見る全てのものは、エンドユーザのモニタの上にレンダリングされる。即ち、エンドユーザはコンピュータ生成人物の眼を通して見ている。
【００１９】
図5において、コンピュータ生成人物は1つの眼だけを通して見ている。言い換えれば、それは1つの眼の眺め52である。この理由は、3Dグラフィックス・エンジンのレンダラが中心遠近法を使用して、3Dオブジェクトを2D面の上に線描/レンダリングするからである。中心遠近法は、ただ1つの眼を通して観察することを必要とする。コンピュータ生成人物が1つの眼の眺めで見る領域は「ビュー・ボリューム（view volume）」53と呼ばれ、このビュー・ボリューム内のコンピュータ生成3Dオブジェクトが、コンピュータ・モニタの2D観察面へ実際にレンダリングされるものである。
【００２０】
図6は、ビュー・ボリューム64を更に詳細に示す。ビュー・ボリュームは、「カメラ・モデル」のサブセットである。カメラ・モデルとは、3Dグラフィックス・エンジンのハードウェアおよびソフトウェアの双方の特性を定める青写真である。非常に複雑および精巧な自動車エンジンのように、3Dグラフィックス・エンジンは非常に多くの部品からなるので、カメラ・モデルは、多くの場合、単純化されて、参照されている必須の要素のみを示す。
【００２１】
図6で示されたカメラ・モデルは、中心遠近法を使用してコンピュータ生成3Dオブジェクトをコンピュータ・モニタの垂直2D観察面へレンダリングする3Dグラフィックス・エンジンを示す。図6で示されるビュー・ボリュームは、詳細に示されているが、図5で表されたビュー・ボリュームと同じである。唯一の相違は意味論である。なぜなら、3Dグラフィックス・エンジンは、コンピュータ生成人物の1つの眼の眺めをカメラ・ポイント61と呼ぶからである（カメラ・モデルは、ここから来ている）。カメラ・モデルは、カメラの視線62を使用する。視線62は、典型的には、投影面63に垂直である。
【００２２】
カメラ・モデルの全ての構成要素は「要素」と呼ばれる。本発明者らの単純化されたカメラ・モデルにおいて、近クリップ平面（near clip plane）とも呼ばれる投影面63は2D平面である。この2D平面の上に、ビュー・ボリューム内の3Dオブジェクトのx、y、z座標がレンダリングされる。各々の投影線はカメラ・ポイント61で始まり、ビュー・ボリューム内の仮想3Dオブジェクトのx、y、z座標点65で終わる。したがって、3Dグラフィックス・エンジンは、投影線が近クリップ平面63とどこで交差するかを決定し、この交差が起こるxおよびyの点66が近クリップ平面へレンダリングされる。一度3Dグラフィックス・エンジンのレンダラが、全ての必要な数学的投影を完了すると、近クリップ平面は、図6の下部で示されるように、コンピュータ・モニタの2D観察面の上に表示される。このようにして、現実の人物の眼68は、現実の人物の視線67を通して3D画像を観察することができる。現実の人物の視線67はカメラの視線62と同じである。
【００２３】
先行技術の3Dコンピュータ・グラフィックスの基本は中心遠近法投影である。3D中心遠近法投影は現実感のある3D幻影を提供するが、3Dディスプレイとのハンズオン・インタラクションをユーザに行わせることに関して、幾つかの制限を有する。
【００２４】
本発明者らが「水平遠近法」と呼ぶ知名度の低い画像が存在する。水平遠近法では、正面から観察される場合の画像は歪曲されて見えるが、正しい観察位置から観察される場合3次元幻影を表示する。水平遠近法では、観察面と視線との間の角度は好ましくは45°であるが、ほとんど任意の角度であってよく、観察面は好ましくは水平であるが（「水平遠近法」の名前は、ここから来ている）、視線が観察面に対して非垂直角を形成するかぎり、任意の面であってよい。
【００２５】
水平遠近法画像は現実感のある3次元幻影を提供するが、主として狭い観察ロケーション（観察者の眼点が画像投影眼点と正確に一致していなければならない）、および2次元画像または3次元モデルを水平遠近法画像の中へ投影する場合の複雑性に起因して、ほとんど知られていない。
【００２６】
水平遠近法画像の生成は、従来の垂直画像よりも、作り出すのに相当多くの技量を必要とする。従来の垂直画像は、観察者またはカメラ・ポイントから直接生成可能である。必要なことは、単に眼を開くかカメラを向けて画像を取得すればよい。更に、垂直画像から3次元奥行きキューを観察する場合の多くの体験を使用して、観察者は、カメラ・ポイントからの逸脱によって生成される著しい歪曲量に耐えることができる。対照的に、水平遠近法画像の作成は多くの操作を必要とする。従来のカメラは、視線に垂直な平面へ画像を投影することによって、水平遠近法画像を生成しないと考えられる。水平線描を行うことは多くの努力を必要とし、非常に時間を消費する。更に、人は水平遠近法画像について体験を制限されているので、投影眼点の点が画像の歪曲を避ける場所に観察者の眼を正確に配置しなければならない。したがって、水平遠近法は、その困難性のために、ほとんど注意されなかった。
【発明の開示】
【００２７】
発明の概要
本発明により、パーソナル・コンピュータが水平遠近法ディスプレイに完璧に適していることが認識される。それはパーソナルであるので、1人の操作のために設計され、コンピュータは、その強力なマイクロプロセッサによって様々な水平遠近法画像を観察者へレンダリングすることができる。更に、水平遠近法は3D画像の開放空間表示を提供し、したがってエンドユーザのハンズオン・インタラクションを可能にする。
【００２８】
したがって、本発明は、3D水平遠近法ディスプレイを使用するハンズオン・シミュレータ・システムを開示する。ハンズオン・シミュレータ・システムは、水平遠近法画像を開放空間へ投影することのできるリアルタイム電子ディスプレイ、およびエンドユーザが両手またはハンドヘルド・ツールで画像を操作することを可能にする周辺機器を含む。水平遠近法画像は開放空間へ投影されるので、ユーザは画像に「接触」して、現実感のあるハンズオン・シミュレーションを得ることができる。接触動作は実際には仮想的な接触である。これは、手が接触を感じるのでなく、単に眼が接触を感じることを意味する。この仮想接触は、更に、ユーザがオブジェクトの内部を接触できるようにする。
【００２９】
ハンズオン・シミュレータは、好ましくは、表示された画像を変更するコンピュータ・ユニットを含む。コンピュータ・ユニットは、更に、周辺機器の追跡を維持して、周辺機器と表示画像との間の同期を確保する。システムは、更に、較正ユニットを含んで、表示画像に対する周辺機器の適切なマッピングを確保することができる。
【００３０】
ハンズオン・シミュレータは、好ましくは、眼点追跡ユニットを含んで、ユーザの眼点を投影点として使用することによって水平遠近法画像を再計算し、歪曲を最小にする。ハンズオン・シミュレータは、更に、表示された画像の操作、例えば、拡大、ズーム、回転、移動、更には新しい画像の表示を行う手段を含む。
【００３１】
発明の詳細な説明
本明細書で説明される新規で独特の発明は、最新技術のリアルタイム・コンピュータ生成3Dコンピュータ・グラフィックス、3Dサウンド、および触知コンピュータ人間インタフェースを用い、全面的に新しいレベルの現実感および単純性を実現することによって従来技術を改善する。更に具体的には、これらの新しい発明は、リアルタイムのコンピュータ生成3Dシミュレーションが、物理空間および時間において、エンドユーザおよび他の現実世界の物理オブジェクトと共存することを可能にする。この能力は、3Dコンピュータ生成オブジェクトおよびサウンドとの直接物理インタラクションを提供することによって、エンドユーザの視覚的、聴覚的、および触覚的コンピューティング体験を劇的に改善する。この独特の能力は、ほとんど全ての想定可能な産業で有用である。そのような産業には、電子、コンピュータ、生物測定学、医療、教育、ゲーム、映画、科学、法律、金融、通信、法律の施行、国家安全、軍事、印刷メディア、テレビ、広告、展示会、データの視覚化、コンピュータ生成現実、アニメーション、CAD/CAE/CAM、生産性ソフトウェア、オペレーティング・システムなどが含まれるが、これらに限定されるわけではない。
【００３２】
本発明の水平遠近法ハンズオン・シミュレータは、水平遠近法投影に基づいて3次元幻影を投影することのできる水平遠近法システムの上に構築される。
【００３３】
水平遠近法は、知名度が低い遠近法である。本発明者らは、その機構を説明する本を2つだけ発見した。即ち、Stereoscopic Drawing（（著作権）1990）およびHow to Make Anaglyphs（（著作権）1979、絶版）である。これらの本は、この分かりにくい遠近法を説明しているが、それらの本は遠近法の名前で一致していない。最初の本は、水平遠近法を「自立アナグリフ」と呼び、二番目の本は「ファントグラム」と呼んでいる。他の刊行物は、それを「投影アナグリフ」と呼んでいる（米国特許第5,795,154号, G. M. Woods, Aug. 18, 1998）。名前が一致していないので、本発明者らは自由にそれを「水平遠近法」と呼んだ。通常、中心遠近法では、視線と直角の映像面は更に絵の投影面であって、この平坦な画像へ奥行きの幻影を与えるため奥行きキューが使用される。水平遠近法では、映像面は同じであるが、投影された画像はこの平面にはない。それは、映像面に対して或る角度の平面にある。典型的には、画像は床レベルの面にある。これは、画像が映像面に対して物理的に第3の次元にあることを意味する。したがって、水平遠近法は、水平投影法と呼ぶことができる。
【００３４】
水平遠近法において、目的は、紙から画像を分離し、その画像を、水平遠近法画像を投影する3次元オブジェクトへ融合することである。したがって、水平遠近法画像は、可視画像が融合して、自立型3次元像を形成するように歪曲されなければならない。更に、画像が正しい眼点から観察されることが必須である。そうでなければ、3次元幻影が失われる。高さおよび幅を有し、奥行きの幻影を投影し、したがってオブジェクトが、通常、急激に投影され、画像が層の中にあるように見える中心遠近法画像とは対照的に、水平遠近法画像は、実際の奥行きおよび幅を有し、幻影が画像に高さを与え、したがって、通常、勾配型推移が存在し、画像は連続するように見える。
【００３５】
図7は、中心遠近法と水平遠近法とを区別する重要な特性を比較する。画像Aは中心遠近法の重要な関連特性を示し、画像Bは水平遠近法の重要な関連特性を示す。
【００３６】
言い換えれば、実在の3次元オブジェクト（相互の間に少し間隔を置いて積層された3つのブロック）は、1つの眼を閉じて、垂直線描面72に垂直な視線71に沿って観察している芸術家によって線描された。結果の画像は、垂直に真っ直ぐ、および1つの眼を通して観察される場合、元の画像と同じように見える。
【００３７】
画像Bでは、実在の3次元オブジェクトは、1つの眼を閉じ、水平線描面74に対して45°の視線73に沿って観察している芸術家によって線描された。結果の画像は、水平に45°、および1つの眼を通して観察される場合、元の画像と同じように見える。
【００３８】
画像Aの中心遠近法と画像Bの水平遠近法との大きな相違の1つは、投影された3次元画像に関する表示面のロケーションである。画像Bの水平遠近法では、表示面を上下に調節することができ、したがって投影された画像を表示面の上の開放された空中に表示して、即ち、物理的な手が幻影に接触する（または、通過する）ことができる。または、幻影を表示面の下に表示して、即ち、人が幻影に接触することはできない。なぜなら、表示面が物理的に手を妨害するからである。これは水平遠近法の性質であり、カメラの眼点および観察者の眼点が同じ場所にある限り、幻影が存在する。対照的に、画像Aの中心遠近法では、3次元幻影は表示面の内側だけにある。これは人がそれに接触できないことを意味する。3次元幻影を表示面の外側に出して、観察者がそれに接触できるようにするためには、中心遠近法は精妙な表示スキーム、例えば、包囲画像投影および大きなボリュームを必要とすると考えられる。
【００３９】
図8および図9は、中心遠近法および水平遠近法を使用する場合の可視的な差異を示す。この可視的な差異を体験するため、最初に、1つの開いた眼を通して中心遠近法で線描された図8を見る。通常の線描を行うように、眼と垂直になるように前方で紙を垂直に保つ。中心遠近法は2次元平面の上で3次元オブジェクトの良好な表現を提供することが分かる。
【００４０】
ここで、机を移動して、机の上の面前に紙を平坦に（水平に）置くことによって、水平遠近法を使用して線描された図9を見る。再び、1つだけの眼を通して画像を観察する。これは、眼点と呼ばれる1つの開いた眼を、紙に対して約45°に置く。この角度は、芸術家が線描を作るために使用した角度である。開いた眼とその視線を芸術家と一致させるため、描画へ近づくように眼を下方および前方へ移動し、45°の角度で約6インチだけ外側および下方に来るようにする。これは、最上ブロックおよび中間ブロックが紙の上の開放空間に現れるという理想的観察体験を生じる。
【００４１】
再び、1つの開いた眼が、この正確なロケーションに存在しなければならない理由は、中心遠近法および水平遠近法の双方が、眼点からの視線の角度を定めるだけでなく、眼点から線描までの距離を定めるからである。これは、図8および図9が、線描面に対して、開かれた眼のために理想的なロケーションおよび方向で線描されることを意味する。しかし、眼点の位置および方向からの逸脱が、ほとんど歪曲を作り出さない中心遠近法とは異なって、水平遠近法の線描を観察する場合、1つだけの眼の使用および観察面に対するその眼の位置および方向は、開放空間の3次元水平遠近法幻影を見るために必須である。
【００４２】
図10は、水平遠近法を使用して、紙またはキャンバスの上に簡単な幾何学線描を作る方法を示す建築風の図である。図10は、図9で使用された同じ3つのブロックの側面図である。それは、水平遠近法の実際の機構を示す。オブジェクトを作り上げている各々の点は、点を水平線描面の上に投影することによって線描される。これを示すため、図10は投影線を介して水平線描面の上に線描されているブロックの少数の座標を示す。これらの投影線は、眼点（目盛りに起因して、図10では図示されない）で始まり、オブジェクト上の点103と交差し、投影線が水平線描面102と交差する所まで直線として続く。交差する所は、投影線が紙の上で単一のドット104として物理的に線描される場所である。建築家が、線描面から視線101に沿った眼点まで見えるように、ブロック上の各々および全ての点についてこのプロセスを反復する場合、水平遠近法線描が完成し、図9のように見える。
【００４３】
図10で注意されることは、3つのブロックの1つが水平線描面の下に現れることである。水平遠近法の場合、線描面の下に位置する点も水平線描面の上に線描され、高低線に沿った眼点から見えるようにされる。したがって、最終の線描が観察される場合、オブジェクトは水平線描面の上に現れるだけでなく、その下にも現れる。これは、オブジェクトが紙の中へ後退するような外観を与える。再び図9を見ると、最下部の箱が紙の下、または紙の中にあるように現れ、他の2つの箱は紙の上の開放空間に現れることが分かると考えられる。
【００４４】
水平遠近法画像の生成は、中心遠近法画像よりも作成するのに相当の専門的技術を必要とする。双方の方法は、2次元画像から生じた3次元幻影を観察者に提供しようとするものであるが、中心遠近法画像は観察者またはカメラ・ポイントから3次元風景を直接生成する。対照的に、水平遠近法画像は、正面から眺める場合歪曲されて現れるが、正確なロケーションで眺めた場合水平遠近法が3次元幻影を生成するように、歪曲を正確にレンダリングしなければならない。
【００４５】
水平遠近法ディスプレイシステムは、表示された画像を調節して幻影観察体験を最大化する手段を観察者に提供することによって、水平遠近法投影観察を促進する。マイクロプロセッサの計算力、および投影された画像を再線描することのできるリアルタイム電子ディスプレイを含むリアルタイム・ディスプレイ、即ち水平遠近法ディスプレイ、更に水平遠近法画像を調節する観察者の入力デバイスを使用することによって。水平遠近法画像の投影眼点が観察者の眼点と一致するように、画像を再表示することによって、本発明の水平遠近法ディスプレイは、水平遠近法からの3次元幻影をレンダリングする場合の最小歪曲を保証することができる。入力デバイスは手で操作可能であり、観察者は手で自分の眼点ロケーションを入力するか、投影画像眼点を変更して最適の3次元幻影を取得することができる。入力デバイスは、更に、自動的に操作可能であり、ディスプレイは自動的に観察者の眼点を追跡し、それに従って投影画像を調節する。水平遠近法ディスプレイシステムは、観察者が頭を比較的に固定された位置に保つという制約を除去する。この制約は、例えば、水平遠近法またはホログラム表示のように、正確な眼点ロケーションを受容する場合に多くの困難性を作り出す制約である。
【００４６】
水平遠近法ディスプレイシステムは、更に、リアルタイム電子表示デバイスおよび計算デバイスに入力を提供する投影画像入力デバイスに加えて、計算デバイスを含むことができる。それは、表示のために投影画像を計算し、観察者の眼点を投影画像眼点と一致させることによって、現実感のある最小歪曲3次元幻影を観察者へ提供するためである。システムは、更に、画像拡大/縮小入力デバイス、または画像回転入力デバイス、または画像移動デバイスを含むことができる。それは観察者が投影画像の眺めを調節できるようにするためである。
【００４７】
入力デバイスは、手作業または自動的に操作可能である。入力デバイスは観察者の眼点の位置および方位を検出し、検出結果に従って画像を計算し、ディスプレイの上に画像投影する。または、入力デバイスは、観察者の頭の位置と方位、および眼球の方位を検出するように作ることができる。入力デバイスは、赤外線検出システムを含んで観察者の頭の位置を検出し、観察者が頭を自由に移動できるようにする。入力デバイスの他の態様は、観察者の眼点ロケーションを検出する三角測量法である。例えば、CCDカメラは、頭を追跡する本発明の目的に適した位置データを提供する。入力デバイスは、例えば、キーボード、マウス、トラックボール、ジョイスティックなどのように、観察者によって手で操作され、水平遠近法ディスプレイ画像の正しい表示を指すことができる。
【００４８】
本明細書で説明される発明は、水平遠近法の開放空間特性、および多数の新しいコンピュータ・ハードウェア、ソフトウェア要素、およびプロセスを使用して、「ハンズオン・シミュレータ」を作り出す。最も単純な意味において、ハンズオン・シミュレータは全く新規で独特のコンピューティング体験を生成する。なぜなら、ハンズオン・シミュレータは、エンドユーザがリアルタイムのコンピュータ生成3Dグラフィックスと物理的および直接に対話できる（ハンズオン）ようにするからである（シミュレーション）。リアルタイムのコンピュータ生成3Dグラフィックスは、表示デバイスの観察面の上の開放空間、即ち、エンドユーザ自身の物理空間に現れる。
【００４９】
エンドユーザが、これらの独特のハンズオン・シミュレーションを体験するためには、コンピュータ・ハードウェア観察面は水平に置かれ、エンドユーザの視線が観察面に対して45°になるようにされる。典型的には、これは、エンドユーザが垂直に立つか座り、観察面が床に対して水平であることを意味する。エンドユーザは45°以外の観察角（例えば、55°、30°など）でハンズオン・シミュレーションを体験できるが、45°は、脳が開放空間画像の中で最大量の空間情報を認識するための最適角であることに注意すべきである。したがって、単純性を目的として、本発明者らは、本明細書の全体で「約45°の角度」を意味するために「45°」を使用する。更に、水平観察面は水平な床と一緒に観察者の体験をシミュレートするので、水平観察面が好ましいが、任意の観察面が類似の3次元幻影体験を提供できると考えられる。水平遠近法幻影は、水平遠近法画像を天井面へ投影することによって天井からぶら下がるように現れることができ、または水平遠近法画像を垂直壁面へ投影することによって壁から浮動するように現れることができる。
【００５０】
ハンズオン・シミュレーションは、3Dグラフィックス・エンジンのビュー・ボリューム内に生成される。これは、2つの新しい要素、即ち、「ハンズオン・ボリューム」および「内部アクセスボリューム」を作り出す。ハンズオン・ボリュームは、物理観察面の上に位置する。したがって、エンドユーザはシミュレーションを直接および物理的に操作することができる。なぜなら、シミュレーションはエンドユーザ自身の物理空間に共存するからである。この1:1の対応は、手またはハンドヘルド・ツールでシミュレーションに接触および操作することによって、正確で触知可能な物理的インタラクションを可能にする。内部アクセスボリュームは観察面の下に置かれ、このボリューム内のシミュレーションは物理観察デバイスの内部に現れる。したがって、内部アクセスボリューム内に生成されたシミュレーションはエンドユーザと同じ物理空間を共有することはできず、画像は手またはハンドヘルド・ツールによって直接および物理的に操作され得ない。即ち、そのようなシミュレーションは、コンピュータのマウスまたはジョイスティックを介して間接的に操作される。
【００５１】
この開示されたハンズオン・シミュレータは、シミュレーションを直接および物理的に操作できるエンドユーザの能力を導くことができる。なぜなら、シミュレーションはエンドユーザ自身の物理空間に共存するからである。これを達成するためには、新しいコンピューティング概念を必要とする。その概念では、コンピュータで生成される世界要素が、物理的現実世界の同等物と1:1の対応を有する。即ち、物理要素および同等のコンピュータ生成要素は、同じ空間および時間を占める。これは、新しい要素が同期される共通の「参照面」を識別および確立することによって達成される。
【００５２】
参照面との同期は、シミュレーションの「仮想」世界と「現実の」物理世界との間の1:1の対応を作り出す基礎を形成する。特に、1:1の対応は、画像が適切に表示されることを確実にする。即ち、観察面の上にあるものは観察面の上のハンズオン・ボリューム内に現れ、観察面の下にあるものは下の内部アクセスボリューム内に現れる。この1:1の対応および参照面への同期が存在するならば、それだけで、エンドユーザは、手またはハンドヘルド・ツールを介してシミュレーションに物理的および直接にアクセスし、対話することができる。
【００５３】
本発明のシミュレータは、更に、これまで概説したようなリアルタイム・コンピュータ生成3Dグラフィックス・エンジンを含むが、水平遠近法投影を使用して3D画像を表示する。本発明と先行技術のグラフィックス・エンジンとの間の1つの大きな相違は、投影ディスプレイである。既存の3Dグラフィックス・エンジンは中心遠近法、したがって垂直平面を使用して、そのビュー・ボリュームをレンダリングするが、本発明のシミュレータでは、「垂直」方位レンダリング平面に対して「水平」方位レンダリング平面が、水平遠近法開放空間画像を生成するために必要である。水平遠近法画像は、中心遠近法画像よりも、はるかに優れた開放空間アクセスを提供する。
【００５４】
本発明のハンズオン・シミュレータにおける発明的要素の1つは、コンピュータ生成世界要素と、それらの物理的現実世界同等物との1:1の対応である。上記の導入のところで注意したように、この1:1の対応は、エンドユーザがハンズオン・シミュレーションに物理的および直接にアクセスして対話するために必須の新しいコンピューティング概念である。この新しい概念は、共通の物理参照面、およびその一意のx、y、z空間座標を引き出すための公式を必要とする。参照面のロケーションおよびサイズ、およびその具体的座標を決定することは、下記の事項を理解することが必要である。
【００５５】
コンピュータ・モニタまたは観察デバイスは多くの物理層から作られ、これらの層は個別および一緒に厚さまたは奥行きを有する。これを例示すると、図11および図12は、典型的なCRT型の観察デバイスの概念的側面図を含む。モニタのガラス面の最上層は物理「観察面」112であり、画像が作られる燐光体層は物理「画像層」113である。観察面112および画像層113は、観察デバイスのz軸に沿って異なる奥行きまたはz座標に置かれた別個の物理層である。画像を表示するため、CRTの電子銃は燐光体を励起し、燐光体は光子を放出する。これは、CRT上で画像を観察する場合、窓を通して見るように、ガラス面を通してz軸に沿って見ていることを意味し、ガラスの後ろの燐光体から来ている画像の光を見ている。
【００５６】
観察デバイスのz軸を念頭において、水平遠近法を使用し、観察デバイスの上に画像を表示してみる。図11および図12において、本発明者らは、図10で説明したような水平遠近法で、同じ建築風の技法を使用して画像を線描する。図11と図10とを比較することによって、図11の中央ブロックは観察面112の上に正しく現れないことが分かる。図10では、中央ブロックの底部は、水平線描/観察面、即ち、一枚の紙の観察面の上に正しく置かれる。しかし、図11では、燐光体層、即ち、画像が作られる層は、CRTのガラス面の背後に置かれる。したがって、中央ブロックの底部は、観察面の背後または下の正しくないところに配置される。
【００５７】
図12は、CRT型観察デバイスの3つのブロックの正しい位置を示す。即ち、中央ブロックの底部は、観察面112の上で正しく表示され、画像層113の上にはない。この調節を行うため、観察面および画像層のz座標は、画像を正しくレンダリングするためシミュレーション・エンジンによって使用される。このようにして、画像層ではなく観察面の上に開放空間画像を正しくレンダリングする独特の仕事は、シミュレーション画像を現実の世界空間へ正確にマッピングする場合に重要である。
【００５８】
ここで、観察デバイスの観察面は、開放空間画像を呈示する正しい物理ロケーションであることが明らかである。したがって、図13で示されるように、観察面131、即ち、観察デバイスのガラス面の最上部は、共通の物理参照面である。しかし、観察面のサブセットのみが参照面となることができる。なぜなら、全体の観察面は全体の画像領域よりも大きいからである。図13は、観察デバイスの観察面の上に表示されている完全な画像の例を示す。即ち、子グマを含む画像は全体の画像領域を示し、この画像領域は観察デバイスの観察面よりも小さい。画像を真っ直ぐに見ると、図13のように平坦な画像を見ることができるが、適切な角度で見ると、図14で示されるように3D水平遠近法画像が現れ得る。
【００５９】
多くの観察デバイスは、エンドユーザに、xおよびy値を調節させることによって画像領域のサイズを調節させる。もちろん、これらの同じ観察デバイスは、z軸情報の知識またはアクセスを提供しない。なぜなら、それは完全に新しい概念であり、これまで開放空間画像の表示のみしか必要としないからである。しかし、3つのx、y、z座標の全ては、共通物理参照面のロケーションおよびサイズを決定するために必須である。この公式は次のとおりである。即ち、画像層133が0のz座標を与えられる。観察面が画像層からz軸に沿った距離にある。参照面のz座標132が観察面に等しい。即ち、画像層からの距離にある。xおよびy座標、または参照面のサイズが、観察デバイスの上に完全な画像を表示し、xおよびy軸の長さを測定することによって決定可能である。
【００６０】
共通物理参照面の概念は、新しい発明的概念である。したがって、ディスプレイ製造業者は、その座標を供給せず、知ってもいない。したがって、「参照面較正」手順を実行して、参照面座標を確立する必要がある。この較正手順は多数の調整画像をエンドユーザに提供し、そのような調整画像とエンドユーザが対話する。これらの画像へのエンドユーザの応答はシミュレーション・エンジンへのフィードバックを提供し、したがってシミュレーション・エンジンは、参照面の正しいサイズおよびロケーションを識別できるようになる。エンドユーザが満足して手順を完了した場合、座標はエンドユーザの個人プロフィール内に保存される。
【００６１】
幾つかの観察デバイスでは、観察面と画像層との間の距離はかなり短い。しかし、その距離が小さいか大きいかによらず、参照面の全てのx、y、およびz座標が、技術的に可能な限り精密に決定されることが重要である。
【００６２】
「物理」参照面x、y、z座標に対して「コンピュータ生成」水平遠近法投影表示面（水平面）をマップした後、2つの要素は共存し、時間および空間において一致する。即ち、コンピュータ生成水平面は、ここで物理参照面の現実世界x、y、z座標を共有し、それらは同じ時間に存在する。
【００６３】
コンピュータ生成要素と、同じ空間および時間を占める物理的要素との、この独特のマッピングを想像することは、水平方位のコンピュータ・モニタの前に座ってハンズオン・シミュレータを使用していることを想像することによって可能である。モニタの表面に指を置くことによって、参照面（物理観察面の一部分）および水平面（コンピュータによって生成された）へ全く同時に接触することになる。言い換えれば、モニタの物理的表面に触れる場合、そのコンピュータ生成同等物、即ち、水平面にも接触することになる。水平面はシミュレーション・エンジンによって同じロケーションおよび時間へ作成およびマップされている。
【００６４】
本発明の水平遠近法投影ハンズオン・シミュレータの1つの要素は、コンピュータによって生成される「角度付きカメラ」ポイントである。カメラ・ポイントは、最初、水平面から任意の距離に置かれ、カメラの高低線は中心を見ながら45°の角度に向けられる。エンドユーザの眼に対する角度付きカメラの位置は、観察デバイス面の上の開放空間に現れるシミュレーションの生成に重要である。
【００６５】
数学的には、角度付きカメラ・ポイントのコンピュータ生成x、y、z座標は、無限「ピラミッド」の頂点を形成する。ピラミッドの側面は参照/水平面のx、y、z座標を通過する。図15は、この無限ピラミッドを示す。この無限ピラミッドは角度付きカメラ・ポイント151で始まり、遠クリップ面（Far Clip plane）（図示されず）を通って延びる。ピラミッド内には、参照/水平面156と平行な新しい平面が存在し、この平面はピラミッドの側面と一緒に2つの新しいビュー・ボリュームを画定する。これらの独特のビュー・ボリュームは、ハンズオン・ボリューム153および内部アクセスボリューム154と呼ばれる。これらのボリュームおよびそれらを画定する平面の大きさは、ピラミッド内のそれらのロケーションに基づく。
【００６６】
図15は、更に、快適面と呼ばれる平面155、および他の表示要素を示す。快適面は、ハンズオン・ボリューム153を画定する6つの平面の1つであり、これらの平面の中で、それは角度付きカメラ・ポイント151へ最も近く、参照面156と平行である。快適面155は適切な名前である。なぜなら、ピラミッド内のそのロケーションは、エンドユーザの個人的快適さを決定するからである。即ち、シミュレーションを観察して対話する間、エンドユーザの眼、頭、身体などがどのように位置するかを決定するからである。エンドユーザは、「快適面調節」手順を介して、個人の可視的快適さに基づいて快適面のロケーションを調節することができる。この手順は、ハンズオン・ボリューム内でエンドユーザに調整シミュレーションを提供し、参照面に対してピラミッド内の快適面のロケーションを調節させる。エンドユーザが満足し、手順を完了した場合、快適面のロケーションはエンドユーザの個人プロフィールの中に保存される。
【００６７】
本発明のシミュレータは、「ハンズオン・ボリューム」153を独特に定める。ハンズオン・ボリュームは、手を伸ばしてシミュレーションと物理的に「接触」できる場所である。これを想像することは、水平方位のコンピュータ・モニタの前に移り、ハンズオン・シミュレータを使用することによって可能である。モニタの表面から数インチ上に手を置けば、物理的およびコンピュータ生成ハンズオン・ボリュームの双方の内部で同時に手を置くことになる。ハンズオン・ボリュームはピラミッド内に存在し、快適面と参照/水平面との間にあり、それらの平面を含む。
【００６８】
ハンズオン・ボリュームが参照/水平面の上に存在する場合、本発明のシミュレータは、更に、任意で物理観察デバイスの下または内部に存在する内部アクセスボリューム154を画定する。このため、エンドユーザは、手またはハンドヘルド・ツールを介して、内部アクセスボリュームの中に位置する3Dオブジェクトと直接対話することはできない。しかし、エンドユーザは、コンピュータのマウス、ジョイスティック、または他の類似のコンピュータ周辺装置を使用して、従来の意味で対話することができる。「内部面」が更に画定される。これはピラミッド内で参照/水平面156の直ぐ下に置かれ、それと平行である。実用的な理由によって、これらの2つの平面は同じであると言える。内部面は、底面152と共に、内部アクセスボリュームを画定するピラミッド内の6つの平面の中の2つである。底面152は、角度付きカメラ・ポイントから最も離れているが、遠クリップ面と混同されてはならない。底面は、更に、参照/水平面と平行であり、内部アクセスボリュームを画定する6つの平面の中の1つである。内部アクセスボリュームを想像することは、水平方位コンピュータ・モニタの前に座り、ハンズオン・シミュレータを使用していることを想像することによって可能である。物理面を通して手を突き出し、モニタの内部に手を置くならば（もちろん、これは不可能である）、内部アクセスボリュームの内部に手を置くことになる。
【００６９】
観察ピラミッドの底部への、エンドユーザの好ましい観察距離は、これらの平面のロケーションを決定する。エンドユーザが底面のロケーションを調節できる1つの方法は、「底面調節」手順を使用することである。この手順は、内部アクセスボリューム内で調整シミュレーションをエンドユーザに提供し、物理参照/水平面に対する底面のロケーションについてエンドユーザに対話および調節させる。エンドユーザが手順を完了した場合、底面の座標はエンドユーザの個人プロフィールの中に保存される。
【００７０】
エンドユーザが物理観察デバイスの上で開放空間画像を観察するためには、物理観察デバイスが適切に配置されなければならない。これは、通常、物理参照面が床と水平に置かれることを意味する。観察デバイスの位置が床に対してどのようなものであれ、最適観察を得るためには参照/水平面がエンドユーザの視線に対して約45°でなければならない。エンドユーザがこのステップを達成する1つの方法は、CRTコンピュータ・モニタを床の上でスタンドの中に置き、参照/水平面が床に対して水平になるようにすることである。この例は、CRT型のコンピュータ・モニタを使用するが、任意の型の観察デバイスであってよく、エンドユーザの視線に対して約45°の角度で置かれる。
【００７１】
「エンドユーザの眼」およびコンピュータ生成角度付きカメラ・ポイントの現実世界座標は1:1の対応を有しなければならない。これは、エンドユーザが参照/水平面の上に現れる開放空間画像を適切に観察するためである。これを行う1つの方法は、エンドユーザが、物理参照/水平面の中心に対する眼の現実世界x、y、zロケーションおよび高低線情報をシミュレーション・エンジンへ供給することである。例えば、エンドユーザは、参照/水平面の中心を見ながら、物理的眼が12インチだけ上方におよび12インチだけ後方に位置することをシミュレーション・エンジンへ告げる。そうすれば、シミュレーション・エンジンは、コンピュータ生成角度付きカメラ・ポイントを、エンドユーザの眼点の物理座標および視線へマップする。
【００７２】
本発明の水平遠近法ハンズオン・シミュレータは、水平遠近法投影を使用して、3Dオブジェクトをハンズオン・ボリュームおよび内部アクセスボリュームへ数学的に投影する。物理参照面の存在およびその座標の知識は、投影の前に水平面の座標を正しく調節するために必須である。水平面へのこの調節は、開放空間の画像が画像層ではなく観察面の上でエンドユーザへ現れることを可能にする。それは、観察デバイスのz軸に沿って異なる値で置かれている画像層と観察面との間のずれを考慮に入れることによって行われる。
【００７３】
ハンズオン・ボリュームおよび内部アクセスボリュームのいずれかの投影線は、オブジェクト・ポイントおよびずれた水平面の双方と交差するので、オブジェクトの3次元x、y、zの点は、水平面の2次元x、yの点になる。投影線は、多くの場合、複数の3Dオブジェクト座標と交差するが、所与の投影線に沿ったオブジェクトx、y、z座標の1つだけが水平面のx、y点になることができる。どのオブジェクト座標が水平面の点になるかを決定する公式は、各々のボリュームについて異なる。ハンズオン・ボリュームについては、オブジェクト座標157は、水平面から最も遠い所与の投影線をたどることによって、画像座標158を生じる。内部アクセスボリュームについては、オブジェクト座標159は、水平面に最も近い所与の投影線をたどることによって画像座標150を生じる。連結の場合、即ち、各々のボリュームからの3Dオブジェクト・ポイントが水平面の同じ2Dポイントを占める場合、ハンズオン・ボリュームの3Dオブジェクト・ポイントが使用される。
【００７４】
したがって、図15は、前述したような新しいコンピュータ生成および現実物理要素を含む本発明のシミュレーション・エンジンを例示する。それは、更に、現実世界の要素およびそのコンピュータ生成同等物が1:1でマップされ、一緒に共通参照面を共有することを示す。このシミュレーション・エンジンの完全な実装は、リアルタイム・コンピュータ生成3Dグラフィックスを有するハンズオン・シミュレータを生じる。リアルタイム・コンピュータ生成3Dグラフィックスは、エンドユーザの視線に対して約45°に置かれた観察デバイスの表面の上の開放空間に現れる。
【００７５】
ハンズオン・シミュレータは、更に、完全に新しい要素およびプロセス、および既存の立体3Dコンピュータ・ハードウェアの追加を含む。結果は、複数の観察画または「マルチビュー（Multi-View）」能力を有するハンズオン・シミュレータである。マルチビューは、同じシミュレーションの複数および/または別個の左眼および右眼の観察画をエンドユーザへ提供する。
【００７６】
動きまたは時間関連シミュレーションを提供するため、シミュレータは、更に、「SI時間」と呼ばれる新しいコンピュータ生成「時間次元」要素を含む。SIは「シミュレーション画像（Simulation Image）」の略語であり、観察デバイスの上に表示される1つの完全な画像である。SI時間は、シミュレーション・エンジンが1つのシミュレーション画像を完全に生成および表示するために使用する時間量である。これは、画像を1秒に24回表示する映写機と類似する。したがって、1つの画像が映写機によって表示されるためには、1秒の1/24が必要である。しかし、SI時間は可変である。これは、ビュー・ボリュームの複雑性に依存して、シミュレーション・エンジンが1つだけのSIを完了するのに、1秒の1/120または1/2が必要であることを意味する。
【００７７】
シミュレータは、更に、「EV時間」と呼ばれる新しいコンピュータ生成「時間次元」要素を含む。この要素は1つの「眼観察画（Eye-View）」を生成するために使用される時間量である。例えば、シミュレーション・エンジンが、エンドユーザに立体3D体験を提供するため、1つの左眼観察画および1つの右眼観察画を作成する必要があると仮定する。シミュレーション・エンジンが左眼観察画を生成するため1/2秒を必要とすれば、最初のEV時間周期は1/2秒である。右眼観察画を生成するため他の1/2秒を必要とすれば、第2のEV時間周期も1/2秒である。シミュレーション・エンジンは同じシミュレーション画像の別々の左眼および右眼の観察画を生成していたので、全体のSI時間は1秒である。即ち、最初のEV時間は1/2秒であり、第2のEV時間も1/2秒であって、全部で1秒のSI時間となる。
【００７８】
図16は、これらの2つの新しい時間次元要素の説明に役立つ。それは、シミュレーション・エンジンが、シミュレートされた画像の2つの眼の観察画を生成している場合、シミュレーション・エンジンの内部で起こっていることの概念的線描である。コンピュータ生成人物は、立体3D観察の要件であるように双方の眼を開いており、したがって2つの別個の有利な点、即ち、右眼の観察画および左眼の観察画の双方から子グマを見る。これらの2つの別々の観察画は少し異なっており、ずれている。なぜなら、平均の人間の眼は約2インチ離れているからである。したがって、各々の眼は空間の中の別個の点から世界を見ており、脳はそれらを一緒にして全体の画像を作る。これが、現実の世界を立体3Dで見ている方法および理由である。
【００７９】
図16は、非常に高レベルのシミュレーション・エンジンの青写真である。この青写真は、コンピュータ生成人物の2眼観察画が、1つの完全なSI時間周期を表しながら、どのようにして水平面へ投影され、次に立体3D能力観察デバイスの上に表示されるかに焦点を当てている。上記のステップ3からの例を使用すれば、SI時間に1秒が必要である。この1秒のSI時間の間に、シミュレーション・エンジンは2つの異なる眼観察画を生成しなければならない。なぜなら、この例では、立体3D観察デバイスは別々の左眼観察画および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多い観察画を必要とする既存の立体3D観察デバイスが存在する。しかし、本明細書で説明される方法は複数の観察画を生成することができるので、このようなデバイスにも有効である。
【００８０】
図16の左上方のイラストは、時間要素「EV時間1」における右眼162の角度付きカメラ・ポイントを示す。「EV時間1」は第1の眼観察画の時間周期または第1の眼観察画が生成されることを意味する。したがって、図16では、EV時間1は、コンピュータ生成人物の第1の眼（右眼）観察画を完了するためシミュレーション・エンジンによって使用される時間周期である。第1の眼（右眼）観察画を完了することが、このステップの仕事であり、それはEV時間1内にある。座標x、y、zの角度付きカメラを使用して、シミュレーション・エンジンは、所与のシミュレーション画像の右眼観察画のレンダリングおよび表示を完了する。
【００８１】
一度第1の眼（右眼）の観察画が完了すると、シミュレーション・エンジンは、コンピュータ生成人物の第2の眼（左眼）の観察画をレンダリングするプロセスを開始する。図16の左下方のイラストは、時間要素「EV時間2」における左眼164の角度付きカメラ・ポイントを示す。即ち、この第2の眼観察画はEV時間2の間に完了される。しかし、レンダリング・プロセスを始める前に、ステップ5は角度付きカメラ・ポイントへの調節を行う。これは、図16中で、左眼のx座標が2インチだけ増分されることによって示される。右眼のx値と左眼のx＋2”との間の差異は、両眼間の2インチの分離を提供する。これは立体3D観察に必要である。
【００８２】
人間の両眼間の距離は様々であるが、前記の例では平均の2インチを使用している。更に、エンドユーザが個人の眼分離値をシミュレーション・エンジンへ供給することも可能である。これは、所与のエンドユーザのために左眼および右眼のx値を高度に正確にし、それによって立体3D観察画の品質を改善すると考えられる。
【００８３】
一度シミュレーション・エンジンが、2インチまたはエンドユーザによって供給された個人的眼分離値だけ、角度付きカメラ・ポイントのx座標を増分すると、シミュレーション・エンジンは第2（左眼）観察画のレンダリングおよび表示を完了する。これは、EV時間2で、角度付きカメラ・ポイント座標x±2”、y、zを使用するシミュレーション・エンジンによって行われ、正確に同じシミュレーション画像がレンダリングされる。これは1つのSI時間周期を完了する。
【００８４】
使用される立体3D観察デバイスに依存して、シミュレーション・エンジンは、次のSI時間周期へ移動する必要があるまで、前述したような左眼および右眼画像を表示し続ける。次のSI時間周期へ移動するステップの仕事は、新しいSI時間周期へ移動する時間であるかどうかを決定し、そうであれば、SI時間を増分することである。これが起こる時の例は、子グマが脚または体のどこかを動かす場合である。この場合、新しい位置の子グマを示すために、新しい第2のシミュレートされた画像が必要であると考えられる。子グマのこの新しいシミュレートされた画像は、少し異なるロケーションで、新しいSI時間周期またはSI時間2でレンダリングされる。この新しいSI時間2の周期はそれ自身のEV時間1およびEV時間2を有し、したがって前述したシミュレーション・ステップがSI時間2で反復される。SI時間およびそのEV時間を停止することなく増分することによって複数の観察画を生成するこのプロセスは、シミュレーション・エンジンがリアルタイム・シミュレーションを立体3Dで生成する間継続する。
【００８５】
上記のステップは、マルチビュー能力を有するハンズオン・シミュレータを作り上げる新規で独特の要素およびプロセスを説明する。マルチビューは、同じシミュレーションの複数および/または左眼および右眼観察画をエンドユーザに提供する。マルチビュー能力は、単一眼観察画を可視的および対話的に著しく改善したものである。
【００８６】
本発明は、更に、観察者が3次元表示を動かし、それでも大きな歪曲を受けないことを可能にする。なぜなら、表示は観察者の眼点を追跡することができ、それに従って画像を再表示するからである。このことは、従来の先行技術の3次元画像表示と対比される。従来の3次元表示は、単一の観察点から見えるように投影および計算され、したがって観察者が空間内の意図された観察点から離れるように移動すると、大きな歪曲が生じる。
【００８７】
表示システムは、更に、眼点のロケーションが移動した場合、投影された画像を再計算することができるコンピュータを含むことができる。水平遠近法画像は非常に複雑であり、作成に手間がかかり、または芸術家またはカメラにとって自然とは言えない方法で作成され、仕事にコンピュータ・システムの使用を必要とする。複雑な表面を有するオブジェクトの3次元画像を表示すること、またはアニメーション・シーケンスを作成することは、多大な計算パワーおよび時間を必要とし、したがってコンピュータに非常に適した仕事である。3次元能力エレクトロニクスおよびコンピューティング・ハードウェア・デバイスおよびリアルタイム・コンピュータ生成3次元コンピュータ・グラフィックスは最近著しく進歩し、それと共に、ビジュアル、オーディオ、および触知システムの著しい革新が行われ、現実感およびコンピュータと人間とのより自然なインタフェースを生成する優れたハードウェアおよびソフトウェア製品が生産されるようになった。
【００８８】
本発明の水平遠近法ディスプレイシステムは、娯楽メディア、例えば、テレビ、映画、およびビデオ・ゲームの要求に応じるだけでなく、様々な分野、例えば、教育（3次元構造体の表示）、技術的訓練（3次元機器の表示）からも必要とされる。3次元画像表示への要求は増加している。3次元画像表示は様々な角度から観察可能であり、現実の物体に類似した画像を使用して物体を観察することを可能にする。水平遠近法ディスプレイシステムは、更に、観察者にとってコンピュータ生成現実の代替物となることができる。システムは、オーディオ、ビジュアル、動き、およびユーザからの入力を含んでよく、3次元幻影の完全な体験を作り出す。
【００８９】
水平遠近法システムへの入力は、2次元画像、単一の3次元画像を形成するように組み合わせられる幾つかの画像、または3次元モデルであってよい。3次元画像またはモデルは、2次元画像よりも多くの情報を伝達し、観察者は、観察角を変更することによって、異なる視野から同じオブジェクトを連続的に見た場合の印象を取得する。
【００９０】
水平遠近法ディスプレイは、更に、複数の観察画または「マルチビュー」能力を提供することができる。マルチビューは、同じシミュレーションの複数および/または別々の左眼および右眼観察画を観察者に提供する。マルチビュー能力は、単一眼観察画をビジュアル的および対話的に著しく改善したものである。マルチビュー・モードにおいて、左眼および右眼画像の双方は、観察者の脳によって単一の3次元幻影へ融合される。立体画像に内在する眼の適応と収束との食い違いは、大きな食い違いがあると観察者の眼の疲労を導くが、その問題は、特に動く画像について水平遠近法ディスプレイで低減することができる。なぜなら、表示シーンが変化する場合、観察者の注視点の位置が変化するからである。
【００９１】
マルチビュー・モードにおいて、2つの眼の動作をシミュレートして奥行きの知覚を作り出すことが目的となる。即ち、左眼および右眼は、少し異なる画像を見る。したがって、本発明で使用可能なマルチビュー・デバイスは、アナグリフ法のような眼鏡、特殊偏光眼鏡、またはシャッター眼鏡を有する方法、眼鏡を使用しない方法、例えば、視差実体画、レンチキュラー法、およびミラー法（凹レンズおよび凸レンズ）を含む。
【００９２】
アナグリフ法では、右眼の表示画像および左眼の表示画像は、それぞれ2つの色、例えば、赤および青で重畳して表示され、右眼および左眼の観察画像は、色フィルタを使用して分離される。このようにして、観察者は立体画像を認識できるようになる。画像は水平遠近法の手法を使用して表示され、観察者は或る角度で見下ろすことになる。1眼水平遠近法と同じように、投影された画像の眼点は観察者の眼点と一致しなければならず、したがって観察者の入力デバイスは、観察者が3次元水平遠近法幻影を観察するために必須である。アナグリフ法の早期の時代から、多様な赤/青眼鏡およびディスプレイのような多くの改善が行われ、ますます多くの現実感および快適さを観察者へ生成するようになった。
【００９３】
偏光眼鏡法では、左眼画像および右眼画像は、相互消去偏光フィルタ、例えば、直交線形偏光子、円形偏光子、楕円形偏光子の使用によって分離される。画像は、通常、偏光フィルタを使用してスクリーン上に投影され、観察者は、対応する偏光眼鏡を提供される。左眼および右眼の画像は、同時にスクリーン上に現れるが、左眼の偏光された光のみが眼鏡の左眼レンズを透過し、右眼の偏光された光のみが右眼レンズを透過する。
【００９４】
立体表示の他の方法は、画像シーケンシャル・システムである。そのようなシステムでは、画像は左眼画像と右眼画像を順次に表示されて相互に重畳することはない。観察者のレンズはスクリーンの表示と同期され、左眼は左の画像が表示される場合にのみ見ることができ、右眼は右の画像が表示される場合にのみ見ることができる。眼鏡の閉鎖は機械閉鎖または液晶電子閉鎖によって達成可能である。眼鏡閉鎖法では、右眼および左眼の表示画像がタイムシェアリング方式でCRT上に交互に表示され、右眼および左眼の観察画像はタイムシェアリング・シャッター眼鏡を使用して分離される。タイムシェアリング・シャッター眼鏡は表示画像と同期してタイムシェアリング方式で開放/閉鎖され、したがって観察者は立体画像を認識することができる。
【００９５】
立体画像を表示する他の方法は光学法による。この方法において、右眼および左眼の表示画像は、光学手段、例えば、プリズム、鏡、レンズなどを使用して観察者へ別々に表示され、また観察者の前面で観察画像として重畳表示され、したがって観察者は立体画像を認識することができる。大きな凸レンズおよび凹レンズも使用可能である。その場合、左眼および右眼の画像を投影する2つの画像プロジェクタが、それぞれ観察者の左眼および右眼へ焦点を合わせる。光学法の変形はレンチキュラー法である。この場合、画像は円筒形レンズ要素またはレンズ要素の2次元アレーの上に形成される。
【００９６】
図16は、コンピュータ生成人物の2眼観察画が、どのようにして水平面に投影され、次に立体3D能力観察デバイスの上に表示されるかに焦点を当てた水平遠近法ディスプレイである。図16は1つの完全な表示時間周期を表す。この表示時間周期の間、水平遠近法ディスプレイは2つの異なる眼観察画を生成する必要がある。なぜなら、この例において、立体3D観察デバイスは別々の左眼および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多くの観察画を必要とする既存の立体3D観察デバイスが存在する。本明細書で説明される方法は、複数の観察画を生成することができるので、これらのデバイスについても有効である。
【００９７】
図16の左上方のイラストは、最初の（右）眼観察画が生成された後の右眼の角度付きカメラ・ポイントを示す。一度最初の（右）眼観察画が完了すると、水平遠近法ディスプレイはコンピュータ生成人物の第2の眼（左眼）観察画のレンダリング・プロセスを開始する。図16の左下方のイラストは、この時間が完了した後の、左眼の角度付きカメラ・ポイントを示す。しかし、レンダリング・プロセスを始める前に、水平遠近法ディスプレイは角度付きカメラ・ポイントへの調節を行って、左眼および右眼の位置の差を考慮に入れる。一度水平遠近法ディスプレイが角度付きカメラ・ポイントのx座標を増分すると、第2の（左眼）観察画を表示することによってレンダリングが継続する。
【００９８】
使用される立体3D観察デバイスに依存して、水平遠近法ディスプレイは、次の表示時間周期へ移る必要があるまで、これまで説明したように左眼および右眼画像を表示し続ける。次の表示時間周期へ移る必要が起こる時の例は、子グマが脚または体の一部分を動かす場合である。その場合、新しい位置の子グマを示すため新しい第2のシミュレーション画像が必要であると考えられる。子グマのこの新しいシミュレーション画像は、少し異なるロケーションで、新しい表示時間周期の間にレンダリングされる。表示時間を停止することなく増分することによって複数の画像を生成するこのプロセスは、水平遠近法ディスプレイがリアルタイム・シミュレーションを立体3Dで生成する間継続する。
【００９９】
水平遠近法画像を迅速に表示することによって、動きの3次元幻影を実現することができる。典型的には、眼が動きを知覚するためには1秒当たり30〜60の画像で十分である。立体視の場合、重畳される画像では同じ表示速度が必要であり、時間シーケンシャル法では2倍の速度が必要であると考えられる。
【０１００】
表示速度は、ディスプレイが1つの画像を完全に生成して表示するために使用する1秒当たりの画像数である。これは、画像を1秒に24回表示する映写機と同じである。したがって、プロジェクタによって表示される1つの画像について、1秒の1/24が必要である。しかし、表示時間は可変であってよい。これはビュー・ボリュームの複雑性に依存して、コンピュータが1つだけの表示画像を完了するのに1秒の1/12または1/2が必要であることを意味する。ディスプレイは同じ画像の別々の左眼および右眼観察画を生成しているので、全体の表示時間は1眼画像の表示時間の2倍である。
【０１０１】
本発明のハンズオン・シミュレータは、更に、コンピュータ「周辺装置」で使用される技術を含む。図17は、6度の自由を有するそのような周辺装置の例を示す。6度の自由は、周辺装置の座標系が（x、y、z）空間の任意の所与の点で周辺装置の対話を可能にすることを意味する。シミュレータは、エンドユーザが必要とする各々の周辺装置、例えば、空間手袋171、キャラクタ・アニメーション・デバイス172、または空間追跡器173について、「周辺装置開放アクセスボリューム」を作り出す。
【０１０２】
図18は、周辺装置の座標系が、どのようにしてハンズオン・シミュレーション・ツール内で実現されるかに焦点を当てたハンズオン・シミュレーション・ツールの高レベルの図である。図18では空間手袋181を例として、新しい周辺装置開放アクセスボリュームが開放アクセスボリューム182と1対1でマップされる。正確な1対1のマッピングを達成する鍵は、周辺装置のボリュームを共通参照面で較正することである。共通参照面は表示デバイスの観察面に置かれた物理観察面である。
【０１０３】
幾つかの周辺装置は、エンドユーザの介入なしに、この較正をハンズオン・シミュレーション・ツールに実行させる機構を提供する。しかし、周辺装置の較正に外部の介入を必要とすれば、エンドユーザが「開放アクセス周辺装置較正」手順によってこれを達成すると考えられる。この手順は、ハンズオン・ボリューム内の一連のシミュレーションおよびユーザフレンドリー・インタフェースをエンドユーザに提供する。ユーザフレンドリー・インタフェースによって、ユーザは、周辺装置のボリュームが観察面と完全に同期するまで、周辺装置ボリュームのロケーションを調節することができる。較正手順が完了した場合、ハンズオン・シミュレーション・ツールはエンドユーザの個人プロフィールの中に情報を保存する。
【０１０４】
一度周辺装置ボリュームが観察面へ正確に較正されると、プロセスの次のステップが取られ得る。ハンズオン・シミュレーション・ツールは、周辺装置ボリュームを継続的に追跡して開放アクセスボリュームへマップする。ハンズオン・シミュレーション・ツールは、周辺装置ボリュームの中のデータに基づいて、生成する各々のハンズオン画像を修正する。このプロセスの最終結果は、任意の所与の周辺装置を使用して、ハンズオン・シミュレーション・ツールによってリアルタイムで生成されるハンズオン・ボリュームの中のシミュレーションと対話するエンドユーザの能力である。
【０１０５】
シミュレータとリンクする周辺装置を使用して、ユーザは、表示モデルと対話することができる。シミュレーション・エンジンは、周辺装置を介してユーザから入力を取得し、所望の動作を操作することができる。物理空間および表示空間と適切にマッチした周辺装置を使用して、シミュレータは、適切なインタラクションおよび表示を提供することができる。このようにして、本発明のハンズオン・シミュレータは、全面的に新規で独特なコンピューティング体験を生成することができる。本発明のハンズオン・シミュレータは、エンドユーザに、リアルタイム・コンピュータ生成3Dグラフィックスと物理的および直接的に対話させる（ハンズオン）からである（シミュレーション）。リアルタイム・コンピュータ生成3Dグラフィックスは、表示デバイスの観察面の上の開放空間、即ち、エンドユーザ自身の物理空間に現れる。周辺装置の追跡は、カメラ三角測量または赤外線追跡デバイスによって行うことができる。
【０１０６】
図19は、開放アクセスボリュームおよびハンドヘルド・ツールに関して、本発明の更なる説明を助ける。図19は、エンドユーザがハンドヘルド・ツールを使用してハンズオン画像と対話している場合のシミュレーションである。例示されているシナリオでは、エンドユーザが大量の金融データを多数の相互関連開放アクセス3Dシミュレーションとして視覚化している。エンドユーザは、ハンドヘルド・ツールを使用することによって、開放アクセス・シミュレーションを探査および操作することができる。ハンドヘルド・ツールは、図19ではポインティング・デバイスのようなものである。
【０１０７】
「コンピュータ生成付属品」が、開放アクセス・コンピュータ生成シミュレーションの形式で、ハンドヘルド・ツールの先端へマップされる。コンピュータ生成付属品は、図19ではコンピュータ生成「消しゴム」としてエンドユーザへ現れる。エンドユーザは、もちろん、ハンズオン・シミュレーション・ツールが任意の数のコンピュータ生成付属品を所与のハンドヘルド・ツールへマップすることを要求することができる。例えば、カット、ペースト、結合、塗りつぶし、塗り付け、ポインティング、取り込みなどを行う独特のビジュアルおよびオーディオ特性を有する様々なコンピュータ生成付属品が存在し得る。これらのコンピュータ生成付属品の各々は、エンドユーザのハンドヘルド・ツールの先端へマップされた場合、シミュレートしている現実のデバイスのように動作して音を出す。
【０１０８】
シミュレータは、更に、「シミュレーション認識および3Dオーディオ」のために3Dオーディオ・デバイスを含むことができる。これは、下記で説明するように、カメラ・モデル、水平マルチビュー・デバイス、周辺機器、周波数受信/送信デバイス、およびハンドヘルド・デバイスを有するハンズオン・シミュレーション・ツールの形式をした新しい発明を生じる。
【０１０９】
物体認識は、カメラおよび/または他のセンサを使用して、三角測量と呼ばれる方法によってシミュレーションを突き止める技術である。三角測量は、三角法、センサ、および周波数を使用してシミュレーションからデータを「受信」し、空間におけるシミュレーションの正確なロケーションを決定するプロセスである。三角測量が地図製作および調査産業の主力であるのは、この理由のためである。そのような産業において、使用されるセンサおよび周波数は、カメラ、レーザ、レーダ、およびマイクロ波を含むが、それらに限定されるわけではない。3Dオーディオも三角測量を使用するが、反対の方法で使用する。3Dオーディオは、サウンドの形式でデータを特定のロケーションへ「送信」または投影する。しかし、データを送信するか受信するかに関係なく、3次元空間におけるシミュレーションの突き止めは、周波数受信/送信デバイスを使用する三角測量法により行われる。ユーザの左および右の耳へ達する音波の振幅および位相角を変化させることによって、デバイスは音源の位置を効果的にエミュレートすることができる。耳へ達するサウンドは、干渉を避けるため隔離される必要がある。隔離はイヤホンなどの使用によって達成可能である。
【０１１０】
図20は、子グマのハンズオン画像202を見ているエンドユーザ201を示す。子グマは3D水平遠近法ディスプレイ204から投影されている。子グマは観察面の上の開放空間に現れるので、エンドユーザは手またはハンドヘルド・ツールで子グマに触って操作することができる。エンドユーザは、実際の生活で行うように、異なる角度から子グマを観察することも可能である。これは三角測量を使用して達成される。その場合、現実世界の3つのカメラ203が、それらの一意の視野角から画像をハンズオン・シミュレーション・ツールへ継続的に送信する。現実世界のこのカメラ・データは、コンピュータ・モニタの観察面の中および周りに位置するエンドユーザの身体および他の現実世界のシミュレーションを、ハンズオン・シミュレーション・ツールに突き止め、追跡、およびマップさせる。
【０１１１】
図21は、更に、3Dディスプレイ214を使用して子グマ212と観察および対話しているエンドユーザ211を示すが、その図は子グマの口から出る3Dサウンド216を含む。このレベルのオーディオ品質を達成するためには、図21で示されるように、3つのカメラ213の各々を別個のスピーカ215と物理的に組み合わせることが必要である。カメラのデータは、ハンズオン・シミュレーション・ツールが三角測量を使用して、エンドユーザの「左および右の耳」を突き止め、追跡、およびマップすることを可能にする。ハンズオン・シミュレーション・ツールは、子グマをコンピュータ生成ハンズオン画像として生成しているので、子グマの口の正確なロケーションを知っている。エンドユーザの耳および子グマの口の正確なロケーションを知ることによって、ハンズオン・シミュレーション・ツールは三角測量を使用してデータを送信する。それは、オーディオの空間特性を修正し、コンピュータによって生成された子グマの口から3Dサウンドが出ているように見せかけるようにして行われる。
【０１１２】
新しい周波数受信/送信デバイスは、図21で示されるように、ビデオ・カメラをオーディオ・スピーカと組み合わせることによって作り出すことができる。注意すべきは、他のセンサおよび/またはトランスジューサも使用できることである。
【０１１３】
これらの新しいカメラ/スピーカ・デバイスを取って、観察デバイス、例えば、図21で既に示したようなコンピュータ・モニタの近くに取り付けるか配置する。これは、一意および別々の「現実世界」（x、y、z）ロケーション、視線、および周波数受信/送信ボリュームを有する各々のカメラ/スピーカ・デバイスを生じる。これらのパラメータを理解するため、カムコーダを使用してファインダから見ている場合を考える。この場合、カメラは空間内で特定のロケーションを有し、特定の方向へ向けられ、ファインダから見るか受け取る全ての可視周波数情報は、その「周波数受信ボリューム」である。
【０１１４】
三角測量は、各々のカメラ/スピーカ・デバイスを分離および配置し、それらの個々の周波数受信/送信ボリュームが重複して正確に同一の空間領域をカバーするように働く。正確に同一の空間領域をカバーする3つの広間隔周波数受信/送信ボリュームが存在すれば、空間内のシミュレーションは正確に突き止められ得る。次のステップは、「現実周波数受信/送信ボリューム」と呼ばれるこの現実世界空間のために、開放アクセス・カメラ・モデルの中で新しい要素を作り出す。
【０１１５】
この現実周波数受信/送信ボリュームが存在するので、それを共通参照面へ較正しなければならない。共通参照面は、もちろん現実の観察面である。次のステップは、現実の周波数受信/送信ボリュームを現実の観察面へ自動的に較正することである。これは、ハンズオン・シミュレーション・ツールによって継続的に実行される自動手順であり、カメラ/スピーカ・デバイスがエンドユーザによって偶然にも衝突させられるか動かされた場合でも、デバイスの正しい較正を維持する。
【０１１６】
図22は、完全な開放アクセス・カメラ・モデルの簡単な例であり、前述したシナリオを達成するために必要な追加ステップの各々を説明する助けとなる。
【０１１７】
シミュレータは、エンドユーザの「左眼および右眼」および「視線」221を継続的に突き止めて追跡することによって、シミュレーション認識を実行する。現実世界の左眼および右眼の座標は、開放アクセス・カメラ・モデルの、それらが現実空間の中に存在する正確な場所へ継続的にマップされ、次にコンピュータ生成カメラ座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の眼座標とマッチさせる。これは、エンドユーザの左眼および右眼の正確なロケーションに基づいて、ハンズオン・ボリュームの中でシミュレーションをリアルタイムで生成することを可能にする。これによって、エンドユーザは頭を自由に動かし、歪曲なしにハンズオン画像を見ることができる。
【０１１８】
次に、シミュレータは、エンドユーザの「左耳および右耳」およびそれらの「聴線（line-of-hearing）」222を継続的に突き止めて追跡することによってシミュレーション認識を実行する。現実世界の左耳および右耳座標は、開放アクセス・カメラ・モデルの、それらが現実空間の中で存在する正確な場所へ継続的にマップされ、次に3Dオーディオ座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の耳座標とマッチさせる。これは、エンドユーザの左耳および右耳の正確なロケーションに基づいて、開放アクセス・サウンドをリアルタイムで生成することを可能にし、エンドユーザが頭を自由に動かして、正しいロケーションから出る開放アクセス・サウンドを聴くことができるようにする。
【０１１９】
次に、シミュレータは、エンドユーザの「左手および右手」およびそれらの「ディジット」222、即ち、指を継続的に突き止めて追跡することによってシミュレーション認識を実行する。現実世界の左手および右手座標は、開放アクセス・カメラ・モデルの、それらが現実空間の中で存在する正確な場所へ継続的にマップされ、次にハンズオン画像座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の手の座標とマッチさせる。これは、エンドユーザの左手および右手の正確なロケーションに基づいて、ハンズオン・ボリューム内でシミュレーションをリアルタイムで生成することを可能にし、エンドユーザがハンズオン・ボリュームの中でシミュレーションと自由に対話することを可能にする。
【０１２０】
または、追加的に、シミュレータは、手の代わりに「ハンドヘルド・ツール」を継続的に突き止めて追跡することによって、シミュレーション認識を実行することができる。これらの現実世界のハンドヘルド・ツールの座標は、開放アクセス・カメラ・モデルの中の、それらが現実空間で存在する正確な場所へ継続的にマップされ、次にハンズオン画像座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界のハンドヘルド・ツールの座標とマッチさせる。これは、ハンドヘルド・ツールの正確なロケーションに基づいて、ハンズオン・ボリューム内でシミュレーションをリアルタイムで生成することを可能にし、エンドユーザがハンズオン・ボリューム内でシミュレーションと自由に対話することを可能にする。
【０１２１】
3D水平遠近法ハンズオン・シミュレータが開示された。本発明の好ましい形態が図面で示され、本明細書で説明されたが、本発明は図示および説明された特定の形態へ限定されるものと解釈されてはならない。なぜなら、好ましい形態の変形が当業者へ明らかであるからである。したがって、本発明の範囲は、下記の特許請求の範囲およびそれらの同等物によって定められる。
【図面の簡単な説明】
【０１２２】
【図１】様々な遠近法線描を示す。
【図２】典型的な中心遠近法線描を示す。
【図３】3Dソフトウェア開発の略図を示す。
【図４】コンピュータ世界の眺めを示す。
【図５】コンピュータ内部の仮想世界を示す。
【図６】3D中心遠近法表示のスキームを示す。
【図７】中心遠近法（画像A）と水平遠近法（画像B）との比較を示す。
【図８】3つの積層ブロックの中心遠近法線描を示す。
【図９】3つの積層ブロックの水平遠近法線描を示す。
【図１０】水平遠近法線描を行う方法を示す。
【図１１】水平面に対する3Dオブジェクトの正しくないマッピングを示す。
【図１２】水平面に対する3Dオブジェクトの正しいマッピングを示す。
【図１３】z軸補正を有する典型的な平面観察面を示す。
【図１４】図13の3D水平遠近法画像を示す。
【図１５】本発明のハンズオン・シミュレータの態様を示す。
【図１６】本発明のハンズオン・シミュレータの時間シミュレーションを示す。
【図１７】幾つかの典型的なハンドヘルド周辺機器を示す。
【図１８】ハンズオン・ボリュームに対する周辺機器のマッピングを示す。
【図１９】本発明のハンズオン・シミュレータを使用しているユーザを示す。
【図２０】カメラの三角測量を有するハンズオン・シミュレータを示す。
【図２１】カメラおよびスピーカの三角測量を有するハンズオン・シミュレータを示す。
【図２２】完全な開放アクセス・カメラ・モデルの簡単な例を示す。
【図１】
2007536608.tif 000002
【図２】
2007536608.tif 000003
【図３】
2007536608.tif 000004
【図４】
2007536608.tif 000005
【図５】
2007536608.tif 000006
【図６】
2007536608.tif 000007
【図７】
2007536608.tif 000008
【図８】
2007536608.tif 000009
【図９】
2007536608.tif 000010
【図１０】
2007536608.tif 000011
【図１１】
2007536608.tif 000012
【図１２】
2007536608.tif 000013
【図１３】
2007536608.tif 000014
【図１４】
2007536608.tif 000015
【図１５】
2007536608.tif 000016
【図１６】
2007536608.tif 000017
【図１７】
2007536608.tif 000018
【図１８】
2007536608.tif 000019
【図１９】
2007536608.tif 000020
【図２０】
2007536608.tif 000021
【図２１】
2007536608.tif 000022
【図２２】
2007536608.tif 000023
【手続補正書】
【提出日】平成19年3月26日(2007.3.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器とを含む、
3D水平遠近法シミュレータ・システム。
【請求項２】
周辺機器から入力を取り、水平遠近法ディスプレイへ出力を提供する処理ユニットを更に含む、請求項1記載のシミュレータ・システム。
【請求項３】
物理周辺機器を3D画像へ追跡させる手段を更に含む、請求項1記載のシミュレータ・システム。
【請求項４】
物理周辺機器を3D画像へ較正する手段を更に含む、請求項1記載のシミュレータ・システム。
【請求項５】
処理ユニットと、
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、
3D水平遠近法シミュレータ・システム。
【請求項６】
水平遠近法ディスプレイが、3D画像の一部分を内部アクセスボリュームへ更に表示し、それによって内部アクセスボリュームの画像部分が周辺機器によって接触されることができない、請求項5記載のシミュレータ・システム。
【請求項７】
水平遠近法ディスプレイが、自動又は手作業の眼点追跡を更に含む、請求項5記載のシミュレータ・システム。
【請求項８】
水平遠近法ディスプレイが、3D画像をズーム、回転、又は動かす手段を更に含む、請求項5記載のシミュレータ・システム。
【請求項９】
水平遠近法ディスプレイが、3D画像を実質的な水平面へ投影する、請求項5記載のシミュレータ・システム。
【請求項１０】
周辺機器が、ツール、ハンドヘルド・ツール、空間手袋、又はポインティング・デバイスである、請求項5記載のシミュレータ・システム。
【請求項１１】
周辺機器が先端を含み、操作が周辺機器の先端に対応する、請求項5記載のシミュレータ・システム。
【請求項１２】
水平遠近法を使用して3D画像を開放空間へ表示する段階と、
周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、
3D水平遠近法シミュレーションのための方法。
【請求項１３】
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器とを含む、3D水平遠近法シミュレータ・システムを使用し、
水平遠近法を使用して3D画像を開放空間へ表示する段階と、周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、3Dシミュレーション法。
【請求項１４】
物理周辺機器を3D画像へ追跡させる段階を更に含む、請求項13記載の方法。
【請求項１５】
物理周辺機器を3D画像へ較正する段階を更に含む、請求項13記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、3次元シミュレータ・システムに関し、更に具体的には、操縦者とのインタラクションが可能なハンズオン（hands-on）・コンピュータ・シミュレータ・システムに関する。
【０００２】
本願は、参照により本明細書に組み入れられる2004年4月5日に出願された米国特許仮出願第60/559,780号からの優先権を主張する。
【背景技術】
【０００３】
発明の背景
3次元（3D）能力エレクトロニクスおよびコンピューティング・ハードウェア・デバイスおよびリアルタイム・コンピュータ生成3Dコンピュータ・グラフィックスは、過去数十年の間、コンピュータ科学の人気領域であり、ビジュアル、オーディオ、および触覚システムの革新が行われてきた。この領域における研究の多くは、より大きな現実感、およびより自然なコンピュータと人間とのインタフェースを生成するように特別に設計されたハードウェアおよびソフトウェア製品を生み出してきた。これらの革新は、エンドユーザのコンピューティング体験を著しく向上および簡素化した。
【０００４】
人間が絵によって意思を伝達することを始めてから、人間は、その住んでいる3次元世界をどのようにして正確に表現するかのジレンマに直面した。彫刻は、3次元物体をうまく表現するために使用されたが、物体間および環境の中の空間関係を伝達するには不十分であった。これを行うため、初期の人間は、周囲で見るものを2次元垂直平面の上に「平らに」しようと試みた（例えば、絵画、図画、壁掛けなど）。人物が直立して木々に囲まれているシーンは、垂直平面の上に比較的うまく描写された。しかし、芸術家が立っている場所から、見渡す限り、大地が地平線まで延びている風景を、どのようにして表現できるのであろうか。
【０００５】
答えは、3次元幻影である。2次元の絵は、3次元の多数のキューを脳へ提供して、3次元画像の幻影を作り出さなければならない。3次元キューのこの効果は、脳が完全にそれに慣らされるという事実によって現実的に達成可能である。3次元の現実世界は、常におよび既に網膜、即ち目の後ろにある凹面で2次元（例えば、高さおよび幅）投影画像へ変換されている。この2次元画像から、脳は、経験および知覚によって奥行き情報を生成し、2つのタイプの奥行きキュー、即ち単眼（1つの眼の知覚）および双眼（2つの眼の知覚）から3次元可視画像を形成する。一般的に、双眼奥行きキューは生得的および生物的であるが、単眼奥行きキューは学習的および環境的である。
【０００６】
主要な双眼奥行きキューは収束および網膜差異である。脳は眼の収束量を測定して、距離の概算を提供する。なぜなら、各々の眼の視線の間の角度は、物体が近くにある場合大きくなるからである。2つの眼の隔離よる網膜像の差異は、奥行きの知覚を作り出すために使用される。その効果は立体視と呼ばれ、各々の眼はシーンの少しだけ異なる眺めを受け取る。脳は、これらの差異を使用して近隣物体間の距離の比率を決定し、異なる眺めを一緒に融合する。
【０００７】
双眼キューは、奥行きの非常に強力な知覚である。しかし、更に、単眼奥行きキューと呼ばれ、1つの眼だけを使用する奥行きキューが存在し、平坦な画像の上に奥行きの印象を作り出す。主要な単眼キューは、重なり、相対サイズ、線形遠近法、および光と影である。物体が部分的に覆われて観察される場合、この妨害パターンがキューとして使用され、物体が遠くにあることを決定する。2つの物体が同じサイズであると分かっており、1の物体が他の物体よりも小さく現れる場合、この相対サイズ・パターンが使用され、小さい方の物体が遠くにあると想定する。想定サイズのキューは、更に、線形遠近法のキューの基礎を提供し、複数の線が観察者から遠くにあれば、それらの線は接近しているように見える。なぜなら、遠近法画像の平行線は単一の点へ収束するように見えるからである。或る角度から物体上に落ちる光は、物体の形態および奥行きのキューを提供でき得る。物体上の光と陰の分布は、光は上から来るという生物学的に正しい仮定によって提供される強力な奥行き単眼キューである。
【０００８】
遠近法の図画は、相対サイズと共に、多くの場合、平坦な（2次元の）面、例えば、紙またはキャンバスの上で3次元の奥行きおよび空間関係の幻影を達成するために使用される。遠近法によって、3次元物体は2次元平面上に表現されるが、3次元空間にあるように眼を「欺く」。遠近法構成の最初の理論的論文であるDepicturaは、建築家のLeone Battista Albertiによって1400年代の早期に出版された。彼の本の導入以来、「一般的」遠近法の背後にある詳細事項が非常に十分に文書化された。しかし、多数の他のタイプの遠近法が存在する事実は、あまり知られていない。幾つかの例を挙げると、図1で示されるように、軍事1、騎士2、等角3、四角形4、中心遠近法5、および2点遠近法6である。
【０００９】
特に関心対象となるのは、図1の左下に示される中心遠近法5と呼ばれる最も通常タイプの遠近法である。1点遠近法とも呼ばれる中心遠近法は、最も簡単な種類の「真の」遠近法構成であり、多くの場合、美術および製図の初心者クラスで教えられる。図2は、更に、中心遠近法を示す。中心遠近法を使用すると、チェス盤およびチェス駒は3次元物体のように見えるが、それらは2次元の平坦な紙の上に線描されている。中心遠近法は中心消失点21を有し、長方形の物体は、前面が絵の平面と平行であるように置かれる。物体の奥行きは絵の平面と垂直である。平行で後退する全ての辺は中心消失点へ向かって延びる。観察者は真っ直ぐな視界でこの消失点の方を見る。建築家または芸術家が中心遠近法を使用して図画を創作する場合、彼らは単眼観察を使用しなければならない。即ち、図画を創作している芸術家は、図画の表面に対して垂直に、1つだけの眼で見ることによって画像を捕捉する。
【００１０】
中心遠近法画像を含む大多数の画像は、視線に垂直な平面で表示、観察、および捕捉される。90°とは異なる角度で画像を観察することは、画像の歪曲を生じる。これは、観察面が視線と垂直でない場合、正方形が長方形として見えることを意味する。
【００１１】
中心遠近法は、無数のアプリケーション、例えば、少しだけ例を挙げると、科学、データの視覚化、コンピュータ生成プロトタイプ法、映画の特殊効果、医療画像、および建築のために、3Dコンピュータ・グラフィックスで広く使用される。最も普通で周知の3Dコンピューティング・アプリケーションの1つは3Dゲームである。3Dゲームは、本明細書で1つの例として使用される。なぜなら、3Dゲームで使用される中心概念は、全ての他の3Dコンピューティング・アプリケーションへ拡張されるからである。
【００１２】
図3は、3Dソフトウェア・アプリケーションで高レベルの現実感を達成するために必要な基本構成要素をリストすることによって段階を設定するように意図された簡単な図である。ソフトウェア開発者のチーム31は3Dゲーム開発品32を創作して、アプリケーション・パッケージ33、例えばCDへそれを移植する。その最高レベルにおいて、3Dゲーム開発品32は、4つの本質的構成要素からなる。
1.設計34:ゲームのストーリーラインおよびゲーム・プレイの創作。
2.コンテンツ35:ゲーム・プレイの間に活躍するオブジェクト（人物、風景など）。
3.人工知能（AI）36:ゲーム・プレイの間にコンテンツとのインタラクションを制御する。
4.リアルタイム・コンピュータ生成3Dグラフィックス・エンジン（3Dグラフィックス・エンジン）37:設計、コンテンツ、およびAIデータを管理する。何を線描するか、どのようにそれを線描するかを決定し、次にそれをコンピュータ・モニタ上でレンダリング（表示）する。
【００１３】
3Dアプリケーション、例えば、ゲームを使用している人は、実際には、リアルタイム・コンピュータ生成3Dグラフィックス・エンジンの形態をしたソフトウェアを実行している。エンジンの重要な構成要素の1つはレンダラである。その仕事は、コンピュータによって生成される世界座標x、y、zの中に存在する3Dオブジェクトを取って、それらをコンピュータ・モニタの観察面の上にレンダリング（線描/表示）することである。観察面は平坦な（2D）平面であり、現実世界座標x、yを有する。
【００１４】
図4は、3Dグラフィックス・エンジンを実行している場合、コンピュータの内部で起こっていることを表す。全ての3Dゲームの中で、コンピュータによって生成される3D「世界」が存在する。この世界は、ゲーム・プレイの間に体験される全てのものを含む。それは、更に、デカルト座標系を使用する。このことは、それが3つの空間次元x、yおよびzを有することを意味する。これらの3つの次元は「仮想世界座標」41と呼ばれる。典型的な3Dゲームのゲーム・プレイは、コンピュータ生成3D地球、およびその地球の周りを回っているコンピュータ生成3D衛星で始まる。仮想世界座標系によって、地球および衛星は、コンピュータによって生成されるx、y、z空間の中で適切に配置される。
【００１５】
衛星および地球が時間と共に動くにつれて、それらは適切に同期を維持しなければならない。これを達成するため、3Dグラフィックス・エンジンは、コンピュータによって生成される時間のために第4の普遍次元tを作り出す。時間tの全ての時点について、3Dグラフィックス・エンジンは、衛星が回転地球の周りを回る場合、新しいロケーションおよび方位の衛星を再生成する。したがって、3Dグラフィックス・エンジンの重要な仕事は、4つの全てのコンピュータ生成次元x、y、z、およびtの中で全ての3Dオブジェクトを継続的に同期および再生成することである。
【００１６】
図5は、エンドユーザが第1人物の3Dアプリケーションをプレイ、即ち実行している場合、コンピュータの内部で起こることを概念的に示す。第1人物とは、コンピュータ・モニタが窓によく似ており、その窓を通して、ゲームをプレイしている人物が、コンピュータによって生成される世界を観察することを意味する。この観察画を生成するため、3Dグラフィックス・エンジンは、コンピュータによって生成される人物の眼の視点からシーンをレンダリングする。コンピュータによって生成される人物は、ゲームを実際にプレイしている「現実の」人物のコンピュータ生成または「仮想」シミュレーションとして考えることができる。
【００１７】
3Dアプリケーションを実行している間、現実の人物、即ちエンドユーザは、所与の時点で全体の3D世界の小さな部分のみを観察する。このように行われるのは、コンピュータのハードウェアが典型的な3Dアプリケーションで膨大な数の3Dオブジェクトを生成すると、計算的には費用が高くなるためである。エンドユーザは、現在、大多数の3Dオブジェクトについては注意を集中していない。したがって、3Dグラフィックス・エンジンの重要な仕事は、コンピュータによって生成される時間tの各時点で絶対的に必要なだけの少量の情報を線描/レンダリングすることによって、コンピュータ・ハードウェアの計算負担を最小にすることである。
【００１８】
図5の箱内の領域は、3Dグラフィックス・エンジンが、どのようにしてハードウェアの負担を最小にするかを表す。それは、3Dアプリケーションの全体の世界と比較して極端に小さな情報領域の上に、計算資源を集中する。この例において、「コンピュータによって生成された」仮想人物51によって観察されているのは、「コンピュータによって生成された」シロクマの子供である。エンドユーザは第1人物として実行しているので、コンピュータ生成人物が見る全てのものは、エンドユーザのモニタの上にレンダリングされる。即ち、エンドユーザはコンピュータ生成人物の眼を通して見ている。
【００１９】
図5において、コンピュータ生成人物は1つの眼だけを通して見ている。言い換えれば、それは1つの眼の眺め52である。この理由は、3Dグラフィックス・エンジンのレンダラが中心遠近法を使用して、3Dオブジェクトを2D面の上に線描/レンダリングするからである。中心遠近法は、ただ1つの眼を通して観察することを必要とする。コンピュータ生成人物が1つの眼の眺めで見る領域は「ビュー・ボリューム（view volume）」53と呼ばれ、このビュー・ボリューム内のコンピュータ生成3Dオブジェクトが、コンピュータ・モニタの2D観察面へ実際にレンダリングされるものである。
【００２０】
図6は、ビュー・ボリューム64を更に詳細に示す。ビュー・ボリュームは、「カメラ・モデル」のサブセットである。カメラ・モデルとは、3Dグラフィックス・エンジンのハードウェアおよびソフトウェアの双方の特性を定める青写真である。非常に複雑および精巧な自動車エンジンのように、3Dグラフィックス・エンジンは非常に多くの部品からなるので、カメラ・モデルは、多くの場合、単純化されて、参照されている必須の要素のみを示す。
【００２１】
図6で示されたカメラ・モデルは、中心遠近法を使用してコンピュータ生成3Dオブジェクトをコンピュータ・モニタの垂直2D観察面へレンダリングする3Dグラフィックス・エンジンを示す。図6で示されるビュー・ボリュームは、詳細に示されているが、図5で表されたビュー・ボリュームと同じである。唯一の相違は意味論である。なぜなら、3Dグラフィックス・エンジンは、コンピュータ生成人物の1つの眼の眺めをカメラ・ポイント61と呼ぶからである（カメラ・モデルは、ここから来ている）。カメラ・モデルは、カメラの視線62を使用する。視線62は、典型的には、投影面63に垂直である。
【００２２】
カメラ・モデルの全ての構成要素は「要素」と呼ばれる。本発明者らの単純化されたカメラ・モデルにおいて、近クリップ平面（near clip plane）とも呼ばれる投影面63は2D平面である。この2D平面の上に、ビュー・ボリューム内の3Dオブジェクトのx、y、z座標がレンダリングされる。各々の投影線はカメラ・ポイント61で始まり、ビュー・ボリューム内の仮想3Dオブジェクトのx、y、z座標点65で終わる。したがって、3Dグラフィックス・エンジンは、投影線が近クリップ平面63とどこで交差するかを決定し、この交差が起こるxおよびyの点66が近クリップ平面へレンダリングされる。一度3Dグラフィックス・エンジンのレンダラが、全ての必要な数学的投影を完了すると、近クリップ平面は、図6の下部で示されるように、コンピュータ・モニタの2D観察面の上に表示される。このようにして、現実の人物の眼68は、現実の人物の視線67を通して3D画像を観察することができる。現実の人物の視線67はカメラの視線62と同じである。
【００２３】
先行技術の3Dコンピュータ・グラフィックスの基本は中心遠近法投影である。3D中心遠近法投影は現実感のある3D幻影を提供するが、3Dディスプレイとのハンズオン・インタラクションをユーザに行わせることに関して、幾つかの制限を有する。
【００２４】
本発明者らが「水平遠近法」と呼ぶ知名度の低い画像が存在する。水平遠近法では、正面から観察される場合の画像は歪曲されて見えるが、正しい観察位置から観察される場合3次元幻影を表示する。水平遠近法では、観察面と視線との間の角度は好ましくは45°であるが、ほとんど任意の角度であってよく、観察面は好ましくは水平であるが（「水平遠近法」の名前は、ここから来ている）、視線が観察面に対して非垂直角を形成するかぎり、任意の面であってよい。
【００２５】
水平遠近法画像は現実感のある3次元幻影を提供するが、主として狭い観察ロケーション（観察者の眼点が画像投影眼点と正確に一致していなければならない）、および2次元画像または3次元モデルを水平遠近法画像の中へ投影する場合の複雑性に起因して、ほとんど知られていない。
【００２６】
水平遠近法画像の生成は、従来の垂直画像よりも、作り出すのに相当多くの技量を必要とする。従来の垂直画像は、観察者またはカメラ・ポイントから直接生成可能である。必要なことは、単に眼を開くかカメラを向けて画像を取得すればよい。更に、垂直画像から3次元奥行きキューを観察する場合の多くの体験を使用して、観察者は、カメラ・ポイントからの逸脱によって生成される著しい歪曲量に耐えることができる。対照的に、水平遠近法画像の作成は多くの操作を必要とする。従来のカメラは、視線に垂直な平面へ画像を投影することによって、水平遠近法画像を生成しないと考えられる。水平線描を行うことは多くの努力を必要とし、非常に時間を消費する。更に、人は水平遠近法画像について体験を制限されているので、投影眼点の点が画像の歪曲を避ける場所に観察者の眼を正確に配置しなければならない。したがって、水平遠近法は、その困難性のために、ほとんど注意されなかった。
【発明の開示】
【００２７】
発明の概要
本発明は、以下を含む。
1. 本発明（１）は、水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器とを含む、
3D水平遠近法シミュレータ・システムである。
2. 本発明（２）は、周辺機器から入力を取り、水平遠近法ディスプレイへ出力を提供する処理ユニットを更に含む、本発明（1）のシミュレータ・システムである。
3. 本発明（３）は、物理周辺機器を3D画像へ追跡させる手段を更に含む、本発明（1）のシミュレータ・システムである。
4. 本発明（４）は、物理周辺機器を3D画像へ較正する手段を更に含む、本発明（1）のシミュレータ・システムである。
5. 本発明（５）は、処理ユニットと、
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、
3D水平遠近法シミュレータ・システムである。
6. 本発明（６）は、水平遠近法ディスプレイが、3D画像の一部分を内部アクセスボリュームへ更に表示し、それによって内部アクセスボリュームの画像部分が周辺機器によって接触されることができない、本発明（5）のシミュレータ・システムである。
7. 本発明（７）は、水平遠近法ディスプレイが、自動または手作業の眼点追跡を更に含む、本発明（5）のシミュレータ・システムである。
8. 本発明（８）は、水平遠近法ディスプレイが、3D画像をズーム、回転、または動かす手段を更に含む、本発明（5）のシミュレータ・システムである。
9. 本発明（９）は、水平遠近法ディスプレイが、3D画像を実質的な水平面へ投影する、本発明（5）のシミュレータ・システムである。
10. 本発明（１０）は、周辺機器が、ツール、ハンドヘルド・ツール、空間手袋、またはポインティング・デバイスである、本発明（5）のシミュレータ・システムである。
11. 本発明（１１）は、周辺機器が先端を含み、操作が周辺機器の先端に対応する、本発明（5）のシミュレータ・システムである。
12. 本発明（１２）は、操作が、表示画像を修正する動作、または異なる画像を生成する動作を含む、本発明（5）のシミュレータ・システムである。
13. 本発明（１３）は、3Dサウンド・システムを更に含む、本発明（5）のシミュレータ・システムである。
14. 本発明（１４）は、周辺機器のマッピングが、周辺機器の位置を処理ユニットへ入力することを含む、本発明（5）のシミュレータ・システムである。
15. 本発明（１５）は、周辺機器の追跡ユニットが、三角測量または赤外線追跡システムを含む、本発明（5）のシミュレータ・システムである。
16. 本発明（１６）は、表示画像の座標を周辺機器へ較正する手段を更に含む、本発明（5）のシミュレータ・システムである。
17. 本発明（１７）は、較正手段が参照座標の手作業入力を含む、本発明（16）のシミュレータ・システムである。
18. 本発明（１８）は、較正手段が、較正手順による参照座標の自動入力を含む、本発明（16）のシミュレータ・システムである。
19. 本発明（１９）は、水平遠近法ディスプレイが、水平遠近法を使用して立体3D画像を表示する立体水平遠近法ディスプレイである、本発明（5）のシミュレータ・システムである。
20. 本発明（２０）は、処理ユニットと、
水平遠近法を使用して立体3D画像を開放空間へ表示する立体水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、マルチビュー3D水平遠近法シミュレータ・システムである。
21. 本発明（２１）は、水平遠近法を使用して3D画像を開放空間へ表示する段階と、
周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、
3D水平遠近法シミュレーションのための方法である。
22. 本発明（２２）は、
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器とを含む、3D水平遠近法シミュレータ・システムを使用し、
水平遠近法を使用して3D画像を開放空間へ表示する段階と、周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、3Dシミュレーション法である。
23. 本発明（２３）は、シミュレータ・システムが周辺機器から入力を取り、水平遠近法ディスプレへ出力を提供する処理ユニットを更に含む、本発明（22）の方法である。
24. 本発明（２４）は、物理周辺機器を3D画像へ追跡させる段階を更に含む、本発明（22）の方法である。
25. 本発明（２５）は、物理周辺機器を3D画像へ較正する段階を更に含む、本発明（22）の方法である。
26. 本発明（２６）は、処理ユニットと、
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、3D水平遠近法シミュレータ・システムを使用し、
水平遠近法を使用して3D画像を開放空間へ表示する段階と、
周辺機器を追跡させる段階と、
周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、3Dシミュレーション法である。
27. 本発明（２７）は、水平遠近法ディスプレイが、3D画像の一部分を内部アクセスボリュームへ更に表示し、それによって内部アクセスボリュームの画像部分が周辺機器によって接触されることができない、本発明（26）の方法である。
28. 本発明（２８）は、水平遠近法ディスプレイについての自動又は手作業の眼点追跡段階を更に含む、本発明（26）の方法である。
29. 本発明（２９）は、3D画像をズーム、回転、又は動かす段階を更に含む、本発明（26）の方法である。
30. 本発明（３０）は、周辺機器を追跡させる段階が周辺機器の先端を追跡する段階を含む、本発明（26）の方法である。
31. 本発明（３１）は、操作が、表示画像を修正する動作、又は異なる画像を生成する動作を含む、本発明（26）の方法である。
32. 本発明（３２）は、3Dサウンドを提供する段階を更に含む、本発明（26）の方法である。
33. 本発明（３３）は、周辺機器の追跡が、周辺機器の位置を処理ユニットへ入力することを含む、本発明（26）の方法である。
34. 本発明（３４）は、周辺機器の追跡が、三角測量又は赤外線追跡の段階を含む、本発明（26）の方法である。
35. 本発明（３５）は、表示画像の座標を周辺機器へ較正する段階を更に含む、本発明（26）の方法である。
36. 本発明（３６）は、較正段階が参照座標の手作業入力を含む、本発明（35）の方法である。
37. 本発明（３７）は、較正段階が、較正手順による参照座標の自動入力を含む、本発明（35）の方法である。
38. 本発明（３８）は、水平遠近法ディスプレイが、水平遠近法を使用して立体3D画像を表示する立体水平遠近法ディスプレイである、本発明（26）の方法である。
39. 本発明（３９）は、処理ユニットと、
水平遠近法を使用して3D画像を開放空間へ表示する水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、3D水平遠近法シミュレータ・システムを使用し、
周辺機器を較正する段階と、
水平遠近法を使用して3D画像を開放空間へ表示する段階と、
周辺機器を追跡させる段階と、
周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、3Dシュミレーション法である。
40. 本発明（４０）は、処理ユニットと、
水平遠近法を使用して立体3D画像を開放空間へ表示する立体水平遠近法ディスプレイと、
3D画像へ接触することによって表示画像を操作する周辺機器と、
周辺機器を3D画像へマップする周辺機器追跡ユニットとを含む、マルチビュー3D水平遠近法シミュレータ・システムを使用し、
水平遠近法を使用して立体3D画像を開放空間へ表示する段階と、
周辺機器を追跡させる段階と、
周辺機器を用いて3D画像へ接触することによって表示画像を操作する段階とを含む、3Dシュミレーション法である。
本発明により、パーソナル・コンピュータが水平遠近法ディスプレイに完璧に適していることが認識される。それはパーソナルであるので、1人の操作のために設計され、コンピュータは、その強力なマイクロプロセッサによって様々な水平遠近法画像を観察者へレンダリングすることができる。更に、水平遠近法は3D画像の開放空間表示を提供し、したがってエンドユーザのハンズオン・インタラクションを可能にする。
【００２８】
したがって、本発明は、3D水平遠近法ディスプレイを使用するハンズオン・シミュレータ・システムを開示する。ハンズオン・シミュレータ・システムは、水平遠近法画像を開放空間へ投影することのできるリアルタイム電子ディスプレイ、およびエンドユーザが両手またはハンドヘルド・ツールで画像を操作することを可能にする周辺機器を含む。水平遠近法画像は開放空間へ投影されるので、ユーザは画像に「接触」して、現実感のあるハンズオン・シミュレーションを得ることができる。接触動作は実際には仮想的な接触である。これは、手が接触を感じるのでなく、単に眼が接触を感じることを意味する。この仮想接触は、更に、ユーザがオブジェクトの内部を接触できるようにする。
【００２９】
ハンズオン・シミュレータは、好ましくは、表示された画像を変更するコンピュータ・ユニットを含む。コンピュータ・ユニットは、更に、周辺機器の追跡を維持して、周辺機器と表示画像との間の同期を確保する。システムは、更に、較正ユニットを含んで、表示画像に対する周辺機器の適切なマッピングを確保することができる。
【００３０】
ハンズオン・シミュレータは、好ましくは、眼点追跡ユニットを含んで、ユーザの眼点を投影点として使用することによって水平遠近法画像を再計算し、歪曲を最小にする。ハンズオン・シミュレータは、更に、表示された画像の操作、例えば、拡大、ズーム、回転、移動、更には新しい画像の表示を行う手段を含む。
【００３１】
発明の詳細な説明
本明細書で説明される新規で独特の発明は、最新技術のリアルタイム・コンピュータ生成3Dコンピュータ・グラフィックス、3Dサウンド、および触知コンピュータ人間インタフェースを用い、全面的に新しいレベルの現実感および単純性を実現することによって従来技術を改善する。更に具体的には、これらの新しい発明は、リアルタイムのコンピュータ生成3Dシミュレーションが、物理空間および時間において、エンドユーザおよび他の現実世界の物理オブジェクトと共存することを可能にする。この能力は、3Dコンピュータ生成オブジェクトおよびサウンドとの直接物理インタラクションを提供することによって、エンドユーザの視覚的、聴覚的、および触覚的コンピューティング体験を劇的に改善する。この独特の能力は、ほとんど全ての想定可能な産業で有用である。そのような産業には、電子、コンピュータ、生物測定学、医療、教育、ゲーム、映画、科学、法律、金融、通信、法律の施行、国家安全、軍事、印刷メディア、テレビ、広告、展示会、データの視覚化、コンピュータ生成現実、アニメーション、CAD/CAE/CAM、生産性ソフトウェア、オペレーティング・システムなどが含まれるが、これらに限定されるわけではない。
【００３２】
本発明の水平遠近法ハンズオン・シミュレータは、水平遠近法投影に基づいて3次元幻影を投影することのできる水平遠近法システムの上に構築される。
【００３３】
水平遠近法は、知名度が低い遠近法である。本発明者らは、その機構を説明する本を2つだけ発見した。即ち、Stereoscopic Drawing（（著作権）1990）およびHow to Make Anaglyphs（（著作権）1979、絶版）である。これらの本は、この分かりにくい遠近法を説明しているが、それらの本は遠近法の名前で一致していない。最初の本は、水平遠近法を「自立アナグリフ」と呼び、二番目の本は「ファントグラム」と呼んでいる。他の刊行物は、それを「投影アナグリフ」と呼んでいる（米国特許第5,795,154号, G. M. Woods, Aug. 18, 1998）。名前が一致していないので、本発明者らは自由にそれを「水平遠近法」と呼んだ。通常、中心遠近法では、視線と直角の映像面は更に絵の投影面であって、この平坦な画像へ奥行きの幻影を与えるため奥行きキューが使用される。水平遠近法では、映像面は同じであるが、投影された画像はこの平面にはない。それは、映像面に対して或る角度の平面にある。典型的には、画像は床レベルの面にある。これは、画像が映像面に対して物理的に第3の次元にあることを意味する。したがって、水平遠近法は、水平投影法と呼ぶことができる。
【００３４】
水平遠近法において、目的は、紙から画像を分離し、その画像を、水平遠近法画像を投影する3次元オブジェクトへ融合することである。したがって、水平遠近法画像は、可視画像が融合して、自立型3次元像を形成するように歪曲されなければならない。更に、画像が正しい眼点から観察されることが必須である。そうでなければ、3次元幻影が失われる。高さおよび幅を有し、奥行きの幻影を投影し、したがってオブジェクトが、通常、急激に投影され、画像が層の中にあるように見える中心遠近法画像とは対照的に、水平遠近法画像は、実際の奥行きおよび幅を有し、幻影が画像に高さを与え、したがって、通常、勾配型推移が存在し、画像は連続するように見える。
【００３５】
図7は、中心遠近法と水平遠近法とを区別する重要な特性を比較する。画像Aは中心遠近法の重要な関連特性を示し、画像Bは水平遠近法の重要な関連特性を示す。
【００３６】
言い換えれば、実在の3次元オブジェクト（相互の間に少し間隔を置いて積層された3つのブロック）は、1つの眼を閉じて、垂直線描面72に垂直な視線71に沿って観察している芸術家によって線描された。結果の画像は、垂直に真っ直ぐ、および1つの眼を通して観察される場合、元の画像と同じように見える。
【００３７】
画像Bでは、実在の3次元オブジェクトは、1つの眼を閉じ、水平線描面74に対して45°の視線73に沿って観察している芸術家によって線描された。結果の画像は、水平に45°、および1つの眼を通して観察される場合、元の画像と同じように見える。
【００３８】
画像Aの中心遠近法と画像Bの水平遠近法との大きな相違の1つは、投影された3次元画像に関する表示面のロケーションである。画像Bの水平遠近法では、表示面を上下に調節することができ、したがって投影された画像を表示面の上の開放された空中に表示して、即ち、物理的な手が幻影に接触する（または、通過する）ことができる。または、幻影を表示面の下に表示して、即ち、人が幻影に接触することはできない。なぜなら、表示面が物理的に手を妨害するからである。これは水平遠近法の性質であり、カメラの眼点および観察者の眼点が同じ場所にある限り、幻影が存在する。対照的に、画像Aの中心遠近法では、3次元幻影は表示面の内側だけにある。これは人がそれに接触できないことを意味する。3次元幻影を表示面の外側に出して、観察者がそれに接触できるようにするためには、中心遠近法は精妙な表示スキーム、例えば、包囲画像投影および大きなボリュームを必要とすると考えられる。
【００３９】
図8および図9は、中心遠近法および水平遠近法を使用する場合の可視的な差異を示す。この可視的な差異を体験するため、最初に、1つの開いた眼を通して中心遠近法で線描された図8を見る。通常の線描を行うように、眼と垂直になるように前方で紙を垂直に保つ。中心遠近法は2次元平面の上で3次元オブジェクトの良好な表現を提供することが分かる。
【００４０】
ここで、机を移動して、机の上の面前に紙を平坦に（水平に）置くことによって、水平遠近法を使用して線描された図9を見る。再び、1つだけの眼を通して画像を観察する。これは、眼点と呼ばれる1つの開いた眼を、紙に対して約45°に置く。この角度は、芸術家が線描を作るために使用した角度である。開いた眼とその視線を芸術家と一致させるため、描画へ近づくように眼を下方および前方へ移動し、45°の角度で約6インチだけ外側および下方に来るようにする。これは、最上ブロックおよび中間ブロックが紙の上の開放空間に現れるという理想的観察体験を生じる。
【００４１】
再び、1つの開いた眼が、この正確なロケーションに存在しなければならない理由は、中心遠近法および水平遠近法の双方が、眼点からの視線の角度を定めるだけでなく、眼点から線描までの距離を定めるからである。これは、図8および図9が、線描面に対して、開かれた眼のために理想的なロケーションおよび方向で線描されることを意味する。しかし、眼点の位置および方向からの逸脱が、ほとんど歪曲を作り出さない中心遠近法とは異なって、水平遠近法の線描を観察する場合、1つだけの眼の使用および観察面に対するその眼の位置および方向は、開放空間の3次元水平遠近法幻影を見るために必須である。
【００４２】
図10は、水平遠近法を使用して、紙またはキャンバスの上に簡単な幾何学線描を作る方法を示す建築風の図である。図10は、図9で使用された同じ3つのブロックの側面図である。それは、水平遠近法の実際の機構を示す。オブジェクトを作り上げている各々の点は、点を水平線描面の上に投影することによって線描される。これを示すため、図10は投影線を介して水平線描面の上に線描されているブロックの少数の座標を示す。これらの投影線は、眼点（目盛りに起因して、図10では図示されない）で始まり、オブジェクト上の点103と交差し、投影線が水平線描面102と交差する所まで直線として続く。交差する所は、投影線が紙の上で単一のドット104として物理的に線描される場所である。建築家が、線描面から視線101に沿った眼点まで見えるように、ブロック上の各々および全ての点についてこのプロセスを反復する場合、水平遠近法線描が完成し、図9のように見える。
【００４３】
図10で注意されることは、3つのブロックの1つが水平線描面の下に現れることである。水平遠近法の場合、線描面の下に位置する点も水平線描面の上に線描され、高低線に沿った眼点から見えるようにされる。したがって、最終の線描が観察される場合、オブジェクトは水平線描面の上に現れるだけでなく、その下にも現れる。これは、オブジェクトが紙の中へ後退するような外観を与える。再び図9を見ると、最下部の箱が紙の下、または紙の中にあるように現れ、他の2つの箱は紙の上の開放空間に現れることが分かると考えられる。
【００４４】
水平遠近法画像の生成は、中心遠近法画像よりも作成するのに相当の専門的技術を必要とする。双方の方法は、2次元画像から生じた3次元幻影を観察者に提供しようとするものであるが、中心遠近法画像は観察者またはカメラ・ポイントから3次元風景を直接生成する。対照的に、水平遠近法画像は、正面から眺める場合歪曲されて現れるが、正確なロケーションで眺めた場合水平遠近法が3次元幻影を生成するように、歪曲を正確にレンダリングしなければならない。
【００４５】
水平遠近法ディスプレイシステムは、表示された画像を調節して幻影観察体験を最大化する手段を観察者に提供することによって、水平遠近法投影観察を促進する。マイクロプロセッサの計算力、および投影された画像を再線描することのできるリアルタイム電子ディスプレイを含むリアルタイム・ディスプレイ、即ち水平遠近法ディスプレイ、更に水平遠近法画像を調節する観察者の入力デバイスを使用することによって。水平遠近法画像の投影眼点が観察者の眼点と一致するように、画像を再表示することによって、本発明の水平遠近法ディスプレイは、水平遠近法からの3次元幻影をレンダリングする場合の最小歪曲を保証することができる。入力デバイスは手で操作可能であり、観察者は手で自分の眼点ロケーションを入力するか、投影画像眼点を変更して最適の3次元幻影を取得することができる。入力デバイスは、更に、自動的に操作可能であり、ディスプレイは自動的に観察者の眼点を追跡し、それに従って投影画像を調節する。水平遠近法ディスプレイシステムは、観察者が頭を比較的に固定された位置に保つという制約を除去する。この制約は、例えば、水平遠近法またはホログラム表示のように、正確な眼点ロケーションを受容する場合に多くの困難性を作り出す制約である。
【００４６】
水平遠近法ディスプレイシステムは、更に、リアルタイム電子表示デバイスおよび計算デバイスに入力を提供する投影画像入力デバイスに加えて、計算デバイスを含むことができる。それは、表示のために投影画像を計算し、観察者の眼点を投影画像眼点と一致させることによって、現実感のある最小歪曲3次元幻影を観察者へ提供するためである。システムは、更に、画像拡大/縮小入力デバイス、または画像回転入力デバイス、または画像移動デバイスを含むことができる。それは観察者が投影画像の眺めを調節できるようにするためである。
【００４７】
入力デバイスは、手作業または自動的に操作可能である。入力デバイスは観察者の眼点の位置および方位を検出し、検出結果に従って画像を計算し、ディスプレイの上に画像投影する。または、入力デバイスは、観察者の頭の位置と方位、および眼球の方位を検出するように作ることができる。入力デバイスは、赤外線検出システムを含んで観察者の頭の位置を検出し、観察者が頭を自由に移動できるようにする。入力デバイスの他の態様は、観察者の眼点ロケーションを検出する三角測量法である。例えば、CCDカメラは、頭を追跡する本発明の目的に適した位置データを提供する。入力デバイスは、例えば、キーボード、マウス、トラックボール、ジョイスティックなどのように、観察者によって手で操作され、水平遠近法ディスプレイ画像の正しい表示を指すことができる。
【００４８】
本明細書で説明される発明は、水平遠近法の開放空間特性、および多数の新しいコンピュータ・ハードウェア、ソフトウェア要素、およびプロセスを使用して、「ハンズオン・シミュレータ」を作り出す。最も単純な意味において、ハンズオン・シミュレータは全く新規で独特のコンピューティング体験を生成する。なぜなら、ハンズオン・シミュレータは、エンドユーザがリアルタイムのコンピュータ生成3Dグラフィックスと物理的および直接に対話できる（ハンズオン）ようにするからである（シミュレーション）。リアルタイムのコンピュータ生成3Dグラフィックスは、表示デバイスの観察面の上の開放空間、即ち、エンドユーザ自身の物理空間に現れる。
【００４９】
エンドユーザが、これらの独特のハンズオン・シミュレーションを体験するためには、コンピュータ・ハードウェア観察面は水平に置かれ、エンドユーザの視線が観察面に対して45°になるようにされる。典型的には、これは、エンドユーザが垂直に立つか座り、観察面が床に対して水平であることを意味する。エンドユーザは45°以外の観察角（例えば、55°、30°など）でハンズオン・シミュレーションを体験できるが、45°は、脳が開放空間画像の中で最大量の空間情報を認識するための最適角であることに注意すべきである。したがって、単純性を目的として、本発明者らは、本明細書の全体で「約45°の角度」を意味するために「45°」を使用する。更に、水平観察面は水平な床と一緒に観察者の体験をシミュレートするので、水平観察面が好ましいが、任意の観察面が類似の3次元幻影体験を提供できると考えられる。水平遠近法幻影は、水平遠近法画像を天井面へ投影することによって天井からぶら下がるように現れることができ、または水平遠近法画像を垂直壁面へ投影することによって壁から浮動するように現れることができる。
【００５０】
ハンズオン・シミュレーションは、3Dグラフィックス・エンジンのビュー・ボリューム内に生成される。これは、2つの新しい要素、即ち、「ハンズオン・ボリューム」および「内部アクセスボリューム」を作り出す。ハンズオン・ボリュームは、物理観察面の上に位置する。したがって、エンドユーザはシミュレーションを直接および物理的に操作することができる。なぜなら、シミュレーションはエンドユーザ自身の物理空間に共存するからである。この1:1の対応は、手またはハンドヘルド・ツールでシミュレーションに接触および操作することによって、正確で触知可能な物理的インタラクションを可能にする。内部アクセスボリュームは観察面の下に置かれ、このボリューム内のシミュレーションは物理観察デバイスの内部に現れる。したがって、内部アクセスボリューム内に生成されたシミュレーションはエンドユーザと同じ物理空間を共有することはできず、画像は手またはハンドヘルド・ツールによって直接および物理的に操作され得ない。即ち、そのようなシミュレーションは、コンピュータのマウスまたはジョイスティックを介して間接的に操作される。
【００５１】
この開示されたハンズオン・シミュレータは、シミュレーションを直接および物理的に操作できるエンドユーザの能力を導くことができる。なぜなら、シミュレーションはエンドユーザ自身の物理空間に共存するからである。これを達成するためには、新しいコンピューティング概念を必要とする。その概念では、コンピュータで生成される世界要素が、物理的現実世界の同等物と1:1の対応を有する。即ち、物理要素および同等のコンピュータ生成要素は、同じ空間および時間を占める。これは、新しい要素が同期される共通の「参照面」を識別および確立することによって達成される。
【００５２】
参照面との同期は、シミュレーションの「仮想」世界と「現実の」物理世界との間の1:1の対応を作り出す基礎を形成する。特に、1:1の対応は、画像が適切に表示されることを確実にする。即ち、観察面の上にあるものは観察面の上のハンズオン・ボリューム内に現れ、観察面の下にあるものは下の内部アクセスボリューム内に現れる。この1:1の対応および参照面への同期が存在するならば、それだけで、エンドユーザは、手またはハンドヘルド・ツールを介してシミュレーションに物理的および直接にアクセスし、対話することができる。
【００５３】
本発明のシミュレータは、更に、これまで概説したようなリアルタイム・コンピュータ生成3Dグラフィックス・エンジンを含むが、水平遠近法投影を使用して3D画像を表示する。本発明と先行技術のグラフィックス・エンジンとの間の1つの大きな相違は、投影ディスプレイである。既存の3Dグラフィックス・エンジンは中心遠近法、したがって垂直平面を使用して、そのビュー・ボリュームをレンダリングするが、本発明のシミュレータでは、「垂直」方位レンダリング平面に対して「水平」方位レンダリング平面が、水平遠近法開放空間画像を生成するために必要である。水平遠近法画像は、中心遠近法画像よりも、はるかに優れた開放空間アクセスを提供する。
【００５４】
本発明のハンズオン・シミュレータにおける発明的要素の1つは、コンピュータ生成世界要素と、それらの物理的現実世界同等物との1:1の対応である。上記の導入のところで注意したように、この1:1の対応は、エンドユーザがハンズオン・シミュレーションに物理的および直接にアクセスして対話するために必須の新しいコンピューティング概念である。この新しい概念は、共通の物理参照面、およびその一意のx、y、z空間座標を引き出すための公式を必要とする。参照面のロケーションおよびサイズ、およびその具体的座標を決定することは、下記の事項を理解することが必要である。
【００５５】
コンピュータ・モニタまたは観察デバイスは多くの物理層から作られ、これらの層は個別および一緒に厚さまたは奥行きを有する。これを例示すると、図11および図12は、典型的なCRT型の観察デバイスの概念的側面図を含む。モニタのガラス面の最上層は物理「観察面」112であり、画像が作られる燐光体層は物理「画像層」113である。観察面112および画像層113は、観察デバイスのz軸に沿って異なる奥行きまたはz座標に置かれた別個の物理層である。画像を表示するため、CRTの電子銃は燐光体を励起し、燐光体は光子を放出する。これは、CRT上で画像を観察する場合、窓を通して見るように、ガラス面を通してz軸に沿って見ていることを意味し、ガラスの後ろの燐光体から来ている画像の光を見ている。
【００５６】
観察デバイスのz軸を念頭において、水平遠近法を使用し、観察デバイスの上に画像を表示してみる。図11および図12において、本発明者らは、図10で説明したような水平遠近法で、同じ建築風の技法を使用して画像を線描する。図11と図10とを比較することによって、図11の中央ブロックは観察面112の上に正しく現れないことが分かる。図10では、中央ブロックの底部は、水平線描/観察面、即ち、一枚の紙の観察面の上に正しく置かれる。しかし、図11では、燐光体層、即ち、画像が作られる層は、CRTのガラス面の背後に置かれる。したがって、中央ブロックの底部は、観察面の背後または下の正しくないところに配置される。
【００５７】
図12は、CRT型観察デバイスの3つのブロックの正しい位置を示す。即ち、中央ブロックの底部は、観察面112の上で正しく表示され、画像層113の上にはない。この調節を行うため、観察面および画像層のz座標は、画像を正しくレンダリングするためシミュレーション・エンジンによって使用される。このようにして、画像層ではなく観察面の上に開放空間画像を正しくレンダリングする独特の仕事は、シミュレーション画像を現実の世界空間へ正確にマッピングする場合に重要である。
【００５８】
ここで、観察デバイスの観察面は、開放空間画像を呈示する正しい物理ロケーションであることが明らかである。したがって、図13で示されるように、観察面131、即ち、観察デバイスのガラス面の最上部は、共通の物理参照面である。しかし、観察面のサブセットのみが参照面となることができる。なぜなら、全体の観察面は全体の画像領域よりも大きいからである。図13は、観察デバイスの観察面の上に表示されている完全な画像の例を示す。即ち、子グマを含む画像は全体の画像領域を示し、この画像領域は観察デバイスの観察面よりも小さい。画像を真っ直ぐに見ると、図13のように平坦な画像を見ることができるが、適切な角度で見ると、図14で示されるように3D水平遠近法画像が現れ得る。
【００５９】
多くの観察デバイスは、エンドユーザに、xおよびy値を調節させることによって画像領域のサイズを調節させる。もちろん、これらの同じ観察デバイスは、z軸情報の知識またはアクセスを提供しない。なぜなら、それは完全に新しい概念であり、これまで開放空間画像の表示のみしか必要としないからである。しかし、3つのx、y、z座標の全ては、共通物理参照面のロケーションおよびサイズを決定するために必須である。この公式は次のとおりである。即ち、画像層133が0のz座標を与えられる。観察面が画像層からz軸に沿った距離にある。参照面のz座標132が観察面に等しい。即ち、画像層からの距離にある。xおよびy座標、または参照面のサイズが、観察デバイスの上に完全な画像を表示し、xおよびy軸の長さを測定することによって決定可能である。
【００６０】
共通物理参照面の概念は、新しい発明的概念である。したがって、ディスプレイ製造業者は、その座標を供給せず、知ってもいない。したがって、「参照面較正」手順を実行して、参照面座標を確立する必要がある。この較正手順は多数の調整画像をエンドユーザに提供し、そのような調整画像とエンドユーザが対話する。これらの画像へのエンドユーザの応答はシミュレーション・エンジンへのフィードバックを提供し、したがってシミュレーション・エンジンは、参照面の正しいサイズおよびロケーションを識別できるようになる。エンドユーザが満足して手順を完了した場合、座標はエンドユーザの個人プロフィール内に保存される。
【００６１】
幾つかの観察デバイスでは、観察面と画像層との間の距離はかなり短い。しかし、その距離が小さいか大きいかによらず、参照面の全てのx、y、およびz座標が、技術的に可能な限り精密に決定されることが重要である。
【００６２】
「物理」参照面x、y、z座標に対して「コンピュータ生成」水平遠近法投影表示面（水平面）をマップした後、2つの要素は共存し、時間および空間において一致する。即ち、コンピュータ生成水平面は、ここで物理参照面の現実世界x、y、z座標を共有し、それらは同じ時間に存在する。
【００６３】
コンピュータ生成要素と、同じ空間および時間を占める物理的要素との、この独特のマッピングを想像することは、水平方位のコンピュータ・モニタの前に座ってハンズオン・シミュレータを使用していることを想像することによって可能である。モニタの表面に指を置くことによって、参照面（物理観察面の一部分）および水平面（コンピュータによって生成された）へ全く同時に接触することになる。言い換えれば、モニタの物理的表面に触れる場合、そのコンピュータ生成同等物、即ち、水平面にも接触することになる。水平面はシミュレーション・エンジンによって同じロケーションおよび時間へ作成およびマップされている。
【００６４】
本発明の水平遠近法投影ハンズオン・シミュレータの1つの要素は、コンピュータによって生成される「角度付きカメラ」ポイントである。カメラ・ポイントは、最初、水平面から任意の距離に置かれ、カメラの高低線は中心を見ながら45°の角度に向けられる。エンドユーザの眼に対する角度付きカメラの位置は、観察デバイス面の上の開放空間に現れるシミュレーションの生成に重要である。
【００６５】
数学的には、角度付きカメラ・ポイントのコンピュータ生成x、y、z座標は、無限「ピラミッド」の頂点を形成する。ピラミッドの側面は参照/水平面のx、y、z座標を通過する。図15は、この無限ピラミッドを示す。この無限ピラミッドは角度付きカメラ・ポイント151で始まり、遠クリップ面（Far Clip plane）（図示されず）を通って延びる。ピラミッド内には、参照/水平面156と平行な新しい平面が存在し、この平面はピラミッドの側面と一緒に2つの新しいビュー・ボリュームを画定する。これらの独特のビュー・ボリュームは、ハンズオン・ボリューム153および内部アクセスボリューム154と呼ばれる。これらのボリュームおよびそれらを画定する平面の大きさは、ピラミッド内のそれらのロケーションに基づく。
【００６６】
図15は、更に、快適面と呼ばれる平面155、および他の表示要素を示す。快適面は、ハンズオン・ボリューム153を画定する6つの平面の1つであり、これらの平面の中で、それは角度付きカメラ・ポイント151へ最も近く、参照面156と平行である。快適面155は適切な名前である。なぜなら、ピラミッド内のそのロケーションは、エンドユーザの個人的快適さを決定するからである。即ち、シミュレーションを観察して対話する間、エンドユーザの眼、頭、身体などがどのように位置するかを決定するからである。エンドユーザは、「快適面調節」手順を介して、個人の可視的快適さに基づいて快適面のロケーションを調節することができる。この手順は、ハンズオン・ボリューム内でエンドユーザに調整シミュレーションを提供し、参照面に対してピラミッド内の快適面のロケーションを調節させる。エンドユーザが満足し、手順を完了した場合、快適面のロケーションはエンドユーザの個人プロフィールの中に保存される。
【００６７】
本発明のシミュレータは、「ハンズオン・ボリューム」153を独特に定める。ハンズオン・ボリュームは、手を伸ばしてシミュレーションと物理的に「接触」できる場所である。これを想像することは、水平方位のコンピュータ・モニタの前に移り、ハンズオン・シミュレータを使用することによって可能である。モニタの表面から数インチ上に手を置けば、物理的およびコンピュータ生成ハンズオン・ボリュームの双方の内部で同時に手を置くことになる。ハンズオン・ボリュームはピラミッド内に存在し、快適面と参照/水平面との間にあり、それらの平面を含む。
【００６８】
ハンズオン・ボリュームが参照/水平面の上に存在する場合、本発明のシミュレータは、更に、任意で物理観察デバイスの下または内部に存在する内部アクセスボリューム154を画定する。このため、エンドユーザは、手またはハンドヘルド・ツールを介して、内部アクセスボリュームの中に位置する3Dオブジェクトと直接対話することはできない。しかし、エンドユーザは、コンピュータのマウス、ジョイスティック、または他の類似のコンピュータ周辺装置を使用して、従来の意味で対話することができる。「内部面」が更に画定される。これはピラミッド内で参照/水平面156の直ぐ下に置かれ、それと平行である。実用的な理由によって、これらの2つの平面は同じであると言える。内部面は、底面152と共に、内部アクセスボリュームを画定するピラミッド内の6つの平面の中の2つである。底面152は、角度付きカメラ・ポイントから最も離れているが、遠クリップ面と混同されてはならない。底面は、更に、参照/水平面と平行であり、内部アクセスボリュームを画定する6つの平面の中の1つである。内部アクセスボリュームを想像することは、水平方位コンピュータ・モニタの前に座り、ハンズオン・シミュレータを使用していることを想像することによって可能である。物理面を通して手を突き出し、モニタの内部に手を置くならば（もちろん、これは不可能である）、内部アクセスボリュームの内部に手を置くことになる。
【００６９】
観察ピラミッドの底部への、エンドユーザの好ましい観察距離は、これらの平面のロケーションを決定する。エンドユーザが底面のロケーションを調節できる1つの方法は、「底面調節」手順を使用することである。この手順は、内部アクセスボリューム内で調整シミュレーションをエンドユーザに提供し、物理参照/水平面に対する底面のロケーションについてエンドユーザに対話および調節させる。エンドユーザが手順を完了した場合、底面の座標はエンドユーザの個人プロフィールの中に保存される。
【００７０】
エンドユーザが物理観察デバイスの上で開放空間画像を観察するためには、物理観察デバイスが適切に配置されなければならない。これは、通常、物理参照面が床と水平に置かれることを意味する。観察デバイスの位置が床に対してどのようなものであれ、最適観察を得るためには参照/水平面がエンドユーザの視線に対して約45°でなければならない。エンドユーザがこのステップを達成する1つの方法は、CRTコンピュータ・モニタを床の上でスタンドの中に置き、参照/水平面が床に対して水平になるようにすることである。この例は、CRT型のコンピュータ・モニタを使用するが、任意の型の観察デバイスであってよく、エンドユーザの視線に対して約45°の角度で置かれる。
【００７１】
「エンドユーザの眼」およびコンピュータ生成角度付きカメラ・ポイントの現実世界座標は1:1の対応を有しなければならない。これは、エンドユーザが参照/水平面の上に現れる開放空間画像を適切に観察するためである。これを行う1つの方法は、エンドユーザが、物理参照/水平面の中心に対する眼の現実世界x、y、zロケーションおよび高低線情報をシミュレーション・エンジンへ供給することである。例えば、エンドユーザは、参照/水平面の中心を見ながら、物理的眼が12インチだけ上方におよび12インチだけ後方に位置することをシミュレーション・エンジンへ告げる。そうすれば、シミュレーション・エンジンは、コンピュータ生成角度付きカメラ・ポイントを、エンドユーザの眼点の物理座標および視線へマップする。
【００７２】
本発明の水平遠近法ハンズオン・シミュレータは、水平遠近法投影を使用して、3Dオブジェクトをハンズオン・ボリュームおよび内部アクセスボリュームへ数学的に投影する。物理参照面の存在およびその座標の知識は、投影の前に水平面の座標を正しく調節するために必須である。水平面へのこの調節は、開放空間の画像が画像層ではなく観察面の上でエンドユーザへ現れることを可能にする。それは、観察デバイスのz軸に沿って異なる値で置かれている画像層と観察面との間のずれを考慮に入れることによって行われる。
【００７３】
ハンズオン・ボリュームおよび内部アクセスボリュームのいずれかの投影線は、オブジェクト・ポイントおよびずれた水平面の双方と交差するので、オブジェクトの3次元x、y、zの点は、水平面の2次元x、yの点になる。投影線は、多くの場合、複数の3Dオブジェクト座標と交差するが、所与の投影線に沿ったオブジェクトx、y、z座標の1つだけが水平面のx、y点になることができる。どのオブジェクト座標が水平面の点になるかを決定する公式は、各々のボリュームについて異なる。ハンズオン・ボリュームについては、オブジェクト座標157は、水平面から最も遠い所与の投影線をたどることによって、画像座標158を生じる。内部アクセスボリュームについては、オブジェクト座標159は、水平面に最も近い所与の投影線をたどることによって画像座標150を生じる。連結の場合、即ち、各々のボリュームからの3Dオブジェクト・ポイントが水平面の同じ2Dポイントを占める場合、ハンズオン・ボリュームの3Dオブジェクト・ポイントが使用される。
【００７４】
したがって、図15は、前述したような新しいコンピュータ生成および現実物理要素を含む本発明のシミュレーション・エンジンを例示する。それは、更に、現実世界の要素およびそのコンピュータ生成同等物が1:1でマップされ、一緒に共通参照面を共有することを示す。このシミュレーション・エンジンの完全な実装は、リアルタイム・コンピュータ生成3Dグラフィックスを有するハンズオン・シミュレータを生じる。リアルタイム・コンピュータ生成3Dグラフィックスは、エンドユーザの視線に対して約45°に置かれた観察デバイスの表面の上の開放空間に現れる。
【００７５】
ハンズオン・シミュレータは、更に、完全に新しい要素およびプロセス、および既存の立体3Dコンピュータ・ハードウェアの追加を含む。結果は、複数の観察画または「マルチビュー（Multi-View）」能力を有するハンズオン・シミュレータである。マルチビューは、同じシミュレーションの複数および/または別個の左眼および右眼の観察画をエンドユーザへ提供する。
【００７６】
動きまたは時間関連シミュレーションを提供するため、シミュレータは、更に、「SI時間」と呼ばれる新しいコンピュータ生成「時間次元」要素を含む。SIは「シミュレーション画像（Simulation Image）」の略語であり、観察デバイスの上に表示される1つの完全な画像である。SI時間は、シミュレーション・エンジンが1つのシミュレーション画像を完全に生成および表示するために使用する時間量である。これは、画像を1秒に24回表示する映写機と類似する。したがって、1つの画像が映写機によって表示されるためには、1秒の1/24が必要である。しかし、SI時間は可変である。これは、ビュー・ボリュームの複雑性に依存して、シミュレーション・エンジンが1つだけのSIを完了するのに、1秒の1/120または1/2が必要であることを意味する。
【００７７】
シミュレータは、更に、「EV時間」と呼ばれる新しいコンピュータ生成「時間次元」要素を含む。この要素は1つの「眼観察画（Eye-View）」を生成するために使用される時間量である。例えば、シミュレーション・エンジンが、エンドユーザに立体3D体験を提供するため、1つの左眼観察画および1つの右眼観察画を作成する必要があると仮定する。シミュレーション・エンジンが左眼観察画を生成するため1/2秒を必要とすれば、最初のEV時間周期は1/2秒である。右眼観察画を生成するため他の1/2秒を必要とすれば、第2のEV時間周期も1/2秒である。シミュレーション・エンジンは同じシミュレーション画像の別々の左眼および右眼の観察画を生成していたので、全体のSI時間は1秒である。即ち、最初のEV時間は1/2秒であり、第2のEV時間も1/2秒であって、全部で1秒のSI時間となる。
【００７８】
図16は、これらの2つの新しい時間次元要素の説明に役立つ。それは、シミュレーション・エンジンが、シミュレートされた画像の2つの眼の観察画を生成している場合、シミュレーション・エンジンの内部で起こっていることの概念的線描である。コンピュータ生成人物は、立体3D観察の要件であるように双方の眼を開いており、したがって2つの別個の有利な点、即ち、右眼の観察画および左眼の観察画の双方から子グマを見る。これらの2つの別々の観察画は少し異なっており、ずれている。なぜなら、平均の人間の眼は約2インチ離れているからである。したがって、各々の眼は空間の中の別個の点から世界を見ており、脳はそれらを一緒にして全体の画像を作る。これが、現実の世界を立体3Dで見ている方法および理由である。
【００７９】
図16は、非常に高レベルのシミュレーション・エンジンの青写真である。この青写真は、コンピュータ生成人物の2眼観察画が、1つの完全なSI時間周期を表しながら、どのようにして水平面へ投影され、次に立体3D能力観察デバイスの上に表示されるかに焦点を当てている。上記のステップ3からの例を使用すれば、SI時間に1秒が必要である。この1秒のSI時間の間に、シミュレーション・エンジンは2つの異なる眼観察画を生成しなければならない。なぜなら、この例では、立体3D観察デバイスは別々の左眼観察画および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多い観察画を必要とする既存の立体3D観察デバイスが存在する。しかし、本明細書で説明される方法は複数の観察画を生成することができるので、このようなデバイスにも有効である。
【００８０】
図16の左上方のイラストは、時間要素「EV時間1」における右眼162の角度付きカメラ・ポイントを示す。「EV時間1」は第1の眼観察画の時間周期または第1の眼観察画が生成されることを意味する。したがって、図16では、EV時間1は、コンピュータ生成人物の第1の眼（右眼）観察画を完了するためシミュレーション・エンジンによって使用される時間周期である。第1の眼（右眼）観察画を完了することが、このステップの仕事であり、それはEV時間1内にある。座標x、y、zの角度付きカメラを使用して、シミュレーション・エンジンは、所与のシミュレーション画像の右眼観察画のレンダリングおよび表示を完了する。
【００８１】
一度第1の眼（右眼）の観察画が完了すると、シミュレーション・エンジンは、コンピュータ生成人物の第2の眼（左眼）の観察画をレンダリングするプロセスを開始する。図16の左下方のイラストは、時間要素「EV時間2」における左眼164の角度付きカメラ・ポイントを示す。即ち、この第2の眼観察画はEV時間2の間に完了される。しかし、レンダリング・プロセスを始める前に、ステップ5は角度付きカメラ・ポイントへの調節を行う。これは、図16中で、左眼のx座標が2インチだけ増分されることによって示される。右眼のx値と左眼のx＋2”との間の差異は、両眼間の2インチの分離を提供する。これは立体3D観察に必要である。
【００８２】
人間の両眼間の距離は様々であるが、前記の例では平均の2インチを使用している。更に、エンドユーザが個人の眼分離値をシミュレーション・エンジンへ供給することも可能である。これは、所与のエンドユーザのために左眼および右眼のx値を高度に正確にし、それによって立体3D観察画の品質を改善すると考えられる。
【００８３】
一度シミュレーション・エンジンが、2インチまたはエンドユーザによって供給された個人的眼分離値だけ、角度付きカメラ・ポイントのx座標を増分すると、シミュレーション・エンジンは第2（左眼）観察画のレンダリングおよび表示を完了する。これは、EV時間2で、角度付きカメラ・ポイント座標x±2”、y、zを使用するシミュレーション・エンジンによって行われ、正確に同じシミュレーション画像がレンダリングされる。これは1つのSI時間周期を完了する。
【００８４】
使用される立体3D観察デバイスに依存して、シミュレーション・エンジンは、次のSI時間周期へ移動する必要があるまで、前述したような左眼および右眼画像を表示し続ける。次のSI時間周期へ移動するステップの仕事は、新しいSI時間周期へ移動する時間であるかどうかを決定し、そうであれば、SI時間を増分することである。これが起こる時の例は、子グマが脚または体のどこかを動かす場合である。この場合、新しい位置の子グマを示すために、新しい第2のシミュレートされた画像が必要であると考えられる。子グマのこの新しいシミュレートされた画像は、少し異なるロケーションで、新しいSI時間周期またはSI時間2でレンダリングされる。この新しいSI時間2の周期はそれ自身のEV時間1およびEV時間2を有し、したがって前述したシミュレーション・ステップがSI時間2で反復される。SI時間およびそのEV時間を停止することなく増分することによって複数の観察画を生成するこのプロセスは、シミュレーション・エンジンがリアルタイム・シミュレーションを立体3Dで生成する間継続する。
【００８５】
上記のステップは、マルチビュー能力を有するハンズオン・シミュレータを作り上げる新規で独特の要素およびプロセスを説明する。マルチビューは、同じシミュレーションの複数および/または左眼および右眼観察画をエンドユーザに提供する。マルチビュー能力は、単一眼観察画を可視的および対話的に著しく改善したものである。
【００８６】
本発明は、更に、観察者が3次元表示を動かし、それでも大きな歪曲を受けないことを可能にする。なぜなら、表示は観察者の眼点を追跡することができ、それに従って画像を再表示するからである。このことは、従来の先行技術の3次元画像表示と対比される。従来の3次元表示は、単一の観察点から見えるように投影および計算され、したがって観察者が空間内の意図された観察点から離れるように移動すると、大きな歪曲が生じる。
【００８７】
表示システムは、更に、眼点のロケーションが移動した場合、投影された画像を再計算することができるコンピュータを含むことができる。水平遠近法画像は非常に複雑であり、作成に手間がかかり、または芸術家またはカメラにとって自然とは言えない方法で作成され、仕事にコンピュータ・システムの使用を必要とする。複雑な表面を有するオブジェクトの3次元画像を表示すること、またはアニメーション・シーケンスを作成することは、多大な計算パワーおよび時間を必要とし、したがってコンピュータに非常に適した仕事である。3次元能力エレクトロニクスおよびコンピューティング・ハードウェア・デバイスおよびリアルタイム・コンピュータ生成3次元コンピュータ・グラフィックスは最近著しく進歩し、それと共に、ビジュアル、オーディオ、および触知システムの著しい革新が行われ、現実感およびコンピュータと人間とのより自然なインタフェースを生成する優れたハードウェアおよびソフトウェア製品が生産されるようになった。
【００８８】
本発明の水平遠近法ディスプレイシステムは、娯楽メディア、例えば、テレビ、映画、およびビデオ・ゲームの要求に応じるだけでなく、様々な分野、例えば、教育（3次元構造体の表示）、技術的訓練（3次元機器の表示）からも必要とされる。3次元画像表示への要求は増加している。3次元画像表示は様々な角度から観察可能であり、現実の物体に類似した画像を使用して物体を観察することを可能にする。水平遠近法ディスプレイシステムは、更に、観察者にとってコンピュータ生成現実の代替物となることができる。システムは、オーディオ、ビジュアル、動き、およびユーザからの入力を含んでよく、3次元幻影の完全な体験を作り出す。
【００８９】
水平遠近法システムへの入力は、2次元画像、単一の3次元画像を形成するように組み合わせられる幾つかの画像、または3次元モデルであってよい。3次元画像またはモデルは、2次元画像よりも多くの情報を伝達し、観察者は、観察角を変更することによって、異なる視野から同じオブジェクトを連続的に見た場合の印象を取得する。
【００９０】
水平遠近法ディスプレイは、更に、複数の観察画または「マルチビュー」能力を提供することができる。マルチビューは、同じシミュレーションの複数および/または別々の左眼および右眼観察画を観察者に提供する。マルチビュー能力は、単一眼観察画をビジュアル的および対話的に著しく改善したものである。マルチビュー・モードにおいて、左眼および右眼画像の双方は、観察者の脳によって単一の3次元幻影へ融合される。立体画像に内在する眼の適応と収束との食い違いは、大きな食い違いがあると観察者の眼の疲労を導くが、その問題は、特に動く画像について水平遠近法ディスプレイで低減することができる。なぜなら、表示シーンが変化する場合、観察者の注視点の位置が変化するからである。
【００９１】
マルチビュー・モードにおいて、2つの眼の動作をシミュレートして奥行きの知覚を作り出すことが目的となる。即ち、左眼および右眼は、少し異なる画像を見る。したがって、本発明で使用可能なマルチビュー・デバイスは、アナグリフ法のような眼鏡、特殊偏光眼鏡、またはシャッター眼鏡を有する方法、眼鏡を使用しない方法、例えば、視差実体画、レンチキュラー法、およびミラー法（凹レンズおよび凸レンズ）を含む。
【００９２】
アナグリフ法では、右眼の表示画像および左眼の表示画像は、それぞれ2つの色、例えば、赤および青で重畳して表示され、右眼および左眼の観察画像は、色フィルタを使用して分離される。このようにして、観察者は立体画像を認識できるようになる。画像は水平遠近法の手法を使用して表示され、観察者は或る角度で見下ろすことになる。1眼水平遠近法と同じように、投影された画像の眼点は観察者の眼点と一致しなければならず、したがって観察者の入力デバイスは、観察者が3次元水平遠近法幻影を観察するために必須である。アナグリフ法の早期の時代から、多様な赤/青眼鏡およびディスプレイのような多くの改善が行われ、ますます多くの現実感および快適さを観察者へ生成するようになった。
【００９３】
偏光眼鏡法では、左眼画像および右眼画像は、相互消去偏光フィルタ、例えば、直交線形偏光子、円形偏光子、楕円形偏光子の使用によって分離される。画像は、通常、偏光フィルタを使用してスクリーン上に投影され、観察者は、対応する偏光眼鏡を提供される。左眼および右眼の画像は、同時にスクリーン上に現れるが、左眼の偏光された光のみが眼鏡の左眼レンズを透過し、右眼の偏光された光のみが右眼レンズを透過する。
【００９４】
立体表示の他の方法は、画像シーケンシャル・システムである。そのようなシステムでは、画像は左眼画像と右眼画像を順次に表示されて相互に重畳することはない。観察者のレンズはスクリーンの表示と同期され、左眼は左の画像が表示される場合にのみ見ることができ、右眼は右の画像が表示される場合にのみ見ることができる。眼鏡の閉鎖は機械閉鎖または液晶電子閉鎖によって達成可能である。眼鏡閉鎖法では、右眼および左眼の表示画像がタイムシェアリング方式でCRT上に交互に表示され、右眼および左眼の観察画像はタイムシェアリング・シャッター眼鏡を使用して分離される。タイムシェアリング・シャッター眼鏡は表示画像と同期してタイムシェアリング方式で開放/閉鎖され、したがって観察者は立体画像を認識することができる。
【００９５】
立体画像を表示する他の方法は光学法による。この方法において、右眼および左眼の表示画像は、光学手段、例えば、プリズム、鏡、レンズなどを使用して観察者へ別々に表示され、また観察者の前面で観察画像として重畳表示され、したがって観察者は立体画像を認識することができる。大きな凸レンズおよび凹レンズも使用可能である。その場合、左眼および右眼の画像を投影する2つの画像プロジェクタが、それぞれ観察者の左眼および右眼へ焦点を合わせる。光学法の変形はレンチキュラー法である。この場合、画像は円筒形レンズ要素またはレンズ要素の2次元アレーの上に形成される。
【００９６】
図16は、コンピュータ生成人物の2眼観察画が、どのようにして水平面に投影され、次に立体3D能力観察デバイスの上に表示されるかに焦点を当てた水平遠近法ディスプレイである。図16は1つの完全な表示時間周期を表す。この表示時間周期の間、水平遠近法ディスプレイは2つの異なる眼観察画を生成する必要がある。なぜなら、この例において、立体3D観察デバイスは別々の左眼および右眼観察画を必要とするからである。別々の左眼および右眼観察画よりも多くの観察画を必要とする既存の立体3D観察デバイスが存在する。本明細書で説明される方法は、複数の観察画を生成することができるので、これらのデバイスについても有効である。
【００９７】
図16の左上方のイラストは、最初の（右）眼観察画が生成された後の右眼の角度付きカメラ・ポイントを示す。一度最初の（右）眼観察画が完了すると、水平遠近法ディスプレイはコンピュータ生成人物の第2の眼（左眼）観察画のレンダリング・プロセスを開始する。図16の左下方のイラストは、この時間が完了した後の、左眼の角度付きカメラ・ポイントを示す。しかし、レンダリング・プロセスを始める前に、水平遠近法ディスプレイは角度付きカメラ・ポイントへの調節を行って、左眼および右眼の位置の差を考慮に入れる。一度水平遠近法ディスプレイが角度付きカメラ・ポイントのx座標を増分すると、第2の（左眼）観察画を表示することによってレンダリングが継続する。
【００９８】
使用される立体3D観察デバイスに依存して、水平遠近法ディスプレイは、次の表示時間周期へ移る必要があるまで、これまで説明したように左眼および右眼画像を表示し続ける。次の表示時間周期へ移る必要が起こる時の例は、子グマが脚または体の一部分を動かす場合である。その場合、新しい位置の子グマを示すため新しい第2のシミュレーション画像が必要であると考えられる。子グマのこの新しいシミュレーション画像は、少し異なるロケーションで、新しい表示時間周期の間にレンダリングされる。表示時間を停止することなく増分することによって複数の画像を生成するこのプロセスは、水平遠近法ディスプレイがリアルタイム・シミュレーションを立体3Dで生成する間継続する。
【００９９】
水平遠近法画像を迅速に表示することによって、動きの3次元幻影を実現することができる。典型的には、眼が動きを知覚するためには1秒当たり30〜60の画像で十分である。立体視の場合、重畳される画像では同じ表示速度が必要であり、時間シーケンシャル法では2倍の速度が必要であると考えられる。
【０１００】
表示速度は、ディスプレイが1つの画像を完全に生成して表示するために使用する1秒当たりの画像数である。これは、画像を1秒に24回表示する映写機と同じである。したがって、プロジェクタによって表示される1つの画像について、1秒の1/24が必要である。しかし、表示時間は可変であってよい。これはビュー・ボリュームの複雑性に依存して、コンピュータが1つだけの表示画像を完了するのに1秒の1/12または1/2が必要であることを意味する。ディスプレイは同じ画像の別々の左眼および右眼観察画を生成しているので、全体の表示時間は1眼画像の表示時間の2倍である。
【０１０１】
本発明のハンズオン・シミュレータは、更に、コンピュータ「周辺装置」で使用される技術を含む。図17は、6度の自由を有するそのような周辺装置の例を示す。6度の自由は、周辺装置の座標系が（x、y、z）空間の任意の所与の点で周辺装置の対話を可能にすることを意味する。シミュレータは、エンドユーザが必要とする各々の周辺装置、例えば、空間手袋171、キャラクタ・アニメーション・デバイス172、または空間追跡器173について、「周辺装置開放アクセスボリューム」を作り出す。
【０１０２】
図18は、周辺装置の座標系が、どのようにしてハンズオン・シミュレーション・ツール内で実現されるかに焦点を当てたハンズオン・シミュレーション・ツールの高レベルの図である。図18では空間手袋181を例として、新しい周辺装置開放アクセスボリュームが開放アクセスボリューム182と1対1でマップされる。正確な1対1のマッピングを達成する鍵は、周辺装置のボリュームを共通参照面で較正することである。共通参照面は表示デバイスの観察面に置かれた物理観察面である。
【０１０３】
幾つかの周辺装置は、エンドユーザの介入なしに、この較正をハンズオン・シミュレーション・ツールに実行させる機構を提供する。しかし、周辺装置の較正に外部の介入を必要とすれば、エンドユーザが「開放アクセス周辺装置較正」手順によってこれを達成すると考えられる。この手順は、ハンズオン・ボリューム内の一連のシミュレーションおよびユーザフレンドリー・インタフェースをエンドユーザに提供する。ユーザフレンドリー・インタフェースによって、ユーザは、周辺装置のボリュームが観察面と完全に同期するまで、周辺装置ボリュームのロケーションを調節することができる。較正手順が完了した場合、ハンズオン・シミュレーション・ツールはエンドユーザの個人プロフィールの中に情報を保存する。
【０１０４】
一度周辺装置ボリュームが観察面へ正確に較正されると、プロセスの次のステップが取られ得る。ハンズオン・シミュレーション・ツールは、周辺装置ボリュームを継続的に追跡して開放アクセスボリュームへマップする。ハンズオン・シミュレーション・ツールは、周辺装置ボリュームの中のデータに基づいて、生成する各々のハンズオン画像を修正する。このプロセスの最終結果は、任意の所与の周辺装置を使用して、ハンズオン・シミュレーション・ツールによってリアルタイムで生成されるハンズオン・ボリュームの中のシミュレーションと対話するエンドユーザの能力である。
【０１０５】
シミュレータとリンクする周辺装置を使用して、ユーザは、表示モデルと対話することができる。シミュレーション・エンジンは、周辺装置を介してユーザから入力を取得し、所望の動作を操作することができる。物理空間および表示空間と適切にマッチした周辺装置を使用して、シミュレータは、適切なインタラクションおよび表示を提供することができる。このようにして、本発明のハンズオン・シミュレータは、全面的に新規で独特なコンピューティング体験を生成することができる。本発明のハンズオン・シミュレータは、エンドユーザに、リアルタイム・コンピュータ生成3Dグラフィックスと物理的および直接的に対話させる（ハンズオン）からである（シミュレーション）。リアルタイム・コンピュータ生成3Dグラフィックスは、表示デバイスの観察面の上の開放空間、即ち、エンドユーザ自身の物理空間に現れる。周辺装置の追跡は、カメラ三角測量または赤外線追跡デバイスによって行うことができる。
【０１０６】
図19は、開放アクセスボリュームおよびハンドヘルド・ツールに関して、本発明の更なる説明を助ける。図19は、エンドユーザがハンドヘルド・ツールを使用してハンズオン画像と対話している場合のシミュレーションである。例示されているシナリオでは、エンドユーザが大量の金融データを多数の相互関連開放アクセス3Dシミュレーションとして視覚化している。エンドユーザは、ハンドヘルド・ツールを使用することによって、開放アクセス・シミュレーションを探査および操作することができる。ハンドヘルド・ツールは、図19ではポインティング・デバイスのようなものである。
【０１０７】
「コンピュータ生成付属品」が、開放アクセス・コンピュータ生成シミュレーションの形式で、ハンドヘルド・ツールの先端へマップされる。コンピュータ生成付属品は、図19ではコンピュータ生成「消しゴム」としてエンドユーザへ現れる。エンドユーザは、もちろん、ハンズオン・シミュレーション・ツールが任意の数のコンピュータ生成付属品を所与のハンドヘルド・ツールへマップすることを要求することができる。例えば、カット、ペースト、結合、塗りつぶし、塗り付け、ポインティング、取り込みなどを行う独特のビジュアルおよびオーディオ特性を有する様々なコンピュータ生成付属品が存在し得る。これらのコンピュータ生成付属品の各々は、エンドユーザのハンドヘルド・ツールの先端へマップされた場合、シミュレートしている現実のデバイスのように動作して音を出す。
【０１０８】
シミュレータは、更に、「シミュレーション認識および3Dオーディオ」のために3Dオーディオ・デバイスを含むことができる。これは、下記で説明するように、カメラ・モデル、水平マルチビュー・デバイス、周辺機器、周波数受信/送信デバイス、およびハンドヘルド・デバイスを有するハンズオン・シミュレーション・ツールの形式をした新しい発明を生じる。
【０１０９】
物体認識は、カメラおよび/または他のセンサを使用して、三角測量と呼ばれる方法によってシミュレーションを突き止める技術である。三角測量は、三角法、センサ、および周波数を使用してシミュレーションからデータを「受信」し、空間におけるシミュレーションの正確なロケーションを決定するプロセスである。三角測量が地図製作および調査産業の主力であるのは、この理由のためである。そのような産業において、使用されるセンサおよび周波数は、カメラ、レーザ、レーダ、およびマイクロ波を含むが、それらに限定されるわけではない。3Dオーディオも三角測量を使用するが、反対の方法で使用する。3Dオーディオは、サウンドの形式でデータを特定のロケーションへ「送信」または投影する。しかし、データを送信するか受信するかに関係なく、3次元空間におけるシミュレーションの突き止めは、周波数受信/送信デバイスを使用する三角測量法により行われる。ユーザの左および右の耳へ達する音波の振幅および位相角を変化させることによって、デバイスは音源の位置を効果的にエミュレートすることができる。耳へ達するサウンドは、干渉を避けるため隔離される必要がある。隔離はイヤホンなどの使用によって達成可能である。
【０１１０】
図20は、子グマのハンズオン画像202を見ているエンドユーザ201を示す。子グマは3D水平遠近法ディスプレイ204から投影されている。子グマは観察面の上の開放空間に現れるので、エンドユーザは手またはハンドヘルド・ツールで子グマに触って操作することができる。エンドユーザは、実際の生活で行うように、異なる角度から子グマを観察することも可能である。これは三角測量を使用して達成される。その場合、現実世界の3つのカメラ203が、それらの一意の視野角から画像をハンズオン・シミュレーション・ツールへ継続的に送信する。現実世界のこのカメラ・データは、コンピュータ・モニタの観察面の中および周りに位置するエンドユーザの身体および他の現実世界のシミュレーションを、ハンズオン・シミュレーション・ツールに突き止め、追跡、およびマップさせる。
【０１１１】
図21は、更に、3Dディスプレイ214を使用して子グマ212と観察および対話しているエンドユーザ211を示すが、その図は子グマの口から出る3Dサウンド216を含む。このレベルのオーディオ品質を達成するためには、図21で示されるように、3つのカメラ213の各々を別個のスピーカ215と物理的に組み合わせることが必要である。カメラのデータは、ハンズオン・シミュレーション・ツールが三角測量を使用して、エンドユーザの「左および右の耳」を突き止め、追跡、およびマップすることを可能にする。ハンズオン・シミュレーション・ツールは、子グマをコンピュータ生成ハンズオン画像として生成しているので、子グマの口の正確なロケーションを知っている。エンドユーザの耳および子グマの口の正確なロケーションを知ることによって、ハンズオン・シミュレーション・ツールは三角測量を使用してデータを送信する。それは、オーディオの空間特性を修正し、コンピュータによって生成された子グマの口から3Dサウンドが出ているように見せかけるようにして行われる。
【０１１２】
新しい周波数受信/送信デバイスは、図21で示されるように、ビデオ・カメラをオーディオ・スピーカと組み合わせることによって作り出すことができる。注意すべきは、他のセンサおよび/またはトランスジューサも使用できることである。
【０１１３】
これらの新しいカメラ/スピーカ・デバイスを取って、観察デバイス、例えば、図21で既に示したようなコンピュータ・モニタの近くに取り付けるか配置する。これは、一意および別々の「現実世界」（x、y、z）ロケーション、視線、および周波数受信/送信ボリュームを有する各々のカメラ/スピーカ・デバイスを生じる。これらのパラメータを理解するため、カムコーダを使用してファインダから見ている場合を考える。この場合、カメラは空間内で特定のロケーションを有し、特定の方向へ向けられ、ファインダから見るか受け取る全ての可視周波数情報は、その「周波数受信ボリューム」である。
【０１１４】
三角測量は、各々のカメラ/スピーカ・デバイスを分離および配置し、それらの個々の周波数受信/送信ボリュームが重複して正確に同一の空間領域をカバーするように働く。正確に同一の空間領域をカバーする3つの広間隔周波数受信/送信ボリュームが存在すれば、空間内のシミュレーションは正確に突き止められ得る。次のステップは、「現実周波数受信/送信ボリューム」と呼ばれるこの現実世界空間のために、開放アクセス・カメラ・モデルの中で新しい要素を作り出す。
【０１１５】
この現実周波数受信/送信ボリュームが存在するので、それを共通参照面へ較正しなければならない。共通参照面は、もちろん現実の観察面である。次のステップは、現実の周波数受信/送信ボリュームを現実の観察面へ自動的に較正することである。これは、ハンズオン・シミュレーション・ツールによって継続的に実行される自動手順であり、カメラ/スピーカ・デバイスがエンドユーザによって偶然にも衝突させられるか動かされた場合でも、デバイスの正しい較正を維持する。
【０１１６】
図22は、完全な開放アクセス・カメラ・モデルの簡単な例であり、前述したシナリオを達成するために必要な追加ステップの各々を説明する助けとなる。
【０１１７】
シミュレータは、エンドユーザの「左眼および右眼」および「視線」221を継続的に突き止めて追跡することによって、シミュレーション認識を実行する。現実世界の左眼および右眼の座標は、開放アクセス・カメラ・モデルの、それらが現実空間の中に存在する正確な場所へ継続的にマップされ、次にコンピュータ生成カメラ座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の眼座標とマッチさせる。これは、エンドユーザの左眼および右眼の正確なロケーションに基づいて、ハンズオン・ボリュームの中でシミュレーションをリアルタイムで生成することを可能にする。これによって、エンドユーザは頭を自由に動かし、歪曲なしにハンズオン画像を見ることができる。
【０１１８】
次に、シミュレータは、エンドユーザの「左耳および右耳」およびそれらの「聴線（line-of-hearing）」222を継続的に突き止めて追跡することによってシミュレーション認識を実行する。現実世界の左耳および右耳座標は、開放アクセス・カメラ・モデルの、それらが現実空間の中で存在する正確な場所へ継続的にマップされ、次に3Dオーディオ座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の耳座標とマッチさせる。これは、エンドユーザの左耳および右耳の正確なロケーションに基づいて、開放アクセス・サウンドをリアルタイムで生成することを可能にし、エンドユーザが頭を自由に動かして、正しいロケーションから出る開放アクセス・サウンドを聴くことができるようにする。
【０１１９】
次に、シミュレータは、エンドユーザの「左手および右手」およびそれらの「ディジット」222、即ち、指を継続的に突き止めて追跡することによってシミュレーション認識を実行する。現実世界の左手および右手座標は、開放アクセス・カメラ・モデルの、それらが現実空間の中で存在する正確な場所へ継続的にマップされ、次にハンズオン画像座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界の手の座標とマッチさせる。これは、エンドユーザの左手および右手の正確なロケーションに基づいて、ハンズオン・ボリューム内でシミュレーションをリアルタイムで生成することを可能にし、エンドユーザがハンズオン・ボリュームの中でシミュレーションと自由に対話することを可能にする。
【０１２０】
または、追加的に、シミュレータは、手の代わりに「ハンドヘルド・ツール」を継続的に突き止めて追跡することによって、シミュレーション認識を実行することができる。これらの現実世界のハンドヘルド・ツールの座標は、開放アクセス・カメラ・モデルの中の、それらが現実空間で存在する正確な場所へ継続的にマップされ、次にハンズオン画像座標を継続的に調節して、突き止め、追跡、およびマップされている現実世界のハンドヘルド・ツールの座標とマッチさせる。これは、ハンドヘルド・ツールの正確なロケーションに基づいて、ハンズオン・ボリューム内でシミュレーションをリアルタイムで生成することを可能にし、エンドユーザがハンズオン・ボリューム内でシミュレーションと自由に対話することを可能にする。
【０１２１】
3D水平遠近法ハンズオン・シミュレータが開示された。本発明の好ましい形態が図面で示され、本明細書で説明されたが、本発明は図示および説明された特定の形態へ限定されるものと解釈されてはならない。なぜなら、好ましい形態の変形が当業者へ明らかであるからである。したがって、本発明の範囲は、下記の特許請求の範囲およびそれらの同等物によって定められる。
【図面の簡単な説明】
【０１２２】
【図１】様々な遠近法線描を示す。
【図２】典型的な中心遠近法線描を示す。
【図３】3Dソフトウェア開発の略図を示す。
【図４】コンピュータ世界の眺めを示す。
【図５】コンピュータ内部の仮想世界を示す。
【図６】3D中心遠近法表示のスキームを示す。
【図７】中心遠近法（画像A）と水平遠近法（画像B）との比較を示す。
【図８】3つの積層ブロックの中心遠近法線描を示す。
【図９】3つの積層ブロックの水平遠近法線描を示す。
【図１０】水平遠近法線描を行う方法を示す。
【図１１】水平面に対する3Dオブジェクトの正しくないマッピングを示す。
【図１２】水平面に対する3Dオブジェクトの正しいマッピングを示す。
【図１３】z軸補正を有する典型的な平面観察面を示す。
【図１４】図13の3D水平遠近法画像を示す。
【図１５】本発明のハンズオン・シミュレータの態様を示す。
【図１６】本発明のハンズオン・シミュレータの時間シミュレーションを示す。
【図１７】幾つかの典型的なハンドヘルド周辺機器を示す。
【図１８】ハンズオン・ボリュームに対する周辺機器のマッピングを示す。
【図１９】本発明のハンズオン・シミュレータを使用しているユーザを示す。
【図２０】カメラの三角測量を有するハンズオン・シミュレータを示す。
【図２１】カメラおよびスピーカの三角測量を有するハンズオン・シミュレータを示す。
【図２２】完全な開放アクセス・カメラ・モデルの簡単な例を示す。
【国際調査報告】
2007536608.tif 000024
2007536608.tif 000025