(57)【要約】画像形成システムは、表示されたときに見晴らしの利く地点の位置及び向きを有する３次元のサイトモデルに関連するデータを記憶する３次元データベースを含む。２次元データベースは、３次元のサイトモデルの見晴らしの利く地点の位置及び向きに対応する２次元画像に関連するデータを記憶する。３次元のサイトモデルと２次元画像とは、共通のディスプレイに表示される。プロセッサは、２次元データベース及び３次元データベース並びにディスプレイと共に動作し、２次元データベース及び３次元データベースから読み出したデータから３次元のサイトモデルの画像と２次元の画像を生成して表示し、３次元のサイトモデルの画像と２次元の画像とを相互に関連付けて同期させ、ユーザが当該システムと交信したとき、画像間の空間的な向きを確定して維持する。
2011523110.tif 000002
【特許請求の範囲】
【請求項１】
画像形成システムであって、
表示されたときに見晴らしの利く地点の位置及び向きを有する３次元のサイトモデルに関連するデータを記憶する３次元データベースと、
前記３次元のサイトモデルの見晴らしの利く地点の位置及び向きに対応する２次元画像に関連するデータを記憶する２次元データベースと、
前記３次元のサイトモデルと前記２次元画像とを表示するディスプレイと、
前記２次元データベース及び前記３次元データベース並びに前記ディスプレイと共に動作するプロセッサであって、前記２次元データベース及び前記３次元データベースから読み出したデータから３次元のサイトモデルの画像と２次元の画像を生成して表示し、前記３次元のサイトモデルの画像と前記２次元の画像とを相互に関連付けて同期させ、ユーザが当該画像形成システムと交信したとき、前記画像間の空間的な向きを確定して維持するプロセッサと、
を有する画像形成システム。
【請求項２】
前記３次元のサイトモデルと前記２次元画像とが表示されるグラフィカルユーザインタフェースを更に有する、
請求項１記載の画像形成システム。
【請求項３】
建物内部の画像収集ポイントで取得されたパノラマ画像及び前記建物内部の前記画像収集ポイントを中心とする間取り図の画像のような前記３次元のサイトモデルの画像及び前記２次元の画像を更に有する、
請求項１記載の画像形成システム。
【請求項４】
前記プロセッサは、前記パノラマ画像を回転し、前記２次元の画像を前記３次元のサイトモデル画像と同期させるために、前記パノラマ画像の現在の向きで前記間取り図の画像を更新する、
請求項３記載の画像形成システム。
【請求項５】
前記３次元のサイトモデルの画像の回転に同期され、表示されるダイナミックヘディングインジケータを更に有する、
請求項１記載の画像形成システム。
【請求項６】
画像形成方法であって、
選択された見晴らしの利く地点の位置及び向きを有する３次元のサイトモデルの画像を生成して表示するステップと、
前記３次元のサイトモデルの画像の前記見晴らしの利く地点の位置及び向きが前記２次元の画像におけるある位置に対応するとき、前記２次元画像を生成するステップと、
前記３次元のサイトモデルの画像と前記２次元の画像とを相互に関連付けて同期させ、ユーザが画像形成システムと交信したとき、前記画像間の空間的な向きを確定して維持するステップと、
を含む画像形成方法。
【請求項７】
前記２次元画像と前記３次元のサイトモデルの画像をグラフィカルユーザインタフェースに表示するステップを更に含む、
請求項６記載の方法。
【請求項８】
画像収集ポイントで前記３次元のサイトモデルの画像を捕捉し、前記画像収集ポイントで前記３次元のサイトモデルの同じ空間的な向きで前記２次元画像を表示するステップを更に有する請求項６記載の方法。
【請求項９】
空間的な位置及び収集ポイントの方位角をそれぞれの画像と関連付けするステップを更に有する、
請求項６記載の方法。
【請求項１０】
前記３次元のサイトモデルの画像の回転に同期されるダイナミックヘディングインジケータを表示するステップを更に有する、
請求項６記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成及びコンピュータグラフィックの分野に関し、より詳細には、本発明は、３次元のサイトモデルと２次元の画像とを相互に関連付けて同期させるシステム及び方法に関する。
【背景技術】
【０００２】
幾つかの高度な画像形成システム及び商用のソフトウェアアプリケーションは、たとえば建物内部、フロアプランレイアウト及び類似の２次元画像といった２次元画像を表示し、また、３次元サイトモデルの構造を表示して、統合された環境における空間的なコンテクスト情報を提供する。しかし、係る商用のシステムには幾つかの問題点がある。たとえば、写真測量により生成された３次元モデルの大部分は、内部の詳細を有さない。３次元モデルを見ている間の建物内部に慣れることは、たとえばセキュリティ及び類似の用途といった用途の多くのユーザにとって役立つ。幾つかのソフトウェア画像形成アプリケーションは、サイトの再構成なしに詳細を与える内部画像を表示し、より容易に入手可能になっているが、さらに、これらのタイプのソフトウェア画像形成アプリケーションは、空間的に正確なコンテクストで管理及び見ることが難しい。多数のこれらのアプリケーションは、互いに地理空間的な参照された画像を有さず、画像を見ているときにどのようなユーザが見ているかを識別することが難しい。たとえば、ユーザにとって、所与の画像にどの部屋が含まれているかを判定することは難しく、特に、多数の類似の画像が存在するとき、ユーザにとって様々な画像を相互に関連付けて同期させることは、特にユーザが画像のビューをパン又は回転するときに難しい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
３６０°パノラマ画像を表示する機能を有する幾つかの内部画像形成システムは、内部の詳細を捕捉する。しかし、これらのソフトウェアアプリケーションにおいて、たとえば画像においてどの部屋が表示されるか又はどの廊下が表示されるか、或いはどの部屋がどの部屋の隣であるか、及び何が所与の壁の背後にあるかといった、画像の基準の所与の部分を理解することが難しい。これは、建物内の異なる廊下及び部屋に関する向きについて使用するための相対的な位置又は共通の基準を有さないように建物における部屋及び廊下が類似しているときに更に困難になる。基準により画像の部分をラベル付けすることが可能であり、したがってユーザは、彼等が何を見ているかを良好に理解するが、これは、問題を十分に解決せず、多数の類似の画像が存在するときに更に拡大される。
【０００４】
たとえば、図１の参照符号１０は、同じ眺めであるが、建物における個別の領域である２つのパノラマ画像１２，１４を示す。地理空間のコンテクストを持たない両方の画像は、２つの異なるものの類似の外観のパノラマ画像１２，１４を見るとき、異なる部屋、オープンスペース及び廊下に関してユーザが何処に位置するかを判定することが難しい。
【０００５】
幾つかの画像形成アプリケーションは、更なる情報が何処で利用可能であるかを示すポップアップにより建物のフロアパンの２次元レイアウトを提供するか、又は、ある建物における特定の位置で捕捉される画像を提供するが、建物のレイアウトに関する向きを提供しない。たとえば、システムは、あるサイトのマップを表示してマーカを含む場合があり、このマーカに対して、ユーザは、それぞれの領域の内部画像を示すポップアップを取得するために問合せ又はクリックオンする。しかし、連続的にマーカを問合せ又はクリックオンすることは、そのサイトにユーザが参照される位置に関する情報のコンテクストをユーザに与えない。さらに、多数の部屋又は固有の遠近感を含む画像の内容を理解することは難しい。ときどき、画像は、幾つかの向きを提供するためにマークアップされるが、補助的なマーカ又はしるしは、画像を乱れさせる。マーカによっても、これらの画像は、画像におけるコンポーネントが互いにどのように関連しているかを示さない。
【０００６】
米国特許公開第2004/0103431号で述べられる１つの提案は、補助データを表示する建物の画像及びアイコンのハイパーリンクを表示するブラウザを含む。このブラウザは、画像及びプランが地理空間的に相互に関連しない３次元モデルを使用しない。開示されるように、システムは、複数のハイパーリンクが電子的なファシリティのプランで統合される緊急のプランニング及びマネージメントに向けられる。複数の電子捕捉及び表示メディアは、ファシリティでのそれぞれの位置の視覚的表現を提供する。電子的な捕捉及び表示メディアのうちの１つは、読み出されたメディアに関連するハイパーリンクが選択された後に、ビューアにおいて読み出されて再生される。読み出されたメディアは、専門家の視点から、特定の関心のポイントの焦点を絞ったビューを含む。
【０００７】
画像形成システムは、表示されたとき、見晴らしの利く地点の位置及び向きを有する３次元のサイトモデル画像に関連するデータを記憶する３次元データベースを含む。２次元データベースは、３次元のサイトモデルの画像の見晴らしの利く位置及び向きに対応する２次元の画像に関連するデータを記憶する。３次元のサイトモデル画像と２次元画像の両者は、共通のディスプレイ上で典型的に表示される。プロセッサは、２次元及び３次元のデータベースと動作し、ディスプレイは、２次元及び３次元データベースから読み出されたデータから３次元のサイトモデル画像及び２次元画像を生成及び表示し、３次元サイトモデル画像と２次元画像とを相互に関連付けて同期させ、ユーザが画像と相互作用するときに画像間の空間的な向きを確定して維持する。
【０００８】
画像形成システムは、３次元サイトモデルと２次元画像とが表示されるグラフィカルユーザインタフェースを含む。３次元サイトモデル画像は、建物内部の画像収集ポイントで取得されるパノラマビューと同期される。２次元画像は、建物内部の収集ポイントで中心にされる間取り図の画像を含む。プロセッサは、パノラマ画像を回転し、パノラマ画像の現在の向きで間取り図の画像を更新するために動作する。
【０００９】
ダイナミックヘッディングインジケータは、３次元サイトモデル画像の回転に対して表示及び同期される。プロセッサは、ユーザが画像と相互作用している間に取得された更なる情報に基づいて２次元及び３次元データベースの少なくとも１つを更新する。２次元データベースは、ラスタライズされたベクトルデータから形成され、３次元データベースは、局所空間の矩形又は世界地心座標系のデータを含む。２次元及び３次元データベースは、２次元データベース及び３次元データベースに補助データを記憶し、画像とのユーザの相互作用の間に画像を改善する更なるデータを提供する。  
画像形成方法も述べられる。
【００１０】
本発明の他の目的、特徴及び利点は、添付図面に照らして考慮されたとき、発明の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１１】
【図１】互いに並列に配置される２つの画像であって、互いに地理空間のコンテクストを持たない、同じ建物内で類似の眺めであるが個別の領域で見た２つの画像を示す図であり、リファレンスとして建物内のある位置を判定に関するユーザの視点からの困難さを示す。
【図２】本発明の限定的ではない例に従う、３次元のサイトモデル画像と２次元画像とを相互に関連付けて同期させるために使用される基本的なステップを説明する高水準のフローチャートである。
【図３】本発明の限定的ではない例に従う、真の３次元の観点におけるスクリーンビューの右サイドでの３次元サイトのパノラマ画像、並びに、パノラマ画像及び３次元サイトモデルと相互に関連付けされて同期させる間取り図として左サイドでの２次元画像を示す。
【図４】本発明の限定的ではない例に従う、３次元サイトモデル画像と２次元画像とを相互に関連付けて同期させるための、図２に関して記載されるシステム及び方法と共に使用されるRealSite（登録商標）のような画像データベースルーチンのフローチャートである。
【図５】本発明の限定的ではない例に従う、３次元サイトモデル画像と２次元画像とを相互に関連付けて同期させるための、図３に関して記載されるシステム及び方法と共に使用されるRealSite（登録商標）のような画像データベースルーチンのフローチャートである。
【図６】記載されるRealSite（登録商標）プロセスと共に使用される建物及びテクスチャモデルの個々の画像のレイアウトである。
【図７】図４及び図５に示される画像データベースルーチンと共に使用されるタイプのプロセスを示すフローチャートである。
【発明を実施するための形態】
【００１２】
異なる実施の形態は、好適な実施の形態が示される添付図面を参照して以下に更に詳細に記載される。多くの異なる形態が説明され、記載される実施の形態は、本実施の形態で述べられる実施の形態に限定されるように解釈されるべきではない。むしろ、これらの実施の形態は、この開示が全体的であって完全であり、当業者に本願発明の範囲を完全に伝達するように提供される。同じ参照符号は、全体を通して同じエレメントを示す。
【００１３】
本発明の限定的ではない例に拠れば、システム及び方法は、３次元のサイトモデル及び２次元画像を、たとえば間取り図、パノラマ画像、ビデオ及び類似の画像といったリアル又は導出された位置的なメタデータと相互に関連付けて同期させ、異なるデータセットから形成されるような画像間の空間的な向きを確定及び維持する。たとえば、２次元の間取り図の画像は、パノラマ画像として、３次元のサイトモデル画像の収集ポイント、及び３次元のサイトモデル画像でマークされる収集ポイントを中心として表示される。パノラマ画像が回転されたとき、間取り図は、現在の向きと共に更新される。このプロセスは、補助的な情報を、部屋のID、属性及び相対的な近さのような画像内の要素と関連付ける。
【００１４】
相関は、勿論、たとえばあるパノラマ画像の収集ポイントとしての参照ポイントが間取り図のような２次元画像の空間的な位置に対応又は相関するように、２つの異なる画像間の対応関係を示す。ユーザがパノラマ画像を回転させるとき、２次元画像において向きが変化するように２次元画像が同期され、たとえば、ライン又はインジケータは、回転の方向を又は他の類似のマーカを示す。速度及び画像の変化は、あるユーザがある２次元画像と相互作用し、３次元画像が変化するときに同期されるか、又はユーザが他の画像と相互作用するときに同期される。
【００１５】
内部画像は、収集ポイントでオリジナルに画像が捕捉されたポイントで、３次元サイトモデル画像に位置される。没入型の３次元環境から、これらの識別された収集ポイントで、ユーザは、３次元サイトモデル画像の同じ投影及び空間的な向きで画像を見ることができる。それぞれの画像は、その空間的な位置及び収集の方位角のような、その画像に関連する情報を有する。この情報は、１つ又は他の２次元画像と同期させ、全ての画像を３次元モデルに相互に関連付けるために使用される。たとえば、パノラマ画像が間取り図による収集ポイントとして撮影された位置に相関される間取り図の一部は、パノラマ画像の回転に同期されるダイナミックヘディングインジケータを有する。この方式で相関される情報は、現在見ている位置に隣接する部分、直交する部分又は隠された部分と同様に、２次元画像から３次元サイトモデルのどの部分が利用されているかを認識することは、ユーザの視点からより直感的である。本発明の限定的でない例に係るシステム及び方法は、３次元サイトモデルを与えるデータを正確に補強し、画像に対するより高い空間的な認識を与える。３次元サイトモデル画像、パノラマ画像及び２次元画像を見ることができる。これらの画像は、相互に関連付けされて同期される。
【００１６】
図２は、本発明の限定的ではない例に係る、記載されるシステム及び方法の基本的なコンポーネント及びステップを説明する高水準のフローチャートである。ブロック５０は、３次元の環境又はサイトモデルのデータを記憶するデータベースに対応し、正確な３次元の幾何学的な構造のデータセット、及び限定的でない例としてLSR（Logical  Space  Rectangular）又はWorld  Geocentricのような様々な座標系に及ぶ画像を含む。ユーザは、スクリーンウィンドウを開き、たとえばコンピュータのプロセッサは、データベースからのデータを処理して、３次元のサイトモデル画像を構成する。このプロセスの間、３次元のサイトモデル画像内のユーザの見晴らしの利く地点及び向きは、ブロック５２で維持される。当業者に知られているように、LSR座標システムは、典型的に、指定された原点をもたないデカルト座標系であり、構造のような記述されるデータのボリュームに原点が位置されるか、又は該ボリューム内に原点が位置されるSEDRISモデル用に使用されることがある。（もしあれば）原点と空間的な特徴との間の関係は、調査により典型的に記述及び決定される。一方、Geocentricモデルは、中央のリファレンスにユーザを配置して、ユーザのビューを見晴らしの利く地点にする。
【００１７】
別のブロック５４は、フロアパン、内部画像、パノラマ画像及びビデオ系列を含むラスタライズされたベクトルデータを含めて、異なる形式で利用可能なデータベース又はデータセットとして２次元画像を示す。このデータセットは、２次元画像コンテンツの何れかとの再配列又は相互作用がシステムに他の２次元及び３次元の方位情報を同期させて更新するように促すように、相互に関連付けされて同期される。
【００１８】
関連するデータベース５６は、２次元及び３次元データセットに対する補助データ又は情報を表し、何れかの環境を改善するために使用される補助／支援データを供給する。関連するデータベース５６は、ユーザにより供給される注釈、及びシステム又はユーザにより提供される更なる画像の関連性、並びに対応する類似のアイテムを含めて、異なるユーザインタラクションに基づいて更新される。
【００１９】
典型的にラスタライズされたベクトルデータにより、ラスタ表現は、セル又は画素のアレイに分割し、属性をセルに割り当てる。一方で、ベクトルに基づくシステムは、（Ｘ及びＹのような）２次元のデカルト座標ペアに基づいて特徴を表示及び定義し、座標のアルゴリズムを計算する。ラスタ画像は、よりシンプルなデータ構造及び遠隔的に感知又はスキャンされるデータと互換性があるデータを含めて様々な利点を有する。また、ラスタ画像は、更にシンプルな空間分析手順を使用する。ベクトルデータは、より少ないディスク記憶容量を必要とするという利点を有する。また、トポロジー的な関係は、容易に維持される。ベクトルに基づいた画像によるグラフィカルな出力は、手書きのマップに類似している。
【００２０】
フローチャートに示されるように、ユーザが３次元環境にあり、たとえば図１の画像のうちの１つに示されるように画像をスパンニング又は回転、さもなければ位置を保存しているとき（ブロック５２）、プロセスは、３次元の位置が２次元画像の記録された位置に対応するかに関する判定で開始する（ブロック５８）。対応しない場合、コンピュータスクリーン又は他の画像収集プロセスは、たとえば図１に示されるように３次元位置を維持する（ブロック５２）。
【００２１】
その３次元の位置が２次元画像の位置合わせされた位置に対応する場合、システムは、この位置の全ての２次元画像を取得してパラメータの向きを計算する（ブロック６０）。システムは、任意のパラメータに関連して画像の向きを反映するこのポイントで２次元画像を表示及び更新する（ブロック６２）。このポイントで、ユーザは、２次元画像と相互作用し、２次元画像に沿って移動し、視界を変えて新たな情報を追加する。表示パラメータは、画像の初期化の間又は画像の初期化の後、ユーザ及び／又はシステムにより指定される。ユーザは、２次元画像と相互作用し、新たな情報を、変えるか、見るか、終了するか、又はデータベースに追加して、他の同様のプロセスを実行する（ブロック６４）。
【００２２】
このとき、システムは、ユーザが２次元画像の環境から出るのを望むかを判定し（ブロック６６）、望む場合、２次元画像のビューは、２次元画像に関するユーザの特定の位置に依存して閉じる（ブロック６８）。次いで、たとえばユーザが２次元画像上で位置する場所に対して、３次元環境における向きが調節される（ブロック７０）。例は、図３を参照して後に説明される。
【００２３】
ここで、図３に示されるように２次元及び３次元スクリーン画像をユーザが有するブロック６４を参照して、ビューが変更されるべきかに関する判定が行われ（ブロック７２）、変更されるべき場合、システム及び方法は、この位置での全ての２次元画像を取り出して該２次元画像の向きパラメータを計算し（ブロック６０）、プロセスが継続する。変更されない場合、既に述べたように継続する（ブロック６４）。また、新たな情報が追加されるべきかに関する判定が行われ、影響を受けた３次元データセット及び／又は２次元データセット及び関連するデータベースは、２次元画像データベース又はデータセットへの矢印（ブロック５４）、関連するデータベースへの矢印（ブロック５６）、及び３次元環境のデータベース又はデータセットへの矢印（ブロック５２）で示されるように、更新される（ブロック７６）。
【００２４】
図３を参照して、たとえば記載されるシステム及び方法を実行するパーソナルコンピュータといった、ユーザコンピュータシステムでのモニタに表示されるように、グラフィカルユーザインタフェース１００のスクリーン画像又はショットの例が示される。スクリーンビューは、グラフィカルユーザインタフェース１００の右手の画像１０２に示されるパノラマ画像として、真の３次元透視からの建物の内部構造を示す。３次元の内部画像は建物内の所定の位置で利用可能であるため、このスクリーン画像は、ユーザが矢印１０６により位置される平面図を示す、左に２次元の間取り図の画像１０４で示されるように適切な位置で自動的に与えられる。この場合、ユーザは、画像の上の部分で、１８０°のダイナミックヘディングインジケータ１０８により示されるように南を向いている。左の間取り図の画像は、この方向を示し、ダイナミックヘディングインジケータ１０８により示されるように、その同期された方位矢印１０６が南又は１８０°を示している。右のパノラマ画像１０２は、部屋の入り口１１２をもつ廊下１１０を示し、間取り図１０４は、この部屋をホール（AUDITORIUM）の部屋３６２として明確に識別する。さらに、間取り図の画像に示される右の壁１２０の背後に隠される部屋は、インダストリアルラボ（INDUSTRIAL  LAB）である。間取り図のダイナミックヘディングインジケータ１０８は、ユーザが画像をパン又は回転したときに更新される。ユーザは、内部の２次元間取り図の画像を閉じ、次いで３次元のサイトモデル画像において適切に方向を合わせ直す。
【００２５】
例示されるように、グラフィカルユーザインタフェースは、パーソナルコンピュータ１３２の一部であるビデオスクリーン又は他のモニタ１３０で表示され、パーソナルコンピュータは、２次元データベース１３６及び３次元データベース１３８と動作するプロセッサ１３４を含む。また、プロセッサは、モニタ１３０で示されるブロックコンポーネントで例示されるように、関連するデータベース１４０と動作する。
【００２６】
システムは、衛星／航空画像に基づいてモデリングからシェルを生成し、建物内部の詳細を含む。システム及び方法は、２次元画像を３次元サイトモデルと地理空間的に相互に関連付けし、３次元の向きに関連するとき、内部画像に含まれるシーンの部分をユーザが迅速に識別するのを可能にするデータプロダクトを提供する。典型的に、Ｃ＋＋コードは、パノラマ画像、又は３次元の位置を維持するためにビルトインメカニズムをもつディスプレイのような、異なるエンティティを表す異なるライブラリ及びクラスと使用される。システムが２次元のビューに入り、２次元画像と３次元サイトモデル画像とを整合させて方向を合わせ直したときに、画像を同期させて相互に関連付けするコードが開発される。Open  GLに類似したグラフィックライブラリを使用することができる。他の３次元グラフィックスパッケージを使用することができる。
【００２７】
システムは、その完全な形で引用により本明細書に盛り込まれる同一出願人により米国特許第7098915号に開示されるように、又はHarris社からのRealSite（登録商標）モデリングアプリケーションのように、特定のポイントについてラインオブサイトを判定するシステム及び方法の使用を含めて、Harris社からのInReality（登録商標）アプリケーションのような３次元パッケージの使用により補強される。
【００２８】
上述されたように、相関及び同期に対する補強として使用されるRealSite（登録商標）アプリケーションの更に詳細な説明が行われる。このReakSite（登録商標）の説明は、本発明の限定的でない例に従って使用されるタイプのアプリケーションの例として述べられる。
【００２９】
フロリダ州メルボーンのHarris社により開発されたRealSite（登録商標）画像モデリングソフトウェアのような特徴抽出プログラム及び地理的なイメージデータベースは、異なる幾何学的なファイルを判定するために使用される。このプログラムは、フロリダ州メルボーンのHarris社により開発されたInReality（登録商標）ソフトウェアプログラムで動作する。このアプリケーションをRealSite（登録商標）で生成されたサイトモデルと使用して、ユーザが３次元空間におけるあるポイントを指定し、全球面、上側の半球又は下側の半球といった表示されるべきボリュームの最初の形状を発見し、たとえば２°，５°又は１０°のインクリメントでボリュームが表示されるべき解像度を定義する。また、指定されたポイントから計算されるべきボリュームの半径を定義することもできる。InReality（登録商標）ビューアシステムは、ボリュームを計算するために使用されるプロセスを生成し、ひとたび計算が終了すると、これをInReality（登録商標）ビューアに自動的にロードする。ラインオブサイト（Line-of-Site）ボリュームは、限定的ではない例として、RealSite（登録商標）及びInReality（登録商標）により開発されたディスプレイパラメータ及びシーンジオメトリによりユーザにより選択されたポイントから、交差計算及びボリューム作成アルゴリズムを適用することで計算される。このソリューションは、３次元空間におけるどの位置が関心のある領域の３次元モデル内の特定の位置へのラインオブサイトを有するかに関して、状況プランナーの直接得た情報を提供する。したがって、ユーザは、そのシーンにおける任意のポイントに移動して、そのポイントへのラインオブサイトを決定することができる。InReality（登録商標）ビューアプログラムを使用することで、システムは、基本的な測定法を提供し、機能を表示する以上のことをする。ラインオブサイトボリュームは、３次元サイトモデルにおいて、同期された２次元画像において領域がどのように不明瞭にされるかを詳細に説明する。
【００３０】
画像を３次元コンピュータグラフィック生成してレンダリングするモディファイド・レイトレーシングを使用することができる。説明のため、位置、すなわちラインオブサイトをもたらす任意のオブジェクトの緯度及び経度は、RealSite（登録商標）プログラムに関連するグラフィック画像データベースからの特徴抽出のルックアップテーブルを介して発見及び決定される。この地理的なデータベースは、特定の領域における自然及び人口の特徴に関連するデータを含み、ラインオブサイトの計算を生じさせる、建物及び丘のような自然の土地の形成に関するデータを含む。
【００３１】
たとえば、データベースは、高層ビル又は給水塔のような特定の領域に関する情報を含む。ルックアップテーブルは、類似のデータを有し、システムプロセッサは、幾何学的な特徴を判定するため、建物のタイプ又は自然の特徴をルックアップテーブルから問合せて判定する。
【００３２】
説明のため、記載されたReaslSite（登録商標）のような、使用される特徴抽出プログラムの例に関する簡単な説明が以下に述べられる。データベースは、上述されたように、２次元又は３次元の特徴の画像形成と共に使用される。光反射率は、建物の表面及び建物のエッジを発見するために使用される。
【００３３】
３次元の都会のモデルを作成するために使用されるテクスチャマッピングシステムの更なる詳細は、同一出願人による米国特許第6744442号に開示され、この開示は、その完全な形で本明細書に盛り込まれる。説明のため、RealSite（登録商標）を使用した特徴抽出の高水準の検討が述べられる。このタイプの特徴抽出ソフトウェアは、自然及び人口の対象物をモデル化するために使用される。これらの対象物は、２次元画像の斜視及びラインオブサイトの計算を有効にし、２次元及び３次元の画像モデルで使用される。
【００３４】
RealSite（登録商標）は、テクスチャマッピングシステムにおける３次元モデルの作成を可能にし、都会のシーンにクリップマッピング技術を適用することで、地形テクスチャリングのために使用される技術を建物のテクスチャに拡張する。光反射率の値、更には無線周波の反射性を決定するために使用される。
【００３５】
全てのサイトを描くために必要とされる多数の画像から、ある建物の１つの画像を構築することができる。建築現場の画像は、回転及び知的な配置を含めて、最小寸法のコンポジット画像にフィットすることができる。任意の関連する建物の頂点のテクスチャ座標は、新たなコンポジット画像に整合するようにスケーリング及び変換される。建物の画像は、大きな「クリップマップ」画像で配列され、建物の水平の関係が保存される。水平の関係が正確に保存されない場合、クリップマップの中央を正確に決定するためにディスプレイソフトウェアにより使用される「クリップグリッド」のミドルレイヤが構築される。
【００３６】
その最高レベルで、システムは、地理的なサイトについてモデル化されるべき建物に対応する複数の３次元オブジェクトのそれぞれについてテクスチャのパックされた矩形を形成する。システムは、サイトモデルクリップマップ画像内の正しい位置にテクスチャのパックされた矩形を空間的に配置する。テクスチャマッピングシステムは、OpenGLアプリケーションプログラミングインタフェースを有するホスト又はクライアントコンピュータで実行されるコンピュータグラフィックスと共に使用される。サイトモデルクリップマップ画像の特定のｘ，ｙ位置に関するクリップの中央の位置は、対応するテクスチャ座標の全ての建物の多角形の表面の頂点を調べることで構築されるルックアップテーブル内の値を調べることで決定される。それぞれのテクスチャ座標は、対応する多角形の表面の頂点の座標に基づいてルックアップテーブルに挿入される。
【００３７】
これらのタイプのシステムでは、グラフィックハードウェアアーキテクチャは、グラフィックスAPI（アプリケーションプログラミングインタフェース）により隠される。異なるプログラミングインタフェースが使用されるが、好適なアプリケーションプログラミングインタフェースは、OpenGLのような業界標準のAPIであり、様々なハードウェアプラットフォーム上にグラフィックス機能に共通のインタフェースを提供する。また、好適なアプリケーションプログラミングインタフェースは、システムアーキテクチャによりサポートされるテクスチャマッピング機能に同一のインタフェースを提供する。
【００３８】
OpenGLは、２のべき乗の次元により矩形の画素アレイ、すなわち２m×２nとしてテクスチャマップが表現されるのを可能にする。レンダリング速度を高めるため、幾つかのグラフィックアクセラレータは、サンプリングされた画素間の補間を高速化するため、テクスチャマップの事前に計算された低減された解像度のバージョンを使用する。低減された解像度の画像のピラミッドレイヤは、当業者によりMIPmapsと呼ばれる。MIPmapは、記憶容量を増加し、それぞれのテクスチャは、３３％だけ占有する。
【００３９】
OpenGLは、あるテクスチャについてMIPmapを自動的に計算するか、又はこれらはアプリケーションにより供給される。テクスチャ付きのポリゴンがレンダリングされたとき、OpenGLは、テクスチャ及びそのMIPmapのピラミッドをテクスチャキャッシュにロードする。これは、ポリゴンが大きなテクスチャを有するが、スクリーン上の幾つかの画素のみを占有するように現在のビューにおいて遠く離れて生じる場合に非常に非効率的である。これは、多くの係るポリゴンが存在するときに特に利用可能である。
【００４０】
OpenGLプログラミングの更なる詳細は、Neider,  Davis及びWooによる“OpenGL  Programming  Guide”Addison-Wesley,  Reading,  Mass.,  1993,  Chapter  9で発見され、このガイドの開示は、その完全な形で引用により本明細書に盛り込まれる。
【００４１】
また、任意の制限されたテクスチャキャッシュに関する要求を低減することでレンダリングのパフォーマンスを改善するクリップテクスチャリングを使用することができる。クリップテクスチャリングは、MIPmapテクスチャのそれぞれのレベルのサイズを固定された領域のクリップ領域にクリップすることで、通常のMIPmapを制限するサイズ制限を回避する。
【００４２】
クリップテクスチャリングのプログラミング及び使用の更なる詳細は、Silicon  Graphics,  “IRIS  Performer  Programmer’s  guide”,  Silicon  Graphics,  Capter  10:  Clip  Textures,  the  Programmer’s  Guideで発見され、その開示は、その完全な形で引用により本明細書に盛り込まれる。
【００４３】
IRISパフォーマは、OpenGLの上にある３次元グラフィック及びビジュアルシミュレーションアプリケーションプログラミングインタフェースである。IRISパフォーマは、最適化を達成するため、基本となるOpenGLテクスチャマッピングメカニズムを明示的に扱うクリップテクスチャリングのサポートを提供する。また、IRISパフォーマは、幾つかのプラットフォームでの特別のハードウェアプラットフォームを利用する。典型的に、拡張は、プラットフォームに特化した（ポータブルでない）特徴としてOpenGLを通してアクセス可能である。
【００４４】
特に、IRISパフォーマは、アプリケーションがクリップ領域のサイズを指定し、クリップ領域の中央を移動するのを可能にする。また、IRISパフォーマは、アプリケーションがクリップの中央を調節したとき、システムRAMに対する低速の二次記憶装置からテクスチャキャッシュへのテクスチャデータのマルチレベルページングを管理する。
【００４５】
地形表面のクリップテクスチャを準備して（DEM）、それを利用することは、当業者にとって知られているように、テクスチャマッピングアプリケーションにおける直接的なソフトウェアルーチンとすることができる。画像又はイメージモザイクは、地形の隆起表面にオルソ補正及び投影される。この１つの潜在的に非常に大きいテクスチャは、連続的であり、１つの垂直投影により隆起表面に単調にマッピングされる。
【００４６】
しかし、都会のモデルのクリップテクスチャリングは、直接的でないソフトウェアアプリケーションである。オルソ補正された画像は、常に垂直の建物表面に適切にマッピングされない。全ての建物表面をマッピングする投影方向が存在しない。建物のテクスチャは、単調の連続的なモザイクに容易に結合することができない不連続の画像のセットを有する。この問題は、典型的に建物及び類似の垂直方向の構造を表している、多数の３次元の対象物を有する都会のモデルにおいて特に明らかである。連続的な画像を単調な連続的なモザイクに結合することが必ずしも必要ではないことがわかる。空間的な局所性が維持されるように、個々の表面のテクスチャを整えることで、十分な結果が得られることが分かる。
【００４７】
図４は、テクスチャアプリケーションソフトウェアモデルの基本的な態様を説明する高水準のフローチャートである。システムは、それぞれの建物についてテクスチャのパックされた矩形を作成する（ブロック１０００）。プログラムは、実際の配置が問題にならない領域において局所性が十分に高いことを想定している。パックされたテクスチャは、空間的に配置される（ブロック１０２０）。このポイントで空間的な配置が問題であり、配置し直すものとクリップ領域のサイズとの間のトレードオフが存在する。しかし、クリップグリッドルックアップテーブルは、以下に詳細に説明されるように、幾つかの局所性の制限を克服するために使用される（ブロック１０４０）。
【００４８】
ここで図５を参照して、より詳細なフローチャートは使用されるステップの系列の例を説明する。コンポジット・ビルディング・テクスチャ・マップ（CBTM）が作成される（ブロック１１００）。サイトモデルのクリップマッピングプロセスで後に使用されるタイリング方法のため、１つの建物に質感を持たせるために使用される全ての画像は、異なる視点から収集され、１つの矩形のコンポジット・ビルディング・テクスチャ・マップにパックされる。CBTMに含まれる画素の領域を低減するのを助けるため、個々の画像（及びテクスチャマップ座標）が回転され（ブロック１１２０）、テクスチャを持つポリゴンを実際にサポートするテクスチャマップ内に矩形の領域が最小にされる。回転の後、矩形のフットプリント外の余分な画素は、トリミングされる（ブロック１１４０）。
【００４９】
ひとたび個々の画像が前処理されると、それぞれの寄与している画像の画像サイズは、メモリにロードされる（ブロック１１６０）。これらの大きさは、領域及び画像のレングスによりソートされる（ブロック１１８０）。全ての建物の個々のテクスチャを含む、最短の周辺の長さをもつ最小領域を有する新たな画像サイズが計算される（ブロック１２００）。四角内の使用されていないスペースが最小になるように、左から右へ、逆に右から左に交互にタイル張りすることで、個々の建物のテクスチャは、新たな画像に効果的にパックされる（ブロック１２２０）。
【００５０】
図６は、コンポジット・ビルディング・テクスチャ・マップにおける建物の個々の画像を示すレイアウトの例を示す。これは、それぞれの建物を表す最小の画像の寸法を計算するために、記載されたような徹底調査により達成される。
【００５１】
つぎに、サイトモデルのクリップマップ画像が作成される。それぞれのコンポジット・ビルディング・テクスチャ・マップ（CBTM）ができるだけ小さいため、それぞれ１つのCBTMを大きなクリップマップにおいて空間的に正しく配置することは実現可能である。はじめに、それぞれのコンポジットビルディングテクスチャマップは、大きなサイトモデルのクリップマップにおけるその正しい空間的な位置に配置される（ブロック１２４０）。スケールパラメータは、相対的な空間的な関係を維持する一方で、互いに更なる距離をあけて建物をはじめに配置するために使用される（ブロック１２６０）。次いで、それぞれのコンポジット・ビルディング・テクスチャ・マップは、サイトモデルのクリップマップにおける他のコンポジット・ビルディング・テクスチャ・マップに対するオーバラップについてチェックされる（ブロック１２８０）。サイトモデルのクリップマップは、オーバラップが残らなくなるまで、右上から左下に拡大される（ブロック１３００）。高層建物によるモデルについて、オーバラップの増加された可能性を考慮するため、より大きな正のスケールパラメータが使用される。全てのテクスチャマップの座標は、サイトモデルのクリップマップの画像におけるそれらの新たな位置にスケーリング及び変換される。
【００５２】
図７を参照して、フローチャートは、建物のクリップテクスチャを正しく処理及び表示するために使用される基本的な動作を説明する。クリップマップ・クリップグリッド・ルックアップテーブルが使用される。これらの制限を克服し、クリップの中央が特定のｘ，ｙの位置に関して最適に位置される正確な位置を特定する。テーブルを構築するため、全ての建物の多角形の表面の頂点は、それらの対応するテクスチャの座標について問合せされる（ブロック１５００）。それぞれのテクスチャ座標は、その対応するポリゴンの表面の頂点の座標に基づいて、ルックアップテーブルに挿入される（ブロック１５２０）。
【００５３】
クリップの中央又はクリップマップにおけるポイントは、クリップマップ内の最高の解像度の画像の位置を定義するために使用される（ブロック１５４０）。ある地形表面のクリップマップのこの中央を決定することは、システムの複雑さなしで実際に達成される。これは、１つのクリップテクスチャは、地形の隆起の表面に隣接してマッピングされ、したがってカメラの座標は適切であるためである。サイトモデルのクリップマップは、それ自身のクリップの中央を有し、地形の表面上のその相対的なサイズ及び位置に従って処理される（ブロック１５６０）。しかし、サイトモデルのクリップマップは、高層の建物又は接近して組織化された建物から得られる幾つかの局所的な制約を導入する。これは、サイトモデルのクリップの完全な空間の一貫性のなさを補償するため、更なるルックアップテーブルの使用を必要とする。クリップグリッドの目的は、空間的に一貫性のないクリップマップにおける中央の位置をクリップするため、３次元の空間座標をマッピングすることである。
【００５４】
ｘ，ｙのシーン位置（カメラ位置）を使用して、クリップグリッド・ルックアップテーブルのインデックスが計算される（ブロック１５８０）。地形のクリップマップ及びサイトモデルのクリップマップが異なるサイズである場合、サイトモデルのクリップマップについてｘ，ｙシーンの位置を正規化するため、スケールファクタが導入される（ブロック１６００）。建物のクリップマップの空間的な正確さの開発における十分な設計及び進歩により、最大で９５％のケースでクリップグリッドのルックアップテーブルの必要性は除去される。
【００５５】
また、アルゴリズムを拡張して、多数のサイトモデルのクリップマップを使用することもできる。１つの大きなクリップマップではなく多数の小さなクリップマップを使用することは、様々な解像度のクリップマップが望まれるか又は処理スペースからのクリップマップの内外のページングが達成可能である場合に、有効なアプローチである。しかし、多数のクリップの中央のメンテナンス及び多数のクリップマップのピラミッドのオーバヘッドを必要とする。
【００５６】
RealSite（登録商標）画像モデリングソフトウェアは、従来の方法に対して利点を有する。これは、モデルが非常に大きく（ｋｍ2）及び他のプログラムの週及び月に対して日において作成されるためである。特徴は、地理的に保存され、注釈を含むことができ、たとえば相対的に１メートル又は２メートルといった地理空間的に正確である。テクスチャは、正確であり、写真のようにリアルな描写であり、最良の利用可能なソース画像から選択され、一般的又は繰り返しのテクスチャではない。InReality（登録商標）プログラムは、ユーザが２つのポイント間をインタラクティブに測定し、現在の距離及び位置のスクリーン上の即時の読み出しを取得する測定法を提供することができる。本発明に従って、建物の高さ、幹線道路のストレッチの距離、又はラインオブサイト情報と共に屋根の上面間の距離を発見することができる。所望の視野に「飛ぶ」動きモデルカメラをもつ内蔵式の直感的なナビゲーション制御が存在する。InReality（登録商標）ビューアは、２つのメインのプラットフォームとオペレーティングシステムの下でサポートすることができる。（１）IRIX6.5.7以降で動作するSGI  Onyx2  Infinite  Reality2TM  Visualization  supercomputer及びMicrosoft  WindowsNT  4.0又はWindows  98或いはより進歩したシステムで動作するX86-based  PC。IRIXバージョンのInReality（登録商標）ビューアは、クリップテクスチャ、マルチプロセッサマルチスレッド、及びStereo  GraphicsによるCrystal  Eyesを使用する半没入型のステレオビジュアリゼーションの形式でのMIPMappingのようなInyx2により提供されるハイエンドのグラフィックス機能を十分に利用する。Windows（登録商標）向けのInReality（登録商標）は、大きなフレキシビリティ及びスケーラビリティを可能にし、異なるシステム上で実行することができる。
【００５７】
Stereo  Graphic社により製造されるCrystal  Eyeは、ステレオ３次元視覚化のために使用される。Crystal  Eyeは、３次元のコンピュータグラフィックモデルを開発する、見る、そして操作するエンジニア及び科学者にとって業界標準である。Crystal  Eyeは、ステレオ３次元画像形成用の液晶シャッタイヤウェアを含む。
【００５８】
使用することができる別のグラフィックスアプリケーションは、同一出願人による米国特許第6346938号で開示され、この開示は、その完全な形で引用により本明細書に盛り込まれる。
【図１】
2011523110.tif 000003
【図２】
2011523110.tif 000004
【図３】
2011523110.tif 000005
【図４】
2011523110.tif 000006
【図５】
2011523110.tif 000007
【図６】
2011523110.tif 000008
【図７】
2011523110.tif 000009
【手続補正書】
【提出日】平成22年1月18日(2010.1.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像形成システムであって、
表示されたときに見晴らしの利く地点の位置及び向きを有する３次元のサイトモデルに関連するデータ、並びに空間的な位置及び収集ポイントの方位角を記憶する３次元データベースと、
前記３次元のサイトモデルの見晴らしの利く地点の位置及び向きに対応する２次元画像に関連するデータを記憶する２次元データベースと、
前記３次元のサイトモデルと前記２次元画像とを表示するディスプレイと、
前記２次元データベース及び前記３次元データベース並びに前記ディスプレイと共に動作するプロセッサであって、前記２次元データベース及び前記３次元データベースから読み出したデータから３次元のサイトモデルの画像と２次元の画像を生成して表示し、前記３次元のサイトモデルの画像と前記２次元の画像とを相互に関連付けて同期させ、ユーザが当該画像形成システムと交信したとき、前記空間的な位置と前記収集ポイントの方位角とに基づいた前記画像間の空間的な向きを確定して維持するプロセッサと、
を有する画像形成システム。
【請求項２】
前記３次元のサイトモデルと前記２次元画像とが表示されるグラフィカルユーザインタフェースを更に有する、
請求項１記載の画像形成システム。
【請求項３】
建物内部の画像収集ポイントで取得されたパノラマ画像及び前記建物内部の前記画像収集ポイントを中心とする間取り図の画像のような前記３次元のサイトモデルの画像及び前記２次元の画像を更に有する、
請求項１記載の画像形成システム。
【請求項４】
前記プロセッサは、前記パノラマ画像を回転し、前記２次元の画像を前記３次元のサイトモデル画像と同期させるために、前記パノラマ画像の現在の向きで前記間取り図の画像を更新する、
請求項３記載の画像形成システム。
【請求項５】
前記３次元のサイトモデルの画像の回転に同期され、表示されるダイナミックヘディングインジケータを更に有する、
請求項１記載の画像形成システム。
【請求項６】
画像形成方法であって、
選択された見晴らしの利く地点の位置、向き、空間的な位置及び収集ポイントの方位角を有する３次元のサイトモデルの画像を生成して表示するステップと、
前記３次元のサイトモデルの画像の前記見晴らしの利く地点の位置及び向きが前記２次元の画像におけるある位置に対応するとき、前記２次元画像を生成するステップと、
前記３次元のサイトモデルの画像と前記２次元の画像とを相互に関連付けて同期させ、ユーザが画像形成システムと交信したとき、前記空間的な位置及び前記収集ポイントの方位角に基づいて前記画像間の空間的な向きを確定して維持するステップと、
を含む画像形成方法。
【請求項７】
前記２次元画像と前記３次元のサイトモデルの画像をグラフィカルユーザインタフェースに表示するステップを更に含む、
請求項６記載の方法。
【請求項８】
画像収集ポイントで前記３次元のサイトモデルの画像を捕捉し、前記画像収集ポイントで前記３次元のサイトモデルの同じ空間的な向きで前記２次元画像を表示するステップを更に有する、
請求項６記載の方法。
【請求項９】
前記３次元のサイトモデルの画像の回転に同期されるダイナミックヘディングインジケータを表示するステップを更に有する、
請求項６記載の方法。
【国際調査報告】
2011523110.tif 000010
2011523110.tif 000011
2011523110.tif 000012