(57)【要約】  あるシーンに対する１つ以上の地点から収集したグローバルまたはローカル座標、３Ｄ空間データおよび画像データを使用し、三次元画像を発生する。画像上の三次元空間データポイントのグローバルまたはローカル位置を決定し、隣接する３Ｄ空間データポイントを使用し、三次元ポリゴンを作成することにより、三次元画像上の問題とするポイントの位置を決定する。次に、例えば線トレーシングアルゴリズムを使ってこれらポイントのグローバルまたはローカル位置を計算できる。これとは異なり、例えば問題とするポイントに最も近い３Ｄ空間データポイントのグローバルまたはローカル座標を補間することにより、問題とするポイントのグローバルまたはローカル位置を近似してもよい。更に、問題とする２つのポイントの間の距離、方位またはその他の測定値も計算できる。
2009532784.tif 000002
【特許請求の範囲】
【請求項１】
三次元モデルを使用し、問題とするポイントのグローバルまたはローカル位置を決定するための方法であって、
あるシーンに対する１つ以上の地点から収集したグローバルまたはローカル座標データ、３Ｄ空間データおよび画像データを使って三次元モデルを作成するステップと、
３Ｄ空間データを得ていない三次元モデル上の問題とするポイントを識別するステップと、
問題とするポイントに近い３Ｄ空間データポイントを使って三次元ポリゴンを公式化するステップと、
問題とするポイントに向いた線トレースを使用し、問題とするポイントの３Ｄ空間座標を決定するよう、前記線トレースと前記三次元ポリゴンとの交点を決定するステップと、
問題とするポイントの前記３Ｄ空間座標をグローバルまたはローカル座標に変換するステップとを備えた方法。
【請求項２】
前記シーンに対する多数の地点から、前記モデルのためのグローバルまたはローカル座標データ、３Ｄ空間データおよび画像データを収集する、請求項１に記載の方法。
【請求項３】
前記３Ｄ空間データは、データ収集デバイスから前記シーン内のポイントへの距離を示すデータを含む、請求項１に記載の方法。
【請求項４】
デジタルカメラにより、前記画像データを収集する、請求項１に記載の方法。
【請求項５】
問題とするポイントに対するＧＰＳデータを直接収集できないように、問題とするポイントを遮る、請求項１に記載の方法。
【請求項６】
三次元モデルを使用し、問題とするポイントのグローバルまたはローカル位置を決定するためのシステムであって、
前記システムは、
プロセッサと、
前記プロセッサと電子通信するメモリと、
前記メモリ内に記憶された命令とを備え、前記命令は、
あるシーンに対する１つ以上の地点から収集したグローバルまたはローカル座標データ、３Ｄ空間データおよび画像データを使って三次元モデルを作成し、
３Ｄ空間データを得ていない三次元モデル上の問題とするポイントを識別するステップと、
問題とするポイントに近い３Ｄ空間データポイントを使って三次元ポリゴンを公式化し、
問題とするポイントに向いた線トレースを使用し、問題とするポイントの３Ｄ空間座標を決定するよう、前記線トレースと前記三次元ポリゴンとの交点を決定し、
問題とするポイントの前記３Ｄ空間座標をグローバルまたはローカル座標に変換するように実行できる方法。
【請求項７】
前記シーンに対する多数の地点から、前記モデルのためのグローバルまたはローカル座標データ、３Ｄ空間データおよび画像データを収集する、請求項６に記載のシステム。
【請求項８】
前記３Ｄ空間データは、データ収集デバイスから前記シーン内のポイントへの距離を示すデータを含む、請求項６に記載のシステム。
【請求項９】
デジタルカメラにより、前記画像データを収集する、請求項６に記載のシステム。
【請求項１０】
問題とするポイントに対するＧＰＳデータを直接収集できないように、問題とするポイントを遮る、請求項６に記載のシステム。
【請求項１１】
三次元モデルを使用し、問題とするポイントのグローバルまたはローカル位置を決定するための実行可能な命令を含むコンピュータで読み取り可能なメディアであって、
前記命令は、
あるシーンに対する１つ以上の地点から収集したグローバルまたはローカル座標データ、３Ｄ空間データおよび画像データを使って三次元モデルを作成するステップと、
３Ｄ空間データを得ていない三次元モデル上の問題とするポイントを識別するステップと、
問題とするポイントに近い３Ｄ空間データポイントを使って三次元ポリゴンを公式化するステップと、
問題とするポイントに向いた線トレースを使用し、問題とするポイントの３Ｄ空間座標を決定するよう、前記線トレースと前記三次元ポリゴンとの交点を決定するステップと、
問題とするポイントの前記３Ｄ空間座標をグローバルまたはローカル座標に変換するステップとを備えるコンピュータで読み取り可能なメディア。
【請求項１２】
前記シーンに対する多数の地点から、前記モデルのためのグローバルまたはローカル座標データ、３Ｄ空間データおよび画像データを収集する、請求項１１に記載のコンピュータで読み取り可能なメディア。
【請求項１３】
前記３Ｄ空間データは、データ収集デバイスから前記シーン内のポイントへの距離を示すデータを含む、請求項１１に記載のコンピュータで読み取り可能なメディア。
【請求項１４】
デジタルカメラにより、前記画像データを収集する、請求項１１に記載のコンピュータで読み取り可能なメディア。
【請求項１５】
問題とするポイントに対するＧＰＳデータを直接収集できないように、問題とするポイントを遮る、請求項１１に記載のコンピュータで読み取り可能なメディア。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本願は、デビッド・Ｏ・カーペンター、スタンレー・Ｅ・コレビー、ジェームズ・Ｕ・ジェンセン、ゲーリー・Ｌ・ロビンソンおよびロバート・Ｍ・バシスを発明者とし、「ＬＩＤＡＲおよびＧＰＳデータを使用して、シーン内の問題とするポイントのグローバル位置を決定するためのシステムおよび方法」を発明の名称とし、２００６年３月３１日に出願された米国仮特許出願第60/788,422号、デビッド・Ｏ・カーペンター、スタンレー・Ｅ・コレビー、ジェームズ・Ｕ・ジェンセン、ゲーリー・Ｌ・ロビンソンおよびロバート・Ｍ・バシスを発明者とし、「シーンの三次元画像を使用して、シーン内の問題とするポイントのグローバル位置を決定するためのシステムおよび方法」を発明の名称とし、２００６年３月３１日に出願された米国仮特許出願第60/788,416号、デビッド・Ｏ・カーペンター、スタンレー・Ｅ・コレビー、ジェームズ・Ｕ・ジェンセン、ゲーリー・Ｌ・ロビンソンおよびロバート・Ｍ・バシスを発明者とし、「シーンの三次元画像を使用して、シーン内のポイントのグローバル位置を決定するためのシステムおよび方法」を発明の名称とし、２００６年５月２２日に出願された米国仮特許出願第60/747,852号、デビッド・Ｏ・カーペンター、スタンレー・Ｅ・コレビー、ジェームズ・Ｕ・ジェンセン、ゲーリー・Ｌ・ロビンソン、ロバート・Ｍ・バシス、エドウィン・Ｔ・アルレッドおよびブランドン・Ｊ・ベーカーを発明者とし、「別個に決定されたＧＰＳ位置におけるターゲットを使用し、シーンのための正確な地理的座標データを収集するためのシステムおよび方法」を発明の名称とし、２００６年９月２９日に出願された米国仮特許出願第60/827,596号、デビッド・Ｏ・カーペンター、スタンレー・Ｅ・コレビー、ジェームズ・Ｕ・ジェンセン、ゲーリー・Ｌ・ロビンソン、ロバート・Ｍ・バシス、エドウィン・Ｔ・アルレッドおよびブランドン・Ｊ・ベーカーを発明者とし、「別個に決定されたＧＰＳ位置における属性が符号化されたターゲットを使用し、シーンのための正確な地理的座標データを収集するためのシステムおよび方法」を発明の名称とし、２００６年９月２９日に出願された米国仮特許出願第60/827,624号、およびデビッド・Ｏ・カーペンター、スタンレー・Ｅ・コレビー、ジェームズ・Ｕ・ジェンセン、ゲーリー・Ｌ・ロビンソンおよびロバート・Ｍ・バシスを発明者とし、「シーンの三次元モデルを使用し、シーン内の問題とするポイントのグローバルまたはローカル位置を決定するためのシステムおよび方法」を発明の名称とし、２００７年５月３０日に出願された米国特許出願第11/694,926号に基づく優先権を主張するものであり、本願では、上記出願のすべてを参考例として援用する。
本発明は、一般的には三次元画像形成システムに関する。より詳細には、本発明は、屋内シーンまたは屋外シーンの三次元画像のうちの問題とするポイントのグローバルまたはローカル座標を決定するためのシステムおよび方法に関する。
【０００２】
添付図面を参照する次の説明および特許請求の範囲から、本発明の実施例がより完全に明らかとなろう。これら図は実施例だけを示し、従って本発明の範囲を制限すると見なしてはならないと理解した上で、添付図面を更に詳細に使用することにより、本発明の実施例について説明する。
【発明を実施するための最良の形態】
【０００３】
次に図面を参照し、本発明の種々の実施例について説明するが、図中、同様な参照番号は同一または機能的に類似する要素を示す。図中に示し、本明細書に一般的に説明するような本発明の実施例は、広範な種々の異なる構造に配置し、設計することが可能である。従って、図に示されるような本発明のいくつかの実施例の次のより詳細な説明は、請求の範囲に記載の発明の範囲を限定するものではなく、単に発明の実施例を示すにすぎない。
【０００４】
本明細書では「例」なる用語は、専ら「１つの例、例証または例解として働く」ことを意味し、本明細書において「例」として記述する実施例は他の実施例よりも好ましいか、または有利であると必ずしも見なしてはならない。図面には実施例の種々の様相を示すが、特に明記しない限り、図面は必ずしも縮尺に従って描かれているわけではない。
【０００５】
本明細書に開示した実施例の多くの特徴は、コンピュータソフトウェア、電子ハードウェアまたはこれら双方の組み合わせとして実現できる。このようにハードウェアとソフトウェアとを相互に交換できることを明らかに示すために、種々のコンポーネントの機能に関連して、種々のコンポーネントについて説明する。かかる機能をハードウェアとして実現するか、またはソフトウェアとして実現するかは、特定の応用例およびシステム全体に課される設計上の制約に応じて決まる。当業者であれば、各特定の応用例に対して種々の方法で説明する機能を実現できようが、かかる実現の判断は本発明の範囲からの逸脱を生じさせると解してはならない。
【０００６】
説明する機能をコンピュータソフトウェアとして実現する場合、かかるソフトウェアはメモリデバイス内に記憶され、および／またはシステムバスまたはネットワークを通して電子信号として伝送される任意のタイプのコンピュータ命令またはコンピュータで実行可能なコードを含むことができる。本明細書に説明するコンポーネントに関する機能を実現するソフトウェアは、単一の命令または多数の命令を含むことができ、異なるプログラム間の種々の異なるコードセグメントを通し、かついくつかのメモリデバイスにわたって分散できる。
【０００７】
図１は、シーン１０１のための少なくとも３つの別個のタイプのデータ、すなわち赤、緑および青（ＲＧＢ）データまたは白黒画像データとして具現化できる写真画像データ、Ｘ、ＹおよびＺ次元（ＸＹＺ）データとときどき称される３−Ｄ空間データ（例えば光検出および距離（ＬＩＤＡＲ）データ）およびグローバルまたはローカル座標データを収集するシステム１００の一実施例を示すブロック図である。イメージデータはディジタルカメラで集めることができる。
【０００８】
一実施例を示す、図示されているシーン１０１は、４つの街灯１０３と、２つの道路１０７の交差点１０５と、道路１０７のうちの１つにペイントされた標識１０９とを含む。ペイントされた標識１０９は、橋１１０によって遮られている。橋１１０が存在するために、ペイントされた標識１０９ではＧＰＳ信号は受信できない。この結果、この障害物は軌道上のＧＰＳ衛星からの信号を妨害するので、ペイントされた標識１０９のＧＰＳ座標を直接得ることはできない。当然ながら、他のタイプの障害物（例えば建物および樹木）は、ＧＰＳの信号を妨害し得る。図１では、シーン１０１は二次元で示されており、このように、この平らな表面的シーンは、三次元のシーンを示す。本発明は、シーン内の仮想的に任意の対象またはポイントのグローバルまたはローカル座標位置を決定する能力も含み、このシーンに対しては画像データは存在するが、ポイントまたは対象に対して収集された３Ｄの空間データは存在しない。
【０００９】
収集されたシーン１０１のまわりの４つの地点で４つのデータ収集デバイス１１１が位置している。別の実施例では、シーン１０１に対する多数の地点からのデータを収集するのに、単一データ収集デバイス１１１または他の任意の数のデータ収集デバイス１１１を使用することができる。図１に示されるように、図示されている各データ収集デバイス１１１は、画像データ、３Ｄ空間データ、グローバルまたはローカル座標データおよびオプションの他のタイプのデータを得る。図１に示されているデータ収集デバイス１１１は、単なる例に過ぎず、開示されているシステムおよび方法だけに限定されない。例えば図１に示されているデータ収集デバイス１１１の各々は、画像データ、３Ｄ空間データおよびグローバルまたはローカル座標データを収集する統合された、または統一されたデバイスである。しかしながら、これとは異なり、ピクセル、３Ｄ空間データおよびグローバルまたはローカル座標データをそれぞれ収集するのに、２つまたは３つの別個のデバイスを使用してもよい。更に、データ収集デバイス１１１の数は、状況およびデータを収集する目的に応じて変わってもよい。別の実施例では、従来の写真撮影レンズではなく、魚眼レンズを使って画像データ（すなわちデジタル写真データ）を収集する。データ収集デバイス１１１は、固定式でもよいし、移動式でもよいし、または飛行物（例えばヘリコプターまたは飛行機）に搭載してもよい。
【００１０】
広範な種々の技術、例えば差分ＧＰＳ（ＤＧＰＳ）または標準的な非差分ＧＰＳを使ってＧＰＳデータを得ることができる。ＤＧＰＳは固定ＧＰＳ受信機（ＧＰＳ基地局１１３と称されることが多い）およびモバイルＧＰＳ受信機を使用する。基地局１１３は、既知のグローバル位置にあり、この基地局１１３はＧＰＳデータを収集し、収集したＧＰＳデータと基地局１１３の実際の位置とを比較する。収集したＧＰＳデータと基地局１１３の実際のグローバル位置との間の差に基づき、補正データを発生する。モバイルＧＰＳ受信機によって得られたＧＰＳ表示を補正するのに、この補正データを使用する。基地局１１３によりモバイルＧＰＳ受信機（リアルタイムの、キネネマティック（ＲＴＫ）方法と称されることが多い）へ補正データをリアルタイムで送信または放送できる。一部の実施例では、第三者からの加入サービスにより差分データまたは補正データを得ることができる。
【００１１】
ＧＰＳデータ収集デバイスを使用する以外の方法で、収集デバイス１１１のためのグローバル座標データ（すなわちデバイス１１１のグローバル位置）を収集または決定できる。例えば既知のグローバル位置またはローカル位置のポイント、例えば探査モニュメントを基準にして、データ収集デバイス１１１のグローバル位置を決定するのに、最近の探査で使用される光学機器であるトータルステーションを使用できる。他の例として、データ収集デバイス１１１を既知のグローバル位置の探査モニュメントの頂点又は付近に位置決めして、そのグローバル又はローカル位置を決定できる。
これとは異なり、仮想的に任意の対象のグローバル位置またはローカル位置を決定または知ることができ、よってデータ収集デバイス１１１の位置またはデータ収集デバイス１１１が収集したデータの位置を決定するための基準ポイントとして使用できる。
【００１２】
画像データはシーン１０１の可視画像を発生する一連のデジタルピクセルである。収集された３Ｄ空間データは三次元距離情報（例えばシーン１０１内のポイントに対する三次元の距離（例えばＸ、ＹおよびＺ成分、または極座標における距離＋水平および垂直角度、またはその他の座標情報）を含む。より詳細には、このデータはデータ収集デバイス１１１とシーン１０１内の特定ポイントとの間の三次元距離を含む。グローバルまたはローカル位置データは、データ収集デバイス１１１のグローバルまたはローカル位置を識別する。グローバルまたはローカル位置データは、これらポイントに対する位置情報を提供するよう、シーン１０１内の所定ポイントに対して直接収集してもよい。バシス他に付与された米国特許第6,759,979号には、グローバルまたはローカル位置データ、画像データおよび３Ｄ空間データを収集するためのシステムおよび方法が開示されており、本明細書ではこの米国特許を参考例として援用する。
【００１３】
図２Ａは、シーン２０１の三次元モデル２０２をディスプレイするコンピュータシステム２００を示すブロック図である。図２Ａでは、シーン２０１は二次元で示されているが、このシーンはシーン２０１の三次元表示を示す。
【００１４】
このコンピュータシステム２００は、このシステムに取り付けられたディスプレイデバイス２０４と、ハードドライブ２０６と、中央処理ユニット（ＣＰＵ）２０８と、グラフィックプロセッサユニット（ＧＰＵ）２１２とを含む。ＧＰＵ２１２は、ディスプレイデバイス２０４と電子通信し、電子信号を送信する。この電子信号は変換でき、ディスプレイデバイス２０４により画像としてディスプレイできる。簡潔にするために、コンピュータシステム２００の所定のコンポーネント、例えばキーボードおよびマウスについては図示されていない。当然ながら、開示したシステムおよび方法に関連して異なる多くのタイプのコンピュータシステム２００も使用できる。
【００１５】
上記のように、シーン２０１（図１にも示されている）の三次元モデル２０２は、ディスプレイデバイス２０４上に示される。この三次元モデル２０２は、モデル２０２の三次元特性を示すよりも、三次元空間データグリッド２３１（３Ｄ空間データポイント２２１の一組）に関連またはリンクした画像データを含む。異なる位置から収集された画像および３Ｄ空間データを配向し、調和させ、モデル２０２を形成するためにグローバルまたはローカル座標データを使用する。
【００１６】
図２Ｂは、図２Ａに示されたペイントされた標識２０９のすぐ近くのまわりのモデル２０２のクローズアップ図２１４である。上記のように、ペイントされた標識２０９は橋２１０により遮られ、このことはペイントされた標識２０９に対するＧＰＳ座標の直接収集を妨害する。しかしながら、画像データ内では、ペイントされた標識２０９を見ることができるので、本明細書に開示するシステムおよび方法を使って、隣接する３Ｄ空間データを基準に、ペイントされた標識２０９のグローバル座標を決定できる。
【００１７】
次に図２Ａおよび２Ｂを参照すると、ディスプレイデバイス２０４上のマウスポインタ２１７は、三次元モデル２０２上の位置を示す。ユーザーがペイントされた標識２０９上の問題とするポイント２２７のグローバル座標をユーザーが得たがっていることを示すために、ペイントされた標識２０９の画像の上にマウスポイント２１７を位置させる。当然ながら、問題とするポイント２２７を識別するのに他の方法も使用できる。
【００１８】
モデル２０２上の問題とするポイントのグローバル座標を得るには、グローバル座標系に対してモデル２０２を正しく配向させなければならない。この背景プロセスを実施するには、グローバル座標系に対してモデル２０２を正しく位置決めしなければならない。三次元空間が問題であるので、このプロセスは使用する地球およびグローバル座標系に対する正しい角度または曲率で、モデル２０２を位置決めする必要もある。更に、データ収集デバイス２１１の各々からの画像データ、３Ｄ空間データおよびグローバルまたはローカル座標データ（中間三次元モデル）は、統一された一貫モデル２０２を形成するのに、調和させなければならない。
【００１９】
これらプロセス（中間三次元モデルの配向および調和）を実行するには、中間三次元モデルから独立して（データ収集デバイス２１１のうちの１つの位置の他に）シーン２０１内の２つのポイント２１６ａ〜ｂのグローバル位置を決定しなければならない。例えばＧＰＳまたは他の収集デバイスを使って、これらポイント２１６ａ〜ｂの各々のグローバル位置を直接収集してもよい。これとは異なり、２つのポイント２１６ａ〜ｂに関する三次元データを使って、ポイント２１６ａ〜ｂのグローバル位置を決定してもよい。このデータを次にグローバル（全地球）測位データに変換してもよい。（図１に示されているデータ収集デバイス１１１により得られる）データ収集デバイス２１１の既知のグローバル位置と共に、既知のグローバル位置の２つのポイント２１６ａ〜ｂは、各中間三次元モデルに対応する３つの配向ポイントを含む。各中間三次元モデルと３つの配向ポイントを整合することにより、三次元グローバルスペース内に各中間モデルを正しく位置決めする。この整合または一致プロセスは、統一され一貫モデル２０２を形成するように、中間モデルの各々を調和させると共に、仮想グローバル座標内に、上記の結果得られたモデル２０２を正しく配向する。例えばデータ収集デバイス２１１の配向および角度が既知であるとき、これよりも少ない配向ポイントを利用することができる。３つの配向ポイントを使用するとき、データ収集デバイス２１１の配向および角度がモデル２０２を正しく配向させる必要はない。更に各中間モデル内に３つの配向ポイントが位置する場合、その中間モデルをグローバル座標系に対して正しく配向させるのに、対応するデータ収集デバイス２１１のグローバル位置を知っていなくてもよい。
【００２０】
配向および調和プロセスの後で、問題となっている３Ｄ空間データポイント２２１を集めたデータ収集デバイス２１１のグローバル位置を基準に、または既知のグローバル座標のポイントを基準に、３Ｄ空間データグリッド２３１内の３Ｄ空間データポイント２２１のグローバル座標を決定できる。上記のように、スキャニングプロセス中、またはその近くで潜在的に（必ずしもそうではない）データ収集デバイス２１２自身により、各データ収集デバイス２１１のためのＧＰＳデータを得る。データ収集デバイス２１１のグローバル座標が一旦既知となると、３Ｄ空間データグリッド２３１内の３Ｄ空間データポイント２２１のグローバル座標を決定できる。その理由は、３Ｄ空間データは、データ収集デバイス２１１とグリッド２３１内の３Ｄ空間データポイント２２１との間の三次元距離を示しているからである。
【００２１】
一実施例において、（図２Ａおよび２Ｂに示されるように）３Ｄ空間データポイント２２１の間の問題とするポイント２２７のグローバル座標を正確に識別するために、ペイントされた標識２０９に近い３Ｄ空間データポイント２２１を使って、三次元ポリゴン２１９を形成する。指定されたビューポイント２２５から、ペイントされた標識２０９に線トレース２２３が向く。この場合、ビューポイント２２５はデータ収集デバイス２１１のうちの１つであるが、他のポイントを使用してもよい。例えばコンピュータシステム２００のＧＰＵ２１２が使用するOpenGLライブラリの線トレーシング方法を使って、三次元ポリゴン２１９と問題とするポイント２２７における線トレース２２３の交点２２８を決定する。この交差点２２８は、ペイントされた標識２０９の３Ｄ空間座標２２９またはポイントされた標識２０９上の問題とするポイント２２７に位置し、よってこれらを識別する。一実施例では、ディスプレイデバイス２０４には線トレース２２３および三次元ポリゴン２１９は示されない。すなわちこれらのビジュアル表示をすることなく、これらの計算ができる。別の実施例では、例えば線トレースアルゴリズム以外の双リニア補間技術も使用できる。
【００２２】
一実施例では、回転でき、かつ種々の角度から検査できる三次元モデル２０２を作成するために、各３Ｄ空間データポイント２２１に画像データを関連またはリンクさせる。画像データとモデル２０２内の３Ｄ空間データとを関連付けることにより、ユーザーは問題とするポイント２２７、例えばペイントされた標識２０９をより容易かつ正確に識別することが可能となる。
【００２３】
３Ｄ空間データグリッド２３１内の任意の問題とするポイント２２７のグローバル座標２３３を識別するのに、上記システムおよび方法を使用できるが、これらシステムおよび方法はグローバルまたはローカル座標データを直接収集した問題とするポイントのグローバル座標２３３の決定だけに限定されない。１つの対象または１組の対象もしくはわずか１つの地点からデータを収集した場合でも捕捉されるシーン内のポイントのグローバルまたはローカル位置を決定するために、データ収集効率を高めるよう、本明細書に開示するシステムおよび方法を使用できる（すなわちより少ない３Ｄ空間データポイントでよい）。このシステムは、シーン２０１の追加的物理検査または探査を必要とすることなく、前にスキャンされたシーン２０１内の問題とするポイントに対するグローバル座標を決定できるという点で、従来のシステムよりも大きな利点を提供できる。
【００２４】
図３は、グローバル位置決定方法の一実施例を示すフローチャート３００である。この方法の実施例を使用することにより、第１地点（すなわちデータ収集デバイス２１１）から収集されたＧＰＳ、画像および３Ｄ空間データを使って、第１の中間三次元モデルを発生する（３０１）。本明細書で使用するような中間三次元モデルは、多数の地点からではなく、単一の地点から収集されたＧＰＳ（または他のグローバルもしくはローカル座標データ）、画像および３Ｄ空間データを使って発生された三次元モデルである。オプションとして第２地点から収集されたＧＰＳ（または他のグローバルもしくはローカル座標データ）、画像および３Ｄ空間データを使って、第２の空間三次元モデルを発生する（３０３）。所定の実施例では、１つ以上の他の地点から収集されたデータに基づき、別の中間三次元モデルを発生する（３０５）。これら中間三次元モデルの各々は、３Ｄ空間データグリッド２３１に関連する画像データおよび関連するＧＰＳデータ（または他のグローバルまたはローカル座標データ）を含む。一実施例では、各３Ｄ空間データポイント２２を囲む一群のピクセル（画像データ）が適当な３Ｄ空間データポイント２２１に関連またはリンクされる。一実施例では、ピクセルの数は３Ｄ空間データポイント２２１の数をはるかに超えるので、これらピクセルによってシーン２０１内の問題とする特定対象またはポイントを選択する際の精度を高めることができる。更に、画像データがない場合、３Ｄ空間データ２２１（例えば道路上のペイント）だけを使って多数の対象を区別することはできない。
【００２５】
次に、中間三次元モデルの各々に対するグローバルまたはローカル座標データをオプションとしてグローバル座標系、例えば地理的座標系（ＧＣＳ）に変換する。この座標系は、緯度および経度座標に基づく。その他のグローバル座標系、例えばユニバーサル横断メルカトール（ＵＴＭ）座標系、地球中心／地球固定（ＥＣＥＦ）座標系または軍用グリッド基準系（ＭＧＲＳ）、ステート平面座標または米国およびその他の国で使用される他の座標系を使用してもよい。開示するシステムおよび方法の範囲内では、種々のステージにおいて、例えば中間三次元モデルの発生前またはそれと同時に、グローバルまたはローカル座標データから別の座標系への変換を行うことができる。
【００２６】
別の実施例では、プロセス内でＧＰＳデータを使用することはない。その代わりにグローバルまたはローカル座標データ、例えばＧＣＳ、ＵＴＭ、ＥＣＥＦグローバル座標データまたはステート変換、またはその他のローカル座標データを、データ収集デバイス２１１のために直接収集する。非ＧＰＳグローバルまたはローカル座標データを使用すると、ＧＰＳデータを使用することなく、中間三次元モデルのグローバルまたはローカル座標を決定でき、ＧＰＳデータをグローバルまたはローカル座標系データに変換する必要がなくなる。
【００２７】
上記のように、例えば各モデルに対し、シーン内の既知のグローバルまたはローカル座標の少なくとも２つのポイントを整合することにより、発生された中間三次元モデルをグローバルまたはローカル座標系に調和させ、配向させる（３１１）。従って、中間モデルを配向すると、各３Ｄ空間データポイント２２１および（中間モデルの各々内の）対応する画像データを正しいグローバルまたはローカル位置に置くことができる。このプロセスは、三次元モデル２０２（この一実施例は図２に示されている）を形成するように中間モデルを調和させ、ブレンドもする。
【００２８】
配向プロセスの後で、またはこのプロセスと同時に、配向された中間三次元モデルに基づき、ディスプレイデバイス２０４に三次元画像が発生される（３１３）。３Ｄ空間データがまだ得られていない三次元モデル２０２で、問題とするポイント２２７が識別される（３１１）。図１および２に示される例では、ペイントされた標識１０９、２０９が、かかる問題とするポイントまたは領域２２７となる。
【００２９】
問題とするポイント２２７のグローバルまたはローカル座標を決定または近似させるのに、種々の方法を使用できる。図３では、第１および第２の方法の例が示されている。ブロック３１７および３１９には第１の方法例が示されており、ブロック３２１、３２３、３２５には第２の方法例が示されている。これら例は可能な実施例を示すが、これら方法は別の方法を排除するものではない。かかる実現の判断は、本発明の範囲からの逸脱を生じさせるものと解してはならない。
【００３０】
第１の方法の例を参照し、問題とするポイント２２７に近い３Ｄ空間データポイント２２１を識別する（３１７）。一実施例では、問題とするポイント２２７に最も近い３Ｄ空間データポイントを識別する（３１７）。次に、問題とするポイント２２７のグローバルまたはローカル座標を近似するように、ポイントに近いポイントのグローバルまたはローカル座標を決定する（３１９）。
【００３１】
第２の方法の例を参照し、問題とするポイントに近い３Ｄ空間データポイント２２１を使って三次元スペース内の三次元ポリゴン２１９（三角形または四角形であることが多い）を公式化する（３２１）。問題とするポイント２２７に線トレース２２３を向ける。例えばＧＰＵおよびOpenGLライブラリを使用するコンピュータプログラムを用い、三次元ポリゴン２１９と線トレース２２３の交点２２８を決定する（３２３）。こうして、問題とするポイント２２７のグローバルまたはローカル座標が決定される。
【００３２】
次に３Ｄ空間座標をグローバルまたはローカル座標に変換する（３２５）。この変換は、例えば３Ｄ空間データグリッド２３１の原点（例えばデータ収集デバイス２１１）のグローバルまたはローカル座標を決定し、原点から問題とするポイント２２７の三次元座標への距離および方位を決定することにより実行できる。これとは異なり、別の例として、３Ｄ空間データグリッド２３１上の別のポイントのグローバルまたはローカル座標を計算してもよい。その後、このポイントから問題とするポイントまでの３Ｄ空間データグリッド２３１のＸ、ＹおよびＺ座標上の差を計算することにより、このポイントと問題とするポイントとの間の距離および方位を決定できる。
【００３３】
図４は、三次元モデル２０２上の問題とする２つのポイント２２７の間の距離および／または方位を決定するための方法を示すフローチャート４００である。グローバルまたはローカル一決定方法（その一実施例は図３に示されている）を使って、三次元画像上の問題とする第１ポイント２２７のグローバルまたはローカル座標を決定する（４０１）。同じ方法を使って、第２の問題とするポイント２２７のグローバルまたはローカル座標を決定する（４０３）。
【００３４】
問題とする第１ポイント２２７と問題とする第２ポイント２２７との間の距離は、例えば緯度、経度および高度の差を決定することによって計算する（４０５）。問題とするポイント２２７の間の方位または方向は、基本三角法を使って計算することもできる（４０７）。例えば一実施例では、ペイントされた標識２０９と、街灯１０３との間の距離を決定してもよい。
【００３５】
図４に概略が示されたステップは種々の方法および異なる順序で実行できる。例えばグローバルまたはローカル座標を決定する前に、問題とする第１ポイント２２７および問題とする第２ポイント２２７の位置を識別してもよい。次に、問題とするポイント２２７の双方を識別した後に、これらポイントのグローバル座標またはローカル座標を決定し、対応する距離または角度を決定してもよい。
【００３６】
本明細書に開示するシステムおよび方法は、種々の重要なタスク、例えば建設当初の探査、デスクトップ探査および探査ポイント発生を実行するのに使用できる。ここで、建設当初の探査とは、以前存在した、または以前建設された対象（例えばビルおよび高速道路）のためのグローバルまたはローカル座標を得るために、本明細書に開示するシステムおよび方法を使用するプロセスを意味する。デスクトップ探査とは、以前、直接的なグローバルまたはローカル位置データを得たり決定したりできなかったシーン内の対象に対するグローバルまたはローカル座標を得るためのプロセスを意味するが、この場合グローバルまたはローカル座標を得るためにシーンに再訪問してグローバルまたはローカル位置データを収集する必要はない。探査ポイント発生とは、グローバルまたはローカルデータを同様に収集されなかったシーン内の特定ポイントの、グローバルまたはローカル座標を、そのシーンに再訪問することなく識別する方法を意味する。
【００３７】
本明細書で使用するように、グローバル座標またはグローバル位置データなる用語は、ポイント、対象または領域のグローバル位置を示す任意のタイプのデータを意味する。同様に、ローカル座標、フィールド固有の座標またはローカル位置なる用語は、ポイント、対象または領域のローカル位置を示す任意のタイプのデータを意味する。グローバル座標データは、例えばＧＰＳデータまたはトータルステーションシステムを使って得られたデータから誘導してもよいし、または例えばＧＰＳ、ＧＣＳ、ＵＴＭまたはＥＣＥＦデータでもよい。ローカルまたはフィールド固有の座標系内のポイント、対象または領域の位置を決定するのに、本明細書に開示するシステムおよび方法を利用できることにも留意すべきである。従って、グローバル位置、グローバル座標、グローバル測位システムおよびＧＰＳ信号、並びに関連する用語は、ローカルまたはフィールド固有の座標または座標系、例えばステート平面座標系またはその他の座標系も含むことができる。より詳細には、ローカルまたはフィールド固有の座標系に対してデータ収集デバイス２０１の各々を決定することもできる。次に、各データ収集デバイスによって収集された３Ｄ空間データおよび画像データをローカルまたはフィールド固有の座標系に対して配向させ、３Ｄ空間データおよび画像データを整合することができる。その後、整合された３Ｄ空間データおよび画像データ内のポイントの位置をオプションとしてローカルまたはフィールド固有の座標系に対して決定してもよい。また、ある状況では、ローカルまたはフィールド固有の座標が適当であり、任意の種類のグローバル座標は不要となる。更に別の実施例では、これまで説明したシステムおよび方法を使って位置のグローバル座標を決定してもよい。その後、使用中のグローバル座標系に対するローカルまたはフィールド固有の座標系の決定された位置または既知の位置に基づき、これらグローバル座標をローカルまたはフィールド固有の座標系に変換できる。
【００３８】
図５は、コンピュータシステム５０１内で一般に使用される主要なハードウェアコンポーネントを示すブロック図である。例えば本明細書に説明した多くの計算を実行するのに、コンピュータシステム５０１を使用できる。図示されているコンポーネントは、同じ物理的構造体内に設けてもよいし、別個のハウジングまたは構造体内に設けてもよい。
【００３９】
コンピュータシステム５０１は、プロセッサ５０３と、メモリ５０５とを含む。プロセッサ５０３は、コンピュータシステム５０１の作動を制御し、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）または当技術分野で知られているその他のデバイスとして具現化できる。プロセッサ５０３は、メモリ５０５内に記憶されているプログラム命令に基づき、論理または代数演算を一般に実行する。
【００４０】
本明細書で使用するメモリ５０５なる用語は、電子情報を記憶できる任意の電子コンポーネントとして広義に定義し、このメモリは、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶メディア、光記憶メディア、ＲＡＭにおけるフラッシュメモリデバイス、プロセッサ５０３と共に含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタなどとして具現化できる。このメモリ５０５は、一般にプログラム命令およびその他のタイプのデータを記憶する。本明細書に開示した方法の一部またはすべてを実現するよう、プロセッサ５０３によってプログラム命令を実行できる。
【００４１】
コンピュータシステム５０１は、一般に他の電子デバイスと通信するための１つ以上の通信インターフェース５０７も含む。この通信インターフェース５０７は、有線通信技術、無線通信技術またはその双方の技術に基づくことができる。通信技術インターフェース５０７の異なるタイプの例として、シリアルポート、パラレルポート、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＩＳＣ）バスインターフェース、赤外線（ＩＲ）通信ポート、ブルートゥース無線通信アダプタなどを挙げることができる。
【００４２】
コンピュータシステム５０１は、１つ以上の入力デバイス５０９および１つ以上の出力デバイス５１１も一般に含む。入力デバイス５０９の異なる種類の例として、キーボード、マウス、マイク、リモコンデバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペンなどを挙げることができ、出力デバイス５１１の異なる種類の例として、スピーカー、プリンタなどを挙げることができる。コンピュータシステムに一般に含まれるある特定のタイプの出力デバイスとして、ディスプレイデバイス５１３がある。本明細書で開示する実施例と共に使用されるディスプレイデバイス５１３は、適当な画像投射技術、例えば陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネッセンスなどを利用できる。メモリ５０５に記憶されるデータを、ディスプレイデバイス５１３にディスプレイされるテキスト、グラフィックおよび／または動く画像（適当な場合）に変換するためのディスプレイコントローラ５１５も設けることができる。
【００４３】
当然ながら、図５は、コンピュータシステム５０１の１つの可能なコンフィギュレーションしか示していない。ここに示した以外の種々のアーキテクチャおよびコンポーネントも使用でき、コンポーネント５０１は、単なる例として示すデスクトップまたはラップトップコンピュータシステムとして、またはＬＩＤＡＲまたは他の３Ｄ空間データスキャナ、ＧＰＳ受信機および／または画像形成デバイス（例えばデジタルカメラ）に接続して作動する埋め込みコンピュータデバイスとして具現化することができる。
【００４４】
種々の異なる技術をうちの任意のものを使って、本願に記載する情報および信号を表示できる。例えばこれまでの説明全体で述べたデータ、命令、コマンド、情報、信号、ビット、記号およびチップは、電圧、電流、電磁波、磁界または粒子、光学的場または粒子、もしくはそれらの任意の組み合わせで示すことができる。
【００４５】
本明細書に開示した実施例に関連して説明した種々の論理ブロック、モジュール、回路およびアルゴリズムのステップは、電子的ハードウェア、コンピュータソフトウェアまたはその双方の組み合わせによって実現できる。ハードウェアとソフトウェアのこのような相互交換可能性を明瞭に示すために、これまで機能に関連して種々の図示したコンポーネント、ブロック、モジュール、回路およびステップについて説明した。かかる機能をハードウェアとして実現するか、またはソフトウェアとして実現するかは、特定の応用例およびシステム全体に課される設計上の条件によって決まる。当業者であれば、各特定の応用例に対して種々の方法で、これまで説明した機能を実現できようが、かかる実現の判断は本発明の範囲からの逸脱を生じさせると解してはならない。
【００４６】
本明細書に開示した実施例に関連してこれまで説明した種々の説明上の論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特定集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、または本明細書に説明した機能を実行するようになっているそれらの任意の組み合わせにより実現または実行できる。汎用プロセッサはマイクロプロセッサでよいが、別の例として、プロセッサを従来のプロセッサ、コントローラ、マイクロコントローラまたはステートマシンとしてもよい。プロセッサは、計算デバイスの組み合わせとして、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、またはかかる他の任意のコンフィギュレーションとして実現することもできる。
【００４７】
本明細書に開示する実施例に関連して説明する方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサで実行されるソフトウェアモジュールで、またはこれらの組み合わせで具現化できる。ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤＲＯＭまたは当技術分野で公知の他の任意の形態の記憶メディア内にソフトウェアモジュールを常駐させてもよい。プロセッサが記憶メディアから情報を読み出したり、記憶メディアに情報を書き込むことができるよう、プロセッサに記憶メディアが結合される。別の例では、この記憶メディアはプロセッサと一体化してもよい。ＡＳＩＣ内にプロセッサと記憶メディアを常駐させてもよい。このＡＳＩＣは、ユーザーターミナル内に常駐できる。別の例では、プロセッサと記憶メディアとが、ユーザーターミナル内にディスクリートコンポーネントとして常駐できる。
【００４８】
本明細書に開示した方法は、ここに説明した方法を実行するための１つ以上のステップまたは動作を含む。これら方法のステップおよび／または動作は、本発明の範囲から逸脱することなく、相互に交換できる。換言すれば、実施例を適当に作動させるのに、特定の順序のステップまたは動作が必要でなければ、本発明の範囲から逸脱することなく、特定のステップおよび／または動作の順序および／または使用を変更することができる。
【００４９】
以上で、本発明の特定の実施例および応用例について図示し、説明したが、本発明は、本明細書に開示したものと同じコンフィギュレーションおよびコンポーネントだけに限定されるものではないと理解すべきである。当業者には明らかなように、本発明の要旨から逸脱することなく、本明細書に開示した方法およびシステムの配置、作動および細部に関して、種々の変形、変更および改変を行うことが可能である。
【図面の簡単な説明】
【００５０】
【図１】１つのシーンのためのグローバル測位システム（ＧＰＳ）データ、写真ピクセルデータおよび３Ｄ空間データを収集するためのシステムの一実施例のブロック図である。
【図２Ａ】あるシーンの三次元画像を示す二次元画像をディスプレイするコンピュータシステムの一実施例のブロック図である。
【図２Ｂ】図２Ａに示された画像の一部のクローズアップ図である。
【図３】三次元画像上の問題とするポイントのグローバルまたはローカル座標を決定するための方法の一実施例を示すフローチャートである。
【図４】三次元画像上の問題とする２つのポイントの間の方位、傾き、距離または他の測定値を決定する方法の一実施例を示すフローチャートである。
【図５】本明細書に開示した発明に関連し、またはその一部として利用できるコンピュータシステム内で一般に使用される主要なハードウェアコンポーネントを示すブロック図である。
【図１】
2009532784.tif 000003
【図２Ａ】
2009532784.tif 000004
【図２Ｂ】
2009532784.tif 000005
【図３】
2009532784.tif 000006
【図４】
2009532784.tif 000007
【図５】
2009532784.tif 000008
【国際調査報告】
2009532784.tif 000009