(57)【要約】拡張仮想環境を実施するためのシステムおよび技術。一実施例において、この技術は、環境の三次元（３Ｄ）モデルを、その環境のハイトフィールドを表すレンジセンサー情報から生成することと、三次元モデルに対して環境内の画像センサーの向きの情報をリアルタイムで追跡することと、画像センサーからのリアルタイムの映像を、追跡した向きの情報に基づいて三次元モデル上に投影することと、投影されたリアルタイムの映像を用いて三次元モデルを可視化することを含む。三次元モデルを作成することは、幾何プリミティブのレンジセンサー情報へのパラメータフィッティングを伴う。この技術はまた、リアルタイムの映像中に含まれる背景画像に対して動きのある領域をリアルタイムに特定することと（この場合の背景画像は、リアルタイムの映像情報の時間平均から動的にモデリングされた単一分布の背景である）、移動領域に対応する表面を３Ｄモデルに配置することを含む。
2006503379.tif 000002
【特許請求の範囲】
【請求項１】
環境の三次元モデルを、前記環境のハイトフィールドを表すレンジセンサー情報から生成することと、前記環境内の少なくとも一つの画像センサーの向きの情報を前記三次元モデルに対してリアルタイムで追跡することと、前記少なくとも一つの画像センサーからのリアルタイムの映像情報を、追跡した向きの情報に基づいて三次元モデル上に投影することと、投影されたリアルタイムの映像を用いて前記三次元モデルを可視化することを含む、方法。
【請求項２】
前記三次元モデルを生成することは、幾何プリミティブをレンジセンサー情報にパラメトリックフィッティングすることを含む、請求項１に記載の方法。
【請求項３】
前記三次元モデルを生成することは更に、レンジセンサー情報に含まれる構造物を特定することと、特定された構造物に対し、構造物の形状に基づいてパラメータフィッティングを行うための、超二次曲線を含む一組の幾何プリミティブを選択することを含む、請求項２に記載の方法。
【請求項４】
前記少なくとも一つの画像センサーは多数の画像センサを備え、三次元モデルを作成することは更に、画像センサーによって得られた画像からマッピングされたオブジェクトの表面に基づいて三次元モデルを修正することを含む、請求項２に記載の方法。
【請求項５】
三次元モデルを作成することは更に、ハイトフィールドを作成するために、レンジセンサー情報に含まれる点を標準グリッド上にユーザー定義の解像度で投影・リサンプリングすることを含む、請求項１に記載の方法。
【請求項６】
三次元モデルを作成することは更に、ハイトフィールドを穴埋めとテセレーションを用いて処理し、前記三次元モデルの三角メッシュ表現を作成することを含む、請求項５に記載の方法。
【請求項７】
前記レンジセンサー情報は、アクティブ航空レーザーセンサーからのライダー（ＬＩＤＡＲ）センサーデータを備える請求項２に記載の方法 
【請求項８】
向きの情報を追跡することは、少なくとも一つの画像センサーの位置と向きの情報を、カメラ画像に写っている点と線の構造の三次元パラメータに少なくとも部分的に基づいてカメラの姿勢を推定することによって追跡することを含み、リアルタイムの映像情報を投影することは、前記少なくとも一つの画像センサーからのリアルタイムの映像情報を、追跡した向きの情報に基づいて三次元モデル上に投影することを含む、請求項１に記載の方法。
【請求項９】
前記少なくとも一つの画像センサーの向きの情報を追跡することは更に、視覚入力、全地球的航法衛星システムレシーバーへの入力、慣性方位センサーへの入力を統合する追跡センサーシステムからのデータを処理することを含む、請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの画像センサーは多数の画像センサーを備え、リアルタイムの映像情報を投影することは、前記多数の画像センサーからの多数のビデオストリームを三次元モデル上に投影することを含む、請求項１に記載の方法。
【請求項１１】
リアルタイムの映像情報を投影することは、ビデオセンサーの視点から見たデプスマップ画像を生成することと、リアルタイムの映像情報を、生成したデプスマップ画像から判断して可視であることを条件に、三次元モデル上に投影テクスチャーマッピングすることを含む、請求項１に記載の方法。
【請求項１２】
デプスマップ画像を作成することとリアルタイムの映像情報を投影テクスチャーマッピングすることは、ＳＧＩのＯｐｅｎＧＬ拡張をサポートしているグラフィックスハードウエア上で、１パスアプローチを用いて実行される、請求項１１に記載の方法。
【請求項１３】
三次元モデルを可視化することは、ディスプレイ画面にステレオビデオプロジェクターを用いて映像投影することと、トラッカーからのデータを用いてレンダリングの視点をユーザーの頭の位置に連動させることを含む、請求項１に記載の方法。
【請求項１４】
環境の三次元モデルを、前記環境のハイトフィールドを表すレンジセンサー情報から生成するモデル構成装置と、環境内の、三次元モデルに対してリアルタイムに追跡した少なくとも一つの画像センサーの向きの情報に基づいて前記少なくとも一つの画像センサーからのリアルタイムの映像情報を三次元モデル上に投影する動的融合映像投影装置と、投影されたリアルタイムの映像を用いて前記三次元モデルを可視化する可視化サブシステムを備える、拡張仮想環境システム。
【請求項１５】
前記少なくとも一つの画像センサーは、多数の画像センサーを備える、請求項１４に記載のシステム。
【請求項１６】
前記リアルタイムの映像情報は、録画前のリアルタイムの映像情報を備える、請求項１５に記載のシステム。
【請求項１７】
前記動的融合映像投影装置は、多数の画像センサーを結びついた視点から離れている一視点を基準にしてリアルタイムの映像投影を行う、請求項１５に記載のシステム。
【請求項１８】
前記モデル構成装置は、レンジセンサー情報に含まれる構造物を特定することと、超二次曲線を含む一組の幾何プリミティブを構造物の形状に基づいて選択することと、選択された幾何プリミティブのレンジセンサー情報へのパラメトリックフィティングを行うことを含む処理を実行する、請求項１４に記載のシステム。
【請求項１９】
前記処理は更に、ハイトフィールドを作成するために、レンジセンサー情報に含まれる点を標準グリッド上にユーザーの定義した解像度で投影・リサンプリングすることと、穴埋めとテセレーションを用いてハイトフィールドを処理し、前記三次元モデルの三角メッシュ表現を作成することを含む、請求項１８に記載のシステム。
【請求項２０】
前記少なくとも一つの画像センサーは多数の画像センサーを備え、三次元モデルを作成することは更に、画像センサーによって得られた画像からマッピングされたオブジェクトの表面に基づいて三次元モデルを修正するモデル修正装置を含む、請求項１４に記載のシステム。
【請求項２１】
更に、覚入力、全地球的航法衛星システムレシーバーへの入力、慣性方位センサーへの入力を統合して少なくとも一つの画像センサーの位置と向きの情報を追跡する追跡センサーシステムを備え、前記動的融合映像投影装置は、前記位置と向きの情報に基づいてリアルタイムの映像情報を投影する、請求項１４に記載のシステム。
【請求項２２】
前記視覚化サブシステムは、前記動的融合映像投影装置と、ＳＧＩのＯｐｅｎＧＬ拡張をサポートしているグラフィックスハードウエアを備え、前記グラフィックスハードウエア上で１パスアプローチを用い、ビデオセンサーの視点から見たデプスマップ画像を作成し、作成したデプスマップ画像から判断して可視であることを条件にリアルタイムの映像情報を投影するためにリアルタイムの映像情報を投影テクスチャーマッピングする、請求項１４に記載のシステム。
【請求項２３】
前記視角化サブシステムは、ステレオビデオプロジェクターとトラッカーを備える、請求項１４に記載のシステム。
【請求項２４】
環境の三次元モデルを得ることと、前記三次元モデルに対して関連する位置と向きの情報を有する少なくとも一つの画像センサーからのリアルタイムの映像情報に含まれ、背景画像に対して動きのある領域をリアルタイムに特定することと、この場合の背景画像は、前記リアルタイムの映像情報の時間平均から動的にモデリングされた単一分布の背景であり、前記動いている領域に対応する表面を前記三次元モデル内に配置することと、リアルタイムの映像情報を前記表面を含む前記三次元モデル上に、前記位置と向きの情報に基づいて投影することと、投影されたリアルタイムの映像を用いて三次元モデルを可視化することを含む、方法。
【請求項２５】
前記表面は二次元表面を備える請求項２４に記載の方法。
【請求項２６】
二次元表面を配置することは、リアルタイムの映像情報に対応する光心から三次元モデルにおける画像平面内の動いている領域の底点へ光線を投射することと、前記二次元表面の位置、向き、大きさを、前記光線、前記三次元モデルにおける基底面、および前記動いている領域に基づいて決定することを含む、請求項２５に記載の方法。
【請求項２７】
動きのある領域をリアルタイムで特定することは、前記背景画像をリアルタイムの映像情報から抜き出すことと、抜き出したリアルタイムの映像情報における前景のオブジェクトを特定することと、隣接する画像フレーム内の特定されたオブジェクト同士を相関マッチングすることによって前景のオブジェクトを確認することと、確認された前景のオブジェクトを出力することを含む、請求項２４に記載の方法。
【請求項２８】
前景のオブジェクトを特定することは、ヒストグラムベースの閾値と形態的ノイズフィルターを用いて抜き出したリアルタイムの映像情報における前景のオブジェクトを特定することを含む、請求項２７に記載の方法。
【請求項２９】
動きのある領域をリアルタイムに特定することは更に、背景画像を、リアルタイムの画像情報に含まれる最近の五つの履歴フレームの時間的画素平均としてモデリングすることで推定することを含む、請求項２８に記載の方法。
【請求項３０】
更に、環境における少なくとも一つの画像センサーの位置と向きの情報を三次元モデルに対してリアルタイムに追跡することを含む、請求項２４に記載の方法。
【請求項３１】
環境の三次元モデルを得ることは、その環境のハイトフィールドを表すレンジセンサー情報から三次元モデル作成することを含む、請求項３０に記載の方法。
【請求項３２】
三次元モデルに対して関連する位置と向きの情報を有する少なくとも一つの画像センサーからのリアルタイムの映像情報に含まれ、前記リアルタイムの映像情報の時間平均から動的にモデリングされた単一分布の背景である背景画像に対して動きのある領域をリアルタイムに特定し、前記三次元モデルに対して動いている領域に対応する表面を配置するオブジェクト検出・追跡装置と、リアルタイムの映像情報を前記表面を含む前記三次元モデル上に、前記位置と向きの情報に基づいて投影する動的融合映像投影装置と、投影されたリアルタイムの映像を用いて三次元モデルを可視化する可視化サブシステムを備える拡張仮想環境システム。
【請求項３３】
前記表面は二次元表面を備える、請求項３２に記載の方法。
【請求項３４】
前記オブジェクト検出・追跡装置は、リアルタイムの映像情報に対応する光心から三次元モデルにおける画像平面内の動いている領域の底点へ光線を投射することと、前記二次元表面の位置、向き、大きさを、前記光線、前記三次元モデルにおける基底面、および前記動いている領域に基づいて決定することを含む処理を実行することで、前記二次元表面を配置する、請求項３３に記載のシステム。
【請求項３５】
前記オブジェクト検出・追跡装置は、前記背景画像をリアルタイムの映像情報から抜き出すことと、抜き出したリアルタイムの映像情報における前景のオブジェクトを特定することと、隣接する画像フレーム内の特定されたオブジェクト同士を相関マッチングすることによって前景のオブジェクトを確認することと、確認された前景のオブジェクトを出力することを含む処理を実行することで、前記動きのある領域をリアルタイムで特定する、請求項３２に記載のシステム。
【請求項３６】
前景のオブジェクトを特定することは、ヒストグラムベースの閾値と形態的ノイズフィルターを用いて抜き出したリアルタイムの映像情報における前景のオブジェクトを特定することを含む、請求項３５に記載のシステム。
【請求項３７】
動きのある領域をリアルタイムに特定することは更に、背景画像を、リアルタイムの画像情報に含まれる最近の五つの履歴フレームの時間的画素平均としてモデリングすることで推定することを含む、請求項３６に記載のシステム。
【請求項３８】
更に、視覚入力、全地球的航法衛星システムレシーバーへの入力、慣性方位センサーへの入力を統合してリアルタイムの映像情報とともに少なくとも一つの画像センサーに関連する位置と向きの情報を得る追跡センサーシステムを備える、請求項３２に記載のシステム。
【請求項３９】
更に、環境の三次元モデルを、その環境のハイトフィールドを表すレンジセンサー情報から作成するモデル構成装置を備える、請求項３８に記載のシステム。
【請求項４０】
環境の三次元モデルを、その環境のハイトフィールドを表すレンジセンサー情報から作成することと、環境内の少なくとも一つの画像センサーの向きの情報を前記三次元モデルに対してリアルタイムで追跡することと、前記少なくとも一つの画像センサーからのリアルタイムの映像を、追跡した向きの情報に基づいて三次元モデル上に投影することと、投影されたリアルタイムの映像を用いて前記三次元モデルを可視化することを含む処理を、一つ以上の機械に実行させる命令を表す情報を具現化する、機械可読媒体。
【請求項４１】
三次元モデルを作成することは、レンジセンサー情報に含まれる構造物を特定することと、超二次曲線を含む一組の幾何プリミティブを構造物の形状に基づいて選択することと、選択された幾何プリミティブのレンジセンサー情報へのパラメトリックフィティングを行うことを含む、請求項４０に記載の機械可読媒体。
【請求項４２】
環境の三次元モデルを得ることと、前記三次元モデルに対して関連する位置と向きの情報を有する少なくとも一つの画像センサーからのリアルタイムの画像情報に含まれ、背景画像に対して動きのある領域をリアルタイムに特定することと、この場合の背景画像は、前記リアルタイムの映像情報の時間平均から動的にモデリングされた単一分布の背景であり、前記動いている領域に対応する表面を前記三次元モデル内に配置することと、リアルタイムの映像情報を前記表面を含む前記三次元モデル上に、前記位置と向きの情報に基づいて投影することと、投影されたリアルタイムの映像を用いて三次元モデルを可視化することを含む処理を、一つ以上の機械に実行させる命令を表す情報を具現化する、機械可読媒体。
【請求項４３】
表面を配置することは、リアルタイムの映像情報に対応する光心から三次元モデルにおける画像平面内の動いている領域の底点へ光線を投射することと、前記二次元表面の位置、向き、大きさを、前記光線、前記三次元モデルにおける基底面、および前記動いている領域に基づいて決定することを含む、請求項４２に記載の機械可読媒体。
【請求項４４】
動きのある領域をリアルタイムで特定することは、前記背景画像をリアルタイムの映像情報から抜き出すことと、抜き出したリアルタイムの映像情報における前景のオブジェクトを特定することと、隣接する画像フレーム内の特定されたオブジェクト同士を相関マッチングすることによって前景のオブジェクトを確認することと、確認された前景のオブジェクトを出力することを含む請求項４２に記載の機械可読媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
関連出願の参照
本出願は、米国仮出願第６０／４１８，８４１号  発明の名称「ＡＵＧＭＥＮＴＥＤ  ＶＩＲＴＵＡＬ  ＥＮＶＩＲＯＮＭＥＮＴＳ（ＡＶＥ）  ＦＯＲ  ＶＩＳＵＡＬＩＺＡＴＩＯＮ  ＡＮＤ  ＦＵＳＩＯＮ  ＯＦ  ＤＹＮＡＭＩＣ  ＩＭＡＧＥＲＹ  ＡＮＤ  ３Ｄ  ＭＯＤＥＬＳ」（２００２年１０月１５日出願）の優先権を主張するものであり、かつ米国特許出願第１０／２７８，３４９号  発明の名称「ＥＸＴＥＮＤＡＢＬＥ  ＴＲＡＣＫＩＮＧ  ＢＹ  ＬＩＮＥ  ＡＵＴＯ−ＣＡＬＩＢＲＡＴＩＯＮ」（２００２年１０月２２日出願）のＣＩＰ出願であり、その優先権を主張するものである。
【０００２】
連邦助成研究に関する記述
ここに記載された発明は、ＮＳＦ（米国国立科学財団）とＡＲＯ−ＭＵＲＩ（陸軍研究事務所−多分野大学研究イニシアティブ）によるＮＳＦ  ＥＲＣ  ＥＥＣ−９５２９１５２  ＳＡ２９２１の業務遂行においてなされたもので、これにより政府はこの発明に対する一定の権利を有し、契約者が権利保持を選択することを定めた公法９６−５１７（３５Ｕ．Ｓ．Ｃ．２０２）の規定に従う。
【０００３】
発明の背景
本出願は、仮想環境、例えば拡張仮想環境に関するシステムおよび技術について説明するものである。
【０００４】
様々なセンシングやモデリングの技術によって、仮想環境を作り出し、可視化する方法がもたらされている。従来のモデリングシステムによりプログラマーは、標準的な幾何プリミティブやあらかじめモデリングされたオブジェクトのライブラリを手動で操作したり、あるいはキーポイントの数値化を行うことで、幾何モデルを作成することができる。また、手動で情景モデルを作成するのに用いられる広い環境の実データを取得するため、様々な技術が用いられてきた。写真のようにリアルな映像を生成するために用いられる静止映像の幾何モデル上へのテクスチャーマッピング、通常は、固定カメラで撮影した静止テクスチャをモデリングしたオブジェクトに対して、既知、またはコンピュータで変換したテクスチャを用いて行うも含め、作成したモデル上へのテクスチャーマッピングもサポートされるようになっている。
【０００５】
発明の要約
本開示は、拡張仮想環境に関するシステムと技術を含むものである。一局面によれば、環境の三次元モデルが、その環境のハイトフィールドを表すレンジセンサー（距離センサー）の情報から作成される。環境内の少なくとも一つの画像センサーの位置と向きの情報が、三次元モデルに対してリアルタイムに追跡される。少なくとも一つの画像センサーからのリアルタイムの映像情報は、追跡した位置と向きの情報に基づいて三次元モデル上に投影でき、その三次元モデルは、投影されたリアルタイムの映像を用いて可視化できる。さらに、三次元モデルを作成することは、幾何プリミティブのレンジセンサー情報へのパラメトリックフィッティングを伴う。
【０００６】
別の局面によれば、環境の三次元モデルが得られる。少なくとも一つの画像センサーからのリアルタイムの映像情報内の背景画像に対して動きのある領域がリアルタイムに特定される。この場合、背景画像は、リアルタイムの映像情報の時間平均から動的にモデリングされた単一分布の背景である。その動いている領域に対応する面が、三次元モデルに配置される。リアルタイムの映像情報が、そのセンサーの位置と向きの情報に基づいてその面を含む三次元モデル上に投影され、その三次元モデルは、投影されたリアルタイムの映像を用いて可視化できる。
【０００７】
さらに、面を配置することは、リアルタイムの映像情報に対応する光心から三次元モデルにおける画像平面内を動いている領域の底点へ光線を投射することと、二次元面の位置、向き、大きさを、その光線、三次元モデルにおける基底面、および動いている領域に基づいて決定することを含む。動きのある領域をリアルタイムで特定することは、背景画像をリアルタイムの映像情報から抜き出すことと、抜き出したリアルタイムの映像情報における前景のオブジェクトを特定することと、隣接する画像フレーム内の特定されたオブジェクト同士を相関マッチングすることによって前景のオブジェクトを確認することと、確認された前景のオブジェクトを出力することを含む。
【０００８】
詳細な説明
図１は、拡張仮想環境システム１００を示すブロック図である。システム１００は、複数のレンジセンサー１１０、複数の画像センサー１２０、複数の追跡センサー１３０を含んでいる。これらのセンサー１１０、１２０、１３０は、データ収集装置１４０や運動追跡装置１５０など、システム１００の様々な装置に情報を入力できる。
【０００９】
データ収集装置１４０は、モデル復元装置１６０に情報を供給でき、運動追跡装置１５０は、モデル改良装置１７０に情報を供給できる。モデル復元装置１６０とモデル改良装置１７０は、拡張仮想環境の作成中に対話を行って、連続的に三次元（３Ｄ）モデルを改良する。画像センサー１２０、モデル復元装置１６０、モデル改良装置１７０は、動的融合映像投影装置１８０に情報を送り、動的融合映像投影装置１８０は、拡張仮想環境情報を可視化サブシステム１９０に送って拡張仮想環境を作成できる。
【００１０】
システム１００は、迅速かつ確実にリアルな三次元仮想環境モデルを作成でき、この三次元仮想環境モデルは、エンジニアリング、ミッションプランニング、トレーニングシミュレーション、娯楽、戦術計画、戦場における軍事作戦など、多種多様な仮想環境を用いる用途に適用できる。画像センサー１２０を用いてリアルタイムのテクスチャー画像を取得し、作り出された３Ｄモデル上にマッピングすることができ、これにより、モデリングされた環境の動的かつ最新の映像が実現される。これは、軍事指揮統制、個人または車両の追跡、大規模災害管理など、処理速度が重視される用途に特に有用である。システム１００は、ビデオや他のセンサーのリアルタイムのデータを用いて、動的な表示物と幾何データとを迅速かつ正確に融合することができる。
【００１１】
拡張仮想環境（ＡＶＥ）システム１００は、実環境における動的な時空間イベントや変化を収集し、表現し、可視化できる。ＡＶＥシステム１００は、以下に詳説するように、総合的なシステムと、モデル復元、モデル修正、建造物抽出、センサー追跡、リアルタイムの映像／画像収集、３Ｄ可視化のための動的なテクスチャー投影などの技術を用いて動的な映像を３Ｄモデル上へ融合することよって、拡張された仮想現実を実現する。ＡＶＥシステム１００は、上記の技術を用いて、多数のセンサーソースに基づいてリアルな幾何モデルを迅速に作り出し、それらのモデルを動的に修正・更新する。これにより、幾何学的情報と仮想環境の見た目とを、現実の世界を正確かつリアルに再現したものとすることができる。多数の動的な映像ストリームを３Ｄモデル下地に融合し、データを矛盾なく可視化することができる。これにより、状況把握やオブジェクトの追跡、イベントの検出が促進される。これは、ＡＶＥシステムで映像を見ているユーザーにとって、シーン内を動いている多数のカメラから同時に送られてくる多数の画像ストリームを理解し、把握する助けとなる。
【００１２】
レンジセンサー１１０は、環境の３Ｄ幾何サンプルを迅速に収集するため、一以上のアクティブ航空レーザーセンサーを含んでおり、最初のモデルは、こうしたレーザーセンサーからの情報から得ることができる。生データサンプルは処理されて、環境の忠実な３Ｄ幾何メッシュモデルとなる。例えば、広い環境のハイトフィールドを航空機の低空飛行で迅速に収集する場合は、ライダー（ＬｉＤＡＲ；ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）センサーシステムを用いることができる。集められたデータは、高さについてはセンチ単位の正確さを有し、地上の位置については、メートル以下の単位の正確さを有する。新しいセンサーシステムを用いれば、さらに高い正確さを得ることもできる。航空機のルートを多数結合して必要範囲を網羅することができ、最終結果は、３Ｄサンプル点群となる。
【００１３】
これらの点は、穴埋めやテセレーションに適したハイトフィールドを作成するため、ユーザーの定義した分解能で通常の標準グリッド上に投影・リサンプリングされる。モデル復元段階では、自動的に３Ｄ点群を処理し、復元された３ＤメッシュモデルをＶＲＭＬ（仮想現実モデリング言語；Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）形式で出力する。システム１００においては、データ収集装置１４０が、リアルタイムの幾何学的および映像の測定結果を収集し、モデル復元装置１６０が複数組の獲得した幾何学的な測定結果から単一の３Ｄサーフェイスモデルを得る。
【００１４】
運動追跡装置１５０は、位置合わせとデータ融合に用いる画像センサーの姿勢と運動のデータを提供する。このセンサーの追跡は、他のセンサープラットフォームが幾何図形や映像を収集する場合にシステム１００が正常に機能するのを助ける。多数の画像センサー１２０からのセンサーデータを共通のシーンモデルへと適切に投影するには、追跡したプラットフォームの位置と向きを把握しなければならない。これは、ディファレンシャルＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の受信装置を市販のオリエンテーションセンサーと組み合わせてビデオカメラと接続した自給式の携帯型追跡システムを作り出すことで、効果的に達成される。
【００１５】
システムが屋外環境内を動くと、カメラの６自由度姿勢は、センサーがリアルタイムに追跡する。追跡データは、リアルタイムにコード化されてカメラ映像のストリームとともに保存される。このデータは、システム１００の他の部分に転送されて更に処理されたり、ローカル記憶装置（例えばハードドライブやラップトップコンピュータなど）に保存することもできる。以下に図２を参照して説明するように、追跡、カメラ、転送、記録のシステム一式は、バックパックに収納して持ち運びできる。
【００１６】
モデル改良装置１７０は、復元されたモデルを確認し、改良するとともに、支配的な情景の特徴を抽出する。自動キャリブレーション法は、点と線の構造の３Ｄパラメータとカメラの姿勢を、同時に自動的に推定する。線と点は、人工構造物に典型的な支配的特長であり、こうした特長は、追跡システムから得られたカメラ姿勢の推定結果の正確さと安定性を向上させるのに役立つ。こうした自動キャリブレーションのシステムと技術は、米国特許出願第１０／２７８，３４９号  発明の名称「ＥＸＴＥＮＤＡＢＬＥ  ＴＲＡＣＫＩＮＧ  ＢＹ  ＬＩＮＥ  ＡＵＴＯ−ＣＡＬＩＢＲＡＴＩＯＮ」（２００２年１０月２２日出願）に詳しく述べられており、この出願は、参照により本出願に組み込む。
【００１７】
データ融合装置１８０は、理解を深めたり、情報の抽出や動的なシーン解析を行う際の助けとなるよう、あらゆる様式のモデル、画像、映像、データを結合して矛盾なく可視化する。幾何モデルと画像は融合され、多数の画像ソースを矛盾なく可視化する。画像投影法を採用し、実環境の画像ストリームが動的に３Ｄモデルの光景を動的に拡張できるようにすることもできる。このＡＶＥプロセスは、コンピューターグラフィックスによって実環境の光景を動的に拡張する拡張現実（ＡＲ）のプロセスを補足するものである。
【００１８】
画像投影はまた、モデル復元プロセス中のシーン分割およびエラー特定に有効なメカニズムを実現する。これは、ライダー（ＬｉＤＡＲ）システムでも起こり得る、ノイズの多いデータによってしばしば発生するあいまいさを減少させるのに役立つ。システム１００で用いるデータベースは、幾何図形と環境内のオブジェクトの一時的な映像を結合することができる。したがって、オブジェクトの表面と特徴が、追跡されカメラによって得られた画像から正確にマッピングされ、モデルエラーの特定と修正に役立つ。
【００１９】
可視化サブシステム１９０によって、ユーザーは没入型の視覚体験が可能になるとともに、可視化作業の制御が可能となる。例えば、ディスプレイは、ステレオビデオプロジェクター（例えば、連続フレーム型ステレオビデオプロジェクター）が映像を投影する８フィート×１０フィートのスクリーンとすることができる。トラッカー（例えばシーリングトラッカー）を用いてレンダリングの視点をユーザーの頭の位置と連動させることもでき、これによりユーザーは、高度に没入型の視覚的環境を体験することができる。
【００２０】
図３は、拡張仮想環境を作成するプロセスを示すフローチャートである。ステップ３００で、環境の三次元モデルを、その環境のハイトフィールドを表すレンジセンサー情報から作成できる。ステップ３１０で、環境内の少なくとも一つの画像センサーの位置と向きの情報を、三次元モデルに対してリアルタイムに追跡できる。ステップ３２０で、画像センサーからのリアルタイムの映像情報を、追跡した位置と向きの情報に基づいて、三次元モデル上に投影できる。ステップ３３０で、投影されたリアルタイムの映像を用いて三次元モデルを可視化できる。
【００２１】
図５は、環境の三次元モデルを作成するプロセスを示すフローチャートである。ステップ５００で、レンジセンサー情報中に含まれる点を、ユーザーの定義した解像度で標準グリッド上に投影・リサンプリングしてハイトフィールドを作成できる。ステップ５１０で、ハイトフィールドを穴埋めとテセレーションを用いて処理して三次元モデルの三角メッシュ表現を生成できる。レンジセンサー情報は、世界座標系（例えば、カリフォルニア州エル・セグンドのＡｉｒｂｏｒｎｌ社が提供しているＡｉｒｂｏｒｎe  Ｔｏｐｏｇｒａｐｈｉｃｓ  Ｍａｐｐｅｒデータ）に位置合わせされた３Ｄサンプル点群形式のライダーモデルデータとすることができる。生のライダーデータは、グリッドリサンプリング、穴埋め、テセレーションによって処理されて、連続する３Ｄサーフィスモデルを再現できる。
【００２２】
テセレーション処理は、ドローネー三角分割法を用いることができ、ドローネー三角分割法は、このような場合に使われる他の手法よりも、もとのデータのトポロジーや連結性情報を保持することができる。穴埋め処理は、モデルの幾何トポロジーを保持するため、距離画像にデプス値を直接挿入することで実行できる。エッジ情報を保持するには、適応重み付けした近隣補間法を用いることができる。補間の重み付けは、近隣点と補間すべき点との間の距離の逆関数によって決定できる。補間のウインドウの大きさは、表面の穴の大きさに合わせることができる。表面の穴の大きさが２〜３点分しかない場合は、ごく狭い周辺の範囲を含む小さなウインドウが重み付け補間に使用できる。大きな穴に対しては、補間するのに十分な点が含まれるようにウインドウサイズを大きくできる。
【００２３】
三角メッシュは、その後の処理を容易にするための３Ｄ幾何表現として用いることができる。三角メッシュは、他の多くの幾何的表現へと容易に変換できる。また、多くの詳細度を調節する技法が、三角メッシュ上で作動できる。光度情報も、テクスチャー投影という形で容易に三角メッシュデータに加えることができる。通常のグラフィックスハードウエアもメッシュからの迅速な画像のレンダリングをサポートしている。
【００２４】
例えばライダーから得られるレンジセンサー情報は、広い環境のモデルを迅速かつ効果的に得るための方法を与えてくれる。市街地では、レンジセンサー情報から、建造物や構造物（大規模な都市地物）の有用な類似物が得られる。ステップ５２０で、レンジセンサー情報に含まれる構造物を特定できる。レンジセンサー情報は、建造物の位置および高さという、建造物の明確な情報を与えてくれる。こうした広範囲の幾何情報は、建造物の地表における幾何学的位置を決定し、その周囲から分離するのに使用できる。
【００２５】
レンジセンサー情報に含まれる建造物の特定は、高さに基づいている。例えば、復元された３Ｄメッシュデータに高さの閾値を適用すれば、おおよその建築物マスクを作成できる。このマスクは、メッシュ点全てにフィルターをかけるのに用いられ、マスクを掛けた点は建造物点として抽出される。この特定プロセスでは、高さに加えて、エリアカバー率を考慮することもできる。さらに、用いる高さおよびエリア変数は、モデリングされた領域に関して既知の情報に基づいて設定できる。
【００２６】
ステップ５３０で、構造物の形状に基づいて一セットの幾何プリミティブを選択できる。例えば、建造物の屋根の形（例えば平屋根、傾斜屋根、球状屋根、切妻屋根など）に基づいて、建造物のモデルをいくつかのグループに分類でき（例えば、建造物はセクションごとに分類・モデリングできる）、各グループに対して適切な幾何プリミティブを定義できる。ステップ５４０では、特定された構造物を基準にして、この幾何プリミティブをレンジセンサー情報にフィッティングできる。幾何プリミティブは、立方体、くさび形、円筒、多面体、球などの線形フィッティングプリミティブと、超二次曲線（ＳＵＰＥＲＱＵＡＤＲＡＴＩＣＳ）などの非線形フィッティングプリミティブを含むことができる。
【００２７】
古典的なドーム屋根の建造物やコロシアム、アリーナなどの不規則な形状や表面をモデル化する場合は、高次の表面プリミティブが役に立つ。超二次曲線は、非線形の一般二次表面の延長として数学的に定義されたパラメトリック形状の一種であり、パラメータの少ない多種多様な不規則形状を説明することができる。超二次曲線は、以下に定義するように、あらゆる非線形の高次プリミティブを説明する一般形式として使用できる。
【００２８】
【数１】
2006503379.tif 000003
【００２９】
ただし、ε１、ε２はプリミティブの形状を制御する変形パラメータ、ａｌ、ａ２、ａ３は、それぞれｘ、ｙ、ｚ方向のプリミティブの大きさを定義するパラメータである。これらパラメータを様々に組み合わせることで、超二次曲線は、多種多様な不規則形状だけでなく、多くのＣＧ（Ｃｏｍｍｏｎ  Ｇｒａｐｈｉｃｓ）プリミティブをモデル化することができる。
【００３０】
一度定義されると、各建造物のプリミティブは、パラメトリックモデルとして表すことができる。パラメトリックモデルは、少数だが一定数の変化するパラメータによってプリミティブを説明する。指定パラメータの数は、各プリミティブの特性と、モデルフィッティングの前提知識によって決まる。例えば、３Ｄ空間における一般的な平面は、推定すべき三つのパラメータを持つ式（２）で表すことができる。
【００３１】
【数２】
2006503379.tif 000004
【００３２】
しかし、傾斜屋根のフィッティングの場合は、パラメータａまたはｂをゼロに設定してパラメータ数を３から２に減らしてもよい。これは、もし建造物の向きが、定義された世界座標のｘ軸またはｙ軸にほぼ平行な場合は、パラメータａまたはｂは、大抵の場合ゼロに近くなり、すなわち、建造物の屋根は、通常ｘまたはｙ方向には、一つの斜面しか持たないという観察結果に基づく。他のプリミティブに対しては、この傾斜屋根のフィッティングに対する制約条件（ゼロｘ／ｙ傾斜条件という）を用いることもできるし、似たような制約条件を設定することもできる。
【００３３】
建造物の各セクションは、適切な建造物のプリミティブが定義されたいくつかのグループに分類できる。本システムにおいては、選択された建造物のセクション、すなわち、現在関心が向けられている要素（ＥＯＩ；ｅｌｅｍｅｎｔ  ｏｆ  ｉｎｔｅｒｅｓｔ）は、建造物のセクションの境界を大まかに示す四角いエリアとして示すことができる。このＥＯＩ情報は、ユーザーがマウスを２、３回クリックして与えるか、高さデータの標準偏差と導関数を処理するヒューリスティックを用いてシステムが自動的に決定できる。
【００３４】
平屋根は、人工建造物の屋根としては典型的なタイプであり、三次元平面、直方体、多面体、例えば中空直方体などの複合プリミティブを含む平面プリミティブ群を用いてモデリングできる。これらは皆、デプス表面は式（２）で説明できるという共通の特徴を持つ。３Ｄ平面プリミティブは、２つの基準点と１つの方位によって決定できる。
もし建造物の向きがワーク座標で定義された世界方位に沿っていれば、指定パラメータは、二つに減らすことができる。すなわち、各平面は、二つの対角点で規定できる。
【００３５】
二つの基準点が与えられれば、システムは、世界方位に基づいて自動的に建造物の屋根の角を全て推定する。推定された角の点は、深さ不連続条件を用いて屋根のエッジの検出に用いることができる。建造物のエッジの検出には、改良型の８近隣連結アルゴリズムを用いることができる。第一に、ドローネー再現の幾何連結性情報を用いて、連結されたエッジ点を追跡できる。ドローネー三角分割に沿って存在するエッジが、エッジ点の候補とすることができる。
【００３６】
第２に、デプスフィルターを用いて検出されたエッジを制約できる。デプスフィルターは、全てのエッジ点の候補に適用でき、定義された基準点のデプス値に近いデプス値を持つ点が、正しいエッジ点としてフィルターを通過できる。一度屋根の境界が抽出されれば、それらは最小自乗フィッティングを用いてパラメータ化することができ、屋根の角は、フィッティングされた屋根の境界に基づいて修正することができる。
【００３７】
屋根の境界の内側の表面点には全て、平面デプスフィッティングを行うことができる。深さ不連続制限を、表面分割を行うために用いることができる。表面法線情報を使用することもできるが、ノイズに対して敏感なので、使用しないほうが好ましい。深さ不連続制限は一般に、表面分割には正しく機能する。表面点の分割後は、平面の最小自乗フィッティングをそれらの点のデプス値に適用でき、最もよくフィッティングしたものを修正された表面の高さとすることができる。
【００３８】
斜面は、非ゼロ水平または垂直法線方向の平面の特別な場合である。平面プリミティブと同様に、長方形のエッジを持つ傾斜屋根は、平面フィッティング法で二つの基準点を用いて抽出できる。しかし、傾斜面に対するデプスフィッティングは、更に複雑である。式（２）で定義された３Ｄ平面は推定すべき三つのパラメータを有し、うち二つのパラメータａ、ｂは、ｘおよびｙ方向の傾斜を表し、パラメータｃは、オフセット量である。しかし、パラメータは、ゼロｘ／ｙ傾斜条件に基づいて三つから二つに減らすことができる。
【００３９】
この条件に合わない建造物の場合、方位調整を実行して建造物を基準方位に向けることもできる。検出された屋根の境界内側の全表面点を用いて、パラメータの推定を最小自乗法で行うこともできる。実際の建造物の屋根の多くは、対照形の二つの斜面を有する。こうした構造物を用意に処理するために、二つの連続した斜面プリミティブを組み合わせて新しい「屋根」というプリミティブを形成することもできる。
【００４０】
この場合、パラメータの推定には、斜面のエッジ上の二点と屋根の尾根上の一点の三つの基準点（二つの斜面が別々にモデリングされている場合でも四つの基準点ではなく）が使用できる。二つの対照形の斜面の表面点は、上記の方法で分割できる。二つの斜面プリミティブそれぞれについて、分割された表面点のデプス値に対して最小自乗フィッティングを実行できる。正確な屋根の尾根は、二つのモデリングされた斜面の交線に基づいて計算できる。
【００４１】
一般的な円筒形の表面フィッティングは、非線形最適化問題である。しかし、建造物における多くの円筒プリミティブは、地面に対して垂直な軸を有する。この制約条件に基づいて、推定作業から回転パラメータを除去してプリミティブを円形屋根用の垂直円筒として単純化できる。屋根の抽出と表面分割は、平面の場合と同様にでき、深さ非連続条件を用いて行う。二つの同心円が分割用に定義できる。内側の円は屋根境界の検出用で、外側の円は表面点の分割用である。
【００４２】
この同心円を規定するため、円の中心用と、それぞれの半径用の三つのパラメータが用いられる。正確な分割とモデルフィッティングのために十分な数の表面点を得るには、定義された円は、屋根上の表面点の候補を全てカバーする必要がある。よくある不規則なメッシュデータから正確に境界を再現するため、検出したエッジを修正するための二つのフィルターが定義できる。定義された中心とのデプス値に近いデプス値を有するエッジ点を制約するデプスフィルターと、そのエッジ点を推定された円の内側に制約する距離フィルターである。
【００４３】
デプスフィルターは、平面プリミティブに適用されたものと同様なものであることができるが、円の中心のデプス値をフィルタリングの閾値として使用している。この距離フィルタリングは、再帰的な処理であってもよい。検出されたエッジ点は、最初に円の中心と半径を推定するためのサークルモデルに適している。この最初の推定結果は、検出されたエッジにフィルターをかけるのに用いることができる。エッジ点は、円の中心までの距離が一定の閾値より小さければフィルタリングを通過できる。この距離の偏差を、フィルタリングの閾値として使用できる。距離フィルタリングの後には、修正されたエッジ点を再帰的に用いて新たな境界パラメータを推定できる。
【００４４】
ドーム屋根は、古典的な建造物によく見られるタイプの屋根である。単純なドーム屋根は球形としてモデリングできるが、もっと複雑なドーム屋根を表すには、高次の表面が必要である。円筒プリミティブと同様に、球の表面は、二次表面である。屋根の境界と表面点を検出するには、ドーム屋根の中心を表す値と屋根の大きさを表す値の二つの基準値を用いる。
【００４５】
正確な分割とフィッティングのために十分な数の表面点を得るには、定義されたエリアは、屋根上の表面点の候補を全てカバーする必要がある。球を断面投影すると円になるので、球形屋根の検出と表面分割の方法は、３Ｄ空間における球の中心を定義する必要がないのでデプスフィルタリングを使用しないことを除けば円筒プリミティブ用の方法に準じることができる。分割された球の表面点全てに対してモデルフィッティングが実行できる。
【００４６】
円筒の場合と同様、正確なモデル再現を実現するために距離条件を再帰的に使用できる。球プリミティブも他のプリミティブと組み合わせることができる。よく見られるのが、球と円筒の組み合わせである。球プリミティブのもう一つの用法は、高次の表面フィッティングの前処理工程として使用することである。高次表面のフィッティングは通常、非線形問題である。最初の推定結果を適切に選別することが、最適解へと収束させるのに有効である。
【００４７】
高次のモデリングプリミティブを使用して複雑なオブジェクトや不規則な建築構造物のモデリングが容易にでき、また、高次のモデリングプリミティブを標準的なＣＧプリミティブと組み合わせてもよい。超二次曲線は、非線形の一般的な二次表面の延長として数学的に定義されたパラメトリック形状の一種である。超二次曲線は、パラメータの少ない多種多様な不規則形状を説明することができる。超二次曲線は、あらゆる非線形の高次プリミティブを説明する一般形式として使用できる。高次のプリミティブを適用して不規則な形状の建築物をモデル化した例として、ロサンゼルスアリーナを楕円プリミティブを用いてモデリングした例を以下に示す。楕円は、変形パラメータε１＝１、ε２＝１を持つ超二次曲線の特別な場合である。
【００４８】
オブジェクト分割では、領域拡張法を用いて不規則なオブジェクトを背景から分割できる。シードポイントが与えられると、定義された拡張ルールに基づいてアルゴリズムが自動的にシードされた領域を切り取る。例えば、表面法線とデプス情報を用いてこの拡張処理を管理できる。最初の表面フィッティングでは、適切な初期値を用い、レーベンベルグ・マルカート（ＬＭ）アルゴリズムによって収束した最適解が確実に得られる。球プリミティブフィッティングは、システムの初期化に用いることができる。システムは、一旦初期化されると、ＬＭアルゴリズムを用いて楕円プリミティブを分割された表面点にフィッティングさせることによって、高次の表面フィッティングを実行できる。このアリーナのモデリングの例では、正しい解に収束するまで６０６回アルゴリズムを繰り返した。
【００４９】
こうして構造的立体幾何図形から作成されたモデルは、パラメトリックモデルとして表される基本的なプリミティブから複雑なモデルを組み立てることを可能にする。このアプローチは、きわめて一般的なものである。プリミティブのタイプは特に制限されることはなく、カーブした表面をもつオブジェクトを含んでもよく、そのためモデルを組み合わせる際の柔軟性は非常に高い。したがって、適切な幾何プリミティブとフィッティングストラテジーを組み合わせることで、不規則な形状や表面を持つ複雑な建造物も広くモデル化することが可能である。
【００５０】
これらの技術は、レンジセンサー情報に含まれる全ての建造物に対し、順々に、または並行して自動的に適用できる。例えば、建造物が一旦検出・分割されると、所定の幾何プリミティブがデータに対して繰り返しフィッティングされ、最もよくフィッティングするモデルが建造物の構造を表すのに用いられる。人間がグループタイプ、引いては関連するプリミティブの選択に関与することもできるし、こうしたグループタイプの選択は、完全に自動化することも可能である。一旦グループが選択されると、システムは、プリミティブフィッティングと多数のプリミティブからの建造物の構築を行うことができる。システムはユーザーがモデルを迅速かつ正確に改良したり、特定の方法で表現することを可能にする編集ツールを含むことができる。
【００５１】
システムは、不規則な形や表面を持つ多様で複雑な建築構造物を抽出でき、広い都市環境の３Ｄモデルを構築するこのシーン分割とモデルフィッティングのアプローチは、広い環境のモデルを、最小限の労力と少ないコストで迅速に作成することを可能にする。解像度の制約やレンジセンサー情報に含まれ得る測定ノイズにもかかわらず、レンジセンサー情報を用いてきわめて正確な３Ｄモデルを迅速に作成することができる。この３Ｄモデルは容易に更新、変更可能である。さらに、サンプル数の少ない建造物の詳細や、周囲から遮蔽されている部分、オーバーハングなどもデータに穴を開けることなく扱うことができる。
【００５２】
ステップ５５０で、三次元モデルを画像センサーが取得した画像からマッピングされたオブジェクトの表面に基づいて修正できる。動的な画像投影は、モデリングのエラーを検出し、減らすための効果的な方法である。シーンの映像および／またはビデオ画像を対応する幾何モデル上に動的に投影することで、任意の視点から見てモデルの忠実度および／またはエラーを素早く発見することができる。例えば、ユーザーは、モデルの全表面をカバーするような様々なアングルからモデルを確認し、修正することができる。レンジセンサーデータと、そのデータにフィットするモデルを重ね合わせて視覚的に確認し、正確な建造物モデルを抽出することができるのである。
【００５３】
再度図１を参照すると、追跡センサー１３０は、画像センサー１２０に取り付けられており、そのため、画像センサーは視点計画やデータ融合のためにシーン内を動かすことができる。画像センサー１２０は、空中輸送手段、地上輸送手段または人間に搭載した、リアルタイムのビデオストリームを得るビデオカメラを含む移動式のセンサープラットフォームとすることができる。画像センサー１２０は、自分で向きを変えることができる固定画像センサーでもよい。各画像センサー１２０の向きと位置が分かっているので、多数のビデオストリームを同時にシーンモデル上に投影することができ、その結果、見ている人間は、シーン全体の単一で矛盾ない、かつ変化し続ける光景を見ることができる。
【００５４】
更に、画像センサー１２０が取得した画像は、シーン内の動的な変化を可視化したり、３Ｄ幾何形状を修正するのに用いられる。また、追跡情報は、モデル復元段階中のデータの位置合わせと集積に用いられる。
【００５５】
図２は、携帯型データ取得・追跡システム２００を示すブロック図である。システム２００は、屋外用の頑強で正確な追跡システムを実現するハイブリッド型の追跡手段である。システム２００は、視覚センサー、ＧＰＳセンサー、慣性方位センサーを一体化しており、可動プラットフォームの６自由度姿勢追跡を実現する。
【００５６】
システム２００は、ステレオカメラ２１０（例えばカリフォルニア州メンロパークのＶｉｄｅｒｅ  Ｄｅｓｉｇｎ社のＭＥＧＡ−Ｄのようなリアルタイムのステレオヘッド）を含む自給型の携帯型追跡パッケージ（例えばバックパック）であってもよい。システム２００は、ディファレンシャルＧＰＳレシーバー（例えばＡｓｈｔｅｃｈ社のＺ−センサー  ベース／モバイル）のような全地球的航法衛星システム（ＧＮＳＳ）レシーバー２３０を含むことができる。システム２００はさらに、３自由度慣性センサー２４０（例えばＩｎｔｅｒｓｅｎｓｅ社のＩＳ３００）および携帯型データ処理システム２２０（例えばラップトップコンピューター）を含むことができる。
【００５７】
ステレオカメラ２１０は、携帯型データ処理システム２２０へのファイヤーワイヤー（ＩＥＥＥ（電気電子技術者協会）１３９４）インターフェイスを使用した２台の高解像度デジタルカメラであることができる。カメラが二台という構成なので、ステレオストリームを建造物の詳細な概観を再現するのに使用している間に、撮影したビデオストリームの一方のチャンネル（例えば左チャンネル）をビデオテクスチャー投影およびビジョントラッキング処理に用いることができる。
【００５８】
一体化したＧＮＳＳレシーバー２３０と慣性センサー２４０で、システムの６自由度（位置と向き）姿勢を追跡できる。ＧＮＳＳセンサーは、ディファレンシャルモードとシングルモード２種類の稼動モードを持つＧＰＳセンサーであることができる。例えば、ディファレンシャルＧＰＳモード（ＤＧＰＳ）は、スペクトル拡散通信経由で通信して位置計算を行う二つのＲＴＫ（Real-time kinematic）ユニット（ベースとリモート）を含むことができる。ＤＧＰＳは、約１０センチ単位の正確さで位置の追跡ができる。ＧＮＳＳセンサー２３０は、必要に応じてこの二つのモードを切り替える。
【００５９】
慣性センサー２４０は、ステレオカメラ２１０に取り付けており、カメラの向きを継続的に報告できる。センサー２４０は、三つの直交軸方向の回転の角速度を検出するための三つの直交するジャイロスコープを搭載できる。センサー２４０はまた、重力ベクトル用のセンサーやジャイロドリフトを補正するためのコンパスを含むことができる。測定された角速度は、三方向の測定値（ヨー、ピッチ、ロール）を得るために結合できる。この向き追跡装置は、１５０Ｈｚの最大更新レートで１度のＲＭＳ静的精度および３度のＲＭＳ動的精度を達成できる。
【００６０】
追跡システム２００は、リアルタイムでセンシング、撮影、保存、転送を実行できる追跡システム２００のセンサーは、異なる更新レートで（例えば、ＤＧＰＳは１Ｈｚ毎に更新し、慣性センサーは１５０Ｈｚで、ビデオカメラフレームは３０Ｈｚで）作動させることもできる。これは、三つのデータストリームを全て共通のレートで（例えば３０Ｈｚビデオレート）で同期させてリサンプリングすることで補正することができる。
【００６１】
幾何モデルと実際のビデオテクスチャー間の正確な位置合わせを維持するために、追跡したカメラの姿勢を補助ビジョントラッカーを用いて安定できる。追跡したカメラの姿勢は、３Ｄ幾何モデル上にテクスチャー画像を投影するのに用いた仮想ビデオプロジェクターを規定し、したがって、姿勢追跡の正確さが直接目で見た投影されたテクスチャーの位置合わせの正確さを左右する。さらに、ビジョントラッキングは、衛星の視界が遮られることによって生じるＧＮＳＳのドロップアウトを克服するのにも用いることができる。
【００６２】
ビジョントラッカーは、この用途に適合した特性自動補正機能に基づくことができる。ビジョントラッキングは、トラッキング範囲を初期のキャリブレートされたエリアから周囲のまだキャリブレートされていないエリアへと広げることのできる拡張カルマンフィルター（ＥＫＦ；Ｅｘｔｅｎｄｅｄ  Ｋａｌｍａｎ  Ｆｉｌｔｅｒ）フレームワークを使用できる。任意の方法またはセンサー（例えば、ＧＮＳＳ慣性追跡装置）から得られたカメラ姿勢の最初の推定結果から始まって、カメラの姿勢は予測・修正ストラテジーに基づき、自然発生的なシーンの特徴を用いて連続的に推定される。
【００６３】
シーンの線および点の特徴が、追跡に利用できる。直線は大抵の人工環境における典型的な支配的特徴であり、確実に検出、追跡可能である。線の特徴は、無限直線としてモデリングできるが、異なる視界に含まれるその直線の観察された線分は、同じ線の異なる部分に対応することもある。点の特徴もまた、追跡に有用である。特に、ユーザーがシーンの表面に近く、姿勢推定に必要な線が見えないような場合に有用である。
【００６４】
ＥＫＦは、線と点の特徴に基づいて姿勢を推定できる。カメラの状態は、位置の６次元ベクトル、増分の向き、およびその一次導関数として表すことができる。
【００６５】
【数３】
2006503379.tif 000005
【００６６】
状態予測には、線形ダイナミックモデルが用いられ、線と点の特徴がＥＫＦの状態更新用の測定結果として用いることができる。全ての新しいフレームに対し、トラッカーはまず、予測式に基づいてカメラの姿勢を予測できる。次に、その予測に基づいてモデルの特徴を画像平面上に逆投影し、投影された特徴と観測された特徴とのずれを用いて予測を修正できる。
【００６７】
一度キャリブレートされると、カメラの内部パラメータは、そのトラッキング中は一定とみなされる。このビジョントラッキング技術を用いれば、観察された画像要素は、カメラが視点を変えてもモデルオブジェクトの３Ｄ位置と向きに対する配置を正しく維持することができる。
【００６８】
再度図１を参照すると、動的融合映像投影装置１８０は、幾何モデル、画像、映像および他のセンシング情報からの多数の時空間情報ソースのデータを動的に融合できる。テクスチャー画像は、センサーとモデル内でのセンサーの姿勢と関連付けられる。モデルと画像とのマッピングは、レンダリング中に画像投影の結果として動的に作成できる。したがって、モデルとセンサーの関係を変えると自動的にマッピング機能とそれに関連した映像が変化し、可視部と遮蔽部との関係も変化する。新しい画像が届いたりシーンが変わったりすると、マッピングの変化を見つけ出す時間のかかる処理を繰り返さず、センサーの姿勢と画像の情報が更新されるだけである。
【００６９】
システム１００は、透視画像投影のモデルと、可視部と遮蔽部の検出という問題を処理するためのストラテジーおよびカメラパラメータ、投影幾何学および姿勢情報を含む正確なセンサーモデルを用いることができる。システム１００は、投影テクスチャーマッピングも使用できる。この技術は、透視画像投影のプロセスを、光源の位置を投影中心として光の線をオブジェクトに投射することによってモデリングする。
【００７０】
したがって、レンダリングのプロセスにおいて、テクスチャー座標が自動的にモデルの表面点に割り当てられる。シーンの画像をテクスチャーとして指定し、カメラの姿勢を指定することにより、画像がシーンに幾何学的に逆投影できる。カメラが動くと、その変化する姿勢と映像が、獲得した画像を動的にモデル上に描き出す。プロジェクターのパラメータはカメラパラメータと同じ、ｖｉｅｗｉｎｇ  ｔｒａｎｓｆｏｒｍとｖｉｅｗ  ｖｏｌｕｍｅ  ｃｌｉｐｐｉｎｇである。これにより、レンダリング中の動的な制御が可能となる。
【００７１】
図６〜９は、三次元モデルへリアルタイムで映像情報を投影している様子を示している。図６は、モデリングされた建築構造物６００と、姿勢が既知のカメラによって作られた投影錘台６１０を示す。図７は、最初のカメラ画像７００を示す。図８は、画像のモデルへの射影８００を示すものである。図９は、ＡＶＥシステムにおいてレンダリングされた画像９００を示す。
【００７２】
画像投影は、動的な映像を３Ｄモデルと結合させる強力なアプローチであるが、遮蔽の問題を考慮する必要がある。再度図１を参照すると、投影装置１８０は、投影によって画像を撮影したカメラから見える表面に確実にテクスチャーが貼り付けられるようにする。したがって、投影装置１８０は、可視情報を用いて投影のプロセスを調節できる。
【００７３】
可視部の検出は、リアルタイムに可視化するために迅速に行う必要がある。迅速な可視部検出のためのアプローチとして、例えば２４ビットのシャドウマップをサポートしているＮＶＩＤＡ社のＧｅｆｏｒｃｅ  ３  ＧＰＵなどの多くの高性能グラフィクスカードにサポートされているデプスマップシャドウを用いることができる。デプスマップシャドウプロセスにより、テクスチャー画像として使用されるデプスマップが作成される。投影されたデプス値をテクスチャー座標のｒ成分に照らし合わせた結果に基づいて、投影装置１８０は、その表面点が画像センサー１２０から見えているのか隠れているのかを判断できる。
【００７４】
図４は、リアルタイムの映像を投影するプロセスを示すフローチャートである。ステップ４００で、ビデオセンサーの視点から見たデプスマップ画像を作成できる。ステップ４１０で、リアルタイムの映像情報を、デプスマップ画像から判断して可視であることを条件に三次元モデル上に投影テクスチャーマッピングできる。このアプローチは、比較に必要なデプス画像を作成する段階と可視かどうかをテストすることを条件とした画像投影の段階という２パスアプローチを意味する。しかし、ＳＧＩのＯｐｅｎＧＬ拡張をサポートしているグラフィックスハードウエアを利用して、１パスアプローチとして実施することもできる。
【００７５】
再度図１を参照すると、このアプローチを用いるＰ４２Ｇシステムによって、３Ｄモデル上に投影される四つのテクスチャーストリームを用いてリアルタイムで１２８０×１０２４画像のレンダリングを２６Ｈｚで実行することができる。センサー情報をＡＶＥデータベースに含むことで、システム１００は、ユーザーが動的に仮想環境シーン内のセンサーをコントロールすることと、同時に、そのセンサーから見える幾何モデル上にマッピングされた情報を任意の視点から見ることを可能にする。
【００７６】
投影プロセスは、映像とセンサー姿勢のストリームをメモリバッファーにロードすることと、それをテクスチャー貼り付けと投影に用いる形式に変換することを含むことができる。映像とセンサーのストリームはデータ獲得プロセス中に同期化され、映像の各フレームが、センサーの内部パラメータや６自由度姿勢情報など、それ自身に関連する時限センサータグを持つようになる。センサー、幾何モデルおよび画像は、異なる座標参照系を有する多数のモダリティに由来し、これらは、モデルシステムで定義された共通の座標参照系へと逐次変換できる。
【００７７】
一度メモリバッファーに入ると、データは処理およびテクスチャー貼り付け可能な状態となる。センサーの内部パラメータは、仮想プロジェクターの射影を指定するのに用いることができ、姿勢データはプロジェクターの位置と向きを定義できる。このプロセスは、モデルと投影行列演算を順次用いることができる。多数のプロジェクターを順次指定することによって、多数の画像を同時に同じモデル上に投影することが可能となる。
【００７８】
投影時に可視かどうかは、各センサーについてその視点からデプスシャドウマッピング法を用いて計算できる。遮蔽されている部分は、用途やユーザーの好みに応じて元の色のままにするか、他の投影画像にブレンドできる。テクスチャー座標作成と投影マッピングの後に、投影画像がセンサーパラメータによって指定されたセンサーの視錐台にクリップできる。これは、ステンシル処理を用いて行うことができる。すなわち、ステンシルインクリメント処理で錐台の外側を、ステンシルデクリメント処理で錐台の内側を描くことによって、したがってシーンがセンサーの錐台に含まれている場合はスクリーンの領域に向かう投影パスをマスキングすることによって行われる。
【００７９】
可視化サブシステム１９０は、可視化効果を最大にするため、仮想現実ディスプレイヘッドセット、大型３Ｄスクリーンおよび／または４画面ディスプレイインターフェイスを含むことができる。４画面ディスプレイは、３Ｄ幾何モデル、３Ｄモデル上へ投影する前の２Ｄ画像、新しい視点から見た融合結果、および画像センサーの視点からレンダリングされた画像を同時に表示することができる。４つの画面は互いにリンクされ、可視化工程中にインタラクティブに制御できる。大型３Ｄスクリーンは、８フィート×１０フィートのスクリーンで、ステレオビデオプロジェクターが映像を投影する。サードテックのシーリングトラッカーを用いてレンダリングの視点とユーザーの頭の位置を連動させることができる。トラッカーは、マウスを用いたインタラクションも容易にできる。
【００８０】
更に、投影装置１８０は、多数の同時画像ストリームを３Ｄモデル上に融合することができる。システム１００は、多数のストリームを結合し、個人が容易に多数のカメラ（動いていてもよい）からの画像を理解できるようにする３Ｄサブストレートモデルを実現する。システム１００は、同じモデルに投影された多くの画像を同時に視角化できる多数のテクスチャープロジェクターをサポートすることができる。これにより、多数の画像ストリームが矛盾なく表現され、システム１００のユーザーは、詳細度のレベルとデータの特定の空間的または時間的側面の関係を容易に理解でき、また焦点を切り替えることができる。
【００８１】
ＡＶＥの融合表示機能では、多数の画像内および画像間の事象を分かりやすくする一つの参照モデルに結び付けられた膨大な量の画像データを様々な詳細度で表示することができる。
【００８２】
図１０は、一つのモデルに同時に投影している三つのセンサーを示している。一つのモデルエリア１０００内に３ヶ所の視点１０１０、１０２０、１０３０から映像を投影して拡張仮想環境を作成し、多数の時間的データおよび画像のストリームを目で見て理解できるようになっている。図１１は、カメラ（投影）視点１０１０からレンダリングされた画像を示している。図１２は、カメラ（投影）視点１０２０からレンダリングされた画像を示している。図１３は、カメラ（投影）視点１０３０からレンダリングされた画像を示している。
【００８３】
図１４は、別の拡張仮想環境システム１４００を示すブロック図である。システム１４００は装置１１０〜１７０、１９０を含み、図１を用いて先に説明したシステム１００と同様に機能するが、人間や車両などのシーン内を動いているオブジェクトの動的幾何形状および外観変化をモデリングする機能も備えている。拡張仮想環境がこうした動的モデルを含むことで、指揮統制や監視などの用途における複雑なイベントの可視化や理解を向上することができる。
【００８４】
オブジェクト検出・追跡装置１４１０は、モデルの動的な側面をシーンにおける多数の、場合によっては動いているソースから集めたリアルタイムの映像や他のセンサーデータから引き出すことができる。装置１４１０は、リアルタイムの映像の中の動いている領域を検出・追跡して、リアルタイムでの動的なシーン要素のモデリングを容易にできる。オブジェクト検出・追跡装置１４１０の出力は、リアルタイムの映像とともに、動的融合映像投影装置１４２０に送ることができる。融合装置１４２０は、先述の融合装置１８０と同様に機能できるとともに、オブジェクト検出・追跡装置１４１０の出力に基づいて、動いているオブジェクトを動的に三次元モデルに、リアルタイムに追加できる。
【００８５】
オブジェクト検出・追跡装置１４１０と動的融合映像投影装置１４２０は、他のシステム構成とともに使用することもできる。例えば、環境の三次元モデルは、他の場所で作成し、システム１４００に取り込む（例えばディスクからロードする）など、異なった形で作成することもできる。さらに、画像センサーは、先に述べた位置と向きを追跡する機能を持つ移動可能なセンサーである必要はなく、位置と向きが既知の固定した画像センサーでもよい。
【００８６】
図１５は、映像を分析してシーンにおける動いているオブジェクトをリアルタイムに分割・追跡するプロセスを示すフローチャートである。ステップ１５１０で、リアルタイムの映像情報（例えば、入力されたビデオシーケンス１５００）の時間的画素平均として背景画像をモデリングすることによって、背景画像を推定できる。ステップ１５２０で、リアルタイムの映像情報から背景画像を抜き出すことができる。
【００８７】
背景の推定は、システム全体の性能を大きく左右できる。ガウス分布ベースの背景モデルを使う場合とは異なり、可変長の時間平均で単一分布の背景を動的にモデリングできる。前景のオブジェクトを検出することは、新しい観測結果と背景モデルとの類似性を特徴付けることを伴う。測定結果のユークリッド距離が、類似性の基準として用いることができる。
【００８８】
【数４】
2006503379.tif 000006
【００８９】
ただし、ΔＩｉ（ｘ、ｙ）は差分画像、Ｉｉ（ｘ、ｙ）はフレームｉにおける入力画像である。ΔＢｋ（ｘ、ｙ）は、モデリングされた背景画像で、選択された時間間隔ｋ（数秒から数日）で動的に更新できる。
【００９０】
背景画像は、最近の履歴フレームの時間的画素平均としてモデリングできる。
【００９１】
【数５】
2006503379.tif 000007
【００９２】
ただし、Ｎは背景モデルの計算に用いたフレームの数である。Ｎを５に設定すれば、計算の複雑さは低いが単一ガウス分布と同等の性能が得られる。
【００９３】
ステップ１５３０で、ヒストグラムベースの閾値と形態的ノイズフィルターを用いて、抜き出したリアルタイムの映像情報に含まれる一以上の前景のオブジェクトを特定できる。一般に、画素は、その差分値が所定の閾値を越えている場合、前景の候補と考えられる。そうでない場合、その画素は背景として分類できる。
【００９４】
こうした前景・背景分類のパラメータは、ビデオレコーダーの性能と前景のターゲットの大きさを考慮に入れて推定できる。閾値はあらかじめオフラインで決められ、最適値は、上位５パーセントの差分のみが前景のオブジェクトの可能性があると識別されるように決められる。分類結果から、２パス４方向連結アルゴリズムを用いてマスク画像を構築できる。マスク画像は、入力された画像にフィルターをかけ、前景のオブジェクト領域を導き出すのに用いることができる。
【００９５】
ノイズを減らすため、形態フィルターを使用して分割されたオブジェクトを制約する。フィルターは、可能性のある前景領域に全て対して適用され、面積の十分大きい領域のみが正しい前景のオブジェクトとして通過できる。たとえば、画像サイズの０．１パーセントのオブジェクトは、ノイズとしてフィルターで除去できる。
【００９６】
ステップ１５４０で、特定された前景のオブジェクトは、隣り合う画像フレーム内の特定されたオブジェクト同士を相関マッチングすることで確認できる。これは、時間とともに動いている複数のオブジェクトは、環境において別々にモデル化できるようにするための擬似的なトラッキングとして理解できる。１秒未満しか確認できない対象物は、除去できる。これにより不要な新しいオブジェクト、例えばそよぐ樹木や枝葉などを検出しても除外できる。
【００９７】
二つの検出された領域の類似性を計るためのマッチング基準として、正規化強度相関を使用できる。オブジェクトの中心に位置する１０×１０ウインドウの自乗誤差の合計を評価し、エラーが最小のペアを、最もよくマッチングしたものとして選択できる。許容範囲内のマッチング得点を得た対象領域には、ターゲットタグ番号が割り当てられる。相関閾値は、ビデオカメラの性能と撮影条件を考慮して具体例から経験的に決定できる。
【００９８】
ステップ１５５０で、確認された前景のオブジェクトを出力できる。検出・追跡システムの最終出力は、動いているオブジェクト領域の境界を２Ｄ画像平面に定める四角座標｛ｘｉ│ｘｉ＝（ｘｉ，ｙｉ），ｉ＝１〜４｝である。この追跡情報は、動いているオブジェクトをモデリングし、シーンにおけるそれらの相対的な三次元位置を推定するのに用いることができる。
【００９９】
図１６は、分割された映像の投影視点を把握するために、映像の分割された領域を用いて三次元モデル環境における動いているオブジェクトの近似モデルを決定し、動的に位置づけるプロセスを示す斜視図である。図１６は、地表レベルのカメラと三次元モデルの地表１６００上に存在する追跡されたオブジェクト（例えば人間や車両）の場合を示している。動的モデル表面１６６０が、特定された移動オブジェクトの投影点を捕らえるために三次元モデルに配置できる。
【０１００】
表面１６６０は、二次元表面でも三次元表面でもよい。表面１６６０は、特定された移動領域にぴったりとフィットする複雑な多面体でもよい。例えば、動いているオブジェクトの輪郭に合った多くの細かいエッジを有する複雑なポリゴンを用いることもできるし、動いているオブジェクトをより正確にモデル化するために複雑な３Ｄ形状（例えば、複数の立方体で定義された自動車用の３Ｄ表面や多数の円筒で定義された人間用の３Ｄ表面）を用いてもよい。一般には、単純な２Ｄポリゴンで、拡張仮想環境において動いているオブジェクトの可視化を促進できる三次元環境モデルにおける動的なオブジェクトモデルを十分に作成することができ、２Ｄポリゴンを使用すると、システムにおける処理が軽減できる。
【０１０１】
図示した例では、位置、向き、大きさの三つのパラメータが動的なモデルポリゴンを定義できる。点１６１０は、処理されている画像を作成しているカメラの３Ｄ光心である。包含形状１６３０は、追跡した移動オブジェクトの画像平面１６２０内のバウンディングボックスであってもよい。点１６４０が、バウンディングボックスの下縁の中点であってもよい。
【０１０２】
点１６１０と点１６４０を用いて、光線（またはベクトル）１６５０を投射して地面１６００と交差させ、交点１６７０を特定できる。交点が存在しない場合、または光線１６５０が地面と交差する前に３Ｄモデル内の建造物と交差する場合は、追跡したオブジェクトは、空中のオブジェクトであると特定でき、他のセンサーデータを用いて別個に扱われるか、動いているオブジェクトのモデル化という目的に照らして無視される。
【０１０３】
動いているオブジェクトは地上にあるという仮定に基づき、点１６７０を用いてモデル表面１６６０の３Ｄ位置を定義できる。モデル表面１６６０の向きは、シーンモデルのアップベクトルに垂直に設定されたベクトル１６５０と同じ垂直平面に設定された（すなわち、ベクトル１６８０は地上平面１６００上にある）ベクトル１６８０によって表される。そして、バウンディングボックス１６３０の二つの角がモデル平面に投影でき、モデル表面の大きさが決定される。
【０１０４】
こうして動いているオブジェクトのダイナミックモデルを作成すると、動いているオブジェクトを含む映像を静的モデルに投影するときに発生する歪みに対処することができる。ビデオセンサーは、シーンにおける人間や自動車のダイナミックな動きを捉えることができる。シーン内を動いているオブジェクトのダイナミックなモデルが作成され、上記のようにＡＶＥの可視化に際して視覚的な歪みを減らすために追加できる。ビデオテクスチャーは、前述のようにモデル上に投影される。ユーザーは、完成したモデルを自由に操作することができる。
【０１０５】
図３〜５および１５に示した論理フローは、図に示した特定の順序に従わなければならないものではない。多くの変更が可能であり、処理の一連の順序は必須ではなく、実施例によっては、多重タスク処理や並行処理が好ましい場合もある。
【０１０６】
他の実施例も以下の請求項の範囲に含まれる。
【図面の簡単な説明】
【０１０７】
【図１】拡張仮想環境システムを示すブロック図である。
【図２】携帯型データ取得・追跡システムを示すブロック図である。
【図３】拡張仮想環境を作成するプロセスを示すフローチャートである。
【図４】リアルタイムのビデオ映像を投影するプロセスを示すフローチャートである。
【図５】環境の三次元モデルを作成するプロセスを示すフローチャートである。
【図６】三次元モデルへのリアルタイムの映像情報投影を示す図である。
【図７】三次元モデルへのリアルタイムの映像情報投影を示す図である。
【図８】三次元モデルへのリアルタイムの映像情報投影を示す図である。
【図９】三次元モデルへのリアルタイムの映像情報投影を示す図である。
【図１０】一つのモデルに同時に投影している三つのセンサーを示している。
【図１１】図１０の三つのカメラの（投影）視点からレンダリングされた画像である。
【図１２】図１０の三つのカメラの（投影）視点からレンダリングされた画像である。
【図１３】図１０の三つのカメラの（投影）視点からレンダリングされた画像である。
【図１４】別の拡張仮想環境システムを示すブロック図である。
【図１５】映像を分析してシーンにおける移動オブジェクトをリアルタイムに分割・追跡するプロセスを示すフローチャートである。
【図１６】分割された映像の投影視点を捕らえるために、映像の分割された領域を用いて三次元モデル環境における移動オブジェクトの近似モデルを決定し、動的に位置づけるプロセスを示す斜視図である。
【図１】
2006503379.tif 000008
【図２】
2006503379.tif 000009
【図３】
2006503379.tif 000010
【図４】
2006503379.tif 000011
【図５】
2006503379.tif 000012
【図１４】
2006503379.tif 000013
【図１５】
2006503379.tif 000014
【図１６】
2006503379.tif 000015
【図６】
2006503379.tif 000016
【図７】
2006503379.tif 000017
【図８】
2006503379.tif 000018
【図９】
2006503379.tif 000019
【図１０】
2006503379.tif 000020
【図１１】
2006503379.tif 000021
【図１２】
2006503379.tif 000022
【図１３】
2006503379.tif 000023
【国際調査報告】
2006503379.tif 000024
2006503379.tif 000025