(57)【要約】【課題】ユーザーが、任意の観測点を選択可能な３次元表現を生成すること。【解決手段】ホロカムシステムは、異なる観測点または視座からシーンの画像をキャプチャーするために、「ｏｒｂ」と呼ばれる複数の入力デバイスを用いる。各入力デバイスｏｒｂは、対象物への奥行き情報および対象物の可視画像情報を含む３次元（３Ｄ）情報をキャプチャーし、複数のｏｒｂによってキャプチャーされた３次元データを組み合わせることにより１つの複合３Ｄモデルを作成する。この複合３Ｄモデルにより、観察者は、入力デバイスｏｒｂとは異なる任意の観測点または視座からの視像を観察できる。【選択図】図２
2015176600.tif 000002
【特許請求の範囲】
【請求項１】
３次元モデルを生成するシステムであって、
シーンの奥行きを表すレンジデータを取得する複数のレンジデータ取得デバイスおよび
シーンの可視画像データを取得する複数の可視画像取得デバイスから、観測点が異なる複
数の可視画像データおよび複数のレンジデータを取得する取得部と、
対応する観測点のレンジデータと可視画像データを組み合わせることによって前記観測
点ごとに３次元モデルを作り出すモデル作成部と、
観測点が異なる複数の前記の３次元モデルをソース非依存の正準空間上に幾何変換する
ことにより前記複数の３次元モデルをマージするシーン位置合わせを遂行するシーン位置
合わせ処理部と、
を含む、システム。
【請求項２】
前記レンジデータをフィルター処理し、前記レンジデータに含まれるノイズを低減する
プロセッサーをさらに含む、請求項１に記載のシステム。
【請求項３】
前記シーンモデルをエンコードしてネットワークを通じて伝送する伝送部
をさらに含む、請求項１または２に記載のシステム。
【請求項４】
エンコードされたシーンモデルを受信し、前記エンコードされたシーンモデルを用いて
１つ以上のディスプレイデバイスを用いて表示するために前記シーンの視像をレンダリン
グするレンダリング処理部をさらに含む、請求項３に記載のシステム。
【請求項５】
前記モデル作成モジュールに通信可能に結合され、１つ以上のオーディオ入力デバイス
から前記シーンに関するオーディオデータを受信するオーディオモジュールをさらに含む
、請求項１ないし４のいずれか一項に記載のシステム。
【請求項６】
前記シーン位置合わせ処理部が、
入力デバイスがそのセンサーの一部にその視野内の条件によって影響を受けることに応
答して、前記入力デバイスがそのセンサーの前記影響を受けた部分をマスクするための画
像マスクを生成するステップ、
複数の入力デバイスの前記視野内に点取得デバイスを配置するステップ、
複数の入力デバイスによってキャプチャーされたデータ間の点の対応を見つけるために
用いられる点を生成するために、前記点取得デバイスからの１つ以上の信号を用いるステ
ップ、
シーンの複数の画像データの各々の内の３次元点を特定するために前記点の対応を用い
るステップ、および
シーン位置合わせ行列を得るべくバンドル調整を遂行するために前記特定された３次元
点の少なくとも一部を用いるステップ、
を遂行するように構成される、請求項１ないし４のいずれか一項に記載のシステム。
【請求項７】
前記シーン位置合わせ処理部が、
観測点から獲得された前記シーンに関するデータからの点群生成を遂行するステップ、
前記点群内の平面表面を検出するステップ、
前記検出された平面表面の中から床面を特定するステップ、
前記床面に対応する点がｚ＝０平面へ写像され、垂直方向が正しくなるように、前記点
群を変換する正準変換を推定するステップ、
前記シーン内のコンテンツを前記床面へ投影することによってボクセルセグメント化を
遂行するステップ、
前記検出された平面表面から選択された潜在的壁面との前記床面の交線を特定するステ
ップ、
点群間の１つ以上の面内回転推定を特定するために前記交線の少なくとも一部をガイド
ライン交線として用いるステップ、
前記ボクセルマップを参照して面内並進移動推定を得るステップ、および
点群のために、シーン位置合わせ行列を形成するために前記正準変換、面内回転、およ
び面内並進移動を組み合わせるステップ、
を遂行するように構成される、請求項１ないし５のいずれか一項に記載のシステム。
【請求項８】
前記シーン位置合わせ処理部が、１つ以上の幾何変換を改善するためにシーン再位置合
わせを遂行するステップをさらに遂行する、請求項１ないし６のいずれか一項に記載のシ
ステム。
【請求項９】
2015176600.tif 000037
【請求項１０】
再投影する前記ステップが、
未知の値を表現する識別子で埋められる第１の奥行きバッファーを生成すること、
前記入力デバイスの１つから得られた点群内の点のために、初期変換およびカメラ固有
値を用いて、投影されたピクセル値を算出すること、
前記投影されたピクセルの前記値を前記第１の奥行きバッファー内の対応するピクセル
の値と比較し、前記第１の奥行きバッファー内の前記値が（１）前記未知の値であるかま
たは（２）前記対応する投影されたピクセルの奥行き値よりも大きいことに応答して、前
記第１の奥行きバッファー内の前記奥行き値を、投影されたピクセルの奥行き値に設定す
ること、
第２の適当な大きさの奥行きバッファーを作成し、それを、未知の値を表現する識別子
で埋めること、
前記第１の奥行きバッファー内のピクセル値を貫いてループすることであって、
前記第１の奥行きバッファー内の前記値が未知の値ではない場合には、前記第２の奥
行きバッファー内のピクセルの奥行き値を、前記第１の奥行きバッファー内の前記対応す
るピクセルの前記値に設定し、
さもなければ、未知の値ではない前記第１の奥行きバッファー内の値の近傍がいくら
かでも存在する場合には、前記ピクセルの奥行き値を、未知の値ではない前記第１の奥行
きバッファー内の値の近傍の平均値に設定するために、
ループすること、
前記第２の奥行きバッファーからの値を用いて実世界のＸおよびＹ値を生成すること、
ならびに
投影点を得るためにＸ、Ｙ、およびＺ値を組み合わせること、
を含む、請求項９に記載のシステム。
【請求項１１】
３次元モデルを生成する方法であって、
観測点が異なる複数の可視画像データおよびシーンの奥行きを表す複数のレンジデータ
を取得するステップと、
同じ観測点のレンジデータと可視画像データを組み合わせることによって前記観測点ご
とに３次元モデルを作り出すステップと、
観測点が異なる複数の前記３次元モデルをソース非依存の正準空間上に幾何変換するこ
とにより前記複数の３次元モデルをマージするシーン位置合わせを遂行するステップと、
を含む、方法。
【請求項１２】
３次元モデルを生成するためのプログラムであって、
コンピューターに、
観測点が異なる複数の可視画像データおよびシーンの奥行きを表す複数のレンジデータ
を取得するステップと、
同じ観測点のレンジデータと可視画像データを組み合わせることによって前記観測点ご
とに３次元モデルを作り出すステップと、
観測点が異なる複数の前記３次元モデルをソース非依存の正準空間上に幾何変換するこ
とにより前記複数の３次元モデルをマージするシーン位置合わせを遂行するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオまたは静止画像を用いてシーンをキャプチャーし、シーンの３次元表
現を生成するためのシステム、方法およびプログラムに関する。
【背景技術】
【０００２】
カメラ等の従来の画像キャプチャーデバイスによって写真またはビデオ撮影を行う際、
視点は空間内の特定の点に固定されている。そのため、従来のカメラは、写真またはビデ
オが撮影された後に視点を変更することができない。この視点の固定は、一部は、これら
のカメラによって取得されるデータの形式のゆえである。具体的には、伝統的なカメラは
、１つの観測点からシーンを色成分の行列として取得する。他の要因は、従来のカメラは
１つのみの観測点からシーンをキャプチャーすることである。すなわち、色成分の行列は
、カメラの観測点から見えるシーンを表す。カメラは単一の観測点からしかキャプチャー
できないので、観察者はその観測点からの視像しか得ることができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
３次元（３Ｄ）ビデオまたは自由視点ビデオ等の種々のアプローチがシーンを３次元的
に表現しようと試みてきた。これらのアプローチには、３Ｄ幾何学ベースのアプローチや
３Ｄ幾何学を用いない画像ベースのアプローチがある。しかし、これらのアプローチには
全て、顕著な欠点および制限が存在する。
【０００４】
したがって、シーンの３次元表現の生成を可能にし、ユーザーが、シーンを観察する任
意の観測点を選択可能なシステムおよび手法が求められている。
【課題を解決するための手段】
【０００５】
上記目的を達成するための３次元モデルを生成するシステムは、シーンの奥行きを表す
レンジデータを取得する複数のレンジデータ取得デバイスおよびシーンの可視画像データ
を取得する複数の可視画像取得デバイスから、観測点が異なる複数の可視画像データおよ
びレンジデータを取得する取得部と、同じ観測点のレンジデータと可視画像データを組み
合わせることによって前記観測点ごとに３次元モデルを作り出すモデル作成部と、観測点
が異なる複数の前記の３次元モデルをソース非依存の正準空間上に幾何変換することによ
り前記複数の３次元モデルをマージするシーン位置合わせを遂行するシーン位置合わせ処
理部と、を含む。
【図面の簡単な説明】
【０００６】
【図１】図１は、本発明の諸実施形態に係る入力／出力観点からのホロカムシステムを示す。
【図２】図２は、本発明の諸実施形態に係るホロカムシステムおよびプロセスフローを示す。
【図３】図３は、本発明の実施形態に係る自由視点表示のために用いることができるシーンの３次元モデルの生成方法を示す。
【図４Ａ】図４Ａは、本発明の諸実施形態に係る自動シーン位置合わせを示す。
【図４Ｂ】図４Ｂは、本発明の諸実施形態に係る自動シーン位置合わせを示す。
【図５】図５は、本発明の諸実施形態に係る、多数の平面表面が特定され、床面が特定された点群の一例を示す。
【図６】図６は、本発明の諸実施形態に係る図５に示される点群のボクセルセグメント化の一例をグラフィカルに示す。
【図７】図７は、本発明の諸実施形態に係る観測点間の潜在的回転を特定するために用いられてよい潜在的ガイドラインの例を示す。
【図８】図８は、本発明の諸実施形態に係るユーザー支援式シーン位置合わせの諸態様を示す。
【図９】図９は、本発明の諸実施形態に係るユーザー支援式シーン位置合わせの諸態様を示す。
【図１０】図１０は、本発明の諸実施形態に係る点取得デバイスの側面図および正面図を示す。
【図１１】図１１は、本発明の諸実施形態に係る連結度グラフの一例を示す。
【図１２】図１２は、本発明の諸実施形態に係るシーン位置合わせ手順前のｏｒｂ間の点の対応対を示す。
【図１３】図１３は、本発明の諸実施形態に係るシーン位置合わせ手順後のｏｒｂ間の点の対応対を示す。
【図１４】図１４は、本発明の諸実施形態に係る再投影を遂行するための手法を示す。
【図１５】図１５は、本発明の諸実施形態に係る再投影のサンプル結果を示す。
【図１６】図１６は、本発明の諸実施形態に係る投影反復最近接点（Iterative Closest Point、ＩＣＰ）アプローチを示す。
【図１７】図１７は、本発明の諸実施形態に係る投影ＩＣＰの後のサンプル結果を示す。
【図１８】図１８は、本発明の諸実施形態に係る図１７における例の数値結果の総括表を提供する。
【図１９】図１９は、本発明の諸実施形態に係る、図１７における例の、投影ＩＣＰアルゴリズムが収束に向かって進展したのに伴う利用率を示す。
【図２０】図２０は、本発明の諸実施形態に係る、図１７における例の、投影ＩＣＰアルゴリズムが収束に向かって進展したのに伴うデルタ値を示す。
【図２１】図２１は、本発明の諸実施形態に係る投影バンドルＩＣＰの遂行方法を示す。
【図２２】図２２は、本発明の諸実施形態に係る投影バンドルＩＣＰのサンプル結果を示す。
【図２３】図２３は、本発明の諸態様を実施するために用いられてもよい例示的な計算システムを示すブロック図を示す。
【発明を実施するための形態】
【０００７】
以下の記載においては、説明の目的で、本発明の理解を提供するために具体的な細部が
記されている。しかし、本発明は、以下に説明する実施態様に限られることなく、これら
の細部を用いずに実施されてもよい。さらに、当業者は、本明細書に記載されている本発
明の諸実施形態は、ソフトウェア、ハードウエア、ファームウェア、またはそれらの組み
合わせを含む、種々の方法で実現されてよい。
【０００８】
ブロック図に示される構成要素、またはモジュールは、本発明の代表的な実施形態の例
示である。本説明全体を通じて、構成要素は、サブユニットを含むこともある別個の機能
ユニットとして記載されている場合があるが、種々の構成要素、もしくはそれらの部分は
別個の構成要素に分割されてもよいか、または単一のシステムもしくは構成要素内に統合
されるなど、一体に統合されてもよい。本明細書において説明されている機能または操作
は構成要素またはモジュールとして実装されてよい。
【０００９】
さらに、図内の構成要素間の接続は直接接続に限定されるように意図されてはいない。
もっと正確に言えば、これらの構成要素間のデータは、中間構成要素によって修正される
か、書式変更されるか、または別の方法で変更される場合がある。同様に、追加の接続が
用いられてもよく、またはより少ない接続が用いられてもよい。用語「結合される」また
は「通信可能に結合される」は、直接接続、１つ以上の中間デバイスを介した間接接続、
および無線接続を含む。
【００１０】
本明細書における「１つの実施形態（one embodiment）」、「好ましい実施形態（pref
erred embodiment）」、「一実施形態（an embodiment）」、または「諸実施形態（embod
iments）」への言及は、実施形態に関して説明されている特定の特徴、構造、特性、また
は機能は本発明の少なくとも１つの実施形態に含まれ、１つを超える実施形態に含まれる
場合もあることを意味する。同様に、本明細書の種々の箇所におけるこうした表現は、必
ずしも全て、同じ実施形態または諸実施形態に言及しているわけではない。本特許文献に
おける用語「セット」および「グループ」の使用は任意の数の要素を含むものである。「
奥行き（平面からの距離）」、「距離（センサーからの半径方向距離）」、および「レン
ジ」は若干異なる意味を有する場合があるが、これらの用語は本明細書において互換可能
に用いられてもよい。
【００１１】
方法またはアルゴリズムステップは、本明細書において説明されている特定の順序に限
定されなくてもよく、むしろ、当業者であれば、特定のステップは、同時に行われるなど
、異なる順序で遂行されてもよい。
【００１２】
本明細書に記載されている諸実施形態は画像（静止またはビデオ）の文脈の中に含まれ
ている場合があるが、この特許文献の本発明の要素はそのように限定されるものではない
。したがって、本発明の要素の諸態様は、他の文脈内、および／または他の入力センサー
データ上における使用のために適用または適合されてもよい。
【００１３】
１．序論および概説
市場で入手可能な多数の奥行きセンサーが存在する。これらのセンサーは各種の方法を
利用し、シーンから測定値の行列を取得する。取得した行列の各要素はセンサーから対象
物の対応点への距離を表す。入手可能な奥行きセンサーは能動式のセンサーと受動式のセ
ンサーに概ね分類される。
【００１４】
能動式のセンシング手法としては、例えば、タイム  オブ  フライト（Time of Flight
；ＴＯＦ）法、およびストラクチャード  ライト法等がある。受動式のセンシング手法と
しては、例えば、ライトフィールド法やステレオアプローチ法がある。いずれの方法にお
いて利用される奥行き測定手段も、対応するセンサーに要件および制限がある。例えば、
ＴＯＦセンサーは、非常に明るい太陽光への露光等の特定の条件下では機能しない場合が
ある。
【００１５】
さらに、１つのセンサーを用いた場合における奥行きデータの取得は一般的には十分で
はない。奥行きセンサーは、視野（field of view、ＦＯＶ）が制限されており、一般的
には、見通し線の前提の下で動作する。したがって、１つの観測点からのシーンのレンジ
プロファイルを取得することとは対照的に、多数のセンサーを用いて（またはセンサーを
多数のロケーションにおいて用いて）取得されたデータを組み合わせることが、シーンの
３次元（３Ｄ）コンテンツを再現するための主要な要件となる。
【００１６】
奥行きデータの取得は、実際には、取得されたデータを転送し、それを消費者側のため
に提示するための適切な手段を有する必要がある、より大きなシステムのためのコンテン
ツの生成器である。これは、シーンの取得された非常に多数のレンジ情報を、対応する可
視画像と組み合わせて適当にエンコーディングすることを必要とする。エンコードされた
データは従来の通信回線上で可能な方法で伝送され、その後、ユーザーによって指示され
る通りにディスプレイシステム上で提示される。
【００１７】
ホロカムシステムの諸実施形態は、以上に列挙した問題を解決する。本明細書において
より詳細に説明されているように、「ホロカム」システムは、シーンの視覚特徴をキャプ
チャーすること、およびユーザーが、生成されたシーンのモデルに基づき任意の視点を選
択できるようにすることを可能にする新しいシステムおよび新しい手法を表す。種々の実
施形態は、異なるデバイスを用いて取得されたレンジ情報および可視画像の組み合わせを
可能にする。諸実施形態では、これらのレンジ情報は、異なる奥行きデータ取得方法を利
用するデバイスを用いてキャプチャーすることができ、そのようにキャプチャーすること
が推奨される。諸実施形態では、ホロカムシステムはこれらのデータソースを組み合わせ
てシーンの単一のモデルを作り、データを、ディスプレイデバイスにネットワークを通じ
て伝送する能力を有する。
【００１８】
それゆえ、ホロカムシステムの諸実施形態は、多数の異なる観測点から取得された奥行
き情報および可視画像を組み合わせて、シーンから作成されたモデルを作ることができる
。さらに、ホロカムシステムの諸実施形態は、シーンから作成されたモデルを従来のネッ
トワークを通じて転送し、任意の観点からのコンテンツをディスプレイシステム上に表示
するために必要な情報を提供することができる。
【００１９】
２．ホロカムシステムの諸実施形態
諸実施形態では、ホロカムシステムは、リアルタイムキャプチャーおよび実世界シーン
のストリーミングを可能にするコンテンツ作成システムである。図１は、本発明の諸実施
形態に係る入力／出力観点からのホロカムシステムを示す。
【００２０】
図１に示されているように、ホロカムシステム１０５は複数の入力デバイス１１０−ｘ
からの入力を受信する。諸実施形態では、入力デバイスは、ＴＯＦ法、ストラクチャード
ライト法、ライトフィールド法、ステレオセンサー法、またはその他の手法による奥行
き測定デバイス等の奥行き測定入力デバイスと組み合わせられる、ビデオまたは静止画像
カメラ等の画像キャプチャーデバイスを含んでもよい。便宜上、画像デバイスと奥行き測
定デバイスを組みあわせた入力デバイスを本明細書において「ｏｒｂ」と呼ぶ。諸実施形
態では、ホロカムシステム１０５は、異なる位置に配置された同じｏｒｂから入力を受信
してもよく、または異なる位置に配置された異なるｏｒｂから入力を受信してもよい。い
ずれにしても、ホロカムシステム１０５は、複数の位置からのシーンの入力データを受信
する。画像色情報（例えば、赤色、緑色、および青色などの色情報（ＲＧＢ）。）、なら
びに奥行き情報（Ｄ）がホロカムシステム１０５に供給される。
【００２１】
以下において、より詳細に説明されるように、ホロカムシステムはシーンの入力データ
を獲得し、３次元モデルを生成する。この３次元モデルは、モデルデータを用いてディス
プレイデバイス１２０−ｘによる表示のための視像をレンダリングするレンダリングデバ
イス１１５−ｘへ伝送される。図示されている例では、ディスプレイデバイス毎にレンダ
リングデバイスが存在する。しかし、１つのレンダリングデバイスが、複数のディスプレ
イデバイスへ表示データを提供する構成としてもよい。
【００２２】
次に、図２を参照すると、図示されているのは、本発明の諸実施形態に係るホロカムシ
ステム２０５およびプロセスフローである。図２に示されているように、ホロカムシステ
ムは、複数の奥行きデータ取得デバイスおよび複数の可視画像取得デバイスを利用するこ
とを通じて異なる観測点におけるシーン情報２１０（例えば、可視画像データ（ＲＧＢ）
および奥行きデータ（Ｄ、「レンジデータ」ともいう）を受信する取得モジュール２２５
を含む。
【００２３】
諸実施形態では、シーンデータの少なくとも一部は、取得モジュールに通信可能に結合
されるランタイムプロセッサー２４０へ供給される。諸実施形態では、ランタイムプロセ
ッサーは、相当にノイズが大きくなる傾向がある奥行きデータを、１つ以上のフィルター
リング処理によってフィルターリングすることにより、ノイズを除去または低減する。フ
ィルターリング処理のいくつかの例としては、以下のものに限定されるわけではないが、
異方性フィルター、双方向フィルター、時間平均、および外れ値除去がある。このような
フィルターリング処理は当業者によく知られている。なお、フィルターリング処理の一部
または全ては、ランタイムプロセッサー２４０ではなく、画像／奥行き取得デバイス、取
得モジュール、またはその両者によって遂行するようにしてもよい。
【００２４】
諸実施形態では、ホロカムシステムは、相互相関しているレンジデータおよび可視画像
データを通じてＲＧＢＤデータを組み合わせ、欠落している領域のための値を提供し、複
数のソースにおいてキャプチャーされたセグメントを検証するように構成してもよい。ま
た、ホロカムシステムは、異なる分解能における異なるデータ項目の結合処理を通じて分
解能向上を遂行してもよい。
【００２５】
諸実施形態では、ホロカムシステムは、観測点からの奥行きデータおよび可視画像デー
タを組み合わせることによって３次元（３Ｄ）モデルを作り出すモデル作成モジュール２
４５を含む。諸実施形態では、ホロカムシステムによって利用される３Ｄ表現は、テクス
チャ処理された三角形メッシュである。諸実施形態では、モデル作成モジュール２４５は
、全ての観測点からの３Ｄモデルを位置合わせするために用いられる、ソース非依存の正
準空間を定義する。このようなモデル作成のために、ホロカムシステムは、異なる観測点
からのシーンの複数の３Ｄモデルに対して幾何変換を行うことにより、複数の３Ｄモデル
をソース非依存の正準空間にマージするシーン位置合わせを遂行するシーン位置合わせモ
ジュール２３０を含む。シーン位置合わせモジュール２３０は、システムの物理的なレイ
アウトに関する情報（例えば、奥行きデバイスの水平軸は地面と平行または実質的に平行
であること、シーン内のｏｒｂのロケーション、ｏｒｂ間の剛体変換、等）を受信して、
システムレイアウト情報２１５を用いて、シーン位置合わせを行うようにしてもよい。
【００２６】
諸実施形態では、ホロカムシステムは、１つ以上のオーディオ入力デバイスからシーン
についてのオーディオデータ２２０を受信するオーディオモジュール２３５を含んでもよ
い。
【００２７】
図２に示されているように、諸実施形態では、ホロカムシステム２０５は、シーンモデ
ルを伝送可能なデータストリームにエンコードし、ネットワークを通じて伝送する伝送モ
ジュール２５０を含んでよい。
【００２８】
図２における実施形態に示されているように、モデルデータはレンダリングモジュール
２６０によって受信される。レンダリングモジュール２６０は、シーンモデルおよび所望
の観測角度２５５を入力として受信し、１つ以上のディスプレイデバイスによる表示のた
めにその観測角度２５５のためのシーンの視像２６５をレンダリングする。諸実施形態で
は、レンダリングモジュール２６０は、ホロカムシステム２０５と分離していてもよく、
ホロカムシステム２０５の一部としてもよく、またはその両方であってもよい。
【００２９】
次に、図３に、本発明の実施形態に係る自由視点表示のために用いることができるシー
ンの３次元モデルの生成方法を示す。諸実施形態では、図３の方法は、図２に示されてい
るもの等のホロカムシステムによって遂行される。
【００３０】
諸実施形態では、本方法は、ホロカムシステムが、複数の観測点からのシーンの視覚画
像／色データ（例えば、ＲＧＢ、グレースケール等）および奥行き（Ｄ）データを受信す
ること（３０５）によって、開始する。ホロカムシステムは、複数の観測点からのシーン
の色および奥行き情報を、複数の観測点の各々におけるｏｒｂから受信するか、または複
数の観測点において１つのｏｒｂから受信してよい。もっとも、静止画像ではなく自由視
点からのモデルを生成するためには、複数のｏｒｂから受信するようにすることが好まし
い。奥行きデータは非常にノイズが大きくなる傾向があるため、ホロカムシステムは、デ
ータのノイズをより小さくするために、奥行きデータに対してフィルターリング処理を遂
行する（３１０）。
【００３１】
可視画像および奥行き情報を受信した後、諸実施形態では、ホロカムシステムは、観測
点毎に、奥行きデータ情報および可視画像データを組み合わせることによってデータの３
次元（３Ｄ）モデルを生成する（３１５）。種々の観測点を組み合わせることを容易にす
るために、ホロカムは、３Ｄモデルの２つ以上をその空間内に位置合わせするために用い
られるソース非依存の正準空間を定義する（３２０）。ソース非依存の正準空間を定義し
た後、複数の３Ｄモデルであって、それらの対応する異なる観測点からの同じシーンの複
数の３Ｄモデルを幾何変換することによって、一つの複合３次元モデルにマージするシー
ン位置合わせを遂行する（３２５）。なお、このシーン位置合わせは自動的に遂行されて
もよく、ユーザー支援式であってもよく、またはそれらの組み合わせであってもよい。図
４Ａおよび４Ｂは、本発明の諸実施形態に係る自動シーン位置合わせの処理の流れを示す
。図８および９は、本発明の諸実施形態に係るユーザー支援式シーン位置合わせの処理の
流れを示す。
【００３２】
図３に戻ると、諸実施形態では、ホロカムシステムはシーン再位置合わせを遂行する（
３３０）。なお、詳細は後述するが、シーン再位置合わせは、正準空間への変換精度を向
上させるため、ｏｒｂ自体の動きを補償するため、またはその両方のために遂行される。
【００３３】
３．自動シーン位置合わせ
図４Ａおよび４Ｂは、本発明の他の実施形態に係る自動シーン位置合わせの処理を示す
。
【００３４】
（ａ．点群生成）
自動シーン位置合わせの処理は、入力デバイスｏｒｂからのデータのための点群生成を
遂行すること（４０５）によって、開始される。固有カメラパラメーター（例えば、カメ
ラ中心および焦点距離値（ｃx，ｃy，ｆx，およびｆy）、歪み係数（ｋ１，ｋ２，ｋ３，
ｐ１，およびｐ２））、ならびにシーンの奥行きマップの奥行き測定値（ｉ，ｊ，ｄｅｐ
ｔｈ）（ここで（ｉ，ｊ）はセンサー面内の画素位置または撮像した画像における画素位
置を表し、「ｄｅｐｔｈ」はその画素位置に対応するシーンの奥行き値を表す）が与えら
れると、センサー面内の点は実世界座標（Ｘ，Ｙ，Ｚ）に変換することができる。なお、
点群を形成するためのセンサー値と実世界座標との間の変換手法は当業者に周知であるた
め、詳細な説明は省略する。
【００３５】
（ｂ．平面検出）
次に、点群内における平面表面の検出を行う（４１０）。平面検出は以下の手法に従っ
て遂行される。まず、点群からタイル（例えば、１０ピクセルｘ１０ピクセル）が切りと
られる。諸実施形態では、タイルは、点群内のある部分から全ての点を通るようにして網
羅的に形成される。タイルを生成する際には、隣接するタイルは、設定された割合だけ重
なり合うか（例えば、８０％重なり合う）、または設定された数のピクセルだけ重なり合
ってもよい（例えば、タイルを生成する際の２ピクセルのタイル間分離）。
【００３６】
次に、各タイルの点は平面モデル（例えば、ａｘ＋ｂｙ＋ｚ＋ｄ＝０）にフィッティン
グされる。タイル毎に、モデル化された平面からの点のずれが算出され（例えば、Ｅ＝ｅ
ｒｒｏｒ）、閾値未満の（例えば、センサーのレンジの１００分の１よりも小さい）ずれ
を有するタイルが選別される。諸実施形態では、隣接するタイル、および／またはそれら
の部分は、それらは組み合わせることができるのかどうかを判定するために、調べられる
。閾値未満の（例えば、センサーのレンジの１００分の１よりも小さい）ずれを有する組
み合わせは１つに組み合わされる。
【００３７】
（ｃ．床の特定）
平面表面を形成する１つ以上の点のセットを特定した後、これらの平面は、床面を特定
するために調べられる。諸実施形態では、床は、非常に多数のピクセルを有する平面を選
択することによって特定される。同様に、例えば、奥行き入力デバイスはその軸が床と平
行に配向されていることを示すシステムレイアウト情報（例えば、２１５）が与えられる
と、これらの大きな平面は、平面のうちのどれが横回転を必要としないのかを確認するべ
く、調べられる。図５は、多数の平面表面が特定され（例えば、壁要素５１０、５１５、
および５２０）、床面（例えば、床５２５）が特定された点群５０５の一例を示す。非常
に多数の点と特定された平面を含んでおり、システムレイアウト情報２１５などから予想
される床の向きに一致させるために必要となる回転量が最も少ないものが、床面となる。
【００３８】
（ｄ．正準変換推定）
床面を特定した後、床面に対応する点がｚ＝０平面へ写像され、上方向が正しくなるよ
うに点群を変換する正準変換が推定される（４２０）。
【００３９】
（ｅ．ボクセルセグメント化）
次に、シーン内のコンテンツを床面へ投影することによってボクセルセグメント化が遂
行される（４２５）。図６は、図５に示される点群をボクセルセグメント化した一例をグ
ラフィカルに示したものである。いくつかのボクセル（例えば、６０５、６１０、６１５
等）が形成されていることに留意されたい。
【００４０】
（ｆ．ガイドライン検出）
次のステップでは、壁面と床面との交線を特定する（４３０）。この交線は、観測点間
の回転を推定するためのガイドラインとして用いられる。例えば、図７は、（本発明の諸
実施形態に係る）観測点間の回転を特定するために用いられるガイドラインの例（例えば
、７０５〜７４０）を示す。以下のセクションにおいてより詳細に説明されるように、観
測点２におけるガイドライン７０５は観測点１におけるガイドライン７１０に対応するこ
とが見いだされる。
【００４１】
（ｇ．面内回転の推定）
前のセクションにおいて特定された交線は、観測点間の回転を推定する（４３５）ため
のガイドラインとして用いられてよい。または、交線の全てが、観測点間の回転を推定す
るために用いられてもよい。２つの観測点の間で最も共通するまたは最も評価の高い回転
候補のセットが選択される。また、当業者であれば、評価手法としては様々な手法を用い
ることができるものであるが、回転候補の選択を容易にするために、例えば、０〜２πの
間隔を１６個の区間に分割し、面内回転の評価が１６個の区間のうち最も高いものを選択
するようにしてもよい。
【００４２】
（ｈ．面内並進移動の推定）
観測点についてのボクセルマップが回転推定に従って回転され（４４０）、スライドす
る２Ｄマップを比較することによって面内２次元（２Ｄ）並進移動量が推定される。面内
２Ｄ並進移動量の推定は網羅的に得られてもよい。このプロセスは最上位の面内回転推定
の全てのために繰り返されてもよい。また、複合誤差が最小となる面内回転および面内２
Ｄ並進移動の組み合わせを選択するようにしてもよい。
【００４３】
（ｉ．面内並進移動の推定）
床面、面内回転推定、および面内並進移動推定のための正準変換を行った後、これらの
項目を組み合わせて変換行列（例えば、４×４変換行列）を作成する。
【００４４】
４．ユーザー支援によるシーン位置合わせ
上述のように、本発明の諸実施形態はユーザー支援式位置合わせを含むかまたはそれを
代替的に用いてもよい。ユーザー支援式シーン位置合わせでは、多数のｏｒｂによって、
異なる観測点から３次元上の点をキャプチャーするために、点取得デバイス（例として、
近赤外（Near Infra-Red、ＮＩＲ）点マーカー等）を利用する。測定値は、シーン位置合
わせ情報を作成するために利用される。位置合わせは、以下においてより詳細に説明され
るように、点取得デバイスを用いて得られた点に対して適用されるバンドル調整手法を利
用する場合もある。
【００４５】
（ａ．形式的課題定義）
同じシーンに向けられた複数のｏｒｂ  Ｏ≧２がシステム内に存在し、対となるｏｒｂ
のいくつかは、その空間内に３次元上の点マーカーが配置され、２つ以上のｏｒｂにそれ
をキャプチャーさせると、各ｏｒｂは奥行きマップおよび近赤外（ＮＩＲ）マップを生成
する。諸実施形態では、奥行きマップとＮＩＲマップ内のピクセルは対応すると仮定され
、２つのマップの規模は同一であり、幅Ｗ、高さＨであると仮定する。ｏｒｂが校正され
ていると仮定すれば、点（ｘ，ｙ）から、３Ｄ表現（Ｘ，Ｙ，Ｚ）を推定することが可能
である。ここで、２次元（２Ｄ）座標は小文字の変数名で表し、３次元（３Ｄ）座標は大
文字の変数名で表している。なお、同次ベクトルおよび３Ｄベクトルは、文脈が明らかで
ある場合には、互換的に用いられてもよい。
【００４６】
2015176600.tif 000003
【００４７】
それゆえ、本明細書におけるユーザー支援式手法への入力は一連のＮ個の測定セットと
なる。各測定セットは、時間／フレーム識別子（「タイムスタンプ」と呼ばれる）に関連
付けられる１つのｏｒｂにおける３Ｄ点に対応する。２つのｏｒｂに対応する測定セット
内で類似したタイムスタンプを有する２つの点は同じ物理点に対応すると仮定する。
【００４８】
（ｂ．一般的手法）
図８は、本発明の諸実施形態に係るユーザー支援式シーン位置合わせ方法を示す。図８
に示されているように、本方法を開始すると、入力デバイス毎に近赤外画像マスクを生成
する（８０５）。すなわち、点を特定するべくＮＩＲ画像を監視する前に、位置的な問題
が生じうる領域を排除するためにｏｒｂマスクが作成される。このマスクは、期間（例え
ば、１００フレーム）にわたってＮＩＲ画像を調べることによって直接のＩＲ放射を受信
するあらゆるピクセルを特定する。マスクｏｒｂ作成プロセス中にゼロの値とならないＮ
ＩＲ画像内のＮＩＲ点はマスクされ、他のピクセルだけを有効としてから、点検出プロセ
スを開始する。
【００４９】
次に、少なくとも２つの入力デバイスの視野（またはキャプチャー領域）内にＮＩＲデ
バイスが配置される（８１０）。図１０は、本発明の諸実施形態に係るＮＩＲデバイスの
側面図および正面図を例示している。図１０に例示するように、このデバイスは、共通リ
モートコントロール１００５、１つ以上のＮＩＲ放射源または発光ダイオード（light em
itting diode、ＬＥＤ）１０１０、ならびに１つ以上の平面表面１０１５を含む。ＮＩＲ
放射源１０１０は、ｏｒｂが空間内の点を特定するために提供され、平面表面１０１５（
これは任意追加的なものである）は、そこから奥行き測定値を獲得するための、より大き
な表面を有するようになっている。また、デバイスは多数の放射源を有してもよく、多数
の方向に配列されてもよい。
【００５０】
入力画像の各々の点を特定するために、デバイス（例えば、デバイス１０００）からの
１つ以上のＮＩＲ信号が用いられる（８１５）。例えば、デバイスは、少なくとも２つの
ｏｒｂがＮＩＲパルスを取り込むことができるシーン内の点においてしっかりと保持され
る。設定時間（例えば、１５秒）の後、デバイス上のボタンが押され、いくらかの期間（
例えば、５秒）保持される。
【００５１】
諸実施形態では、同じロケーションにおいて多数のキャプチャーを得るようにしてもよ
い。多数のキャプチャーを獲得することによって、精度を高めることができる。それゆえ
、例えば、５秒のパルスの後、１５秒の休止期間が維持されてもよく、その後、ボタンが
再び５秒間押されてもよい。このプロセスは所定回数（例えば、４回）繰り返されるか、
またはフィードバック機構が、点が所定の設定回数（例えば、少なくとも４回）キャプチ
ャーされるまで、繰り返される（８２０）。
【００５２】
諸実施形態では、このプロセスは、空間内の多数の異なる物理点（例えば、１０個以上
）において重複したキャプチャー領域を有する任意の２つのｏｒｂを用いて繰り返される
（８２５）。
【００５３】
図９は、本発明の諸実施形態に係る点のデータ取得方法を示す。諸実施形態では、デー
タ取得プロセスは、ゼロ交差を探し求めてＮＩＲ画像を監視する。例えば、諸実施形態で
は、ホロカムシステムは、過去のフレーム（例えば、過去の５つのフレーム。ここで、現
在のフレームはフレーム0、その前のものはフレーム-1、などと呼ばれる）のセットの履
歴を保持する。奥行きマップの１つ以上のフレーム（例えば、フレーム0およびフレーム-
1）においてゼロであり、かつ奥行きマップのフレーム-2、フレーム-3、およびフレーム-
4において非ゼロであった点を見つけると（９０５）、この点は点取得デバイスに対応す
ると見なす。このトリガーが検出されると、ゼロ値を有するフレームの一方（例えば、フ
レーム0）内のゼロピクセルのバイナリーマスクが算出され、質量中心が算出される。こ
の質量中心点を点（ｘ，ｙ）と呼ぶ。ここで、（ｘ，ｙ）は奥行きマップ内におけるピク
セル位置の添数を表している。
【００５４】
次に、前の非ゼロフレームの１つ（例えば、フレーム-3）の奥行きマップ内の点（ｘ，
ｙ）の近傍（例えば、７×７近傍）内の平均奥行き値（例えば、近傍内の奥行き値の平均
値、中央値、または最頻値）が算出される（９１５）。この平均奥行き値を「Ｚ」とする
。ここで、点デバイス（例えば、デバイス１０００）が、ＬＥＤ（例えば、放射源１０１
０）の周囲に平面表面（例えば、表面１０１５）を有するようにしたことの利点の１つは
、より大きな表面をもち、そこから奥行き値をキャプチャーできることである。このよう
にしているのは、奥行きの検出プロセスは、ノイズが大きく生じやすい傾向があるためで
ある。それゆえ、放射源は、画像内のどこを見るべきかを教え、平面表面は奥行き値の近
傍を提供する。
【００５５】
諸実施形態では、奥行き値Ｚを用い、（ｘ，ｙ）点に対応する実世界のＸおよびＹ座標
を以下のように算出する。
【００５６】
2015176600.tif 000004
【００５７】
ここでｃx、ｃy、ｆx、およびｆyは、ｘおよびｙ方向におけるカメラ中心および焦点の
ｏｒｂの固有パラメーターにそれぞれ対応する。
【００５８】
同じ点を複数回キャプチャーするようにした場合では、点は、同じｏｒｂ内の他の読み
取り値が閾値半径内（例えば、２５ｍｍ半径内）に少なくともいくらかの閾値数（例えば
、３つ）存在する場合にのみ、値を採用するようにしてもよい。
【００５９】
（ｃ．バンドル調整の数学モデルの諸実施形態）
Ｎ個の測定値が利用可能であると仮定する。
【００６０】
2015176600.tif 000005
【００６１】
2015176600.tif 000006
【００６２】
2015176600.tif 000007
【００６３】
2015176600.tif 000008
【００６４】
３×１ベクトルを生成する（またはその４×１同次表現が同等に与えられる）演算子Ｍ
（  ）が定義される、
【００６５】
2015176600.tif 000009
【００６６】
３×１２（Ｏ−１）行列Ｍおよび１≦ｏ＜Ｏを得る演算子Ｅ（  ）も次式のように定義
される。
【００６７】
2015176600.tif 000010
【００６８】
ここで、Ｚh×wは高さｈおよび幅ｗのゼロの行列である。
また、４×４行列Ｔから１２×１行列を得るための演算子Ｇ（  ）が次式のように定義
される。
【００６９】
2015176600.tif 000011
【００７０】
2015176600.tif 000012
【００７１】
ＴOは、例えば、それは正準座標系への変換か、または恒等行列に等しい変換を表すの
で、既知であると仮定される。
【００７２】
2015176600.tif 000013
【００７３】
2015176600.tif 000014
【００７４】
2015176600.tif 000015
【００７５】
（ｄ．評価メトリック）
Ｎ×Ｏバンドル行列Ｂが作成されてもよい。この行列における行ｎは、点取得デバイス
が少なくとも２つのｏｒｂによって可視である１つのインスタンスに対応する。それゆえ
、Ｂにおける各行はその中に１の値を少なくとも２つ有する。
【００７６】
諸実施形態では、システムに対するｏｒｂ  ＃ｏの連結度ファクターが、ｏｒｂ  ｏお
よび少なくとももう１つのｏｒｂが両方とも点取得デバイスを観測するインスタンスの数
として定義されてもよい。バンドルについての連結グラフが描かれてもよい。このグラフ
におけるエッジの強さは回数を特定し、両者が点取得デバイスを観察する。
【００７７】
2015176600.tif 000016
【００７８】
（ｅ．実験結果）
実例として、ただし限定としてではなく、以下の実験結果が提供される。１つの例では
、４つのｏｒｂが考慮された。以下のものは、各ｏｒｂにおいて観測された３Ｄ点の数を
特定する。ｏｒｂ  １、２、３、および４について（それぞれ）９７点、２５５点、１１
９点、および２１４点。図１１は、本発明の諸実施形態に係るこの実験についての連結度
グラフを示す。図１１の図示されている連結度グラフでは、この実験に対応する連結度フ
ァクターは以下のとおりである。４つのｏｒｂについて３９．５５％、６０．４５％、３
０．６０％、および６９．４０％。より太い線はｏｒｂ間のより強い連結を示す。それゆ
え、図１１に見られるように、Ｏｒｂ  ＃１および＃４はＯｒｂ  ＃１および＃３よりも
強く連結されている。合計で、このデータセットにおいてはｏｒｂの対の間の４０２個の
対応点が発見された。
【００７９】
図１２は、本発明の諸実施形態に係るシーン位置合わせ手順前のｏｒｂ間の点の対応対
を示す。この図は、ｏｒｂの対を連結する多くの点の対を示している。例えば、Ｏｒｂ  
＃４における点１２０５はＯｒｂ  ＃２における対応点１２１０を有し、それにより、ｏ
ｒｂ間の連結１２１５を形成している。
【００８０】
セクション４．ｃ（上記）において概説されたバンドル調整プロセスに続き、４つのｏ
ｒｂに関するシーン位置合わせ情報が推定され、対応点は、図１３に見られるように、変
換後に視覚化されてもよい。図１３は、本発明の諸実施形態に係るシーン位置合わせ手順
後のｏｒｂ間の点の対応対を示す。ここでは、対応点の対が近接していることが分かる。
この場合には、Ｔ4は正準変換である。
【００８１】
2015176600.tif 000017
【００８２】
2015176600.tif 000018
【００８３】
表１（下）はこの結果についての誤差値を列記する。
2015176600.tif 000019
【００８４】
例えば、Ｏｒｂ  ＃４についての最小〜最大レンジは７．６７〜１３１．０６ｍｍであ
る。
【００８５】
比較例として、表２（下）はこの同じデータについてのシーン位置合わせ情報の直接算
出の結果を列記する。
2015176600.tif 000020
【００８６】
全ての場合において、本特許文献のバンドル調整の結果の方が直接算出よりも優れてい
ることに留意されたい。同様に、Ｏｒｂ＃１−Ｏｒｂ＃３については、この場合には２つ
のｏｒｂ間の弱い連結が存在するが、直接算出は全ての点について２００ｍｍ前後の誤差
値を生じさせる。一方、バンドル調整は、この誤差をおよそ７倍超、削減してのける。実
際、本特許文献の手法については、バンドル調整の論理によって期待される通り、この弱
い対における誤差レベルはその他のより強い対に匹敵する。
【００８７】
５．投影バンドル反復最近接点（ＩＣＰ）
本発明の諸実施形態は、ＴＯＦセンサー等の投影デバイスによってキャプチャーされた
２つ以上の組織化された点群、および予備的なシーン位置合わせ情報を入力として獲得し
、改良されたシーン位置合わせ情報を得る投影バンドル反復最近接点（ＩＣＰ）手法を含
む場合がある。このような手法の適用は、他のアルゴリズムによって得られたシーン位置
合わせ情報内の誤りの調整時、１つ以上のｏｒｂが空間内で移動する際のシーン位置合わ
せ情報の更新時、またはその両方の時におけるものである。諸実施形態では、投影バンド
ルＩＣＰアプローチのサブセットは、２つの点群を処理する投影ＩＣＰである。
【００８８】
（ａ．形式的課題定義）
諸実施形態では、組織化された点群は、均一な格子内に組織化された３Ｄベクトルの２
Ｄアレイである。
2015176600.tif 000021
この特性を満足する組織化された点群は、投影奥行き測定デバイス（一例として、ＴＯ
ＦセンサーやＫｉｎｅｃｔ型デバイス（Ｋｉｎｅｃｔはマイクロソフト社の登録商標）、
あるいはこれらに限定されない奥行きを測定可能なデバイス等）によってキャプチャーさ
れてもよい。
【００８９】
2015176600.tif 000022
【００９０】
（ｂ．評価メトリック）
2015176600.tif 000023
【００９１】
（ｃ．数学モデルの諸実施形態）
ｉ．再投影−ペアワイズ
2015176600.tif 000024
【００９２】
諸実施形態では、本手法は、第１の適当な大きさの２Ｄ奥行き（Ｚ）バッファーを作成
し（１４０５）、それを「未知」の識別子／値で埋めることによって、開始する。次に、
初期変換およびカメラ固有値を用いて投影ピクセル値が算出される。投影されたピクセル
値は奥行きバッファー内の値と比較され（１４１５）、第１の奥行きバッファー内の値は
「未知」であるか、または投影された奥行き値よりも大きいかのいずれかであることに応
答して、第１の奥行きバッファー内の奥行き値は、投影された奥行き値に設定される。
【００９３】
2015176600.tif 000025
【００９４】
図１４に戻ると、第２の適当な大きさの２Ｄ奥行きバッファー（Ｚ2）も作成され（１
４２０）、「未知」の識別子／値で埋められる。第１の奥行きバッファー（Ｚ）内の全て
の点を貫いてループし、奥行き値Ｚ［ｉ，ｊ］が「未知」ではない場合には、第２の奥行
きバッファーＺ2［ｉ，ｊ］内の対応点をその値に設定し（１４２５）、さもなければ、
未知ではない近傍（例えば、Ｚ［ｉ，ｊ］の８つの隣接点）がいくらかでも存在する場合
には、それを、「未知」ではない近傍の平均（例えば、平均値、中央値、または最頻値）
の値に設定する（１４２５）。
【００９５】
最終的な奥行きバッファーが与えられると、最終的な奥行きバッファー内の値を用いて
２つの適当な大きさのバッファーＸおよびＹが算出されてもよい（１４３０）。諸実施形
態では、実世界のＸおよびＹ値は以下のように算出されてもよい。
【００９６】
2015176600.tif 000026
ここでＺ［ｉ，ｊ］は最終的な奥行きバッファー（すなわち、第２の奥行きバッファー
）である。
【００９７】
2015176600.tif 000027
【００９８】
2015176600.tif 000028
【００９９】
ｉｉ．再投影−バンドル
諸実施形態では、ペアワイズ投影とは、１つの点群は静止していると仮定される場合を
指す。この条件は、本手法が２つの点群に適用される場合、すなわち、Ｏ＝２である場合
に適用可能である。
【０１００】
バンドル再投影の諸実施形態では、各点群はそれ自身の回転および変換エンティティの
対を有する。ｏ2がｏ1上に再投影されることになるものとし、２つの点群ｏ1およびｏ2が
再投影手法に入力されると仮定して、バンドル再投影の諸実施形態は、ペアワイズ再投影
を見いだし、その後、引き続いてペアワイズ再投影を行うことを含む。
【０１０１】
2015176600.tif 000029
【０１０２】
ｉｉｉ．剛体運動
2015176600.tif 000030
【０１０３】
2015176600.tif 000031
【０１０４】
ｉｖ．投影ＩＣＰ−ペアワイズ
同じシーンを２つの異なる観測点からキャプチャーした２つの組織化された点群内の点
の対応の観念は、ＩＣＰアルゴリズムの特有の要素の１つである。同じ観測点から同じ観
測角度でキャプチャーされる２つの組織化された点群である。
【０１０５】
2015176600.tif 000032
【０１０６】
これは重要な特性である。なぜなら、ｋ−ｄ木分解等の演算量の多い探索方法を用いる
必要がなく、一般的なＩＣＰアルゴリズムに比べて、本特許文献において開発された投影
ＩＣＰ手法に関する主要な差別化因子の１つとなっているからである。
【０１０７】
2015176600.tif 000033
【０１０８】
諸実施形態では、このプロセスにおいて利用される対応点の対の正規化数は「利用率（
ｕｔｉｌｉｚａｔｉｏｎ）」と呼ばれる場合がある。諸実施形態では、評価メトリックの
値、Δ、が算出されてもよい。
【０１０９】
諸実施形態では、（１）利用率が閾値レベル（例えば、２％）未満となるか、（２）ア
ルゴリズムが多数の反復（例えば、１００回の反復）を終えるか、（３）Δが閾値（例え
ば、１０ミリメートル）よりも小さくなった時か、（４）設定数の連続した反復（例えば
、１０回の反復）が、Δの値の閾値レベル（例えば、１ミリメートル）よりも小さい改善
を生じさせるか、または（５）何らかの他の停止条件に達するまで、投影ＩＣＰアルゴリ
ズムは反復されてもよい。
【０１１０】
図１７は、本発明の諸実施形態に係る投影ＩＣＰの後のサンプル結果を示す。しゃがん
だ人物１７１５を表現する点のセットを含む投影は、投影ＩＣＰによる調整の後では、点
群１７１０の間でより良好にアライメントされている。本例では、７回の反復後、システ
ムは定常となったため、アルゴリズムは収束した。図１８における表は、図１７の例につ
いてのプロセスの数値結果を総括したものである。平均利用率は４７．８３％であり、ア
ライメント不良は１７．５５％減少した（平均で３９．４６ｍｍのアライメント不良の減
少）。図１９および図２０は、投影ＩＣＰアルゴリズムが図１７における例の収束に向か
って進展したことに伴う利用率およびデルタ値を（それぞれ）示している。本例では、本
方法は収束に７０．２７ミリ秒を要した。
【０１１１】
ｖ．投影ＩＣＰ−バンドル
諸実施形態では、バンドル投影ＩＣＰ手法はそのペアワイズの相手方の範囲を複数の点
群に拡張する。この問題では、複数の点群が、反復の「基底」と呼ばれる場合がある１つ
の点群上に投影され、諸実施形態では、問題は、誤差を最小化する基底の最適の表現を見
つけることになる。
【０１１２】
図２１は、本発明の諸実施形態に係る投影バンドルＩＣＰの遂行方法を示す。図２１に
示されているように、実施形態では、プロセスは、点群を、基底として選択すること（２
１０５）によって、開始する。次に、全ての点群が基底上に再投影され（２１１０）、そ
の結果生じる点の集合は１つの仮想点群として扱われる。諸実施形態では、再投影は、セ
クション５．ｃ．ｉｉ（上記）に説明されている通りに遂行されてもよい。
【０１１３】
2015176600.tif 000034
【０１１４】
諸実施形態では、プロセスは点群を貫く反復（２１２５）を含み、設定された回転に基
づき選択されてもよい１つの点群を、基底として毎回選ぶ。それゆえ、各反復においては
、１つのｏｒｂが基底と見なされ、その他のｏｒｂに対応するシーン位置合わせ情報が更
新される。停止条件に達するとプロセスは終了する。実施形態では、停止条件は、事前に
選択された回数の反復内におけるアライメントの向上の量が、事前に選択された閾値より
も小さくなった場合であってもよい。ただし、その他または追加の停止条件が用いられて
もよい。
【０１１５】
反復プロセスの終了後、１つ以上の評価メトリックに基づき、シーン位置合わせ情報の
最良のセットが選択される（２１３０）。諸実施形態では、セクション５．ｂ（上記）の
評価メトリックが用いられてもよい。
【０１１６】
図２２は、本発明の諸実施形態に係る投影バンドルＩＣＰのサンプル結果を示す。本例
では、４つのｏｒｂが存在しており、本手法の部分的な出力ログが以下に提供されている
。
【０１１７】
2015176600.tif 000035
2015176600.tif 000036
【０１１８】
６．計算システムの諸実施形態
本発明の詳細を説明したので、次に、図２３を参照して、本発明の手法の１つ以上を実
現するために用いられてもよいか、またはホロカムシステムの一部として動作してもよい
例示的なシステム２３００が説明される。図２３に示されているように、システムは、計
算資源を提供し、コンピューターを制御する中央処理装置（central processing unit、
ＣＰＵ）２３０１を含む。ＣＰＵ  ２３０１は、マイクロプロセッサーまたは同様のもの
を用いて実装されてよく、グラフィックスプロセッサーおよび／または数学計算用の浮動
小数点コプロセッサーを含んでもよい。システム２３００は、ランダムアクセスメモリー
（random-access memory、ＲＡＭ）およびリードオンリーメモリー（read-only memory、
ＲＯＭ）の形態のものであってよい、システムメモリー２３０２を含んでもよい。
【０１１９】
図２３に示されているように、多数のコントローラーおよび周辺デバイスが提供されて
もよい。入力コントローラー２３０３は、キーボード、マウス、またはスタイラス等の、
種々の入力デバイス（単数または複数）２３０４へのインターフェイスを表す。スキャナ
ー２３０６と通信するスキャナーコントローラー２３０５が存在してもよい。システム２
３００は、オペレーティングシステムのための命令、ユーティリティー、および本発明の
種々の態様を実施するプログラムの諸実施形態を含み得るアプリケーションのプログラム
を記録するために用いられる場合もあり得る磁気テープもしくはディスク、または光媒体
等の記憶媒体をそれぞれ含む１つ以上の記憶デバイス２３０８とインターフェイスをとる
ための記憶コントローラー２３０７を含んでもよい。記憶デバイス（単数または複数）２
３０８は、本発明に係る処理済みのデータまたは処理予定のデータを記憶するために用い
られてもよい。システム２３００は、陰極線管（cathode ray tube、ＣＲＴ）、薄膜トラ
ンジスター（thin film transistor、ＴＦＴ）ディスプレイ、またはその他の種類のディ
スプレイであってもよい、ディスプレイデバイス２３１１へのインターフェイスを提供す
るためのディスプレイコントローラー２３０９を含んでもよい。システム２３００は、プ
リンター２３１３と通信するためのプリンターコントローラー２３１２を含んでもよい。
通信コントローラー２３１４が１つ以上の通信デバイス２３１５とインターフェイスをと
ってよい。通信デバイス２３１５は、システム２３００が、インターネット、ローカルエ
リアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide a
rea network、ＷＡＮ）を含む種々のネットワークの任意のものを通じて、または赤外線
信号を含む任意の好適な電磁搬送波信号を通じてリモートデバイスに接続することを可能
にする。
【０１２０】
図示されているシステムでは、１つを超える物理バスを表現していてもよいバス２３１
６に全ての主要なシステム構成要素が接続していてよい。ただし、種々のシステム構成要
素は互いに物理的に近接していてもよく、または近接していなくてもよい。例えば、入力
データおよび／または出力データは１つの物理ロケーションから他へ遠隔的に伝送されて
もよい。加えて、本発明の種々の態様を実施するプログラムは、遠隔ロケーション（例え
ば、サーバー）からネットワークを通じてアクセスされてもよい。このようなデータおよ
び／またはプログラムは、磁気テープもしくはディスクまたは光ディスクを含む種々の機
械可読媒体の任意のもの、あるいは送信機、受信機の対を介して伝達されてもよい。
【０１２１】
本発明の諸実施形態は、１つ以上のプロセッサーまたは処理装置がステップを遂行させ
るための命令とともに、１つ以上の非一時的コンピューター可読媒体上にエンコードされ
てもよい。１つ以上の非一時的コンピューター可読媒体は揮発性および不揮発性メモリー
を含む。ハードウエア実装またはソフトウェア／ハードウエア実装を含む、代替的な実装
が可能であることに留意されたい。ハードウエア実装機能は、ＡＳＩＣ（単数または複数
）、プログラマブルアレイ、デジタル信号処理回路機構、または同様のものを用いて実現
されてもよい。
【０１２２】
本発明はいくつかの特定の実施形態に関連して説明されているが、上述の説明を考慮す
れば多くのさらなる代替、変更、応用、および変形が明らかになることは当業者には明白
である。それゆえ、本明細書に記載されている本発明は、こうした代替、変更、応用およ
び変形を、添付の請求項の趣旨および範囲内に含まれてよいものとして全て包含すること
が意図されている。
【符号の説明】
【０１２３】
１０５，２０５…ホロカムシステム、１１０…複数の入力デバイス、１１５…レンダリ
ングデバイス、１２０…ディスプレイデバイス、２１０…シーン情報、２１５…システム
レイアウト情報、２２０…オーディオデータ、２２５…取得モジュール、２３０…位置合
わせモジュール、２３５…オーディオモジュール、２４０…ランタイムプロセッサー、２
４５…モデル作成モジュール、２５０…伝送モジュール、２５５…観測角度、２６０…レ
ンダリングモジュール、２６５…シーンの視像、５０５…特定された点群、５１０、５１
５…壁要素、５２５…床、７０５，７１０…ガイドライン、１０００…デバイス、１００
５…共通リモートコントロール、１０１０…放射源、１０１５…表面、１２０５…点、１
２１０…対応点、１２１５…連結、１５０５…領域、１７１０…点群、１７１５…人物、
２３００…システム、２３０１…中央処理装置（ＣＰＵ）、２３０２…システムメモリー
、２３０３…入力コントローラー、２３０４…入力デバイス、２３０５…スキャナーコン
トローラー、２３０６…スキャナー、２３０７…記憶コントローラー、２３０８…記憶デ
バイス、２３０９…ディスプレイコントローラー、２３１１…ディスプレイデバイス、２
３１２…プリンターコントローラー、２３１３…プリンター、２３１４…通信コントロー
ラー、２３１５…通信デバイス、２３１６…バス。
【図１】
2015176600.tif 000038
【図２】
2015176600.tif 000039
【図３】
2015176600.tif 000040
【図４Ａ】
2015176600.tif 000041
【図４Ｂ】
2015176600.tif 000042
【図８】
2015176600.tif 000043
【図９】
2015176600.tif 000044
【図１４】
2015176600.tif 000045
【図１６】
2015176600.tif 000046
【図２１】
2015176600.tif 000047
【図２３】
2015176600.tif 000048
【図５】
2015176600.tif 000049
【図６】
2015176600.tif 000050
【図７】
2015176600.tif 000051
【図１０】
2015176600.tif 000052
【図１１】
2015176600.tif 000053
【図１２】
2015176600.tif 000054
【図１３】
2015176600.tif 000055
【図１５】
2015176600.tif 000056
【図１７】
2015176600.tif 000057
【図１８】
2015176600.tif 000058
【図１９】
2015176600.tif 000059
【図２０】
2015176600.tif 000060
【図２２】
2015176600.tif 000061