(57)【要約】方法は、点及び面を含むプリミティブの組を用いてデータをレジストレーションする。まず、本方法は、第１の座標系におけるデータからプリミティブの第１の組を選択する。プリミティブの第１の組は、少なくとも３つのプリミティブ及び少なくとも１つの面を含む。第１の座標系から第２の座標系への変換が予測される。この変換を用いて、プリミティブの第１の組が第２の座標系に変換される。第２の座標系に変換されたプリミティブの第１の組に従ってプリミティブの第２の組が求められる。次に、第１の座標系におけるプリミティブの第１の組と第２の座標系におけるプリミティブの第２の組とを用いて、第２の座標系が第１の座標系にレジストレーションされる。レジストレーションを用いて、データを取得するカメラの姿勢を追跡することができる。
2016527574.tif 000002
【特許請求の範囲】
【請求項１】
プリミティブの組を用いてデータをレジストレーションする方法であって、前記データは３次元（３Ｄ）を有し、前記プリミティブは点及び面を含み、前記方法は、
第１の座標系における前記データからプリミティブの第１の組を選択するステップであって、前記プリミティブの第１の組は、少なくとも３つのプリミティブを含み、少なくとも１つの面を含む、ステップと、
前記第１の座標系から第２の座標系への変換を予測するステップと、
前記変換を用いて、前記プリミティブの第１の組を前記第２の座標系に変換するステップと、
前記第２の座標系に変換された前記プリミティブの第１の組に従ってプリミティブの第２の組を求めるステップと、
互いに対応する前記第１の座標系における前記プリミティブの第１の組と前記第２の座標系における前記プリミティブの第２の組とを用いて、前記第２の座標系を前記第１の座標系にレジストレーションするステップと、を含み、
前記ステップはプロセッサにおいて実行される、プリミティブの組を用いてデータをレジストレーションする方法。
【請求項２】
前記プリミティブの第１の組は、前記第１の座標系における少なくとも１つの点及び少なくとも１つの面を含み、前記プリミティブの第２の組は、前記第２の座標系における少なくとも１つの点及び少なくとも１つの面を含む、請求項１に記載の方法。
【請求項３】
前記データは移動可能なカメラによって取得される、請求項１に記載の方法。
【請求項４】
前記データはテクスチャ及び奥行きを含む、請求項１に記載の方法。
【請求項５】
前記レジストレーションすることは、ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）を用いる、請求項１に記載の方法。
【請求項６】
前記データは、カメラによって取得されるフレームシーケンスの形態をとる、請求項１に記載の方法。
【請求項７】
前記フレームシーケンスからキーフレームとしてフレームの組を選択することと、
前記キーフレームをマップに記憶することであって、前記キーフレームは前記点及び前記面を含み、前記点及び前記面は前記マップ内にランドマークとして記憶されることと、
を更に含む、請求項６に記載の方法。
【請求項８】
フレームごとにカメラの姿勢を予測することと、
前記レジストレーションすることに従って、フレームごとに前記カメラの前記姿勢を求めて前記カメラを追跡することと、
を更に含む、請求項７に記載の方法。
【請求項９】
前記レジストレーションすることはリアルタイムで行われる、請求項１に記載の方法。
【請求項１０】
前記点及び前記面を用いてバンドル調整を適用し、前記マップ内の前記ランドマークを精緻化することを更に含む、請求項７に記載の方法。
【請求項１１】
ｋ番目のフレームの前記姿勢は、
【数１】
2016527574.tif 000019
であり、ここで、Ｒｋ及びｔｋはそれぞれ、回転行列及び並進ベクトルを表す、請求項８に記載の方法。
【請求項１２】
前記予測することは一定の速度推定を用いる、請求項８に記載の方法。
【請求項１３】
オプティカルフロー手順を用いて前記フレーム内の前記点を突き止める、請求項６に記載の方法。
【請求項１４】
前記面の対応は、前記点の対応よりも優先される、請求項１に記載の方法。
【請求項１５】
前記レジストレーションすることは、Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ（ＳＬＡＭ）に用いられる、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータービジョンに関し、より詳細にはカメラの姿勢を推定することに関する。
【背景技術】
【０００２】
カメラの姿勢を追跡し、その間同時にシーンの３Ｄ構造を再構成するシステム及び方法が、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）視覚化、ロボットナビゲーション、シーンモデリング及びコンピュータービジョンアプリケーションにおいて広く用いられている。そのようなプロセスは、一般的に、Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ（ＳＬＡＭ）と呼ばれる。リアルタイムＳＬＡＭシステムは、２次元（２Ｄ：ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）画像を取得する従来のカメラ、３次元（３Ｄ：ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）ポイントクラウド（３Ｄ点の組）を取得する奥行きカメラ、又は２Ｄ画像及び３Ｄポイントクラウドの双方を取得する、Ｋｉｎｅｃｔ（登録商標）等の赤、緑、青及び奥行き（ＲＧＢ−Ｄ：ｒｅｄ，ｇｒｅｅｎ，ｂｌｕｅ  ａｎｄ  ｄｅｐｔｈ）カメラを用いることができる。追跡は、カメラの予測される動きを用いてカメラの姿勢を連続的に推定するプロセスを指し、位置再特定は、追跡失敗から回復するための、何らかの特徴ベースの大域レジストレーションを用いるプロセスを指す。
【０００３】
２Ｄカメラを用いるＳＬＡＭシステムは、テクスチャが存在するシーンの場合、概して成功するが、テクスチャが欠けている領域の場合、失敗する可能性が高い。奥行きカメラを用いるシステムは、Ｉｔｅｒａｔｉｖｅ−Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ（ＩＣＰ）法を利用して、曲面及び奥行き境界等のシーン内の幾何学的変動に頼る。しかしながら、ＩＣＰベースのシステムは、平坦なシーン等、幾何学的変動が小さいときに多くの場合に失敗する。ＲＧＢ−Ｄカメラを用いるシステムは、テクスチャ及び幾何学的特徴の双方を利用することができるが、依然として別個のテクスチャを必要とする。
【０００４】
多くの方法は、単一の部屋よりも大きな３Ｄモデルを再構築する際の難点に明確に対処していない。これらの方法をより大きなシーンに拡張するために、より良好なメモリ管理技法が必要とされる。一方、メモリ制限のみが課題ではない。通常、部屋の規模のシーンは、テクスチャ特徴及び幾何学的特徴の双方を有する多くのオブジェクトを有する。より大きなシーンに拡張するためには、限られたテクスチャ及び不十分な幾何学的変動を有する、廊下等の領域においてカメラ姿勢を追跡する必要がある。
【０００５】
カメラ追跡
３Ｄセンサーを用いて３Ｄポイントクラウドを取得するシステムは、いくつかの３Ｄ対応を所与として、追跡問題をレジストレーション問題に帰着する。ＩＣＰ方法は、カメラ動き予測によって与えられた初期姿勢推定値から開始して、点対点又は点対面の対応を反復的に突き止める。ＩＣＰは、走査マッチングとしても知られる、モバイルロボティクスにおけるライン走査３Ｄセンサーのために広く用いられ、完全な３Ｄポイントクラウドを生成する奥行きカメラ及び３Ｄセンサーのためにも広く用いられている。特許文献１は、Ｋｉｎｅｃｔ（登録商標）カメラの姿勢追跡のために、ＩＣＰ方法を用いた点対面の対応を用いる。マップの表現はボクセルの組である。各ボクセルは、最近傍表面点への距離のためのトランケートされた符号付き距離関数を表す。その方法は、３Ｄポイントクラウドから面を抽出するのではなく、ローカル近傍を用いて３Ｄ点の法線を求めることによって点対面の対応が確立される。そのようなＩＣＰベースの方法は、正確なレジストレーションの場合にシーンが十分な幾何学的変動を有することを必要とする。
【０００６】
別の方法は、ＲＧＢ画像から特徴を抽出し、記述子ベースの点マッチングを実行して、点対点の対応を求め、カメラ姿勢を推定する。カメラ姿勢は次に、ＩＣＰ方法を用いて精緻化される。その方法は、シーン内のテクスチャ（ＲＧＢ）特徴及び幾何学的（奥行き）特徴を用いる。しかし、点特徴のみを用いてテクスチャのない領域及び繰り返しのテクスチャを有する領域を扱うことは依然として問題がある。
【０００７】
平面を用いたＳＬＡＭ
いくつかのＳＬＡＭシステムにおいて面特徴が用いられている。カメラ姿勢を求めるために、法線がＲ３にまたがる少なくとも３つの面が必要とされる。このため、面のみを用いることによって、特に、視野（ＦＯＶ：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）又はセンサー範囲がＫｉｎｅｃｔ（登録商標）におけるように小さいとき、多くの縮退問題が生じる。大きなＦＯＶのライン走査３Ｄセンサー及び小さな視野（ＦＯＶ）の奥行きカメラの組み合わせによって、更なるシステムコストを伴うが縮退を回避することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第２０１２／０１９４５１６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
関連出願に記載されている方法は、これらのプリミティブのうちの１つを用いる方法において一般的な失敗モードを回避するために点及び面の双方を用いる、点−面ＳＬＡＭ（ｐｏｉｎｔ−ｐｌａｎｅ  ＳＬＡＭ）を用いる。そのシステムは、カメラ動き予測を一切用いない。代わりに、そのシステムは、点及び面の対応を大域的に突き止めることによって、全てのフレームについて位置再特定を行う。結果として、そのシステムは、毎秒約３フレームしか処理することができず、記述子ベースの点マッチングに起因して幾つかの繰り返しテクスチャを有するシーンで失敗する。
【００１０】
関連特許出願において記載されている方法は、点対点及び面対面の双方の対応を用いて様々な座標系における３Ｄデータレジストレーションも表す。
【課題を解決するための手段】
【００１１】
人工構造物を含む屋内シーン及び屋外シーンでは、平面が支配的である。本発明の実施形態は、点及び面をプリミティブ特徴として用いるＲＧＢ−Ｄカメラを追跡するシステム及び方法を提供する。本方法は、面を当てはめることによって、３Ｄセンサーに一般的な奥行きデータにおけるノイズを暗黙的に処理する。追跡方法は、ハンドヘルド又はロボット搭載のＲＧＢ−Ｄカメラを用いてリアルタイムＳｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ（ＳＬＡＭ）システムを実証する位置再特定及びバンドル調整プロセスによってサポートされる。
【００１２】
本発明の目的は、レジストレーション失敗を引き起こす縮退問題を最小にしながら、高速で正確なレジストレーションを可能にすることである。本方法は、カメラ動き予測を用いて点及び面の対応を突き止め、予測及び補正のフレームワークに基づく追跡器を提供する。本方法は、点及び面の双方を用いる位置再特定及びバンドル調整プロセスを組み込むことにより、追跡失敗から回復し、カメラ姿勢推定を連続的に精緻化する。
【００１３】
特に、本方法は、点及び面を含むプリミティブの組を用いてデータをレジストレーションする。第１に、本方法は、第１の座標系内のデータからプリミティブの第１の組を選択する。プリミティブの第１の組は、少なくとも３つのプリミティブを含み、少なくとも１つの面を含む。
【００１４】
第１の座標系から第２の座標系への変換が予測される。プリミティブの第１の組が変換を用いて第２の座標系に変換される。第２の座標系に変換されたプリミティブの第１の組に従ってプリミティブの第２の組が求められる。
【００１５】
次に、第１の座標系におけるプリミティブの第１の組及び第２の座標系におけるプリミティブの第２の組を用いて、第２の座標系が第１の座標系にレジストレーションされる。このレジストレーションを用いて、データを取得するカメラの姿勢を追跡することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による、カメラの姿勢を追跡する方法の流れ図である。
【図２】本発明の実施形態による、カメラの予測姿勢を用いて現在のフレームとマップとの間の点対点及び面対面の対応を確立する手順の概略図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態は、カメラの姿勢を追跡するシステム及び方法を提供する。本方法は、より高速な対応検索及びレジストレーションのためにカメラ動き予測を用いることによって、関連の米国特許出願第１３／５３９０６０号に記載されている実施形態を拡張する。本発明では、現在のフレームとマップとの間に確立される点対点及び面対面の対応を用いる。マップは、大域座標系において以前にレジストレーションされたフレームからの点及び面を含む。ここで、本発明の焦点は、カメラ動き予測を用いて面対面の対応を確立すること、並びに混合した事例では点対点及び面対面の双方の対応を確立することである。
【００１８】
システム概観
好ましいシステムでは、ＲＧＢ−Ｄカメラ１０２はＫｉｎｅｃｔ（登録商標）又はＡＳＵＳ（登録商標）Ｘｔｉｏｎ  ＰＲＯ  ＬＩＶＥであり、一連のフレーム１０１を必要とする。本発明ではキーフレームベースのＳＬＡＭシステムを用い、キーフレームとして幾つかの代表的なフレームを選択し、マップ内の単一の大域座標系内にレジストレーションされたキーフレームを記憶する。点のみを用いる従来技術のＳＬＡＭと対照的に、本発明ではシステムの全てのプロセスにおいて点及び面をプリミティブとして用いる。各フレーム内の点及び面は測定値と呼ばれ、キーフレームからの測定値はランドマークとしてマップに記憶される。
【００１９】
マップを所与として、予測及び補正フレームワークを用いて現在のフレームの姿勢を推定する。カメラの姿勢を予測し、姿勢を用いて点測定値及び面測定値と点ランドマーク及び面ランドマークとの間の対応を求め、次にこれらを用いてカメラ姿勢が求められる。
【００２０】
追跡は、誤った又は不十分な対応に起因して失敗する場合がある。本発明では、所定の数の連続追跡失敗後に位置再特定を行う。ここでは、現在のフレームとマップとの間の点及び面の大域対応検索を用いる。点及び面を用いたバンドル調整も適用し、マップ内のランドマークを非同期に精緻化する。
【００２１】
方法概観
図１に示すように、現在のフレーム１０１は、シーン１０３の赤、緑、青及び奥行き（ＲＧＢ−Ｄ）カメラ１０２によって取得される（１１０）。フレームを取得するときのカメラの姿勢が予測され（１２０）、これを用いて、フレームとマップ１９４との間の点及び面の対応が突き止められる（１３０）。点及び面の対応は、ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）フレームワーク１４０において、フレームをマップにレジストレーションするのに用いられる。レジストレーションが失敗した場合（１５０）、連続した失敗の数をカウントし（１５４）、偽（Ｆ）である場合、次のフレームに続き、そうではなく真（Ｔ）である場合、カメラ動き予測を用いることなく大域レジストレーション方法を用いてカメラを位置再特定する（１５８）。
【００２２】
ＲＡＮＳＡＣレジストレーションが成功すると、ＲＡＮＳＡＣフレームワークにおいて推定された姿勢１６０がフレームの姿勢として用いられる。次に、現在のフレームがキーフレームであるか否かを判断し（１７０）、偽である場合、ステップ１１０において次のフレームに進む。そうでない場合、現在のフレーム内で追加の点及び面を抽出し（１８０）、マップ１９４を更新し（１９０）、次のフレームに進む。マップはバンドル調整を用いて非同期で精緻化される（１９８）。
【００２３】
ステップは、当該技術分野において既知のメモリ及び入／出力インターフェースに接続されたプロセッサにおいて実行することができる。
【００２４】
カメラ姿勢追跡
上記で述べたように、本発明による追跡は、点及び面の双方を含む特徴を用いる。追跡は、予測及び補正方式に基づき、これは以下のように要約することができる。フレームごとに、カメラモーションモデルを用いて姿勢を予測する。予測姿勢に基づいて、マップ内の点ランドマーク及び面ランドマークに対応するフレーム内の点測定値及び面測定値を突き止める。点及び面の対応を用いてＲＡＮＳＡＣベースのレジストレーションを行う。姿勢がマップ内に現在記憶されているいずれのキーフレームの姿勢とも異なる場合、追加の点測定値及び面測定値を抽出し、新たなキーフレームとしてフレームをマップに追加する。
【００２５】
カメラ動き予測
ｋ番目のフレームの姿勢を以下のように表す。
【数１】
2016527574.tif 000003
ここで、Ｒｋ及びｔｋはそれぞれ、回転行列及び並進ベクトルを表す。第１のフレームを用いてマップの座標系を定義する。このため、Ｔ１は恒等行列であり、Ｔｋはマップに対するｋ番目のフレームの姿勢を表す。
【００２６】
一定速度推定を用いることによって、ｋ番目のフレームの姿勢
【数２】
2016527574.tif 000004
を予測する。ΔＴが、（ｋ−１）番目のフレームと（ｋ−２）番目のフレームとの間の以前に推定された動き、すなわちΔＴ＝Ｔｋ−１Ｔｋ−２−１を示すものとする。このとき、ｋ番目のフレームの姿勢を、
【数３】
2016527574.tif 000005
として予測する。
【００２７】
点及び面の対応の突き止め
図２に示すように、予測姿勢
【数４】
2016527574.tif 000006
を用いてマップ内のランドマークに対応するｋ番目のフレームの点測定値及び面測定値を突き止める。現在のフレームの予測姿勢２０１を所与として、マップ２０２内の点ランドマーク及び面ランドマークと現在のフレーム２０３内の点測定値及び面測定値との間の対応を突き止める。まず、マップ内のランドマークを、予測姿勢を用いて現在のフレームに変換する。次に、全ての点について、現在のフレーム内の予測ピクセル位置からのオプティカルフロー手順を用いた局所探索を実行する。全ての面について、まず、予測面のパラメーターを突き止める。次に、予測面上の基準点の組を検討し、予測面上に位置する各基準点から接続されたピクセルを突き止める。最大数の接続ピクセルを有する基準点が選択され、全ての接続されたピクセルを用いて面パラメーターが精緻化される。
【００２８】
点対応：ｐｉ＝（ｘｉ，ｙｉ，ｚｉ，ｌ）Ｔが、等質ベクトルとして表されるマップ内のｉ番目の点ランドマーク２１０を表すものとする。現在のフレームにおけるｐｉの２Ｄ画像投影２２０が以下のように予測される。
【数５】
2016527574.tif 000007
ここで、
【数６】
2016527574.tif 000008
はｋ番目のフレームの座標系に変換された３Ｄ点であり、関数ＦＰ（・）は、内部カメラ較正パラメーターを用いて画像面上への３Ｄ点の順方向投影を求める。初期位置
【数７】
2016527574.tif 000009
から開始して、ルーカス−カナデのオプティカルフロー法を用いることによって対応する点測定値を突き止める。
【数８】
2016527574.tif 000010
を、求められたオプティカルフローベクトル２３０とする。このとき、対応する点測定値
【数９】
2016527574.tif 000011
は、以下となる。
【数１０】
2016527574.tif 000012
ここで、関数ＢＰ（・）は、２Ｄ画像ピクセルを３Ｄ光線に後方投影し、Ｄ（・）はピクセルの奥行き値を指す。オプティカルフローベクトルが求められないか、又はピクセルロケーション
【数１１】
2016527574.tif 000013
が無効な奥行き値を有する場合、特徴は失われたものとみなされる。
【００２９】
面対応：従来技術のように、各フレームにおいて、他のフレームと独立して時間がかかる面抽出手順を行う代わりに、本発明では、予測姿勢を利用して面を抽出する。これによって、面測定抽出がより高速となり、面対応ももたらされる。
【００３０】
πｊ＝（ａｊ，ｂｊ，ｃｊ，ｄｊ）Ｔがマップ内のｊ番目の面ランドマーク２４０の面方程式を表すものとする。面ランドマーク及び対応する測定値は、画像内に幾つかの重複領域を有すると仮定する。そのような対応する面測定値を突き止めるために、ｊ番目の面ランドマークのインライアから幾つかの基準点２５０、ｑｊ，ｒ（ｒ＝１，．．．，Ｎ）をランダムに選択し、基準点をｋ番目のフレームに２５５として変換する。
【数１２】
2016527574.tif 000014
【００３１】
また、πｊをｋ番目のフレームに２４５として変換する。
【数１３】
2016527574.tif 000015
【００３２】
面
【数１４】
2016527574.tif 000016
上にある各変換された基準点
【数１５】
2016527574.tif 000017
から接続されたピクセル２６０を突き止め、最大のインライアを有するピクセルを選択する。インライアを用いて面方程式を精緻化し、結果として対応する面測定値
【数１６】
2016527574.tif 000018
が得られる。インライアの数が閾値未満である場合、面ランドマークは失われたものと宣言される。例えば、Ｎ＝５個の基準点と、面におけるインライアを求めるのに点対面の距離について５０ｍｍの閾値と、インライアの最大数の閾値として９０００とを用いる。
【００３３】
ランドマーク選択
マップ内の全てのランドマークを用いて上記のプロセスを実行することは非効率的である可能性がある。したがって、現在のフレームに最も近い単一のキーフレーム内に現れるランドマークを用いる。最も近いキーフレームは、追跡プロセスの前に、前のフレームＴｋ−１の姿勢を用いることによって選択される。
【００３４】
ＲＡＮＳＡＣレジストレーション
予測ベースの対応探索は、点対点及び面対面の対応の候補を提供する。これらの候補は外れ値を含む場合がある。このため、ＲＡＮＳＡＣベースのレジストレーションを行ってインライアを求め、カメラ姿勢を求める。姿勢を明確に求めるために、少なくとも３つの対応を必要とする。このため、対応の候補が３つ未満である場合、即座に追跡失敗であると判断する。また、正確なカメラ追跡のために、僅かな数の対応候補しかないとき、追跡失敗であると判断する。
【００３５】
十分な数の候補が存在する場合、閉形式で混合した対応を用いてレジストレーション問題を解く。手順は、点対応よりも面対応を優先する。なぜなら、面の数は通常、点の数よりもはるかに小さく、面は、多くの点からのサポートに起因してノイズがより少ないためである。ＲＡＮＳＡＣが十分な数のインライア、例えば全ての点測定値及び面測定値の数のうちの４０％を突き止める場合、追跡は成功とみなされる。本方法により、ｋ番目のフレームの補正された姿勢Ｔｋが得られる。
【００３６】
マップ更新
推定姿勢Ｔｋがマップ内の任意の既存のキーフレームの姿勢と十分異なる場合、ｋ番目のフレームをキーフレームであると判断する。この条件をチェックするために、例えば、並進における１００ｍｍの閾値及び回転における５度の閾値を用いることができる。新たなキーフレームのために、ＲＡＮＳＡＣベースのレジストレーションにおけるインライアとして突き止められた点及び面の測定値は、対応するランドマークに関連付けられる一方、外れ値として突き止められた点及び面の測定値は廃棄される。次に、このフレーム内に新たに現れる追加の点及び面の測定値を抽出する。追加の点測定値は、いかなる既存の点測定値にも近くないピクセルに対し、Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）及びＳｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）等のキーポイント検出器を用いて抽出される。追加の面測定値は、任意の既存の面測定値のインライアでないピクセルに対しＲＡＮＳＡＣベースの面当てはめを用いることによって抽出される。追加の点測定値及び面測定値は、新たなランドマークとしてマップに加えられる。さらに、フレーム内の全ての点測定値について、ＳＩＦＴ及びＳＵＲＦ等の特徴記述子を抽出し、これらが位置再特定に用いられる。
【図１】
2016527574.tif 000020
【図２】
2016527574.tif 000021
【手続補正書】
【提出日】平成27年12月17日(2015.12.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第１の座標系から第２の座標系への変換が予測される。この変換は、カメラモーションモデルを用いて予測される。プリミティブの第１の組が予測された変換を用いて第２の座標系に変換される。第２の座標系に変換されたプリミティブの第１の組に従ってプリミティブの第２の組が求められる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
次に、第１の座標系におけるプリミティブの第１の組及び第２の座標系におけるプリミティブの第２の組を用いて、第２の座標系が第１の座標系にレジストレーションされる。レジストレーションすることは、Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ（ＳＬＡＭ）に用いられる。このレジストレーションを用いて、データを取得するカメラの姿勢を追跡することができる。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プリミティブの組を用いてデータをレジストレーションする方法であって、前記データは３次元（３Ｄ）を有し、前記プリミティブは点及び面を含み、前記方法は、
第１の座標系における前記データからプリミティブの第１の組を選択するステップであって、前記プリミティブの第１の組は、少なくとも３つのプリミティブを含み、少なくとも１つの面を含む、ステップと、
前記第１の座標系から第２の座標系への変換を予測するステップであって、前記変換は、カメラモーションモデルを用いて予測される、ステップと、
前記予測された変換を用いて、前記プリミティブの第１の組を前記第２の座標系に変換するステップと、
前記第２の座標系に変換された前記プリミティブの第１の組に従ってプリミティブの第２の組を求めるステップと、
互いに対応する前記第１の座標系における前記プリミティブの第１の組と前記第２の座標系における前記プリミティブの第２の組とを用いて、前記第２の座標系を前記第１の座標系にレジストレーションするステップと、を含み、
前記レジストレーションすることは、Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ（ＳＬＡＭ）に用いられ、前記ステップはプロセッサにおいて実行される、プリミティブの組を用いてデータをレジストレーションする方法。
【請求項２】
前記プリミティブの第１の組は、前記第１の座標系における少なくとも１つの点及び少なくとも１つの面を含み、前記プリミティブの第２の組は、前記第２の座標系における少なくとも１つの点及び少なくとも１つの面を含む、請求項１に記載の方法。
【請求項３】
前記データは移動可能なカメラによって取得される、請求項１に記載の方法。
【請求項４】
前記データはテクスチャ及び奥行きを含む、請求項１に記載の方法。
【請求項５】
前記レジストレーションすることは、ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）を用いる、請求項１に記載の方法。
【請求項６】
前記データは、カメラによって取得されるフレームシーケンスの形態をとる、請求項１に記載の方法。
【請求項７】
前記フレームシーケンスからキーフレームとしてフレームの組を選択することと、
前記キーフレームをマップに記憶することであって、前記キーフレームは前記点及び前記面を含み、前記点及び前記面は前記マップ内にランドマークとして記憶されることと、
を更に含む、請求項６に記載の方法。
【請求項８】
フレームごとにカメラの姿勢を予測することと、
前記レジストレーションすることに従って、フレームごとに前記カメラの前記姿勢を求めて前記カメラを追跡することと、
を更に含む、請求項７に記載の方法。
【請求項９】
前記レジストレーションすることはリアルタイムで行われる、請求項１に記載の方法。
【請求項１０】
前記点及び前記面を用いてバンドル調整を適用し、前記マップ内の前記ランドマークを精緻化することを更に含む、請求項７に記載の方法。
【請求項１１】
ｋ番目のフレームの前記姿勢は、
【数１】
2016527574.tif 000022
であり、ここで、Ｒｋ及びｔｋはそれぞれ、回転行列及び並進ベクトルを表す、請求項８に記載の方法。
【請求項１２】
前記予測することは一定の速度推定を用いる、請求項８に記載の方法。
【請求項１３】
オプティカルフロー手順を用いて前記フレーム内の前記点を突き止める、請求項６に記載の方法。
【請求項１４】
前記面の対応は、前記点の対応よりも優先される、請求項１に記載の方法。
【国際調査報告】
2016527574.tif 000023
2016527574.tif 000024
2016527574.tif 000025