(57)【要約】  オブジェクト認識システムにおけるターゲットオブジェクトの追跡のコンピュータ実装方法は、カメラで複数の画像を取得するステップと、同時に、ターゲットオブジェクトを追跡し、かつ、複数の画像からオンライン地図データを動的に構築するステップとを含む。ターゲットオブジェクトを追跡するステップは、オンライン地図データとオフライン地図データとに基づく。一態様では、ターゲットオブジェクトを追跡するステップは、追跡が成功するかどうかに基づいて追跡するために、オンライン地図データとオフライン地図データとのうちの1つだけを有効にするステップを含む。別の態様では、ターゲットオブジェクトを追跡するステップは、融合されたオンラインモデルを生成するために、オンライン地図データとオフライン地図データを融合するステップを含む。
2016533557.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト認識システムにおけるターゲットオブジェクトの追跡のコンピュータ実装方法であって、
カメラで複数の画像を取得するステップと、
前記ターゲットオブジェクトのオフライン地図データを取得するステップと、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築するステップであって、前記ターゲットオブジェクトを追跡するステップが、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップを含む、ステップと
を備える、コンピュータ実装方法。
【請求項２】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップが、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合するステップを含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項1に記載のコンピュータ実装方法。
【請求項３】
前記オンライン地図データと前記オフライン地図データとを融合するステップが、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出するステップと、
オンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較するステップと、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加するステップと、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加するステップと
を含む、請求項2に記載のコンピュータ実装方法。
【請求項４】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップが、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定するステップであって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、ステップと、
前記ターゲットポーズ推定が成功するかどうかを決定するステップと、成功した場合、
後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データとオフライン地図データとのうちの1つだけを有効にするステップと
を含む、請求項1に記載のコンピュータ実装方法。
【請求項５】
前記後続の画像内の前記ターゲットオブジェクトの追跡のため、前記ターゲットオブジェクトの前記追跡が失敗した場合、前記オンライン地図データと前記オフライン地図データの両方を有効にするステップをさらに備える、請求項4に記載のコンピュータ実装方法。
【請求項６】
前記オンライン地図データと前記オフライン地図データとのうちの1つだけを有効にするステップが、
前記ターゲットオブジェクトの領域サイズを計算するステップと、
前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、前記オフライン地図データを有効にして、前記オンライン地図データを無効にするステップと、
前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、前記オンライン地図データを有効にして、前記オフライン地図データを無効にするステップと
を含む、請求項4に記載のコンピュータ実装方法。
【請求項７】
前記ターゲットオブジェクトの前記領域サイズを計算するステップが、オフライン地図データフィーチャの境界ボックスを取得された画像に投影するステップを含む、請求項6に記載のコンピュータ実装方法。
【請求項８】
前記領域しきい値が、画像の少なくとも半分を仮定する前記ターゲットオブジェクトに対応する、請求項6に記載のコンピュータ実装方法。
【請求項９】
前記オンライン地図データが、前記カメラで取得された前記複数の画像に対応する1つまたは複数のキーフレームに基づく、請求項1に記載のコンピュータ実装方法。
【請求項１０】
前記オンライン地図データを構築するステップが、キーフレームSLAM(Simultaneous Localization and Mapping)を含む、請求項1に記載のコンピュータ実装方法。
【請求項１１】
前記オンライン地図データを構築するステップが、候補キーフレームと、前記カメラによって取得された画像に対応する他のオンラインキーフレームとの間のポーズ距離を計算することによって、前記1つまたは複数のキーフレームに前記候補キーフレームを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項１２】
オブジェクト認識システムにおけるターゲットオブジェクトを追跡するためのプログラムコードを記憶したコンピュータ可読記憶媒体であって、前記プログラムコードが、
カメラで複数の画像を取得する命令と、
前記ターゲットオブジェクトのオフライン地図データを取得する命令と、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築する命令であって、前記ターゲットオブジェクトを追跡する前記命令が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する命令を含む、命令と
を含む、コンピュータ可読記憶媒体。
【請求項１３】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合する命令を含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項12に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記オンライン地図データと前記オフライン地図データとを融合する前記命令が、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出する命令と、
前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較する命令と、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加する命令と、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加する命令と
を含む、請求項13に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定する命令であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、命令と、
前記ターゲットポーズ推定が成功するかどうかを決定する命令と、成功した場合、
後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データとオフライン地図データとのうちの1つだけを有効にする命令と
を含む、請求項12に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記後続の画像内の前記ターゲットオブジェクトの追跡のため、前記ターゲットオブジェクトの前記追跡が失敗した場合、前記オンライン地図データと前記オフライン地図データの両方を有効にする命令をさらに備える、請求項15に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記オンライン地図データと前記オフライン地図データとのうちの1つだけを有効にするステップが、
前記ターゲットオブジェクトの領域サイズを計算する命令と、
前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、前記オフライン地図データを有効にして、前記オンライン地図データを無効にする命令と、
前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、前記オンライン地図データを有効にして、前記オフライン地図データを無効にする命令と
を含む、請求項15に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記ターゲットオブジェクトの前記領域サイズを計算する前記命令が、オフライン地図データフィーチャの境界ボックスを取得された画像に投影する命令を含む、請求項17に記載のコンピュータ可読記憶媒体。
【請求項１９】
前記領域しきい値が、画像の少なくとも半分を仮定する前記ターゲットオブジェクトに対応する、請求項17に記載のコンピュータ可読記憶媒体。
【請求項２０】
前記オンライン地図データが、前記カメラで取得された前記複数の画像に対応する1つまたは複数のキーフレームに基づく、請求項12に記載のコンピュータ可読記憶媒体。
【請求項２１】
前記オンライン地図データを構築する命令が、キーフレームSLAM(Simultaneous Localization and Mapping)を含む、請求項12に記載のコンピュータ可読記憶媒体。
【請求項２２】
前記オンライン地図データを構築する前記命令が、候補キーフレームと、前記カメラによって取得された画像に対応する他のオンラインキーフレームとの間のポーズ距離を計算することによって、前記1つまたは複数のキーフレームに前記候補キーフレームを追加する命令を含む、請求項12に記載のコンピュータ可読記憶媒体。
【請求項２３】
装置であって、
オブジェクト認識システムにおけるターゲットオブジェクトを追跡するためのプログラムコードを記憶するように適合されたメモリと、
前記プログラムコード内に含まれる命令にアクセスして実行するように適合された処理ユニットとを備え、前記命令が前記処理ユニットによって実行されると、前記処理ユニットが前記装置に、
カメラで複数の画像を取得することと、
前記ターゲットオブジェクトのオフライン地図データを取得することと、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築することであって、前記ターゲットオブジェクトを追跡する前記命令が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する命令を含むことと
を行わせるように指示する、装置。
【請求項２４】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合する命令を含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項23に記載の装置。
【請求項２５】
前記オンライン地図データと前記オフライン地図データとを融合する前記命令が、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出する命令と、
前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較する命令と、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加する命令と、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加する命令と
を含む、請求項24に記載の装置。
【請求項２６】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定する命令であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、命令と、
前記ターゲットポーズ推定が成功するかどうかを決定する命令と、成功した場合、
後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データとオフライン地図データとのうちの1つだけを有効にする命令と
を含む、請求項23に記載の装置。
【請求項２７】
前記オンライン地図データと前記オフライン地図データとのうちの1つだけを有効にするステップが、
前記ターゲットオブジェクトの領域サイズを計算する命令と、
前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、前記オフライン地図データを有効にして、前記オンライン地図データを無効にする命令と、
前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、前記オンライン地図データを有効にして、前記オフライン地図データを無効にする命令と
を含む、請求項26に記載の装置。
【請求項２８】
カメラで複数の画像を取得するための手段と、
ターゲットオブジェクトのオフライン地図データを取得するための手段と、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築するための手段であって、前記ターゲットオブジェクトを追跡するための手段が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための手段を含む、手段と
を含む、装置。
【請求項２９】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための前記手段が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合するための手段を含み、前記オンライン地図データと前記オフライン地図データとを融合するための前記手段が、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出するための手段と、
前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較するための手段と、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加するための手段と、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加するための手段と
を含む、請求項28に記載の装置。
【請求項３０】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための前記手段が、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定するための手段であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、手段と、
前記ターゲットポーズ推定が成功するかどうかを決定するための手段と、
前記ターゲットオブジェクトの追跡が成功した場合、後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データとオフライン地図データとのうちの1つだけを有効にするための手段と
を含む、請求項28に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2013年10月4日に出願された米国仮出願第61/887,196号の利益を主張する。米国仮出願第61/887,196号は、参照により本明細書に組み込まれる。
【０００２】
本開示は、一般に、コンピュータビジョンベースのオブジェクト認識アプリケーションに関し、詳細には、限定はしないが、拡張現実システムにおけるオブジェクト検出および追跡に関する。
【背景技術】
【０００３】
モバイル電話または他のモバイルプラットフォーム上で拡張現実(AR)を可能にするための課題は、オブジェクトをリアルタイムに検出して追跡する問題である。ARアプリケーションのためのオブジェクト検出には、非常に厳しい要件がある。それは、完全な6自由度を提供し、所与の座標系に対して絶対的な測定値を与え、非常に堅牢であり、リアルタイムに実行しなければならない。興味深いのは、コンピュータビジョン(CV)ベースの手法を使用して、カメラポーズを計算する方法であり、その方法は、カメラの視野内のオブジェクトを第1に検出すること、続いてそれを追跡することに依存する。一態様では、検出動作は、デジタル画像内に含まれるフィーチャ(feature)のセットを検出することを含む。フィーチャは、その領域を取り巻くエリアと比較して明るさや色などの特性の点で異なる、デジタル画像内の領域を指すことができる。一態様では、フィーチャは、いくつかの特性が一定である、または所定の値の範囲内で変動する、デジタル画像の領域である。
【０００４】
次いで、検出されたフィーチャは、画像内に現実世界のオブジェクトが存在するかどうかを決定するために、フィーチャデータベースに含まれる、既知のフィーチャと比較される。したがって、視覚ベースのARシステムの動作における重要な要素は、フィーチャデータベースの構成である。いくつかのシステムでは、フィーチャデータベースは、様々な既知の視点から、既知のターゲットオブジェクトの複数のサンプル画像をキャプチャすることによって、実行時以前に構築される。次いで、これらのサンプル画像からフィーチャが抽出されて、フィーチャデータベースに追加される。
【０００５】
最近では、拡張現実システムは、カメラによってキャプチャされたカラー画像データまたはグレースケール画像データに基づく、モデルベースの追跡アルゴリズム、またはSLAM(Simultaneous Localization and Mapping)アルゴリズムに変化している。SLAMアルゴリズムは、リアルタイムに場面の3D地図(すなわち、SLAM地図)を構築するために使用されるカメラによってキャプチャされた、入ってくる画像シーケンスから、3次元(3D)ポイントを再構築する。再構築された地図から、現在の画像フレーム内のカメラの6DoF(自由度)ポーズを位置特定することが可能である。
【０００６】
いくつかのシステムでは、ターゲットオブジェクトのSLAM地図は、実行時以前に、およびオブジェクトから近距離で生成される。実行時に、入ってくるビデオフレームからオブジェクトに対するカメラの6DoFポーズを推定するために、実行時以前に生成されたオブジェクトのSLAM地図が使用される。ターゲットオブジェクトだけから構築されたSLAM地図が使用される場合、ターゲットオブジェクトの追跡は、カメラとオブジェクトとの間の距離が増えるにつれて比較的不安定になる。これは、画像オブジェクトの大きなスケール変更があるためであり、画像のこれらのスケール変更は、そのようなスケールおよび照明条件下で抽出されたフィーチャ記述子がその以前生成されたSLAM地図に記憶されたものとはまったく異なるので、オブジェクト表面上のポイントの追跡において障害を引き起こす。
【０００７】
ターゲットオブジェクトの追跡はまた、以前のSLAM地図が構築された後に発生したターゲットオブジェクトにおける物理的変更のために不安定になる場合がある。ターゲットオブジェクトにおける物理的変更は、実行時に3Dポイントの記述子変更を生じさせる場合があり、ターゲットオブジェクトを検出および/または追跡することをさらに困難にする。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】IS-95標準
【非特許文献２】IS-2000標準
【非特許文献３】IS-856標準
【非特許文献４】IEEE802.11x
【非特許文献５】IEEE802.15x
【発明の概要】
【課題を解決するための手段】
【０００９】
したがって、本明細書に記載の実施形態は、オンライン地図データとオフライン地図データとの両方を使用してターゲットオブジェクトを追跡することによって、オンライン地図データの拡張を提供する。一態様では、ターゲットオブジェクトを追跡するステップは、たとえばオブジェクトの追跡が成功するかどうかに基づいて追跡するために、オンライン地図データとオフライン地図データとのうちの1つだけを有効にするステップを含む。別の態様では、ターゲットオブジェクトを追跡するステップは、融合されたオンラインモデルを生成するために、オンライン地図データとオフライン地図データを融合するステップを含む。
【００１０】
たとえば、一実施形態では、オブジェクト認識システム内のターゲットオブジェクトの追跡のコンピュータ実装方法は、カメラで複数の画像を取得するステップと、同時にターゲットオブジェクトを追跡して、複数の画像からオンライン地図データを動的に構築するステップとを含む。ターゲットオブジェクトを追跡するステップは、オンライン地図データとオフライン地図データとに基づく。
【００１１】
別の態様では、コンピュータ可読媒体は、オブジェクト認識システム内のターゲットオブジェクトを追跡するためのプログラムコードを記憶する。プログラムコードは、カメラで複数の画像を取得する命令と、同時にターゲットオブジェクトを追跡して、複数の画像からオンライン地図データを動的に構築する命令とを含む。ターゲットオブジェクトを追跡するステップは、オンライン地図データとオフライン地図データとに基づく。
【００１２】
別の態様では、装置は、オブジェクト認識システム内のターゲットオブジェクトを追跡するためのプログラムコードを記憶するように適合されたメモリを含む。本装置はまた、プログラムコード内に含まれる命令にアクセスして実行するように適合された処理ユニットを含む。処理ユニットによって命令が実行されると、処理ユニットは、装置に、カメラで複数の画像を取得し、同時にターゲットオブジェクトを追跡し、複数の画像からオンライン地図データを動的に構築するように指示する。本命令は、装置に、オンライン地図データとオフライン地図データとに基づいてターゲットオブジェクトを追跡するようにさらに指示する。
【００１３】
本発明の非限定的かつ非網羅的な実施形態を、以下の図面を参照して説明する。図面において、特に断らない限り、様々な図を通じて同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【００１４】
【図１Ａ】異なる距離のターゲットオブジェクトを含む場面の画像を示す図である。
【図１Ｂ】異なる距離のターゲットオブジェクトを含む場面の画像を示す図である。
【図１Ｃ】オンライン地図データとオフライン地図データとに基づくターゲットオブジェクトの追跡のプロセスを示す流れ図である。
【図２】オンライン地図データを構築するプロセスを示す流れ図である。
【図３】場面内のターゲットオブジェクトの追跡および検出のプロセスを示す流れ図である。
【図４】オンライン地図データとオフライン地図データとの間の選択のプロセスを示す流れ図である。
【図５】オンライン地図データとオフライン地図データとの融合を示す図である。
【図６】オンライン地図データとオフライン地図データとの融合のプロセスを示す流れ図である。
【図７】地図データの動的拡張のための処理ユニットの機能ブロック図である。
【図８】本明細書に記載のプロセスを実行することが可能なモバイルプラットフォームの機能ブロック図である。
【図９】オブジェクト認識システムの機能ブロック図である。
【発明を実施するための形態】
【００１５】
本明細書全体を通して「一実施形態」、「ある実施形態」、「一例」、または「ある例」への参照は、実施形態または実施例に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所における「一実施形態では」、または「ある実施形態では」という語句の出現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせられ得る。本明細書に記載の任意の実施例または実施形態は、他の実施例または実施形態よりも好ましい、または有利であると解釈されるべきではない。
【００１６】
一態様では、ターゲットオブジェクトを追跡するステップは、周囲の環境の地図データ(たとえば、オンライン地図データ)を含むために、ターゲットオブジェクトのオフライン地図データを拡張するステップを含む。これによって、特に場面スケールの変更において、検出および追跡を堅牢にすることができるようになる。オンライン地図拡張は、検出および追跡が背景変化に対して堅牢になるように、オブジェクトが配置されている現在の環境の地図を構築する。たとえば、混雑した場面ではスモールオブジェクトの検出は困難であるが、オンライン地図拡張戦略はSLAM地図の一部として混雑を処理することによって、この状況に対処することができる。
【００１７】
オンライン/オフラインSLAM地図データの適応選択は、これらの手順を実装しているデバイスの性能を向上させることができる。たとえば、オブジェクトのSLAM地図データは、カメラがオブジェクトから遠く離れているときはほとんど有用ではなく、逆の場合も同じである。オフラインSLAM地図およびオンラインSLAM地図を適応的にオン/オフすることによって、検出および追跡のために必要な計算コストを節約することができる。一例では、これは、モバイルプラットフォーム上でより長い電池寿命をもたらすことができる。
【００１８】
別の態様では、ターゲットオブジェクトを追跡するステップは、オブジェクト検出の後にオンラインモデルを構築するステップと、既存のオフラインモデルと新たに作成されたオンラインモデルとを融合するステップとを含む。たとえば、オフラインモデルを更新するために、既存のターゲットオブジェクトの外観が抽出され得る(すなわち、実行時に)。さらに、モデル情報は実行時の条件下で新たに入手可能であり、次いでオンライン地図データに付加される。提案された方法は、異なる照明条件の下で起こり得るような、ターゲットの形状や外観の変化に改善された堅牢性を提供する。
【００１９】
一実施形態では、SLAM地図データは地図フィーチャ(map feature)とキーフレーム画像とを含み、各フィーチャは、キーポイントの位置と、その位置の少なくとも1つの対応する記述子とを含む。地図フィーチャは、ターゲットオブジェクトの表面から抽出されたフィーチャ(たとえば、2D/3Dポイント、エッジ、ブロブ(blob)など)を含み得る。キーフレーム画像は、ターゲットオブジェクトの画像を含み得、そこから地図フィーチャが抽出される。たとえば、3Dポイントは、ポイントが可視であるキーフレーム間の三角測量によって再構築され得る。地図フィーチャの記述子は、地図ポイントが観察されるキーフレームから抽出される(たとえば、画像パッチ記述子、およびライン記述子)。
【００２０】
一例では、ターゲットオブジェクトのSLAM地図はオフラインで生成され、したがって、本明細書では「オフライン地図データ」と呼ばれ、そのキーフレームはオブジェクトからの近距離から生成される。オフライン地図データは、ターゲットの検出および追跡を実行するために十分に「良い」と考えられる。ユーザがターゲットオブジェクトとの対話を開始すると、そのオフライン地図データが拡張現実アプリケーションにロードされて、カメラ画像からターゲットオブジェクトが検出されて、追跡される。オフライン地図データは、アプリケーションにおいて「オフライン」とマークされる。
【００２１】
ターゲットオブジェクトがカメラビデオフレームから検出されると、それが追跡されて、カメラの6自由度ポーズがリアルタイムに取得される。図1Aは、フィーチャ106を有する、近距離にあるターゲットオブジェクト104(たとえば、おもちゃの車)を含む場面102の取得された画像100Aを示している。したがって、ターゲットオブジェクト104はカメラ画像100Aの大部分を仮定し、追跡は一般に正常に動作する。しかしながら、図1Bに示されるように、カメラがターゲットオブジェクト104から離れるにつれて、画像100B内のターゲット104のスケールはすぐに小さくなってしまう。カメラ画像内のオブジェクトのスケールが小さくなるので、追跡は失敗して、より多くのジッタ(jitter)を有する可能性が高い。さらに、オフライン地図データの作成以来、照明条件が変化しているか、ターゲットオブジェクト104がわずかに変更された形状を有している場合がある。
【００２２】
したがって、本明細書に開示された実施形態は、ユーザがオブジェクトの周りでカメラを移動させる間、ターゲットオブジェクトのSLAM地図データを拡張することによって、検出および追跡におけるこの制限を克服する。環境のキーフレームがSLAM地図データに追加されると、ターゲットオブジェクトの追跡がオンライン地図データとオフライン地図データの両方に基づき得るので、検出および追跡は堅牢になり、安定する。
【００２３】
たとえば、図1Cは、オンライン地図データとオフライン地図データとに基づくターゲットオブジェクトの追跡の処理110を示す流れ図である。処理ブロック120で、ターゲットオブジェクトを含む場面のいくつかの画像が取得される。処理ブロック130で、オフライン地図データも取得される。上述のように、オフライン地図データは、以前(たとえば、実行時の前に)生成されたターゲットオブジェクトのSLAM地図データを含み得る。一実施形態では、ターゲットオブジェクトは、取得された画像から抽出されたフィーチャと、オフライン地図データに含まれるフィーチャとの比較に基づいて検出され得る。オブジェクトが検出されると、プロセス110は、同時に起こるターゲットオブジェクトの追跡(140)とオンライン地図データの構築(150)とを含み得る。図1Cに示されるように、ターゲットオブジェクトの追跡は、取得されたオフライン地図データと、動的に構築されたオンライン地図データとに基づく。以下でより詳細に説明されるように、いくつかの実施形態は、オブジェクト追跡を実行するために、オンライン地図データとオフライン地図データとの間で適応的に選択することを含む。しかしながら、他の実施形態は、ターゲットオブジェクトの融合されたオンラインモデルを生成するために、オンライン地図データとオフライン地図データとを融合することを含む。
【００２４】
ユーザがオブジェクトとその環境の周りにカメラを移動させると、新しいキーフレームが地図データに追加される。従来のSLAMフレームワークは、候補のキーフレームのポーズ(すなわち、現在のカメラ画像)と、既存のキーフレームのポーズとを比較することによって、キーフレームを追加する。候補のキーフレームのポーズが既存のキーフレームのポーズの1つに類似している場合、それは無視される。このように、従来のSLAMフレームワークは、近い視点を有するあまりにも多くの重複キーフレームを作成することを回避する。しかしながら、この従来の方式はオンラインキーフレームを追加すること妨げ、オフライン地図を迅速に拡張することを困難にする。
【００２５】
本開示のいくつかの実施形態は、オンラインキーフレームを追加するときにポーズ比較ステップでオフラインキーフレームをスキップすることによってこの問題に対処する。オフライン地図を拡張する場合、このポーズの比較においてオンラインキーフレームだけが考慮される。最初のオンラインキーフレームが追加されようとしている場合、比較するオンラインキーフレームがない。この場合、すべてのオフラインキーフレームとのポーズ差が計算されて、最大値がポーズ差測定値として使用される。一実施形態では、作成後にオフラインキーフレームが破棄されて、3Dポイントの地図および関連付けられる記述子だけが保持される。したがって、この例を続けると、オンライン地図構築は任意のオフラインキーフレームなしに開始することができ、オンライン地図構築のプロセスは、最初のオンラインキーフレームを自動的に受け入れて、それを環境地図データに追加することで開始する。図2は、オンライン地図データを構築する別の例示的なプロセス200を示す流れ図である。
【００２６】
処理ブロック205で、キーフレームの作成が始まる。既存のオンラインキーフレームがオンライン地図データに含まれている場合、プロセス200は処理ブロック220に進み、オフラインキーフレームを使用してポーズ差が計算される。しかしながら、決定ブロック210で、実際に既存のオンラインキーフレームがあると決定されると、次いで、処理ブロック215は、オンラインキーフレームだけからのポーズ距離を計算することを含む。決定ブロック225で、ポーズ差が十分に大きいかどうかを決定するために、計算されたポーズ差がポーズしきい値POSETHと比較される。ポーズ差が十分に大きい場合、オンライン地図データ内に新しいキーフレームが作成される(すなわち、処理ブロック230)。ポーズ差が十分に大きくはない場合、プロセス200は処理ブロック235に進み、キーフレーム作成が終了する。プロセス200は、カメラが場面を移動するにつれて、キャプチャされた画像のうちの1つまたは複数のために繰り返され得る。
【００２７】
新しいキーフレームが既存の地図データに追加されると、地図データをグローバルに最適化するために、すべての地図フィーチャの座標とすべてのキーフレームの6自由度ポーズがSLAMフレームワーク内で更新される。したがって、キーフレームが追加されると、オブジェクト表面上の地図フィーチャは最適化の結果に応じてわずかに変化する。この戦略は、地図の品質をグローバルな方法で向上させるために有用である。しかしながら、オフライン地図データを修正することは、近距離でのターゲットの検出および追跡の品質を低下させる可能性があるため、現在の実施形態では望ましいものではない。これを防止するために、本明細書に開示された実施形態は、オフライン地図データを「定数」として設定し、地図拡張プロセス200においてオフライン地図データを更新しない。
【００２８】
システムが、オフライン地図データとオンライン地図データの両方を有すると、検出および追跡のために両方の地図を同時に使用することは非効率的になる場合がある。カメラがオブジェクトから遠く離れている場合、オブジェクトの表面上の地図フィーチャを追跡することは、カメラ画像内のオブジェクトのスケールが小さいために有用ではない(たとえば、図1B参照)。一方、カメラがオブジェクトに近い場合、オンライン地図に属する地図ポイントのほとんどがカメラの視野から外れているので(たとえば、図1A参照)、オンライン地図データは追跡にほとんど役に立たない。
【００２９】
したがって、効率的な方法で検出および追跡を実行するために、本開示の実施形態は、カメラの画像内のオブジェクトのスケールに応じて、オンライン地図データとオフライン地図データとを適応的に選択し得る。図3は、場面内のターゲットオブジェクトの追跡および再検出のプロセス300を示す流れ図である。プロセス300は、図1Cの処理ブロック140の1つの可能な実装形態である。プロセス300は、ターゲットオブジェクトがすでに検出されており、追跡が実装されている、処理ブロック305で開始する。したがって、処理ブロック305で次の画像が受信される。次に、処理ブロック310で、オブジェクトトラッカ(たとえば、追跡アルゴリズム)がターゲットポーズを推定することによって、検出されたオブジェクトを追跡しようとすることができる。ターゲットポーズの推定は、成功する場合もあり失敗する場合もある。ポーズ推定が失敗した場合、ターゲットオブジェクトの追跡が失敗する。追跡が失敗した場合、プロセス300は処理ブロック320に進み、オブジェクト検出器(たとえば、検出アルゴリズム)は再初期化(すなわち、ターゲットオブジェクトを再検出)しようとする。再検出が失敗した場合、プロセス300は処理ブロック330に進み、ターゲットオブジェクトに対するカメラポーズを決定することができないので、オンライン地図データとオフライン地図データの両方が有効にされる。
【００３０】
しかしながら、決定ブロック315において追跡が成功した場合、または決定ブロック325において再検出が成功した場合、プロセス300は処理ブロック335に進み、オンライン地図データまたはオフライン地図データのうちの1つだけが選択される。処理ブロック335は、以下で図4を参照してより詳細に説明されるが、次の画像フレームのためにどの地図データを使用するかを決定するために、ターゲットオブジェクトのスケールを計算するステップを含み得る。処理ブロック340で、決定されたカメラポーズの結果に基づいて、他のジョブが実行される(たとえば、拡張現実機能)。
【００３１】
図4は、オンライン地図データとオフライン地図データとの間の選択のプロセス400を示す流れ図である。プロセス400は、図3の処理ブロック335の1つの可能な実装形態である。プロセス400は、オブジェクトスケールの測定の一例にすぎず、取得された画像に含まれるオフライン地図フィーチャの境界ボックスを投影する処理ブロック410を含む。次に、処理ブロック415で、投影された境界ボックスに基づいてオブジェクトの領域サイズが計算される。決定ブロック420で、領域のサイズが十分に大きい、たとえば領域サイズしきい値REGIONTHよりも大きい場合、処理ブロック425および430は、オフライン地図データを有効にして、オンライン地図データを無効にする。一実施形態では、領域サイズしきい値REGIONTHは、画像の少なくとも半分を仮定するターゲットオブジェクトに対応する。画像に対するスモールターゲットオブジェクトに対応する領域サイズが十分に大きくはない場合、プロセス400は処理ブロック435および440に進み、オンライン地図データが有効にされ、オフライン地図データが無効にされる。したがって、領域サイズが十分に大きい場合はオフライン地図データだけが有効にされて、同様に、領域サイズが十分に大きくはない場合はオンライン地図データだけが有効にされる。
【００３２】
図5は、融合されたオンラインモデル502を生成するために、オンライン地図データとオフライン地図データとの融合を示す図である。画像504は、オフライン地図データを作成するときのターゲットオブジェクト505の外観を示しており、画像506は、現在実行時であること以外は、同じターゲットオブジェクト505の外観を示している。画像506と画像504との比較によって分かるように、実行時に、ターゲットオブジェクト505は照明条件、視距離、視野角が異なるために、および/またはターゲットオブジェクト(たとえば、車のボンネット/フード修正)の物理的変更のために、異なる外観を有する場合がある。実行時の前に、画像508によって表されるように、ターゲットオブジェクトのオフライン地図データが作成される。画像508に示されるように、様々なフィーチャ(たとえば、510および512)は、実行時以前の画像504から抽出されて、オフライン地図データに追加され得る。フィーチャは、その領域を取り巻くエリアと比較して明るさや色などの特性の点で異なる、デジタル画像内の領域を指すことができる。一態様では、フィーチャは、いくつかの特性が一定である、または所定の値の範囲内で変動する、デジタル画像の領域である。一実施形態では、フィーチャは、関心点(たとえば、「位置」または「キーポイント」)と、関心点を取り囲む領域の記述(たとえば、「記述子」)とを含み得る。したがって、オフライン地図データ508は複数のフィーチャを含み、各フィーチャはそのフィーチャの位置(たとえば、3D空間における)と記述子とを含む。
【００３３】
実行時に、ターゲットオブジェクト505に対応するフィーチャを動的に抽出するために、新たに取得された画像506が使用され得る。画像514および520に示されるように、フィーチャ516、518、522、523、および524を含む様々なフィーチャが、実行時に取得された画像から抽出される。画像506から抽出された、いくつかのフィーチャは、オフライン地図データ508にすでに含まれているフィーチャに対応し得る。たとえば、画像514は、抽出されたフィーチャ516および518を示しており、それぞれ以前に抽出されたフィーチャ510および512に対応する。しかしながら、フィーチャ516および518は、ターゲットオブジェクトの異なる外観のために、更新された記述子を有し得る。以下でより詳細に説明されるように、本明細書に記載の実施形態は、更新された記述子でオフラインフィーチャを更新して、次いで、それらの更新されたオフラインフィーチャを使用して、融合されたオンラインモデル502を生成し得る。
【００３４】
画像506から抽出された、いくつかのフィーチャは、オフライン地図データ508にすでに含まれているフィーチャと対応し得るが、他の抽出されたフィーチャは、新たに検出されたフィーチャであり得る(たとえば、新たな視野角、新たな照明条件、物理的形状変更等のために)。
一例として、画像520のフィーチャ522、523、および524は、ターゲットオブジェクト505の以前は検出されなかったフィーチャを示している。これらのフィーチャは、ターゲットオブジェクト505の物理的形状、色、またはテクスチャの変化、照明条件の変化、および/あるいは視野角/視距離の変化のいずれかのために、以前は検出されなかった可能性がある。それに関わらず、本明細書に記載の実施形態は、融合されたオンラインモデル502を生成する際に、新たに検出されたフィーチャを追加し得る。ブロック526は、新しい外観情報(すなわち、記述子)で更新されたオフラインフィーチャおよび新たに検出されたフィーチャの両方を含むオンライン地図データと、オフライン地図データ508との統合を示している。オフライン地図データ508は、融合されたオンラインモデル502を生成するためにオンライン地図データと融合され、次いで、オフライン地図データ508はオブジェクト追跡のために使用され得る。
【００３５】
図6は、オンライン地図データとオフライン地図データとの融合のプロセス600を示す流れ図である。プロセス600は、図5および図6を参照して説明される。プロセス600は、図1Cの処理ブロック140の1つの可能な実装形態である。プロセス600は、ターゲットオブジェクトがすでに検出されており、1つまたは複数のフィーチャが最近取得された画像(複数可)から抽出されていると仮定するブロック605で開始する。処理ブロック610で、以前に構築されたオフライン地図データに含まれるフィーチャに対応する、抽出されたオンラインフィーチャが見つけられる。一実施形態では、オフライン地図内の3Dポイントが、ターゲットオブジェクトの現在の画像に投影される(すなわち、実行時に)。次いで、投影されたオフライン3Dポイントの位置の近くにあるオンラインフィーチャを見つけるために、オンライン地図データが検索される。一例では、オンラインフィーチャの位置と、投影されたオフライン3Dポイントの位置との間の距離がしきい値距離未満である場合、オンラインフィーチャは投影されたオフライン3Dポイントの近くにある。
【００３６】
次いで、決定ブロック615は、オンラインフィーチャと、それらの対応するオフラインフィーチャとを比較する。一実施形態では、オンラインフィーチャとオフラインフィーチャとの比較は、それらのフィーチャ記述子の比較を含む。記述子が異なる場合、プロセス600は処理ブロック620および625に進み、オフラインフィーチャがオンラインフィーチャの記述子で更新され(620)、また更新されたオフラインフィーチャが融合されたオンラインモデルに追加される(625)。しかしながら、決定ブロック615で、オンラインフィーチャは、その対応するオフラインフィーチャとは異ならないと決定されると、プロセス600は処理ブロック620および625をスキップして、決定ブロック630に直接進むことができる。
【００３７】
決定ブロック630で、現在の画像(複数可)から抽出されたオンラインフィーチャのうちのいずれかが、ターゲットオブジェクト上の任意の新しい3Dポイントを含むかどうかが決定される。含む場合、処理ブロック635は、新しいオンラインフィーチャ(すなわち、新しい3Dポイント、およびそれらの対応する記述子)を融合されたオンラインモデルに追加するステップを含む。次いで、プロセス600は、ターゲットオブジェクトの後続の画像が取得されるときに融合されたオンラインモデルを継続的に更新するために、処理ブロック610に任意で戻ることができる。
【００３８】
図6はプロセス600を通じたリニア進行を示しているが、一実施形態では、図示された処理ブロックのうちの複数は相互に並行して実行され得る。たとえば、プロセス600が、新たに検出されたオンラインフィーチャを融合されたオンラインモデルにやはり追加する間にオフラインフィーチャの同時更新を含むように、新しい3Dポイントを見つけて、それらの新しいフィーチャを融合されたオンラインモデルに追加するブロック630および635は、ブロック610〜625と並行して行われ得る。
【００３９】
図7は、地図データの動的拡張のための処理ユニット700の機能ブロック図である。一実施形態では、処理ユニット700は、プログラムコードの指示の下で、上述のプロセス110、200、300、400、および/または600を実行し得る。たとえば、画像702の時間的なシーケンスが処理ユニット700によって受信される。オブジェクト検出器706は、画像のうちの少なくとも1つに含まれるターゲットオブジェクトを検出して、オブジェクトトラッカ708が画像702のシーケンスに基づいてオブジェクトを追跡する。画像が取得されると、地図データ生成器704は、選択キーフレームをオンライン地図データ714に追加し得る(たとえば、プロセス200参照)。オブジェクト検出器706とオブジェクトトラッカ708とは、受信された画像と、地図データ制御器712によって受信された地図データとに基づいて、ターゲットオブジェクトに対するカメラの現在のポーズを決定し得る。上述のように、ターゲットオブジェクトが追跡されることも再検出されることもできない場合、地図データ制御器712は、オンライン地図データとオフライン地図データの両方を検出器706およびトラッカ708に提供し得る。しかしながら、通常、地図データ制御器712は、画像フレーム内のオブジェクトのサイズに基づいて、オンライン地図データとオフライン地図データのうちの1つだけを選択して、検出器およびトラッカに転送する。代替実施形態では、プロセス600を参照して上述したように、地図データ制御器712はオンライン地図データ714とオフライン地図データ716とを融合する。この実施形態では、地図データ制御器は、ターゲットオブジェクトを追跡するために、融合されたオンラインモデルをオブジェクトトラッカ708に提供する。拡張現実(AR)エンジンは、オブジェクト検出器706および/またはオブジェクトトラッカ708によって決定されたカメラポーズに基づいて、拡張現実に関連する任意の動作を実行し得る。
【００４０】
図8は、本明細書に記載のプロセスを実行することが可能なモバイルプラットフォーム800の機能ブロック図である。本明細書で使用するモバイルプラットフォームは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル航法デバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、あるいはワイヤレス通信および/または航法位置決め信号などの航法信号を受信することが可能な他の適したモバイルデバイスなどのデバイスを指す。「モバイルプラットフォーム」という用語は、衛星信号受信、支援データ受信、および/または位置関連処理がデバイスで発生するかパーソナル航法デバイス(PND)で発生するかに関わらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むことも意図する。また、「モバイルプラットフォーム」は、インターネット、Wi-Fi、または他のネットワークを介するなどしてサーバと通信することが可能である、および、衛星信号受信、支援データ受信、および/または位置関連処理が、デバイスで、サーバで、またはネットワークに関連付けられる別のデバイスで発生するかに関わらず、ワイヤレス通信デバイス、コンピュータ、ラップトップ等を含む、すべてのデバイスを含むことを意図する。さらに、「モバイルプラットフォーム」は、拡張現実(AR)、仮想現実(VR)、および/または複合現実(MR)アプリケーションが可能なすべての電子デバイスも含み得る。上記の任意の動作可能な組合せも「モバイルプラットフォーム」と考えられる。
【００４１】
モバイルプラットフォーム800は、カメラ802、ならびにカメラ802によってキャプチャされた画像を表示することが可能なディスプレイ822を含む任意のユーザインターフェース806を任意で含み得る。ユーザインターフェース806はまた、キーパッド824、またはユーザが情報をモバイルプラットフォーム800に入力できる他の入力デバイスを含み得る。必要に応じて、キーパッド824は、タッチセンサ付きディスプレイ822に仮想キーパッドを統合することによって除去され得る。ユーザインターフェース806はまた、マイクロフォン826とスピーカ828とを含み得る。
【００４２】
モバイルプラットフォーム800はまた、カメラ802およびユーザインターフェース806がある場合はそれらに接続され、またそれらと通信する、制御ユニット804を含む。制御ユニット804は、カメラ802から、および/またはネットワークアダプタ816から受信された画像を受け入れて、処理する。制御ユニット804は、処理ユニット808および関連メモリ814、ハードウェア810、ソフトウェア815、ならびにファームウェア812によって提供され得る。
【００４３】
図7の処理ユニット700は、上述のように、地図データを拡張するための処理ユニット808の1つの可能な実装形態である。制御ユニット804は、たとえば、必要に応じてディスプレイ822に所望のデータをレンダリングするためのゲームエンジンであり得る、グラフィックスエンジン820をさらに含み得る。処理ユニット808およびグラフィックスエンジン820は、明確にするために別々に示されているが、単一のユニットでもよく、および/または、処理ユニット808内で実行されているソフトウェア815内の命令に基づいて処理ユニット808に実装されてもよい。処理ユニット808、ならびにグラフィックスエンジン820は、必ずしも必要ないが、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得る。プロセッサおよび処理ユニットという用語は、特定のハードウェアではなくシステムによって実装される機能を説明する。さらに、本明細書で使用されるように、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォーム800に関連付けられる他のメモリを含む、任意のタイプのコンピュータストレージ媒体を指し、任意の特定のタイプまたは数のメモリや、メモリが記憶されるタイプの媒体に限定されない。
【００４４】
本明細書に記載のプロセスは、アプリケーションに応じて様々な手段によって実装され得る。たとえば、これらのプロセスは、ハードウェア810、ファームウェア812、ソフトウェア815、またはそれらの任意の組合せに実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSP)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはそれらの組合せ内に実装され得る。
【００４５】
ファームウェアおよび/またはソフトウェア実装形態の場合、プロセスは、本明細書に記載の機能を実行するモジュール(たとえば、プロシージャ、関数等)で実装され得る。命令を具体的に実施する任意のコンピュータ可読媒体は、本明細書に記載のプロセスを実装する際に使用され得る。たとえば、プログラムコードはメモリ815に記憶されて、処理ユニット808によって実行され得る。メモリは、処理ユニット808内に実装されてもよく、処理ユニット808内の外部に実装されてもよい。
【００４６】
ファームウェアおよび/またはソフトウェア内に実装されると、機能は1つまたは複数の命令あるいはコードとしてコンピュータ可読媒体上に記憶され得る。この例には、データ構造によって符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体には、物理的コンピュータストレージ媒体が含まれる。ストレージ媒体は、コンピュータによってアクセスされ得る任意の入手可能な媒体であり得る。例として、限定はしないが、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために使用され得、またコンピュータからアクセスされ得る他の任意の媒体を備え得、本明細書で使用する場合、ディスク(disk)およびディスク(disc)には、コンパクトディスク(CD)、レーザディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイディスクが含まれ、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)はデータをレーザによって光学的に再生する。前記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００４７】
図9は、オブジェクト認識システム900の機能ブロック図である。図示されるように、オブジェクト認識システム900は、オブジェクト914を含む場面の画像をキャプチャすることが可能なカメラを含む(現在のビューには図示されていない)、例示的なモバイルプラットフォーム902を含む。フィーチャデータベース912は、オンライン地図データとオフライン地図データとを含む、上述の地図データのうちのいずれかを含み得る。
【００４８】
モバイルプラットフォーム902は、カメラによってキャプチャされた画像を表示するためのディスプレイを含み得る。モバイルプラットフォーム902はまた、たとえば、衛星ビークル906、あるいはセルラータワー904またはワイヤレス通信アクセスポイント905を含む、位置を決定するための他の任意の適切なソースを含む、衛星測位システム(SPS)からの信号を使用してその緯度および経度を決定することに基づいて、航法のために使用され得る。モバイルプラットフォーム902はまた、モバイルプラットフォーム902の方位を決定するために使用され得る、デジタルコンパス、加速度計、またはジャイロスコープなどの、方位センサを含み得る。
【００４９】
衛星測位システム(SPS)は、通常、エンティティが、送信機から受信された信号に少なくとも部分的に基づいて、地球上のまたは地球上空のそれらの位置を決定することを可能にするように配置された送信機のシステムを含む。そのような送信機は、通常、設定された数のチップの繰返し擬似ランダム雑音(PN)コードでマークされた信号を送信し、地上ベースの制御局、ユーザ機器、および/または宇宙船上に配置され得る。特定の例では、そのような送信機は、地球周回衛星ビークル(SV)906に配置され得る。たとえば、全地球測位システム(GPS)、ガリレオ、グロナス、またはコンパスなどの全地球的航法衛星システム(GNSS)のコンステレーション内のSVは、コンステレーション内の他のSVによって送信されたPNコードから区別可能なPNコードでマークされた信号を送信することができる(たとえば、GPSにおけるように衛星ごとに異なるPNコードを使用するか、グロナスにおけるように異なる周波数上で同じコードを使用して)。
【００５０】
特定の態様によれば、本明細書で提示される技法は、SPSのための地球規模のシステム(たとえばGNSS)には限定されない。たとえば、本明細書で提供される技法は、たとえば、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS)、中国の北斗などのような様々な地域システム等、および/あるいは、1つまたは複数の全地球および/または地域航法衛星システムと関連し得る、あるいは場合によってはこれらとともに使用できるようにされ得る、様々な補強システム(たとえば、静止衛星型衛星航法補強システム(SBAS))に対して適用されてもよく、またはそれらのシステムにおいて使用できるようにされてもよい。限定ではなく例として、SBASは、広域補強システム(WAAS)、欧州静止衛星航法オーバーレイサービス(EGNOS)、多機能衛星補強システム(MSAS)、GPS支援静止補強ナビゲーションまたはGPSおよび静止補強ナビゲーションシステム(GAGAN)、ならびに/または同様のものなどの、完全性情報、微分補正などを提供する補強システムを含み得る。したがって、本明細書で使用する場合、SPSは1つもしくは複数の全地球および/または地域航法衛星システムならびに/あるいは補強システムの任意の組合せを含み得、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つもしくは複数のSPSに関連する他の信号を含み得る。
【００５１】
位置決定技法は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、セルラータワー904を含んでおりワイヤレス通信アクセスポイント905からの様々なワイヤレス通信ネットワークに関連して実装され得るので、モバイルプラットフォーム902は、位置決定のためのSPSでの使用に限定されるものではない。さらに、モバイルプラットフォーム902は、セルラータワー904を介して、またワイヤレス通信アクセスポイント905から様々なワイヤレス通信ネットワークを使用して、あるいは、必要に応じて衛星ビークル906を使用して、データベース912からオンライン地図データおよび/またはオフライン地図データなどのデータを取得するために、1つまたは複数のサーバ908にアクセスし得る。「ネットワーク」および「システム」という用語は、しばしば互換可能に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などであり得る。CDMAネットワークは、cdma2000、Wideband-CDMA(W-CDMA(登録商標))などの1つまたは複数の無線アクセス技術(RAT)を実装し得る。cdma2000はIS-95標準、IS-2000標準、IS-856標準を含む。TDMAネットワークは、グローバルシステムフォーモバイルコミュニケーションズ(GSM(登録商標))、デジタルアドバンストモバイルフォンシステム(D-AMPS)、または何らかの他のRATを実装し得る。GSM(登録商標)およびW-CDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記述されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPP文書および3GPP2文書は公的に入手可能である。WLANはIEEE802.11xネットワークであり得、WPANはブルートゥース(登録商標)ネットワーク、IEEE802.15x、または他の何らかのタイプのネットワークであり得る。また、これらの技法は、WWAN、WLAN、および/またはWPANの任意の組合せとともに、実装され得る。
【００５２】
図9に示されるように、システム900は、フィーチャデータベース912に含まれる地図データに基づいて検出されて追跡されるべきオブジェクト914の画像をキャプチャするモバイルプラットフォーム902を含む。図示されるように、モバイルプラットフォーム902は、たとえばセルラータワー904またはワイヤレス通信アクセスポイント905を介して、サーバ908に結合されたワイヤレスワイドエリアネットワーク(WWAN)などのネットワーク910にアクセスすることができ、サーバ908は、ターゲットオブジェクトおよびそれらの画像に関連する情報を記憶するデータベース912に接続されている。図9は1つのサーバ908を示しているが、複数のサーバ、ならびに複数のデータベース912が使用され得ることが理解されるべきである。モバイルプラットフォーム902は、サーバ908からデータベース912のうちの少なくとも一部を取得して、ダウンロードされた地図データをモバイルプラットフォーム902内のローカルデータベースに記憶することによって、図9に示されるように、オブジェクト検出および追跡自体を実行し得る。サーバ908から取得されたデータベースの一部は、モバイルプラットフォームの測位システムによって決定されたモバイルプラットフォームの地理的位置に基づき得る。さらに、サーバ908から取得されたデータベースの一部は、モバイルプラットフォーム902上のデータベースを必要とする具体的な適用例に依存し得る。モバイルプラットフォーム902は、キャプチャされたクエリ画像からフィーチャを抽出して、クエリフィーチャを、ローカルデータベースに記憶されたフィーチャに一致させ得る。クエリ画像は、カメラからのプレビューフレーム内の画像でもよく、カメラによってキャプチャされた画像でもよく、ビデオシーケンスから抽出されたフレームでもよい。オブジェクト検出は、クエリフィーチャごとに決定された信頼レベルに少なくとも部分的に基づき得、次いで異常値の除去に使用され得る。モバイルプラットフォームの地理的位置に基づいてデータベース912のわずかな部分をダウンロードすることと、モバイルプラットフォーム902上でオブジェクト検出を実行することとによって、ネットワーク遅延の問題を回避することができ、オーバーザエア(OTA)帯域幅の使用量が、クライアント(すなわ
ち、モバイルプラットフォーム)側のメモリ要件とともに減少される。しかしながら、必要に応じて、オブジェクト検出および追跡は、サーバ908(または、他のサーバ)によって実行され得、クエリ画像自体、またはクエリ画像から抽出されたフィーチャは、モバイルプラットフォーム902によってサーバ908に提供される。一実施形態では、オンライン地図データは、モバイルプラットフォーム902によってローカルに記憶され、オフライン地図データは、データベース912内のクラウドに記憶される。
【００５３】
処理ブロックのうちのいくつかまたはすべてが上述の各プロセスに表示される順序は、限定されるべきではない。むしろ、本開示の利益を有する当業者は、処理ブロックのうちのいくつかは、示されていない様々な順序で実行され得ることを理解するであろう。
【００５４】
当業者は、本明細書に開示された実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、エンジン、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するであろう。ハードウェアとソフトウェアとの、この互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、エンジン、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、具体的な適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を具体的な適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
【００５５】
本明細書に開示された実施形態への様々な修正が当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなしに他の実施形態に適用され得る。したがって、本発明は、本明細書に示される実施形態に限定されることが意図されるものではなく、本明細書に開示された原理および新規の特徴に矛盾しない最も広い範囲を与えられるべきである。
【符号の説明】
【００５６】
100A  画像
100B  画像
102  場面
104  ターゲットオブジェクト
106  フィーチャ
110  処理
140  ターゲットオブジェクトの追跡
150  オンライン地図データの構築
200  プロセス
300  プロセス
400  プロセス
502  融合されたオンラインモデル
504  実行時以前の画像
505  ターゲットオブジェクト
506  画像
508  オフライン地図データ
510  フィーチャ
512  フィーチャ
514  画像
516  フィーチャ
518  フィーチャ
520  画像
522  フィーチャ
523  フィーチャ
524  フィーチャ
700  処理ユニット
702  画像
704  地図データ生成器
706  オブジェクト検出器
708  オブジェクトトラッカ
712  地図データ制御器
714  オンライン地図データ
716  オフライン地図データ
800  モバイルプラットフォーム
802  カメラ
804  制御ユニット
806  ユーザインターフェース
808  処理ユニット
810  ハードウェア
812  ファームウェア
814  関連メモリ
815  ソフトウェア
816  ネットワークアダプタ
820  グラフィックスエンジン
822  ディスプレイ
824  キーパッド
826  マイクロフォン
828  スピーカ
900  オブジェクト認識システム
902  モバイルプラットフォーム
904  セルラータワー
905  ワイヤレス通信アクセスポイント
906  地球周回衛星ビークル
908  サーバ
910  ネットワーク
912  フィーチャデータベース
914  オブジェクト
【図１Ａ】
2016533557.tif 000003
【図１Ｂ】
2016533557.tif 000004
【図１Ｃ】
2016533557.tif 000005
【図２】
2016533557.tif 000006
【図３】
2016533557.tif 000007
【図４】
2016533557.tif 000008
【図６】
2016533557.tif 000009
【図７】
2016533557.tif 000010
【図８】
2016533557.tif 000011
【図５】
2016533557.tif 000012
【図９】
2016533557.tif 000013
【手続補正書】
【提出日】平成28年4月5日(2016.4.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクト認識システムにおけるターゲットオブジェクトの追跡のコンピュータ実装方法であって、
カメラで複数の画像を取得するステップと、
前記ターゲットオブジェクトのオフライン地図データを取得するステップであって、オフライン地図データが前記複数の画像を取得する前に生成される、ステップと、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築するステップであって、前記ターゲットオブジェクトを追跡するステップが、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップを含む、ステップと
を備える、コンピュータ実装方法。
【請求項２】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップが、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合するステップを含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項1に記載のコンピュータ実装方法。
【請求項３】
前記オンライン地図データと前記オフライン地図データとを融合するステップが、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出するステップと、
オンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較するステップと、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加するステップと、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加するステップと
を含む、請求項2に記載のコンピュータ実装方法。
【請求項４】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するステップが、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定するステップであって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、ステップと、
前記ターゲットポーズ推定が成功するかどうかを決定するステップと、成功した場合、
後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データまたは前記オフライン地図データを選択するステップと
を含む、請求項1に記載のコンピュータ実装方法。
【請求項５】
前記後続の画像内の前記ターゲットオブジェクトの追跡のため、前記ターゲットオブジェクトの前記追跡が失敗した場合、追跡のために前記オンライン地図データと前記オフライン地図データの両方を選択するステップをさらに備える、請求項4に記載のコンピュータ実装方法。
【請求項６】
前記オンライン地図データまたは前記オフライン地図データを選択するステップが、
前記ターゲットオブジェクトの領域サイズを計算するステップと、
前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、追跡のために前記オフライン地図データを選択して、前記オンライン地図データを無効にするステップと、
前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、追跡のために前記オンライン地図データを選択して、前記オフライン地図データを無効にするステップと
を含む、請求項4に記載のコンピュータ実装方法。
【請求項７】
前記ターゲットオブジェクトの前記領域サイズを計算するステップが、オフライン地図データフィーチャの境界ボックスを取得された画像に投影するステップを含む、請求項6に記載のコンピュータ実装方法。
【請求項８】
前記領域しきい値が、画像の少なくとも半分を仮定する前記ターゲットオブジェクトに対応する、請求項6に記載のコンピュータ実装方法。
【請求項９】
前記オンライン地図データが、前記カメラで取得された前記複数の画像に対応する1つまたは複数のキーフレームに基づく、請求項1に記載のコンピュータ実装方法。
【請求項１０】
前記オンライン地図データを構築するステップが、キーフレームSLAM(Simultaneous Localization and Mapping)を含む、請求項1に記載のコンピュータ実装方法。
【請求項１１】
前記オンライン地図データを構築するステップが、候補キーフレームと、前記カメラによって取得された画像に対応する他のオンラインキーフレームとの間のポーズ距離を計算することによって、前記1つまたは複数のキーフレームに前記候補キーフレームを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項１２】
オブジェクト認識システムにおけるターゲットオブジェクトを追跡するためのプログラムコードを記憶したコンピュータ可読記憶媒体であって、前記プログラムコードが、
カメラで複数の画像を取得する命令と、
前記ターゲットオブジェクトのオフライン地図データを取得する命令であって、オフライン地図データが、前記複数の画像を取得する前に生成される、命令と、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築する命令であって、前記ターゲットオブジェクトを追跡する前記命令が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する命令を含む、命令と
を含む、コンピュータ可読記憶媒体。
【請求項１３】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合する命令を含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項12に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記オンライン地図データと前記オフライン地図データとを融合する前記命令が、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出する命令と、
前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較する命令と、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加する命令と、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加する命令と
を含む、請求項13に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定する命令であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、命令と、
前記ターゲットポーズ推定が成功するかどうかを決定する命令と、成功した場合、
後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データまたは前記オフライン地図データを選択する命令と
を含む、請求項12に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記後続の画像内の前記ターゲットオブジェクトの追跡のため、前記ターゲットオブジェクトの前記追跡が失敗した場合、前記オンライン地図データと前記オフライン地図データの両方を選択する命令をさらに備える、請求項15に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記オンライン地図データまたは前記オフライン地図データを選択する前記命令が、
前記ターゲットオブジェクトの領域サイズを計算する命令と、
前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、前記オフライン地図データを選択して、前記オンライン地図データを無効にする命令と、
前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、前記オンライン地図データを選択して、前記オフライン地図データを無効にする命令と
を含む、請求項15に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記ターゲットオブジェクトの前記領域サイズを計算する前記命令が、オフライン地図データフィーチャの境界ボックスを取得された画像に投影する命令を含む、請求項17に記載のコンピュータ可読記憶媒体。
【請求項１９】
前記領域しきい値が、画像の少なくとも半分を仮定する前記ターゲットオブジェクトに対応する、請求項17に記載のコンピュータ可読記憶媒体。
【請求項２０】
前記オンライン地図データが、前記カメラで取得された前記複数の画像に対応する1つまたは複数のキーフレームに基づく、請求項12に記載のコンピュータ可読記憶媒体。
【請求項２１】
前記オンライン地図データを構築する命令が、キーフレームSLAM(Simultaneous Localization and Mapping)を含む、請求項12に記載のコンピュータ可読記憶媒体。
【請求項２２】
前記オンライン地図データを構築する前記命令が、候補キーフレームと、前記カメラによって取得された画像に対応する他のオンラインキーフレームとの間のポーズ距離を計算することによって、前記1つまたは複数のキーフレームに前記候補キーフレームを追加する命令を含む、請求項12に記載のコンピュータ可読記憶媒体。
【請求項２３】
装置であって、
オブジェクト認識システムにおけるターゲットオブジェクトを追跡するためのプログラムコードを記憶するように適合されたメモリと、
前記プログラムコード内に含まれる命令にアクセスして実行するように適合された処理ユニットとを備え、前記命令が前記処理ユニットによって実行されると、前記処理ユニットが前記装置に、
カメラで複数の画像を取得することと、
前記ターゲットオブジェクトのオフライン地図データを取得することであって、オフライン地図データが、前記複数の画像を取得する前に生成されることと、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築することであって、前記ターゲットオブジェクトを追跡する前記命令が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する命令を含むことと
を行わせるように指示する、装置。
【請求項２４】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合する命令を含み、前記ターゲットオブジェクトの追跡が前記融合されたオンラインモデルに基づく、請求項23に記載の装置。
【請求項２５】
前記オンライン地図データと前記オフライン地図データとを融合する前記命令が、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出する命令と、
前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較する命令と、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加する命令と、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加する命令と
を含む、請求項24に記載の装置。
【請求項２６】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡する前記命令が、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定する命令であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、命令と、
前記ターゲットポーズ推定が成功するかどうかを決定する命令と、成功した場合、
後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データまたはオフライン地図データを選択する命令と
を含む、請求項23に記載の装置。
【請求項２７】
前記オンライン地図データまたは前記オフライン地図データを選択する前記命令が、
前記ターゲットオブジェクトの領域サイズを計算する命令と、
前記ターゲットオブジェクトの前記領域サイズが領域しきい値よりも大きい場合、前記オフライン地図データを選択して、前記オンライン地図データを無効にする命令と、
前記ターゲットオブジェクトの前記領域サイズが前記領域しきい値以下である場合、前記オンライン地図データを選択して、前記オフライン地図データを無効にする命令と
を含む、請求項26に記載の装置。
【請求項２８】
カメラで複数の画像を取得するための手段と、
ターゲットオブジェクトのオフライン地図データを取得するための手段であって、オフライン地図データが、前記複数の画像を取得する前に生成される、手段と、
同時に、前記ターゲットオブジェクトを追跡し、かつ、前記複数の画像からオンライン地図データを動的に構築するための手段であって、前記ターゲットオブジェクトを追跡するための手段が、前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための手段を含む、手段と
を含む、装置。
【請求項２９】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための前記手段が、前記ターゲットオブジェクトの融合されたオンラインモデルを生成するために、前記オンライン地図データと前記オフライン地図データとを融合するための手段を含み、前記オンライン地図データと前記オフライン地図データとを融合するための前記手段が、
前記複数の取得された画像のうちの少なくとも1つから、1つまたは複数のオンラインフィーチャを抽出するための手段と、
前記1つまたは複数のオンラインフィーチャと、前記オフライン地図データに含まれるオフラインフィーチャとを比較するための手段と、
前記オンラインフィーチャと前記オフラインフィーチャの両方が、前記ターゲットオブジェクトの同じ3Dポイントに対応する場合、オフラインフィーチャの記述子を更新して、前記更新されたオフラインフィーチャを前記融合されたオンラインモデルに追加するための手段と、
前記オンラインフィーチャが前記ターゲットオブジェクト上の新しい3Dポイントに対応し、前記新しい3Dポイントがどのオフラインフィーチャにも対応しない場合、前記オンラインフィーチャを前記融合されたオンラインモデルに追加するための手段と
を含む、請求項28に記載の装置。
【請求項３０】
前記オンライン地図データと前記オフライン地図データとに基づいて前記ターゲットオブジェクトを追跡するための前記手段が、
前記カメラに対する前記ターゲットオブジェクトのターゲットポーズを推定するための手段であって、前記ターゲットポーズ推定が成功する場合もあり失敗する場合もある、手段と、
前記ターゲットポーズ推定が成功するかどうかを決定するための手段と、
前記ターゲットオブジェクトの追跡が成功した場合、後続の画像内の前記ターゲットオブジェクトの追跡のために、前記オンライン地図データまたは前記オフライン地図データを選択するための手段と
を含む、請求項28に記載の装置。
【国際調査報告】
2016533557.tif 000014
2016533557.tif 000015
2016533557.tif 000016