(57)【要約】  知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新する方法は、画像を提供するステップと、キャプチャされた画像内から特徴の第1のセットを抽出するステップと、特徴の第1のセットと特徴データベースに記憶された特徴とを比較するステップとを含む。ターゲットオブジェクトが画像内に存在すると決定されると、特徴データベース内にまだ含まれていない第1のセットの抽出された特徴のうちの少なくとも1つが、特徴データベースに追加される。
2017508197.tif 000002
【特許請求の範囲】
【請求項１】
知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新するコンピュータ実装方法であって、
画像を提供するステップと、
前記提供された画像から特徴の第1のセットを抽出するステップと、
特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較するステップと、
特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、前記ターゲットオブジェクトが前記画像内に存在するかどうかを決定するステップと、相関する場合、
前記特徴データベース内にまだ含まれていない前記第1のセットの前記抽出された特徴のうちの少なくとも1つを識別して、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップと
を備える、コンピュータ実装方法。
【請求項２】
前記提供された画像内から特徴の前記第1のセットを抽出するステップが、スケール不変特徴量変換(SIFT)アルゴリズムを前記提供された画像に適用するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項３】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項４】
前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項3に記載のコンピュータ実装方法。
【請求項５】
前記ターゲットオブジェクトが前記画像内に存在すると決定される場合、抽出された特徴が、前記ターゲットオブジェクトに属するかどうかを決定するステップをさらに備え、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記抽出された特徴が前記ターゲットオブジェクトに属する場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項６】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項７】
前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項6に記載のコンピュータ実装方法。
【請求項８】
前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項6に記載のコンピュータ実装方法。
【請求項９】
知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを更新するためのプログラムコードを記憶したコンピュータ可読記憶媒体であって、前記プログラムコードが、
提供された画像から特徴の第1のセットを抽出して、
特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較して、
特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、前記ターゲットオブジェクトが前記画像内に存在するかどうかを決定して、相関する場合、
前記特徴データベース内にまだ含まれていない前記第1のセットの前記抽出された特徴のうちの少なくとも1つを識別して、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する
命令を備える、コンピュータ可読記憶媒体。
【請求項１０】
前記提供された画像内から特徴の前記第1のセットを抽出する前記命令が、スケール不変特徴量変換(SIFT)アルゴリズムを前記提供された画像に適用する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
【請求項１１】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
【請求項１２】
前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項11に記載のコンピュータ可読記憶媒体。
【請求項１３】
前記ターゲットオブジェクトが前記画像内に存在すると決定される場合、抽出された特徴が、前記ターゲットオブジェクトに属するかどうかを決定する命令をさらに備え、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記抽出された特徴が前記ターゲットオブジェクトに属する場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項9に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項14に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項14に記載のコンピュータ可読記憶媒体。
【請求項１７】
装置であって、
知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを更新するためのプログラムコードを記憶するように適合されたメモリと、
前記プログラムコードに含まれる命令にアクセスしてそれを実行するように適合された処理ユニットと
を備え、前記命令が前記処理ユニットによって実行される場合、前記処理ユニットが前記装置に、
カメラで画像をキャプチャして、
前記キャプチャされた画像内から特徴の第1のセットを抽出して、
特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較して、
特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、前記ターゲットオブジェクトが前記画像内に存在するかどうかを決定して、相関する場合、
前記特徴データベース内にまだ含まれていない前記第1のセットの前記抽出された特徴のうちの少なくとも1つを識別して、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する
ように指示する、装置。
【請求項１８】
前記キャプチャされた画像内から特徴の前記第1のセットを抽出する前記命令が、スケール不変特徴量変換(SIFT)アルゴリズムを前記キャプチャされた画像に適用する命令を含む、請求項17に記載の装置。
【請求項１９】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項17に記載の装置。
【請求項２０】
前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項19に記載の装置。
【請求項２１】
前記装置に、前記ターゲットオブジェクトが前記画像内に存在すると決定される場合、抽出された特徴が、前記ターゲットオブジェクトに属するかどうかを決定するように指示する命令をさらに備え、前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記抽出された特徴が前記ターゲットオブジェクトに属する場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項17に記載の装置。
【請求項２２】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項17に記載の装置。
【請求項２３】
前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項17に記載の装置。
【請求項２４】
前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項17に記載の装置。
【請求項２５】
前記キャプチャされた画像を取得するためのカメラをさらに備える、請求項17に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にコンピュータビジョンベースのオブジェクト認識アプリケーションに関し、具体的には、排他的にではないが、特徴データベース管理に関する。
【背景技術】
【０００２】
モバイル電話または他のモバイルプラットフォーム上で拡張現実(AR)を可能にするための課題は、オブジェクトをリアルタイムに検出して追跡する問題である。ARアプリケーションのためのオブジェクト検出には、非常に厳しい要件がある。それは、完全な6自由度を提供し、所与の座標系に対して絶対的な測定値を与え、非常に堅牢であり、リアルタイムに実行しなければならない。興味深いのは、コンピュータビジョン(CV)ベースの手法を使用して、カメラポーズを計算する方法であり、その方法は、カメラの視野内のオブジェクトを第1に検出すること、続いてそれを追跡することに依存する。一態様では、検出動作は、それらの特徴と、現実世界のオブジェクトに対応する、知られている特徴のデータベースとが比較されるように、デジタル画像内に含まれる特徴のセットを検出することを含む。特徴は、その領域を取り巻くエリアと比較して明るさや色などの特性の点で異なる、デジタル画像内の領域を指すことができる。一態様では、特徴は、いくつかの特性が一定である、または所定の値の範囲内で変動する、デジタル画像の領域である。
【０００３】
次いで、現実世界のオブジェクトが画像内に存在するかどうかを決定するために、抽出された特徴と、特徴データベース内に含まれる、知られている特徴とが比較される。したがって、視覚ベースのARシステムの動作における重要な要素は、特徴データベースの構成である。多くのシステムでは、特徴データベースは、様々な知られている視点から、知られているターゲットオブジェクトの複数のサンプル画像を撮影することによって、実行時前に構築されている。次いで、これらのサンプル画像から特徴が抽出されて、特徴データベースに追加される。しかしながら、一旦特徴データベースが作成されると、データベース内に含まれる特徴は静的なままであり、したがって、そのようなデータベースを使用するシステムの検出性能も静的なままである。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の一態様によれば、知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新する方法は、画像を提供するステップと、提供された画像内から特徴の第1のセットを抽出するステップと、特徴の第1のセットと特徴データベースに記憶された特徴とを比較するステップとを含む。ターゲットオブジェクトが画像内に存在すると決定されると、特徴データベース内にまだ含まれていない第1のセットの抽出された特徴のうちの少なくとも1つが、特徴データベースに追加される。
【０００５】
本開示の上記および他の態様、目的、ならびに特徴は、添付の図面に関連して与えられる、様々な実施形態の以下の説明から明らかになるであろう。
【０００６】
本発明の非限定的かつ非網羅的な実施形態を、以下の図面を参照して説明する。図面において、特に他に規定がない限り、様々な図を通じて同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【０００７】
【図１】特徴データベースを動的に更新するプロセスを示す流れ図である。
【図２】特徴データベースに追加されるべき候補特徴に基づいて、特徴データベースを統合するプロセスを示す流れ図である。
【図３】本明細書に記載のプロセスを実行することが可能なモバイルプラットフォームの機能ブロック図である。
【図４】オブジェクト認識システムの機能ブロック図である。
【発明を実施するための形態】
【０００８】
本明細書全体を通して「一実施形態」、「ある実施形態」、「一例」、または「ある例」への参照は、実施形態または例に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所における「一実施形態では」、または「ある実施形態では」という語句の出現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせられ得る。本明細書に記載の任意の例または実施形態は、他の例または実施形態よりも好ましい、または有利であると解釈されるべきではない。
【０００９】
図1は、オブジェクト認識システムに含まれる特徴データベースを動的に更新するプロセス100を示す流れ図である。まず、処理ブロック105で、画像が提供される。たとえば、カメラ(図3のカメラ302など)を含むモバイルプラットフォームなどのデバイスは、オブジェクトのデジタル画像をキャプチャして、キャプチャされた画像を提供する。他の実施形態では、画像は、誰が、またはどのように画像がキャプチャされたかを参照せずに提供される。次いで、処理ブロック110は、提供されたデジタル画像内から特徴の第1のセットを抽出するステップを含む。一例では、特徴抽出は、特徴の第1のセットを抽出するために、スケール不変特徴量変換(SIFT)アルゴリズムなどの、ラプラシアンオブガウシアン(LoG)またはガウシアン差分(DoG)ベースの特徴検出器を、画像に適用するステップを含む。特徴は、関心のある点または「キーポイント」、および関心点を囲む領域の記述を含み得る。
【００１０】
次に、処理ブロック115で、特徴データベースは、抽出された特徴の第1のセットを使用して照会される。データベースに記憶されている特徴は、知られているターゲットオブジェクトのサンプル画像を撮影することによって、実行時前に構築されている。特徴データベースを照会するステップは、抽出された特徴の第1のセットのうちの少なくともいくつかが、データベースに記憶された特徴と一致するかどうかを決定するために、抽出された特徴と、特徴データベースに記憶された特徴とを比較するステップを含み得る。決定ブロック120は、提供された画像内でターゲットオブジェクトが成功裏に検出されたかどうかを決定するステップを含む。ポストジオメトリ内座層(post-geometry inliers)の数が第1のしきい値を上回る場合、また、それらの内座層間の最大再投影誤差が第2のしきい値を下回る場合、ターゲットオブジェクトの成功した検出が決定され得る。もちろん、本開示の教示に従って、他の知られている特徴ベースの検出方法が実装され得る。検出が成功しなかった場合、プロセス100はブロック160で終了する。しかしながら、決定ブロック120において、ターゲットオブジェクトの成功した検出が識別されると、プロセス100は処理ブロック125に進み、特徴データベースを更新するプロセスが開始される。一実施形態では、カメラポーズは、オブジェクトの検出が成功したときに更新され得る。
【００１１】
次に、処理ブロック125で、特徴の第2のセットが形成される。特徴の第2のセットは、特徴データベース内にまだ含まれていない第1のセットの抽出された特徴を含む。一実施形態では、特徴の第2のセットは、処理ブロック115で特徴データベースが照会されたときに対応関係が見出されなかった第1のセットのそれらの特徴を含む。第2のセットにどのような特徴も含まれていない(すなわち、第1のセットのすべての特徴について対応関係が見出された)場合、プロセス100はブロック160に進み得、プロセス100は終了する。代替実施形態では、以下でより詳細に説明するように、それらが後続の剪定プロセスで使用されるように、特徴の第2のセットは、関心のあるオブジェクトに属することが知られているすべての抽出された特徴を含む。次いで、処理ブロック130は、特徴データベースにその特徴を追加するかどうかを決定するために、第2のセットから特徴のうちの1つを選択するステップを含む。しかしながら、すべての抽出された特徴を特徴データベースに単に追加するのではなく、プロセス100は、データベースのサイズを制限して、追加されたそれらの特徴が連続検出の試みを支援することを確実にするために、どの特徴を特徴データベースに追加するかという点で選択的であり得る。
【００１２】
したがって、決定ブロック135は、選択された特徴にスコアを割り当てるステップと、そのスコアとスコアしきい値とを比較するステップとを含み得る。スコアが十分に高くない場合、選択された特徴は特徴データベースに追加されず、プロセス100は決定ブロック155にスキップする。一実施形態では、選択された特徴のスコアは、曲率の局所尺度、および/またはコーナー強度の尺度などの、特徴のある態様に基づく。別の実施形態では、選択された特徴のスコアは、特徴の「ブロブネス(blobness)」の尺度、すなわち、特徴がよりブロブ状であるか、またはエッジ状であるかであり得る。ブロブ状の特徴はより円形であるものと見なされ得、エッジ状の特徴はより楕円形である。この例を続けると、選択された特徴についてヘッセ行列の固有値が計算される。最小固有値に対する最大固有値の比は、特徴のブロブネスの尺度(すなわち、スコア)として使用され得る。たとえば、固有値の比(E_RATIO)は、次のように式1に従って計算され得る。
【００１３】
【数１】
2017508197.tif 000003
【００１４】
決定ブロック135で、選択された特徴のスコアが十分に高いと決定されると、決定ブロック140は、選択された特徴がターゲットオブジェクトに属するかどうかを決定する。抽出された特徴がターゲットオブジェクトに属するかどうかを決定するステップは、オブジェクト座標におけるそれらの抽出された特徴の位置(すなわち、ターゲットオブジェクトの他の知られている特徴に対する特徴の位置)を決定するステップを含み得る。抽出された特徴の位置を決定するステップは、画像座標内の特徴の知られている位置、知られているオブジェクトモデル(すなわち、特徴データベース)、および計算されたカメラポーズ(すなわち、ターゲットオブジェクトに対するカメラの位置および向き)に基づき得る。抽出された特徴は、オブジェクト座標におけるそれの位置がターゲットオブジェクト上にある場合、ターゲットオブジェクトに「属する」。抽出された特徴の測定された深度と、知られているカメラポーズとを含む代替ソリューション、または知られている背景特性に基づく代替オブジェクト区分化技法が可能である。
【００１５】
決定ブロック140で、選択された特徴はターゲットオブジェクトに属さないと決定されると、選択された特徴は特徴データベースに追加されず、プロセス100は決定ブロック155に進む。次に、決定ブロック145は、選択された特徴が、特徴データベース内にすでに含まれている特徴とは十分に異なるかどうかを決定するステップを含む。一実施形態では、選択された特徴のキーポイント位置が、すでに特徴データベース内にあるキーポイント位置としきい値位置量だけ異なる場合、選択された特徴は特徴データベース内の特徴とは異なる。選択された特徴はまた、選択された特徴の記述子が、特徴データベース内にすでにある記述子としきい値記述子量だけ異なる場合、特徴データベース内の特徴とは異なる場合がある。一実施形態では、特徴量データベースに追加するためにターゲットオブジェクトのすべての特徴が考慮されるように、しきい値位置量、しきい値記述子量のいずれか、またはその両方がゼロに設定され得る。選択された特徴が特徴データベース内にすでに含まれている特徴とは十分に異なると決定されると、処理ブロック150は、選択された特徴を特徴データベースに追加する。図1は、選択された特徴を特徴データベースに追加するための3つの基準(すなわち、特徴のスコアに基づいて、選択された特徴がターゲットオブジェクトに属しているかどうかに基づいて、および選択された特徴が特徴データベース内の特徴とは十分に異なるかどうかを決定するステップに基づいて)を示しているが、3つのすべての基準がプロセス100の各実装形態において実装される必要はない。たとえば、一実施形態では、プロセス100は、選択された特徴を特徴データベースに追加するかどうかを決定するために、選択された特徴のスコアがスコアしきい値よりも大きいかどうかを決定するステップだけを含み得る。別の例では、プロセス100は、決定ブロック140および145を含み得、決定ブロック135は含まない。
【００１６】
一旦選択された特徴が特徴データベースに追加されると、特徴データベースの更新が完了したかどうかを決定するために、プロセス100は決定ブロック155に進む。一実施形態では、特徴の第2のセットにおける特徴の各々が特徴データベースに追加するために考慮された場合、特徴データベースの更新が完了する。完了しない場合、第2のセットから次の特徴を選択するために、およびそれを特徴データベースに追加するかどうかを決定するために、プロセス100は処理ブロック130に戻る。プロセス100はブロック160で完了する。
【００１７】
したがって、本開示の実施形態は、同じターゲットオブジェクトの連続的な検出でオブジェクト検出性能を動的に向上させることを含む。提案されるプロセスは、深層学習またはニューラルネットワーク方法を含まず、したがって処理オーバーヘッドを減少させる。したがって、本明細書に記載されたプロセスは、まだ含まれていない抽出された特徴を特徴データベースに追加することによってターゲットオブジェクトが成功裏に検出されるたびに、ターゲットオブジェクトをより検出可能にすることができる。特徴データベースがクラウドベースであり、複数のユーザ間で共有される一実施形態では、特徴データベースの成功した検出および更新は、余分な労力なしに、彼らの利益になるように、すべてのユーザに利益をもたらし得る。
【００１８】
上述のように、特徴データベースを動的に更新する実施形態は、特徴データベースのサイズを減少(または維持)するために、特徴統合のプロセスとさらに組み合わせることができる。本明細書に記載の実施形態は、知られているオブジェクトのマルチビューのサンプル画像から抽出された同様の特徴を剪定することによって生成されたオブジェクト認識/検出のための特徴データベースを提供する。一般に、候補特徴は特徴データベース内に含まれる特徴と比較されて、次いでそこから同様の特徴のグループを表す派生特徴が生成されて、データベースに記憶される。次いで、同様の特徴のグループは、廃棄(すなわち、剪定)され得る。したがって、データベースは、管理不能なデータベースサイズを有する同様の特徴を含む問題を回避する。たとえば、図2は、特徴データベースに追加されるべき候補特徴に基づいて、特徴データベースを統合するプロセス200を示す流れ図である。
【００１９】
図示されるように、処理ブロック205はまず、特徴データベースに追加されるべき候補特徴を選択するステップを含む。一実施形態では、候補特徴は、プロセス100の処理ブロック150において特徴データベースに追加されるべき特徴の第2のセットから抽出された特徴である。次に、処理ブロック210において、この候補特徴に基づいて特徴の第3のセットが決定される。たとえば、処理ブロック210は、候補特徴の記述子と類似する記述子と、候補特徴のキーポイント位置と近接するキーポイント位置との両方を含む特徴を見つけるために、特徴データベースを調べるステップを含み得る。これらの一致した特徴は、次いで特徴の第3のセットに追加される。
【００２０】
一実施形態では、記述子は、1つの視点(画像)からキーポイントの発生を説明するL次元ベクトルである。したがって、2つの記述子の差(それ自体はL次元ベクトルである)が、ノルム/大きさの点で小さい場合、2つの記述子は類似している。したがって、処理ブロック210は、1つの記述子を別の記述子から減算して、結果と記述子距離しきい値とを比較することによって、2つの記述子が類似しているかどうかを決定するステップを含み得る(たとえば、|f1-fi|<descthであり、descthは記述子距離しきい値である)。キーポイント位置が近接しているかどうかを決定することは、キーポイント位置があらかじめ定義(または、設定)された座標系による(x,y,z)座標の3次元ベクトルであること以外は、上記と類似している(たとえば、|k1-ki|<dkptthであり、dkptthはキーポイント距離しきい値である)。
【００２１】
したがって、特徴の第3のセットは、その記述子が候補特徴の記述子と類似しており、また、そのキーポイント位置が候補特徴のキーポイント位置と近接している特徴のセットである。一実施形態では、特徴の第3のセットは候補特徴を含む。一旦特徴のこの第3のセットが決定されると、決定ブロック215および220は、候補特徴が再現可能および区別可能の両方かどうかを決定する。特徴の再現性は、同じ(または類似の)特徴が観察される視点の数を指し、一例では、単に特徴の第3のセットに含まれる特徴の数であり得る。一実施形態では、候補特徴の再現性を決定することは、候補特徴のキーポイント位置が複数の異なる視点から観察可能であるかどうかを決定することを含み、観察可能である場合、候補特徴のキーポイント位置が、候補特徴の記述と類似した記述子によって記述される視点の数を決定する。視点の数のこの決定は、候補特徴のキーポイント位置の分析、ならびに近接して位置するキーポイント(たとえば、キーポイント距離しきい値dkptth内)を含む点に留意されたい。したがって、再現性は、同じまたは近接して位置するキーポイントの類似の観察の数を数えることによって決定され得る。言い換えれば、異なるが、本質的に同じ場所に配置されているキーポイントに接続された類似の記述子は、同じキーポイントの2つの観測として数える。一旦定量化されると、次いで、候補特徴の再現性と固定再現性しきい値とが比較され得る(ri>rth?)。
【００２２】
特徴の区別性は、候補特徴とデータベース内にすでに含まれている他の特徴とを区別する能力を指す。一例では、区別性は、第3のセット内の特徴の数と、類似の記述子を有するデータベース内のすべての特徴の数との比として定量化され得る。候補特徴の区別性を決定することは、候補特徴のキーポイント位置(または、近接して位置するキーポイント)が、候補特徴の記述子と類似の記述子によって記述される、視点の第1の数を決定することを含み得る。次いで、キーポイント位置にかかわらず、候補特徴の記述子と類似する記述子を有する特徴データベース内のすべての特徴の第2の数が決定される。次いで、区別性は、この第1の数と第2の数との間の比として表され得る。一実施形態では、候補特徴の区別性が十分に高いかどうかを決定するために、区別性と、固定区別性しきい値とが比較される(di>dth?)。
【００２３】
決定ブロック220で、選択された特徴は区別可能ではないと決定される場合(たとえば、di<dth)、これは、区別性が低いため、候補特徴は特徴データベースに追加されるべきではないことを示している。決定ブロック215で、選択された特徴は再現可能ではないと決定される場合(たとえば、ri<rth)、これは、再現性が低いため、候補特徴は特徴データベースに追加されるべきではないことを示している。一実施形態では、再現性および/または区別性が低すぎる場合、特徴データベース内にすでに存在する同様の特徴が除去され得る。
【００２４】
しかしながら、候補特徴が再現可能および区別可能の両方であると決定されると、プロセス200は処理ブロック225に進み、少なくとも1つの派生特徴が生成されて、特徴データベースに追加される。派生特徴は特徴の第3のセットを表し、一例では、第3のセットに含まれる記述子の平均値である記述子を含み得る。
【００２５】
一例では、派生特徴は、第3のセットに含まれるすべての特徴を表す単一の特徴である。別の例では、処理ブロック225は、候補特徴のためのM数の派生特徴を生成するステップを含み、M数の派生特徴は、第3のセットの特徴をM数のクラスタにまとめて、次いでクラスタの中心を取ることによって生成される。
【００２６】
一旦派生特徴がデータベースに追加されると、次いで、第3のセットの特徴は廃棄され得る(すなわち、処理ブロック230)。一実施形態では、特徴を廃棄するステップは、それらを特徴データベースから除去するステップを含む。
【００２７】
図3は、本明細書に記載のプロセスを実行することが可能なモバイルプラットフォーム300の機能ブロック図である。一実施形態では、モバイルプラットフォーム300は、オブジェクト認識、および図1のプロセス100などのプロセスを用いた特徴データベース更新が可能なコンピュータである。たとえば、モバイルプラットフォーム300は、任意で、図1の処理ブロック105を参照して説明したような画像をキャプチャして提供するためのカメラ302を含み得る。モバイルプラットフォーム300はまた、カメラ302によってキャプチャされた画像を表示することが可能なディスプレイ322を含む、オプションのユーザインターフェース306を含み得る。ユーザインターフェース306はまた、キーパッド324、またはユーザが情報をモバイルプラットフォーム300に入力できる他の入力デバイスを含み得る。必要に応じて、キーパッド324は、タッチセンサ付きディスプレイ322に仮想キーパッドを統合することによって除去され得る。ユーザインターフェース306はまた、マイクロフォン326とスピーカ328とを含み得る。
【００２８】
モバイルプラットフォーム300はまた、カメラ302に接続され、カメラ302と通信する制御ユニット304と、存在する場合にはユーザインターフェース306とを含む。制御ユニット304は、カメラ302から、および/またはネットワークアダプタ316から受信された画像を受け入れて、処理する。制御ユニット304は、処理ユニット308および関連メモリ314、ハードウェア310、ソフトウェア315、ならびにファームウェア312によって提供され得る。
【００２９】
制御ユニット304は、たとえば、必要に応じてディスプレイ322に所望のデータをレンダリングするためのゲームエンジンであり得る、グラフィックスエンジン320をさらに含み得る。処理ユニット308およびグラフィックスエンジン320は、明確にするために別々に示されているが、単一のユニットでもよく、および/または、処理ユニット308内で実行されているソフトウェア315内の命令に基づいて処理ユニット308に実装されてもよい。処理ユニット308、ならびにグラフィックスエンジン320は、必ずしも必要ないが、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得る。プロセッサおよび処理ユニットという用語は、特定のハードウェアではなくシステムによって実装される機能を説明する。さらに、本明細書で使用されるように、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォーム300に関連付けられる他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプまたは数のメモリや、メモリが記憶されるタイプの媒体に限定されない。
【００３０】
プロセス100および200を含む本明細書に記載のプロセスは、用途に応じて様々な手段によって実装され得る。たとえば、これらのプロセスは、ハードウェア310、ファームウェア312、ソフトウェア315、またはそれらの任意の組合せに実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはこれらの組合せ内に実装され得る。
【００３１】
ファームウェアおよび/またはソフトウェア実装形態の場合、プロセスは、本明細書に記載の機能を実行するモジュール(たとえば、プロシージャ、関数等)で実装され得る。命令を具体的に実施する任意のコンピュータ可読媒体は、本明細書に記載のプロセスを実装する際に使用され得る。たとえば、プログラムコードはメモリ315に記憶されて、処理ユニット308によって実行され得る。メモリは、処理ユニット308内に実装されてもよく、処理ユニット308内の外部に実装されてもよい。
【００３２】
ファームウェアおよび/またはソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶され得る。例としては、データ構造で符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムで符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。例として、限定するものではないが、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは命令またはデータ構造の形式で所望のプログラムコードを記憶するために使用され得る、およびコンピュータによってアクセスされ得る、他の任意の媒体を備え得る。ディスク(disk)およびディスク(disc)は、本明細書で使用される場合、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイディスクを含み、ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はレーザを用いて光学的にデータを再生する。前記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００３３】
図4は、オブジェクト認識システム400の機能ブロック図である。図示されるように、オブジェクト認識システム400は、特徴データベース412との比較によって識別されるべきオブジェクト414の画像をキャプチャすることが可能なカメラ(現在の図には示されていない)を含む、例示的なモバイルプラットフォーム402を含む。
【００３４】
モバイルプラットフォーム402は、カメラによってキャプチャされた画像を表示するためのディスプレイを含み得る。モバイルプラットフォーム402はまた、たとえば、衛星ビークル406、あるいはセルラータワー404またはワイヤレス通信アクセスポイント405を含む、位置を決定するための他の任意の適切なソースを含む、衛星測位システム(SPS)からの信号を使用してその緯度および経度を決定することに基づいて、航法のために使用され得る。モバイルプラットフォーム402はまた、モバイルプラットフォーム402の方位を決定するために使用され得る、デジタルコンパス、加速度計、またはジャイロスコープなどの、方位センサを含み得る。
【００３５】
本明細書で使用するモバイルプラットフォームは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル航法デバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくは航法位置決め信号などの航法信号を受信することができる他の適したモバイルデバイスなどのデバイスを指す。「モバイルプラットフォーム」という用語は、衛星信号受信、支援データ受信、および/または位置関連処理がデバイスで発生するかパーソナル航法デバイス(PND)で発生するかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むことも意図する。また、「モバイルプラットフォーム」は、インターネット、Wi-Fi、または他のネットワークを介するなどしてサーバと通信することが可能である、および、衛星信号受信、支援データ受信、および/または位置関連処理が、デバイスで、サーバで、またはネットワークに関連付けられる別のデバイスで発生するかにかかわらず、ワイヤレス通信デバイス、コンピュータ、ラップトップ等を含む、すべてのデバイスを含むことを意図する。さらに、「モバイルプラットフォーム」は、拡張現実(AR)、仮想現実(VR)、および/または複合現実(MR)アプリケーションが可能なすべての電子デバイスも含み得る。上記の任意の動作可能な組合せも「モバイルプラットフォーム」と考えられる。
【００３６】
衛星測位システム(SPS)は、典型的に、エンティティが、送信機から受信された信号に少なくとも部分的に基づいて、地球上の、または地球上空のそれらの位置を決定することを可能にするように配置された送信機のシステムを含む。そのような送信機は通常、設定された数のチップの繰返し擬似ランダム雑音(PN)コードでマークされた信号を送信し、地上ベースの制御局、ユーザ機器、および/または宇宙船上に位置してよい。特定の例では、そのような送信機は、地球周回衛星ビークル(SV)406に配置され得る。たとえば、全地球測位システム(GPS)、ガリレオ、グロナス、またはコンパスなどの全地球的航法衛星システム(GNSS)のコンステレーション内のSVは、コンステレーション内の他のSVによって送信されたPNコードから区別可能なPNコードでマークされた信号を送信することができる(たとえば、GPSにおけるように衛星ごとに異なるPNコードを使用するか、グロナスにおけるように異なる周波数上で同じコードを使用して)。
【００３７】
特定の態様によれば、本明細書に提示される技法は、SPSのためのグローバルシステム(たとえば、GNSS)に限定されない。たとえば、本明細書において提供される技法は、日本上空の準天頂衛星システム(QZSS)、インド上空のインド地域航法衛星システム(IRNSS)、中国上空の北斗等、ならびに/あるいは、1つまたは複数のグローバルおよび/または地域航法衛星システムに関連付けられ得る、あるいはそれらで使用するために可能にされ得る、様々な補強システム(たとえば、衛星ベースの補強システム(SBAS))などの様々な地域システムに適用されてもよく、様々な地域システムで使用するために可能にされてもよい。限定ではなく例として、SBASは、広域補強システム(WAAS)、欧州静止衛星航法オーバーレイサービス(EGNOS)、多機能衛星補強システム(MSAS)、GPS支援静止補強ナビゲーションまたはGPSおよび静止補強ナビゲーションシステム(GAGAN)、ならびに/または同様のものなどの、完全性情報、微分補正などを提供する補強システムを含み得る。したがって、本明細書で使用する場合、SPSは1つもしくは複数の全地球および/または地域航法衛星システムならびに/あるいは補強システムの任意の組合せを含み得、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つもしくは複数のSPSに関連する他の信号を含み得る。
【００３８】
位置決定技法は、セルラータワー404を含む、およびワイヤレス通信アクセスポイント405からの、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの様々なワイヤレス通信ネットワークとともに実装され得るので、モバイルプラットフォーム402は位置決定のためのSPSでの使用に限定されない。さらに、モバイルプラットフォーム402は、セルラータワー404を介して、およびワイヤレス通信アクセスポイント405からの、様々なワイヤレス通信ネットワークを使用して、または、必要であれば衛星ビークル406を使用して、データベース412から参照画像および参照特徴などのデータを取得するために、1つまたは複数のサーバ408にアクセスすることができる。「ネットワーク」および「システム」という用語は、しばしば互換可能に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などであり得る。CDMAネットワークは、cdma2000、Wideband-CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装し得る。cdma2000は、IS-95、IS-2000、およびIS-856標準を含む。TDMAネットワークは、グローバルシステムフォーモバイルコミュニケーションズ(GSM(登録商標))、デジタル先進移動電話システム(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称のコンソーシアムからの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称のコンソーシアムからの文書に記載されている。3GPPおよび3GPP2文書は、公的に入手可能である。WLANは、IEEE 802.11xネットワークとすることができ、WPANは、Bluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークとすることができる。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実施することができる。
【００３９】
図4に示されるように、システム400は、特徴データベース412との比較によって識別されるべきオブジェクト414の画像をキャプチャするモバイルプラットフォーム402を含む。図示されるように、モバイルプラットフォーム402は、たとえばセルラータワー404またはワイヤレス通信アクセスポイント405を介して、サーバ408に結合されたワイヤレスワイドエリアネットワーク(WWAN)などのネットワーク410にアクセスすることができ、サーバ408は、ターゲットオブジェクトおよびそれらの画像に関連する情報を記憶するデータベース412に接続されている。一実施形態では、モバイルプラットフォーム402は、ネットワーク410にアクセスするためのネットワークアダプタ(たとえば、図3のネットワークアダプタ316)を含む。図4は1つのサーバ408を示しているが、複数のサーバ、ならびに複数のデータベース412が使用され得ることが理解されるべきである。モバイルプラットフォーム402は、サーバ408からデータベース412の少なくとも一部を取得して、ダウンロードされたデータを、モバイルプラットフォーム402の内部のローカルデータベース(たとえば、図3のメモリ314および/またはファームウェア312)に記憶することによって、図4に示されるように、オブジェクト検出自体を実行することができる。サーバ408から取得されたデータベースの一部は、モバイルプラットフォームの測位システムによって決定されたモバイルプラットフォームの地理的位置に基づき得る。さらに、サーバ408から取得されたデータベースの一部は、モバイルプラットフォーム402上のデータベースを必要とする具体的な適用例に依存し得る。モバイルプラットフォーム402は、プロセス100に関して上述したように、キャプチャされたクエリ画像から特徴を抽出して、その特徴を特徴データベースに記憶されたそれらの特徴と一致させて、まだ特徴データベース内にない抽出された特徴で特徴データベースを更新することができる。クエリ画像は、カメラからのプレビューフレーム内の画像でもよく、カメラによってキャプチャされた画像でもよく、ビデオシーケンスから抽出されたフレームでもよい。オブジェクト検出は、クエリ特徴ごとに決定された信頼レベルに少なくとも部分的に基づき得、次いで異常値の除去に使用され得る。モバイルプラットフォームの地理的位置に基づいてデータベース412のわずかな部分をダウンロードすることと、モバイルプラットフォーム402上でオブジェクト検出を実行することとによって、ネットワーク遅延の問題を回避することができ、オーバーザエア(OTA)帯域幅の使用量が、クライアント(すなわち、モバイルプラットフォーム)側のメモリ要件とともに減少される。しかしながら、クエリ画像自体またはクエリ画像から抽出された特徴のいずれかが、モバイルプラットフォーム402によってサーバ408に提供される場合、必要に応じて、オブジェクト検出はサーバ408(または他のサーバ)によって実行され得る。
【００４０】
処理ブロックのうちのいくつかまたはすべてが上述の各プロセスに表示される順序は、限定されるべきではない。むしろ、本開示の利益を有する当業者は、処理ブロックのうちのいくつかは、示されていない様々な順序で実行され得ることを理解するであろう。
【００４１】
当業者は、本明細書に開示された実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、エンジン、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するであろう。ハードウェアとソフトウェアとの、この互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、エンジン、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、システム全体に課される特定のアプリケーションおよび設計制約に依存する。当業者は、説明された機能を特定のアプリケーションごとに様々な方法で実施することができるが、そのような実装形態の決定は、本発明の範囲から逸脱させるものとして解釈されるべきではない。
【００４２】
本明細書に開示された実施形態への様々な修正が当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなしに他の実施形態に適用され得る。したがって、本発明は、本明細書に示される実施形態に限定されることが意図されるものではなく、本明細書に開示された原理および新規の特徴に矛盾しない最も広い範囲を与えられるべきである。
【符号の説明】
【００４３】
100  プロセス
105  処理ブロック
110  処理ブロック
115  処理ブロック
120  決定ブロック
125  処理ブロック
135  決定ブロック
140  決定ブロック
155  決定ブロック
160  ブロック
200  プロセス
205  処理ブロック
210  処理ブロック
215  決定ブロック
220  決定ブロック
225  処理ブロック
230  処理ブロック
300  モバイルプラットフォーム
302  カメラ
304  制御ユニット
306  ユーザインターフェース
308  処理ユニット
310  ハードウェア
312  ファームウェア
314  関連メモリ
315  ソフトウェア
316  ネットワークアダプタ
320  グラフィックスエンジン
322  ディスプレイ
324  キーパッド
326  マイクロフォン
328  スピーカ
400  オブジェクト認識システム
402  モバイルプラットフォーム
404  セルラータワー
405  ワイヤレス通信アクセスポイント
406  地球周回衛星ビークル(SV)
408  サーバ
410  ネットワーク
412  特徴データベース
414  オブジェクト
【図１】
2017508197.tif 000004
【図２】
2017508197.tif 000005
【図３】
2017508197.tif 000006
【図４】
2017508197.tif 000007
【手続補正書】
【提出日】平成28年7月29日(2016.7.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを動的に更新するコンピュータ実装方法であって、
画像から特徴の第1のセットを抽出するステップと、
特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較するステップと、
前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関する特徴の前記第1のセットに含まれる前記特徴のうちのいくつかに基づいて、ターゲットオブジェクトが前記画像内に存在すると決定するステップと、
前記特徴データベースを更新する前に、前記ターゲットオブジェクトの特徴の前記第1のセットから特徴の第2のセットを識別するステップであって、特徴の前記第2のセットが、前記特徴データベース内にまだ含まれていない特徴の前記第1のセットのサブセットを含むステップと、
特徴の前記第2のセットからの選択された特徴が前記ターゲットオブジェクトに属すると決定することに応答して、前記選択された特徴を前記特徴データベースに追加するステップと
を備える、コンピュータ実装方法。
【請求項２】
提供された画像内から特徴の前記第1のセットを抽出するステップが、スケール不変特徴量変換(SIFT)アルゴリズムを前記提供された画像に適用するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項３】
前記選択された特徴を前記特徴データベースに追加するステップが、前記選択された特徴のスコアがスコアしきい値を超える場合、前記選択された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項４】
前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項3に記載のコンピュータ実装方法。
【請求項５】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加するステップが、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加するステップを含む、請求項1に記載のコンピュータ実装方法。
【請求項６】
前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項5に記載のコンピュータ実装方法。
【請求項７】
前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項5に記載のコンピュータ実装方法。
【請求項８】
知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを更新するためのプログラムコードを記憶したコンピュータ可読記憶媒体であって、前記プログラムコードが、
画像から特徴の第1のセットを抽出して、
特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較して、
特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関する特徴の前記第1のセット内の前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、ターゲットオブジェクトが前記画像内に存在すると決定して、
前記特徴データベースを更新する前に、前記ターゲットオブジェクトの特徴の前記第1のセットから特徴の第2のセットを識別して、特徴の前記第2のセットが、前記特徴データベース内にまだ含まれていない特徴の前記第1のセットのサブセットを含み、
特徴の前記第2のセットからの選択された特徴が、前記画像内に存在すると決定された前記ターゲットオブジェクトに属すると決定することに応答して、前記選択された特徴を前記特徴データベースに追加する
命令を備える、コンピュータ可読記憶媒体。
【請求項９】
提供された画像内から特徴の前記第1のセットを抽出する前記命令が、スケール不変特徴量変換(SIFT)アルゴリズムを前記提供された画像に適用する命令を含む、請求項8に記載のコンピュータ可読記憶媒体。
【請求項１０】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの特徴のスコアがスコアしきい値を超える場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項8に記載のコンピュータ可読記憶媒体。
【請求項１１】
前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項10に記載のコンピュータ可読記憶媒体。
【請求項１２】
前記選択された特徴を前記特徴データベースに追加する前記命令が、前記選択された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記選択された特徴だけを追加する命令を含む、請求項8に記載のコンピュータ可読記憶媒体。
【請求項１３】
前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項12に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項12に記載のコンピュータ可読記憶媒体。
【請求項１５】
装置であって、
知られているターゲットオブジェクトに対応する特徴を含む特徴データベースを更新するためのプログラムコードを記憶するように適合されたメモリと、
前記プログラムコードに含まれる命令にアクセスしてそれを実行するように適合された処理ユニットとを備え、前記命令が前記処理ユニットによって実行される場合、前記処理ユニットが前記装置に、
カメラで画像をキャプチャして、
前記キャプチャされた画像内から特徴の第1のセットを抽出して、
特徴の前記第1のセットと、前記特徴データベースに記憶された前記特徴とを比較して、
特徴の前記第1のセットに含まれる前記特徴のうちの少なくともいくつかが、前記特徴データベース内に含まれる前記特徴のうちの少なくともいくつかと相関する特徴の前記第1のセット内の前記特徴のうちの少なくともいくつかと相関するかどうかに基づいて、ターゲットオブジェクトが前記画像内に存在すると決定して、
前記特徴データベースを更新する前に、前記ターゲットオブジェクトの特徴の前記第1のセットから特徴の第2のセットを識別して、特徴の前記第2のセットが、前記特徴データベース内にまだ含まれていない特徴の前記第1のセットのサブセットを含み、
特徴の前記第2のセットからの選択された特徴が、前記画像内に存在すると決定された前記ターゲットオブジェクトに属すると決定することに応答して、前記選択された特徴を前記特徴データベースに追加する
ように指示する、装置。
【請求項１６】
前記キャプチャされた画像内から特徴の前記第1のセットを抽出する前記命令が、スケール不変特徴量変換(SIFT)アルゴリズムを前記キャプチャされた画像に適用する命令を含む、請求項15に記載の装置。
【請求項１７】
前記選択された特徴を前記特徴データベースに追加する前記命令が、前記選択された特徴のスコアがスコアしきい値を超える場合、前記選択された特徴だけを追加する命令を含む、請求項15に記載の装置。
【請求項１８】
前記スコアが、曲率の局所尺度とコーナー強度の尺度とからなるグループから選択された前記抽出された特徴の態様に基づく、請求項17に記載の装置。
【請求項１９】
前記少なくとも1つの抽出された特徴を前記特徴データベースに追加する前記命令が、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる場合、前記少なくとも1つの抽出された特徴だけを追加する命令を含む、請求項15に記載の装置。
【請求項２０】
前記少なくとも1つの抽出された特徴のキーポイント位置が、前記特徴データベース内のキーポイント位置とは第1のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項19に記載の装置。
【請求項２１】
前記少なくとも1つの抽出された特徴のキーポイント記述子が、前記特徴データベース内のキーポイント記述子とは第2のしきい値量を上回るだけ異なる場合、前記少なくとも1つの抽出された特徴が、前記特徴データベース内にすでに含まれている特徴とは異なる、請求項19に記載の装置。
【請求項２２】
前記キャプチャされた画像を取得するためのカメラをさらに備える、請求項15に記載の装置。
【国際調査報告】
2017508197.tif 000008
2017508197.tif 000009
2017508197.tif 000010