(57)【要約】  特定の実施形態において、方法は、第１の特徴のセットを検出するために、画像の一部に第１の特徴検出器を適用することを含む。第１の特徴のセットは、関心領域の位置を特定するために使用され、関心領域に対応する境界が決定される。方法は、また、ディスプレイで境界を表示することを含む。表示される境界を受け入れるためにユーザ入力を受信することに応じて、第２の特徴検出器は、境界によってカプセル化された画像のエリアに適用される。
2013522971.tif 000002
【特許請求の範囲】
【請求項１】
第１の特徴のセットを検出するためにカメラによってキャプチャされた画像の一部に第１の特徴検出器を適用することと、
前記第１の特徴のセットに基づいて関心領域の位置を特定することと、
前記関心領域に対応する境界を決定することと、
ディスプレイで前記境界を表示することと、
前記表示された境界を受け入れるためのユーザ入力を受信することに応じて、前記境界によってカプセル化された前記画像のエリアに第２の特徴検出器を適用することと
を含む、方法。
【請求項２】
前記画像の前記一部は、前記全体の画像を含む、請求項１に記載の方法。
【請求項３】
前記画像は、前記カメラによってキャプチャされたビデオストリームのフレームである、請求項１に記載の方法。
【請求項４】
前記カメラおよび前記ディスプレイは、モバイルデバイスに組み込まれている、請求項１に記載の方法。
【請求項５】
前記第１の特徴検出器は、加速セグメントテストからの特徴（ＦＡＳＴ）-タイプの特徴検出器であって、前記第１の特徴のセットは、ＦＡＳＴキーポイントのセットを含む、特徴検出器である、請求項４に記載の方法。
【請求項６】
前記第２の特徴検出器は、スケール不変特徴変換（ＳＩＦＴ）-タイプの特徴検出器である、請求項１に記載の方法。
【請求項７】
前記ユーザ入力は、所望のオブジェクトが前記境界の範囲内に表示されている指示をさらに含む、請求項１に記載の方法。
【請求項８】
前記境界は、境界ボックス、境界楕円、および境界円、のうちの１つである、請求項１に記載の方法。
【請求項９】
前記関心領域は、オブジェクト指示しきい値を上回る特徴の密度を有する前記画像の中心に最も近い領域である、請求項８に記載の方法。
【請求項１０】
前記画像を第２の画像に移行する前記カメラの動きを検出することと、
前記動きに応じて修正された境界を生成するかどうかを決定することと、
前記修正された境界が生成された場合、前記ディスプレイで前記境界の代わりに、前記修正された境界を表示することと
をさらに含む、請求項１に記載の方法。
【請求項１１】
前記修正された境界を生成することは、前記境界で１つ以上の移行動作およびサイズの変更動作を実行することを含む、請求項１０に記載の方法。
【請求項１２】
前記修正された境界を生成することは、
第２の特徴のセットを検出するために前記第１の特徴検出器を前記第２の画像に適用することと、
前記第２の画像の極大値を決定するために前記第２の特徴のセットで平均シフト計算（mean-shift calculation）を行うことと、
前記画像に関する前記第２の画像の線形補間に基づいて前記修正された境界の候補の中心位置を決定することと、
前記第２の特徴のセットにおける各特定の特徴に関して、前記特定の特徴が前記修正された境界によってカプセル化される尤度を決定することであって、前記尤度はカーネル関数に基づいて決定される、決定することと、
前記修正された境界が、確率しきい値よりも大きい尤度を有する前記第２の特徴のセットにおいて各特徴をカプセル化するように、前記修正された境界を決定することと
を含む、請求項１０に記載の方法。
【請求項１３】
前記カーネル関数は、ガウスカーネル関数およびEpanechnikovカーネル関数、のうちの１つであって、ここにおいて、前記カーネル関数のバンド幅は、前記関心領域の最大サイズを示す、請求項１２に記載の方法。
【請求項１４】
前記バンド幅はユーザ指定である、請求項１３に記載の方法。
【請求項１５】
前記修正された境界は、前記修正された境界の側面が、前記境界の対応する側面よりも少なくとも１０パーセント大きくない場合、表示されない、請求項１２に記載の方法。
【請求項１６】
前記境界および前記修正された境界の両方が、前記同じ関心のオブジェクトをカプセル化する、請求項１０に記載の方法。
【請求項１７】
前記境界および前記修正された境界は、異なる関心のオブジェクトをカプセル化する、請求項１０に記載の方法。
【請求項１８】
前記関心領域の第１のコーナーを示す第１のユーザ入力を受信することであって、前記第１の特徴のセットは前記第１のコーナーに関連付けられ、前記画像の前記一部は、前記第１のコーナーを含む、受信することと、
前記カメラの動きが、前記画像を第２の画像に変換する間、前記第２の画像において前記第１のコーナーの位置を特定するために、前記第１の特徴のセットをトラッキングすることと、
前記第２の画像において前記関心領域の第２のコーナーを示す第２のユーザ入力を受信することと、
第２の特徴のセットを検出するために、前記第２のコーナーを含む前記第２の画像の一部に、前記第１の特徴検出器を適用することであって、前記関心領域は、前記第２の特徴のセットに基づいてさらに決定される、適用することと
をさらに含む、請求項１に記載の方法。
【請求項１９】
前記第２のコーナーは、前記第１のコーナーの反対である、請求項１８に記載の方法。
【請求項２０】
プロセッサによって実行された場合、前記プロセッサに、
第１の特徴のセットを検出するためにカメラから受信された画像の一部に第１の特徴検出器を適用させ、
前記第１の特徴のセットに基づいて関心領域の位置を特定させ、
前記関心領域に対応する境界を決定させ、
ディスプレイで前記境界を表示させ、
前記表示される境界を受け入れるためにユーザ入力を受信することに応じて、前記境界によってカプセル化される前記画像のエリアに第２の特徴検出器を適用させる、
命令を含む、コンピュータ可読媒体。
【請求項２１】
前記第１の特徴検出器および前記第２の特徴検出器は、それぞれ、カラーデータの独立した特徴を検出する、請求項２０に記載のコンピュータ可読媒体。
【請求項２２】
前記プロセッサによって実行された場合、前記プロセッサに、前記第２の特徴検出器の結果に基づいて１つ以上の製品識別および情報検索を行わせる命令をさらに含む、請求項２０に記載のコンピュータ可読媒体。
【請求項２３】
画像キャプチャデバイスから受信される画像の一部に、第１の特徴検出器を適用し、
前記第１の特徴のセットに基づいて関心領域の位置を特定させ、
前記関心領域に対応する境界を決定し、
ディスプレイデバイスで前記境界を表示し、
前記表示される境界を受け入れるためにユーザ入力を受信することに応じて、前記境界によってカプセル化された前記画像のエリアに第２の特徴検出器を適用する
ように構成された、回路。
【請求項２４】
前記第１の特徴検出器は、加速セグメントテストからの特徴（ＦＡＳＴ）-タイプの特徴検出器であって、前記第２の特徴検出器は、スケール不変特徴変換（ＳＩＦＴ）-タイプの特徴検出器である、請求項２３に記載の回路。
【請求項２５】
画像をキャプチャするための手段と、
キャプチャされた画像および境界を表示するための手段と、
ユーザ入力を受信するための手段と、
処理手段であって、
第１の特徴のセットを検出するために、前記画像の一部に第１の特徴検出手段を適用し、
前記第１の特徴のセットに基づいて関心領域の位置を特定させ、
前記関心領域に対応する前記境界を決定し、
前記ユーザ入力は前記境界の承認を示す、ということを検出し、
前記境界によってカプセル化される前記画像のエリアに第２の特徴検出手段を適用する、
ように構成された処理手段と
を含む、モバイルデバイス。
【請求項２６】
前記受信するための手段は、タッチスクリーン、キーパッド、およびボタン、のうちの１つを含み、前記処理手段は、
前記第２の特徴検出手段の適用に基づいて１つ以上の特徴検出キーポイントを検出し、
前記識別された１つ以上の特徴検出キーポイントに基づいて１つ以上の特徴ベクトルを生成し、
前記生成された１つ以上の特徴ベクトルを、複数のオブジェクトに関連付けられた複数の記憶された特徴ベクトルと比較し、
前記比較に基づいてオブジェクト認識の仮説を生成する
ようにさらに構成された、請求項２５に記載のモバイルデバイス。
【請求項２７】
画像をキャプチャするように構成されたカメラと、
前記キャプチャされた画像において第１のキーポイントを検出するように構成された第１の特徴検出モジュールと、
前記検出された第１のキーポイントに基づいて前記画像において関心領域を識別するように構成されたトリミングモジュールと、
前記関心領域において第２のキーポイントを検出するように構成された第２の特徴検出モジュールと、
前記検出された第２のキーポイントに基づいて特徴ベクトルを抽出するように構成されたベクトル抽出モジュールと、
オブジェクト認識の仮説を生成するために、前記抽出された特徴ベクトルを、記憶された特徴ベクトルのセットと比較するように構成されたベクトル比較モジュールと
を含む、システム。
【請求項２８】
前記記憶された特徴ベクトルのセットは、前記カメラ、前記第１の特徴検出モジュール、および前記第２の特徴検出モジュール、のうちの少なくとも１つから遠く離れて配置される、請求項２７に記載のシステム。
【請求項２９】
前記キャプチャされた画像に関して、前記オブジェクト認識の仮説が正しいかどうかを示す、ユーザ入力を受信するように構成されたユーザ入力デバイスと、
前記ユーザ入力が、前記オブジェクト認識の仮説は誤りであるということを示す場合、前記オブジェクト認識の仮説を修正するように構成された仮説改善モジュールと
をさらに含む、請求項２７に記載のシステム。
【請求項３０】
前記オブジェクト認識の仮説は、特定のオブジェクトを識別し、前記システムは、前記ユーザ入力が前記オブジェクト認識の仮説は正しいということを示す場合、前記特定のオブジェクトに関連付けられた情報を受信するように構成された通信インターフェースをさらに含む、請求項２９に記載のシステム。
【請求項３１】
前記第１の特徴検出モジュールは、加速セグメントテストからの特徴（ＦＡＳＴ）-タイプの特徴検出モジュールであって、前記第２の特徴検出モジュールは、スケール不変特徴変換（ＳＩＦＴ）-タイプの特徴検出モジュールである、特徴検出モジュールである、請求項２７に記載のシステム。
【発明の詳細な説明】
【優先権の主張】
【０００１】
[３５ Ｕ.Ｓ.Ｃ. §１１９のもとの優先権の主張]
本特許出願は、２０１０年３月１１日に出願された「複数の特徴検出器（feature detector）の適用に基づいた画像特徴検出」と題し、この譲受人に譲渡された、米国仮特許出願番号第６１/３１２、８５３号の優先権を主張する。
【技術分野】
【０００２】
本開示は、一般に画像処理に関する。
【背景技術】
【０００３】
技術の進歩は、より小さい、より強力な計算デバイスをもたらすという結果になった。たとえば、ユーザによって容易に持ち運ばれ、軽量で、小型の携帯型ワイヤレス電話、携帯用情報端末（ＰＤＡ）、およびページングデバイスのような、ワイヤレス計算デバイスを含む、さまざまな携帯型パーソナル計算デバイスが現在存在している。より具体的に、セルラー電話のような携帯型ワイヤレス電話は、ワイヤレスネットワークを介して、音声およびデータパケット通信を行うことができる。さらに、そのような多くのワイヤレス電話は、そこに内蔵されるデバイスの他のタイプを含む。たとえば、ワイヤレス電話は、また、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤ含むことができる。また、そのようなワイヤレス電話は、インターネットにアクセスするために使用されることができる、ウェブブラウザアプリケーションのようなソフトウェアアプリケーションを含む、実行可能な命令を処理することができる。そのようなものとして、これらのワイヤレス電話は、重要な計算能力を含むことができる。
【０００４】
コンピュータ・ビジョン・アルゴリズムは、デジタルカメラによってキャプチャされた画像におけるオブジェクトを「認識（recognize）」するために頻繁に使用される。しかしながら、多くのコンピュータ・ビジョン・アルゴリズムは、複雑で資源集約的（resource intensive）であり、それらをワイヤレス電話のようなモバイルデバイスへ適応させることは不向きである。さらに、コンピュータ・ビジョン・アルゴリズムは、処理すべき画像の品質および構成によって一般に限定され、そのアルゴリズムは、ノイズやオブジェクトクラッタ（object clutter）のようなファクタが原因でオブジェクトを誤って認識し得る。 
【発明の概要】
【０００５】
さまざまなオブジェクトを含むビデオ・グラフィック・アレイ（ＶＧＡ）画像およびクラッタが、スケール不変特徴変換（ＳＩＦＴ：Scale-Invariant Feature Transform）のような高度な画像特徴検出器にかかる場合、特徴検出器は、何千ものキーポイントを検出することができる。そのような特徴検出の結果に基づいたオブジェクト認識は、遅く、時間のかかる処理であり得る。ここに開示される画像特徴検出方法は、１つ以上の関心領域（regions of interest）に画像をセグメントにするために、画像のすべてまたは一部に、加速セグメントテストからの特徴（ＦＡＳＴ：Features from Accelerated Segment Test）のような計算的に安上がり（inexpensive）な画像特徴検出器を適用する。ユーザが所望の関心領域を選択した後、ＳＩＦＴのような、より正確な特徴検出器が、関心領域に適用される。
【０００６】
特定の実施形態において、方法は、第１の特徴のセットを検出するために、カメラによってキャプチャされる画像の一部に第１の特徴検出器を適用することを含むということが開示される。方法は、また、第１の特徴のセットに基づいて関心領域の位置を特定することと、関心領域に対応する境界を決定することとを含む。方法は、さらに、ディスプレイで境界を表示することを含む。方法は、表示される境界を受け入れるためにユーザ入力を受信することに応じて、境界によってカプセル化された（encapuslated）画像のエリアに第２の特徴検出器を適用することを含む。
【０００７】
別の特定の実施形態において、モバイルデバイスが開示される。モバイルデバイスは、カメラ、ディスプレイ、およびユーザ入力デバイス（たとえば、タッチスクリーン、またはキーパッド）を含む。モバイルデバイスは、また、第１の特徴のセットを検出するために、画像の一部に第１の特徴検出器を適用するように構成されたプロセッサを含む。プロセッサは、また、第１の特徴のセットに基づいて関心領域の位置を特定するように構成され、関心領域に対応する境界を決定するように構成される。プロセッサは、境界のユーザの承認を示すために、ユーザ入力デバイスを経由してユーザ入力を検出するようにさらに構成される。プロセッサは、境界によってカプセル化された画像のエリアに第２の特徴検出器を適用するように構成される。
【０００８】
開示された実施形態のうちの少なくとも１つによって提供された１つの特定のメリットは、計算の複雑性の軽減および速度が増した状態で高精度を提供する、改良されたオブジェクト認識方法（object recoginition method）である。開示された実施形態のうちの少なくとも１つによって提供された別の特定のメリットは、タッチスクリーンを含まないモバイルデバイスでキャプチャされた画像に関するオブジェクトセグメンテーションを行うための能力である。
【０００９】
本開示の他の態様、メリット、および特徴は、次のセクション：図面の簡単な説明、詳細な説明、および請求項、を含む、全体のアプリケーションのレビュー後に明確となるだろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、自動境界決定を含む、画像特徴検出の方法の特定の実例的な実施形態の使用を示す図である。
【図２】図２は、複数のオブジェクトを区別することを含む、画像特徴検出の方法の別の特定の実例的な実施形態の使用を示す図である。
【図３】図３は、キーポイントの識別およびトラッキングを含む、画像特徴検出の方法の別の特定の実例的な実施形態の使用を示す図である。
【図４】図４は、キーポイントの識別およびトラッキングを含む、画像特徴検出の方法の別の特定の実例的な実施形態の使用を示す図である。
【図５】図５は、ユーザ支援の境界決定を含む、画像特徴検出の方法の別の特定の実例的な実施形態の使用を示す図である。
【図６】図６は、複数の特徴検出器の適用に基づいた、画像特徴決定の方法の特定の実例的な実施形態のフローチャートである。
【図７】図６は、複数の特徴検出器の適用に基づいた、画像特徴決定の方法の別の特定の実例的な実施形態のフローチャートである。
【図８】図８は、図１−７および図９において説明される実施形態をサポートすることができるモバイルデバイスのブロック図である。
【図９】図９は、オブジェクト認識パイプラインの特定の例示的な実施形態の図である。
【詳細な説明】
【００１１】
コンピュータ・ビジョン・アルゴリズムは、画像の範囲内で特徴を検出できるが、ほとんどの正確なコンピュータ・ビジョン・アルゴリズムは、典型的に最も資源集約的で、計算的に複雑である。たとえば、スケール不変特徴変換（ＳＩＦＴ）および加速セグメントテストからの特徴（ＦＡＳＴ）のような、キーポイントの局所化（localization）に基づいた特徴検出を行うアルゴリズムは、計算的に複雑なガウス・スケール・スペース（Gaussian scale space）、およびおおよそのハール・ウェーブレット計算（Haar wavelet calculation）にそれぞれ基づいて、正確なキーポイントの局所化を提供する。加速セグメントテストからの特徴（ＦＡＳＴ）のような、計算的に安上がりな（たとえば、より効率的に計算可能な）画像特徴検出器は、速いが、精度の低いキーポイント検出を提供し得る。ＳＩＦＴでもＳＵＲＦ-タイプでもない特徴検出器は、携帯電話のような限られたリソースを有するデバイスで使用するのに適当であり得る。たとえば、携帯電話で、ＳＩＦＴおよびＳＵＲＦのような複雑なアルゴリズムを実現することは、遅い応答時間、および反応が遅いユーザ経験となり得る。他方では、ＦＡＳＴのようにより速いが、精度の低いアルゴリズムを使用することは、受け入れられない多くの誤識別、および誤検出（たとえば、オブジェクトとして背景ノイズを誤って認識すること）となり得る。
【００１２】
ここに開示される画像特徴検出方法は、削減された計算コストで、ＳＩＦＴのような計算的に複雑なアルゴリズムの精度を提供することができる。たとえば、処理すべき特定の画像は、ユーザの所望の関心オブジェクトを含み、また関心のない近くの／周囲のオブジェクトを含み得る。関心のないオブジェクトを表現する画像部分でＳＩＦＴに基づくキーポイントの位置の特定を行うことは、計算リソースを浪費し得る。したがって、ＳＩＦＴアルゴリズムを行う前に、他の画像の一部から関心オブジェクトの位置を特定し、分離させることは役立ち得る。たとえば、関心オブジェクトを囲む境界を決定し、境界によってカプセル化された画像のエリアのみに関してＳＩＦＴアルゴリズムを行うことは役立ち得る。
【００１３】
タッチスクリーンを含むデバイスで、ユーザは関心オブジェクトの周りの境界を手動で「描き（draw）」得る。しかしながら、すべてのデバイスがタッチスクリーンを有するわけではない。さらに、手動で境界を描くようにユーザに要求することなく、タッチスクリーンデバイスで境界を自動的に決定するための能力は、より能率化されたユーザ経験となり得る。たとえば、ユーザは、「ポイント・アンド・クリック（point-and-click）」の方法において、オブジェクトを識別することができる。
【００１４】
ここに開示される画像特徴検出方法は、境界が決定されるまでＦＡＳＴ-タイプの特徴検出を利用し、その後、境界の範囲内で関心オブジェクトを「認識（recoginize）」するために、ＳＩＦＴ-タイプの特徴検出を行うことができる。したがって、画像特徴検出は、ＦＡＳＴ-タイプの特徴検出に基づいて画像における関心領域の位置を特定することと、関心領域に対応する境界を決定することと、境界によってカプセル化された画像のエリアにおいてＳＩＦＴ-タイプの特徴検出を行うことと、の３つのステップを含み得る。ＦＡＳＴ-タイプの特徴検出は、ＦＡＳＴ-タイプとＳＩＦＴ-タイプの特徴検出の両方が、類似した識別動作を有するブロブに基づく（blob-based）特徴検出であるゆえに、ＳＩＦＴ-タイプの特徴検出のための前処理アルゴリズムとして使用するのに適している。さらに、ＦＡＳＴキーポイントはＳＩＦＴキーポイントに正確に対応し得ないが、対応するＦＡＳＴキーポイントおよびＳＩＦＴキーポイントのセットは、重複クラスタとして一般に発生し得る。したがって、（たとえば、所望されたオブジェクトのコーナーにおける）ＦＡＳＴキーポイントの急速に決定されたクラスタ化分布は、より正確なＳＩＦＴ-タイプの検出器を使用して後に処理される画像における関心領域の位置を特定するために使用され得る。
【００１５】
図１を参照すると、自動境界決定を含む画像特徴検出の方法の特定の例示的な実施形態の使用が、開示され、そして全体的に表示される１００。図１で説明される特定の実施形態において、方法は、携帯電話のカメラのアプリケーションからの例示的なキャプチャされた画像１１０、１２０、１３０、１４０に基づいて説明される。（たとえば、ユーザが洗剤の箱に携帯電話のカメラを「向ける（point）」間、）画像１１０、１２０、１３０および１４０は、携帯電話のカメラのアプリケーションによってキャプチャされたビデオフレームであり得る。しかしながら、ここに開示されるような画像特徴検出は、画像キャプチャデバイス（たとえば、カメラ）およびディスプレイを有する携帯電話に限定されないということに注意されたい。ここに開示されるような画像特徴検出は、任意の電子撮像デバイスによって行われ得る。
【００１６】
第１の画像１１０は、２箱の洗剤を含む。ＦＡＳＴ-タイプの特徴検出器が、第１の画像１１０（たとえば、第１の画像１１０の一部、または第１の画像１１０の全体）に適用された場合、その結果として生じるＦＡＳＴキーポイントは、２箱の洗剤のそれぞれが候補の関心領域（candidate regions of interest）であるということを示すようにクラスタ化され得る。特定の実施形態において、複数の候補の関心領域が検出された場合、画像の中心に最も近い関心領域が選ばれる。たとえば、図１で説明される特定の実施形態において、左の洗剤の箱は、第１の画像１１０の中心に最も近いとされ得る。関心領域に対応する境界１１２は、決定および表示され得る。境界１１２は境界ボックス（bounding box）として描写されるが、境界は、他に境界楕円（bounding ellipse）、境界円（bounding circle）、または他の境界の形であり得るということに注意されたい。
【００１７】
ユーザがカメラを動かすにつれて、境界は形を変更し得る。たとえば、ユーザは第１の画像１１０を第２の画像１２０に移行する（translating）ため、カメラを右に動かすことができる。境界１１２は、修正された境界１２２によって説明されるように、動きに応じて形を修正し得る。修正された境界は、以前の境界として同一の関心オブジェクトをカプセル化し、または異なる関心オブジェクトをカプセル化し得る。したがって、関心領域の周りの境界は、ユーザには、ユーザによって作り出されたカメラの動きに関してリアルタイムで、または、ほぼリアルタイムで、形を変更し、またはオブジェクトとともに動くように見え得る。
【００１８】
カメラが動くにつれて、以前識別された関心領域は、もはや最も高い関心領域ではあり得ない。たとえば、異なる候補の関心領域は、画像の中心に最も近く、より多くのキーポイントを含み、または以前識別された関心領域よりも高いキーポイント密度を有し得る。新たな関心領域が選択された場合、境界は、新たな関心領域の周りに線を引くように調整されることができる。たとえば、第３の画像１３０において、右の洗剤の箱は、新たな関心領域として識別され、新たな境界１３２が決定および表示され得る。
【００１９】
したがって、ユーザは、所望の関心オブジェクトが自動決定境界によって囲まれるまで、所望の関心オブジェクトに向かって、または離れて、カメラを上、下、左、右に動かすことができる。所望の関心オブジェクトが表示される境界によって囲まれた場合、ユーザは表示される境界を受け入れるために入力を提供し得る。特定の実施形態において、表示される境界は、第４の画像１４０において受け入れられた境界１４２によって説明されるように、ユーザの承認を示すためにカラーまたはシェーディング（shading）を変更し得る。表示される境界を受け入れるユーザ入力に応じて、ＳＩＦＴ-タイプの特徴検出器は、表示される境界によってカプセル化された画像のエリアに適用され得る。たとえば、ＳＩＦＴ-タイプの特徴検出器の適用は製品識別（たとえば、洗剤のメーカを識別する）、または情報検索（たとえば、オンラインのベンダから同一の洗剤の箱の価格を探し出す）を行うために使用されることができるという結果を提供し得る。特定の実施形態において、ＳＩＦＴ-タイプの特徴検出器の結果は、オブジェクト認識の知識ベース（たとえば、データベース）に記憶されるキーポイントのセットと比較される。
【００２０】
図１の画像の特徴検出方法は、特徴検出器の複数のタイプの適用に基づいてオブジェクト認識能力を提供し得るということを理解するだろう。したがって、図１の方法は、ＳＩＦＴ-タイプの特徴検出に関連付けられた精度のメリットと、ＦＡＳＴ-タイプの特徴検出の速さのメリットを組み合わせることができる。図１の方法は、画像において任意のカラーデータの試験なしで動かすことができ、それは増加した処理速度へと至るということをさらに理解するだろう。
【００２１】
図２を参照すると、複数のオブジェクトを区別することを含む、画像特徴検出の方法の特定の例示的な実施形態の使用が、描かれ、そして全体的に表示されている２００。
【００２２】
特定の実施形態において、２つの候補の関心領域は、画像の中心から等距離、またはほぼ等距離であり得る。たとえば、図２において、２つの関心領域（たとえば、２つの洗剤の箱の各々に対して１つの関心領域）は、画像２１０の中心からほぼ等距離であり得る。複数の候補の関心領域がある場合、最多数の位置を特定されたキーポイントを有する候補（たとえば、ＦＡＳＴキーポイント）が、選択され得る。たとえば、図２において、左の洗剤の箱を含む関心領域は、右の洗剤の箱を含む関心領域（たとえば、２０キーポイント）より多くのＦＡＳＴキーポイント（たとえば、５０キーポイント）含み得る。したがって、左の洗剤の箱を含む関心領域が選択され、選択された関心領域に対応する境界２１２は、決定および表示され得る。２つの候補の関心領域が境界を得るために競合する（compete）ケースにおいて、処理は、選択された関心領域に関する慣性項（momentum term）を実現することによって安定させることができる。慣性項は、選択された領域において特徴の実数（actual number）に適用するバイアスまた乗数であり得る。慣性項を加えることは、ユーザが、境界の動きが影響受ける前に他の候補の関心領域に向かってカメラを向ける動作を若干誇張する必要があるという結果になり得る。
【００２３】
あるいは、画像の中心近くに複数の関心の候補がある場合、最も高いＦＡＳＴキーポイントの密度を有する候補が選択され得る。また、特定の実施形態において、オブジェクト指示しきい値（たとえば、１００正方画素につき１キーポイント）よりも少ないＦＡＳＴキーポイントの密度を有する候補領域は、無視され得る。したがって、選択された関心領域は、オブジェクト指示しきい値を上回るＦＡＳＴキーポイントの密度を有する画像の中心に最も近い領域であり得る。
【００２４】
図３を参照すると、キーポイントの識別およびトラッキングを含む、画像特徴検出の方法の特定の例示的な実施形態の適用が、描かれ、そして全体的に表示されている３００。
【００２５】
特定の実施形態において、ＦＡＳＴ-タイプの特徴検出は、第１の画像３１０によって説明されるように、画像の中心から開始する拡大半径においてカメラによってキャプチャされた各画像（たとえば、フレーム）で行われる。ＦＡＳＴキーポイントが検出されることができない場合（たとえば、カメラが白紙または壁に向けられる）、関心領域の位置は特定されず、境界は表示され得ない。
【００２６】
カメラが動き、オブジェクトが画像に入る場合、第２の画像３２０によって説明されるように、ＦＡＳＴキーポイントが検出され得る。第３の画像３３０で境界３３２によって示されるように、オブジェクトを含む関心領域の位置を特定し、特定された関心領域に対応する境界は、決定および表示され得る。カメラが動き続ける場合、境界３３２は関心領域を「追尾（track）」することができる。
【００２７】
ＦＡＳＴキーポイントは画像の中心から開始する拡大半径において検出され得るが、オブジェクトのための関心領域は、オブジェクトがカメラの画像に入り次第、決定され得るということに注意されたい。すなわち、関心領域は画像の端で最初は識別される。たとえば、図４を参照すると、ＦＡＳＴキーポイントが検出されない場合、境界は第１の画像４１０で表示され得ない。オブジェクト（たとえば、車）が画像の端に入り次第、境界４２２は、第２の画像４２０で示されるように、決定および表示され得る。
【００２８】
図５を参照すると、ユーザ支援の境界決定を含む、画像特徴検出の方法の特定の例示的な実施形態の適用が、描かれ、そして全体的に表示されている５００。
【００２９】
画像特徴検出は、自動境界決定の代わりに、ユーザ支援の境界決定を含み得る。たとえば、ユーザは、第１の画像５１０における低い右側のピーナッツバターの瓶に関するオブジェクト認識を所望し得る。特定の実施形態において、ユーザは、第１の画像５１０における中心カーソルを、低い右側のピーナッツバターの瓶の第１のコーナーの位置を特定するように、カメラを動かすことによって境界決定を初期化し得る。ユーザ入力（たとえば、ボタンプッシュ）に応じて、ＦＡＳＴ-タイプの特徴検出は、中心カーソルを囲む第１の画像５１０のパッチ５１２に適用され得る。ＦＡＳＴ-タイプの特徴検出器は、第１のＦＡＳＴキーポイントのセットを検出し得る。
【００３０】
ＦＡＳＴキーポイントの第１のセットの位置は記憶され得るので、ユーザがカメラを下、および右にパンして、第１の画像５１０を第２の画像５２０に移行する間、右側のピーナッツバターの瓶の第１のコーナーは「追尾される（tracked）」。したがって、第１の画像５１０のパッチ５１２は第２の画像５２０のパッチ５２２に追尾される。ユーザは、中心カーソルが第１のコーナーの反対である低い右側のピーナッツバターの瓶の第２のコーナーに配置されるように、カメラを配置することができる。別のユーザ入力（たとえば、別のボタンプッシュ）に応じて、ＦＡＳＴ-タイプの特徴検出は、第２のＦＡＳＴキーポイントのセットを検出するために、第２のコーナーに適用され得る。境界５２４は、その後、第１のセットおよび第２のＦＡＳＴキーポイントのセットに基づいて決定され得る。
【００３１】
したがって、図５の方法は、ユーザ入力（たとえば、コーナー認識）に基づいてすごい速さで関心領域を決定し、それによって、ＦＡＳＴ-タイプとＳＩＦＴ-タイプの特徴検出の組み合わせに基づいてオブジェクトを識別するために、全体的な時間を減らすということを理解するだろう。
【００３２】
図６を参照すると、複数の特徴検出器の適用に基づいた画像特徴決定の方法の特定の例示的な実施形態のフローチャートが、描かれ、そして全体的に表示されている６００。例示的な実施形態において、方法６００は、図８のモバイルデバイス８００によって行われ得る。
【００３３】
方法６００は、６０２でカメラから受信された画像の関心領域の第１のコーナーを示す、第１のユーザ入力を受信することを含む。方法６００は、また、６０４で第１のＦＡＳＴキーポイントのセットを検出するために第１のコーナーを含む画像の一部にＦＡＳＴ-タイプの特徴検出器を適用することを含む。たとえば、図５に示されるように、第１の画像５１０の中心カーソルは、所望のピーナッツバターの瓶の上部の左側のコーナーにあり、ＦＡＳＴ-タイプの特徴検出器は、第１のＦＡＳＴキーポイントのセットを検出するためにパッチ５１２に適用され得るように、カメラはユーザによって保持され得る。
【００３４】
方法６００は、カメラの動きが、第１の画像を第２の画像に移行する間、６０６で第２の画像において第１のコーナーの位置を特定するために、第１のＦＡＳＴキーポイントのセットを追尾することをさらに含む。たとえば、図５において、第１のＦＡＳＴキーポイントのセットは、パッチ５１２がパッチ５２２として第２の画像に配置されることができるように追尾され得る。方法６００は、６０８で第２の画像において関心領域の第２のコーナーを示す第２のユーザ入力を受信することを含む。第２のコーナーは、第１のコーナーの反対である。たとえば、図５において、カメラは第２の画像５２０の中心カーソルは、所望のピーナッツバターの瓶の低い右側のコーナーにあるように動き得る。
【００３５】
方法６００は、第１のＦＡＳＴキーポイントのセットおよびユーザに提供された第２の境界のコーナー（第１のＦＡＳＴキーポイントのセットに斜めに反対）に基づいて関心領域の位置を特定することと、６１０で関心領域に対応する境界を決定および表示することと、をさらに含む。たとえば、図５を参照すると、境界５２４は、所望のピーナッツバターの瓶の周りを表示され得る。
【００３６】
方法６００は、６１２で境界の範囲内で表示される所望のオブジェクトを示すユーザ入力を受信することと、６１４で境界によってカプセル化された画像のエリアにＳＩＦＴ-タイプの特徴検出器を適用することと、を含む。たとえば、図５を参照すると、ＳＩＦＴ-タイプの特徴検出器は、境界５２４によってカプセル化された第２の画像５２０のエリアに適用され得る。
【００３７】
図７を参照すると、特徴検出器の異なるタイプの適用に基づいた画像特徴決定の方法の別の特定の例示的な実施形態のフローチャートが、描かれ、そして全体的に表示されている７００。例示的な実施形態において、方法７００は、図８のモバイルデバイス８００によって行われ得る。
【００３８】
方法７００は、７０２で第１のＦＡＳＴキーポイントのセットを検出するために、モバイルデバイスのカメラによってキャプチャされた全体の画像に、ＦＡＳＴ-タイプの特徴検出器を適用することを含む。たとえば、図１において、ＦＡＳＴ-タイプの特徴検出は、第１のＦＡＳＴキーポイントのセットを検出するために、図１の第１の画像１１０に適用され得る。
【００３９】
方法７００は、また、７０４で第１のＦＡＳＴキーポイントのセットに基づいて関心領域の位置を特定することを含む。関心領域は、オブジェクト指示しきい値を上回るＦＡＳＴキーポイントの密度を有する画像の中心に最も近い領域である。たとえば、図１において、左の洗剤の箱を含む関心領域が、選択され得る。
【００４０】
方法７００は、７０６で関心領域に対応する境界（たとえば、境界ボックス、境界楕円、または境界円）を決定することと、７０８でモバイルデバイスのディスプレイで境界を表示することとをさらに含む。たとえば、図１において、左の洗剤の箱を含む関心領域は、第１の画像１１０に位置し、境界１１２が表示され得る。
【００４１】
方法７００は、７１０で境界の範囲内で表示される所望のオブジェクトを示すユーザ入力を受信することと、７１２で境界によってカプセル化された画像のエリアにＳＩＦＴ-タイプの特徴検出器を適用することと、を含む。たとえば、図１において、ユーザは境界１１２を受け入れ、ＳＩＦＴ-タイプの特徴検出は、境界１１２によってカプセル化された第１の画像１１０のエリアに適用され得る。
【００４２】
あるいは、方法７００は、７１４で画像を第２の画像に移行するカメラの動きを検出することを含む。たとえば、図１において、第１の画像１１０は、第２の画像１２０に移行され得る。方法７００は、７１６で修正された境界を生成するための動きに応じて境界を移行および／またはサイズ変更することと、修正された境界を表示することとをさらに含む。たとえば、図１において、境界１１２は、修正された境界１２２に移行およびサイズ変更され得る。方法７００は、７１８で所望のオブジェクトが修正された境界の範囲内で表示されるということを示すユーザ入力を受信することと、７２０で修正された境界によってカプセル化された画像のエリアにＳＩＦＴ-タイプの特徴検出器を適用することと、をさらに含む。たとえば、図１において、ユーザは修正された境界１２２を受け入れ、ＳＩＦＴ-タイプの特徴検出器は、修正された境界１２２によってカプセル化された第２の画像１２０のエリアに適用され得る。
【００４３】
特定の例示的な実施形態において、次のアルゴリズムおよび疑似コード（pseudocode）に基づいて、画像の特徴は位置を特定され、関心領域は決定され得る。
【００４４】
アルゴリズムの第１のステップにおいて、キーポイントは画像の範囲内で位置を特定され得る。たとえば、ＦＡＳＴ-タイプの特徴検出器（たとえば、コーナー検出器）は、画像においてキーポイントを検出するために使用され得る。特定の実施形態において、キーポイントを検出することは、特定の距離ｒで、画像の各画素をその近傍値と比較することを含む。これは、中心画素ｃでグレーレベル値（gray level value）（Ｉ（ｃ））がその正反対の画素の近傍値、Ｉ（ｃ＋ｒθ）およびＩ（ｃ−ｒθ）の２つと比較されるように、各方向に関して連続的に行われ得る。ここで、ｒθ=（ｒ ｃｏｓθ，ｒ ｓｉｎθ）Ｔおよび０≦θ≦πとなる。数式（１）が、いくつかのθおよびしきい値τに対して満たされる場合、キーポイントの候補の中心画素ｃは削除される。
【数１】
2013522971.tif 000003
【００４５】
中心画素は、コーナーまたはブロブのような（blob-like）一部の近傍において、すべての可能なθのために、数式（１）を満たし得るということに注意されたい。しかしながら、画素の近傍の端（pixels neighboring edge）、または、ほぼ一様な空間（near-uniform space）（たとえば、壁）は、多少の繰り返し（iteration）において削除され得る。その後、画像における画素のすべてがスキャンされると、数式（１）を満たす画素の位置が、キーポイントの位置として保持され得る。
【００４６】
アルゴリズムの第２のステップにおいて、極大値（local maximum）（たとえば、特定の関心（attention）の中心に最も近い、最も密集したキーポイントの領域）は、コーナーまたはブロブのような画像領域の中心を表現するキーポイントの位置の間から検出され得る。第１に、キーポイントの分布のための非母数の密度関数（nonparametric density function）が推定され得る。次に、密度の極大値の位置を特定するために、平均シフトアルゴリズム（mean-shift algorithm）が使用され得る。
【００４７】
キーポイントの位置のセットが、集合Ｘ＝｛ｘ１， ｘ２，．．．，ｘｎ｝として表現される場合、ここで、Ｒ２（二次元座標空間）においてｘｉ＝（ｘ，ｙ）Ｔは、キーポイント ｉの二次元座標である。このセットのための非母数のカーネル密度の推定量（nonparametric kernel density estimator）は、ｋｈ（ｘ，ｘｉ）がバンド幅ｈを有するカーネルである、数式（２）によって定義され得る。
【数２】
2013522971.tif 000004
【００４８】
バンド幅は密度の解像度（resolution）を特定するので、局所密度（local density）に影響を与えるポイントの近傍は、およそｘと推定する。たとえば、ガウスカーネルについては、バンド幅ｈが標準偏差（standard deviation）に対応し得る、すなわち、
【数３】
2013522971.tif 000005
【００４９】
であり、ここで、ｃｈは正規化定数であり、ｇｈ（．．，．．） は非正規化ガウスカーネルである。
【００５０】
カーネルが、凸面（convex）であり、単調に減少している場合、平均シフトアルゴリズムは、極大値に集中する。これは、密度関数の勾配上昇方向（gradient ascent direction）に比例する、平均シフトを受けて繰り返し行われ得る。ガウスカーネルについて、平均シフトは数式（３）によって与えられ、ここでｙｊ＋１は、推定された密度関数のもとでｙｊからシフトされた位置である。
【数４】
2013522971.tif 000006
【００５１】
この処理によって提供される１つのメリットは、シフトは現在の位置において確率に反比例して重みづけされるので、比較的少ない繰り返しで極大値に集中し得る。したがって、数式（３）のドミネータ（dominator）は小さいので、低密度を有する領域は素早く除外され得る。繰り返しが極大値に近い場合、その逆が起こり得る。
【００５２】
特定の実施形態において、ＦＡＳＴキーポイントの検出は、ノイズのあるおよび／または不安定な（unstable）キーポイントが原因で、ロバストな結果をもたらし得ない。これを緩和するため、フレームの間の線形補間（liner interpolation）が使用され、不安定なキーポイントは閾値化（thresholding）の手順を介して削除され得る。たとえば、関心領域の検出手順が使用され得る。手段は、以前のフレームから関心領域ボックスｂpreviousおよび極大値の位置ｙpreviousを入力するように受け入れ、最新の関心領域ボックスｂcurrentおよび最新の極大値ｙcurrentを出力するように作り出す。関心領域ボックスのベクトルｂは、画像においてコーナーの位置を表現し得る。
【００５３】
処理は、ＦＡＳＴキーポイント検出を使用してキーポイントのセット（たとえば、ｎキーポイント）を検出することによって、現在のフレームで開始され得る。わずかなキーポイントを有するフレームは、不正確な密度関数を生成し得るので、そのようなフレームはキーポイントのしきい値（たとえば、ｔｈｒｅｓｈ1）で削除され得る。十分なキーポイントを有するフレームについては、平均シフトアルゴリズムが、選択されたカーネルおよびバンド幅に関して、キーポイントの密度関数の極大値ｙcurrentの位置を特定するために使用され得る。局所化は、中心はユーザの関心のための基点であるという仮定に基づいて、現在のフレームの中心から初期化され得る。極大値の位置が特定された後、数式（４）に従って線形補間は、０＜β＜１が、補間量を特定する連続的なフレームの間で平滑（smooth）な変更のために使用され得る。
【００５４】
ｙcandidate＝βｙcurrent＋（１−β）ｙprevious      --(4)
カーネルバンド幅（kernel bandwidth）が、大きい値に（たとえば、ユーザの選択によって）セットされた場合、近傍のキーポイントを有さない領域に対応し得る。これは、距離および定数の背景によって分散される２つのオブジェクトを含む画像において起こり得る。この極大値のタイプは関心領域に対応しないので、それは候補の極大値に関する最も近いキーポイントの尤度（likelihood）がｐ１よりも大きい、すなわちａｒｇ ｍａｘi（ｌcandidate（ｘi））≧ｐ1、ように、候補の極大値を抑制することによって削除される。
【００５５】
別の可能性のある不安定なシフトは、現在の極大値に近い多数のキーポイントが小さい場合に起こり得る。これは、密度関数が安定ではなく、ジッタ（jitter）をもたらし得るということを示し得る。そのような状態は、状況濃度（condition cardinality）（ｌcurrent（ｘi）＞ｐ2）＞ｔｈｒｅｓｈ2によって移動させられ得るので、ｐ2よりも大きい尤度を有するキーポイントの数が、候補の極大値がｔｈｒｅｓｈ2よりも大きくない場合、候補の極大値は排除される。
【００５６】
候補の極大値がこれらの試験に通った場合、それは現在の極大値として受け入れられ得る。現在の関心領域ボックスは、それは、ｐ3よりも大きい尤度、すなわち、ｌcurrent（ｘi）＞ｐ3を有するすべてのキーポイントを含むように計算され得る。この領域は不安定なキーポイントに依存し得るので、それはジッタノイズを含み得る。そのようなノイズに対して関心領域のボックスの不変量（invariant）をアップデートするため、線形補間が現在の関心領域のボックスと以前のフレームの関心領域のボックスとの間で使用される。その後、各候補のボックスの側面（side）において変更の量が計算される。側面のいずれかを以前のフレームに関して少なくとも１０％変更した場合、候補のボックスは受け入れられ得る。側面のいずれも以前のフレームに関して少なくとも１０％変更されない場合、変更は起こり得ない。
【００５７】
上記の関心領域（ＲＯＩ：region of interest）の検出手段は、次の疑似コード、
【数５】
2013522971.tif 000007
【００５８】
によって、表現され得る。
【００５９】
上記のアルゴリズムおよび疑似コードは、浮動小数点演算（floating piont operations）を含み得るので、それは整数演算（integer operations）のみを行うように構成されるデバイスでは稼働し得ないということに注意されたい。そのような実施形態のために、ガウスカーネル計算はEpanechnikovカーネルと交換され得る。すなわち、ｇh（ｘ，ｘi）は、
【数６】
2013522971.tif 000008
【００６０】
と交換され得る。
【００６１】
特定の実施形態において、しきい値は、ｔｈｒｅｓｈ1＝ｔｈｒｅｓｈ2＝５、である。別の特定の実施形態において、連続的なフレームの間の繰り返しの量は、β＝０．５５である。別の特定の実施形態において、尤度のしきい値は、ｐ1＝ｐ3＝０．５およびｐ2＝０．７５としてセットされる。Epanechnikovカーネルおよびｐ３＝０．５の使用で、現在のボックスのサイズは、ｌcurrent（ｘi）＞０．５を有するすべてのポイントを含むように計算され得る。ｌcurrent（ｘi）＝ｔh（ｙcurrent，ｘi）＞０．５であるので、最大ボックスのサイズは、
【数７】
2013522971.tif 000009
【００６２】
を使用して計算され得る。したがって、−ｈ＜（ｙcurrent−ｘi）＜ｈおよび最大ボックスのサイズは、２ｈｘ２ｈ画素である。特定の実施形態において、デフォルトのバンド幅はｈ＝７５にセットされる。別の特定の実施形態において、バンド幅（および、したがって最大の関心領域のサイズ）は、ユーザ指定である。
【００６３】
図８を参照すると、モバイルデバイスの特定の例示的な実施形態のブロック図が、描かれ、そして全体的に表示されている８００。デバイス８００は、メモリ８３２に結合されるデジタル・シグナル・プロセッサ（ＤＳＰ）８１０のような処理手段を含む。例示的な一例において、ＤＳＰ８１０は、第１の特徴検出手段（たとえば、ＦＡＳＴ-タイプの特徴検出器）、および第２の特徴検出手段（たとえば、ＳＩＦＴ-タイプの特徴検出）の組み合わせられた適用に基づいて画像の特徴を識別するように構成された画像処理論理（image processing logic）８６４を含む。別の例示的な例において、メモリ８３２は、デバイス８１０（たとえば、例示的な第１の画像８８１および例示的な第２の画像８８２）で画像をキャプチャするための手段によってキャプチャされた画像を記憶する（たとえば、カメラ８７０）ことができる。たとえば、カメラ８７０がキャプチャし、メモリ８３２が、１つ以上の図１の画像１１０−１４０、図２の画像２１０、図３の画像３１０−３３０、図４の画像４１０−４２０、および図５の画像５１０−５２０を記憶し得る。
【００６４】
図８は、また、デジタル・シグナル・プロセッサ８１０、および表示するための手段（たとえば、ディスプレイ８２８）に結合されるディスプレイコントローラ８２６を示す。コーダ／デコーダ（ＣＯＤＥＣ）８３４も、またデジタル・シグナル・プロセッサ８１０に結合されることができる。スピーカ８３６およびマイクロフォン８３８は、ＣＯＤＥＣ８３４に結合されることができる。  
図８は、また、ワイヤレスコントローラ８４０は、デジタル・シグナル・プロセッサ８１０およびワイヤレスアンテナ８４２に結合されることができるといことを示している。特定の実施形態において、ＤＳＰ８１０、ディスプレイコントローラ８２６、メモリ８３２、ＣＯＤＥＣ８３４、およびワイヤレスコントローラ８４０は、システム・イン・パッケージまたはシステム・オン・チップのデバイス８２２において含まれる。特定の実施形態において、ユーザ入力（たとえば、入力デバイス８３０）および電源８４４を受信するための手段はシステム・オン・チップのデバイス８２２に結合される。例示的な一例において、デバイス８２２がタッチスクリーンを含む場合、ディスプレイ８２８および入力デバイス８３０は少なくとも部分的に組み込まれ得る。特定の実施形態において、図８で説明されるように、ディスプレイ８２８、入力デバイス８３０、スピーカ８３６、マイクロフォン８３８、ワイヤレスアンテナ８４２、および電力供給８４４は、システム・オン・チップのデバイス８２２の外部にある。しかしながら、ディスプレイ８２８、入力デバイス８３０、スピーカ８３６、マイクロフォン８３８、ワイヤレスアンテナ８４２、および電力供給８４４のそれぞれは、インターフェースまたはコントローラのようなシステム・オン・チップのデバイス８２２のコンポーネントに結合されることができる。
【００６５】
図９を参照すると、オブジェクト認識のパイプラインの特定の例示的な実施形態が、描かれ、そして全体的に表示されている９００。オブジェクト認識のパイプライン９００は、一般に、複数の特徴検出器の適用に基づいてクエリ画像９０２から分類の決定９１８を生成するように構成され得る。
【００６６】
クエリ画像９０２は、キャプチャされた画像９０５を生成するために、カメラ９０４によってキャプチャされ得る。例示的な実施形態において、カメラ９０４は図８のカメラ８７０である。特定の実施形態において、キャプチャされた画像９０５は、カメラ９０４がグレースケールカメラであろうとＲＧＢカメラであろうと関係なく、グレースケール画像である。たとえば、図９で説明される特定の実施形態において、クエリ画像９０２はおもちゃのバギーを含み、カメラ９０４は携帯電話の一部であり得る。
【００６７】
キャプチャされた画像９０５は、ＦＡＳＴのコーナー検出モジュール９０６に入力され得る。ＦＡＳＴのコーナー検出モジュール９０６は、キャプチャされた画像９０５において、ＦＡＳＴキーポイントを識別し得る。たとえば、ＦＡＳＴキーポイントは、図１−７を参照して記載および説明されるような技法を使用して識別され得る。
【００６８】
識別されたＦＡＳＴキーポイントは、識別されたＦＡＳＴキーポイントを含む関心領域を識別およびトリミングする（crop）ために、動的な画像トリミングモジュール９０８によって使用され得る。たとえば、関心領域は、図１−７を参照して記載および説明されるような技法を使用して識別およびトリミングされ得る。
【００６９】
ＳＩＦＴキーポイントの検出モジュール９１０は、トリミングされた関心領域においてキーポイントを検出し、それによって、Ｍ個の検出されたＳＩＦＴキーポイント９１１を生成する。たとえば、Ｍは、ｉ＝１，２，．．．Ｍである局所規模（local scale）の情報｛（ｘｉ，ｙｉ），σｉ｝で、２００と４００との間の整数であり得る。たとえば、Ｍ個の検出されたＦＡＳＴキーポイント９１１は、図１−７を参照して記載および説明されるように検出され得る。
【００７０】
特徴ベクトル抽出モジュール（feature vector extraction module）９１２は、Ｍ個の検出されたＳＩＦＴキーポイント９１１のそれぞれのための特徴ベクトルを抽出し、それによって、Ｍ個の特徴ベクトル９１３を生成する。特定の実施形態において、特徴ベクトル抽出モジュール９１２は、特定のＳＩＦＴキーポイントを囲む画像パッチに基づいて特定のＳＩＦＴキーポイントのために特定の特徴ベクトルを抽出する。たとえば、Ｍ個の特徴ベクトル９１３のそれぞれは、１２８次元（たとえば、１２８バイトのデータまでを含む）までのＳＩＦＴベクトルであり得る。
【００７１】
Ｍ個の特徴ベクトル９１３は、特徴ベクトル比較モジュール９１４に入力され得る。特徴ベクトル比較モジュール９１４は、Ｍ個の特徴ベクトル９１３を、記憶された特徴ベクトルおよびオブジェクト関連（object associations）９２０と比較するように構成され得る。特徴検出比較モジュール９１４は、Ｍ個の特徴ベクトル９１３と、記憶された特徴ベクトルおよびオブジェクト関連９２０との比較に基づいて、オブジェクト認識の仮説（object recoginition hypothesis）９１５を生成し得る。たとえば、オブジェクト認識仮説９１５は、クエリ画像がおもちゃのバギーを含む「正しい（correct）」仮説であり、またはクエリ画像が異なるオブジェクトを表現する「誤った（incorrect）」仮説であり得る。
【００７２】
オプションの仮説改善モジュール９１６は、オブジェクト認識の仮説９１５が誤っている場合、オブジェクト認識の仮説９１５を修正し得る。特定の実施形態において、オブジェクト認識の仮説９１５を改善することは、１つ以上の改善された仮説を生成することと、更なるＦＡＳＴキーポイントを識別することと、更なるＳＩＦＴキーポイントを検出することと、更なるＳＩＦＴ特徴ベクトルを抽出することと、ＳＩＦＴの特徴ベクトルと記憶された特徴ベクトルおよびオブジェクト関連９２０との更なる比較を行うことと、またはそれらの任意の組み合わせを含む。仮説が正しい場合（たとえば、ユーザ入力を介して確認されるように）、結果の分類決定（resulting classification decision）９１８は、クエリ画像９０２に関する更なる情報を照会するために使用され得る。たとえば、クエリ画像９０２におけるおもちゃのバギーのオンラインショッピングの価格は、分類の決定９１８に基づいて検索される。
【００７３】
図９のオブジェクト認識のパイプライン（object recognition pipeline）９００は、複数の特徴検出器の適用に基づいてオブジェクト認識能力を提供し得るということを理解するだろう。図９のオブジェクト認識のパイプライン９００は、ＳＩＦＴの特徴検出に関連付けられた精度のメリットと、ＦＡＳＴキーポイント識別の速さのメリットを組み合わせ得る。ＳＩＦＴキーポイント検出モジュール９１０は、ユーザが、クエリ画像９０２、または動的画像トリミングモジュール９０８によって作り出されたトリミングされた画像の分析に基づいた「オフライン（offline）」に、カメラ９０４を向ける間、実行され得るということに注意されたい。
【００７４】
図９のオブジェクト認識のパイプライン９００は、カメラを備えているデバイス（たとえば、携帯電話）または分布されたやり方（fashion）において、完全に実行され得るということを更に理解するだろう。たとえば、第１の実施形態において、カメラ９０４、モジュール９０６、９０８、９１０、９１２、９１４および９１６、および記憶された特徴ベクトルおよびオブジェクト関連９２０は、すべて携帯電話に配置されることができる。記憶された特徴ベクトルおよびオブジェクト関連９２０は、携帯電話でメモリを保存するために、大きさを縮めたサイズを有し得る。第２の実施形態において、カメラ９０４のみが、携帯電話または別の電子機器デバイスに配置されることができる。モジュール９０６、９０８、９１０、９１２、９１４および９１６、および記憶された特徴ベクトルおよびオブジェクト関連９２０は、サーバに配置されることができる。記憶された特徴ベクトルおよびオブジェクト関連９２０は、サーバで増加された利用可能な記憶場所のために、第１の実施形態よりも第２の実施形態におけるほうが大きくあり得る。第３の実施形態において、カメラ９０４、およびＦＡＳＴ／ＳＩＦＴモジュール９０６、９０８、９１０および９１２は、携帯電話に配置され、比較／改善モジュール９１４および９１６、および記憶された特徴ベクトルおよびオブジェクト関連９２０は、サーバに配置されることができる。
【００７５】
当業者は、ここに開示された実施形態に関連して説明されたさまざまな例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせとして実現され得ることを、さらに理解するだろう。さまざまな例示的なコンポーネント、ブロック、構成、モジュール、回路、およびステップが、それらの機能の観点で一般に上述されている。そのような機能がハードウェアとして実現されるか、ソフトウェアとして実現されるかは、システム全体に課された特定の用途および設計上の制約に依存する。当業者は、特定の用途ごとにさまざまな手法で、説明された機能を実現することができるが、そのような実現の決定は、本開示の範囲から逸脱するものと解釈されるべきではない。
【００７６】
ここで開示された実施形態に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェア・モジュールで、または両者の組み合わせで具現化されることができる。ソフトウェア・モジュールは、ランダム・アクセス・メモリ（ＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、消去・プログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去・プログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、または当技術分野で周知の任意の他の記憶媒体の形態に存在することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み出し、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替例において、記憶媒体は、プロセッサと一体化され得る。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に存在することができる。ＡＳＩＣは、計算デバイスまたはユーザ端末に存在することができる。あるいは、プロセッサおよび記憶媒体は、計算デバイスまたはユーザ端末に離散コンポーネントとして存在することができる。
【００７７】
開示された実施形態の先の説明は、開示された実施形態を製造または使用することをいずれの当業者にも可能にさせるために提供されている。これらの実施形態に対するさまざまな修正は、当業者に容易に理解され、ここで定義された原理は、本開示の範囲から逸脱せずに、他の実施形態に適用されることができる。このように、本開示は、ここに示された実施形態に限定されることは意図しておらず、下記の請求項によって定義されるような原理および新規な特徴と一致する可能性がある最も広い範囲が付与されるべきである。
【図１】
2013522971.tif 000010
【図２】
2013522971.tif 000011
【図３】
2013522971.tif 000012
【図４】
2013522971.tif 000013
【図５】
2013522971.tif 000014
【図６】
2013522971.tif 000015
【図７】
2013522971.tif 000016
【図８】
2013522971.tif 000017
【図９】
2013522971.tif 000018
【国際調査報告】
2013522971.tif 000019
2013522971.tif 000020
2013522971.tif 000021
2013522971.tif 000022