(57)【要約】  拡張現実または他のコンピュータビジョンアプリケーションをサポートするための装置および方法が提示される。実施形態は、自然特徴とオートフォーカスエンジンとの間の通信を可能にして、エンジンの正確さを増し、またはエンジンの処理時間を減らす。オートフォーカスエンジンは、オートフォーカスウィンドウのロケーションを自然特徴検出モジュールに、および/または前のオートフォーカスウィンドウの、次のオートフォーカスウィンドウへのロケーションの変化を通信し得る。自然特徴検出モジュールは、通信された情報を使って、初期探索エリアを限定し、かつ/または次の追跡探索ウィンドウを設定する。自然特徴追跡モジュールは、自然特徴の前のロケーションから自然特徴の次のロケーションへの変化を、オートフォーカスエンジンに通信し得る。オートフォーカスエンジンは、変化を使って、次のオートフォーカスウィンドウを設定する。
2014510943.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
自然特徴検出モジュールおよび自然特徴追跡モジュールを備える自然特徴処理エンジンと、
自然特徴ウィンドウまたはオートフォーカスウィンドウの少なくとも1つを含むウィンドウのロケーションを設定するための情報を通信するように、前記自然特徴処理エンジンに結合されたオートフォーカスエンジンとを備えるモバイルデバイス。
【請求項２】
前記ウィンドウが、画像内の限定エリアを有する自然特徴検出ウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項３】
前記情報がオートフォーカスウィンドウのロケーションを示す、請求項2に記載のモバイルデバイス。
【請求項４】
前記ウィンドウが次の追跡探索ウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項５】
前記情報が、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化を示す、請求項4に記載のモバイルデバイス。
【請求項６】
前記情報が変化の規模を含み、前記次の追跡探索ウィンドウが、前記規模に基づいて設定される、請求項4に記載のモバイルデバイス。
【請求項７】
前記情報が変化の方向を含み、前記次の追跡探索ウィンドウが、前記方向に基づいて設定される、請求項4に記載のモバイルデバイス。
【請求項８】
前記ウィンドウが次のオートフォーカスウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項９】
前記情報が、自然特徴の前のロケーションから前記自然特徴の次のロケーションへの変化を示す、請求項8に記載のモバイルデバイス。
【請求項１０】
前記自然特徴処理エンジンに結合された拡張現実モジュールをさらに備える、請求項1に記載のモバイルデバイス。
【請求項１１】
コンピュータビジョンにおいて使用するためのモバイルデバイスにおける方法であって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスするステップと、
自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡するステップと、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するステップとを含む方法。
【請求項１２】
情報を通信するステップが、前記オートフォーカスウィンドウのロケーションを通信するステップを含み、前記方法が、
前記画像内で前記オートフォーカスウィンドウを選択するステップと、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定するステップと、
前記限定したエリア内で自然特徴を見つけるステップとをさらに含む、請求項11に記載の方法。
【請求項１３】
情報を通信するステップが、変化を通信するステップを含み、前記方法が、
第1の画像内で第1のオートフォーカスウィンドウを設定するステップと、
第2の画像内で第2のオートフォーカスウィンドウを設定するステップであって、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含むステップと、
前記変化に基づいて、次の追跡探索ウィンドウを設定するステップと、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するステップとをさらに含む、請求項11に記載の方法。
【請求項１４】
情報を通信するステップが、第1のロケーションから第2のロケーションへの変化を通信するステップを含み、前記方法が、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡するステップと、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡するステップと、
前記変化に基づいて、次のオートフォーカスウィンドウを設定するステップと、
前記オートフォーカスウィンドウ内でオートフォーカスするステップとをさらに含む、請求項11に記載の方法。
【請求項１５】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
カメラおよびオートフォーカスエンジンと、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのコードを備えるプロセッサおよびメモリとを備えるモバイルデバイス。
【請求項１６】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのコードをさらに含む、請求項15に記載のモバイルデバイス。
【請求項１７】
情報を通信するための前記コードが、変化を通信するためのコードを含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのコードをさらに含む、請求項15に記載のモバイルデバイス。
【請求項１８】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
カメラおよびオートフォーカスエンジンと、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのコードを備えるプロセッサおよびメモリとを備えるモバイルデバイス。
【請求項１９】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのコードをさらに備える、請求項18に記載のモバイルデバイス。
【請求項２０】
情報を通信するための前記コードが、変化を通信するためのコードを含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのコードをさらに備える、請求項18に記載のモバイルデバイス。
【請求項２１】
情報を通信するためのコードが、第1のロケーションから第2のロケーションへの変化を通信するためのコードを含み、前記モバイルデバイスが、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡し、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡し、
前記変化に基づいて、次のオートフォーカスウィンドウを設定し、
前記オートフォーカスウィンドウ内でオートフォーカスするためのコードをさらに備える、請求項18に記載のモバイルデバイス。
【請求項２２】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスするための手段と、
自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡するための手段と、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するための手段とを備えるモバイルデバイス。
【請求項２３】
情報を通信するための前記手段が、前記オートフォーカスウィンドウのロケーションを通信するための手段を含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択するための手段と、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定するための手段と、
前記限定したエリア内で自然特徴を見つけるための手段とをさらに備える、請求項22に記載のモバイルデバイス。
【請求項２４】
情報を通信するための前記手段が、変化を通信するための手段を含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定するための手段と、
第2の画像内で第2のオートフォーカスウィンドウを設定するための手段であって、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含む手段と、
前記変化に基づいて、次の追跡探索ウィンドウを設定するための手段と、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するための手段とをさらに備える、請求項22に記載のモバイルデバイス。
【請求項２５】
情報を通信するための前記手段が、第1のロケーションから第2のロケーションへの変化を通信するための手段を含み、前記モバイルデバイスが、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡するための手段と、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡するための手段と、
前記変化に基づいて、次のオートフォーカスウィンドウを設定するための手段と、
前記オートフォーカスウィンドウ内でオートフォーカスするための手段とをさらに備える、請求項22に記載のモバイルデバイス。
【請求項２６】
プログラムコードを記録したコンピュータ可読記録媒体であって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのプログラムコードを備えるコンピュータ可読記録媒体。
【請求項２７】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのプログラムコードをさらに含む、請求項26に記載のコンピュータ可読記録媒体。
【請求項２８】
情報を通信するための前記コードが、変化を通信するためのコードを含み、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのプログラムコードをさらに含む、請求項26に記載のコンピュータ可読記録媒体。
【請求項２９】
情報を通信するための前記コードが、変化を通信するためのコードを含み、
自然特徴を、第1の画像内の第1のロケーションまで追跡し、
前記自然特徴を、第2の画像内の第2のロケーションまで追跡し、
前記変化に基づいて、次のオートフォーカスウィンドウを設定し、
前記オートフォーカスウィンドウ内でオートフォーカスするためのプログラムコードをさらに含む請求項26に記載のコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
該当なし。
【０００２】
本開示は概して、拡張現実および他のコンピュータビジョンアプリケーションのための装置および方法に関し、より詳細には、カメラオートフォーカスとコンピュータビジョンベースの認識および追跡との統合に関する。
【背景技術】
【０００３】
拡張現実システムは、自然特徴を、コンピュータ生成アイコンおよび画像を配置するための、画像シーケンス内の参照点として使う。自然特徴検出モジュールおよび自然特徴追跡モジュールを含む自然特徴処理エンジンは、これらの参照点を見つけ、追うのに使われる。モバイルデバイスは、そのような拡張現実エンジンで強化され得る。多くのモバイルデバイスは、オートフォーカスエンジンによって提供されるオートフォーカス能力をもつカメラも有する。自然特徴とオートフォーカスエンジンの両方が、画像の間の変化を追跡するが、知られているシステムは、これらのエンジンの間で通信をさせることができない。
【０００４】
拡張現実において、追跡されるオブジェクトの動きおよび位置を正確に追う追跡により、ユーザエクスペリエンスが著しく向上する。したがって、追跡性能の改善には、多大な作業が費やされる。機能的にはプロセッサ内でのオブジェクト追跡は、カメラのフロントエンドにおけるオートフォーカス機能性とは別個に動作する。オートフォーカス機能性は通常、ハードウェア内で、またはハードウェアアクセラレーションを用いて実施される。オートフォーカス動作の結果、自然特徴検出および/または追跡を向上させるための有用な情報が生じ得る。同様に、自然特徴検出および追跡の結果、オートフォーカス機能性を向上させるための有用な情報が生じ得る。
【０００５】
多くの既存のモバイルデバイス10は、カメラおよびプロセッサを含む。カメラは、画像をプロセッサに与え、プロセッサは、様々な拡張現実技法によって画像を修正することができる。プロセッサは、カメラアクティベーションに制御信号トリガを送ることができ、カメラは、それに応答して、画像または画像シーケンスを、画像処理のためにプロセッサに与える。自然特徴処理から取得されたどの情報も、画像の改良を支援するためにカメラには戻されない。つまり、トリガリングを超える制御情報は、プロセッサからカメラには流れない。
【０００６】
他の既存のモバイルデバイス10において、自然特徴検出および追跡に関連付けられた画像処理は、オートフォーカスに関連付けられた画像処理とは関連解除される。図1は、線描400によって示されるように、分離され、したがって情報を通信しない自然特徴処理エンジン110およびオートフォーカスエンジン300を含む、知られているシステムを示す。既存のモバイルデバイス10は、自然特徴処理エンジン110として、およびオートフォーカスエンジン300としても機能する1つまたは複数のプロセッサを含む。自然特徴処理エンジン110は、自然特徴検出モジュール120および自然特徴追跡モジュール125を含む。
【０００７】
概して、自然特徴検出モジュール120および自然特徴追跡モジュール125における動作は、並行して機能するが、特定の自然特徴について、これらの動作は、順に起こるように見え、画像内で、自然特徴が、まず検出され、次いで、後続画像中で追跡される。画像内の自然特徴のロケーションは、拡張現実モジュール130向けの別個の処理によって使われる。各画像は、新たな自然特徴を検出するための、自然特徴検出モジュール120を通る処理を受け、すでに検出された自然特徴の動きを、画像の間で追うための、自然特徴追跡モジュール125を通る処理も受ける。
【０００８】
線描400において示されるように、オートフォーカスエンジン300は、自然特徴処理エンジン110とは通信せず、並列タスクとして稼働し得る。オートフォーカスエンジン300は、ハードウェアで実装してもよく、またはハードウェアとソフトウェアの組合せで実装してもよい。オートフォーカスエンジン300は、リアルタイムまたはほぼリアルタイムで動作して、新たな画像を取り込む。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、自然特徴処理ならびにオートフォーカスの両方を向上させる必要が、継続的にある。
【課題を解決するための手段】
【００１０】
自然特徴処理エンジンをオートフォーカスエンジンと結合するための装置および方法が開示される。
【００１１】
いくつかの態様によると、コンピュータビジョンにおいて使用するためのモバイルデバイスが開示され、モバイルデバイスは、自然特徴検出モジュールおよび自然特徴追跡モジュールを備える自然特徴処理エンジンと、自然特徴ウィンドウおよび/またはオートフォーカスウィンドウのうち少なくとも1つを含むウィンドウのロケーションを設定するための情報を通信するように自然特徴処理エンジンに結合されたオートフォーカスエンジンとを備える。
【００１２】
いくつかの態様によると、コンピュータビジョンにおいて使用するためのモバイルデバイスにおける方法が開示され、この方法は、画像内のオートフォーカスウィンドウを選択するステップと、選択されたウィンドウにオートフォーカスするステップと、オートフォーカスウィンドウのロケーションを通信するステップと、オートフォーカスウィンドウのロケーションに基づいて、自然特徴検出のエリアを限定するステップと、限定されたエリア内で自然特徴を見つけるステップとを含む。
【００１３】
いくつかの態様によると、コンピュータビジョンにおいて使用するためのモバイルデバイスにおける方法が開示され、この方法は、第1の画像内で第1のオートフォーカスウィンドウを設定するステップと、第2の画像内で第2のオートフォーカスウィンドウを設定するステップと、第1のオートフォーカスウィンドウから第2のオートフォーカスウィンドウへの変化を通信するステップと、変化に基づいて、次の追跡探索ウィンドウを設定するステップと、次の追跡探索ウィンドウ内で自然特徴を追跡するステップとを含む。
【００１４】
いくつかの態様によると、コンピュータビジョンにおいて使用するためのモバイルデバイスにおける方法が開示され、この方法は、第1の画像内の第1のロケーションまで自然特徴を追跡するステップと、第2の画像内の第2のロケーションまで自然特徴を追跡するステップと、第1のロケーションから第2のロケーションへの変化を通信するステップと、変化に基づいて、次のオートフォーカスウィンドウを設定するステップと、オートフォーカスウィンドウ内でオートフォーカスするステップとを含む。
【００１５】
いくつかの態様によると、コンピュータビジョンにおいて使用するためのモバイルデバイスが開示され、モバイルデバイスは、カメラおよびオートフォーカスエンジンと、上述した方法を実施するためのコードを備えるプロセッサおよびメモリとを備える。
【００１６】
いくつかの態様によると、コンピュータビジョンにおいて使用するためのモバイルデバイスが開示され、モバイルデバイスは、上述した方法を実施するための手段を備える。
【００１７】
いくつかの態様によると、上述した方法を実施するためのプログラムコードを備える、プログラムコードを記憶した不揮発性コンピュータ可読記憶媒体が開示される。
【００１８】
例として様々な態様について示し、記述した以下の詳細な説明から、他の態様が当業者に容易に明らかになることを理解されたい。図面および詳細な説明は、本質的に例示的なものとみなされるべきであって、限定的なものとみなされるべきではない。
【００１９】
本発明の実施形態について、図面を参照し、単なる例として説明する。
【図面の簡単な説明】
【００２０】
【図１】情報を通信しない自然特徴処理エンジンおよびオートフォーカスエンジンを含む、知られているシステムを示す図である。
【図２】自然特徴を検出および追跡する自然特徴処理エンジン内の既知の状態を示す図である。
【図３】追跡されるべき特徴をもつ建物および木を含む画像を示す図である。
【図４】画像に重なる自然特徴を示す図である。
【図５】様々な自然特徴のロケーションを示す図である。
【図６】2つの画像の間での、様々な自然特徴のロケーションの変化を示す図である。
【図７】自然特徴の前のロケーションから、同じ自然特徴の次のロケーションへの変化を示す図である。
【図８】画像内のオートフォーカスウィンドウを示す図である。
【図９】本発明のいくつかの実施形態による、情報を通信する自然特徴処理エンジンおよびオートフォーカスエンジンを含むモバイルデバイスを示す図である。
【図１０】本発明のいくつかの実施形態による、自然特徴を検出するためのエリアを限定するのに使われるオートフォーカスウィンドウのロケーションを示す図である。
【図１１】前のオートフォーカスウィンドウから、次のオートフォーカスウィンドウへのロケーションの変化を示す図である。
【図１２】本発明のいくつかの実施形態による、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化の規模に基づく、次の追跡探索ウィンドウのサイズの設定を示す図である。
【図１３】本発明のいくつかの実施形態による、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化の方向に基づく、次の追跡探索ウィンドウの中心の設定を示す図である。
【図１４】本発明のいくつかの実施形態による、自然特徴の前のロケーションから、自然特徴の次のロケーションへの変化に基づく、次のオートフォーカスウィンドウへの前のオートフォーカスウィンドウのロケーション(中心および/またはサイズ)の変化の設定を示す図である。
【図１５】本発明のいくつかの実施形態による、オートフォーカスウィンドウのロケーションに基づいて、自然特徴検出のエリアを限定するための方法を示す図である。
【図１６】本発明のいくつかの実施形態による、前のオートフォーカスウィンドウと次のオートフォーカスウィンドウとの間の変化に基づいて次の追跡探索ウィンドウを設定するための方法を示す図である。
【図１７】本発明のいくつかの実施形態による、自然特徴の前のロケーションから次のロケーションへの変化に基づいて次のオートフォーカスウィンドウを設定するための方法を示す図である。
【発明を実施するための形態】
【００２１】
添付の図面に関する下記の詳細な説明は、本開示の様々な態様の説明として意図されており、本開示が実行され得る唯一の態様を表すことが意図されているわけではない。本開示で説明される各態様は、本開示の単なる例または説明として与えられ、他の態様よりも好適または有利であるとは、必ずしも解釈されるべきではない。詳細な説明は、本開示の完全な理解をもたらす目的で、具体的な詳細を含んでいる。しかし、本開示がこれらの具体的な詳細なしに実行され得ることが、当業者には明らかであろう。場合によっては、本開示の概念を曖昧にするのを回避するために、周知の構造およびデバイスがブロック図の形式で示されている。略語または他の説明のための用語は、単に便宜および明瞭さのために用いられ得るものであり、本開示の範囲を限定することは意図されない。
【００２２】
本明細書で説明される位置測定技術は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語はしばしば、互換的に使用される。WWANは、コード分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、単一搬送周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などでもよい。CDMAネットワークは、cdma2000、広帯域CDMA(WCDMA(登録商標))などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95、IS-2000、およびIS-856基準を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実装することができる。GSM(登録商標)およびWCDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書で説明される。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書で説明される。3GPPおよび3GPP2の文書は、公に利用可能である。WLANは、IEEE 802.11xネットワークでもよく、WPANはBluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークでもよい。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。
【００２３】
衛星測位システム(SPS)は、通常、エンティティが、地上または上空での自身の位置を、送信機から受信された信号に少なくとも一部基づいて測定することを可能にするように配置された、送信機のシステムを含む。そのような送信機は通常、設定された数のチップの繰り返し擬似ランダム雑音(PN)コードによりマークされた信号を送信し、地上の制御局、ユーザ機器、および/または宇宙船に配置され得る。ある特定の例では、そのような送信機は、地球を周回する宇宙船(SV)に配置され得る。たとえば、Global Positioning System(GPS)、Galileo、GLONASSまたはCompassなどのGlobal Navigation Satellite System(GNSS)のコンスタレーション中のSVは、(たとえば、GPSの場合のように各衛星について異なるPNコードを使用して、またはGLONASSの場合のように異なる周波数上の同じコードを使用して)コンスタレーション中の他のSVによって送信されたPNコードとは区別可能なPNコードでマークされた信号を送信し得る。特定の態様によれば、本明細書で提示される技術は、SPSのための地球規模のシステム(たとえばGNSS)には限定されない。たとえば、本明細書で提供される技術は、たとえば、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS)、中国の北斗などのような様々な地域的システム、ならびに/あるいは、1つもしくは複数の地球規模のおよび/もしくは地域的な航法衛星システムと関連し得る、または場合によってはこれらとともに使用できるようにされ得る、様々な補強システム(たとえば、静止衛星型衛星航法補強システム(SBAS))に対して適用されてもよく、または場合によってはそれらの地域的システムおよび補強システムにおいて使用できるようにされてもよい。限定ではなく例として、SBASは、たとえば、広域補強システム(WAAS)、European Geostationary Navigation Overlay Service(EGNOS)、運輸多目的衛星用衛星航法補強システム(MSAS)、GPS Aided Geo Augmented Navigation、またはGPS and Geo Augmented Navigationシステム(GAGAN)などのような、インテグリティ情報、差分修正などを提供する、補強システムを含み得る。したがって、本明細書で用いられるSPSは、1つまたは複数の地球規模のならびに/または地域的な航法衛星システムおよび/もしくは補強システムの任意の組合せを含んでもよく、SPS信号は、SPS信号、SPS信号のような信号、および/またはそのような1つまたは複数のSPSと関連する他の信号を含み得る。
【００２４】
本明細書で使用するモバイルデバイス100は、セルラー電話、携帯電話、または他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することが可能な他の好適なモバイルデバイスのような、移動局(MS)またはユーザ装置(UE)と呼ばれることがある。「移動局」という用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスでまたはPNDで発生するかどうかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを含むものである。また、移動局100は、インターネット、WiFi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むものである。上記の任意の動作可能な組合せも「移動局」と見なされる。
【００２５】
既存のモバイルデバイス10とは異なり、本発明によるモバイルデバイス100は、後で説明するように、オートフォーカスエンジン300と自然特徴処理エンジン110との間の通信を可能にする。既存のモバイルデバイス10と同様に、モバイルデバイス100は、メモリと、自然特徴処理エンジン110およびオートフォーカスエンジン300として機能する1つまたは複数のプロセッサと、ディスプレイ、スピーカ、タッチスクリーンおよび/またはボタンなどのユーザインターフェースとを含む。コンピュータビジョンベースの認識および追跡とも呼ばれる自然特徴処理エンジン110は、自然特徴検出モジュール120および自然特徴追跡モジュール125を含む。
【００２６】
図2は、自然特徴を検出および追跡する自然特徴処理エンジン110内の既知の状態を示す。各画像内で、プロセッサは、自然特徴検出モジュール120において新規または未検出の自然特徴を探索する。自然特徴が検出されると、プロセッサは、検出した自然特徴を、自然特徴追跡モジュール125で追う。自然特徴をそれ以上追うことができない(たとえば、自然特徴が、もはや画像中にないか、またはもはや区別可能でない)と、自然特徴は、失われたと宣言される。
【００２７】
図3は、追跡されるべき特徴をもつ建物および木210を含む画像を示す。自然特徴検出モジュール120を使って、画像200は、たとえば、コーナー、線分またはエッジ検出を含む様々な処理を受けることができる。画像200は、側面220および窓230を有する建物の隣の木210を示す。次に、画像200は、コーナー検出を受け得る。図4は、画像に重なる自然特徴を示す。この場合、様々なコーナーが、画像200中の自然特徴(240、250、260)として検出される。
【００２８】
図5は、様々な自然特徴のロケーションを示す。次に、プロセッサは、自然特徴を新しいロケーションにマッチングすることによって、自然特徴(240、250、260)を追跡しようと試みる。マッチングは、自然特徴への何らかの類似性測度に対して生じる様々な基準を用いて実施することができる。たとえば、プロセッサは、相関(たとえば、正規化相互相関)を使って、自然特徴を、その新しいロケーションにマッチングすることができる。プロセッサは、第1の画像中の各自然特徴の周りのグリッド内のピクセルを、第2の画像中の概略グリッドロケーションにあるピクセルに相関させることができる。たとえば、自然特徴追跡モジュール125は、第1の画像上の特定のロケーションにある、8x8のピクセルグリッドを識別する。ピクセルの次元およびロケーションによって定義されるエリアは、自然特徴検出ウィンドウと呼ばれ得る。概して、自然特徴検出ウィンドウは、オートフォーカスウィンドウよりも大幅に小さく、自然特徴検出ウィンドウは、200よりも少ないピクセルを包含し、オートフォーカスウィンドウは、200よりも多いピクセルを包含する。
【００２９】
処理速度は、自然特徴検出ウィンドウがカバーするサイズに直接相関し、小さいエリアのみをカバーするより小さいウィンドウは各々、より迅速に処理されることが可能である。他のピクセル次元も、自然特徴検出ウィンドウについて可能である。たとえば、8x8の正方グリッドを使うよりもむしろ、追跡は、他の正方固定次元グリッドサイズもしくは非正方固定次元グリッドサイズ(たとえば、4x4、10x10もしくは16x16)または可変次元グリッドサイズ(たとえば、サイズが自然特徴の特性に依存する場合)を使うことができる。追跡は、第2の画像中の8x8のグリッドによって定義される同じロケーションを検査する。相関が高水準の結果をもたらす場合、画像の間に何も動きは起こらず、予想される通り、自然特徴のピクセルロケーションは、第2の画像上の同じロケーションにあると予想される。カメラが線形的に移動および/もしくは回転している場合、または画像中のオブジェクトがモバイルデバイス100に相対して移動している場合、自然特徴は、以下の図に示すように、第1の画像から第2の画像に動くように見える。この場合、自然特徴検出ウィンドウが自然特徴を包含する場合、第2の画像中の新しいロケーションにおいて、高い相関結果が起こる。
【００３０】
図6は、2つの画像の間での、様々な自然特徴のロケーションの変化を示す。この図において、第1の画像からの自然特徴のロケーション(たとえば、ロケーション270、280、290)が、第2の画像からの同じ自然特徴のロケーション(たとえば、ロケーション270'、280'、290')と重ねられて示されている。自然特徴を含む可能性が最も高い自然特徴検出ウィンドウの「次の」ロケーションは、プライムインジケータを用いて示される。この場合、自然特徴の多数、大多数またはすべてが、下および左に動いて見える可能性がある。可能性が最も高いこととして、カメラは、上および右に動いているが、撮像された実際のオブジェクトは動いていない。いずれの場合にも、自然特徴検出ウィンドウを、後続画像内の新しいロケーションに動かすことによって、自然特徴追跡モジュール125は、そうでなければより大きい相関エリアを探索する際に使われる処理を制限することができる。つまり、いくつかの実施形態によると、各自然特徴検出ウィンドウは、より小さくなり、同様またはより短い期間内で高い相関結果を、依然として取得することができる。
【００３１】
図7は、自然特徴の前のロケーションから、同じ自然特徴の次のロケーションへの変化を示す。第1または前の画像からの自然特徴のロケーション260が最初に検出され、次いで追跡される。自然特徴のロケーション260'が次いで、第2または次の画像中の第2または次のロケーションまで追跡される。見掛け上の動きは、画像の間で実際に動く自然特徴ならびに/あるいはカメラ移動および/または回転によって引き起こされ得る。
【００３２】
自然特徴または自然特徴群はしばしば、上述したように、ある画像上の前のロケーションから、次の画像上の次のロケーションまで動くように見える。
【００３３】
モバイルデバイス100中のカメラはしばしば、検出されたオブジェクトに基づいて固定フォーカスするオートフォーカスエンジン300を含む。オートフォーカスエンジン300は、オートフォーカスウィンドウ310によって定義される画像エリアに焦点を当てるように、連続アナログ画像に対して影響を及ぼすことができ、またはデジタル画像に対して影響を及ぼすことができる。画像の間で、オートフォーカスウィンドウ310は、画像シーケンス中で動くように見える場合がある。この意味において、オートフォーカスエンジン300は、画像シーケンス内でオブジェクトを追跡するように見える。
【００３４】
本発明のいくつかの実施形態によると、モバイルデバイス100は、カメラのオートフォーカスエンジン300を、コンピュータビジョンベースの認識および追跡を実施する自然特徴処理エンジン110と統合する。オートフォーカスエンジン300および自然特徴処理エンジン110は、オートフォーカスウィンドウ310および/または自然特徴の位置または位置変化などの情報を通信することを可能にされる。オートフォーカスエンジン300は、自然特徴処理エンジン110からの情報を使って、そのオートフォーカスウィンドウ310(すなわち、画像内のボックスのロケーション)をより良く突き止めることができる。同様に、自然特徴処理エンジン110は、オートフォーカスエンジン300からの情報を使って、自然特徴の新たな位置を見つけるための相関ウィンドウをより良く位置決めすることができる。あるいは、自然特徴処理エンジン110は、オートフォーカスエンジン300からのこの情報を無視する。
【００３５】
図8は、画像200内のオートフォーカスウィンドウ310を示す。通常、オートフォーカスエンジン300は、画像全体を探索して、1つのオブジェクトまたは複数のオブジェクト(たとえば、1つまたは複数の顔)を見つける。オートフォーカスエンジン300は次いで、見つけたオブジェクトの周りにオートフォーカスウィンドウ310を表示し、見つけたオブジェクトへのフォーカシングを実施する。後続画像について、オートフォーカスエンジン300は、次の画像中のオブジェクトを求めて画像エリア全体を再度探索し、次いで、オートフォーカスウィンドウ310の位置を更新し、必要な場合はカメラのフォーカシングをし直す。
【００３６】
そのような見つけられたオブジェクトは、自然特徴追跡モジュール125が追っている1つまたはいくつかの自然特徴を含み得る。オブジェクトを探索するとき、オートフォーカスエンジン300は有利には、自然特徴処理エンジン110によって判断された、画像内のロケーションを使って、探索エリアを、画像全体から、検出および追跡される自然特徴に近接したエリアに限定すればよい。
【００３７】
図9は、本発明のいくつかの実施形態による、情報を通信する自然特徴処理エンジン110およびオートフォーカスエンジン300を含むモバイルデバイス100を示す。既存のモバイルデバイス10内の隔離エンジンとは異なり、モバイルデバイス100は結合され、こうすることにより自然特徴処理エンジン110およびオートフォーカスエンジン300は、線分405に沿って示されるように、一方向または両方向で情報を通信することが可能になる。
【００３８】
410で示されるように、いくつかの実施形態は、図10を参照して後で説明するように、オートフォーカスエンジン300が、画像内のオートフォーカスウィンドウの現在のサイズおよび/またはロケーションを示す情報を、自然特徴処理エンジン110に送ることを可能にする。
【００３９】
420で示されるように、いくつかの実施形態は、図11、図12および図13を参照して後で説明するように、オートフォーカスエンジン300が、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのサイズ変化および/またはロケーションの変化を示す情報を、自然特徴処理エンジン110に送ることを可能にする。
【００４０】
430で示されるように、いくつかの実施形態は、図14を参照して後で説明するように、自然特徴処理エンジン110が、自然特徴および/または自然特徴検出ウィンドウの前のロケーション(たとえば、図6の270)から、自然特徴および/または自然特徴検出ウィンドウの次のロケーション(たとえば、270')への変化を示す情報を、オートフォーカスエンジン300に送ることを可能にする。
【００４１】
実施形態は、オートフォーカスエンジン300と自然特徴処理エンジン110との間で通信される情報として、410、420および/または430のうち少なくとも1つまたは複数を含む。たとえば、いくつかの実施形態は、410、420および430のうちただ1つを通信し、すなわち(1)第1の実施形態は、410を通信するが、420も430も通信せず、(2)第2の実施形態は、410を通信するが、410も430も通信せず、(3)第3の実施形態は、430を通信するが、410も420も通信しない。追加の例は、410、420および430のうち2つを通信し、すなわち(4)第4の実施形態は、410と420の両方を通信するが、430は通信せず、(5)第5の実施形態は、420と430の両方を通信するが、410は通信せず、(6)第6の実施形態は、410と430の両方を通信するが、430は通信しない。最後に、さらなる例は、3つすべてを通信し、すなわち(7)第7の実施形態は、410、420および430を通信する。したがって、ある実施形態が、オートフォーカスエンジンと自然特徴処理エンジンとの間で情報を通信するとき、いくつかの実施形態は、410、420または430のうちただ1つを通信し、他の実施形態は、410、420および430のうち2つを通信し、さらに他の実施形態は、410、420および430の3つすべてを通信する。
【００４２】
この通信される情報は、自然特徴ウィンドウおよび/またはオートフォーカスウィンドウのロケーションを設定するのに使われる。たとえば、いくつかの実施形態では、410で示される情報を通信して、次の自然特徴ウィンドウのエリアを限定するだけである。他の実施形態では、420で示される情報を通信して、次の自然特徴ウィンドウの中心ロケーションを変えるだけである。さらに他の実施形態では、430で示される情報を通信して、次のオートフォーカスウィンドウのロケーションを変えるだけである。上で述べたように、いくつかの実施形態では、結合されたオートフォーカスエンジン300と自然特徴処理エンジン110との間で通信される情報として、410、420および430のうち2つを実装し、他の実施形態では、結合されたオートフォーカスエンジン300と自然特徴処理エンジン110との間で通信される情報として、410、420および430のうち3つすべてを実装する。いくつかの実施形態では、オートフォーカスエンジン300はスレーブとして作用し、自然特徴処理エンジン110は、そのマスタとして作用する。
【００４３】
自然特徴処理エンジン110は、自然特徴処理エンジンを用いて画像中の自然特徴を検出および追跡するための手段として作用する。自然特徴検出モジュール120は、自然特徴を検出するための手段として作用する。自然特徴追跡モジュール125は、自然特徴を追跡するための手段として作用する。1つのプロセッサまたは複数のプロセッサは、画像内でオートフォーカスウィンドウを選択し、オートフォーカスウィンドウのロケーションに基づいて自然特徴検出のエリアを限定し、限定エリア内で自然特徴を見つけ、変化に基づいて次の追跡探索ウィンドウを設定し、次の追跡探索ウィンドウ内で自然特徴を追跡し、第1の画像内の第1のロケーションまで自然特徴を追跡し、かつ/または第2の画像内の第2のロケーションまで自然特徴を追跡するなど、自然特徴処理エンジン110の機能の各々を実施するための手段として作用し得る。
【００４４】
オートフォーカスエンジン300は、画像中のオートフォーカスウィンドウ内でオートフォーカスするための手段として作用する。1つのプロセッサまたは複数のプロセッサは、第1の画像内で第1のオートフォーカスウィンドウを設定し、第2の画像内で第2のオートフォーカスウィンドウを設定し、変化に基づいて次のオートフォーカスウィンドウを設定し、オートフォーカスウィンドウ内でオートフォーカスするなど、オートフォーカスエンジン300の機能の各々を実施するための手段として作用し得る。
【００４５】
これらのプロセッサ、エンジンおよびモジュールは、別個に、または組み合わされて、オートフォーカスエンジンと自然特徴処理エンジンとの間で情報を通信するための手段として作用し得る。情報は、オートフォーカスウィンドウのロケーション、変化、第1のロケーションから第2のロケーションへの変化、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化、および/または自然特徴の、前のロケーションから次のロケーションへの変化を含み得る。
【００４６】
図10は、本発明のいくつかの実施形態による、自然特徴を検出するためのエリア500を限定するのに使われているオートフォーカスウィンドウ310のロケーションを示す。410で上述したように、オートフォーカスエンジン300は、画像内のオートフォーカスウィンドウの現在のサイズおよび/またはロケーションに関する情報を、自然特徴処理エンジン110に送る。次に、自然特徴処理エンジン110は、自然特徴検出ウィンドウを、オートフォーカスウィンドウの境界までの閾値距離によって定義されるエリア500内にのみ存在させることによって、新たな自然特徴を検出し、かつ/またはすでに検出された自然特徴を追跡するために、その探索エリアを、エリア500に限定すればよい。検出および/または探索をエリア500に限定することによって、限定しなければ使われることになる処理能力が大幅に削減され得る。いくつかの実施形態では、この閾値距離はゼロでよく、他の実施形態では、閾値距離により、自然特徴検出ウィンドウが、オートフォーカスウィンドウ310の外でだけ追跡されるようになる。他の実施形態では、オートフォーカスエンジン300は、1枚の画像内で複数のオートフォーカスウィンドウ310を識別するパラメータを、自然特徴処理エンジン110に送ることができる。これらの実施形態において、検出および/または追跡は、これらの複数のオートフォーカスウィンドウ310によって定義されるエリア500に限定され得る。
【００４７】
図11は、前のオートフォーカスウィンドウ320から、次のオートフォーカスウィンドウ330へのロケーションの変化を示す。420に関して上述したように、いくつかの実施形態は、オートフォーカスエンジン300が、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのサイズの変化および/またはロケーションの変化に関する情報を、自然特徴処理エンジン110に送ることを可能にする。
【００４８】
図12は、本発明のいくつかの実施形態による、前のオートフォーカスウィンドウ320から次のオートフォーカスウィンドウ330へのロケーションの変化の規模に基づく、次の追跡探索ウィンドウ(290'-S、290'-M、290'-L)のサイズの設定を示す。自然特徴処理エンジン110、および具体的には自然特徴追跡モジュール125は、この指示されたオートフォーカスウィンドウ310のロケーション変化を使って、前の自然特徴検出ウィンドウ290のサイズを、次の自然特徴検出ウィンドウ290'にどのように変えるか判断することができる。前のオートフォーカスウィンドウ320から次のオートフォーカスウィンドウ330への小規模な位置変化は、自然特徴処理エンジン110によって、次の自然特徴追跡探索ウィンドウ290'のサイズを、より小さいサイズのウィンドウ290'-Sに限定するのに使われ得る。中型または中程度の変化は、サイズを中型サイズのウィンドウ290'-Mに限定するのに使われ得る。大きい変化は、サイズを大型ウィンドウ290'-Lに限定するのに使われ得る。自然特徴260の前のロケーションは、ウィンドウ290'-S/M/Lの各々の中心に示されている。図示した例でのように、前のオートフォーカスウィンドウ320から次のオートフォーカスウィンドウ330へのロケーションの変化の規模が大きい場合、現時点では未知であり、依然として追跡されるべき、自然特徴260'の次のロケーションは、可能性としては大型ウィンドウ290'-Lの内側である。
【００４９】
図13は、本発明のいくつかの実施形態による、前のオートフォーカスウィンドウ320から次のオートフォーカスウィンドウ330へのロケーションの変化の方向に基づく、次の追跡探索ウィンドウ290'の中心の設定を示す。変化520として示される、この変化指示は、自然特徴追跡モジュール125が次の追跡探索ウィンドウ290'を設定するのを支援し得る。たとえば、変化520が指示されず、または利用可能でない場合、追跡ウィンドウは、次の追跡探索ウィンドウ290'-1として、自然特徴260の前のロケーションを中心とし得る。この場合、次の追跡探索ウィンドウ290'-1は、前の追跡探索ウィンドウ290と同じ場所に置かれる。ただし、変化520が存在し、自然特徴処理エンジン110に与えられる場合、自然特徴追跡モジュール125は、前のオートフォーカスウィンドウ330と比較して、次のオートフォーカスウィンドウ330の方向および規模に基づいて、次の追跡探索ウィンドウ290'-2を設定することができる。おそらく、自然特徴260'の次のロケーションは、この時点ではロケーションが未知であり、依然として追跡されるべきであるが、次の追跡探索ウィンドウ290'-2の内側にある。
【００５０】
図14は、本発明のいくつかの実施形態による、自然特徴260の前のロケーションから、自然特徴260'の次のロケーションへの変化に基づく、次のオートフォーカスウィンドウ330への前のオートフォーカスウィンドウ320のロケーション(中心および/またはサイズ)の変化510の設定を示す。上述したように、自然特徴処理エンジン110は、自然特徴260および/または自然特徴検出ウィンドウ290の前のロケーションから、自然特徴260'および/または自然特徴検出ウィンドウ290'の次のロケーションへの変化に関する情報を、オートフォーカスエンジン300に送る。この情報は、自然特徴260'および/または自然特徴検出ウィンドウ290'の変化の規模および/または変化の方向を含み得る。オートフォーカスエンジン300は、変化の規模を使って、次のオートフォーカスウィンドウ330のサイズを拡大または縮小することができる。たとえば、大規模な変化は、不確実な、より大きいエリアを示すことができ、したがって、オートフォーカスエンジン300は、次のオートフォーカスウィンドウ330のエリアを増大させ得る。同様に、小規模からゼロ規模は、オートフォーカスエンジン300によって、次のオートフォーカスウィンドウ330のサイズを一定に保ち、またはオートフォーカスウィンドウのサイズをわずかに削減するのに使われ得る。あるいは、オートフォーカスエンジン300は、変化の方向を使って、サイズを変え、またはロケーションを、次のオートフォーカスウィンドウ330に動かすことができる。たとえば、変化の方向は、次のオートフォーカスウィンドウ330の中心点を変え得る。代替として、変化の方向は、次のオートフォーカスウィンドウ330のサイズを変え得る。たとえば、自然特徴260'または次の自然特徴検出ウィンドウ290'のロケーションの10ピクセルの動きは、次のオートフォーカスウィンドウ330を、各線形方向(すなわち、上、下、左、右)に10ピクセル拡張させ得る。方向と規模の両方が利用可能な場合、オートフォーカスエンジン300は、自然特徴260'のロケーションの方向と規模における変化の合成に基づいて、次のオートフォーカスウィンドウ330の中心およびサイズを変えることができる。
【００５１】
図15は、本発明のいくつかの実施形態による、オートフォーカスウィンドウ310のロケーションに基づいて、自然特徴検出のエリアを限定するための方法を示す。ステップ600で、モバイルデバイス100内のオートフォーカスエンジン300は、画像200内でオートフォーカスウィンドウ310を選択する。ステップ610で、モバイルデバイス100のカメラは、オートフォーカスウィンドウ310を選択する際、オートフォーカスを実施する。ステップ620で、オートフォーカスエンジン300は、自然特徴処理エンジン110、自然特徴検出モジュール120、および/または自然特徴追跡モジュール125に、オートフォーカスウィンドウ310のロケーションを通信する。次に、たとえば、ステップ630で、自然特徴追跡モジュール125は、自然特徴検出のためのエリア500を、オートフォーカスウィンドウ310のロケーションに基づいて限定する。いくつかの場合には、閾値が、エリア500を、オートフォーカスウィンドウ310よりも大きいまたは小さいエリアに拡張または制限するのに使われる。ステップ640で、自然特徴検出モジュール120、および/または自然特徴追跡モジュール125は、限定エリア500内で自然特徴を検出および/または追跡する。
【００５２】
図16は、本発明のいくつかの実施形態による、前のオートフォーカスウィンドウと次のオートフォーカスウィンドウとの間の変化に基づいて次の追跡探索ウィンドウを設定するための方法を示す。ステップ700で、モバイルデバイス100内のオートフォーカスエンジン300は、第1または前の画像200内で第1または前のオートフォーカスウィンドウ320を設定する。第1のオートフォーカスウィンドウ320を選択した後、ステップ710で、オートフォーカスエンジン300は、第2または次の画像200内で第2または次のオートフォーカスウィンドウ330を設定する。ステップ720で、オートフォーカスエンジン300は、前のオートフォーカスウィンドウ320から次のオートフォーカスウィンドウ330への変化を、自然特徴処理エンジン110、自然特徴検出モジュール120、および/または自然特徴追跡モジュール125に通信する。ステップ730で、自然特徴追跡モジュール125は、変化510に基づいて、次の追跡探索ウィンドウ290'を設定する。ステップ740で、自然特徴追跡モジュール125は、次の追跡探索ウィンドウ290'内で1つまたは複数の自然特徴を追跡する。
【００５３】
図17は、本発明のいくつかの実施形態による、自然特徴の前のロケーションから次のロケーションへの変化に基づいて次のオートフォーカスウィンドウ330を設定するための方法を示す。ステップ800で、自然特徴追跡モジュール125は、第1または前の画像200内で、第1または前のロケーション260から、自然特徴を追跡する。ステップ810で、自然特徴追跡モジュール125は、自然特徴を、第2または次の画像200内の第2または次のロケーション260'まで追跡する。ステップ820で、自然特徴追跡モジュール125は、前のロケーション260から次のロケーション260'への変化520を、オートフォーカスエンジン300に通信する。ステップ830で、オートフォーカスエンジン300は、変化520に基づいて、次のオートフォーカスウィンドウ330を設定する。ステップ840で、オートフォーカスエンジン300は、次のオートフォーカスウィンドウ330内でオートフォーカスする。
【００５４】
上記実施形態は、自然特徴を追跡する拡張現実機能性を実装するモバイルデバイスとの関係で説明されている。概して、これらの方法および装置は、コンピュータビジョン関連技術を使うとともに本明細書における教示から利益を受け得る他のアプリケーションに対して等しく適用可能である。たとえば、上記の実施形態は、マーカ追跡および/または手追跡で置き換えられ、または増補される自然特徴を追跡する機能を有し得る。実施形態は、掲載QRコード(登録商標)(クイックレスポンスコード)など、(自然特徴よりもむしろ)人手によるマーカを追跡し、焦点を当てることができる。あるいは、実施形態は、たとえば、ユーザからのジェスチャコマンドを取り込むために、(固定自然特徴または人手によるマーカよりもむしろ)動いている手を追跡し、焦点を当てることができる。これらの実施形態は、拡張現実機能性をもつ、またはもたないジェスチャインターフェースを提供し得る。
【００５５】
本明細書で説明する方法は、用途に応じて様々な手段によって実現され得る。たとえば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、各処理ユニットは、本明細書で説明する機能を実行するように設計された、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、あるいはそれらの組合せ内で実現されてもよい。
【００５６】
ファームウェアおよび/またはソフトウェアで実装される場合、これらの方法は、本明細書で説明する機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明する方法を実施する際に、命令を有形に具現化する任意の機械可読媒体を使用してもよい。たとえば、ソフトウェアコードはメモリに記憶され、プロセッサユニットによって実行され得る。メモリは、プロセッサユニット内に実装されてもよく、またはプロセッサユニットの外部に実装されてもよい。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリのいかなる特定の種類もしくはメモリの数、またはメモリが記憶される媒体の種類に限定されない。
【００５７】
ファームウェアおよび/またはソフトウェアで実装する場合、関数をコンピュータ可読媒体上に1つまたは複数の命令もしくはコードとして記憶してもよい。この例には、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であってよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、またコンピュータによってアクセスすることのできる任意の他の媒体を備えてよく、本明細書では、ディスク(diskおよびdisc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクが含まれ、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含めるべきである。
【００５８】
命令および/またはデータは、コンピュータ可読媒体上に記憶されるのに加えて、通信装置に含まれる伝送媒体上の信号として提供されてもよい。たとえば、通信装置には、命令およびデータを示す信号を有する送受信機を含めてもよい。命令およびデータは、1つまたは複数のプロセッサに特許請求の範囲において概説する機能を実施させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号をもつ伝送媒体を含む。初めに、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでもよく、次に、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでもよい。
【００５９】
開示される態様の上記の説明は、当業者なら誰でも本開示を作成または使用できるようにするために提供される。これらの態様への様々な修正が当業者には容易に明らかになることになり、本明細書に定義する一般的な原理は、本開示の趣旨や範囲を逸脱することなしに他の態様に適用され得る。
【符号の説明】
【００６０】
100  モバイルデバイス、移動局
110  自然特徴処理エンジン
120  自然特徴検出モジュール
125  自然特徴追跡モジュール
300  オートフォーカスエンジン
310  オートフォーカスウィンドウ
320  オートフォーカスウィンドウ
330  オートフォーカスウィンドウ
【図１】
2014510943.tif 000003
【図２】
2014510943.tif 000004
【図３】
2014510943.tif 000005
【図４】
2014510943.tif 000006
【図５】
2014510943.tif 000007
【図６】
2014510943.tif 000008
【図７】
2014510943.tif 000009
【図８】
2014510943.tif 000010
【図９】
2014510943.tif 000011
【図１０】
2014510943.tif 000012
【図１１】
2014510943.tif 000013
【図１２】
2014510943.tif 000014
【図１３】
2014510943.tif 000015
【図１４】
2014510943.tif 000016
【図１５】
2014510943.tif 000017
【図１６】
2014510943.tif 000018
【図１７】
2014510943.tif 000019
【手続補正書】
【提出日】平成25年9月12日(2013.9.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
自然特徴検出モジュールおよび自然特徴追跡モジュールを備える自然特徴処理エンジンを含む拡張現実モジュールと、
自然特徴検出ウィンドウまたはオートフォーカスウィンドウの少なくとも1つを含むウィンドウのロケーションを設定するための情報を、オートフォーカスエンジンと前記自然特徴処理エンジンとの間で通信するように、前記自然特徴処理エンジンに結合されたオートフォーカスエンジンとを備えるモバイルデバイス。
【請求項２】
前記自然特徴検出ウィンドウが、画像内に限定エリアを有するウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項３】
前記情報がオートフォーカスウィンドウのロケーションを示す、請求項2に記載のモバイルデバイス。
【請求項４】
前記ウィンドウが、次の追跡探索ウィンドウをさらに含む、請求項1に記載のモバイルデバイス。
【請求項５】
前記情報が、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化を示す、請求項4に記載のモバイルデバイス。
【請求項６】
前記情報が変化の規模を含み、前記次の追跡探索ウィンドウが、前記規模に基づいて設定される、請求項4に記載のモバイルデバイス。
【請求項７】
前記情報が変化の方向を含み、前記次の追跡探索ウィンドウが、前記方向に基づいて設定される、請求項4に記載のモバイルデバイス。
【請求項８】
前記ウィンドウが次のオートフォーカスウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項９】
前記情報が、自然特徴の前のロケーションから前記自然特徴の次のロケーションへの変化を示す、請求項8に記載のモバイルデバイス。
【請求項１０】
コンピュータビジョンにおいて使用するためのモバイルデバイスにおける方法であって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスするステップと、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡するステップと、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するステップとを含む方法。
【請求項１１】
情報を通信するステップが、前記オートフォーカスウィンドウのロケーションを通信するステップを含み、前記方法が、
前記画像内で前記オートフォーカスウィンドウを選択するステップと、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定するステップと、
前記限定したエリア内で自然特徴を見つけるステップとをさらに含む、請求項10に記載の方法。
【請求項１２】
情報を通信するステップが、変化を通信するステップを含み、前記方法が、
第1の画像内で第1のオートフォーカスウィンドウを設定するステップと、
第2の画像内で第2のオートフォーカスウィンドウを設定するステップであって、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含むステップと、
前記変化に基づいて、次の追跡探索ウィンドウを設定するステップと、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するステップとをさらに含む、請求項10に記載の方法。
【請求項１３】
情報を通信するステップが、第1のロケーションから第2のロケーションへの変化を通信するステップを含み、前記方法が、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡するステップと、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡するステップと、
前記変化に基づいて、次のオートフォーカスウィンドウを設定するステップと、
前記オートフォーカスウィンドウ内でオートフォーカスするステップとをさらに含む、請求項10に記載の方法。
【請求項１４】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
カメラおよびオートフォーカスエンジンと、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのコードを備えるプロセッサおよびメモリとを備えるモバイルデバイス。
【請求項１５】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのコードをさらに含む、請求項14に記載のモバイルデバイス。
【請求項１６】
情報を通信するための前記コードが、変化を通信するためのコードを含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのコードをさらに含む、請求項14に記載のモバイルデバイス。
【請求項１７】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
カメラおよびオートフォーカスエンジンと、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのコードを備えるプロセッサおよびメモリとを備えるモバイルデバイス。
【請求項１８】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのコードをさらに備える、請求項17に記載のモバイルデバイス。
【請求項１９】
情報を通信するための前記コードが、変化を通信するためのコードを含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのコードをさらに備える、請求項17に記載のモバイルデバイス。
【請求項２０】
情報を通信するためのコードが、第1のロケーションから第2のロケーションへの変化を通信するためのコードを含み、前記モバイルデバイスが、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡し、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡し、
前記変化に基づいて、次のオートフォーカスウィンドウを設定し、
前記オートフォーカスウィンドウ内でオートフォーカスするためのコードをさらに備える、請求項17に記載のモバイルデバイス。
【請求項２１】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスするための手段と、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡するための手段と、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するための手段とを備えるモバイルデバイス。
【請求項２２】
情報を通信するための前記手段が、前記オートフォーカスウィンドウのロケーションを通信するための手段を含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択するための手段と、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定するための手段と、
前記限定したエリア内で自然特徴を見つけるための手段とをさらに備える、請求項21に記載のモバイルデバイス。
【請求項２３】
情報を通信するための前記手段が、変化を通信するための手段を含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定するための手段と、
第2の画像内で第2のオートフォーカスウィンドウを設定するための手段であって、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含む手段と、
前記変化に基づいて、次の追跡探索ウィンドウを設定するための手段と、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するための手段とをさらに備える、請求項21に記載のモバイルデバイス。
【請求項２４】
情報を通信するための前記手段が、第1のロケーションから第2のロケーションへの変化を通信するための手段を含み、前記モバイルデバイスが、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡するための手段と、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡するための手段と、
前記変化に基づいて、次のオートフォーカスウィンドウを設定するための手段と、
前記オートフォーカスウィンドウ内でオートフォーカスするための手段とをさらに備える、請求項21に記載のモバイルデバイス。
【請求項２５】
プログラムコードを記録したコンピュータ可読記録媒体であって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのプログラムコードを備えるコンピュータ可読記録媒体。
【請求項２６】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのプログラムコードをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２７】
情報を通信するための前記コードが、変化を通信するためのコードを含み、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのプログラムコードをさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２８】
情報を通信するための前記コードが、変化を通信するためのコードを含み、
自然特徴を、第1の画像内の第1のロケーションまで追跡し、
前記自然特徴を、第2の画像内の第2のロケーションまで追跡し、
前記変化に基づいて、次のオートフォーカスウィンドウを設定し、
前記オートフォーカスウィンドウ内でオートフォーカスするためのプログラムコードをさらに含む請求項25に記載のコンピュータ可読記録媒体。
【手続補正書】
【提出日】平成25年10月22日(2013.10.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
自然特徴検出モジュールおよび自然特徴追跡モジュールを備える自然特徴処理エンジンを含む拡張現実モジュールと、
自然特徴検出ウィンドウまたはオートフォーカスウィンドウの少なくとも1つを含むウィンドウのロケーションを設定するための情報を、オートフォーカスエンジンと前記自然特徴処理エンジンとの間で通信するように、前記自然特徴処理エンジンに結合されたオートフォーカスエンジンとを備えるモバイルデバイス。
【請求項２】
前記自然特徴検出ウィンドウが、画像内に限定エリアを有するウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項３】
前記情報がオートフォーカスウィンドウのロケーションを示す、請求項2に記載のモバイルデバイス。
【請求項４】
前記ウィンドウが、次の追跡探索ウィンドウをさらに含む、請求項1に記載のモバイルデバイス。
【請求項５】
前記情報が、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化を示す、請求項4に記載のモバイルデバイス。
【請求項６】
前記情報が変化の規模を含み、前記次の追跡探索ウィンドウが、前記規模に基づいて設定される、請求項5に記載のモバイルデバイス。
【請求項７】
前記情報が変化の方向を含み、前記次の追跡探索ウィンドウが、前記方向に基づいて設定される、請求項5に記載のモバイルデバイス。
【請求項８】
前記ウィンドウが次のオートフォーカスウィンドウを含む、請求項1に記載のモバイルデバイス。
【請求項９】
前記情報が、自然特徴の前のロケーションから前記自然特徴の次のロケーションへの変化を示す、請求項8に記載のモバイルデバイス。
【請求項１０】
コンピュータビジョンにおいて使用するためのモバイルデバイスにおける方法であって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスするステップと、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡するステップと、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するステップとを含む方法。
【請求項１１】
情報を通信するステップが、前記オートフォーカスウィンドウのロケーションを通信するステップを含み、前記方法が、
前記画像内で前記オートフォーカスウィンドウを選択するステップと、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定するステップと、
前記限定したエリア内で自然特徴を見つけるステップとをさらに含む、請求項10に記載の方法。
【請求項１２】
情報を通信するステップが、変化を通信するステップを含み、前記方法が、
第1の画像内で第1のオートフォーカスウィンドウを設定するステップと、
第2の画像内で第2のオートフォーカスウィンドウを設定するステップであって、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含むステップと、
前記変化に基づいて、次の追跡探索ウィンドウを設定するステップと、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するステップとをさらに含む、請求項10に記載の方法。
【請求項１３】
情報を通信するステップが、第1のロケーションから第2のロケーションへの変化を通信するステップを含み、前記方法が、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡するステップと、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡するステップと、
前記変化に基づいて、次のオートフォーカスウィンドウを設定するステップと、
前記オートフォーカスウィンドウ内でオートフォーカスするステップとをさらに含む、請求項10に記載の方法。
【請求項１４】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
カメラおよびオートフォーカスエンジンと、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのコードを備えるプロセッサおよびメモリとを備えるモバイルデバイス。
【請求項１５】
情報を通信するための前記コードが、前記オートフォーカスウィンドウのロケーションを通信するためのコードを含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのコードをさらに含む、請求項14に記載のモバイルデバイス。
【請求項１６】
情報を通信するための前記コードが、変化を通信するためのコードを含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのコードをさらに含む、請求項14に記載のモバイルデバイス。
【請求項１７】
情報を通信するためのコードが、第1のロケーションから第2のロケーションへの変化を通信するためのコードを含み、前記モバイルデバイスが、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡し、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡し、
前記変化に基づいて、次のオートフォーカスウィンドウを設定し、
前記オートフォーカスウィンドウ内でオートフォーカスするためのコードをさらに備える、請求項14に記載のモバイルデバイス。
【請求項１８】
コンピュータビジョンにおいて使用するためのモバイルデバイスであって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスするための手段と、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡するための手段と、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するための手段とを備えるモバイルデバイス。
【請求項１９】
情報を通信するための前記手段が、前記オートフォーカスウィンドウのロケーションを通信するための手段を含み、前記モバイルデバイスが、
前記画像内で前記オートフォーカスウィンドウを選択するための手段と、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定するための手段と、
前記限定したエリア内で自然特徴を見つけるための手段とをさらに備える、請求項18に記載のモバイルデバイス。
【請求項２０】
情報を通信するための前記手段が、変化を通信するための手段を含み、前記モバイルデバイスが、
第1の画像内で第1のオートフォーカスウィンドウを設定するための手段と、
第2の画像内で第2のオートフォーカスウィンドウを設定するための手段であって、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含む手段と、
前記変化に基づいて、次の追跡探索ウィンドウを設定するための手段と、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するための手段とをさらに備える、請求項18に記載のモバイルデバイス。
【請求項２１】
情報を通信するための前記手段が、第1のロケーションから第2のロケーションへの変化を通信するための手段を含み、前記モバイルデバイスが、
自然特徴を、第1の画像内の前記第1のロケーションまで追跡するための手段と、
前記自然特徴を、第2の画像内の前記第2のロケーションまで追跡するための手段と、
前記変化に基づいて、次のオートフォーカスウィンドウを設定するための手段と、
前記オートフォーカスウィンドウ内でオートフォーカスするための手段とをさらに備える、請求項18に記載のモバイルデバイス。
【請求項２２】
プログラムコードを記録したコンピュータ可読記録媒体であって、
オートフォーカスエンジンを使って、画像中のオートフォーカスウィンドウ中でオートフォーカスし、
拡張現実モジュール内の自然特徴処理エンジンを用いて、前記画像中の自然特徴を検出および追跡し、
前記オートフォーカスエンジンと前記自然特徴処理エンジンとの間で情報を通信するためのプログラムコードを備えるコンピュータ可読記録媒体。
【請求項２３】
情報を通信するための前記プログラムコードが、前記オートフォーカスウィンドウのロケーションを通信するためのプログラムコードを含み、
前記画像内で前記オートフォーカスウィンドウを選択し、
前記オートフォーカスウィンドウの前記ロケーションに基づいて、自然特徴検出のエリアを限定し、
前記限定したエリア内で自然特徴を見つけるためのプログラムコードをさらに含む、請求項22に記載のコンピュータ可読記録媒体。
【請求項２４】
情報を通信するための前記プログラムコードが、変化を通信するためのプログラムコードを含み、
第1の画像内で第1のオートフォーカスウィンドウを設定し、
第2の画像内で第2のオートフォーカスウィンドウを設定し、前記変化が、前記第1のオートフォーカスウィンドウから前記第2のオートフォーカスウィンドウへの変化を含み、
前記変化に基づいて、次の追跡探索ウィンドウを設定し、
前記次の追跡探索ウィンドウ内で自然特徴を追跡するためのプログラムコードをさらに含む、請求項22に記載のコンピュータ可読記録媒体。
【請求項２５】
情報を通信するための前記プログラムコードが、変化を通信するためのプログラムコードを含み、
自然特徴を、第1の画像内の第1のロケーションまで追跡し、
前記自然特徴を、第2の画像内の第2のロケーションまで追跡し、
前記変化に基づいて、次のオートフォーカスウィンドウを設定し、
前記オートフォーカスウィンドウ内でオートフォーカスするためのプログラムコードをさらに含む請求項22に記載のコンピュータ可読記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
拡張現実において、追跡されるオブジェクトの動きおよび位置を正確に追う追跡により、ユーザエクスペリエンスが著しく向上する。したがって、追跡性能の改善には、多大な作業が費やされる。プロセッサ内でのオブジェクト追跡機能は、カメラのフロントエンドにおけるオートフォーカス機能性とは別個に動作する。オートフォーカス機能性は通常、ハードウェア内で、またはハードウェアアクセラレーションを用いて実施される。オートフォーカス動作の結果、自然特徴検出および/または追跡を向上させるための有用な情報が生じ得る。同様に、自然特徴検出および追跡の結果、オートフォーカス機能性を向上させるための有用な情報が生じ得る。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
図6は、2つの画像の間での、様々な自然特徴のロケーションの変化を示す。この図において、第1の画像からの自然特徴検出ウィンドウのロケーション(たとえば、ロケーション270、280、290)が、第2の画像からの同じ自然特徴検出ウィンドウのロケーション (たとえば、ロケーション270'、280'、290')と重ねられて示されている。自然特徴を含む可能性が最も高い自然特徴検出ウィンドウの「次の」ロケーションは、プライムインジケータを用いて示される。この場合、自然特徴の多数、大多数またはすべてが、下および左に動いて見える可能性がある。可能性が最も高いこととして、カメラは、上および右に動いているが、撮像された実際のオブジェクトは動いていない。いずれの場合にも、自然特徴検出ウィンドウを、後続画像内の新しいロケーションに動かすことによって、自然特徴追跡モジュール125は、そうでなければより大きい相関エリアを探索する際に使われる処理を制限することができる。つまり、いくつかの実施形態によると、各自然特徴検出ウィンドウは、より小さくなり、同様またはより短い期間内で高い相関結果を、依然として取得することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
実施形態は、オートフォーカスエンジン300と自然特徴処理エンジン110との間で通信される情報として、410、420および/または430のうち少なくとも1つまたは複数を含む。たとえば、いくつかの実施形態は、410、420および430のうちただ1つを通信し、すなわち(1)第1の実施形態は、410を通信するが、420も430も通信せず、(2)第2の実施形態は、420を通信するが、410も430も通信せず、(3)第3の実施形態は、430を通信するが、410も420も通信しない。追加の例は、410、420および430のうち2つを通信し、すなわち(4)第4の実施形態は、410と420の両方を通信するが、430は通信せず、(5)第5の実施形態は、420と430の両方を通信するが、410は通信せず、(6)第6の実施形態は、410と430の両方を通信するが、420は通信しない。最後に、さらなる例は、3つすべてを通信し、すなわち(7)第7の実施形態は、410、420および430を通信する。したがって、ある実施形態が、オートフォーカスエンジンと自然特徴処理エンジンとの間で情報を通信するとき、いくつかの実施形態は、410、420または430のうちただ1つを通信し、他の実施形態は、410、420および430のうち2つを通信し、さらに他の実施形態は、410、420および430の3つすべてを通信する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
自然特徴処理エンジン110は、画像中の自然特徴を検出および追跡するための手段として作用する。自然特徴検出モジュール120は、自然特徴を検出するための手段として作用する。自然特徴追跡モジュール125は、自然特徴を追跡するための手段として作用する。1つのプロセッサまたは複数のプロセッサは、画像内でオートフォーカスウィンドウを選択し、オートフォーカスウィンドウのロケーションに基づいて自然特徴検出のエリアを限定し、限定エリア内で自然特徴を見つけ、変化に基づいて次の追跡探索ウィンドウを設定し、次の追跡探索ウィンドウ内で自然特徴を追跡し、第1の画像内の第1のロケーションまで自然特徴を追跡し、かつ/または第2の画像内の第2のロケーションまで自然特徴を追跡するなど、自然特徴処理エンジン110の機能の各々を実施するための手段として作用し得る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
これらのプロセッサ、エンジンおよびモジュールは、別個に、または組み合わされて、オートフォーカスエンジンと自然特徴処理エンジンとの間で情報を通信するための手段として作用し得る。情報は、オートフォーカスウィンドウのロケーション、第1のロケーションから第2のロケーションへの変化、前のオートフォーカスウィンドウから次のオートフォーカスウィンドウへのロケーションの変化、および/または自然特徴の、前のロケーションから次のロケーションへの変化を含み得る。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
図14は、本発明のいくつかの実施形態による、自然特徴260の前のロケーションから、自然特徴260'の次のロケーションへの変化に基づく、次のオートフォーカスウィンドウ330への前のオートフォーカスウィンドウ320のロケーション(中心および/またはサイズ)の変化510の設定を示す。上述したように、自然特徴処理エンジン110は、自然特徴260および/または自然特徴検出ウィンドウ290の前のロケーションから、自然特徴260'および/または自然特徴検出ウィンドウ290'の次のロケーションへの変化に関する情報を、オートフォーカスエンジン300に送る。この情報は、自然特徴260'および/または自然特徴検出ウィンドウ290'の変化の規模および/または変化の方向を含み得る。オートフォーカスエンジン300は、変化の規模を使って、次のオートフォーカスウィンドウ330のサイズを拡大または縮小することができる。たとえば、大規模な変化は、不確実な、より大きいエリアを示すことができ、したがって、オートフォーカスエンジン300は、次のオートフォーカスウィンドウ330のエリアを増大させ得る。同様に、ゼロに近い小規模な変化は、オートフォーカスエンジン300によって、次のオートフォーカスウィンドウ330のサイズを一定に保ち、またはオートフォーカスウィンドウのサイズをわずかに削減するのに使われ得る。あるいは、オートフォーカスエンジン300は、変化の方向を使って、サイズを変え、次のオートフォーカスウィンドウ330のロケーションに動かすことができる。たとえば、変化の方向は、次のオートフォーカスウィンドウ330の中心点を変え得る。代替として、変化の方向は、次のオートフォーカスウィンドウ330のサイズを変え得る。たとえば、自然特徴260'または次の自然特徴検出ウィンドウ290'のロケーションの10ピクセルの動きは、次のオートフォーカスウィンドウ330を、各線形方向(すなわち、上、下、左、右)に10ピクセル拡張させ得る。方向と規模の両方が利用可能な場合、オートフォーカスエンジン300は、自然特徴260'のロケーションの方向と規模における変化の合成に基づいて、次のオートフォーカスウィンドウ330の中心およびサイズを変えることができる。
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2014510943.tif 000020
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2014510943.tif 000021
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2014510943.tif 000022
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2014510943.tif 000023
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2014510943.tif 000024
【国際調査報告】
2014510943.tif 000025
2014510943.tif 000026
2014510943.tif 000027