【誤訳訂正書】
【提出日】平成29年11月14日(2017.11.14)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
周辺情報を使用したテンプレートマッチングの加速のための方法であって、
ターゲットオブジェクトおよび周辺情報を含む、カメラを介してキャプチャされるロケーションの画像を取得するステップと、
前記周辺情報に少なくとも部分的に基づいて前記ターゲットオブジェクトに対する前記カメラの姿勢を計算するステップと、
テンプレートマッチングシステムにアクセスするステップであって、前記テンプレートマッチングシステムが複数のオブジェクトの各オブジェクトに関して複数のテンプレートを備え、各テンプレートがテンプレートの姿勢に関連付けられる、ステップと、
マッチング姿勢テンプレートの組を特定するために前記カメラの前記姿勢が前記テンプレートの姿勢にマッチングする、前記複数のテンプレートのうちのいくつかのテンプレートを事前選択するステップと、
前記ターゲットオブジェクトとのテンプレートマッチングを特定するためにマッチング姿勢テンプレートの前記組を処理するステップと
を備える、方法。
【請求項２】
前記周辺情報が前記画像を処理することから生じる消失点情報を備える、請求項1に記載の方法。
【請求項３】
前記周辺情報が、前記カメラを備えるモバイルデバイスによって収集されるセンサ情報をさらに備える、請求項2に記載の方法。
【請求項４】
前記センサ情報が加速度計データを備え、前記周辺情報が前記加速度計データから少なくとも部分的に決定される重力ベクトルを備える、請求項3に記載の方法。
【請求項５】
前記周辺情報が少なくとも2つの水平消失点からなる、請求項2に記載の方法。
【請求項６】
前記周辺情報が1つの水平消失点および重力ベクトルからなる、請求項2に記載の方法。
【請求項７】
マッチング姿勢テンプレートの前記組を特定するために前記カメラの前記姿勢が前記テンプレートの姿勢にマッチングする、前記複数のテンプレートのうちのいくつかのテンプレートを事前選択するステップが、
しきい値量未満の姿勢角度の差を有する、前記複数のテンプレートのうちのいくつかのテンプレートを識別することと、
マッチング姿勢テンプレートの前記組として、前記しきい値量未満の姿勢角度の前記差を有する、前記複数のテンプレートのうちの前記いくつかのテンプレートを選択することと
を備える、請求項1に記載の方法。
【請求項８】
マッチング姿勢テンプレートの前記組を特定するために前記カメラの前記姿勢が前記テンプレートの姿勢にマッチングする、前記複数のテンプレートのうちのいくつかのテンプレートを事前選択するステップが、
前記複数のテンプレートのうちの少なくとも1つのテンプレートによって表される各オブジェクトに関して、最小量だけ前記カメラの前記姿勢と異なる各オブジェクトに関連付けられた前記テンプレートを特定することと、
マッチング姿勢テンプレートの前記組の一部として、前記最小量だけ前記カメラの前記姿勢と異なる各オブジェクトに関連付けられた前記テンプレートを選択することと
を備える、請求項1に記載の方法。
【請求項９】
前記ターゲットオブジェクトにマッチングする前記テンプレートに関連付けられたロケーション情報を特定するステップと、
前記ターゲットオブジェクトにマッチングする前記テンプレートに関連付けられた前記ロケーション情報と前記カメラの前記姿勢とに基づいて前記カメラの前記ロケーションを推定するステップと
をさらに備える、請求項1に記載の方法。
【請求項１０】
前記カメラの前記ロケーションに基づいて前記カメラを備えるモバイルデバイスに位置情報サービスを提供するステップ
をさらに備える、請求項9に記載の方法。
【請求項１１】
前記ターゲットオブジェクトが店舗ロゴを備える、請求項1に記載の方法。
【請求項１２】
前記周辺情報に少なくとも部分的に基づいて前記ターゲットオブジェクトに対する前記カメラの前記姿勢を計算するステップが、
前記画像の複数のエッジライン特徴部を識別するために前記画像を処理すること
を備える、請求項1に記載の方法。
【請求項１３】
前記複数のエッジライン特徴部を検出することが、水平エッジライン特徴部と垂直エッジライン特徴部とを検出することを備える、請求項12に記載の方法。
【請求項１４】
前記複数のエッジライン特徴部を検出することが、床、屋根、またはドアのうちの少なくとも1つを検出することを備える、請求項13に記載の方法。
【請求項１５】
前記カメラの前記姿勢を計算するステップが、前記周辺情報に基づいて、前記画像内の前記ターゲットオブジェクトに関して規定される、平面に対するパン、チルト、またはロールのうちの少なくとも1つとして前記カメラの前記姿勢を計算することを備える、
請求項1に記載の方法。
【請求項１６】
周辺情報を使用したテンプレートマッチングの加速のためのモバイルデバイスであって、
プロセッサと、
前記プロセッサに結合されたカメラと、
前記プロセッサに結合されたメモリであって、
ターゲットオブジェクトと前記周辺情報の少なくとも一部とを含む、前記カメラを介してキャプチャされるロケーションの画像を取得することと、
前記周辺情報に少なくとも部分的に基づいて前記ターゲットオブジェクトに対する前記カメラの姿勢を計算することと、
テンプレートマッチングシステムにアクセスすることであって、前記テンプレートマッチングシステムが複数のオブジェクトの各オブジェクトに関して複数のテンプレートを備え、各テンプレートがテンプレートの姿勢に関連付けられる、ことと、
マッチング姿勢テンプレートの組を特定するために前記カメラの前記姿勢が前記テンプレートの姿勢にマッチングする、前記複数のテンプレートのうちのいくつかのテンプレートを事前選択することと、
前記ターゲットオブジェクトとのテンプレートマッチングを特定するためにマッチング姿勢テンプレートの前記組を処理することと
を前記プロセッサに行わせる命令を備えるメモリと
を備える、モバイルデバイス。
【請求項１７】
ディスプレイ
をさらに備え、
前記命令がさらに、前記プロセッサに、前記ターゲットオブジェクトにマッチングする前記テンプレートに関連付けられた前記ロケーションを決定させ、前記ターゲットオブジェクトにマッチングする前記テンプレートに関連付けられた前記ロケーションに基づいて前記モバイルデバイスの推定ロケーションを表示させる、
請求項16に記載のモバイルデバイス。
【請求項１８】
加速度計
をさらに備え、
前記命令がさらに、前記プロセッサに、前記加速度計からのセンサデータに基づいて重力ベクトルを特定させ、前記画像からの前記周辺情報とともに前記重力ベクトルを使用して前記ターゲットオブジェクトに対する前記カメラの前記姿勢を計算させる、
請求項16に記載のモバイルデバイス。
【請求項１９】
プロセッサによって実行されたとき、システムにテンプレートマッチングの方法を実行させる命令を備える非一時的コンピュータ可読ストレージデバイスであって、前記方法が、
ターゲットオブジェクトおよび周辺情報を含む、カメラを介してキャプチャされるロケーションの画像を取得するステップと、
前記周辺情報に少なくとも部分的に基づいて前記ターゲットオブジェクトに対する前記カメラの姿勢を計算するステップと、
テンプレートマッチングシステムにアクセスするステップであって、前記テンプレートマッチングシステムが複数のオブジェクトの各オブジェクトに関して複数のテンプレートを備え、各テンプレートがテンプレートの姿勢に関連付けられる、ステップと、
マッチング姿勢テンプレートの組を特定するために前記カメラの前記姿勢が前記テンプレートの姿勢にマッチングする、前記複数のテンプレートのうちのいくつかのテンプレートを事前選択するステップと、
前記ターゲットオブジェクトとのテンプレートマッチングを特定するためにマッチング姿勢テンプレートの前記組を処理するステップと
を備える、非一時的コンピュータ可読ストレージデバイス。
【請求項２０】
前記テンプレートマッチングシステムにアクセスするステップが、ワイヤレスネットワークを介して、前記カメラを備えるモバイルデバイスから、前記複数のテンプレートを含むデータベースを備えるサーバシステムへの要求を通信することを備える、請求項19に記載の非一時的コンピュータ可読ストレージデバイス。
【請求項２１】
周辺情報を使用したテンプレートマッチングの加速のためのモバイルデバイスであって、
ターゲットオブジェクトおよび周辺情報を含む、カメラを介してキャプチャされるロケーションの画像を取得するための手段と、
前記周辺情報に少なくとも部分的に基づいて前記ターゲットオブジェクトに対する前記カメラの姿勢を計算するための手段と、
テンプレートマッチングシステムにアクセスするための手段であって、前記テンプレートマッチングシステムが複数のオブジェクトの各オブジェクトに関して複数のテンプレートを備え、各テンプレートがテンプレートの姿勢に関連付けられる、手段と、
マッチング姿勢テンプレートの組を特定するために前記カメラの前記姿勢が前記テンプレートの姿勢にマッチングする、前記複数のテンプレートのうちのいくつかのテンプレートを事前選択するための手段と、
前記ターゲットオブジェクトとのテンプレートマッチングを特定するためにマッチング姿勢テンプレートの前記組を処理するための手段と
を備える、モバイルデバイス。
【請求項２２】
重力ベクトルを特定するための手段
をさらに備え、
前記ターゲットオブジェクトに対する前記カメラの前記姿勢を計算するための前記手段が、前記画像からの前記周辺情報とともに前記重力ベクトルを使用する、
請求項21に記載のモバイルデバイス。
【請求項２３】
前記ターゲットオブジェクトにマッチングする前記テンプレートに関連付けられたロケーションに基づいて前記モバイルデバイスの前記ロケーションを推定するための手段と、
前記モバイルデバイスの前記推定ロケーションを表示するための手段と
をさらに備える、請求項21に記載のモバイルデバイス。
【請求項２４】
前記カメラの前記姿勢を計算する際に使用するために前記画像から特徴部を抽出するための手段と、
前記画像内の注目する点を検出するための手段であって、注目する前記点が前記ターゲットオブジェクトを備える、手段と
をさらに備える、請求項21に記載のモバイルデバイス。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】００１９
【訂正方法】変更
【訂正の内容】
【００１９】
店頭は、測位および位置情報サービスのためのランドマークとしてしばしば使用される。店頭においてブランドを認識することができることは、ロケーションサービスおよびロケーションベースの広告などの様々な用途に役立つ。テンプレートマッチングは、オブジェクト検出のための1つの考えられる方法である。標準的なシステムでは、「姿勢」とも呼ばれる様々な観測角度に基づいた複数のテンプレートがトレーニング中に準備され、各テンプレートがテスト画像に対してマッチングされる。いくつかの実装形態では、推定される姿勢は、他のオブジェクトまたは基準系に対する、カメラ回転角度、カメラ平行移動、または空間的なカメラ位置および方位の任意の部分的なもしくは完全な記述であり得る。考えられるマッチングのために、カメラ画像からのターゲットオブジェクトを複数の姿勢とマッチングさせるプロセスは、大量の処理を含み、それが、スロープロセスをもたらす。記憶されたテンプレートのかなりの部分をプレフィルタリングし、ターゲットロゴとテンプレートとの間のマッチングを特定することに関わる処理を制限することによって、本明細書で説明するシステムおよび方法は、プロセッサ使用量を低減させ、より高速のマッチングを提供し得る。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】００２０
【訂正方法】変更
【訂正の内容】
【００２０】
たとえば、1つのシステムは、モール環境において識別される50個の異なるターゲットオブジェクトを有するモール環境によって実装され得る。ターゲットオブジェクトは、店舗ロゴ、看板、またはテンプレートマッチングによって識別され得る任意の他のマーカーであり得る。テンプレートマッチングシステムは、50個の異なるターゲットオブジェクトの各々に関するテンプレートを生成し得る。各ターゲットオブジェクトは、1つまたは複数の関連のテンプレートを有し、各テンプレートはまた、テンプレートを生成するのに使用された観測角度に関する情報を提供する関連の姿勢を有する。各ターゲットオブジェクトが10個の異なる姿勢からテンプレートを提供される場合、システムは、500個のテンプレートを有する。ユーザが、ターゲットオブジェクトのうちの1つである、モールエリア内の店舗ロゴの写真を撮るとき、システムは、姿勢を写真と関連付けるために周辺情報を使用する。写真からのターゲットオブジェクトをすべての500個のテンプレートとマッチングさせるのではなく、システムは、写真の姿勢にマッチングする関連の姿勢を有するテンプレートのみを含むようにテンプレートをフィルタリングする。理想的には、このことは、写真とマッチングするテンプレートの数を50個に制限し、写真と対応するテンプレートとの間のマッチングを見つけるのに必要な平均時間およびコンピューティングリソースを著しく低減する。
【誤訳訂正４】
【訂正対象書類名】明細書
【訂正対象項目名】００２９
【訂正方法】変更
【訂正の内容】
【００２９】
S210では、次いで、本方法は、ターゲットオブジェクトとのマッチングを特定するためにマッチング姿勢テンプレートの組を処理することを含む。そのような処理は、テンプレートをターゲットオブジェクトにマッチングさせるために任意の数の異なるテンプレートマッチング技法を含み得る。いくつかの実装形態では、特定の姿勢テンプレートとターゲットオブジェクトとの間のマッチングが特定された後、特定の姿勢テンプレートに関連付けられた補足情報が、システムによって特定され、使用される場合がある。たとえば、特定の姿勢は、特定のロケーションに関連付けられる場合がある。画像に関連付けられたカメラロケーションを特定するために、カメラの姿勢、ターゲットオブジェクトサイズ、および特定のロケーション情報が使用され得る。次いで、本システムは、この追加の情報に基づいて、マップ情報、方向情報、ターゲット広告、または他のそのようなデバイス機能もしくはユーザ通信を提供し得る。またさらなる実装形態では、カメラロケーションは、さらなる分析のために、店舗オーナーと通信するか、または本システムによって集められる場合がある。
【誤訳訂正５】
【訂正対象書類名】明細書
【訂正対象項目名】００３６
【訂正方法】変更
【訂正の内容】
【００３６】
いくつかの実装形態では、メモリ420は、任意の数のアプリケーションまたはソフトウェアプログラムであり得るアプリケーション424を記憶する。テンプレートマッチング部421は、本明細書で説明する実装形態に従ってテンプレートマッチングの加速を実装するモバイルデバイス400の一部として任意の数の他のアプリケーション424とともに機能し得る。メモリ420などの非一時的メモリに記憶されるアプリケーション424は、プロセッサ410によって実行される特定の命令を含む。代替実装形態では、他のハードウェアモジュールが、いくつかのアプリケーション424またはアプリケーションの一部をさらに実行し得る。いくつかの実装形態では、メモリ420は、セキュアなメモリをさらに含む場合があり、セキュアなメモリは、ターゲットオブジェクトのセキュアなロケーションまたはテンプレートマッチングに関連付けられた私的な極秘データなどの、セキュアな情報をコピーすること、またはそれらの情報への他の不正アクセスを防止するための追加セキュリティコントロールを含み得る。
【誤訳訂正６】
【訂正対象書類名】明細書
【訂正対象項目名】００３８
【訂正方法】変更
【訂正の内容】
【００３８】
追加の実装形態では、ワイヤレストランシーバ412は、姿勢特定の一部として使用され得る周辺情報を特定するための専用のハードウェアモジュール、ソフトウェアモジュール、またはファームウェアモジュールを含み得る位置/速度方位センサ430に直接渡され得る情報をアンテナ414を介してリンク416から受け取り得る。図4によって示すように、モバイルデバイス400は、カメラ401および方位センサ430を含む。姿勢情報は、カメラ401から収集された周辺情報に少なくとも部分的に基づいている場合があり、方位センサ430からの情報に少なくとも部分的に基づいている場合もある。さらに、追加の情報は、モバイルデバイス400のハードウェアセンサおよびモジュールによって収集され得る。そのような情報の例は、姿勢を特定するか、または、テンプレートマッチングから生じるロケーション情報などの他の情報を検証する、周辺情報の一部として、またはそれとともに使用され得る、ドップラー測定、位置特定、加速度特定、または速度特定を含み得る。代替実装形態では、アンテナからの信号は、本明細書で説明する実装形態に従って、プロセッサ410およびテンプレートマッチング部421による後のアクセスおよび処理のためにメモリ420に通信され得る。
【誤訳訂正７】
【訂正対象書類名】明細書
【訂正対象項目名】００９３
【訂正方法】変更
【訂正の内容】
【００９３】
S1102では、画像1135からのターゲットオブジェクト1134をマッチングさせるために、テンプレートマッチングシステムにアクセスされる。テンプレートマッチングシステムおよび関連の姿勢テンプレートは、画像1135をキャプチャしたモバイルデバイス内に完全に含まれ得るか、または、上記で説明したロケーションサービスを提供するネットワークサーバの一部であり得る。そのようなテンプレートマッチングシステムは、会場レイアウトおよびPOI情報1120によって表されるエリア内の店頭に基づく複数のテンプレートを含み得る。このテンプレートマッチングシステムは、ALDO(登録商標)ロゴおよびGAP(登録商標)ロゴからの異なる斜視図からの複数の姿勢テンプレートを含む。次いで、ターゲットオブジェクト1134とのマッチングを特定するために、画像1135に対してチェックされる姿勢テンプレートの数を低減させるのに姿勢情報を使用した高速テンプレートマッチングシステムが使用され得る。
ターゲットオブジェクト1134を特定の姿勢テンプレートと関連付けるためにマッチングがなされると、次いで、S1104においてユーザのロケーションおよび向きを割り出すためにS1102においてテンプレートマッチングの一部として特定された姿勢情報とともに、少なくとも部分的に、会場レイアウトおよびPOI情報1120が使用され得る。会場レイアウトおよびPOI情報1120がターゲットオブジェクト1134に関連付けられたマップロケーションを含むので、姿勢情報は、画像1135をキャプチャしたカメラに関連付けられた向首情報を提供し、ユーザがカメラと同じ方向に面するものと仮定すれば、2Dマップ上のユーザの向きは、店頭の壁に対するカメラ回転角度に基づいて割り出される。関連のエリア内のユーザの考えられるロケーションを改良するために、この角度を使用することもできる。