【手続補正書】
【提出日】平成29年2月13日(2017.2.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクト検出に適した3次元オブジェクトの簡潔表現をキャプチャする方法であって、
デバイスのカメラモジュールを使って、シーンの複数の画像をキャプチャするステップであって、前記シーンの前記複数の画像の各々が、オブジェクトの少なくとも一部分をキャプチャする、ステップと、
第1のキーフレームを、前記複数の画像および前記第1のキーフレームに関連付けられた前記デバイスの第1の位置から識別するステップと、
第2のキーフレームを、前記複数の画像および前記第2のキーフレームに関連付けられた前記デバイスの第2の位置から識別するステップであって、前記第2の位置が前記第1の位置とは異なる、ステップと、
前記第1のキーフレームから第1の複数の関心ポイントを識別するステップであって、前記第1の複数の関心ポイントの各々が、前記シーンから1つまたは複数の特徴を識別する、ステップと、
前記第2のキーフレームから第2の複数の関心ポイントを識別するステップであって、前記第2の複数の関心ポイントの各々が、前記シーンから前記特徴のうちの1つまたは複数を識別する、ステップと、
前記第1の複数の関心ポイントのサブセットと前記第2の複数の関心ポイントのサブセットとをマッチングするステップと、
前記第1の複数の関心ポイントの前記サブセットと前記第2の複数の関心ポイントの前記サブセットとをマッチングするステップに少なくとも一部分基づいて、前記オブジェクトに関連付けられた複数のキーポイントを識別し、かつ閾値距離よりも大きい、最も近い関心ポイントの閾値数までの平均距離をもつ関心ポイントを消去するステップと、
前記オブジェクトに関連付けられた前記複数のキーポイントの少なくとも一部分を、オブジェクト検出データベース中のオブジェクト表現として記憶するステップと
を含む、方法。
【請求項２】
前記オブジェクトに関連付けられた前記複数のキーポイントを識別するステップが、
前記第1の複数の関心ポイントと前記第2の複数の関心ポイントとをフィルタリングして、前記オブジェクトに関連付けられている前記複数のキーポイントの前記少なくとも一部分を識別するステップを含む、請求項1に記載の方法。
【請求項３】
前記第1の複数の関心ポイントと前記第2の複数の関心ポイントとをフィルタリングするステップが、
他のキーフレームからの関心ポイントとマッチングしない前記関心ポイントを消去するステップ、および
前記シーンの定義された関心ボリュームの外側の前記キーポイントを消去するステップ
のうちの1つまたは複数を含む、請求項2に記載の方法。
【請求項４】
前記シーンが平面ターゲットをさらに含む、請求項1に記載の方法。
【請求項５】
前記平面ターゲットが、前記シーンの関心ボリュームを定義するのを支援するのに使用される、請求項4に記載の方法。
【請求項６】
前記第1の複数の関心ポイントと前記第2の複数の関心ポイントをマッチングするステップが、
第1の画像中の前記平面ターゲットの第1のロケーションから、前記デバイスの前記第1の位置を識別するステップと、
第2の画像中の前記平面ターゲットの第2のロケーションから、前記デバイスの前記第2の位置を識別するステップと、
前記デバイスの前記第1の位置と前記デバイスの前記第2の位置との間の相対的位置を判定するステップと、
前記第1の位置と前記第2の位置との間の前記相対的位置に基づいて、前記第1の複数の関心ポイントと前記第2の複数の関心ポイントをマッチングするステップと、
座標系における各キーポイントの位置を判定し、かつ記録するステップと
を含む、請求項4に記載の方法。
【請求項７】
各キーポイントが、キーポイントロケーション情報と、前記キーポイントを囲むピクセルについての情報とを含む、請求項1に記載の方法。
【請求項８】
前記第1のキーフレームとして前記第1の画像を識別するステップが、ユーザ選択を含む、請求項1に記載の方法。
【請求項９】
前記第1のキーフレームとして前記第1の画像を識別するステップが、前記デバイスによる自動選択を含む、請求項1に記載の方法。
【請求項１０】
前記第2のキーフレームとして前記第2の画像を識別するステップが、
第2の画像内のキーポイント密度を識別するステップと、
前記第2の位置と前記第1の位置との間の空間的関係を識別するステップと、
前記第2の位置にあるキーフレームが、前記オブジェクト表現中で使用するための閾値を上回る値をもつデータを与えると判断するステップと、
前記第2の画像を前記第2のキーフレームとして選択するステップと
を含む、請求項9に記載の方法。
【請求項１１】
オフラインオブジェクト検出に適した3次元オブジェクトの簡潔表現をキャプチャするためのデバイスであって、
シーンの複数の画像をキャプチャする、デバイスのカメラモジュールであって、前記シーンの前記複数の画像の各々が、オブジェクトの少なくとも一部分をキャプチャする、カメラモジュールと、
(1)第1のキーフレームと、前記第1のキーフレームに関連付けられた前記デバイスの第1の位置とを識別し、(2)第2のキーフレームと、前記第2のキーフレームに関連付けられた前記デバイスの第2の位置とを識別し、前記第2の位置が前記第1の位置とは異なり、(3)前記第1のキーフレームから第1の複数の関心ポイントを識別し、前記第1の複数の関心ポイントが、前記シーンから特徴を識別し、(4)前記第2のキーフレームから第2の複数の関心ポイントを識別し、前記第2の複数の関心ポイントが、前記特徴の少なくとも一部分を前記シーンから識別し、(5)前記第1の複数の関心ポイントの一部分と前記第2の複数の関心ポイントの一部分とをマッチングし、(6)前記第1の複数の関心ポイントの前記一部分と前記第2の複数の関心ポイントの前記一部分との前記マッチングに少なくとも一部分基づいて、前記オブジェクトに関連付けられた複数のキーポイントを識別し、かつ閾値距離よりも大きい、最も近い関心ポイントの閾値数までの平均距離をもつ関心ポイントを消去する、1つまたは複数のプロセッサと、
前記オブジェクトに関連付けられた前記複数のキーポイントの少なくとも一部分を、オブジェクト検出データベース中のオブジェクト表現として記憶するメモリと
を備える、デバイス。
【請求項１２】
前記デバイスが、
前記カメラモジュールに結合されるディスプレイであって、前記デバイスの前記カメラモジュールが前記シーンの前記複数の画像の少なくとも一部分をキャプチャすると、前記ディスプレイが前記複数のキーポイントの少なくとも一部分の画像を出力する、ディスプレイをさらに備える、請求項11に記載のデバイス。
【請求項１３】
前記ディスプレイが、前記オブジェクトに重ねられた前記複数のキーポイントの少なくとも第2の部分をもつ前記シーンのビデオ画像をさらに出力する、請求項12に記載のデバイス。
【請求項１４】
前記デバイスが、
動きセンサーであって、前記デバイスの前記第2の位置が、前記動きセンサーからの情報を使って前記1つまたは複数のプロセッサによって識別される、動きセンサーをさらに備える、請求項11に記載のデバイス。
【請求項１５】
前記デバイスが、
ユーザ入力モジュールであって、前記第1のキーフレームを識別することが、前記デバイスの前記ユーザ入力モジュールにおいて受信されるユーザ選択を含む、ユーザ入力モジュールをさらに備える、請求項11に記載のデバイス。
【請求項１６】
前記デバイスが、
アンテナと、
ワイヤレストランシーバと
をさらに備え、
前記1つまたは複数のプロセッサが、ネットワーク、前記アンテナ、および前記ワイヤレストランシーバを介して前記デバイスに結合される、請求項15に記載のデバイス。
【請求項１７】
非一時的コンピュータ可読記録媒体に結合されるプロセッサによって実行されると、デバイスに、
前記デバイスのカメラモジュールを使って、シーンの複数の画像をキャプチャすることであって、前記シーンの前記複数の画像の各々が、オブジェクトの少なくとも一部分をキャプチャする、キャプチャすることと、
第1のキーフレームと、前記第1のキーフレームに関連付けられた前記デバイスの第1の位置とを識別することと、
第2のキーフレームと、前記第2のキーフレームに関連付けられた前記デバイスの第2の位置とを識別することであって、前記第2の位置が前記第1の位置とは異なる、識別することと、
前記第1のキーフレームから第1の複数の関心ポイントを識別することであって、前記第1の複数の関心ポイントが、前記シーンから特徴を識別する、識別することと、
前記第2のキーフレームから第2の複数の関心ポイントを識別することであって、前記第2の複数の関心ポイントが、前記特徴の少なくとも一部分を前記シーンから識別する、識別することと、
前記第1の複数の関心ポイントの一部分と前記第2の複数の関心ポイントの一部分をマッチングすることと、
前記第1の複数の関心ポイントの前記一部分と前記第2の複数の関心ポイントの前記一部分とのマッチングに少なくとも一部分基づいて、前記オブジェクトに関連付けられた複数のキーポイントを識別し、かつ閾値距離よりも大きい、最も近い関心ポイントの閾値数までの平均距離をもつ関心ポイントを消去することと、
前記オブジェクトに関連付けられた前記複数のキーポイントの少なくとも一部分を、オブジェクト検出データベース中のオブジェクト表現として記憶することと
を行わせる命令を備える、非一時的コンピュータ可読記録媒体。
【請求項１８】
前記命令が、前記プロセッサによって実行されると、前記デバイスに、
前記第1の複数の関心ポイントと前記第2の複数の関心ポイントとをフィルタリングして、前記オブジェクトに関連付けられたキーポイントを識別することの一部として、前記オブジェクトに関連付けられた前記複数の関心ポイントを識別することをさらに行わせる、請求項17に記載の非一時的コンピュータ可読記録媒体。
【請求項１９】
前記命令が、前記プロセッサによって実行されると、前記デバイスに、
前記第1の複数の関心ポイントと前記第2の複数の関心ポイントとをフィルタリングして、前記オブジェクトに関連付けられた関心ポイントを識別することの一部として、他のキーフレームからの関心ポイントとマッチングしない前記関心ポイントを消去することをさらに行わせる、請求項18に記載の非一時的コンピュータ可読記録媒体。
【請求項２０】
前記命令が、前記プロセッサによって実行されると、前記デバイスに、
前記第1の複数の関心ポイントと前記第2の複数の関心ポイントとをフィルタリングして、前記オブジェクトに関連付けられた関心ポイントを識別することの一部として、前記オブジェクトの定義されたボリュームの外側のキーポイントのセットを消去することをさらに行わせ、
前記オブジェクト検出データベース中の前記オブジェクト表現として、前記オブジェクトに関連付けられた前記複数のキーポイントの各キーポイントが、座標情報、輝度情報、および周辺ピクセルパターン情報を含む、請求項18に記載の非一時的コンピュータ可読記録媒体。