【手続補正書】
【提出日】令和3年7月9日(2021.7.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
実空間のエリア内における被写体による在庫商品を置くこと及び取ることを追跡するシステムであって、
複数のカメラ内のカメラが前記実空間内の対応する視野のそれぞれの画像シーケンスを生成し、前記複数のカメラにおいて各カメラの前記視野が少なくとも１つの他のカメラの前記視野と重なる、前記複数のカメラと、
前記複数のカメラと結合された処理システムと、を備えてなり、
前記処理システムが、
前記複数のカメラから対応する画像シーケンスを受信する複数の画像認識エンジンであって、前記複数の画像認識エンジン内の画像認識エンジンが、前記対応する画像シーケンス内の画像を処理し、前記画像に表される被写体を識別する前記複数の画像認識エンジン、及び、
識別された被写体による在庫商品を取ること及び識別された被写体による在庫商品を棚に置くことを検出するために、前記識別された被写体を含む前記画像シーケンス内の画像のセットを処理するロジック、を備えることを特徴とするシステム。
【請求項２】
画像のセットを処理する前記ロジックが、識別された被写体に対して、前記識別された被写体の前記画像の分類を生成するために画像を処理するロジックを含み、
前記分類が、前記識別された被写体が在庫商品を保持しているかどうか、棚との相対的な前記識別された被写体の手の位置を示す第１の近似度分類、前記識別された被写体の身体との相対的な前記識別された被写体の手の位置を示す第２の近似度分類、識別された被写体に関連するバスケットとの相対的な前記識別された被写体の手の位置を示す第３の近似度分類、及び、可能性のある在庫商品の識別子を含む請求項１に記載のシステム。
【請求項３】
画像のセットを処理する前記ロジックが、識別された被写体について、前記識別された被写体の前記画像のセット内の画像における手を表すデータの有界ボックスを識別し、前記識別された被写体について有界ボックス内のデータの分類を生成するために、前記有界ボックス内のデータを処理するロジックを含む請求項１に記載のシステム。
【請求項４】
前記分類が、前記識別された被写体が在庫商品を保持しているかどうか、棚との相対的な前記識別された被写体の手の位置を示す第１の近似度分類、前記識別された被写体の身体との相対的な前記識別された被写体の手の位置を示す第２の近似度分類、識別された被写体に関連するバスケットとの相対的な前記識別された被写体の手の位置を示す第３の近似度分類、及び、可能性のある在庫商品の識別子を含む請求項３に記載のシステム。
【請求項５】
実空間のエリア内における被写体による在庫商品を置くこと及び取ることを追跡する方法であって、
各カメラの視野が少なくとも１つの他のカメラの視野と重なり合う複数のカメラを使用して、前記実空間内の対応する視野のそれぞれの画像シーケンスを生成すること、
前記複数のカメラから対応する画像シーケンスを受信し、前記複数のカメラと結合した処理システムの一部である複数の画像認識エンジン内の画像認識エンジンを使用して、前記対応する画像シーケンス内の前記画像を処理し、前記画像に表される被写体を識別すること、及び、
識別された被写体による在庫商品を取ること及び識別された被写体による在庫商品を棚に置くことを検出するために、前記識別された被写体を含む前記画像シーケンス内の画像のセットを処理すること、を備えることを特徴とする方法。
【請求項６】
前記画像のセットを処理することが、識別された被写体に対して、前記識別された被写体の前記画像の分類を生成することを含み、
前記分類が、前記識別された被写体が在庫商品を保持しているかどうか、棚との相対的な前記識別された被写体の手の位置を示す第１の近似度分類、前記識別された被写体の身体との相対的な前記識別された被写体の手の位置を示す第２の近似度分類、識別された被写体に関連するバスケットとの相対的な前記識別された被写体の手の位置を示す第３の近似度分類、及び、可能性のある在庫商品の識別子を含む請求項５に記載の方法。
【請求項７】
前記識別された被写体による前記取ること及び前記置くことを検出するために、画像の分類にわたって時系列分析を実行することを含む請求項６に記載の方法。
【請求項８】
前記画像のセットを処理することが、識別された被写体について、前記識別された被写体の前記画像のセット内の画像における手を表すデータの有界ボックスを識別し、前記識別された被写体について有界ボックス内のデータの分類を生成するために、前記有界ボックス内のデータを処理することを含む請求項５に記載の方法。
【請求項９】
前記分類が、前記識別された被写体が在庫商品を保持しているかどうか、棚との相対的な前記識別された被写体の手の位置を示す第１の近似度分類、前記識別された被写体の身体との相対的な前記識別された被写体の手の位置を示す第２の近似度分類、識別された被写体に関連するバスケットとの相対的な前記識別された被写体の手の位置を示す第３の近似度分類、及び、可能性のある在庫商品の識別子を含む請求項８に記載の方法。
【請求項１０】
前記識別された被写体による前記取ること及び前記置くことを検出するために、前記画像のセットにおける前記有界ボックス内のデータの分類にわたって時系列分析を実行することを含む請求項８または９に記載の方法。
【請求項１１】
前記複数のカメラ内のカメラと結合し、前記複数のカメラからの前記画像シーケンス内の画像のセットを格納するための循環バッファを含む請求項５〜１０のいずれか１項に記載の方法。
【請求項１２】
畳み込みニューラル・ネットワークを使用して画像のセットを処理することを含む請求項５〜１１のいずれか１項に記載の方法。
【請求項１３】
前記複数のカメラにおけるカメラが、同期された画像シーケンスを生成するように構成されている請求項５〜１２のいずれか１項に記載の方法。
【請求項１４】
前記複数のカメラが、前記実空間内のエリアのそれぞれの部分を包含する視野を有し、その上に配置されたカメラを備える請求項５〜１３のいずれか１項に記載の方法。
【請求項１５】
前記検出された置くこと及び取ることに応答して、識別された各被写体に対して在庫商品のリストを含むログ・データ構造を生成することを含む請求項５〜１４のいずれか１項に記載の方法。
【請求項１６】
非一時的なコンピュータ可読記憶媒体であって、
請求項５〜１５のいずれか１項に係る実空間のエリア内における被写体による在庫商品を置くこと及び取ることを追跡する方法のためのコンピュータ命令が格納されていることを特徴とする非一時的なコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２２３
【補正方法】変更
【補正の内容】
【０２２３】
被写体識別サブシステム２６０２（第１の画像プロセッサとも呼ばれる）は、複数のカメラ１１４から対応する画像シーケンスを受信する被写体画像認識エンジンを含む。被写体画像認識エンジンは、画像を処理して、対応する画像シーケンス内の画像に表される被写体を識別する。一実施形態では、被写体画像認識エンジンが関節ＣＮＮ１１２ａ〜１１２ｎと呼ばれる畳み込みニューラル・ネットワーク（ＣＮＮ）として実装される。重なり合う視野を有するカメラに対応する関節ＣＮＮ１１２ａ〜１１２ｎの出力は、各カメラの２Ｄ画像座標から実空間の３Ｄ座標に関節の位置をマッピングするために組み合わされる。ｊが１〜ｘに等しい被写体（ｊ）毎の関節データ構造８００は、各画像について実空間及び２Ｄ空間における被写体（ｊ）の関節の位置を識別する。被写体データ構造８００の幾つかの詳細を図８に示す。