【手続補正書】
【提出日】令和3年12月2日(2021.12.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオフィードから複数の一連の画像を取得するステップと、
前記複数の一連の画像のそれぞれの画像において、人間に対応するそれぞれのキーポイントを判断するステップと、
それぞれの画像に対する前記それぞれのキーポイントを前記人間のポーズへと集約するステップと、
前記ポーズを候補のポーズから意図へ変換する複数のテンプレートポーズと比較するためにクエリをデータベースへ伝送するステップと、
前記人間の意図、またはマッチングするテンプレートを特定することができないことのいずれかを示すデータベースから応答メッセージを受信するステップと、
前記人間の前記意図を示す前記応答メッセージに応答して、前記意図に対応する命令を出力するステップと
を備える方法。
【請求項２】
前記マッチングするテンプレートを特定することができないことを示す前記応答メッセージに応答して、
前記ビデオフィードをキャプチャしている車両の通常動作を停止させ、安全動作モードに入るようコマンドを出力するステップと、
前記人間が前記ビデオの画像内にもはやいなくなった場合を判断するために前記ビデオフィードを監視するステップと、
前記人間が前記ビデオの前記画像内にもはやいなくなったと判断したことに応答して、前記安全動作モードの動作を停止させ、前記車両の通常動作を再開させるコマンドを出力するステップと
をさらに備える、
請求項１に記載の方法。
【請求項３】
前記安全動作モードは、複数のモードのいずれかであり、前記コマンドは、前記複数のモードの特定の１つの表示を含み、前記複数のモードの前記特定の１つは、前記車両に対する前記人間、および他の障害物の位置に基づいて選択される、
請求項２に記載の方法。
【請求項４】
前記安全動作モードは、入った場合に、前記車両が旋回、加速、移動の停止、オペレータへの制御の提供、視覚的、聴覚的、またはマルチメディアメッセージの出力、およびホーンの鳴動の少なくとも１つを実行するようコマンドすることを含む、
請求項２に記載の方法。
【請求項５】
前記クエリを前記データベースへ伝送するステップは、
前記ビデオフィードをキャプチャしている車両の地理的位置を判断するステップと、
複数の候補データベースのインデックスにアクセスするステップであって、前記インデックスは、それぞれのデータベース位置およびそれぞれのアドレスへの前記複数の候補データベースのそれぞれの候補データベースに対応するエントリを含み、
どの候補データベースをクエリするか判断するよう前記地理的位置を前記エントリに対して比較するステップであって、前記複数の候補データベースのマッチングする候補データベースは、前記地理的位置とマッチングする前記マッチングする候補データベースの前記それぞれのデータベース位置に基づいて選択され、
前記マッチングする候補データベースを、前記クエリが伝送される前記データベースとして割り当てるステップと
をさらに含む、
請求項１に記載の方法。
【請求項６】
前記複数の一連の画像が人間を含むかを判断するステップと、
前記複数の一連の画像が前記人間を含むという判断に応答して、前記複数の一連の画像のそれぞれの画像における前記人間に対応するそれぞれのキーポイントの前記判断を実行するステップと、
前記複数の一連の画像が前記人間を含まないという判断に応答して、前記複数の一連の画像を破棄し、前記ビデオフィードから次の複数の一連の画像を取得するステップと
をさらに含む、
請求項１の方法。
【請求項７】
前記ビデオフィードから前記複数の一連の画像を取得するステップは、
現在の時間より前の時間の長さ、または現在キャプチャされた画像の前の一連の画像の量のいずれかを表す量を判断するステップと、
現在時刻、または現在キャプチャされた画像のいずれかに対する前記ビデオフィードからの前記一連の画像の量を取得するステップと
をさらに含む、
請求項１に記載の方法。
【請求項８】
それぞれの画像に対する前記それぞれのキーポイントを前記人間の前記ポーズへと集約するステップは、
キーポイントの複数のセットを判断するステップであって、キーポイントのそれぞれのセットは、前記人間の個別の身体部分に対応し、
キーポイントのそれぞれのセットが他のキーポイントのセットに対してどのように移動するかに基づいて、キーポイントの相対的な移動のベクトルを判断するステップと、
前記ポーズに、前記キーポイントの相対的な移動のベクトルを付け加えるステップと
を含む、
請求項１に記載の方法。
【請求項９】
前記意図は、機械学習、統計分析、および心理的行動モデルの少なくとも１つを前記複数の一連の画像のそれぞれの画像へ適用して用いて判断される、
請求項１に記載の方法。
【請求項１０】
エンコードされた命令を備えるコンピュータ可読記憶媒体であって、クライアントデバイスのプロセッサによって前記命令が実行されると、前記プロセッサに、
ビデオフィードから複数の一連の画像を取得させ、
前記複数の一連の画像のそれぞれの画像において、人間に対応するそれぞれのキーポイントを判断させ、
それぞれの画像に対する前記それぞれのキーポイントを前記人間のポーズへと集約させ、
前記ポーズとマッチングするテンプレートを特定するようクエリをデータベースへ伝送させ、前記ポーズを候補のポーズから意図へ変換する複数のテンプレートポーズと比較することによって、それぞれのテンプレートが関連する意図に対応させ、
マッチングするテンプレートに基づいて、前記人間の意図、またはマッチングするテンプレートを特定できないことのいずれかを示す前記データベースから応答メッセージを受信させ、および
前記人間の前記意図を示す前記応答メッセージに応答して、前記意図を出力させる、コンピュータ可読記憶媒体。
【請求項１１】
前記命令は、さらに、前記プロセッサに、前記マッチングするテンプレートを特定することができないことを示す前記応答メッセージに応答して、
前記ビデオフィードをキャプチャしている車両の通常動作を停止させ、安全動作モードに入るようコマンドを出力させ、
前記人間が前記ビデオの画像内にもはやいなくなった場合を判断するために前記ビデオフィードを監視させ、および
前記人間が前記ビデオの前記画像内にもはやいなくなったと判断したことに応答して、前記安全動作モードの動作を停止させ、前記車両の通常動作を再開させるコマンドの出力をさせる、
請求項１０に記載のコンピュータ可読記憶媒体。
【請求項１２】
前記安全動作モードは、複数のモードのいずれかであり、前記コマンドは、前記複数のモードの特定の１つの表示を含み、前記複数のモードの前記特定の１つは、前記車両に対する前記人間、および他の障害物の位置に基づいて選択される、
請求項１１に記載のコンピュータ可読記憶媒体。
【請求項１３】
前記安全動作モードは、入った場合に、前記車両が旋回、加速、移動の停止、オペレータへの制御の提供、およびホーンの鳴動の少なくとも１つを実行するようコマンドすることを含む、
請求項１１に記載のコンピュータ可読記憶媒体。
【請求項１４】
前記命令は、さらに、前記プロセッサに、前記クエリを前記データベースへ伝送する場合に、
前記ビデオフィードをキャプチャしている車両の地理的位置を判断させ、
複数の候補データベースのインデックスにアクセスさせ、前記インデックスは、それぞれのデータベース位置およびそれぞれのアドレスへの前記複数の候補データベースのそれぞれの候補データベースに対応するエントリを含み、
どの候補データベースをクエリするか判断するよう前記地理的位置を前記エントリに対して比較させ、前記複数の候補データベースのマッチングする候補データベースは、前記地理的位置とマッチングする前記マッチングする候補データベースの前記それぞれのデータベース位置に基づいて選択され、および
前記マッチングする候補データベースを、前記クエリが伝送される前記データベースとして割り当てをさせる、
請求項１０に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記命令は、さらに、前記プロセッサに、
前記複数の一連の画像が人間を含むかを判断させ、
前記複数の一連の画像が前記人間を含むという判断に応答して、前記複数の一連の画像のそれぞれの画像における前記人間に対応するそれぞれのキーポイントの前記判断を実行させ、および
前記複数の一連の画像が前記人間を含まないという判断に応答して、前記複数の一連の画像を破棄させ、前記ビデオフィードから次の複数の一連の画像の取得をさせる、
請求項１０に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記命令は、さらに、前記プロセッサに、前記ビデオフィードから前記複数の一連の画像を取得した場合に、
現在の時間より前の時間の長さ、または現在キャプチャされた画像の前の一連の画像の量のいずれかを表す量を判断させ、および
現在の時間、または現在キャプチャされた画像のいずれかに対する前記ビデオフィードからの前記一連の画像の量の取得をさせる、
請求項１５に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記命令は、さらに、前記プロセッサに、それぞれの画像に対する前記それぞれのキーポイントを前記人間の前記ポーズへと集約させた場合に、
キーポイントの複数のセットを判断させ、キーポイントのそれぞれのセットは、前記人間の個別の身体部分に対応し、
キーポイントのそれぞれのセットが他のキーポイントのセットに対してどのように移動するかに基づいて、キーポイントの相対的な移動のベクトルを判断させ、前記ポーズにて、前記キーポイントの相対的な移動のベクトルを付け加えさせる、
請求項１０に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記意図は、機械学習、統計分析、および心理的行動モデルの少なくとも１つを前記複数の一連の画像のそれぞれの画像へ適用して用いて判断される、
請求項１０に記載のコンピュータ可読記憶媒体。