【手続補正書】
【提出日】平成29年2月10日(2017.2.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータプログラムモジュールでプログラムされるプロセッサを備えるコンピュータ装置で実行される、動画画像処理に基づいて触覚フィードバックを提供するコンピュータ実行可能な方法であって、
一又は複数の画像フレームを含む一又は複数の動画を読み込む工程と、
当該一又は複数の画像フレームに画像処理を実行する工程と、
当該画像処理に基づいてイベントを検出する工程と、
検出されたイベントに基づいて、触覚出力を発生させるように構成された制御信号を提供する工程と、
を備える方法。
【請求項２】
前記イベントを検出する工程は、画像キャプチャ装置の動き、オブジェクトの外観、体の部分の外観、爆発、移動中のオブジェクト、特定の認識可能な画像の特徴、顔の表情、ジェスチャ、またはシーンのテーマを含む一又は複数の種類のイベントを検出する工程を含む、請求項１に記載のコンピュータ実行可能な方法。
【請求項３】
検出されたときに制御信号が提供される少なくとも１種類のイベントを指定する一又は複数のユーザ選択を受信する工程をさらに備え、
前記制御信号を提供することには、前記一又は複数のユーザ選択によって指定された前記少なくとも１種類のイベントが検出されたときに、前記制御信号を提供することが含まれる、
請求項２に記載のコンピュータ実行可能な方法。
【請求項４】
前記制御信号に基づいて触覚出力装置によって前記触覚フィードバックを生成する工程をさらに含む、請求項１に記載のコンピュータ実行可能な方法。
【請求項５】
前記一又は複数の動画が前記触覚フィードバックと協調して表示されるようにする工程をさらに備える、請求項４に記載のコンピュータ実行可能な方法。
【請求項６】
前記制御信号が前記一又は複数の動画に埋め込まれるように前記イベントをリアルタイムで検出する工程をさらに備える、請求項１に記載のコンピュータ実行可能な方法。
【請求項７】
前記一又は複数の動画に前記制御信号を埋め込む工程と、前記一又は複数の動画を遠隔の装置に送信する工程と、をさらに備え、
前記一又は複数の動画および前記触覚フィードバックは、前記遠隔の装置において提供される、
請求項１に記載のコンピュータ実行可能な方法。
【請求項８】
前記一又は複数の画像フレームに関連付けられたセンサ情報を取得する工程をさらに備え、前記制御信号は、さらに前記センサ情報に基づくものである、請求項１に記載のコンピュータ実行可能な方法。
【請求項９】
前記一又は複数の画像フレームは前記一又は複数の画像フレームにキャプチャされたオブジェクトを含み、前記センサ情報は、前記オブジェクトのモーションの一又は複数のセンサ測定結果に関連する、請求項８に記載のコンピュータ実行可能な方法。
【請求項１０】
前記一又は複数の画像フレームに基づいて前記オブジェクトの前記モーションの第１推定値を生成し、前記一又は複数のセンサ情報の測定結果に基づいて前記オブジェクトの前記モーションの第２推定値を生成する工程と、
前記オブジェクトの前記モーションの前記第１推定値を前記オブジェクトの前記モーションの前記第２推定値で更新し、または、前記オブジェクトの前記モーションの前記第２推定値を前記オブジェクトの前記モーションの前記第１推定値で更新する工程と、をさらに備える、
請求項９に記載のコンピュータ実行可能な方法。
【請求項１１】
取得された前記センサ情報は、前記一又は複数の画像をキャプチャするために用いられる画像キャプチャ装置のモーションの一又は複数のセンサ測定結果に関するものである、請求項８に記載のコンピュータ実行可能な方法。
【請求項１２】
前記一又は複数の画像フレームに基づいて前記画像キャプチャ装置の前記モーションの第１推定値を生成し、前記一又は複数のセンサ情報の測定結果に基づいて前記画像キャプチャ装置の前記モーションの第２推定値を生成する工程と、
前記画像キャプチャ装置の前記モーションの前記第１推定値を前記画像キャプチャ装置の前記モーションの前記第２推定値で更新し、または、前記画像キャプチャ装置の前記モーションの前記第２推定値を前記画像キャプチャ装置の前記モーションの前記第１推定値で更新する工程と、をさらに備える、
請求項１１に記載のコンピュータ実行可能な方法。
【請求項１３】
取得された前記センサ情報は、前記一又は複数の動画に出現するオブジェクトのモーションの一又は複数の第１センサ測定結果および前記一又は複数の動画をキャプチャするために用いられる画像キャプチャ装置のモーションの一又は複数の第２センサ測定結果を含む、請求項８に記載のコンピュータ実行可能な方法。
【請求項１４】
前記一又は複数の画像フレームおよび前記一又は複数の第１センサ測定結果に基づいて前記画像キャプチャ装置の前記モーションの推定値を生成する工程と、
前記一又は複数の画像フレームおよび前記一又は複数の第２センサ測定結果に基づいて前記オブジェクトの前記モーションの推定値を生成する工程と、
前記画像キャプチャ装置の前記モーションの前記推定値および前記オブジェクトの前記モーションの前記推定値に基づいて、前記オブジェクトの前記モーションの前記推定値を更新する工程と、
をさらに備える、請求項１３に記載のコンピュータ実行可能な方法。
【請求項１５】
前記一又は複数の画像フレームに関連付けられたセンサ情報を取得する工程と、
前記センサ情報に基づいて第２の制御信号を提供する工程と、
をさらに備える、請求項１に記載のコンピュータ実行可能な方法。
【請求項１６】
コンピュータプログラムモジュールでプログラムされるプロセッサを備えるコンピュータ装置で実行される、動画と関連付けられたセンサ情報に基づいて触覚フィードバックを提供するコンピュータ実行可能な方法であって、
前記一又は複数の動画に関連付けてキャプチャされたモーションの一又は複数の測定結果を含み、一又は複数の動画および当該一又は複数の動画に対応付けられたセンサ情報を読み取る工程と、
前記センサ情報に基づいて、触覚出力を発生させるように構成された制御信号を提供する工程と、
前記一又は複数の動画と関連付けてキャプチャされた前記モーションと同期させて前記制御信号を提供する工程と、
を備える方法。
【請求項１７】
前記一又は複数の動画は、当該一又は複数の動画にキャプチャされたオブジェクトを含む一又は複数の画像フレームを有し、前記モーションは、前記オブジェクトのモーションを含む、請求項１６に記載のコンピュータ実行可能な方法。
【請求項１８】
前記一又は複数の画像フレームに基づいて前記オブジェクトの前記モーションの第１推定値を生成し、前記一又は複数のセンサ情報の測定結果に基づいて前記オブジェクトの前記モーションの第２推定値を生成する工程と、
前記オブジェクトの前記モーションの前記第１推定値を前記オブジェクトの前記モーションの前記第２推定値で更新し、または、前記オブジェクトの前記モーションの前記第２推定値を前記オブジェクトの前記モーションの前記第１推定値で更新する工程と、
をさらに備える、請求項１７に記載のコンピュータ実行可能な方法。
【請求項１９】
前記モーションは、前記一又は複数の動画をキャプチャするために用いられる画像キャプチャ装置のモーションを含む、請求項１６に記載のコンピュータ実行可能な方法。
【請求項２０】
前記一又は複数の画像フレームに基づいて前記画像キャプチャ装置の前記モーションの第１推定値を生成し、前記一又は複数のセンサ情報の測定結果に基づいて前記画像キャプチャ装置の前記モーションの第２推定値を生成する工程と、
前記画像キャプチャ装置の前記モーションの前記第１推定値を前記画像キャプチャ装置の前記モーションの前記第２推定値で更新し、または、前記画像キャプチャ装置の前記モーションの前記第２推定値を前記画像キャプチャ装置の前記モーションの前記第１推定値で更新する工程と、
をさらに備える、請求項１９に記載のコンピュータ実行可能な方法。
【請求項２１】
取得された前記センサ情報は、前記一又は複数の動画に出現するオブジェクトのモーションの一又は複数の第１センサ測定結果および前記一又は複数の動画をキャプチャするために用いられる画像キャプチャ装置のモーションの一又は複数の第２センサ測定結果を含む、請求項１６に記載のコンピュータ実行可能な方法。
【請求項２２】
前記一又は複数の動画は、当該一又は複数の動画にキャプチャされたオブジェクトを含む一又は複数の画像フレームを有し、
前記方法は、
前記一又は複数の画像フレームおよび前記一又は複数の第１センサ測定結果に基づいて前記画像キャプチャ装置の前記モーションの推定値を生成する工程と、
前記一又は複数の画像フレームおよび前記一又は複数の第２センサ測定結果に基づいて前記オブジェクトの前記モーションの推定値を生成する工程と、
前記画像キャプチャ装置の前記モーションの前記推定値および前記オブジェクトの前記モーションの前記推定値に基づいて、前記オブジェクトの前記モーションの前記推定値を更新する工程と、
をさらに備える、請求項２１に記載のコンピュータ実行可能な方法。
【請求項２３】
動画画像処理に基づいて触覚フィードバックを提供するシステムであって、当該システムはプロセッサを備え、当該プロセッサは、
一又は複数の画像フレームを含む一又は複数の動画を読み込み、
当該一又は複数の画像フレームに画像処理を実行し、
当該画像処理に基づいてイベントを検出し、
検出された前記イベントに基づいて触覚出力を発生させるように構成された制御信号を提供する、
ように構成される、システム。
【請求項２４】
動画画像処理に基づいて触覚フィードバックを提供するシステムであって、当該システムはプロセッサを備え、当該プロセッサは、
前記一又は複数の動画に関連付けてキャプチャされたモーションの一又は複数の測定結果を含み、一又は複数の動画および当該一又は複数の動画に対応付けられたセンサ情報を読み取り、
前記センサ情報に基づいて、触覚出力を発生させるように構成された制御信号を提供し、
前記一又は複数の動画と関連付けてキャプチャされた前記モーションと同期させて前記制御信号を提供する、
ように構成される、システム。