【手続補正書】
【提出日】令和2年8月20日(2020.8.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオに中の仮想オブジェクトをボカす方法であって、前記ビデオは、デバイスによってキャプチャされ、前記方法は前記デバイスによって実行され、前記方法は、
前記ビデオの初期イメージを取得することと、
前記ビデオの現在のイメージを取得することと、
前記デバイスの動きに基づいて、前記初期イメージと前記現在のイメージとの間の前記仮想オブジェクトの見かけの動きベクトルを推定することと、
前記見かけの動きベクトルに基づいて前記仮想オブジェクトをボカすことと、
を含む、方法。
【請求項２】
前記初期イメージは、初期デバイスポーズで前記デバイスによってキャプチャされ、前記現在のイメージは、現在のデバイスポーズで前記デバイスによってキャプチャされ、前記デバイスの前記動きは、前記初期デバイスポーズから前記現在のデイバスポーズへ動くときに前記デバイスの少なくとも１つの動きセンサに関連付けられる角速度から取得される、請求項１に記載の方法。
【請求項３】
前記見かけの動きベクトルを前記推定することが、さらに、初期デバイスポーズと前記デバイスの前記動きに基づいて、前記現在のデバイスポーズを推定することを含む、請求項１乃至２のいずれか１項記載の方法。
【請求項４】
前記見かけの動きベクトル及び前記初期イメージにおける初期オブジェクトロケーションに基づいて前記現在のイメージにおける現在のオブジェクトロケーションを推定することをさらに含む、請求項１乃至３のいずれか１項記載の方法。
【請求項５】
前記仮想オブジェクトが軌道を有し、前記方法がさらに、
前記軌道及び初期オブジェクトポジションに基づいて現在のオブジェクトポジションを推定することと、
前記現在のイメージにおける前記現在のオブジェクトポジションの投射に基づいて前記現在のイメージにおける現在のオブジェクトロケーションを推定することと、
を含む、請求項１乃至３のいずれか１項記載の方法。
【請求項６】
前記仮想オブジェクトの前記見かけの動きベクトルを推定することは、前記現在のイメージにおける前記現在のオブジェクトロケーションと前記初期イメージにおける初期オブジェクトロケーションとの間の差に基づく、請求項５に記載の方法。
【請求項７】
前記仮想オブジェクトをボカすことは、空間フィルタ長と空間フィルタ方向とに基づいて前記仮想オブジェクトをフィルタリングすることを含み、前記空間フィルタ方向は、前記見かけの動きベクトルの方向に対応し、前記空間フィルタ長は、前記見かけの動きベクトルのモジュールの因子であり、前記空間フィルタ長は、隣接する画素の数に対応している、請求項１乃至６のいずれか１項記載の方法。
【請求項８】
前記因子は、前記デバイスのシャッタアパーチャ期間に対応する、請求項７記載の方法。
【請求項９】
前記仮想オブジェクトをフィルタリングすることは、
前記現在のイメージに対する前記仮想オブジェクトのマスクを取得することであって、前記マスクは、前記仮想オブジェクトに対応する前記現在のイメージのピクセルに対する非ゼロの色値と重み値を含み、
前記決定された空間フィルタに従って前記マスクを空間的にフィルタ処理することと、
前記現在のイメージを前記仮想オブジェクトの前記空間的にフィルタ処理されたマスクと混ぜ合わせることと、
を含む、請求項７又は８に記載の方法。
【請求項１０】
先行するデバイスポーズで前記デイバスによってキャプチャされた先行するイメージに基づいて初期デバイスポーズを推定することをさらに含み、前記初期デバイスポーズを前記推定することは、さらに前記先行するデバイスポーズと、前記先行するデバイスポーズから前記初期デバイスポーズへの前記デバイスの先行する動きに基づく、請求項２乃至９のいずれか１項記載の方法。
【請求項１１】
ユーザインタフェースから、前記初期イメージに前記仮想オブジェクトを挿入することであって、前記挿入することは、前記仮想オブジェクトの頂点を、前記初期イメージにおける初期オブジェクトロケーションと関連付けることを含み、
前記初期オブジェクトロケーションに対応する初期オブジェクトポジションに対して初期デバイスポーズを推定することと、
を含む、請求項３乃至９のいずれか１項記載の方法。
【請求項１２】
ビデオを取得し、前記ビデオにおいて仮想オブジェクトをボカすデバイスであって、
前記ビデオの初期イメージを取得する手段と、
前記ビデオの現在のイメージを取得する手段と、
前記デイバスの動きに基づいて、前記初期イメージと前記現在のイメージとの間の前記仮想オブジェクトの見かけの動きベクトルを推定する手段と、
前記見かけの動きベクトルに基づいて前記仮想オブジェクトをボカす手段と、
を備える、デバイス。
【請求項１３】
前記初期イメージは、初期デバイスポーズでカメラによってキャプチャされ、前記現在のイメージは、現在のデバイスポーズで前記カメラによってキャプチャされ、前記見かけの動きベクトルは、前記初期デバイスポーズから前記現在のデイバスポーズへ動くときに前記カメラの動きを示す少なくとも１つの動きセンサに関連付けられる角速度に基づいて推定される、請求項１２に記載のデバイス。
【請求項１４】
前記見かけの動きベクトルを推定するための前記手段が、さらに、初期デバイスポーズと前記デバイスの前記動きに基づいて、前記現在のデバイスポーズを推定する手段を含む、請求項１２乃至１３のいずれか１項記載のデバイス。
【請求項１５】
ビデオに中の仮想オブジェクトをボカすコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサによって、
前記ビデオの初期イメージを取得することと、
前記ビデオの現在のイメージを取得することと、
前記デバイスの動きに基づいて、前記初期イメージと前記現在のイメージとの間の前記仮想オブジェクトの見かけの動きベクトルを推定することと、
前記見かけの動きベクトルに基づいて前記仮想オブジェクトをボカすこと、
を実行可能なプログラムコード命令を含む、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
例となる非制限的な実施形態によると、処理デバイス５は、下記を含む組に属するデバイスである：
・カメラ；
・スマートフォン；
・タブレット；
・ポータブルゲームデバイス；
・ＨＭＤ（ヘッドマウントデバイス）；
・スマートグラス。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ビデオに中の仮想オブジェクト（２０）をボカす方法であって、前記ビデオは、デバイス（１）によってキャプチャされ、前記方法は前記デバイス（１）によって実行され、前記方法は、
前記ビデオの初期イメージ（２１０）をキャプチャすること（Ｓ１１０）と、
前記ビデオの現在のイメージ（２２０）をキャプチャすること（Ｓ１２０）と、
前記デバイス（１）の動きに基づいて、前記初期イメージ（２１０）と前記現在のイメージ（２２０）との間の前記仮想オブジェクト（２０）の見かけの動きベクトル（３０）を推定すること（Ｓ１３０）と、
前記見かけの動きベクトル（３０）に基づいて前記現在のイメージ（２２０）の少なくとも１部にフィルタ処理すること（Ｓ１４０）と、
を含む、方法。
（付記２）
前記デバイス（１）は、さらに、少なくとも１つの動きセンサと、初期デバイスポーズ（２１）で前記デバイス（１）によってキャプチャされた前記初期イメージ（２１０）と、現在のデバイスポーズ（２２）で前記デバイス（１）によってキャプチャされた前記現在のイメージ（２２０）と、前記初期デバイスポーズ（２１）から前記現在のデイバスポーズ（２２）へ動くときに前記デバイス（１）の前記少なくとも１つの動きセンサによって生成されたデータから取得された前記デバイス（１）の前記動きと、を含む、付記１に記載の方法。
（付記３）
前記見かけの動きベクトル（３０）を前記推定すること（Ｓ１３０）が、さらに、初期デバイスポーズ（２１）と前記デバイス（１）の前記動きに基づいて、前記現在のデバイスポーズ（２２）を推定することを含む、付記１乃至２のいずれか１項記載の方法。
（付記４）
前記見かけの動きベクトル（３０）及び前記初期イメージ（２１０）における初期オブジェクトロケーション（２１１）に基づいて前記現在のイメージ（２２０）における現在のオブジェクトロケーション（２２１）を推定することをさらに含む、付記１乃至３のいずれか１項記載の方法。
（付記５）
前記仮想オブジェクト（２０）が軌道を有し、前記方法がさらに、
前記軌道及び初期オブジェクトポジションに基づいて現在のオブジェクトポジションを推定すること（Ｓ１２２）と、
前記現在のイメージ（２２０）における前記現在のオブジェクトポジションの投射に基づいて前記現在のイメージ（２２０）における現在のオブジェクトロケーション（２２１）を推定すること（Ｓ１２４）と、
を含む、付記１乃至３のいずれか１項記載の方法。
（付記６）
前記仮想オブジェクト（２０）の前記見かけの動きベクトル（３０）を推定すること（Ｓ１３０）は、前記現在のイメージ（２２０）における前記現在のオブジェクトロケーション（２２１）と前記初期イメージ（２１０）における初期オブジェクトロケーション（２１１）との間の差に基づく、付記５に記載の方法。
（付記７）
前記フィルタ処理すること（Ｓ１４０）がさらに、空間フィルタ長（４０１）と空間フィルタ方向（４００）を決定することを含み、
前記空間フィルタ方向（４００）は、前記見かけの動きベクトル（３０）の方向に対応し、
前記空間フィルタ長（４０１）は、前記見かけの動きベクトル（３０）のモジュールの因子であり、前記空間フィルタ長（４０１）は、隣接する画素（４１、４２）の数に対応している、付記１乃至６のいずれか１項記載の方法。
（付記８）
前記因子は、前記デバイス（１）のシャッタアパーチャ期間に対応する、付記７記載の方法。
（付記９）
前記現在のイメージ（２２０）の少なくとも一部を前記フィルタ処理すること（Ｓ１４０）は、さらに、
前記現在のイメージ（２２０）に対する前記仮想オブジェクト（２０）のマスクを取得することであって、前記マスクは、前記仮想オブジェクト（２に対応する前記現在のイメージ（２２０）の各ピクセルに対する非ゼロの色値と重み値を含み、
前記決定された空間フィルタに従って前記マスクを空間的にフィルタ処理することと、
前記現在のイメージ（２２０）を前記仮想オブジェクト（２０）の前記空間的にフィルタ処理されたマスクと混ぜ合わせることと、
を含む、付記７又は８に記載の方法。
（付記１０）
先行するデバイスポーズで前記デイバス（１）によってキャプチャされた先行するイメージに基づいて初期デバイスポーズ（２１）を推定することをさらに含み、前記初期デバイスポーズを前記推定することは、さらに前記先行するデバイスポーズと、前記先行するデバイスポーズから前記初期デバイスポーズ（２１）への前記デバイス（１）の先行する動きに基づく、付記２乃至９のいずれか１項記載の方法。
（付記１１）
ユーザインタフェースから、前記初期イメージ（２１０）に前記仮想オブジェクトを挿入することであって、前記挿入することは、前記仮想オブジェクト（２０）の頂点（２００）を、前記初期イメージ（２１０）における初期オブジェクトロケーション（２１１）と関連付けることを含み、
前記初期オブジェクトロケーション（２１１）に対応する初期オブジェクトポジションに対して初期デバイスポーズ（２１）を推定することと、
を含む、付記３乃至９のいずれか１項記載の方法。
（付記１２）
ビデオをキャプチャし、前記ビデオにおいて仮想オブジェクト（２０）をボカすデバイス（１）であって、
前記ビデオの初期イメージ（２１０）をキャプチャする手段と、
前記ビデオの現在のイメージ（２２０）をキャプチャする手段と、
前記デイバス（１）の動きに基づいて、前記初期イメージ（２１０）と前記現在のイメージ（２２０）との間の前記仮想オブジェクト（２０）の見かけの動きベクトル（３０）を推定する手段と、
前記見かけの動きベクトル（３０）に基づいて前記現在のイメージ（２２０）の少なくとも１部をフィルタ処理するための手段と、
を備える、デバイス。
（付記１３）
前記デバイス（１）は、さらに、少なくとも１つの動きセンサと、初期デバイスポーズ（２１）で前記デバイス（１）によってキャプチャされた前記初期イメージ（２１０）と、現在のデバイスポーズ（２２）で前記デバイス（１）によってキャプチャされた前記現在のイメージ（２２０）と、前記デバイス（１）の前記少なくとも１つの動きセンサによって生成されたデータから取得され、前記初期デバイスポーズ（２１）から前記現在のデイバスポーズ（２２）へ動く、前記デバイスの前記動きと、を含む、付記１２に記載のデバイス。
（付記１４）
前記見かけの動きベクトル（３）を推定するための前記手段が、さらに、初期デバイスポーズ（２１）と前記デバイス（１）の前記動きに基づいて、前記現在のデバイスポーズ（２２）を推定する手段を含む、付記１２乃至１３のいずれか１項記載のデバイス。
（付記１５）
ビデオに中の仮想オブジェクト（２０）をボカすコンピュータプログラムであって、前記コンピュータプログラムは、プロセッサによって、
前記ビデオの初期イメージ（２１０）をキャプチャすること（Ｓ１１０）と、
前記ビデオの現在のイメージをキャプチャすること（Ｓ１２０）と、
前記デバイスの動きに基づいて、前記初期イメージ（２１０）と前記現在のイメージ（２２０）との間の前記仮想オブジェクト（２０）の見かけの動きベクトル（３０）を推定すること（Ｓ１３０）と、
前記見かけの動きベクトル（３０）に基づいて前記現在のイメージ（２２０）の少なくとも１部にフィルタ処理すること（Ｓ１４０）と、
を実行可能なプログラムコード命令を含む、コンピュータプログラム。