【手続補正書】
【提出日】平成29年3月10日(2017.3.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のライブ画像を入手するステップであって、前記ライブ画像は、追跡されるオブジェクトを含む、入手するステップと、
前記複数のライブ画像内のライブ画像について、前記追跡されるオブジェクトに対する相対的なカメラ姿勢を判定するステップと、
前記カメラ姿勢に基づいて、前記追跡されるオブジェクトなしの複数の合成画像をレンダリングするステップであって、各合成画像は、別個のキーフレームから入手される、レンダリングするステップと、
前記追跡されるオブジェクトに関連する第1のマスク領域を判定するために、前記ライブ画像と前記合成画像とを比較するステップと、
前記複数の合成画像内の合成画像のサブセットに対する相対的な前記追跡されるオブジェクトに関連する前記第1のマスク領域内の複数の画素のオプティカルフローの大きさを計算するステップと、
前記第1のマスク領域内の前記複数の画素の各々について、前記オプティカルフローの大きさに部分的に基づいて合成画像の前記サブセットの各々内の対応する画素を判定するステップと、
前記第1のマスク領域内の前記複数の画素の各々の置換画素を判定するステップであって、各置換画素は、前記第1のマスク領域内の別個の画素に対応し、各置換画素は、前記第1のマスク領域内の前記画素に対応する合成画像の前記サブセット内の前記対応する画素の関数として判定される、判定するステップと
を含む方法。
【請求項２】
隠消現実感画像をレンダリングするステップをさらに含み、前記隠消現実感画像は、前記置換画素に少なくとも部分的に基づいて入手される、請求項1に記載の方法。
【請求項３】
前記第1のマスクによって示される画像内の領域内に仮想オブジェクトをレンダリングするステップをさらに含み、前記仮想オブジェクトは、現在のカメラ姿勢に基づいてレンダリングされる、請求項2に記載の方法。
【請求項４】
前記第1のマスクによって示される前記画像内の前記領域内に前記仮想オブジェクトをレンダリングするステップは、
前記画像内の少なくとも1つの既知の現実のオブジェクトの仮想表現を仮想zバッファ内にレンダリングするステップであって、前記現実のオブジェクトは、少なくとも部分的に前記第1のマスク内にある、レンダリングするステップと、
前記少なくとも1つの既知の現実のオブジェクトと前記仮想zバッファ内の前記仮想オブジェクトとの間のオクルージョンを解決するステップと、
前記画像と一致するように前記仮想zバッファをワープさせるステップであって、前記ワープさせるステップは、前記少なくとも1つの既知の現実のオブジェクトの前記仮想表現と前記画像内の前記少なくとも1つの既知の現実のオブジェクトとの間のオプティカルフローに部分的に基づく、ワープさせるステップと
を含む、請求項3に記載の方法。
【請求項５】
合成画像の前記サブセットの各々内の対応する画素を判定するステップは、
前記第1のマスク内の前記複数の画素の各々について、前記オプティカルフローに基づいて変位と輝度補正とを入手するステップ
を含む、請求項1に記載の方法。
【請求項６】
各置換画素は、合成画像の前記サブセット内の対応する画素の加重平均として判定され、前記サブセット内の合成画像内の対応する画素に関連する重みは、前記対応する画素の前記オプティカルフローの大きさと、前記ライブ画像と前記対応する画素に関連する前記合成画像との間の角変位とに基づく
請求項1に記載の方法。
【請求項７】
前記第1のマスク(M')領域は、前記追跡されるオブジェクトの回りの第2のマスク領域(M)を含み、M内の各置換画素の前記オプティカルフローの大きさは、境界M'-Mからの散乱データ補間によって判定される、請求項6に記載の方法。
【請求項８】
前記複数の合成画像および前記複数の合成画像の前記サブセットは、それぞれ、3つの合成画像を含む、請求項1に記載の方法。
【請求項９】
Simultaneous Localization and Mapping (SLAM)追跡技法が、前記カメラ姿勢を判定するのに使用される、請求項1に記載の方法。
【請求項１０】
追跡されるオブジェクトを含む複数の画像をキャプチャするための、画像化手段と、
複数のキーフレームを含む3Dモデルを記憶するためのストレージ手段と、
前記画像化手段および前記ストレージ手段に結合された処理手段であって、
前記複数のライブ画像内のライブ画像について、前記追跡されるオブジェクトに対する相対的な画像化手段姿勢を判定するための手段と、
前記画像化手段姿勢に基づいて、前記追跡されるオブジェクトなしの複数の合成画像をレンダリングするための手段であって、各合成画像は、別個のキーフレームから入手される、レンダリングするための手段と、
前記追跡されるオブジェクトに関連する第1のマスク領域を判定するために、前記ライブ画像と前記合成画像とを比較するための手段と、
前記複数の合成画像内の合成画像のサブセットに対する相対的な前記追跡されるオブジェクトに関連する前記第1のマスク領域内の複数の画素のオプティカルフローの大きさを計算するための手段と、
前記第1のマスク内の前記複数の画素の各々について、前記オプティカルフローの大きさに部分的に基づいて合成画像の前記サブセットの各々内の対応する画素を判定するための手段と、
前記第1のマスク内の前記複数の画素の各々の置換画素を判定するための手段であって、各置換画素は、前記第1のマスク内の別個の画素に対応し、各置換画素は、前記第1のマスク内の前記画素に対応する合成画像の前記サブセット内の前記対応する画素の関数として判定される、判定するための手段と
をさらに含む、処理手段と
を含む装置。
【請求項１１】
前記処理手段は、
隠消現実感画像をレンダリングするための手段であって、前記隠消現実感画像は、前記置換画素に少なくとも部分的に基づく、レンダリングするための手段
をさらに含む、請求項10に記載の装置。
【請求項１２】
前記処理手段は、
前記第1のマスクによって示される画像内の領域内に仮想オブジェクトをレンダリングするための手段であって、前記仮想オブジェクトは、現在の画像化手段姿勢に基づいてレンダリングされる、レンダリングするための手段
をさらに含む、請求項11に記載の装置。
【請求項１３】
前記第1のマスクによって示される前記画像内の前記領域内に前記仮想オブジェクトをレンダリングするための手段は、
前記画像内の少なくとも1つの既知の現実のオブジェクトの仮想表現を仮想zバッファ内にレンダリングするための手段であって、前記現実のオブジェクトは、少なくとも部分的に前記第1のマスク内にある、レンダリングするための手段と、
前記少なくとも1つの既知の現実のオブジェクトと前記仮想zバッファ内の前記仮想オブジェクトとの間のオクルージョンを解決するための手段と、
前記画像と一致するように前記仮想zバッファをワープさせるための手段であって、ワープさせることは、前記少なくとも1つの既知の現実のオブジェクトの前記仮想表現と前記画像内の前記少なくとも1つの既知の現実のオブジェクトとの間のオプティカルフローに部分的に基づく、ワープさせるための手段と
を含む、請求項12に記載の装置。
【請求項１４】
各置換画素は、合成画像の前記サブセット内の対応する画素の加重平均として判定され、前記サブセット内の合成画像内の対応する画素に関連する重みは、前記対応する画素の前記オプティカルフローの大きさと、前記ライブ画像と前記対応する画素に関連する前記合成画像との間の角変位とに基づく
請求項10に記載の装置。
【請求項１５】
プロセッサによって実行された時に、請求項1乃至9の何れか1項に記載の方法内のステップを実行する命令を含む非一時的コンピュータ可読記憶媒体。