【手続補正書】
【提出日】平成30年8月13日(2018.8.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、前記方法が、
複合画像とシーン構造マップとを使用して合成画像を生成することと、ここにおいて、前記複合画像が、前に復号された１つ以上の画像から構築され、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前に復号された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前に復号された前記画像のポイントの位置及び相対深度を示す座標値を含み、前記合成画像を生成することは、前記合成画像と前記現在画像とについてのカメラ姿勢が同じになるように、前記合成画像をレンダリングするために前記現在画像の前記カメラ姿勢の情報を利用することを備える、
前記ビデオデータ前記現在画像の残差画像を決定することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
前記合成画像と前記残差画像とを使用して前記現在画像を再構築することと
を備える、方法。
【請求項２】
前記残差画像を決定することが、前記現在画像の前記残差画像を受信することを備える、請求項１に記載の方法。
【請求項３】
前記合成画像を生成することが、
プロキシジオメトリを形成するために前記シーン構造マップのポイントを相互接続することと、
画像ベースモデルを形成するために前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることと、
前記合成画像を生成するために前記画像ベースモデルをレンダリングすることと
を備える、請求項１に記載の方法。
【請求項４】
テクスチャマッピングすることが、１つ以上の前に復号された画像のカメラ姿勢情報を使用して、前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることを備える、請求項３に記載の方法。
【請求項５】
前記現在画像の前記シーン構造マップの情報又は前記現在画像の前記シーン構造マップと前に復号された前記画像の前記シーン構造マップとの間の差分を示す情報のうちの１つを受信することと、
前記受信された情報を使用して前記シーン構造マップを生成することとを更に備え、
ここにおいて、前記合成画像を生成することが、前記複合画像と前記生成されたシーン構造マップを使用して前記合成画像を生成することを備える、又は、
前記残差画像を決定することが、前記現在画像の背景静的部分のための残差画像を決定することを備え、
前記現在画像を再構築することが、前記合成画像と前記現在画像の前記背景静的部分のための前記残差画像とを使用して前記現在画像を再構築することを備える、
請求項１に記載の方法。
【請求項６】
ビデオデータを符号化する方法であって、前記方法が、
複合画像とシーン構造マップとを使用して合成画像を生成することと、ここにおいて、前記複合画像が、前に符号化された１つ以上の画像から構築され、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前に符号化された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前に符号化された前記画像のポイントの位置及び相対深度を示す座標値を含み、前記合成画像を生成することは、前記合成画像と前記現在画像とについてのカメラ姿勢が同じになるように、前記合成画像をレンダリングするために前記現在画像の前記カメラ姿勢の情報を利用することを備える、
前記合成画像と前記現在画像とを使用して残差画像を決定することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
前記ビデオデータの前記現在画像を符号化するために、前記残差画像を示す情報を出力することと
を備える、方法。
【請求項７】
前記合成画像を生成することが、
プロキシジオメトリを形成するために前記シーン構造マップのポイントを相互接続することと、
画像ベースモデルを形成するために前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることと、
前記合成画像を生成するために前記画像ベースモデルをレンダリングすることと
を備える、請求項６に記載の方法。
【請求項８】
前記複合画像及びカメラ姿勢を構築するために使用される前記１つ以上の前に符号化された画像についてのカメラ姿勢情報を更に備え、
ここにおいて、テクスチャマッピングすることが、前記１つ以上の前に符号化された画像の前記カメラ位置及び方向情報を使用して、前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることを備える、請求項７に記載の方法。
【請求項９】
同時ローカライゼーション及びマッピング（ＳＬＡＭ）技法を利用してカメラ姿勢情報位置を決定することを更に備える、
請求項６に記載の方法。
【請求項１０】
同時ローカライゼーション及びマッピング（ＳＬＡＭ）技法を利用して前記シーン構造マップを生成すること、又は、
前記現在画像の前記シーン構造マップの情報又は前記現在画像の前記シーン構造マップと前に符号化された前記画像の前記シーン構造マップとの間の差分を示す情報のうちの１つを決定することと、
前記決定された情報を出力することと
を更に備える、請求項６に記載の方法。
【請求項１１】
前記合成画像が第１の合成画像を備え、前記方法が、
前記複合画像を構築するために使用される前記１つ以上の前に符号化された画像と前記現在画像とについてのカメラ位置とカメラ方向の一方又は両方を出力することを更に備え、ここにおいて、前記カメラ位置と前記カメラ方向の前記一方又は両方が、前記第１の合成画像と実質的に同様の第２の合成画像を生成するためにデコーダプロセッサによって使用される、
請求項６に記載の方法。
【請求項１２】
前記現在画像の前景非静的部分と前記現在画像の背景静的部分とを決定することを更に備え、
ここにおいて、前記残差画像を決定することが、前記合成画像と前記現在画像の前記背景静的部分とを使用して前記残差画像を決定することを備え、
ここにおいて、前記残差画像を出力することが、前記現在画像の前記前景非静的部分のための残差データを含む第２のレイヤとは異なる第１のレイヤ中の前記残差画像を出力することを備える、
請求項６に記載の方法。
【請求項１３】
ビデオデータをコード化するための機器であって、前記機器が、
前にコード化された、複合画像を構築するために使用される１つ以上の画像を記憶するように構成されたビデオメモリと、
コーダプロセッサとを備え、前記コーダプロセッサが、
前記複合画像とシーン構造マップとを使用して合成画像を生成することと、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前にコード化された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前にコード化された前記画像のポイントの位置及び相対深度を示す座標値を含み、前記合成画像を生成することは、前記合成画像と前記現在画像とについてのカメラ姿勢が同じになるように、前記合成画像をレンダリングするために前記現在画像の前記カメラ姿勢の情報を利用することを備える、
前記現在画像の残差画像を使用して前記現在画像をコード化することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
を行うように構成された、機器。
【請求項１４】
前記コーダプロセッサがデコーダプロセッサを備え、ここにおいて、前記デコーダプロセッサが、前記現在画像の前記残差画像を受信するように構成され、ここにおいて、前記現在画像をコード化するために、前記デコーダプロセッサが、前記合成画像と前記残差画像とを使用して前記現在画像を再構築することによって前記現在画像を復号するように構成された、請求項１３に記載の機器。
【請求項１５】
実行されたとき、ビデオデータをコード化するための機器のための１つ以上のプロセッサに、
複合画像とシーン構造マップとを使用して合成画像を生成することと、ここにおいて、前記複合画像が、前にコード化された１つ以上の画像から構築され、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前にコード化された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前にコード化された前記画像のポイントの位置及び相対深度を示す座標値を含み、前記合成画像を生成することは、前記合成画像と前記現在画像とについてのカメラ姿勢が同じになるように、前記合成画像をレンダリングするために前記現在画像の前記カメラ姿勢の情報を利用することを備える、
前記現在画像の残差画像を使用して前記現在画像をコード化することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
を行わせる命令を記憶したコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
[0157]様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、前記方法が、
複合画像とシーン構造マップとに基づいて合成画像を生成することと、ここにおいて、前記複合画像が、前に復号された１つ以上の画像から構築され、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前に復号された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前に復号された前記画像内の３次元ポイントのための座標値を含む、
前記ビデオデータ前記現在画像の残差画像を決定することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
前記合成画像と前記残差画像とに基づいて前記現在画像を再構築することと
を備える、方法。
［Ｃ２］
前記残差画像を決定することが、前記現在画像の前記残差画像を受信することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記合成画像を生成することが、
プロキシジオメトリを形成するために前記シーン構造マップのポイントを相互接続することと、
画像ベースモデルを形成するために前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることと、
前記合成画像を生成するために前記画像ベースモデルをレンダリングすることと
を備える、Ｃ１に記載の方法。
［Ｃ４］
テクスチャマッピングすることが、１つ以上の前に復号された画像のカメラ位置及び方向情報に基づいて、前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることを備え、ここにおいて、前記画像ベースモデルをレンダリングすることが、前記現在画像のカメラ位置及び方向情報に基づいて前記画像ベースモデルをレンダリングすることを備える、Ｃ３に記載の方法。
［Ｃ５］
前記現在画像の前記シーン構造マップの情報又は前記現在画像の前記シーン構造マップと前に復号された前記画像の前記シーン構造マップとの間の差分を示す情報のうちの１つを受信することと、
前記受信された情報に基づいて前記シーン構造マップを生成することとを更に備え、  ここにおいて、前記合成画像を生成することが、前記複合画像と前記生成されたシーン構造マップとに基づいて前記合成画像を生成することを備える、
Ｃ１に記載の方法。
［Ｃ６］
前記複合画像を構築するために使用される前記１つ以上の前に復号された画像と前記現在画像とについてのカメラ位置とカメラ方向の一方又は両方を受信することを更に備え、  ここにおいて、前記合成画像を生成することが、前記１つ以上の前に復号された画像と前記現在画像との前記カメラ位置と前記カメラ方向の一方又は両方に基づいて前記合成画像を生成することを備える、
Ｃ１に記載の方法。
［Ｃ７］
前記残差画像を決定することが、前記現在画像の背景静的部分のための残差画像を決定することを備え、
ここにおいて、前記現在画像を再構築することが、前記合成画像と前記現在画像の前記背景静的部分のための前記残差画像とに基づいて前記現在画像を再構築することを備える、
Ｃ１に記載の方法。
［Ｃ８］
ビデオデータを符号化する方法であって、前記方法が、
複合画像とシーン構造マップとに基づいて合成画像を生成することと、ここにおいて、前記複合画像が、前に符号化された１つ以上の画像から構築され、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前に符号化された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前に符号化された前記画像内の３次元ポイントのための座標値を含む、
前記合成画像と前記現在画像とに基づいて残差画像を決定することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
前記ビデオデータの前記現在画像を符号化するために、前記残差画像を示す情報を出力することと
を備える、方法。
［Ｃ９］
前記合成画像を生成することが、
プロキシジオメトリを形成するために前記シーン構造マップのポイントを相互接続することと、
画像ベースモデルを形成するために前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることと、
前記合成画像を生成するために前記画像ベースモデルをレンダリングすることと
を備える、Ｃ８に記載の方法。
［Ｃ１０］
前記複合画像を構築するために使用される前記１つ以上の前に符号化された画像についてのカメラ位置及び方向情報と、前記現在画像についてのカメラ位置及び方向情報とを決定することを更に備え、
ここにおいて、テクスチャマッピングすることが、前記１つ以上の前に符号化された画像の前記カメラ位置及び方向情報に基づいて、前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることを備え、
ここにおいて、前記画像ベースモデルをレンダリングすることが、前記現在画像のカメラ位置及び方向情報に基づいて前記画像ベースモデルをレンダリングすることを備える、Ｃ９に記載の方法。
［Ｃ１１］
同時ローカライゼーション及びマッピング（ＳＬＡＭ）技法を利用して前記現在画像の前記カメラ位置を決定することを更に備え、
ここにおいて、前記１つ以上の前に符号化された画像についての前記カメラ位置を決定することが、前記ＳＬＡＭ技法を利用して前記１つ以上の前に符号化された画像についての前記カメラ位置を決定することを備える、
Ｃ１０に記載の方法。
［Ｃ１２］
同時ローカライゼーション及びマッピング（ＳＬＡＭ）技法を利用して前記シーン構造マップを生成すること
を更に備える、Ｃ８に記載の方法。
［Ｃ１３］
前記現在画像の前記シーン構造マップの情報又は前記現在画像の前記シーン構造マップと前に符号化された前記画像の前記シーン構造マップとの間の差分を示す情報のうちの１つを決定することと、
前記決定された情報を出力することと
を更に備える、Ｃ８に記載の方法。
［Ｃ１４］
前記合成画像が第１の合成画像を備え、前記方法が、
前記複合画像を構築するために使用される前記１つ以上の前に符号化された画像と前記現在画像とについてのカメラ位置とカメラ方向の一方又は両方を出力することを更に備え、ここにおいて、前記カメラ位置と前記カメラ方向の前記一方又は両方が、前記第１の合成画像と実質的に同様の第２の合成画像を生成するためにデコーダプロセッサによって使用される、
Ｃ８に記載の方法。
［Ｃ１５］
前記現在画像の前景非静的部分と前記現在画像の背景静的部分とを決定することを更に備え、
ここにおいて、前記残差画像を決定することが、前記合成画像と前記現在画像の前記背景静的部分とに基づいて前記残差画像を決定することを備え、
ここにおいて、前記残差画像を出力することが、前記現在画像の前記前景非静的部分のための残差データを含む第２のレイヤとは異なる第１のレイヤ中の前記残差画像を出力することを備える、
Ｃ８に記載の方法。
［Ｃ１６］
ビデオデータをコード化するための機器であって、前記機器が、
前にコード化された、複合画像を構築するために使用される１つ以上の画像を記憶するように構成されたビデオメモリと、
コーダプロセッサとを備え、前記コーダプロセッサが、
前記複合画像とシーン構造マップとに基づいて合成画像を生成することと、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前にコード化された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前にコード化された前記画像内の３次元ポイントのための座標値を含む、
前記現在画像の残差画像に基づいて前記現在画像をコード化することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
を行うように構成された、機器。
［Ｃ１７］
前記コーダプロセッサがデコーダプロセッサを備え、ここにおいて、前記デコーダプロセッサが、前記現在画像の前記残差画像を受信するように構成され、ここにおいて、前記現在画像をコード化するために、前記デコーダプロセッサが、前記合成画像と前記残差画像とに基づいて前記現在画像を再構築することによって前記現在画像を復号するように構成された、Ｃ１６に記載の機器。
［Ｃ１８］
前記デコーダプロセッサが、
前記現在画像の前記シーン構造マップの情報又は前記現在画像の前記シーン構造マップと前記前にコード化された画像の前記シーン構造マップとの間の差分を示す情報のうちの１つを受信することと、
受信された前記情報に基づいて前記シーン構造マップを生成することとを行うように構成され、
ここにおいて、前記合成画像を生成するために、前記デコーダプロセッサが、前記複合画像と前記生成されたシーン構造マップとに基づいて前記合成画像を生成するように構成された、
Ｃ１７に記載の機器。
［Ｃ１９］
前記デコーダプロセッサが、
前記複合画像を構築するために使用される前記１つ以上の前にコード化された画像と前記現在画像とについてのカメラ位置とカメラ方向の一方又は両方を受信するように構成され、
ここにおいて、前記合成画像を生成するために、前記デコーダプロセッサが、前記１つ以上の前にコード化された画像と前記現在画像との前記カメラ位置と前記カメラ方向の一方又は両方に基づいて前記合成画像を生成するように構成された、
Ｃ１７に記載の機器。
［Ｃ２０］
前記コーダプロセッサがエンコーダプロセッサを備え、ここにおいて、前記現在画像をコード化するために、前記エンコーダプロセッサが、
前記合成画像と前記現在画像とに基づいて前記残差画像を決定することと、
前記ビデオデータの前記現在画像を符号化するために、前記残差画像を示す情報を出力することと
を行うように構成された、Ｃ１６に記載の機器。
［Ｃ２１］
前記エンコーダプロセッサが、同時ローカライゼーション及びマッピング（ＳＬＡＭ）技法を利用して前記シーン構造マップを生成するように構成された、Ｃ２０に記載の機器。
［Ｃ２２］
前記エンコーダプロセッサが、
前記現在画像の前記シーン構造マップの情報又は前記現在画像の前記シーン構造マップと前記前にコード化された画像の前記シーン構造マップとの間の差分を示す情報のうちの１つを決定することと、
前記決定された情報を出力することと
を行うように構成された、Ｃ２０に記載の機器。
［Ｃ２３］
前記合成画像が第１の合成画像を備え、ここにおいて、前記エンコーダプロセッサが、  同時ローカライゼーション及びマッピング（ＳＬＡＭ）技法を利用して前記１つ以上の前にコード化された画像についてのカメラ位置を決定することと、
前記複合画像を構築するために使用される１つ以上の前にコード化された画像と前記現在画像とについての前記カメラ位置とカメラ方向の一方又は両方を出力することと、ここにおいて、前記カメラ位置と前記カメラ方向の前記一方又は両方が、前記第１の合成画像と実質的に同様の第２の合成画像を生成するためにデコーダプロセッサによって使用される、
を行うように構成された、Ｃ２０に記載の機器。
［Ｃ２４］
前記合成画像を生成するために、前記コーダプロセッサがグラフィックス処理ユニット（ＧＰＵ）を備え、ここにおいて、前記ＧＰＵが前記合成画像を生成するように構成された、Ｃ１６に記載の機器。
［Ｃ２５］
前記合成画像を生成するために、前記コーダプロセッサが、
プロキシジオメトリを形成するために前記シーン構造マップのポイントを相互接続することと、
画像ベースモデルを形成するために前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることと、
前記合成画像を生成するために前記画像ベースモデルをレンダリングすることと
を行うように構成された、Ｃ１６に記載の機器。
［Ｃ２６］
テクスチャマッピングするために、前記コーダプロセッサが、１つ以上の前にコード化された画像のカメラ位置及び方向情報に基づいて、前記複合画像を前記プロキシジオメトリにテクスチャマッピングするように構成され、ここにおいて、前記画像ベースモデルをレンダリングするために、前記コーダプロセッサが、前記現在画像のカメラ位置及び方向情報に基づいて前記画像ベースモデルをレンダリングするように構成された、Ｃ２５に記載の機器。
［Ｃ２７］
前記残差画像が前記現在画像の背景静的部分のための残差画像を備え、
ここにおいて、前記現在画像をコード化するために、前記コーダプロセッサが、前記現在画像の前記背景静的部分のための前記残差画像に基づいて前記現在画像をコード化するように構成された、
Ｃ１６に記載の機器。
［Ｃ２８］
実行されたとき、ビデオデータをコード化するための機器のための１つ以上のプロセッサに、
複合画像とシーン構造マップとに基づいて合成画像を生成することと、ここにおいて、前記複合画像が、前にコード化された１つ以上の画像から構築され、ここにおいて、前記シーン構造マップが、前記ビデオデータの現在画像のシーン構造マップ又は前にコード化された前記ビデオデータの画像のシーン構造マップを備え、ここにおいて、前記シーン構造マップが、前記現在画像又は前にコード化された前記画像内の３次元ポイントのための座標値を含む、
前記現在画像の残差画像に基づいて前記現在画像をコード化することと、ここにおいて、前記残差画像が、前記現在画像と前記合成画像との間の差分を示す、
を行わせる命令を記憶したコンピュータ可読記憶媒体。
［Ｃ２９］
前記１つ以上のプロセッサに前記合成画像を生成させる前記命令が、前記１つ以上のプロセッサに、
プロキシジオメトリを形成するために前記シーン構造マップのポイントを相互接続することと、
画像ベースモデルを形成するために前記複合画像を前記プロキシジオメトリにテクスチャマッピングすることと、
前記合成画像を生成するために前記画像ベースモデルをレンダリングすることと
を行わせる命令を備える、Ｃ２８に記載のコンピュータ可読記憶媒体。