【手続補正書】
【提出日】平成28年5月9日(2016.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成する方法であって、
前記シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューと、前記第１のビューの深度マップ又は前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップとを含み、
前記方法は、１つの画像について、
前記深度マップ又は前記視差マップから、前記第２のビューの、複数のオクルージョンされた画素を含む少なくとも１つのオクルージョン画像を取得する段階と、
前記少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を、前記複数のオクルージョンされた画素を互いの近くに移動させるように、空間的に再配置することにより、コンパクト化されたオクルージョン画像を生成する段階と
を備え、
前記三次元ビデオストリームは、１つの画像について、前記第１のビュー、前記深度マップ又は前記視差マップ、及び、前記少なくとも１つのコンパクト化されたオクルージョン画像を含む、方法。
【請求項２】
前記少なくとも１つの第２のビューの前記少なくとも１つのコンパクト化された画像は、
前記第１のビューの複数の復号化された値から、又は、前記第１のビューから及び前記第１のビューに対応する前記深度マップから、前記少なくとも１つの第２のビューの少なくとも１つの第１の推定されたシーケンスの少なくとも１つの第１のオクルージョンマップを決定する段階であって、前記第１のオクルージョンマップは、前記複数のオクルージョンの複数の位置の表現を含む、前記決定する段階と、
前記少なくとも１つの第１のオクルージョンマップに表される前記複数のオクルージョンのものに対応している複数の位置の前記画像の前記少なくとも１つの第２のビューのものに対応している複数の値をもつ前記少なくとも１つのオクルージョン画像を決定する段階と、
前記少なくとも１つのオクルージョンマップに表される前記複数のオクルージョンのものに対応している前記複数の位置のための前記少なくとも１つのオクルージョン画像の空間コンパクト化を決定することで、前記少なくとも１つの第２のビューの前記少なくとも１つのコンパクト化されたオクルージョン画像を得る段階と
によって得られる、請求項１に記載の方法。
【請求項３】
前記空間コンパクト化は、前記少なくとも１つのオクルージョンマップに表される前記複数のオクルージョンのものに対応する前記複数の位置に位置している、前記少なくとも１つのオクルージョン画像の複数のオクルージョン画素を、前記少なくとも１つのオクルージョン画像の複数の画像の１又は複数の側に移動させることにより得られる、請求項２に記載の方法。
【請求項４】
前記複数のオクルージョン画素は、前記少なくとも１つのオクルージョン画像の前記画像の前記複数の側の１つに向けて行ごとに移動され、
前記移動は、複数のオクルージョン位置に対応しない前記少なくとも１つのオクルージョン画像の複数の中間画素を除去して、前記複数のオクルージョン画素の相対シーケンスを、行ごとに保存する、又は水平方向に逆にすることにより生じる、請求項３に記載の方法。
【請求項５】
前記複数のオクルージョン画素は、複数のオクルージョン位置に対応していない前記少なくとも１つのオクルージョン画像の複数の中間画素を除去することにより、行ごとに前記少なくとも１つのオクルージョン画像の前記画像の両側に向けて移動され、前記少なくとも１つのオクルージョン画像の前記複数の画像の第１のグループの行の第１の側と、第２のグループの行の第２の側とに向けて移動され、前記第１のグループの行と前記第２のグループの行とは、隣接しているか交互の行である、請求項３に記載の方法。
【請求項６】
前記複数のオクルージョン画素は、行ごとに前記少なくとも１つのオクルージョン画像の前記画像の両側に向けて移動され、
複数のオクルージョン位置に対応しない前記少なくとも１つのオクルージョン画像の複数の中間画素を除去して、第２のグループの行を複数の画素から自由なままにしておくことにより、第１のグループの行の前記複数の画素は、前記第１のグループの行の前記画像の第１の側に向けて移動され、前記第２のグループの行の前記複数の画素は、前記少なくとも１つのオクルージョン画像の前記複数の画像の前記第１のグループの行の前記画像の第２の側に向けて移動される、前記請求項３に記載の方法。
【請求項７】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成するデバイスであって、
前記シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューと、前記第１のビューの深度マップ又は前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップとを含み、
前記デバイスは、
前記第１のビューの深度マップから、又は、前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップから、前記少なくとも１つの第２のビューの複数のオクルージョンされた画素を含む前記少なくとも１つのオクルージョン画像を取得する手段と、
前記少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を、前記複数のオクルージョンされた画素を互いに近くに移動させるように、空間的に再配置することにより、前記少なくとも１つのコンパクト化されたオクルージョン画像を生成する手段と、
１つの画像について、前記第１のビュー、前記深度マップ又は前記視差マップ、及び、前記少なくとも１つのコンパクト化されたオクルージョン画像を含む前記三次元ビデオストリームを生成する手段と
を備える、デバイス。
【請求項８】
前記少なくとも１つのコンパクト化されたオクル―ジョン画像を生成する手段は、
前記第１のビューの複数の復号化された値から、又は、前記第１のビューから及び前記第１のビューに対応する前記深度マップから、前記少なくとも１つの第２のビューの前記少なくとも１つの第１の推定されたシーケンスの前記少なくとも１つの第１のオクルージョンマップを決定する手段であって、前記第１のオクルージョンマップは、前記複数のオクルージョンの複数の位置の表現を含む、前記決定する手段と、
前記少なくとも１つの第１のオクルージョンマップに表される前記複数のオクルージョンのものに対応している複数の位置の前記画像の前記少なくとも１つの第２のビューのものに対応している複数の値をもつ複数の画像の前記少なくとも１つのオクルージョン画像を決定する手段と、
前記少なくとも１つのオクルージョンマップの前記複数のオクル―ジョンのものに対応している前記複数の位置のための前記少なくとも１つのオクルージョン画像の空間コンパクト化を決定することで、前記少なくとも１つの第２のビューの前記少なくとも１つのコンパクト化されたオクルージョン画像を得る手段と
を有する、請求項７に記載のデバイス。
【請求項９】
複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築する方法であって、１つの画像について、
前記複数のビデオ画像のシーケンスの第１のビュー、前記第１のビューの深度マップ、又は、前記第１のビューと前記複数のビデオ画像のシーケンスの少なくとも１つの第２のビューとの間の視差マップ、及び、複数のオクルージョンされた画素を互いの近くに移動させるよう前記少なくとも１つの第２のビューの少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで得られた少なくとも１つのコンパクト化されたオクルージョン画像とを受信する段階と、
前記少なくとも１つのコンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化の動作の前にあった位置に再配置された前記少なくとも１つの第２のビューの前記複数のオクルージョンされた画素を含む少なくとも１つの再構築されたオクルージョン画像を得る段階と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記少なくとも１つの再構築されたオクルージョン画像から、前記少なくとも１つの第２のビューを再構築する段階と
を備え、
前記再構築された三次元ストリームは、受信された前記第１のビューと、前記少なくとも１つの再構築された第２のビューとを含む、方法。
【請求項１０】
前記少なくとも１つの第２のビューは、
前記第１のビューから、及び前記深度マップから得られた複数の値を利用することで、前記少なくとも１つの第２のビューの少なくとも１つの第２の推定されたシーケンスを決定する段階であって、前記少なくとも１つの第２の推定されたシーケンスは、複数のオクルージョン領域を含むよう適合されている、前記決定する段階と、
前記少なくとも１つの第２の推定されたシーケンスの少なくとも１つの第２のオクルージョンマップを決定する段階であって、前記少なくとも１つの第２のオクルージョンマップは、前記複数のオクルージョンの複数の位置の表現を含む、前記決定する段階と、
アンコンパクト化されたオクルージョン画像を含む少なくとも１つの第２のオクルージョン画像を得て、前記少なくとも１つの第２のオクルージョンマップに表される前記複数の位置に基づいて前記少なくとも１つの第２のビューの前記複数のオクルージョンの複数の元の位置を復元するべく、前記少なくとも１つのコンパクト化されたオクルージョン画像の複数のコンパクト化されたオクルージョンを空間的にアンコンパクト化する段階と、
前記少なくとも１つの第２の推定されたシーケンスの複数の対応する位置に前記少なくとも１つの第２のオクルージョン画像の複数のオクルージョン位置の前記複数のオクルージョンされた画素を置き換え、他方で、前記少なくとも１つの第２の推定されたシーケンスの他の複数の位置を変更なしに維持することで、少なくとも１つの第２のビューを得る段階と
によって再構築される、請求項９に記載の方法。
【請求項１１】
複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築するデバイスであって、
前記複数のビデオ画像のシーケンスの第１のビュー、前記第１のビューの深度マップ、又は、前記第１のビューと前記複数のビデオ画像のシーケンスの少なくとも１つの第２のビューとの間の視差マップ、及び、複数のオクルージョンされた画素を互いの近くに移動させるよう前記少なくとも１つの第２のビューの少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで得られた少なくとも１つのコンパクト化されたオクルージョン画像とを受信する手段と、
前記少なくとも１つのコンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化の動作の前にあった位置に前記少なくとも１つの第２のビューの前記複数のオクルージョンされた画素を再配置することで少なくとも１つの再構築されたオクルージョン画像を得る手段と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記少なくとも１つの再構築されたオクルージョン画像から、前記少なくとも１つの第２のビューを再構築する手段と
を備える、デバイス。
【請求項１２】
前記少なくとも１つの第２のビューを再構築する手段は、
前記第１のビューから、及び復号化された深度マップから得られた複数の値を利用することで、前記少なくとも１つの第２のビューの少なくとも１つの第２の推定されたシーケンスを得る手段であって、前記少なくとも１つの第２の推定されたシーケンスは、複数のオクルージョン領域を含みうる、前記得る手段と、
前記少なくとも１つの第２の推定されたシーケンスの前記少なくとも１つの第２のオクルージョンマップを決定する手段であって、前記少なくとも１つの第２のオクルージョンマップは、前記複数のオクルージョンの複数の位置の表現を含む、前記決定する手段と、
前記少なくとも１つのオクルージョンマップに表される前記複数のオクルージョンの前記位置に基づいてアンコンパクト化されたオクルージョン画像を含む前記少なくとも１つの第２のオクルージョン画像を得て、前記少なくとも１つの第２のビューの前記複数のオクルージョンの複数の実際の元の位置を復元するべく、前記少なくとも１つのコンパクト化されたオクルージョン画像の複数のコンパクト化されたオクルージョンを空間的にアンコンパクト化する手段と、
前記少なくとも１つの第２の推定されたシーケンスの複数の対応する位置に前記少なくとも１つの第２のオクルージョン画像の複数のオクルージョン位置の前記複数のオクルージョンされた画素を置き換え、他方で、前記少なくとも１つの第２の推定されたシーケンスの他の複数の位置を変更なしに維持することで、少なくとも１つの第２のビューを得る手段と
を有する、請求項１１に記載のデバイス。
【請求項１３】
複数の三次元画像のシーケンスを表すビデオストリームであって、
前記複数の三次元画像のシーケンスの第１のビューと少なくとも１つの第２のビューとを備え、
前記ストリームは、
前記第１のビューの符号化と、
前記第１のビューに対応する深度マップの、又は前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップの符号化と、
前記少なくとも１つの第２のビューのコンパクト化されたオクル―ジョン画像の符号化と
を備え、
前記コンパクト化されたオクルージョン画像は、複数のオクルージョンされた画素を互いの近くに移動させるべく、少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することにより得られる、ビデオストリーム。
【請求項１４】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成する方法であって、
前記シーケンスは、１つの画像について、１つの第１のビューと少なくとも１つの第２のビューとを含み、前記少なくとも１つの第２のビューは、ｋ−１個のビューを含み、ｋ＞１の整数であり、
前記方法は、１つの画像について、
前記第１のビューをメインビューとして含む複数のビューの順序を構築する段階と、
それぞれが、深度マップ又は視差マップから及び前記メインビューから、対応するインデックスをもつ前記少なくとも１つの第２のビューの１つのオクルージョンされた画素を含むような、ｋ−１個のオクルージョン画像を取得する段階と、
各画素を互いの近くに移動させるべく、前記ｋ−１個のオクルージョン画像の複数のオクルージョンされた画素を空間的に再配置することで、ｋ−１個のコンパクト化されたオクルージョン画像を生成する段階と
を備え、
前記三次元ビデオストリームは、１つの画像について、前記第１のビュー、前記第１のビューの前記深度マップ、及び、複数のコンパクト化されたオクルージョン画像を含む、方法。
【請求項１５】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成するデバイスであって、
前記シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューとを含み、
前記少なくとも１つの第２のビューは、ｋ−１個のビューを含み、ｋ＞１の整数であり、前記デバイスは、請求項１４に記載の方法を実装するための手段を備える、デバイス。
【請求項１６】
三次元ビデオストリームを再構築する方法であって、
１つの画像について、１つの第１のビュー、前記第１のビューの深度マップ、又は前記第１のビューと複数のビデオ画像のシーケンスの少なくとも１つの第２のビューとの間の視差マップを含む前記複数のビデオ画像のシーケンスを受信する段階であり、前記少なくとも１つの第２のビューは、ｋ−１個のビューを含み、ｋ＞１の整数であり、前記少なくとも１つの第２のビューは更に、複数のオクルージョンされた画素を互いの近くに移動させるべく、前記ｋ−１個のビューのオクルージョン画像の複数のオクルージョンされた画素を空間的に再配置することで得られたコンパクト化された前記オクルージョン画像を含む、段階を備え、
前記方法は、１つの画像について、
前記コンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化の動作の前にあった位置に再配置された前記ｋ−１個のビューの前記複数のオクルージョンされた画素を含む、ｋ−１個の再構築されたオクルージョンされた画像を取得する段階と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記ｋ−１個の再構築されたオクルージョン画像から、前記ｋ−１個のビューを再構築する段階と
を備え、
前記再構築された三次元ストリームは、受信された前記第１のビューと前記ｋ−１個の再構築されたビューとを含む、方法。
【請求項１７】
複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築するデバイスであって、
前記シーケンスの１つの画像について、前記複数のビデオ画像のシーケンスの第１のビュー、前記第１のビューの深度マップ、又は前記第１のビューと前記複数のビデオ画像の前記シーケンスの少なくとも１つの第２のビューとの間の視差マップを受信する手段を備え、前記少なくとも１つの第２のビューは、ｋ−１個のビューを含み、ｋ＞１の整数であり、前記少なくとも１つの第２のビューは更に、複数のオクルージョンされた画素を互いの近くに移動させるべく、前記ｋ−１個のビューのオクルージョン画像の複数のオクルージョンされた画素を空間的に再配置することで得られたコンパクト化された前記オクルージョン画像を含み、
前記デバイスは、
前記コンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化の動作の前にあった位置に再配置された前記ｋ−１個のビューの前記複数のオクルージョンされた画素を含む、ｋ−１個の再構築されたオクルージョンされた画像を取得する手段と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記ｋ−１個の再構築されたオクルージョン画像から、前記ｋ−１個のビューを再構築する手段と
を備え、
前記再構築された三次元ストリームは、受信された前記第１のビューと前記ｋ−１個の再構築されたビューとを含む、デバイス。