(57)【要約】  複数のビデオ画像のシーケンスから三次元ビデオストリームを生成する方法であって、シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューと、第１のビューの深度マップ又は第１のビューに対する少なくとも１つの第２のビューの視差マップとを含み、方法は、１つの画像について、深度マップ又は視差マップから、第２のビューの、複数のオクルージョンされた画素を含む少なくとも１つのオクルージョン画像を取得する段階と、少なくとも１つのオクルージョン画像の複数のオクルージョンされた画素を、複数のオクルージョンされた画素を互いの近くに移動させるように、空間的に再配置することにより、コンパクト化されたオクルージョン画像を生成する段階と、を備え、三次元ビデオストリームは、１つの画像について、第１のビュー、深度マップ又は視差マップ、及び、少なくとも１つのコンパクト化されたオクルージョン画像を含む、方法である。
2015520989.tif 000002
【特許請求の範囲】
【請求項１】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成する方法であって、
前記シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューと、前記第１のビューの深度マップ又は前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップとを含み、
前記方法は、１つの画像について、
前記深度マップ又は前記視差マップから、前記第２のビューの、複数のオクルージョンされた画素を含む少なくとも１つのオクルージョン画像を取得する段階と、
前記少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を、前記複数のオクルージョンされた画素を互いの近くに移動させるように、空間的に再配置することにより、コンパクト化されたオクルージョン画像を生成する段階と
を備え、
前記三次元ビデオストリームは、１つの画像について、前記第１のビュー、前記深度マップ又は前記視差マップ、及び、前記少なくとも１つのコンパクト化されたオクルージョン画像を含む、方法。
【請求項２】
前記少なくとも１つの第２のビューの前記少なくとも１つのコンパクト化された画像は、
前記第１のビューの複数の復号化された値から、又は、前記第１のビューから及び前記第１のビューに対応する前記深度マップから、前記少なくとも１つの第２のビューの少なくとも１つの第１の推定されたシーケンスの少なくとも１つの第１のオクルージョンマップを決定する段階であって、前記第１のオクルージョンマップは、前記複数のオクルージョンの複数の位置の表現を含む、前記決定する段階と、
前記少なくとも１つの第１のオクルージョンマップに表される前記複数のオクルージョンのものに対応している複数の位置の前記画像の前記少なくとも１つの第２のビューのものに対応している複数の値をもつ前記少なくとも１つのオクルージョン画像を決定する段階と、
前記少なくとも１つのオクルージョンマップに表される前記複数のオクルージョンのものに対応している前記複数の位置のための前記少なくとも１つのオクルージョン画像の空間コンパクト化を決定することで、前記少なくとも１つの第２のビューの前記少なくとも１つのコンパクト化されたオクルージョン画像を得る段階と
によって得られる、請求項１に記載の方法。
【請求項３】
前記空間コンパクト化は、前記少なくとも１つのオクルージョンマップに表される前記複数のオクルージョンのものに対応する前記複数の位置に位置している、前記少なくとも１つのオクルージョン画像の複数のオクルージョン画素を、前記少なくとも１つのオクルージョン画像の前記複数の画像の１又は複数の側に移動させることにより得られる、請求項２に記載の方法。
【請求項４】
前記複数のオクルージョン画素は、前記少なくとも１つの第１のビデオシーケンスの前記画像の前記複数の側の１つに向けて行ごとに移動され、
前記移動は、複数のオクルージョン位置に対応しない前記少なくとも１つのオクルージョン画像の複数の中間画素を除去して、前記複数のオクルージョン画素の相対シーケンスを、行ごとに保存する、又は水平方向に逆にすることにより生じる、請求項３に記載の方法。
【請求項５】
前記複数のオクルージョン画素は、複数のオクルージョン位置に対応していない前記少なくとも１つのオクルージョン画像の複数の中間画素を除去することにより、行ごとに前記少なくとも１つのオクルージョン画像の前記画像の両側に向けて移動され、前記少なくとも１つのオクルージョン画像の前記複数の画像の第１のグループの行の第１の側と、第２のグループの行の第２の側とに向けて移動され、前記第１のグループの行と前記第２のグループの行とは、隣接しているか交互の行である、請求項３に記載の方法。
【請求項６】
前記複数のオクルージョン画素は、行ごとに前記少なくとも１つのオクルージョン画像の前記画像の両側に向けて移動され、
複数のオクルージョン位置に対応しない前記少なくとも１つのオクルージョン画像の複数の中間画素を除去して、前記第２のグループの行を複数の画素から自由なままにしておくことにより、前記第１のグループの行の前記複数の画素は、前記第１のグループの行の前記画像の第１の側に向けて移動され、前記第２のグループの行の前記複数の画素は、前記少なくとも１つのオクルージョン画像の前記複数の画像の前記第１のグループの行の前記画像の第２の側に向けて移動される、前記請求項３に記載の方法。
【請求項７】
前記第２のグループの行は、前記画像のサイズを低減させることにより、前記少なくとも１
つのオクルージョン画像の前記画像から除去される、請求項６に記載の方法。
【請求項８】
前記複数のオクルージョン画素が占有しない前記少なくとも１つのオクルージョン画像の前記画像の列のグループは、前記少なくとも１つのオクルージョン画像の前記画像から除去され、これにより前記画像のサイズが低減される、請求項６又は７に記載の方法。
【請求項９】
前記少なくとも１つのオクルージョン画像の前記画像に複数のオクルージョン領域が存在する場合、前記複数のオクルージョン画素は、複数のオクル―ジョン位置に対応しない前記少なくとも１つのオクルージョン画像の複数の画素を除去することで、連続して配置される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記少なくとも１つのオクルージョン画像の前記画像に複数のオクルージョン領域が存在する場合、前記複数のオクルージョン画素は、複数のバッファ画素を複数の異なるオクルージョン領域の複数の画素間に配置することで、連続して配置される、請求項１から８のいずれか一項に記載の方法。
【請求項１１】
前記複数のバッファ画素は、複数の中間遷移ゾーンを複数の異なるオクルージョン領域の複数の画素の間に導入することにより、２つの隣接するオクルージョン領域の間の、及び、１つのオクルージョン領域とオクルージョンを持たない隣接する中立の領域との間のうちの少なくとも１つの、信号レベルのギャップを低減させるように計算された複数の値をもつ、請求項１０に記載の方法。
【請求項１２】
複数の符号化された画像のシーケンスを生成する段階を備え、
前記複数の符号化された画像は、前記第１のビューの、前記深度マップの又は前記視差マップの、及び、前記少なくとも１つのコンパクト化されたオクルージョン画像の符号化を含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成するデバイスであって、
前記シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューと、前記第１のビューの深度マップ又は前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップとを含み、
前記デバイスは、
前記第１のビューの深度マップから、又は、前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップから、前記少なくとも１つの第２のビューの前記複数のオクルージョンされた画素を含む前記少なくとも１つのオクルージョン画像を取得する手段と、
前記少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を、前記複数のオクルージョンされた画素を互いに近くに移動させるように、空間的に再配置することにより、前記少なくとも１つのコンパクト化されたオクルージョン画像を生成する手段と、
１つの画像について、前記第１のビュー、前記深度マップ又は前記視差マップ、及び、前記少なくとも１つのコンパクト化されたオクルージョン画像を含む前記三次元ビデオストリームを生成する手段と
を備える、デバイス。
【請求項１４】
前記少なくとも１つのコンパクト化されたオクル―ジョン画像を生成する手段は、
前記第１のビューの前記複数の復号化された値から、又は、前記第１のビューから及び前記第１のビューに対応する前記深度マップから、前記少なくとも１つの第２のビューの前記少なくとも１つの第１の推定されたシーケンスの前記少なくとも１つの第１のオクルージョンマップを決定する手段であって、前記第１のオクルージョンマップは、前記複数のオクルージョンの複数の位置の表現を含む、前記決定する手段と、
前記少なくとも１つの第１のオクルージョンマップに表される前記複数のオクルージョンのものに対応している複数の位置の前記画像の前記少なくとも１つの第２のビューのものに対応している複数の値をもつ複数の画像の前記少なくとも１つのオクルージョン画像を決定する手段と、
前記少なくとも１つのオクルージョンマップの前記複数のオクル―ジョンのものに対応している前記複数の位置のための前記少なくとも１つのオクルージョン画像の前記空間コンパクト化を決定することで、前記少なくとも１つの第２のビューの前記少なくとも１つのコンパクト化されたオクルージョン画像を得る手段と
を有する、請求項１３に記載のデバイス。
【請求項１５】
複数の符号化された画像のシーケンスを生成する手段を備え、
前記複数の符号化された画像は、前記第１のビューの、前記深度マップの又は前記視差マップの、及び、前記少なくとも１つのコンパクト化されたオクルージョン画像の符号化を含む、請求項１３又は１４に記載のデバイス。
【請求項１６】
複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築する方法であって、１つの画像について、
前記複数のビデオ画像のシーケンスの第１のビュー、前記第１のビューの深度マップ、又は、前記第１のビューと前記複数のビデオ画像のシーケンスの少なくとも１つの第２のビューとの間の視差マップ、及び、前記複数の画素を互いの近くに移動させるよう前記少なくとも１つの第２のビューの少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで得られた少なくとも１つのコンパクト化されたオクルージョン画像とを受信する段階と、
前記少なくとも１つのコンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化動作の前にあった前記位置に再配置された前記少なくとも１つの第２のビューの前記複数のオクルージョンされた画素を含む少なくとも１つの再構築されたオクルージョン画像を得る段階と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記少なくとも１つの再構築されたオクルージョン画像から、前記少なくとも１つの第２のビューを再構築する段階と
を備え、
前記再構築された三次元ストリームは、受信された前記第１のビューと、前記少なくとも１つの再構築された第２のビューとを含む、方法。
【請求項１７】
前記少なくとも１つの第２のビューは、
前記第１のビューから、及び前記深度マップから得られた複数の値を利用することで、前記少なくとも１つの第２のビューの少なくとも１つの第２の推定されたシーケンスを決定する段階であって、前記少なくとも１つの第２の推定されたシーケンスは、複数のオクルージョン領域を含むよう適合されている、前記決定する段階と、
前記少なくとも１つの第２の推定されたシーケンスの少なくとも１つの第２のオクルージョンマップを決定する段階であって、前記オクルージョンマップは、前記複数のオクルージョンの前記複数の位置の表現を含む、前記決定する段階と、
アンコンパクト化されたオクルージョン画像を含む少なくとも１つの第２のオクルージョン画像を得て、前記オクルージョンマップに表される前記複数の位置に基づいて前記少なくとも１つの第２のビューの前記複数のオクルージョンの複数の元の位置を復元するべく、前記少なくとも１つのコンパクト化されたオクルージョン画像の前記複数のコンパクト化されたオクルージョンを空間的にアンコンパクト化する段階と、
前記少なくとも１つの第２の推定されたシーケンスの複数の対応する位置に前記少なくとも１つの第２のオクルージョン画像の前記複数のオクルージョン位置の前記複数の画素を置き換え、他方で、前記少なくとも１つの第２の推定されたシーケンスの他の複数の位置を変更なしに維持することで、少なくとも１つの第２のビューを得る段階と
によって再構築される、請求項１６に記載の方法。
【請求項１８】
前記少なくとも１つの第２のビューには、組み合わせアーチファクト補償動作が行われる、請求項１６又は１７に記載の方法。
【請求項１９】
複数の符号化された画像のシーケンスを復号化する段階を備え、
前記複数の符号化された画像は、前記第１のビューの、前記深度マップの、又は、前記視差マップの、及び前記少なくとも１つのコンパクト化されたオクルージョン画像の前記符号化を含むことで、前記第１のビューを、前記深度マップから、又はそれぞれ前記視差マップ及び前記少なくとも１つのコンパクト化されたオクルージョン画像から得る、請求項１６から１８のいずれか一項に記載の方法。
【請求項２０】
複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築するデバイスであって、
前記複数のビデオ画像のシーケンスの第１のビュー、前記第１のビューの深度マップ、又は、前記第１のビューと前記複数のビデオ画像のシーケンスの少なくとも１つの第２のビューとの間の視差マップ、及び、前記複数の画素を互いの近くに移動させるよう前記少なくとも１つの第２のビューの少なくとも１つのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで得られた少なくとも１つのコンパクト化されたオクルージョン画像とを受信する手段と、
前記少なくとも１つのコンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化動作の前にあった前記位置に前記少なくとも１つの第２のビューの前記複数のオクルージョンされた画素を再配置することで少なくとも１つの再構築されたオクルージョン画像を得る手段と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記少なくとも１つの再構築されたオクルージョン画像から、前記少なくとも１つの第２のビューを再構築する手段と
を備える、デバイス。
【請求項２１】
前記少なくとも１つの第２のビューを再構築する手段は、
前記第１のビューから、及び前記復号化された深度マップから得られた複数の値を利用することで、前記少なくとも１つの第２のビューの少なくとも１つの第２の推定されたシーケンスを得る手段であって、前記少なくとも１つの第２の推定されたシーケンスは、複数のオクルージョン領域を含みうる、前記得る手段と、
前記少なくとも１つの第２の推定されたシーケンスの前記少なくとも１つの第２のオクルージョンマップを決定する手段であって、前記オクルージョンマップは、前記複数のオクルージョンの前記複数の位置の表現を含む、前記決定する手段と、
前記少なくとも１つのオクルージョンマップに表される前記複数のオクルージョンの前記位置に基づいてアンコンパクト化されたオクルージョン画像を含む前記少なくとも１つの第２のオクルージョン画像を得て、前記少なくとも１つの第２のビューの前記複数のオクルージョンの複数の実際の元の位置を復元するべく、前記少なくとも１つのコンパクト化されたオクルージョン画像の前記複数のコンパクト化されたオクルージョンを空間的にアンコンパクト化する手段と、
前記少なくとも１つの第２の推定されたシーケンスの複数の対応する位置に前記少なくとも１つの第２のオクルージョン画像の前記複数のオクルージョン位置の前記複数の画素を置き換え、他方で、前記少なくとも１つの第２の推定されたシーケンスの他の複数の位置を変更なしに維持することで、少なくとも１つの第２のビューを得る手段と
を有する、請求項２０に記載のデバイス。
【請求項２２】
前記複数の符号化された画像のシーケンスを復号化する手段を備え、
前記第１のビューを、前記深度マップから、又はそれぞれ前記視差マップ及び前記少なくとも１つのコンパクト化されたオクルージョン画像から得るべく、前記第１のビューの、前記深度マップの又は前記視差マップの、及び前記少なくとも１つのコンパクト化されたオクルージョン画像の前記符号化を備える、請求項２０又は２１に記載のデバイス。
【請求項２３】
前記少なくとも１つの再構築された第２のビューのための組み合わせアーチファクト補償ブロック（ＣＡＲＴ）を備える、請求項２０から２２のいずれか一項に記載のデバイス。
【請求項２４】
複数の三次元画像のシーケンスを表すビデオストリームであって、
前記複数の三次元画像のシーケンスの第１のビューと少なくとも１つの第２のビューとを備え、
前記ストリームは、
前記第１のビューの符号化と、
前記第１のビューに対応する深度マップの、又は前記第１のビューに対する前記少なくとも１つの第２のビューの視差マップの符号化と、
前記少なくとも１つの第２のビューのコンパクト化されたオクル―ジョン画像の符号化と
を備え、
前記コンパクト化されたオクルージョン画像は、前記複数の画素を互いの近くに移動させるべく、少なくとも１つのオクルージョン画像の複数のオクルージョンされた画素を空間的に再配置することにより得られる、ビデオストリーム。
【請求項２５】
請求項１から１１のいずれか一項に従って複数のビデオ画像のシーケンスから三次元ビデオストリームを生成する方法であって、
前記少なくとも１つの第２のビューは、(k-1) 個のビューを含み、ｋ＞１の整数であり、
前記方法は、１つの画像について、
前記第１のビューをメインビューとして含む前記複数のビューの順序を構築する段階と、
それぞれが、前記深度マップ又は前記視差マップから及び前記メインビューから、対応するインデックスをもつ前記少なくとも１つの第２のビューの１つの前記オクルージョンされた画素を含むような、(k-1)個のオクルージョン画像を取得する段階と、
前記各画素を互いの近くに移動させるべく、前記(k-1)個のオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで、(k-1) 個のコンパクト化されたオクルージョン画像を生成する段階と
を備え、
前記三次元ビデオストリームは、１つの画像について、前記第１のビュー、前記第１のビューの前記深度マップ、及び、前記複数のコンパクト化されたオクルージョン画像を含む、方法。
【請求項２６】
複数のビデオ画像のシーケンスから三次元ビデオストリームを生成するデバイスであって、
前記シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューとを含み、
前記少なくとも１つの第２のビューは、(k-1) 個のビューを含み、ｋ＞１の整数であり、前記デバイスは、請求項２５に記載の方法を実装するための手段を備える、デバイス。
【請求項２７】
請求項１６から１９のいずれか一項に従って複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築する方法であって、
前記少なくとも１つの第２のビューは、(k-1) 個のビューを含み、ｋ＞１の整数であり、前記少なくとも１つの第２のビューは更に、前記各画素を互いの近くに移動させるべく、前記(k-1)個のビューのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで得られたコンパクト化されたオクルージョン画像を含み、
前記方法は、１つの画像について、
前記コンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化動作の前にあった前記位置に再配置された前記ｋ−１個のビューの前記複数のオクルージョンされた画素を含む、（ｋ−１）個の再構築されたオクルージョンされた画像を取得する段階と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記（ｋ−１）個の再構築されたオクルージョン画像から、前記（ｋ−１）個のビューを再構築する段階と
を備え、
前記再構築された三次元ストリームは、受信された前記第１のビューと前記（ｋ−１）個の再構築されたビューとを含む、方法。
【請求項２８】
請求項２０から２３のいずれか一項に従って複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築するデバイスであって、
前記少なくとも１つの第２のビューは、(k-1) 個のビューを含み、ｋ＞１の整数であり、前記少なくとも１つの第２のビューは更に、前記各画素を互いの近くに移動させるべく、前記(k-1)個のビューのオクルージョン画像の前記複数のオクルージョンされた画素を空間的に再配置することで得られたコンパクト化されたオクルージョン画像を含み、
前記デバイスは、
前記コンパクト化されたオクルージョン画像を取得するために実行された前記コンパクト化動作の前にあった前記位置に再配置された前記ｋ−１個のビューの前記複数のオクルージョンされた画素を含む、（ｋ−１）個の再構築されたオクルージョンされた画像を取得する手段と、
前記第１のビューから、前記深度マップから、又はそれぞれ前記視差マップから、及び、前記（ｋ−１）個の再構築されたオクルージョン画像から、前記（ｋ−１）個のビューを再構築する手段と
を備え、
前記再構築された三次元ストリームは、受信された前記第１のビューと前記（ｋ−１）個の再構築されたビューとを含む、デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元ビデオ信号を処理するシステムの技術分野に関しており、より詳しくは、オクルージョンマップの利用に基づいて、三次元ビデオストリームを生成及び再構築するための方法、及び、対応する生成及び再構築するデバイスに関する。
【背景技術】
【０００２】
立体視野（つまり、三次元のビデオアプリケーションのこと）は、三次元ビデオ信号を表し圧縮するための効率的なフォーマットの利用可能性に大きく依存する。更に、テレビブロードキャストアプリケーション（3D-TV）では、既存の２Dシステムとの可能な限り最も高い程度の後方互換性を維持する必要がある。
【０００３】
現在の最も普及している技術的解決法は、いわゆる「フレーム互換配置」に基づいており、これでは、同じ時間インスタントに関連する２つのビュー（それぞれ左目と右目とに提示されるビデオ画像）が、必要又は適切な場合、適切にスケーリングしなおされてから、単一の画像を形成するように合成される。最も典型的な解決法は、上下及び左右の配置として知られており、これにおいては、２つのビューが単一のフレームに、上下又は左右になるように入力される。これらの解決法は、既存のビデオ信号配信インフラストラクチャ（地上波、衛星、又はケーブル放送、又はIPネットワークにおけるストリーミング）の利用が可能であり、新しい表現又は圧縮規格を必要としない。加えて、AVC/H. 264符号規格は既に、このタイプの立体信号組成のシグナリングの可能性を含んでいるので、レシーバによって正しく再構築及び表示することができる。
【０００４】
立体法よりも高度なアプリケーションは、２を超える視点を利用して、より大きなビデオシーケンスのセットの表現、符号化、及び送信を必要とする。このフレームでは、現在の技術水準が、MVC 規格(Annex G of AVC/H.264)で表される。MVCは、公知の変換タイプハイブリッドビデオ符号化パラダイムを利用して、様々なビューのうち幾つかの重複を排除することができる。この規格は、ディスクに格納される立体ビデオ及びBlue- rayプレーヤ用に選択されてきた。
【０００５】
最後に、別の可能性は、ビデオ信号を利用するのみならず、３Dビデオ表現からなる。最もよく知られた例は、ビデオプラス深度マップ（V+D、つまり、ビデオ+深度）として知られるアプローチ及びより多いビュー及び深度マップをもつこの変形例に代表される。深度マップは、メインビューにある程度近い中間視点を、例えば自己立体３Dディスプレイで利用するような新たな手法を可能とする。現在は、このタイプのフォーマットをシグナリングするために１つの規格（MPEG−C）しかない。深度マップの値は、適切なセンサによって推定又は測定することができる。これらの値は、概して、２５６のグレースケールレベルをもち、標準的な技術（MPEG-x, H.26x）を利用して圧縮された画像として表される。
【０００６】
＜技術的課題と公知の解決法の欠点＞
【０００７】
現在利用可能な解決法は、多くの技術的課題と欠点とをかかえている。
【０００８】
フレームパッキング配置アプローチは、２つのビューを表すことのみを許可するので、空間解像度の観点で画像品質が犠牲になる。更に、標準的なコンプレッサの効率に悪影響がでる場合もあり、同時に、中間的な視点の生成が可能とならない場合もある。
【０００９】
ＭＶＣ規格及び多くの視点をもつシーケンスの利用は、複数の課題を提示する。先ず第１に、ＭＶＣエンコーダの効率は、コンテンツのタイプに応じて大きく変化し、符号利得は概してかなり低い。符号化効率は、多くのビューをもつ場合には決定的に不適切である。加えて、ビュー間符号化オプション（inter-view coding options）の計算コストが非常に高い。
【００１０】
V+Dの表現は、符号化効率及び中間視点を生成する可能性の両方の観点から、期待できると思われる。
【００１１】
深度信号Ｄ（深度）の圧縮のために今まで提案されてきたシステムは、標準的なエンコーダ又は、特注の解決法を利用している。両方の場合において、信号Ｄがより圧縮しやすいので、その結果、ビデオと比較して、より小さい帯域を必要とする。V+Dシステムの最も重要な側面は、V+Dから合成可能な画像の品質である。ビューと関連する深度マップを考慮すると、新しいビューを生成することが可能である、ただし、幾何学的な理由又は深度推定誤りのためにオクルージョンされた幾つかの領域を除く。これは、補間及び／又は修復メカニズム（つまり、失われた、又は破損した部分の再構築のこと）の利用を必要とし、これは、概して最適ではない品質の画像を生成する。オクルージョンを低減させるべく、別のオプションにおいては、合成プロセス中に利用されるビュー及び深度マップの数を増加させる。例えば、ＭＰＥＧ規格委員会が利用するソフトウェアは、２つのビュー及び２つの深度マップから始まり、中間ビューを生成するが、一方で、これは、そのオクルージョンされた領域を低減させることで合成画像の品質を向上させるが、他方では、これは、２つのビデオ信号の圧縮を必要とするので、この解決法は、送信帯域占有の観点ではあまり現実的ではない。１つの可能性のある代替例では、符号化段階において、符号化するために、オクルージョンされた領域を推定して、次に、明示的にこれらをデコーダに送信し、これにより、補助的なビューをより良い品質で再構築することができるようになる。
【００１２】
米国特許第2010/0195716 A1号明細書は、１つのビューだけを（中央のもの）を関連する深度マップとともに符号化して、符号化プロセス中に、合成及び立体ビジョンを見るために利用される左右のビューのためのオクルージョンされた領域を推定することを提案している。オクルージョンされない領域は、固定値（例えば値０）を利用して明示的にシグナリングされ、オクルージョンされた画素は、画像の限定された部分を構成し、復号化プロセスのために有用な、これらのオクルージョンされた画素のみを含む画像からなる、このようにして得られたビデオ信号は、標準的なエンコーダによって圧縮することができる。オクルージョンされた画素は、通常、１つの画像に含まれる画素総数よりもずっと少ないが、要求されているビットレートは３Ｄビデオの全ビットレートのかなりの百分率に到達する場合があることがテストにより実証されている。
【００１３】
したがって、その格納及び／又は送信に必要なビットレートを低減させることができる適切な技術によってオクルージョン画像の圧縮を最適化する必要性がある。更に、典型的には、それが可能であれば、既存の符号化及び復号デバイスを利用することで、その、より効率的な符号化及び多重化を確実に行うために、オクルージョンされた領域の限定された拡張を利用することが適当である。
【発明の概要】
【００１４】
したがって、本発明の１つの目的は、上述した欠点を全て克服するよう適合された、オクルージョンマップの利用に基づいて、三次元ビデオストリームを生成及び再構築するための方法、及び、及び、対応する生成及び再構築するデバイスを提供することである。
【００１５】
本発明は、例えばV+D符号化の範囲内に含まれる。
【００１６】
生成されたビデオストリームは、送信のための符号化を行われて、次に受信のための復号化を行われることができる。代替例として、これは、製造段階において、例えば取り外し可能記憶媒体（ＤＶＤ，Blu-Ray（登録商標）等）等の、非圧縮立体コンテンツの上に、格納及び／又はビデオ編集動作を行うために利用可能であり、ここで符号化動作は任意である。
【００１７】
１つの可能性ある実施形態では、立体ビデオが、参照ビュー（例えば左ビュー）からの画像シーケンス、対応する深度マップ、及び、他のビュー（例えば右ビュー）のオクルージョンに対応するビデオシーケンスを符号化することにより符号化される。
【００１８】
シーケンスの一般的な画像のオクルージョンマップは、参照ビューに対して、１つのビューのオクルージョンされた画素の位置を表す画像（メインビューとも称される）からなり、これは、左ビュー及び対応する深度マップを利用して得られる。例えば、合成できない画素を配置するために右ビューにも同じ合成アルゴリズムを利用することもでき、これがオクルージョンとして知られている。
【００１９】
オクルージョンされた領域を推定するために、例えば、大きな深度のバリエーションをもつ領域を特定する深度マップの派生物に基づく、等の、他の技術を代わりに利用することもでき、後者は一般的に、前景のオブジェクトのエッジに対応して、これは、視点が変更されるときにオクルージョンを生成する。いずれにしても、生成段階で計算されるオクルージョンの位置のマッピングは、可能性のあるその符号化とともに、後続する圧縮動作の機能として実行されるが、これは、明示的に符号化されてデコーダに送信される必要はない。再構築段階では、実際のところ、同じ再構築されたビュー及び深度に基づいて、生成段階で行われた推定を繰り返して、暗黙的にオクルージョンの位置を取得することが可能である（つまり、同じオクルージョンマッピングのこと）。
【００２０】
したがって、本発明は、オクルージョンされた画像を再構成する選択肢を提供し、これにより、符号化動作によって実行される後続する圧縮をより効率的にすることができる。この動作は、オクルージョンマップの知識を利用することでデコーダにより反転されねばならない。後述するように、このマップは、明示的にこのマップを符号化及び送信する必要なく、デコーダによって再度取得することができる。
【００２１】
おそらく符号化及び送信された後にビデオストリームを再構築する場合には、知っておく必要があり、おそらくは明示的に符号化されて送信される必要があるのは、オクルージョンされた画素の値であり、オクルージョンされた画素と、その属す位置との間の対応関係は、再構築段階で暗黙的に得ることができ、これに関しては以下の詳細な記載から明らかになる。
【００２２】
生成及びビデオストリーム再構築段階における同じオクルージョンマッピング情報の利用可能性を本発明では利用して、これにより、より効率的にこれらのオクルージョンに関するビデオ情報を表すことで、本発明の幾つかの実施形態では、オクルージョンマップを含むビデオストリームの可能性のある符号化に必要となるビットレートを低減させ、及び、画像の寸法及びその周波数を低減させることが可能となる。
【００２３】
特に、ビデオストリームの再構築時に、オクルージョンされた画素の位置が暗黙的に公知なので、生成段階において、その圧縮性能を向上させようとする戦略に従って、オクルージョン画像のなかのオクルージョンされた画素の再配置が可能となる。例えば、行ごとに作業して、全てのオクルージョンされた画素を左端側に位置合わせしてよく、これにより、オクルージョンされた画像を、画像より小さい領域へと、コンパクト化することができる。
【００２４】
オクルージョンされた画素が例えば左から右に行ごとに処理されるとき、又は、生成段階で前に行ったような何等かの方法で、画素のこの空間再編成は、再構築段階で逆にすることができる。オクルージョンのマッピングを知ることで、m番目の行のn番目の画素が、オクルージョンマップのm番目の行のn番目にオクルージョンされた画素に対応する位置へと再度配置されるので、従って、オクルージョンされた画素の値は、その元の位置に正しく置き換えられる。最後に、右ビューが、左ビュー及び深度マップから始めることで合成アルゴリズムを利用することで合成され、合成プロセスが不成功であったオクルージョンされた領域を、上述したプロシージャによって取得することができる。
【００２５】
本発明においては、後続する圧縮プロシージャを向上させることを目的としたオクルージョンされた画素の他の空間再編成を利用してよい。
【００２６】
後で詳述するように、この空間再編成動作は、特定の条件において、V+D+Oモードにおける所定の立体コンテンツを表すために必要な画像の数を低減することができ（これは、ビデオ+深度+オクルージョン、又はビデオ+視差+オクルージョン、VDOとしても知られている）、つまり、ビューシーケンス、深度又は視差シーケンス、及びオクルージョンシーケンスを含み、これは、異なる時間インスタントでとられたビューのオクルージョンを含む複数の適切なコンパクト化された画像が、複数のコンパクト化されたコンポーネント画像からなる合成画像へと集められる。
【００２７】
本発明の特別な目的は、請求項１に従って、複数のビデオ画像のシーケンスから三次元ビデオストリームを生成する方法であって、シーケンスは、シーンの第１のビューと少なくとも１つの第２のビューと、第１のビューの深度マップ又は第１のビューに対する少なくとも１つの第２のビューの視差マップとを含み、方法は、１つの画像について、深度マップ又は視差マップから、第２のビューの、複数のオクルージョンされた画素を含む少なくとも１つのオクルージョン画像を取得する段階と、少なくとも１つのオクルージョン画像の複数のオクルージョンされた画素を、複数のオクルージョンされた画素を互いの近くに移動させるように、空間的に再配置することにより、コンパクト化されたオクルージョン画像を生成する段階とを備え、三次元ビデオストリームは、１つの画像について、第１のビュー、深度マップ又は視差マップ、及び、少なくとも１つのコンパクト化されたオクルージョン画像を含む、方法の提供である。
【００２８】
本発明の特別な目的は、請求項１３に従って、三次元ビデオストリームの生成方法を実装するよう適合された、ビデオ画像のシーケンスから、三次元ビデオストリームを生成するデバイスを提供することである。
【００２９】
本発明の更なる目的は、請求項１６に従って、複数のビデオ画像のシーケンスを含む三次元ビデオストリームを再構築する方法であって、１つの画像について、複数のビデオ画像のシーケンスの第１のビュー、第１のビューの深度マップ、又は、第１のビューと複数のビデオ画像のシーケンスの少なくとも１つの第２のビューの間の視差マップ、及び、複数の画素を互いの近くに移動させるよう少なくとも１つの第２のビューの少なくとも１つのオクルージョン画像の複数のオクルージョンされた画素を空間的に再配置することで得られた少なくとも１つのコンパクト化されたオクルージョン画像とを受信する段階と、少なくとも１つのコンパクト化されたオクルージョン画像を取得するために実行されたコンパクト化動作の前にあった位置に再配置された少なくとも１つの第２のビューの複数のオクルージョンされた画素を含む少なくとも１つの再構築されたオクルージョン画像を得る段階と、第１のビューから、深度マップから、又はそれぞれ視差マップから、及び、少なくとも１つの再構築されたオクルージョン画像から、少なくとも１つの第２のビューを再構築する段階とを備え、再構築された三次元ストリームは、受信された第１のビューと、少なくとも１つの再構築された第２のビューとを含む、方法の提供である。
【００３０】
本発明の更なる目的は、請求項２０に従って、三次元ビデオストリームの再構成方法を実装するよう適合された、三次元ビデオストリームの再構成デバイスの提供である。
【００３１】
本発明の更なる目的は、請求項２５および２６に従って、数が２を超えるビューを処理するよう適合されたビデオ画像のシーケンスから、三次元ビデオストリームを生成するための方法及び関連するデバイスの適用である。
【００３２】
本発明の又別の目的は、請求項２７及び２８に従って、数が２を超えるビューを処理するよう適合されたビデオ画像のシーケンスから、三次元ビデオストリームを再構築するための方法及び関連するデバイスの適用である。
【００３３】
本発明の更なる目的は、請求項２４に従って、三次元画像のシーケンスを表すビデオストリームの提供である。
【００３４】
本発明の特別な目的は、本記載の一体的一部をなす、添付請求項に述べられた、オクル―ジョンマップの利用に基づいて三次元ビデオストリームを生成して再構成する方法の提供であり、又、対応する生成及び再構成デバイスの提供である。
【図面の簡単な説明】
【００３５】
本発明の更なる目的及び利点は、その公的な実施形態（及び変形例）の以下の詳細な記載及び添付請求項から明らかになり、これは、単に非限定的な例により提供される。
【図１】本発明における三次元ビデオ信号生成器のブロック図である。
【図１−２】図１のブロック図の変形例を示す。
【図１−３】２を超えるビューをもつ三次元ビデオ信号の場合に対する、図１のブロック図の可能な拡張を示す。
【図２】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図３】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図４】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図５】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図６】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図７】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図８】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図９】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図１０】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図１１】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図１２】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図１３】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図１４】本発明の原理における、オクルージョンマップ及び画像及びコンパクト化されたオクルージョン画像の作成の例の代表的変形例を示す。
【図１５】本発明における三次元ビデオ信号再構築器のブロック図である。
【図１５−２】図１５のブロック図の変形例を示す。
【図１５−３】２を超えるビューをもつ三次元ビデオ信号の場合に対する、図１５のブロック図の可能な拡張を示す。
【図１６】本発明の原理を適用することにより実行されるテスト中に取得される実際の画像の例を示す。
【図１７】本発明の原理を適用することにより実行されるテスト中に取得される実際の画像の例を示す。
【図１８】本発明の原理を適用することにより実行されるテスト中に取得される実際の画像の例を示す。
【図１９】本発明の原理を適用することにより実行されるテスト中に取得される実際の画像の例を示す。
【図２０】本発明の原理を適用することにより実行されるテスト中に取得される実際の画像の例を示す。
【図２１】本発明の原理を適用することにより実行されるテスト中に取得される実際の画像の例を示す。
【図２２】本発明の原理を適用することにより実行されるテスト中に取得されるピーク雑音対信号比曲線を示す。  本図面において、同じ参照番号及び文字が、同じアイテム又はコンポーネントを特定する。
【発明を実施するための形態】
【００３６】
図１は、本発明が特定する三次元ビデオストリーム生成器１００の１つの可能性のある実施形態のブロック図を示す。
【００３７】
図１に示すダイアグラムは、テレビセット又は別の立体ビデオ再生装置に表示するための立体ビデオの場合を示す。この場合、ユーザは、視点を選択できず、視差を固定された２つのビューV0及びV1のビジョンに結び付けられている。入力データとして、生成器は、第１のビデオシーケンスV0、対応する深度マップシーケンスD0、及び、第２のビデオシーケンスV1を必要とする。深度マップシーケンスD0は、２つのビューから初めて測定又は推定することができ、一般的に、モノクロビデオ（つまり、０及び２５５の間の強度値をもつ画素をもつ画像のシーケンスからなるビデオのこと）として表される。ビデオシーケンスD0は、区別なく任意の方法で得られてよく、生成器１００の上流側で得られても、生成器１００自身内で得られてもよく、V0 及び／又はV1を知ることからこのシーケンスを得るよう適合された適切な機能ブロックから得られて良い。ビデオシーケンスV0は更に、ビューシーケンスV0 又はV1と同じサイズをもつ画像に実行される推定プロセスによって元々得られたものからアンダーサンプルされた画像からなっていてよい。図１のブロック図は、第１の仮説に言及しているので、この機能ブロックは存在せず、D0が、V0 及び／又はV1から前に何等かの手段によって取得されたものと仮定される。
【００３８】
本発明においては、信号V0 及びV1が、さらに、適切な圧縮技術を利用して、例えば、例えばAVC/.H264タイプの１つ等の標準的なビデオエンコーダを利用して符号化することもできる。
【００３９】
ソフトウェアにより実装されるビデオエンコーダは通常、更に、入力ビデオ信号又はストリームの復号された画像も提供し、これらが、エンコーダの動き推定／圧縮プロセスで利用される。復号化された画像が標準的なエンコーダで利用不可能である場合には、適切なデコーダが、利用中の同じビデオ圧縮及び伸張技術でエンコーダにより生成される符号化された画像を復号するために利用されてよい。対応する復号化されたビデオ信号又はストリームVdec0及びDdec0が、次に、オクルージョン推定ブロックSTOCによって利用されてよい。
【００４０】
ブロックSTOCは、例えば、合成アルゴリズムによって実装された、Vsyn1と称されるビューV1,の推定されたシーケンスを生成することができる関数（ビュー合成）を含んで良く、このシーケンスは出力されないが、いわゆるオクルージョンマップを形成するオクルージョンされた画素の位置を決定するために利用することができる。合成段階は暗黙的に、オクルージョンOM0,1のセットを表すバイナリ画像からなるオクルージョンマップのビデオシーケンスを生成する（更にビデオストリームと称される場合もあるし、単にビデオと称される場合もある）。OM0,1の値１は、V0 及びD0の対応する画像から始めることで、V1の画像の対応する画素を合成することができないことを示す。値0は、合成が成功した、つまり、シーケンスVsyn1に推定値がある領域を表す。
【００４１】
オクルージョンマップの定義に関する技術及び規則は、利用中の合成アルゴリズムに応じて変化してよい。例えば、オクルージョン推定技術は、復号されたビデオシーケンスVdec0及びDdec0の画像から始まり利用されてよく、これは、推定の信頼性に応じて、確率的結果有効値（probabilistic result validity value）に関する合成された画素をもつ画像を生成する。決定ブロックは値０又は１を、合成信頼性が予め定められた閾値よりも高いか低いかにそれぞれ応じて、又は、適切と考慮される任意の他の決定基準に基づいて、画素に割り当ててよい。符号化の側では、いずれの合成された画素値も生成しないビデオ処理アルゴリズムを更に利用して、しかしながら、ビューV1の合成アルゴリズムが、対応するビデオシーケンスの画像の任意の画素のための正確な値を与えるか又は与えないかという確率を推定することができる。
【００４２】
再構築段階で得ることができるものと合致したプロシージャ及び結果を得るために、復号されたビデオシーケンスVdec0 and Ddec0が好適には利用され、ここでは、元のビデオシーケンスV0及びD0にアクセスするすることができない。ビデオ信号エンコーダがない場合、符号化されたストリームVcod0及びDcod0から始めて、復号されたビデオシーケンスVdec0及びDdec0を得るために、ビデオエンコーダとカスケード配置された、デコーダも存在する。
【００４３】
上述したことは、発明が、立体コンテンツによる記憶媒体（格納のために）の、又はチャネル（送信のため）の占有率を低減させるために、生成側では符号化で、及び、再構築側では復号化で、実装される。符号化及び復号化プロセスが実行されない場合、ビューV1は、直接V0及びD0から計算することができる。このような場合、V+D+Oのトリプレットは、３つの符号化されていないシーケンスV0, D0及び OC1からなり、後者は、図１−２に示すように、本発明により空間的に圧縮又はコンパクト化されている。従って、更にオクルージョン推定ブロックSTOCは、Vdec0及びDdec0ではなくてシーケンスV0, D0を利用する。
【００４４】
この時点で、オクルージョンされた画素のみについてゼロ（又は別の所定の中立の値）以外の画素値を有する画像を含むオクルージョンO1のビデオ画像のシーケンスを取得することができ、ここで対応する値が存在している。ゼロが、オクルージョンされていない画素の値として選択されたとき、O1の画像は、単に、シーケンスOM0,1及びV1の画像の同じ位置の（co-positioned）係数を乗算することで得られて良い。
【００４５】
通常は、オクルージョン画像を含むビデオシーケンスの画像２００が、オクルージョンされた画素、つまり、ビデオシーケンスV0の対応する画像では見えない画素、を含む隔離された一連の領域からなる。O1の典型的なコンポーネント画像の１つの可能な表現が図２に示されている。画像は、m列n行の画素からなり、一般的に、V0及びV1の１つの画像の同じ寸法を有して良い。この図では、オクルージョンされた画素を含む領域が（簡略化のために、オクルージョンされた領域と称されることもある）が、文字A、B,C,D及びEにより指定されるものであると、仮定される。明瞭性のために、異なり、むしろ単純な通常の幾何学的形状をもつ領域が選択される（これらが実際には非定型で複雑な形状であっても、又は、例えば環形の領域を持っていたとしても、つまり、オクルージョンされていない画素からなる１又は複数の領域を含む内部的に接続されていない領域であっても）。オクルージョンされた領域がカバーしていない画像２００の領域は、例えばゼロの中立の値をもつ画素を含み、これにより、これがオクルージョンされた画素を含まないことを示し、又は少なくとも、これが、選択された合成アルゴリズムの利用によりエンコーダの推定ブロックによりオクルージョンされた画素を含まないと推定されたことを示す。
【００４６】
オクルージョンされた画像のビデオシーケンスO1は、本発明では、更に、結果生じるビデオシーケンスが、場合によって標準的なビデオエンコーダによる圧縮を受けうるという事実を考慮にいれうる様々な方法によって、オクルージョン空間コンパクト化ブロックCSOによって処理することができる。第１の一番簡単な実施形態を図３及び図４を参照して説明する。図２及び図３に示すように、第１のnA行が、オクルージョンした画素のように、矩形の領域Aのもののみ、つまり、この行のセットの第１のmA画素、を含むと仮定する。空間コンパクト化ブロックは、n行×m列４００の新しい画像を生成し、このnA×mAの画素の矩形のブロックを、この矩形のブロックとともに、出力画像の左上隅にコピーして、中立の値を含む第１のnA の行の残りの部分もコピーされる。OC1と指定される出力ビデオに属する、出力画像４００の第１のnAの行が得られ、これは、O1の入力画像２００に対応するものを持つこの特定の例と合致する。
【００４７】
画像２００の行から行のスキャンを続け、空間コンパクト化ブロックは、nA+1からnA+nB の、nBの行の次のグループが、オクルージョンされた画素として、領域AのmAのオクルージョンされた画素及び矩形領域BのmBのオクルージョンされた画素を含む。このブロックは、従って、これらの２グループのオクルージョンされた画素を、これらが画像２００に示すものと同じ順序で画像４００にコピーされ、これらが、左から右に移動させられて、領域A及びBの間の中立のオクルージョンされていない画素が除去される。図４の状況は、このようにして得られ、ここではBの第１のnB行が、同じ行に属するAのものに対して、左から右に移動される（画像２００のnA+1番目のものから、nA+nB番目のものまで）。
【００４８】
次のnC1-nD1の行のセットでは（nA+nB+1番目のものからnA+nB+nC1-nD1番目のものまで）、オクルージョンされた領域C1の上部に属する更なるオクルージョンされた画素があり、これが、今度は、１つの対角線が画像２００の水平な辺に並行である四辺形の矢印点形状をもつ、より大きなオクルージョンされた領域Cの上部を構成する。空間コンパクト化ブロックは、領域AとBとの間及びB及びC1との間のオクルージョンされていない画素全てを除き、シーケンスの画像４００に領域A, B e C1に属すオクルージョンされた画素全てを行から行へとコピーする。コピーされ左にコンパクト化された後で、画像４００のBに対して存在する領域の画素C1が、画像２００内に有する形状とは異なる形状をもつ図を形成する。
【００４９】
画像２００の次のnD1の行については（nA+nB+nC1-nD1+1番目の行からnA+nB+ nC1番目の行へ）、スキャン中に、空間コンパクタが、オクルージョンされたA, B及びC1の画素に加えて、更に、Dとして指定される類似した領域の上部を構成する三角形の領域D1のオクルージョンした画素にも遭遇する。これらの画素は、更に、C1及びD1の間の中立のオクルージョンされていない画素をコピーすることなく、前に、スキャン中に、左から右へ画像２００に遭遇したC1に対して左にコンパクト化される。更に、コンパクト化プロセスにより生成された領域D1が、画像４００に、画像２００に持っていた元の形状とは異なる形状をとる。
【００５０】
空間コンパクタCSOは、次に、画像２００の残りの行へのコンパクト化動作を続け、左に連続してコンパクト化を続け、更に、領域C2及びD2, 次に、E1, D3及びE2、そして最後にE3.とコンパクト化を行う。図４に示されている、この動作により生じるmxn画像４００は、入力画像２００と同じオクルージョンされた画素に関する情報を含んでいるが、ただし左にコンパクト化された形状を持ち、最初は全ての行が（左から右）、連続の解決法なく、画像２００に含まれている全ての元の隣接していない領域のオクルージョンされた画素を含む。次の行は、例えばゼロの値をもつ全ての中立の画素を含み、これがオクルージョンがないことを示す。画像４００は最初のもの２００と同じサイズをもつので、更に、全体がオクルージョンされた画素からなる１つの行を含むが、これは、非常に稀な場合である、というのも、一般的な行では、オクルージョンされた画素が通常、総数に比較して非常に少ないからである。
【００５１】
もちろん、オクルージョンされた領域はこの代わりに、左の代わりに右にコンパクト化されてもよく、この場合には、コンパクタは、右から左へと行のスキャンを行い、出力画像４００内へのコピーを、画像２００のスキャン中に遭遇したのと同じ順序でオクルージョンされた画素に、行から行へと実行してよく、このときに、オクルージョンされた領域の任意の可能性のある対の間のオクルージョンされていない画素は除き、行の残りの画素は、オクルージョンが無いことを示す値で充填される。コンパクト化された出力画像は、このようにして得られ、全てのオクルージョンされた領域が、他のものに対して右に移動されて、これにより、ある形状をとり、同じ画像を反対側にコンパクト化させることにより決定されるものとは異なる分解を経験する。
【００５２】
コンパクト化の方向は、スキャン順序及びオクルージョンされた画素の配置から全体的に独立していてよいことに留意されたい。これら２つの動作変数の任意の組み合わせが可能であり、選択は、例えば、実装面での利点又は後続する圧縮段階で取得可能なビットレート低減に依存していてよい。例えば、一般的な行に示すものと同じ順序でオクルージョンされた画素を、左から右へと配置することで、図２の画像２００を右にコンパクト化すると仮定する。この場合、図4'に示す、コンパクト化されたオクルージョンシーケンスOC1 400'の出力画像が得られる。  これは、図４の画像４００を水平方向にひっくり返すことで得ることができ、画像４００の一般的な画素p(i,j)が画像400'の画素p'(i,m-j+1)に等しくなり、1=<i<=n and 1=<j<=mとなる。副次的効果として、この特定の場合に、オクルージョンされた画像が、任意のスキャン方向で画像２００及び４００に遭遇する順序（右から左、又はこの反対）が、対応する画像400'の同じ画像に遭遇するものと反対になる。
【００５３】
本発明の第２の実施形態が図５に示されており、これは、オクルージョンＯ１のビデオ画像のシーケンスに属している図２の画像２００を示しており、図３及び図４を参照して前に説明したものに変わる方法でコンパクト化することができる。
【００５４】
この場合、ここに含まれるｎ個の行の画像２００の一般的な行、ここでｎが偶数と仮定される、が、画像の上又は下半分に属すかに応じて異なるようにコンパクト化される。
【００５５】
画像の最初のｎ／２の行のオクルージョンされた画素が、左から右に空間コンパクタが生成する画像の左端に積層され、ここで、最後のｎ／２の行に属するものは、右から左へ同じ順序で右端に積層される。コンパクト化の方向は、図５の矢印に示されており、これは、更に予備的に、コンパクト化動作による、元のオクルージョンされた領域A, B, C, D及びEの分解を含む。
【００５６】
図６は、この動作から生じる画像６００を示しており、結果生じる画像の第１のｎ／２の行が、画像４００の第１のｎ／２の行の同じ配置を有しており、第２のｎ／２の行では、オクルージョンされた領域が、断片的かつ歪曲される方法で水平方向の空間コンパクト化の上の結果、画像の右端に対してコンパクト化されている。配置順序と反対のこのコンパクト化の方向の組み合わせにおいては、画像６００のオクルージョンされた領域の全ての画素が、元の画像２００にあった同じ順序で示されることは指摘されるべきである。殆どの場合、O1及びOC1の画像の全ての行において、オクルージョンされていない画素の数は、オクルージョンされた画素の数よりずっと多い。このようにして幾つかの画像空間が無駄になり、これは、デコードにとって無用になりうる情報を含むことを意味しており、これは、オクルージョンされていない画素について、どこかに含まれている情報（つまり、符号化されて次に復号化されたシーケンスV0及びD0において）を利用する。
【００５７】
ｍ／２を超える数のオクルージョンされた画素を含む行がない場合には、画像６００の最後のｎ/２の行の右下の端部におけるコンパクト化されたオクルージョンされた領域を、同じ画像の最初のｎ/２の行の右上の端部にコピーして次に最後のｎ/２の行を削除することにより、情報を失わずにOC1の画像６００をサイズし直すことが可能である。図７に示す画像７００はこのようにして得られ、そのサイズはmxn/2であり、これは、この中に存在するオクルージョンに関する情報を何ら失わずに、元の画像２００の画素の半分を含む。
【００５８】
出力画像は、そのまま、つまりmxn/2のサイズで圧縮を受けさせることができ、代替例としては、コンパクタが更に、単一のmxnの画像に、シーケンスのmxn/2の半分の画像６００の対（例えば２つの時間的に連続した画像）を配置することにより、出力シーケンスの画像の数を半分にするステップを実行してもよい。
【００５９】
本発明の一実施形態では、結果生じるビデオシーケンスを、標準的なビデオエンコーダＥＮＣによって圧縮することができる。この場合、デコーダ１５００に含まれる（図１５）空間アンコンパクタＤＳＯ（図１５）が、後で記載されるように、フルサイズのｍｘｎ画像から始めて半分の画像７００を得る逆のステップを実行する。
【００６０】
コンパクト化されたオクルージョン画像シーケンスOC1の画像の水平寸法を半分にすることは、画像の１つの行のオクルージョンされた画素の数が、ｍ／４の値を超えない場合、情報を失わずに行うことが可能である。その仮説は殆どのケースで検証され、更に、図７に示す圧縮されたオクルージョン画像についても検証されている。
【００６１】
図８は、情報の観点から完全に無用である、オクルージョンされていない画素からなる、ｍ／２の列の幅の、中央領域を含む画像７００を強調表示している。  空間コンパクタは、この中央領域を削除して、図９に示すもののようなm/2xn/2のサイズのオクルージョン画像を取得することができ、これは、未だ、図２の元のmxn画像２００のオクルージョンされた画素を全て含み、後者の画素の四分の一しか含まない。水平方向及び垂直方向に半分にされた画像９００が構成するビデオシーケンスは、標準的なビデオエンコーダＥＮＣに対してこのような形態に供給されてよく、又は、その前に、コンパクタが、適切に４つのm/2xn/2の画像のグループを、単一のｍｘｎ画像に構成してもよく、これにより、係数４で、アンコンパクトされる入力オクルージョンビデオＯ１に比較して、符号化される出力ビデオシーケンスＯＣ１に属す画像数が低減される。
【００６２】
空間圧縮効率性を最大化するために、ビデオの長さ全体において一定に、プリセットされた構成にしたがって入力シーケンスの４つの時間的に連続したm/2xn/2の画像を単一の出力画像に配置することが可能である。この場合でも、本発明におけるデコーダ１５００の空間アンコンパクタＤＳＯが、エンコーダの空間コンパクタが実行するものと逆の動作を実行する。
【００６３】
この時点で、原理的には、個々の中の行ごとのオクルージョンされた画素の最大数がm/2rを超えない場合、つまり、全解像度の画像の行ごとの画素数×１/２ｒ倍を超えない場合に、情報を失わずに、コンパクタＣＳＯが受信する入力画像Ｏ１に水平方向に半分にするプロシージャをｒ回実行することが可能であることが明らかである。  垂直方向の寸法が同じ場合、コンパクタは、m/2rの水平寸法をもつ２ｒの画像を、ｍ個の水平寸法をもつ１つの画像にグループ化することができ、これにより、オクルージョンビデオシーケンスＯ１と比較して、したがって元のビデオシーケンスＶ１と比較して、ファクタ２ｒ分、コンパクト化された出力シーケンスＯＣ１に含まれる画像数を低減させることができる。
【００６４】
一般的な規則として、どのオクルージョンされた画素も失わずに、オクルージョン画像のオクルージョンされていない画素の数より小さい又はこれに等しい限りにおいて、ある行の任意の画素数を除去することが可能である。これにより、任意の数の画素のサイズの低減を行う可能性につながるので、任意の量、画像の幅を変更し、これは、その水平寸法の整数のサブマルチプルでもないことがある。
【００６５】
上述したものから明らかなように、アンコンパクト化されるオクルージョンビデオＯ１を含む画像２００の列を、２つのコンパクト化領域（図５参照）に分割して、次に、図６の例に示すようにこれらの領域のオクルージョンされた画素を異なるようにコンパクト化する。
【００６６】
図１０の例に示すように、より大きな数のこれらの領域を定義することもでき、ここでは、４つのコンパクト化領域が定義されており、それぞれ１つが、ローマ数字Ｉ、ＩＩ、ＩＩＩ、及びＩＶで指定される、ｍ個の画素をもつｎ/４の画像の行から構成される。  オクルージョンされた画素は、図５及び図６の画像２００の２つの領域をコンパクト化したときに行ったように、矢印が示すように、矢印が示す方向とは反対の方向をソート方向として利用することで、交互に、左及び右にコンパクト化される。図１１に示すようなｍｘｎのコンパクト化されたオクルージョン画像１１００がこのようにして得られる。
【００６７】
この場合においても、コンパクタは、ｍｘｎ/２のサイズの２つの上側及び下側の半分の画像の右上の端部に、右下の端部からのオクルージョンをコピーするための動作を実行することで、結果生じる画像の垂直サイズを半分にしてよく、これにより、領域ＩＩのオクルージョンされた画素が、領域Ｉの右端に積層され、領域ＩＶのオクルージョンされた画素が、領域ＩＩＩの右端に積層される。この時点で、領域ＩＩ及びＩＶが、オクルージョンされていない画素とともに残され、図１２に示す半分にされた垂直サイズmxn/2 1200をもつ画像を取得するよう削除することができる。
【００６８】
図８の画像７００に示すように、オクルージョンされた画素の行ごとの最大数がｍ／２未満なので、画像１２００の中央領域、m/2画素幅を、いずれのオクルージョンされた画素も失うことなく削除することができ、水平及び垂直寸法が半分の画像１３００を取得することが可能となる。この動作がＯ１の画像全てに実行される場合、m/2xn/2のサイズのシーケンスＯＣ１が得られ、これが次に、標準的なエンコーダによる圧縮を受けてよい。  又は、更にこの場合においても、コンパクタが、m/2xn/2サイズ１３００の４つの画像を、mxnのサイズの単一の画像にグループ化することにより、ビデオＯＣ１を含む画像の数を低減することができる。
【００６９】
一般的には、オクルージョン画像は、任意のタイプのコンパクト化を受けさせるために任意の整数のコンパクト化領域に分割することができ、この結果、これらの数が増え、特にコンパクタにより実行される、実行される動作の複雑度も増し、他方ではしかし、さらに、もしもその低減される数がそれを許可する場合に、これもまたいずれのオクルージョンされる画素も失わずに、画像の中立した領域が占有する領域が低減される可能性を増加する。
【００７０】
一般的には、空間コンパクタＣＳＯが出力するコンパクト化されたオクルージョンＯＣ１のシーケンスの画像は、互いに、小さい空間及びオクルージョンされた領域と中立の領域との間に配置された異なるオクルージョンされた領域間の画素値の急峻な遷移によって、高いバリアンスと多い高周波成分とをもつ情報コンテンツに富む幾つかの領域により、特徴づけられる。オクルージョンシーケンスが符号化される場合、この状況は、その目的のために要求されるビットレートを増加させる。これらの高周波成分の存在を低減させるために、及び従って、更に標準的なビデオエンコーダの圧縮効率を増加させるために、オクルージョンされた領域の間にコンパクト化プロセス中に、２つの隣接するオクルージョンされた領域の間、及び、オクルージョンされた領域及び隣接する中立の領域の間の信号レベル差を低減させるために適切に計算された値をもつ画素からなる中間遷移ゾーンを作成する一定数のバッファ画素を挿入することができる。
【００７１】
この、コンパクト化されたオクルージョンOC１の画像のビデオにおける急峻な遷移の除去は多くの異なる方法で実行することができ、一行ごとに固定又は可変数の画素を利用してよく、バッファ画素の値を、多くの異なるメカニズムで計算してよく、更に、この削除プロセスは、これまで説明してきたコンパクト化技術のいずれとの組み合わせにおいても実行することができる。このやり方を実装する簡単は方法は、固定数の画素、好適には、数個のユニットのみの少数個（例えば１、３、５又は７のバッファ画素）、好適には奇数、を利用することである。  図１４は、図４の画像４００に利用したものと同じコンパクト化方法を利用して得られる画像１４００を示しており、これには、任意の対のオクルージョンされた領域の間又はオクルージョンされた領域と中立の領域との間に一定の水平方向の厚みをもつバッファ領域が追加されており、この図では、バッファ領域が、行ごとに、画像の全ての行について等しい所定の数の画素を入力することにより得られることが例によって仮定されている。
【００７２】
単純な実施形態では、バッファ画素の値は、同じ行に属す画素のみに依存してよく、隣接する画素の平均値として計算されてよい。ここで、３つの連続する画素z１、z２、及びz３がこの順序で含まれるバッファ領域が、z３の後に位置するz１及びz２の前に位置する２つの画素r１の間に内挿されると仮定し、ここでr１及びr２は、中立の画素の妨害されない行から別個と仮定される２つの領域R１及びR２に属しており、これはさもなくば、コンパクタによってバッファ領域のない場合に互いに対して配置されてよい。
【００７３】
値をバッファ画素の割り当てる１つの可能性のある方法は、z2=(r1+r2)/2, z1=(r1+z2)/2, and z3=(z2+r2)/2である。実質的には、３つの画素からなるバッファ領域においては、入力される中央のもの（central one）は、領域に隣接する２つの行画素の間の平均値として計算することができ、他方で領域の２つの最も外側の画素は、中央のものと、最も近くに隣接するものとの間の平均である。一般的に、更に、場合によっては、バッファ画素の位置するものとは別の行に存在する画素を考慮して、これより多い又はこれより少ない複雑なバッファ画素計算フォーミュラを利用する場合もあるだろう。  更には、現在の画像が指している時間とは別の前の時間を指すオクルージョンビデオの画像に存在する同じ行又は他の行の画素を考慮する場合もあるだろう。
【００７４】
バッファ領域の挿入による更なる複雑化は些細である。まず第１に、それはエンコーダに含まれるコンパクタのみに関しており、復号側のアンコンパクタは、コンパクト化されたオクルージョンビデオの画像から、符号側でコンパクタによって追加されたバッファ画素を破棄するのみなので、どれが追加された画素であるかを知る必要のみがある。他の副次的効果は、バッファ領域を提供されたオクルージョンビデオからオクルージョンされた画素を何ら失わずに表すことができるビデオシーケンスの最大許容可能なオクルージョン数の低減である。この効果は、しかしながら殆どの場合において無視可能な程度である（特に、総数に比較して行ごとのオクルージョンされた画素の量が少ないことから、オクルージョン画像のサイズを低減させないコンパクト化方法が利用されるときに（図４、図５及び図６）、又は、バッファ画素の追加により、コンパクト化されたオクルージョン画像の水平及び垂直寸法の所望の低減の達成が妨げられない場合）
【００７５】
図１のエンコーダの図の参照に戻ると、オクルージョンビデオシーケンスO１が、空間コンパクタブロックの出力においてサイズ低減及び／又は追加の有る場合又は無い場合、本発明のいずれかの実施形態に従ってコンパクト化されると、ビデオシーケンスV０及びD０を持つ、コンパクト化されたオクルージョンビデオシーケンスOC１が、本発明の一態様に従って生成されたビデオストリームを構成する。
【００７６】
コンパクト化されたオクルージョンビデオシーケンスOC１は、他のビデオシーケンスV０及びD０同様に、標準的なエンコーダENC（図１）によって圧縮することができる。従って標準的なエンコーダは、本発明の別の態様においては、それぞれが符号化されたシーケンスV０、D０、及びOC１を表す３つの符号化されたビデオストリームVcod0, Dcod0及びOCcod1を生成し、これらは、３次元ビデオシーケンスVDO(ビデオ深度オクルージョン)を構成する（例えば、ビデオチャネル上で送信されるもの）。
【００７７】
別の例として、コンテンツのトリプレットが、組み合わせられて又は協調されて、符号化されていない形態の任意の媒体上に格納され、場合によっては、これに、特にアンコンパクト化されるオクルージョンシーケンスO１である、元のコンポーネントシーケンスを再構築する再生器によって要求されるシグナリングが追加される。この場合（図１−２）では、ビデオシーケンスのトリプレットV０、D０、及びOC１を、MULユニットに累積させることができ、例えば多重関数を実行することができる。
【００７８】
一般的に、１を超える数の標準的なエンコーダが存在してよく、そのそれぞれ１つが、符号化される３つのストリームV０、D０、及びOC１のサブセットを圧縮して、これによりシーケンスを、ビデオシーケンスの特性に従って最適化されるように圧縮することができる。いずれにしても、符号化されたビデオストリーム又は信号は、論理の視点から、V０、D０、及びOC１に対応する３つのデータストリームVcod0, Dcod0及びOCcod1からなるものと分かる。このデータストリームのトリプレットは、エンコーダ１００の出力を構成する。  例えば、DVBトランスポートストリームにおいて公知の技術を利用することで、又は、同時のトランスポートされる複数の入ビデオストリームに対して適合された任意の他のタイプのデータストリームコンテナによって単一のデータストリームに物理的に多重化されてよく、この場合には、このタスクは、図１に示さないマルチプレクサデバイスによって実行される。この解決法は、エンコーダがリアルタイムモードで動作するときには特に有利である。符号化が遅延された場合には、ビデオストリームを格納することができ、及び／又は、単一のビデオストリームとして別個に送信することができる。
【００７９】
図１５は、本発明における、三次元ビデオストリームを再構築するよう適合された受信デバイス１５００の１つの可能性のある実装例を示し、これは、例えば、本発明の態様の１つの従って符号化されたビデオストリームを送信及び受信するときに利用することができる。受信器は、３つの元のシーケンスV0, D0及びOC1に非常に類似したビデオシーケンスのトリプレットVdec0, Ddec0及びOCdec1を得るために、エンコーダ１００のビデオエンコーダが生成するVcod0, Dcod0 and OCcod1を含むビデオシーケンスＶＤＯのトリプレットを伸張するよう適合された少なくとも１つの標準的なビデオデコーダDECVを含んでよいが、圧縮及び後続する圧縮による、及び、ビデオ信号をトランスポートする間に導入されるエラーが生じる可能性のある（例えば送信及び／又はデータ読み書きエラー、ノイズ等）望ましくない差違による、アーチファクトからなる唯一の差違が存在する。シーケンスは、ビデオストリームコンテナに多重化されている場合があり、この場合には、デマルチプレクサデバイスは、図１５には不図示であるが、含まれていて良い。この場合であっても、標準的なビデオデコーダ（例えば、AVC H.264タイプのもの）は、実際に、複数の標準的なビデオデコーダからなっていてよく、それぞれが、復号化プロセスを最適化するために入力トリプレットのサブセットに動作するので、異なるビデオシーケンス（例えば画像サイズ、一秒ごとの画像数等）の特定の特性に対して適合することができる。これらのデコーダは、更に並列動作することができ、おそらくは、これらの間を調整する統制ユニットの制御の下に、これらの動作について必要なデータが交換される。
【００８０】
図１５−２に示す受信デバイス１５００が、上述したビデオシーケンスコンポーネントV0, D0及びOC1から始まるビデオストリームの再構築のための動作を実行するとき、標準的なビデオデコーダブロックDECVが存在しなくてよい、これは、このビデオシーケンスV0, D0及びOC1が、それぞれのシーケンスVdec0, Ddec0及びOCdec1に対応するからである。デマルチプレクサデバイスDEMULは、図１−２のMULが実行するものとは逆の動作を実行する入力側に存在してよい。
【００８１】
第１のビューに関する、復号されたビデオシーケンスVdec0は、利用されている特定の技術に従って三次元表現されるよう、ディスプレイに送信されてよく、これは例えば立体又は自己立体（self-stereoscopic）のものであってよい。復号された深度マップのビデオシーケンスDdec0 (又はD0)は、立体対及びその深度マップの一般的なビューから始まり、第２のビューを合成するアルゴリズムを実行するブロックSIVによって第１のビューVdec0 (又はV0)から始まり第２のビューVsyn１に関するビデオシーケンスを合成するために利用される。符号側に反して、ここでは、アルゴリズムが合成することができる全ての画素を含むシーケンスVsyn１の合成された画像を生成する必要がある。一般的に、これらは、殆ど全てのmxn画像を占有する合成された画像の優位の過半数からなり、未知の値をもつオクルージョンされた画素の幾つかの領域が、図３の例によって示されているように、画像の残りの部分を占有する。これらの未知の値は、適切なプリセットされた値（例えばゼロ）が割り当てられて良い。これらのアルゴリズムは、好適には、オクルージョンを推定するための生成及び／又は符号側で利用される可能性があるものと同じであり、これにより、生成器１００で得られるものと同一、又はこれと出来るだけ類似しているオクルージョンマップOM0,1のビデオシーケンスが得られる。合成アルゴリズムは、エンコーダを参照して既に記載したように、暗黙的に、オクルージョンマップOM0,1を決定する。
【００８２】
オクルージョンマップOM0,1は、適切なオクルージョン空間アンコンパクタブロックによってオクルージョンされた画素の位置をリゾートするために利用され、これは、水平及び／又は垂直寸法を拡張するために、及び、バッファ領域を削除するために、空間コンパクタブロックが実行する動作と逆の、アンコンパクト化動作及び任意の動作を、逆順序で実行する。復号されたコンパクト化されたオクルージョン画像OCdec1 (又はOC1)の及びオクルージョンマップOM0,1のビデオシーケンスから始まり動作し、これにより、アンコンパクト化されたオクルージョン画像を含む出力ビデオシーケンスOdec1 (又はO1)が得られる。例えば図３及び図４に示す実施形態を参照して、空間アンコンパクタが、合成アルゴリズムが供給する図３の画像OM0,1の行ごとのスキャンを実行し、OM0,1の非合成された画素の位置を発見し、図４の対応するコンパクト化されたオクルージョン画像OCdec1のコンパクト化されたオクル―ジョンされた画素の値を、元の位置に置き換える。
【００８３】
OM0,1のmAの画素の第１のnAの行は、図４の均一の領域にコンパクト化されたオクルージョンされた領域Aの矩形のmAxnAの領域の画素の位置をなす未知の画素を含む。従ってこの画素のセットについては、再配置を行わない、というのも、OCdec1のアンコンパクト化されたオクルージョンされた画素の位置が、OCdec1  (又はOC1)のコンパクト化されたオクルージョンされた画素のものをもつこれらのA行と合致するからである。同じことが、これもオクルージョンされた領域Bに属すmB画素を含むOM0,1の次のnB行の最初のmA画素についても生じる。アンコンパクタは次に、この行グループの第１のmA画素をそのままの位置に残しつつ、この行グループの以下のmBの画素の値を右に、同じnB行のOM0,1のオクルージョンされた画素が占有する位置に移動させる。転送前にBの画素によってOdec1に前に占有されていた位置の画像の画素の値は、オクルージョンされていない画素の中立の領域に割り当てられた値にセットすることができる。OM0,1及びOCdec1 (又はOC1)の画像の全ての残りの行についても同じように進め、Odec１の画像が得られ、これは、アンコンパクト化された形態のオクルージョンされた画素を含んでおり、つまり、それらが参照するビューにそれらがあるものと同じ位置にあり、つまり、O1を指定するV１の元のアンコンパクト化されたオクルージョンビューにある。
【００８４】
一般的には、Odec１及びVsyn１のビデオシーケンスの対応する画像を、デコードされた第２のビューVdec１のビデオシーケンスを得るためにマトリックス方向に追加することができ、その画像は、Vsyn1からのオクルージョンされていない画素と、Odec１からのオクルージョンされている画素との両方のために有効である値を含む。本発明のこの特定の実施形態では、この動作が、OCdec１の画素の値を、行ごとに、オクルージョンマップOM0,1が示すVsyn1の合成されていない画素の位置に、左から右に行をスキャンしている間に遭遇する順序で、単純にコピーすることにより実際には実行することができ、これにより、中間のアンコンパクト化されたオクルージョン画像Odec1を必ずしも生成する必要なく、Vsyn1からVdec1を直接得ることができる。
【００８５】
図１５−２に示す場合には、上述した動作が、第２のビューV１の画像を得るべく、O1及びVsyn１のシーケンスに対して実行される。
【００８６】
もちろん、オクルージョン空間アンコンパクタDSOは、符号化段階でオクルージョンされた画素のために空間コンパクタが利用する再配置順序とコンパクト方向との両方を考慮する。これにより、第２のビューV１から始まり得られるシーケンスO１に類似しているアンコンパクト化されたオクルージョンシーケンスOdec１、つまり、それぞれのビューに位置する位置のオクルージョンされた画素、の取得が確実に行われれる。図4'に示すようなコンパクト化されたオクルージョンビデオシーケンスの実施形態の場合には、つまり、オクルージョン再配置順序が、コンパクト化の順序と同じ場合（つまり、左から右へ）、空間コンパクタは、第１の特に単純な実施形態では、復号化されたコンパクト化されたオクルージョン画像OCdec１を水平方向に逆にする第１のステップを実行してよい。このステップは、フォーミュラにより定義されるコンパクタが適用する変換を逆に適用することで実行することができ、これにより、逆ではない画像２００の一般的な画素p(i,j)が1=<i<=n and 1=<j<=mをもつ水平に逆になった画像400' の画素p'(i,m-j+1)に等しい。この逆の変換を実行した後で、空間アンコンパクタが、図４に示すもののようなコンパクト化されたオクルージョンビデオシーケンスのアンコンパクト化に対応するシーケンスOdec１を得るための、既に記載したものと同じ動作を、つまり、左から右へのオクルージョンされた画素の再配置順序で、実行することができる。
【００８７】
オクルージョン空間コンパクタCSOの別の実施形態により、図７に示すタイプのmxn/2のサイズのコンポーネント画像を持つコンパクト化されたオクルージョンの入力ビデオシーケンスを得ることができる。この場合、アンコンパクタDSOは先ず、入力画像の第１のn／２行をコピーする第１のｎ／２行に、及び中立の値をもつ前の行の画素の数、右から左に既に移動されている可能性のある、最後のn／２行をコピーする第２のn／２行にmxnサイズの出力画像を構築することで得られる、図６に示すような画像を再構築する。
【００８８】
この時点では、図４に示すものに等価の画像が得られており、アンコンパクタは、この後者の図を参照して既に説明したステップを実行することでアンコンパクト化されたオクルージョンの出力ビデオシーケンスを得ることができる。コンパクタが、単一のmxn画像にmxn/2画像の対をグループ化することにより画像数を低減させる追加のステップを実行した場合には、アンコンパクタは、最初に、入力ビデオシーケンスのmxn画像に含まれる図７のmxn/2の半分の画像の対を分解し、これらの内容を、第２のn／２行が最初の中立の値をとっていた２つの完全なmxn画像の最初のn/2行にコピーする逆のステップを実行する必要がある。
【００８９】
空間コンパクタは、m/2xn/2サイズの画像９００を得るために図８に示すオクルージョンシーケンスを含む画像７００の水平寸法を低減させる追加のステップを、符号化段階において、実行している場合もある。このような場合には、アンコンパクタが先ず、mxn/2サイズの画像を生成するために画像の水平寸法を二倍にする追加の段階を実行する必要があり、ここでは、入力画像の最初のm/4列を、最初のm/4列に入力して、入力画像の残りのm/4列を最後のm/4列に入力する。
【００９０】
通常通り、コピーされない領域に属す画素は、オクルージョンされていない画素に割り当てられているプリセットされた値をとる。コンパクタが、４つのm/2xn/2画像９００のセットを単一のmxn画像に更にグループ化している場合には、アンコンパクタは、上述したステップの前に、追加で、入力シーケンスの１つのmxn画像に含まれる４つのサブ画像９００を、前に実行したものと逆の動作を実行することにより得られたmxn/2サイズの２つのサブ画像８００をそれぞれ含むmxn画像の対に分割することで、画像８００を画像９００に切り替える。これらmxn画像の対のぞれぞれは、分解ステップを繰り返すことにより、それぞれが１つの画像６００（図６）を含むmxn画像の対を生成し、これにより、画像サイズ拡張動作の最後に各入力mxn画像９００について４つの出力mxn画像の総数が生じる。
【００９１】
同様の考慮は、図１１、図１２、及び図１３に示すモダリティのいずれか１つに従ってコンパクト化されたオクルージョン画像を含むビデオシーケンスをアンコンパクト化するプロセスにも適用され、これらの画像が、今後のコンパクト方向で、２ではなく４つのコンパクト化領域を利用することで得られ、その垂直及び／又は水平寸法で半分になるかもしれないしならないかもしれない。ここでも、対応するアンコンパクト化されたオクルージョン画像を再構築するために、空間アンコンパクタDSOは、コンパクタが実行した最後の動作から始まり最初のもので終わる逆の順序で、符号化側に実行されたものと逆の動作を実行することができる。一般に、アンコンパクタDSOは、常に、オクルージョンマップシーケンスOM0,1を受信する必要なく、シーケンスO１のためのエンコーダに含まれているオクルージョン推定器が配置した位置にオクルージョンされた画素をもつ、アンコンパクト化されたオクルージョンビデオシーケンスOdec１を再構築することができる。
【００９２】
デコーダ１５００のブロック図に戻ると（図１５）、合成されたビューVsyn１及びアンコンパクト化されたオクルージョンシーケンスOdec１を、例えばヌル値を含みうるオクルージョンされた画素のための有効な値を欠く同じビューの合成された画素の値を含む、ビューVsyn１の時間的に対応する画像と、ビューＶ１のためのオクル―ジョンされた領域の画素の値を含むシーケンスＯｄｅｃ１の画像とを画素ごとに適切に組み合わせることにより、ディスプレイに提示するビューVdec１を形成するよう適切にマージできる。
【００９３】
より単純な場合には、合成されたビュー及びオクルージョンが単純にマトリックス方向に加えられ、これによりオクルージョンが、合成アルゴリズムが推定不可能であった画素の位置を占有するようにする。再構築された画像の品質を向上させるために、合成されたビューとオクルージョンされた領域とを搭載するときに、合成された画素と復号されたオクルージョンされた画素との間の不連続の領域に生成されたアーチファクトを低減させるべく適合されたフィルタリング技術を適用すると有用であろう。この動作は、オプションの、アーチファクト補償ブロックCARTの組み合わせによって実行され、これは、加算器の下流に位置しており、適切な先行技術の数値フィルタからなっていてよい。特に、平滑化（又はローパス）フィルタリング技術を、オクルージョンされた、及び、オクルージョンされていない領域の間の不連続に沿って適合することができる。
【００９４】
デコーダ１５００は、従って、２つの元のビューV０及びV１を再構築しており、これは次に、任意の立体技術に従って三次元モードでビデオストリームを表示するために再生デバイスによって利用されてよい。
【００９５】
オクルージョン画像を含む、つまり、符号側のそれぞれのマップが決定するオクルージョンされた画素の位置をもつ、ビデオシーケンスを正確に再構築することができるようにするために、アンコンパクタは、コンパクト化プロセスが実行されたモードを知っている必要がある
【００９６】
特に、これらのモードは以下に関していて良い。
【００９７】
―  １より大きい又は等しい整数であってよい、コンパクト化領域の数。
【００９８】
―  所定のコンパクト化領域で利用されるコンパクト化方向であって、これは、左から右へ又は右から左へであってよく、より正確には右へ又は左へであってよい。
【００９９】
―  所与の領域のオクルージョンされた画素のスキャン又は配置であって、これも、右へ又は左へであってよい。
【０１００】
―  水平方向のサイズ低減であり、これは、どのオクルージョンされていない画素がオクルージョンされていない画像の行で削除されたかを決定させるパラメータである。
【０１０１】
―  垂直方向のサイズ低減であり、これは、オクルージョンされた画素を上部のコンパクト化領域に移動させて、画像から、オクルージョンされた画素を含むコンパクト化領域を除去することにより、オクルージョンを垂直方向にコンパクト化する動作が実行されたか、及び、何回実行されたかを決定させるパラメータである。
【０１０２】
―  バッファ領域およびその特性の存在の可能性
【０１０３】
―  一般的には、これらのモードは、コンパクト化されたオクルージョンビデオシーケンス内で画像ごとに変化してよい。簡潔性のために、これらが、１つのビデオシーケンス又は１つのその部分内で一定であると仮定する。
【０１０４】
様々なシナリオを、これらモードをどのようにアンコンパクタに伝えるかの懸念として考えることができる。第１のシナリオでは、具体的なコンパクト化モードが、きっぱりと定義されてよく、これは常にデフォルトで任意のコンパクタによって任意のシーケンスに適用される。このような場合、アンコンパクタは、これらモードを知り、対応するアンコンパクト化動作を実行するだけでよい。
【０１０５】
この仮説が検証されない場合には、コンパクタは、入力オクルージョンビデオシーケンスに応じて、異なるコンパクト化モードを利用してよい（例えばより小さい又はより大きい数のコンパクト化領域、異なるコンパクト化の方向及び順序等）。このような場合、アンコンパクタは、２つの異なるやり方でコンパクト化モードを決定することができる。第１のアプローチでは、アンコンパクタが、コンパクト化されたオクルージョンOCdec１の画像を分析し、おそらくは、これらを、シーケンスOM0,1の対応するものと比較することで、事後で、符号側で利用されるコンパクト化モードを決定する。この解決法は、どのコンパクト化パラメータの送信をも必要としないという利点を提供するが、アンコンパクタにはより高い計算コストを暗示しており、これは更に、誤った分析又はいずれにしても非常に複雑なものを作成するおそれがある。
【０１０６】
第２のアプローチでは、動作パラメータをコンパクタにより追加することができ、又は、これにより標準的なビデオエンコーダに通信することができ、これは次に、これらをいずれかの手段によって符号化されたビデオストリームOCcod1に入力することができる。これは、将来のアプリケーションのためにリザーブされ、既に現在のビデオ符号化規格に含まれているデータを利用することで、又は、（例えば、VDO信号トリプレットを含む、DVBトランスポートストリーム、Matroska等）ビデオストリームコンテナフォーマットに含まれている既存の又は新しく定義されたフィールドを利用することで、行ってよい。
【０１０７】
特に洗練された実施形態では、コンパクタはおそらくはビデオシーケンスに存在するオクルージョンの特性を考慮して（例えば、オクルージョンされた画素の数及びその空間及び時間分布）、異なるモードで複数のコンパクト化テストを実行してよい。このようにテストされた各モードでは、関連するビットレートが、後続して復号を行い、関連するビューを再構築することで計算され、最終的に、テストから生じる最も効果的なコンパクト化モードが適用される。この技術は、特に、符号及び復号化プロセスが遅延したとき、符号速度の観点で特に要件がないとき、及び、優先度が、送信及び／又は格納に必要なビットレートをできるだけ低減させるビデオシーケンスについて、好適である。
【０１０８】
本発明は、３Dビデオ符号化実験のために利用されるビデオシーケンスでテストされた。Fraunhofer Heinrich Hertz Institutにより、「book arrival」と称される立体シーケンスが利用され、実験及び研究目的で科学共同体に利用可能とされた。ビデオ解像度は1024x768であり、16.67Hzの周波数であった。実行された全てのテストにおいて、２つの立体ビューの３００個のフレームが符号化された。利用されているシーケンスについて、深度マップも利用可能とされ、適切なアルゴリズムにより推定された。
【０１０９】
図１６から図２２が、実行されたテストを示す。
【０１１０】
図１６は、この立体シーケンスからとった、Vと指定されるビューの１つの画像を示す。
【０１１１】
図１７は、フル寸法のDと指定されるそれぞれのシーケンスに属す、図１６の画像のフルサイズの深度マップを示す。
【０１１２】
図１８は、水平及び垂直両方に５０％アンダーサンプルされた図１７の同じマップ画像を示し、対応するシーケンスがD/２で指定されている。
【０１１３】
図１９は、V及びDから始まる合成アルゴリズムから生じる、アンコンパクト化された形態の図１６の画像に関するオクルージョン画像を示す。ここから生じるそれぞれのビデオシーケンスがOで指定される。テストでは、中立の領域に属すオクルージョンされなかった画素を表す中間のグレー値が選択された。オクルージョンされた画素のみがこの画像には示されており、画像の残りの部分は、固定され、所定のルミナンス及びクロミナンス値（例えば０又は１２８）にセットされている。ここで提示されるオクルージョンされた画素の一部は、しかしながら、画像の一行の画素総数に比較して非常に小さい。
【０１１４】
図２０は、以前として図１６のビューの画像に対応しているコンパクト化されたオクルージョンビデオシーケンスO*の１つの画像を示しており、ここでは、左の単一のオクルージョン領域が、水平又は垂直サイズ低減なく、左から右への再配置順序により利用された。実質的に、これが、図４に示すコンパクト化されたオクルージョンされた画像の発明の一番簡単な実施形態である。この実施形態は、水平及び垂直サイズ低減のない全てのもの同様に、画像の一般的な行のオクルージョンされた画素の最大数がビデオシーケンスV０の画像の行の画素の数mより小さい又はせいぜい等しい場合に、これによりコンパクト化されたオクルージョンシーケンスのオクルージョンされた画素全体の存在が保証されるという意味で特に有利である。
【０１１５】
図２１は、第１の領域の右に及び第２の領域の左に順序よく再配置されたオクルージョンと、両方とも係数２による、水平及び垂直のサイズ低減とをもつ、左に上の１つが、及び右に下の１つがある、２つのコンパクト化領域の存在における、図６から図９に表されるコンパクト化モードを適用することで、図１９の同じオクルージョンされていない画像のために取得されたO/2*と指定されるそれぞれのシーケンスに属す低減された寸法のコンパクト化されたオクルージョン画像を示す。
【０１１６】
３つのテストは、このテスト信号を符号化及び復号化するために実行された。参照として利用された第１のテストでは、V, D/2及び O、つまり、５０％にまでアンダーサンプルされた深度マップ及びコンパクト化されていないオクルージョン画像の（つまり、それらの元の位置のオクルージョンされた画素の値で）のメインビューのビデオシーケンスが、符号化され復号化される。第２のテストは、V, D/2 and O*、つまり、５０％にまでアンダーサンプルされた深度マップ及びコンパクト化されていないオクルージョン画像それぞれのメインビューのビデオシーケンスを利用した。第３のテストは、シーケンスV, D and O*/2、つまり、それぞれ水平及び垂直方向に１／２の係数で低減されたアンダーサンプルされていない深度マップ及びコンパクト化されたオクルージョン画像のメインビューのビデオシーケンス、に関していた。全てのテストについて、標準的なH. 264 AVCエンコーダが、一定の品質パラメータQPをもつ全てのシーケンスの符号化に利用された。様々な符号化ビットレートを取得するために、幾つかの実験が異なるQPで実行された。ビュー合成アルゴリズムは、技術水準に従って特に開発されたものである。それは入力ビデオ信号及び関連する深度マップを受信して、元のビデオに対して水平にずらされた新しい視点から得られたビデオを推定する。例えば修復する技術等のオクルージョンを解決する戦略を利用せず、合成されたビデオ及びオクルージョンマップを出力する。
【０１１７】
図２２は、シーケンスD及びOを符号化するために利用されるビットレートに関してテストシーケンスに実行される符号化及び復号化テストにより生じるdBの単位のピーク信号対雑音比（PSNR）の曲線を示す。この図は、符号化効率が、Oを利用するときよりもコンパクト化されたオクルージョン画像O*及びO*/2のビデオシーケンスを利用するときに、より高い。これは、深度マップのアンダーサンプルされたバージョンが利用されるか、されないかに関わらず当てはまる。コンパクト化ステップは、おそらくはサイズ低減とともに、ビデオ符号化プロセスの効率性を損なうものではなく、むしろ、それを向上させ、これにより、通常そうであるように、一般的な行のオクルージョンされた画素が総数のうちの小さな部分にすぎない場合に、両方の方向に、さらに他の画像とともに、より高い解像度の画像に組み合わせることができるオクルージョン画像のシーケンスを空間的にコンパクト化することができる。
【０１１８】
上述した実施形態の例は、当業者にとって均等物である全ての実施形態を含み、本発明の保護範囲から逸脱することなく、変形例が可能であってよい。
【０１１９】
本発明は更に、２つを超える数のビューにも適用可能である。符号化のときに２を超えるビューをもつ３次元ストリームの生成器の実施形態の非制限的な例が利用され、つまり、図１の立体生成器の図の延長が図１−２に示されている。この場合にも、生成側で、エンコーダENCが、メインビュー及び深度V０及びD０を符号化して、これらは、ビューV1, V2, Ｖk-1の数k-１を合成するために利用される。これらのビューは、特定の基準に従って格納することができ（例えばメインビューからの距離に基づいて）、これらそれぞれについて、Vsyn1,. .,Vsynk-1をそれぞれ指定するビューV1,. .,Vk-1の推定されたシーケンスから始めて、メインビューV0に対するオクルージョンされた画素OM0,1, OM0,2, …, OM0,k-1の位置を暗黙的に発見することができる。マルチビュー取得システムから送信側で利用可能なこれらの画素には、上の段落で記載したコンパクト化基準の１つをオクルージョンされた画素O1…Ok-1の画像に適用することで、オクルージョン空間コンパクタブロックCSOによって行ごとに収集及びコンパクト化が行われる。コンパクト化の前に、モジュールCSOは、図２の２に示すように隣り合わせにこれらを配置することによりオクルージョンされた画素のk-1の画像を組み合わせる。これにより、全ての別のビューについて、コンパクト化されたオクルージョンフレームOC1.,k-1の単一のシーケンスが生成され、これが、V0及びD0と一緒に送信又は格納され、合成されたビューのオクルージョンされた領域を満たすために再構築側で利用される。
【０１２０】
再構築プロセスは、図１５−３に示すダイアグラムに続き、これは、図１５−２ビューの再構築器の拡張を表しており、これもまた非限定的な場合に適用され、ここでは符号化及び復号化動作が実行される。これらの間の差違は以下の通りである。
【０１２１】
−  k-1の別のビューV1, V2, Vk-1のV0及びD0から始まり、合成を実行した合成ブロックSIV。
【０１２２】
−  オクルージョン空間アンコンパクタブロックDSOが、生成側で定義されたビューの順序を順守することで、オクルージョンされた画素を対応する位置及びビューに再配置するタスクを実行して、アンコンパクト化されたオクルージョン画像Odec1, … Odeck-1を出力する。
【０１２３】
最後に、アーチファクト補償ブロックCARTが、合成モジュールSIVから受信した合成されたビューVsyn1,… Vsynk-1に、アンコンパクト化されたオクルージョンを組み合わせることにより得られた、k-1の再構築された合成されたビューに独立して適用される。
【０１２４】
立体ビデオの特定の場合、つまり、２つのビューもつビデオ信号の場合には、本発明は、左ビュー、深度マップ、及びオクルージョンを、フレームパッキング配置戦略を利用することで、単一のフレームに入力することで後方互換とすることができるビデオ送信システムを実装するために、利用することができる。例えば、タイルフォーマットを利用して、７２０pフォーマットの左ビューとタイルフォーマットの右下隅の係数２でアンダーサンプルされた深度マップとを送信することができ、本発明に従って再構成されたオクルージョン画像は、タイルフォーマットの右ビューとして入力することができる。この代わりに、全解像度深度マップを利用して、図９及び図２１に示すオクルージョン画像のサイズ低減を利用することでオクルージョンを右下隅に入力してもよい。
【０１２５】
立体コンテンツを表現するために必要なビットレートを低減させるためにエンコーダが利用される場合には、本発明では、オクルージョンの符号化の前に左ビューの及び深度マップの符号化が実行されるようにすることが要求される。後者は、実際、復号化された左ビュー及び深度マップに基づいて計算されねばならない。これは、リアルタイムで動作する標準的な符号化及び送信チェーンを再利用するフレームパッキングタイプのトランスポートフォーマットを利用するときに技術的な問題を提示する。この場合、オクルージョン推定エラーを許容できなければ、同じ時間インスタントに関するビデオ、深度、及びオクルージョンを含む単一の画像を構築することはできない。この問題は、オクルージョン画像を生成するときに、１つの画像遅延を導入することで解決することができる。この左ビュー及びその深度は、時間t０に、フレームパッキングアプローチで符号化される。復号化された後に、このような情報が符号側で利用されて、時間ｔ０においてオクルージョンが計算される。これらのオクルージョンされた情報は、しかしながら、ｔ０の後の時間ｔ１で、フレームパッキングモードで送信される。これは、時間ｔ１で、合成フレームが符号側で構築されることを意味しており、これは、時間ｔ１における左ビュー、深度マップ、及び、時間ｔ０におけるオクルージョン画像を含む。このプロシージャに従うことで、復号器は、１つのフレームの遅延を生じはするが、立体ビデオを再構築することができ、これはしかしながら問題にはならない、というのも、遅延が非常に短いので（一秒に数百のオーダ）、観察者が知覚することができないからである。更に、これはビデオストリーム復号動作が導入する遅延の最小部分にすぎない。時間ｔ０、ｔ１、ｔ２は、現代の圧縮規格の符号化オーダに関しており、これは、一般に、同じ画像の表示時間とは異なりうることは指摘に値する。
【０１２６】
上では、V+D+Oの３次元のビデオ符号化の場合、つまり、メインビュー、深度マップ、及びオクルージョンを含む３つのビデオシーケンスを利用する場合における本発明の実装を記載してきた。しかしながら、例えばビュー、視差マップ、及びオクルージョンシーケンスを利用するビデオ符号化等の、視差マップを利用するいずれのタイプのビデオ符号化についても利用することができる。
【０１２７】
第１のビューＶ０に関する第２のビューＶ１の視差マップを取得する方法自身は公知である。この場合には、ブロックＳＴＯＣ（図１）の「ビュー合成」機能が、深度マップの代わりに視差マップを利用する、それ自身公知である別の適切な合成アルゴリズムを利用することでビューＶ１の推定されたシーケンスを生成する。
【０１２８】
本記載では、現在利用されているビデオ処理、格納及び送信デバイスおよびインフラストラクチャとの最大の互換性を保証するために、標準的なビデオエンコーダ及びデコーダが利用されるべきであるという仮定があった。しかし、これは、本発明を更に、特定のタイプのビデオ処理のために最適化された非標準的なエンコーダ及びデコーダを利用するビデオ符号化及び復号化システムに適用する可能性を排除するものではない。
【０１２９】
本記載において数回記載したが、オクルージョンされた画素の損失が示唆されうるオクルージョン画像のサイズ低減はしないほうがよい、というのも、もしもこれらの低減中に除去されると、実際のところ、空間アンコンパクタが、コンパクト化されたオクルージョン画像からこれらを取得することができない。所定の、通常限定された量の符号化されるビデオシーケンスの画像については、オクルージョンされた画素の数は、空間コンパクタによって実行されたサイズ低減動作により除去されるようになっている。この損失はしばしば、許容されてよく、観察者に全く知覚されない又は殆ど知覚されないアーチファクトを生成し、オクルージョンされた領域が通常非常に小さい領域をカバーする。更に、デコーダ内に含まれるアーチファクト補償ブロックの任意の組み合わせによって、しばしば、隣接する画像領域のビデオ情報及び適切なビデオ処理技術を利用することにより、符号化プロセス中に除去されたオクルージョンされた画素が残す空隙を満たすことができる。従って、コンパクタが、デコーダに送信されるそのコンパクト化された表現でオクルージョンされた画素の損失を生じさせるかを検証することなく、特定のサイズ低減を、オクルージョンシーケンスに適用することを決定すること、又は、少なくとも、そのうち限定された所定の部分のみのこのような検証を行うことは想定可能である。
【０１３０】
検証は、例えば、シーケンスの最初の部分に限定されず、シーケンスのどこか他の部分のこのような損失を生じさせるのではないかという事実に関する心配なく、全体のオクルージョンビデオシーケンスを、オクルージョンされた画素の損失を引き起こさない最大サイズ低減にかけることもできる。
【０１３１】
本発明は、これらプログラムがコンピュータにより実行されるとき、上述した方法の１又は複数のステップを実装するための符号化手段を含むコンピュータプログラムにより実装されると有利であろう。  したがって、保護範囲は、これらのコンピュータプログラム、及び、レコードされたメッセージを含むコンピュータ可読手段に拡張され、これらのコンピュータ可読手段は、これらプログラムがコンピュータにより実行されるとき、上述した方法の１又は複数のステップを実装するためのプログラム符号化手段を含む。記載した非限定的な例には、当業者にとって均等物である実施形態全てを含む、本発明の範囲から逸脱せずに、更なる実施形態の変形例が可能である。
【０１３２】
好適な実施形態の様々な形体に記載されたエレメント及び特性は、本発明の範囲を逸脱することなく相互に組み合わせることができる。
【０１３３】
本発明のアプリケーションから派生する利点が明らかである。
【０１３４】
本発明は、現在の圧縮技術を利用することでV+D+Oフォーマットの立体ビデオを効率的に圧縮することを可能とする。技術の革新的なエレメントは、明示的に符号化されてデコーダに送信される必要のないオクルージョン位置表示、及び、標準的な技術を利用して実行される後続する圧縮を促す画像を形成する、オクルージョンされた画素の再構成からなる。ここで提案した技術は、更に、特定の中間ビュー合成アルゴリズムに依存せず、近い将来に利用可能になる技術に容易に適合させることができる。最後に、本発明は、２Ｄシステムとの後方互換性を保証し、同時に、自己立体ディスプレイのためのマルチビュー送信のための生成を可能とする。
【０１３５】
上述した記載から、当業者は、本発明の目的を、さらなる構成の詳細を導入することなく生成することができる。
【図１】
2015520989.tif 000003
【図１ｂｉｓ】
2015520989.tif 000004
【図１ｔｅｒ】
2015520989.tif 000005
【図２】
2015520989.tif 000006
【図２ｂｉｓ】
2015520989.tif 000007
【図３】
2015520989.tif 000008
【図４】
2015520989.tif 000009
【図４−１】
2015520989.tif 000010
【図５】
2015520989.tif 000011
【図６】
2015520989.tif 000012
【図７】
2015520989.tif 000013
【図８】
2015520989.tif 000014
【図９】
2015520989.tif 000015
【図１０】
2015520989.tif 000016
【図１１】
2015520989.tif 000017
【図１２】
2015520989.tif 000018
【図１３】
2015520989.tif 000019
【図１４】
2015520989.tif 000020
【図１５】
2015520989.tif 000021
【図１５ｂｉｓ】
2015520989.tif 000022
【図１５ｔｅｒ】
2015520989.tif 000023
【図１６】
2015520989.tif 000024
【図１７】
2015520989.tif 000025
【図１８】
2015520989.tif 000026
【図１９】
2015520989.tif 000027
【図２０】
2015520989.tif 000028
【図２１】
2015520989.tif 000029
【図２２】
2015520989.tif 000030
【国際調査報告】
2015520989.tif 000031
2015520989.tif 000032