(57)【要約】  ビデオ信号をエンコードするための装置および方法。基準フレームのセグメントと、別のセグメントから生成される拡張領域とが、インター予測による現在のフレームのエンコードに用いられる。デコードのための装置および方法も開示される。
2019534603.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号をエンコードするための装置（１００）であって、
セグメント拡張ユニット（１１１ａ、１１１ｂ）と、
インター予測エンコードユニット（１０１、１１５、１１９）と
を備え、
前記ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々のフレームは、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の像面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
前記セグメント拡張ユニット（１１１ａ、１１１ｂ）は、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成するように構成され、
拡張ピクセル各々について、前記基準フレームの前記第２のセグメントのピクセルのピクセル値に基づいて、前記拡張ピクセルの前記ピクセル値を決定するように構成され、
前記インター予測エンコードユニット（１０１、１１５、１１９）は、
前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択するように構成され、
ビデオコーディングブロックのピクセルの前記ピクセル値と、選択された前記基準ブロックのピクセルの前記ピクセル値とに基づいて、現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値をエンコードするように構成される、
装置（１００）。
【請求項２】
拡張ピクセル各々について、前記セグメント拡張ユニット（１１１ａ、１１１ｂ）は、
マッピングを用いて、前記基準フレームの前記第２のセグメントのピクセルのピクセル値に基づいて、前記拡張ピクセルの前記ピクセル値を決定するように構成されており、
前記マッピングは、
前記基準フレームの前記第２のセグメントの前記ピクセルを前記第１の像面にマッピングするように構成されるか、または、
前記拡張ピクセルを前記第２の像面にマッピングするように構成される、
請求項１に記載のエンコード装置（１００）。
【請求項３】
前記マッピングは、
前記基準フレームの前記第２のセグメントのピクセル
【数８２】
2019534603.tif 000084
を三次元空間の点
【数８３】
2019534603.tif 000085
に投影することであって、前記点
【数８４】
2019534603.tif 000086
は、前記基準フレームの前記第２のセグメントの前記ピクセル
【数８５】
2019534603.tif 000087
をカメラ位置Ｃと結び付ける線上に存在する、ことと、
前記基準フレームの前記第２のセグメントの像面を前記基準フレームの前記第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行することと、
前記点
【数８６】
2019534603.tif 000088
を前記基準フレームの前記第１のセグメントの像面における点
【数８７】
2019534603.tif 000089
に投影することであって、前記基準フレームの前記第１のセグメントの像面における前記点
【数８８】
2019534603.tif 000090
は、拡張ピクセルを画定する、ことと
を含むか、またはそれらと同等である、
請求項２に記載のエンコード装置（１００）。
【請求項４】
前記マッピングは、ホモグラフィ行列
【数８９】
2019534603.tif 000091
に基づき、
【数９０】
2019534603.tif 000092
および
【数９１】
2019534603.tif 000093
は、前記基準フレームの前記第１のセグメントおよび前記第２のセグメントのカメラ較正行列を示し、
【数９２】
2019534603.tif 000094
は、前記第１のセグメントの像面と前記基準フレームの前記第２のセグメントの像面との間の前記角度を示し、
【数９３】
2019534603.tif 000095
は、回転を示し、
【数９４】
2019534603.tif 000096
は、カメラ位置Ｃからの距離を示す、
請求項２または３に記載のエンコード装置（１００）。
【請求項５】
前記基準フレームの前記第１のセグメントを前記基準フレームの前記第１のセグメントの前記拡張領域と共に格納するように構成される基準フレームバッファ（１０９）をさらに備える、前述の請求項のいずれか一項に記載のエンコード装置（１００）。
【請求項６】
前記第１のセグメントは、立方体または二十面体の第１の面に対応し、前記第２のセグメントは、立方体または二十面体の異なる面に対応する、
前述の請求項のいずれか一項に記載のエンコード装置（１００）。
【請求項７】
エンコードされたビデオ信号をデコードするための装置（２００）であって、
セグメント拡張ユニット（２１１）と、
インター予測再構成ユニット（２０３、２１５、２１９）と
を備え、
前記エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々のフレームは、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
前記セグメント拡張ユニット（２１１）は、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成するように構成され、
拡張ピクセル各々について、前記基準フレームの前記第２のセグメントのピクセルのピクセル値に基づいて、前記拡張ピクセルの前記ピクセル値を決定するように構成され、
前記インター予測再構成ユニット（２０３、２１５、２１９）は、現在のフレームの前記第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルの前記ピクセル値とに基づいて、前記現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値を再構成するように構成され、
前記基準ブロックは、前記基準フレームの前記第１のセグメントに全体的または部分的に位置するか、または、前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する、
装置（２００）。
【請求項８】
拡張ピクセル各々について、前記セグメント拡張ユニット（２１１）は、
マッピングを用いて、前記基準フレームの前記第２のセグメントのピクセルのピクセル値に基づいて、前記拡張ピクセルの前記ピクセル値を決定するように構成されており、
前記マッピングは、
前記基準フレームの前記第２のセグメントの前記ピクセルを前記基準フレームの前記第１のセグメントの像面にマッピングするように構成されるか、または、
前記拡張ピクセルを前記第２の像面にマッピングするように構成される、
請求項７に記載のデコード装置（２００）。
【請求項９】
前記マッピングは、
前記基準フレームの前記第２のセグメントのピクセル
【数９５】
2019534603.tif 000097
を三次元空間の点
【数９６】
2019534603.tif 000098
に投影することであって、前記点
【数９７】
2019534603.tif 000099
は、前記基準フレームの前記第２のセグメントの前記ピクセル
【数９８】
2019534603.tif 000100
をカメラ位置Ｃと結び付ける線上に存在する、ことと、
前記基準フレームの前記第２のセグメントの像面を前記基準フレームの前記第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行することと、
前記点
【数９９】
2019534603.tif 000101
を前記基準フレームの前記第１のセグメントの像面における点
【数１００】
2019534603.tif 000102
に投影することであって、前記基準フレームの前記第１のセグメントの像面における前記点
【数１０１】
2019534603.tif 000103
は、拡張ピクセルを画定する、ことと
を含む、
請求項８に記載のデコード装置（２００）。
【請求項１０】
前記マッピングは、ホモグラフィ行列
【数１０２】
2019534603.tif 000104
に基づき、
【数１０３】
2019534603.tif 000105
および
【数１０４】
2019534603.tif 000106
は、前記基準フレームの前記第１のセグメントおよび前記第２のセグメントのカメラ較正行列を示し、
【数１０５】
2019534603.tif 000107
は、前記第１のセグメントの像面と前記基準フレームの前記第２のセグメントの像面との間の前記角度を示し、
【数１０６】
2019534603.tif 000108
は、回転を示し、
【数１０７】
2019534603.tif 000109
は、カメラ位置Ｃからの距離を示す、
請求項８または９に記載のデコード装置（２００）。
【請求項１１】
前記基準フレームの前記第１のセグメントを前記基準フレームの前記第１のセグメントの前記拡張領域と共に格納するように構成される基準フレームバッファ（２０９）
をさらに備える、前述の請求項のいずれか一項に記載のデコード装置（２００）。
【請求項１２】
前記第１のセグメントおよび前記第２のセグメントは、立方体または二十面体の異なる面に対応する、
前述の請求項のいずれか一項に記載のデコード装置（２００）。
【請求項１３】
ビデオ信号をエンコードするための方法（８００）であって、
前記ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々のフレームは、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の像面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
前記方法は、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成する段階であって、拡張ピクセル各々について、前記基準フレームの前記第２のセグメントのピクセルのピクセル値に基づいて、前記拡張ピクセルの前記ピクセル値を決定する段階を有する、生成する段階と、
前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択する段階と、
ビデオコーディングブロックのピクセルの前記ピクセル値と、選択された前記基準ブロックのピクセルの前記ピクセル値とに基づいて、現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値をエンコードする段階と
を備える方法（８００）。
【請求項１４】
エンコードされたビデオ信号をデコードするための方法（９００）であって、
前記エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々のフレームは、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
前記方法は、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成する段階であって、拡張ピクセル各々について、前記基準フレームの前記第２のセグメントのピクセルのピクセル値に基づいて、前記拡張ピクセルの前記ピクセル値を決定する段階を有する、生成する段階と、
現在のフレームの前記第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルの前記ピクセル値とに基づいて、前記現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値を再構成する段階であって、前記基準ブロックは、前記基準フレームの前記第１のセグメントに全体的または部分的に位置するか、または、前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する、再構成する段階と
を備える方法（９００）。
【請求項１５】
前記セグメント拡張ユニット（２１１）は、各ビデオコーディングブロックのブロックレベル、フレームレベル、ＧＯＰ（ピクチャグループ）レベル、ＰＰＳ（ピクチャパラメータセット）レベルまたはＳＰＳ（シーケンスパラメータセット）レベルで、フラグ／情報に基づいてセグメント拡張を実行するように構成され、
セグメント拡張オペレーションは、前記フラグの前記ステータスに基づいて有効化または無効化され得る、
請求項１４に記載のデコード方法または請求項７に記載のデコード装置。
【請求項１６】
コンピュータ上で実行された場合、請求項１３に記載の方法（８００）または請求項１４に記載の方法（９００）を実行するためのプログラムコードを含む非一時的コンピュータプログラム可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、ビデオコーディング分野に関する。より具体的には、本発明は、ビデオ信号のビデオコーディングブロックをエンコードおよびデコードするための装置および方法に関する。
【背景技術】
【０００２】
３６０°パノラマビデオ信号は、単一の視点の周囲の全ての方向でシーンを撮像したシーケンスを含む。これは一般に、互いに近くに配置された、異なる視野方向を有する複数のカメラを用いて実現される。次に、撮像されたコンテンツは、共にスティッチされると共に、特定の時点での３６０°のシーンまたはパノラマビデオ信号を表す、当該視点の周りのテクスチャを有する球体として考えられ得る。しかしながら、そのような球体は、概してシーンの平らな（２Ｄ）矩形画像を必要とする現在のビデオコーデックを用いて直接処理され得ない。故に、現在のビデオコーデックを用いてパノラマビデオ信号を処理すべく、球体は、そのような２Ｄフォーマットへ変換されなければならない。
【０００３】
１または複数のセグメントを含む２Ｄフォーマットへ球体を変換するために、以下の投影のうちの１つが用いられ得る。
【０００４】
エクイレクタングラー投影では、地球から世界地図を作成するものと同様の矩形への投影を画定する。サンプル密度は、「高さ」が異なるにつれて異なる。極端な場合は、球体の極であり、極は線へとマッピングされる。幾何学的歪みが、結果として得られる画像の全体に広がる。
【０００５】
立方体に基づく投影では、球体は、立方体の面またはセグメントにマッピングされる。各セグメントは、可視の幾何学的歪みがない通常の２Ｄ画像のように見える。しかしながら、セグメントの境界領域には強い幾何学的歪みが存在する。セグメントを矩形フォーマットで配置するための複数の態様がある。
【０００６】
二十面体に基づく投影では、球体は、二十面体の面またはセグメントにマッピングされる。各セグメントは、可視の幾何学的歪みがない通常の２Ｄ画像のように見える。この場合も、二十面体のセグメントの境界領域には強い幾何学的歪みが存在する。しかしながら、近接面間の角度が小さいので、これらの歪みは、立方体フォーマットに基づく投影の場合と同じ程度には強くない。二十面体の面を矩形フォーマットで配置するための複数の態様がある。
【０００７】
立方体フォーマットおよび二十面体フォーマットの両方は、同じカメラ中心および端部を共有する、歪みのないセグメントから成る。
【０００８】
複数のセグメントを含むパノラマビデオ信号のエンコードおよびデコードには、以下の問題が生じ得る。同じカメラ中心を有し、境界を共有する２つの面またはセグメント、すなわち、面Ａおよび面Ｂがあるとする。面ＡおよびＢの画像は、継時的に記録され、パノラマビデオ信号の後続のフレームに配置される。次に、このパノラマビデオ信号は、エンコードされる。
【０００９】
面ＡおよびＢの画像が互いに隣り合う順序で配置されていない場合、動き補償は、それらの共有されている境界にわたって実行され得ない。しかしながら、それらが、３Ｄ空間において共有するのと同様にパノラマビデオ信号における同じ境界を共有するように配置されている場合でも、パノラマビデオ信号におけるそれらの共通の境界にわたって幾何学的歪みが存在する。これにより、パノラマビデオ信号の面ＡおよびＢの画像の境界領域での動き補償の性能が下がってしまう。
【００１０】
故に、異なる像面に対応する２以上のセグメントを含むビデオ信号（例えば、パノラマビデオ信号）をエンコードおよびデコードするための改良された装置および方法が必要とされている。
【発明の概要】
【００１１】
本発明の目的は、ビデオ信号をエンコードおよびデコードするための改良された装置および方法を提供することである。
【００１２】
前述の目的および他の目的は、独立請求項の主題により実現される。さらなる実装形態が、従属請求項、明細書および図から明らかである。
【００１３】
本明細書において用いられる場合、ビデオ信号またはビデオシーケンスは、動画を示す一式の後続のフレームである。言い換えれば、ビデオ信号またはビデオシーケンスは、複数のフレーム（ピクチャまたは画像とも称される）から成る。
【００１４】
本明細書において用いられる場合、コーディングツリーユニット（ＣＴＵ）は、フレームの一部分（例えば、６４×６４個のピクセル）を含む、予め定義されたサイズのビデオシーケンスのコーディング構造のルートを示す。ＣＴＵは、いくつかのコーディングユニット（ＣＵ）へのパーティション化であり得る。
【００１５】
本明細書において用いられる場合、コーディングユニット（ＣＵ）は、ＣＴＵに属するフレームの一部分を含む、予め定義されたサイズのビデオシーケンスの基本的なコーディング構造を示す。ＣＵは、さらなるＣＵへパーティション化され得る。
【００１６】
本明細書において用いられる場合、予測ユニット（ＰＵ）は、ＣＵをパーティション化した結果であるコーディング構造を示す。
【００１７】
本明細書において用いられる場合、ブロックは、ピクセルグループを示す。ブロックは、任意の形状、特に、正方形または矩形であり得る。
【００１８】
本明細書において説明されるデバイスおよび方法は、ナチュラルビデオシーケンスの時間冗長性を利用すべくピクチャ間のインター予測のために用いられ得る。現在のピクチャと基準ピクチャとの間で観察される情報の変化は、多くの場合、並進移動、例えば、像面内での直線移動により近似され得る。ブロックベースの動き補償は、基準ピクチャが矩形ブロックへパーティション化され、ブロック内の各ピクセルが同じ動きを見せるこのパラダイムの主要な実現例である。故に、予測ブロックと呼ばれるブロック全体の動きは、単一の動きベクトルにより説明され得る。基準ピクチャ全体にわたる一式の動きベクトルにより、動きベクトル場として示されるベクトル場が定義される。
【００１９】
第１の態様によれば、本発明は、ビデオ信号をエンコードするための装置に関する。
装置は、
セグメント拡張ユニットと、
インター予測エンコードユニットと
を備え、
ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の像面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
セグメント拡張ユニットは、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成するように構成され、
拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成され、
インター予測エンコードユニットは、
基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択するように構成され、
ビデオコーディングブロックのピクセルのピクセル値と、選択された基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値をエンコードするように構成される。
【００２０】
故に、ビデオ信号をエンコードするための改良された装置が提供される。より具体的には、第１の態様によるエンコード装置は、共通の端部にわたって幾何学的歪みが補償されるように、隣接するセグメントに基づいて基準フレームの第１のセグメントを拡張することを可能にする。現在のフレームの第１のセグメントにおけるブロックの動き補償は、基準フレームにおける第１のセグメントおよびその拡張領域に基づいて実行され得る。追加のシグナリングは、必要ではない。なぜなら、幾何学的歪みの補償がどのように実行されるべきかは、一連のフレームにおける空間位置から導出され得るからである。本発明の実施形態は、多くの歪みのない面から成り、端部を共有し、かつ、同じカメラ中心を共有する立方体、二十面体または他のフォーマットにおける３６０°連続の動き補償に容易に用いられ得る。本発明の実施形態により、例えば、シーン内にカメラの動きまたは動く物体がある場合、コーディング性能を上げることが可能になる。
【００２１】
基準フレームは、再構成フレームであり得る。基準フレームは、複数の連続するフレームのうちの１つのフレームをエンコードし、次に、エンコードされたフレームをデコードすることにより取得され得る。
【００２２】
第１の像面および第２の像面は、互いに対してある面間角（例えば、１°と９０°との間）だけ角度が付けられ得る。
【００２３】
一実装形態において、フレームは、一連のサブフレームを含み、各サブフレームは、全てのセグメントのサブセットのみ（例えば、１つのセグメントのみ）を含む。各サブフレームは、セグメントのそれぞれのサブセットを更新するために用いられ得る。
【００２４】
第１のセグメントおよび第２のセグメントは、近接セグメントであり得る。特に、それらは、隣り合うセグメントであり得る。
【００２５】
第１の態様によるエンコード装置の第１の可能な実装形態において、拡張ピクセル各々について、セグメント拡張ユニットは、
マッピングを用いて、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成されており、
マッピングは、
基準フレームの第２のセグメントのピクセルを第１の像面にマッピングするように構成される（第１の変形例）か、または、
拡張ピクセルを第２の像面にマッピングするように構成される（第２の変形例）。
【００２６】
これの第１の変形例において、拡張ピクセルは、基準フレームの第２のセグメントのピクセルから決定される。第２の変形例において、第２のセグメントのピクセルは、（例えば、第１の変形例に関連付けられる幾何学変換とは逆の幾何学変換を用いて）拡張ピクセルから決定される。
【００２７】
マッピングにおいて、一方の像面からのピクセルは、厳密には他方の像面における１つのピクセル上ではない所に存在することになる可能性があることにさらに留意されたい。むしろ、当該ピクセルは、他方の面の２以上の近接ピクセルの間に位置する、他方の像面の幾何学上の点に存在することになる可能性がある。この理由により、セグメント拡張ユニットは、例えば、第２のセグメントのピクセルがマッピングされる第１の像面における幾何学上の点の近くに位置するピクセルグループ（例えば、２つ、３つまたは４つのピクセル）のピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成され得る。
【００２８】
第１の態様の第１の実装形態によるエンコード装置の第２の可能な実装形態において、
マッピングは、
基準フレームの第２のセグメントのピクセル
【数１】
2019534603.tif 000003
を三次元空間の点
【数２】
2019534603.tif 000004
に投影する段階であって、点
【数３】
2019534603.tif 000005
は、基準フレームの第２のセグメントのピクセル
【数４】
2019534603.tif 000006
をカメラ位置
【数５】
2019534603.tif 000007
と結び付ける線上に存在する、段階と、
基準フレームの第２のセグメントの像面を基準フレームの第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行する段階と、
点
【数６】
2019534603.tif 000008
を基準フレームの第１のセグメントの像面における点
【数７】
2019534603.tif 000009
に投影する段階であって、基準フレームの第１のセグメントの像面における点
【数８】
2019534603.tif 000010
は、拡張ピクセルを画定する、段階と
を含むか、またはそれらと同等である。
【００２９】
第１の態様の第１の実装形態または第２の実装形態によるエンコード装置の第３の可能な実装形態において、マッピングは、ホモグラフィ行列
【数９】
2019534603.tif 000011
に基づき、
【数１０】
2019534603.tif 000012
および
【数１１】
2019534603.tif 000013
は、基準フレームの第１のセグメントおよび第２のセグメントのカメラ較正行列を示し、
【数１２】
2019534603.tif 000014
は、第１のセグメントの像面と基準フレームの第２のセグメントの像面との間の角度を示し、
【数１３】
2019534603.tif 000015
は、回転を示し、
【数１４】
2019534603.tif 000016
は、カメラ位置
【数１５】
2019534603.tif 000017
からの距離を示す。
ホモグラフィ行列は、例えば、第２の像面のｘｙ−座標に適用され得るか、またはピクセル座標に直接適用され得る。
【００３０】
第１の態様によるエンコード装置の第４の可能な実装形態またはその実装形態のいずれか１つにおいて、エンコード装置は、基準フレームバッファをさらに備える。基準フレームバッファは、基準フレームの第１のセグメントを基準フレームの第１のセグメントの拡張領域と共に格納するように構成される。
【００３１】
第１の態様によるエンコード装置の第５の可能な実装形態またはその実装形態のいずれか１つにおいて、第１のセグメントは、立方体または二十面体の第１の面に対応し、第２のセグメントは、立方体または二十面体の異なる面に対応する。これらの面は、外面または内面であり得る。
【００３２】
第２の態様によれば、本発明は、エンコードされたビデオ信号をデコードするための装置に関する。
装置は、
セグメント拡張ユニットと、
インター予測再構成ユニットと
を備え、
エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、（例えば、互いに対して、例えば１°から９０°の間の面間角だけ角度が付いた）第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
セグメント拡張ユニットは、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成するように構成され、
拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成され、
インター予測再構成ユニットは、現在のフレームの第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値を再構成するように構成され、
基準ブロックは、基準フレームの第１のセグメントに全体的または部分的に位置するか、または、基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する。
【００３３】
第２の態様によるデコード装置の第１の可能な実装形態において、拡張ピクセル各々について、セグメント拡張ユニットは、
マッピングを用いて、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成されており、
マッピングは、
基準フレームの第２のセグメントのピクセルを基準フレームの第１のセグメントの像面にマッピングするように構成されるか、または、
拡張ピクセルを第２の像面にマッピングするように構成される。
【００３４】
第２の態様の第１の実装形態によるデコード装置の第２の可能な実装形態において、
マッピングは、
基準フレームの第２のセグメントのピクセル
【数１６】
2019534603.tif 000018
を三次元空間の点
【数１７】
2019534603.tif 000019
に投影する段階であって、点
【数１８】
2019534603.tif 000020
は、基準フレームの第２のセグメントのピクセル
【数１９】
2019534603.tif 000021
をカメラ位置
【数２０】
2019534603.tif 000022
と結び付ける線上に存在する、段階と、
基準フレームの第２のセグメントの像面を基準フレームの第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行する段階と、
点
【数２１】
2019534603.tif 000023
を基準フレームの第１のセグメントの像面における点
【数２２】
2019534603.tif 000024
に投影する段階であって、基準フレームの第１のセグメントの像面における点
【数２３】
2019534603.tif 000025
は、拡張ピクセルを画定する、段階と
を含む。
【００３５】
第２の態様の第１の実装形態または第２の実装形態によるデコード装置の第３の可能な実装形態において、マッピングは、ホモグラフィ行列
【数２４】
2019534603.tif 000026
に基づき、
【数２５】
2019534603.tif 000027
および
【数２６】
2019534603.tif 000028
は、基準フレームの第１のセグメントおよび第２のセグメントのカメラ較正行列を示し、
【数２７】
2019534603.tif 000029
は、第１のセグメントの像面と基準フレームの第２のセグメントの像面との間の角度を示し、
【数２８】
2019534603.tif 000030
は、回転を示し、
【数２９】
2019534603.tif 000031
は、カメラ位置
【数３０】
2019534603.tif 000032
からの距離を示す。
【００３６】
第２の態様によるデコード装置の第４の可能な実装形態またはその実装形態のいずれか１つにおいて、デコード装置は、基準フレームバッファをさらに備える。基準フレームバッファは、基準フレームの第１のセグメントを基準フレームの第１のセグメントの拡張領域と共に格納するように構成される。
【００３７】
第２の態様によるデコード装置の第５の可能な実装形態またはその実装形態のいずれか１つにおいて、第１のセグメントおよび第２のセグメントは、立方体または二十面体の異なる面に対応する。
【００３８】
第３の態様によれば、本発明は、ビデオ信号をエンコードするための方法に関する。
ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の像面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
方法は、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成する段階であって、拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定する段階を有する、生成する段階と、
基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択する段階と、
ビデオコーディングブロックのピクセルのピクセル値と、選択された基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値をエンコードする段階と
を備える。やはり、第１の像面および第２の像面は、ある面間角（例えば、１°と９０°との間）だけ互いに対して角度が付けられ得る。
【００３９】
第４の態様によれば、本発明は、エンコードされたビデオ信号をデコードするための方法に関する。
エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
方法は、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成する段階であって、拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定する段階を有する、生成する段階と、
現在のフレームの第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値を再構成する段階であって、基準ブロックは、基準フレームの第１のセグメントに全体的または部分的に位置するか、または、基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する、再構成する段階と
を備える。
【００４０】
本発明の第４の態様によるデコード方法は、本発明の第２の態様によるデコード装置により実行され得る。本発明の第４の態様によるデコード方法のさらなる特徴は、本発明の第２の態様によるデコード装置およびその異なる実装形態の機能から直接生じる。
【００４１】
本発明の第４の態様によるデコード方法または本発明の第２の態様によるデコード装置の一実装形態において、セグメント拡張ユニットは、各ビデオコーディングブロックのブロックレベル、フレームレベル、ＧＯＰ（ピクチャグループ）レベル、ＰＰＳ（ピクチャパラメータセット）レベルまたはＳＰＳ（シーケンスパラメータセット）レベルで、フラグ／情報に基づいてセグメント拡張を実行するように構成される。セグメント拡張オペレーションは、フラグのステータスに基づいて有効化または無効され得る。
【００４２】
第５の態様によれば、本発明は、コンピュータ上で実行された場合、第３の態様によるエンコード方法または第４の態様によるデコード方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。本発明は、ハードウェアおよび／またはソフトウェアにおいて実装され得る。
【図面の簡単な説明】
【００４３】
以下の図に対して、本発明のさらなる実施形態が説明される。
【００４４】
【図１】一実施形態によるビデオ信号をエンコードするための装置を例示した概略図を示す。
【図２】一実施形態によるビデオ信号をデコードするための装置を例示した概略図を示す。
【図３】一実施形態によるエンコード装置およびデコード装置において実装される拡張領域を生成するための幾何学変換を例示した概略図を示す。
【図４】一実施形態によるエンコード装置およびデコード装置により処理され得るビデオ信号のフレームを例示した概略図を示す。
【図５】一実施形態によるエンコード装置およびデコード装置により処理され得るビデオ信号のフレームのセグメント間の幾何学的関係を例示した概略図を示す。
【図６】一実施形態によるエンコード装置およびデコード装置により生成される拡張領域を含むビデオ信号のセグメントを例示した概略図を示す。
【図７】一実施形態によるエンコード装置およびデコード装置により生成されるフレーム内に拡張領域を含むビデオ信号のセグメントを例示した概略図を示す。
【図８】一実施形態によるビデオ信号をエンコードするための方法を例示した概略図を示す。
【図９】一実施形態によるビデオ信号をデコードするための方法を例示した概略図を示す。様々な図において、同一の参照符号は、同一であるか、または少なくとも機能的に同等の特徴について用いられる。
【発明を実施するための形態】
【００４５】
以下の説明では、本開示の一部を形成する添付図面が参照される。添付図面には、例として、本発明が提起され得る特定の態様が示される。他の態様が利用され得ること、および本発明の範囲から逸脱することなく構造的または論理的な変更が行われ得ることが理解される。本発明の範囲は、添付の特許請求の範囲定義されるので、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
【００４６】
例えば、説明される方法に関連する開示も、当該方法を実行するように構成される対応するデバイスまたはシステムについて当てはまり得ること、そしてその逆も同様であることが理解される。例えば、特定の方法の段階が説明される場合、対応するデバイスは、説明される方法の段階を実行するためのユニットを、そのようなユニットが明確に説明されないか、または図示されない場合でも、含み得る。さらに、本明細書において説明される様々な例示的な態様の特徴は、特に別段の記載がない限り、互いに組み合わされ得ることが理解される。
【００４７】
図１は、一実施形態によるビデオ信号のビデオコーディングブロックをエンコードするための装置１００を例示した概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントと第２のセグメントとを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。一実施形態において、ビデオコーディングブロックは、マクロブロック、コーディングツリーユニット、コーディングユニット、予測ユニットおよび／または予測ブロックであり得る。
【００４８】
以下でより詳細に説明されるように、エンコード装置１００は、複数の拡張ピクセルを含む基準フレームの第１のセグメントの拡張領域を生成するように構成されるセグメント拡張ユニット１１１ａ、１１１ｂを備える。各拡張ピクセルについて、セグメント拡張ユニット１１１ａ、１１１ｂは、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成される。
【００４９】
エンコード装置１００は、インター予測ユニット１１３、１１５およびエンコードユニット１０１、１１９をさらに備える。インター予測ユニット１１３、１１５は、基準フレームの第１のセグメントのピクセルと基準フレームの拡張領域の拡張ピクセルとに基づいて、現在処理されているフレームの第１のセグメントのビデオコーディングブロックの動き補償を実行するように、すなわち、基準フレームにおける同じ場所に配置されたビデオコーディングブロックに基づいて予測ビデオコーディングブロックを生成するように構成される。また、エンコードユニット１０１、１１９は、エンコードされたビデオコーディングブロックを予測ビデオコーディングブロックに基づいて生成するように構成される。以下でさらにより詳細に説明されるように、エンコードユニット１０１、１１９は、変換および量子化ユニット１０１および／またはエントロピーコーディングユニット１１９を備え得る。
【００５０】
図１に示されるエンコード装置１００の実施形態は、以下の態様で機能する。３×２個の立方体セグメントなどの複数のセグメントを含むビデオ信号のフレームは、複数の非重複ビデオコーディングブロックへ分割される。現在処理されているビデオコーディングブロックの各々について、予測ブロック、すなわち、予測された現在のビデオコーディングブロックは、残留ビデオコーディングブロックを提供する減算ユニット１０２により減算される。次に、残留ビデオコーディングブロックが、図１に示される変換および量子化ユニット１０１により変換および定量化され、エントロピーコーディングユニット１１９によりエントロピーエンコードされて、基準デコーダ１２０は、既にエンコードされているビデオコーディングブロックを利用可能になる。基準デコーダ１２０は、変換および量子化ユニット１０１のオペレーションを反転させる（ここでは、量子化エラーがもたらされ得る）逆変換および量子化ユニット１０３を備える。追加ユニット１０５は、残留ビデオコーディングブロックを予測ブロックと組み合わせることで、再構成されたビデオコーディングブロックを取得する。再構成されたビデオコーディングブロックは、イントラ予測ユニット１１７を用いた、同じフレームの他のビデオコーディングブロックのイントラ予測用に利用可能になる。
【００５１】
再構成されたビデオコーディングブロックは、ループフィルタユニット１０７によりループフィルタリングされる可能性があり（選択は、エンコード装置１００の制御ユニットにより行われ得る）、基準フレームバッファ１０９に格納される。このステージにおいて、再構成されたビデオコーディングブロックは、他のフレームのビデオコーディングブロックのインター予測用にも利用可能になる。上記で既に言及され、以下でさらにより詳細に説明されるように、基準フレームバッファ１０９がアクセスされた場合、セグメント拡張ユニット１１１ａ、１１１ｂは、現在のビデオコーディングブロックを含むセグメントの拡張領域を提供し得る。図１には例示を目的として２つのセグメント拡張ユニット１１１ａ、１１１ｂが示されているが、図１に示されている２つのセグメント拡張ユニット１１１ａ、１１１ｂは、単一のユニットの形式でも実装され得ることが容易に理解されよう。
【００５２】
上記で既に言及されたように、セグメント拡張ユニット１１１ａ、１１１ｂにより提供されるデータは、インター予測ユニット１１５により、動き補償の実行のために用いられる。この目的を達成するために、図１に示されるエンコード装置１００は、動き推定ユニット１１３をさらに備える。他の実施形態において、動き推定ユニット１１３は、インター予測ユニット１１５の一部分として実装され得る。概して、エンコード装置１００の制御ユニット（図１には示されない）は、現在処理されているビデオコーディングブロックを選択すると共に、現在処理されているビデオコーディングブロックを予測するために予測モード、すなわち、イントラ予測またはインター予測を選択する。この情報は、図２に示されるデコード装置２００より必要ともされ、よって、エントロピーコーディングユニット１１９により、ビットストリームへとエントロピーコーディングされもする。
【００５３】
図２は、一実施形態によるビデオ信号のエンコードされたビデオコーディングブロックをデコードするための装置２００を例示する概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントおよび第２のセグメントを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。
【００５４】
デコード装置２００は、デコードユニット２０３、２１９を備える。デコードユニット２０３、２１９は、残留ビデオコーディングブロックを提供するために現在のフレームの第１のセグメントのビデオコーディングブロックをデコードするように構成される。以下でさらにより詳細に説明されるように、デコードユニット２０３、２１９は、逆変換および量子化ユニット２０３および／またはエントロピーコーディングユニット２１９を備え得る。
【００５５】
以下でさらにより詳細に説明されるように、デコード装置２００は、セグメント拡張ユニット２１１をさらに備える。セグメント拡張ユニット２１１は、複数の拡張ピクセルを含む基準フレームの第１のセグメントの拡張領域を生成するように構成される。各拡張ピクセルについて、セグメント拡張ユニット２１１は、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成される。
【００５６】
デコード装置２００は、インター予測ユニット２１５をさらに備える。インター予測ユニット２１５は、基準フレームの第１のセグメントのピクセルと基準フレームの拡張領域の拡張ピクセルとに基づいて現在のフレームの第１のセグメントのビデオコーディングブロックの動き補償を実行するように、すなわち、基準フレームにおける同じ場所に配置されたビデオコーディングブロックに基づいて予測ビデオコーディングブロックを生成するように構成される。
【００５７】
デコード装置２００は、再構成ユニット２０９をさらに備える。再構成ユニット２０９は、予測ビデオコーディングブロックおよび残留ビデオコーディングブロックに基づいて現在のフレームのビデオコーディングブロックを再構成するように構成される。
【００５８】
図２に示されるデコード装置２００の実施形態は、以下の態様で機能する。ビデオ信号の現在のフレームは、複数の非重複ビデオコーディングブロックへ分割される。現在処理されているビデオコーディングブロックの残留分、すなわち、残留ビデオコーディングブロックは、エントロピーコーディングユニット２１９により、インター予測およびイントラ予測用の対応するパラメータと共にデコードされる。残留ビデオコーディングブロックは、逆変換および量子化ユニット２０３により処理され、追加ユニット２０５により、再構成されたビデオコーディングブロックを生成するために、予測ビデオコーディングブロックへ加えられる。再構成されたビデオコーディングブロックは、同じフレームの他のビデオコーディングブロックのイントラ予測用にイントラ予測ユニット２１７に提供される。さらに、再構成されたビデオコーディングブロックは、ループフィルタ２０７によりループフィルタリングされ得（この選択は、デコード装置２００の制御ユニットにより行われ得る）、基準フレームバッファ２０９に格納される。このステージにおいて、再構成されたビデオコーディングブロックは、他のフレームのビデオコーディングブロックのインター予測用にも利用可能になる。上記で既に言及され、以下でさらにより詳細に説明されるように、基準フレームバッファ２０９がアクセスされた場合、セグメント拡張ユニット２１１は、基準フレーム内のセグメントの拡張領域を提供し得る。基準フレームバッファ２０９は、処理されたフレームを出力順序で出力するように構成される。
【００５９】
上述のエンコード装置１００およびデコード装置２００の既知のユニットのいくつかについてのより詳細な事項に関して、２０１５年Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ  Ｂｅｒｌｉｎ  Ｈｅｉｄｅｌｂｅｒｇ出版、Ｍａｔｈｉａｓ  Ｗｉｅｎ著「高効率ビデオコーディング」第１版という文献が参照される。当該文献は、参照により全体が本明細書に組み込まれる。
【００６０】
一実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂと、デコード装置２００のセグメント拡張ユニット２１１とは、基準フレームの第１のセグメントの拡張領域の各拡張ピクセルについて、それらの共通の端部にわたる幾何学的歪みが補償されるように、基準フレームの第２のセグメントのピクセルを基準フレームの第１のセグメントの像面にマッピングするように構成されるマッピングを用いて、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成される。
【００６１】
図３は、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装され、基準フレームの第１のセグメントおよび隣接する第２のセグメントの共通の端部にわたる幾何学的歪みの補償を可能にするマッピングまたは幾何学変換を示す。ここで、第１のセグメント（セグメントＡとも称され、像面Ａに関連付けられる）と、第２のセグメント（セグメントＢとも称され、像面Ｂに関連付けられる）とは、同じカメラ位置またはカメラ中心Ｃを有し、境界を共有しているものと仮定する。
【００６２】
図３から理解され得るように、３Ｄ空間における点
【数３１】
2019534603.tif 000033
は、カメラ中心Ｃを通過した光線上に存在する。カメラ中心Ｃは、像面Ａおよび像面Ｂと交差する。結果的に、像面Ｂにおける点
【数３２】
2019534603.tif 000034
が、像面Ａにおける点
【数３３】
2019534603.tif 000035
に投影またはマッピングされ得る。このオペレーションには、カメラ中心Ｃからの３Ｄ点
【数３４】
2019534603.tif 000036
の距離の情報は必要とされない。
【００６３】
数学的には、このことは、以下の態様で表されされ得る。  点
【数３５】
2019534603.tif 000037
は、３Ｄ空間におけるベクトル、すなわち、
【数３６】
2019534603.tif 000038
と表され得る。点
【数３７】
2019534603.tif 000039
の同次表現
【数３８】
2019534603.tif 000040
は、
【数３９】
2019534603.tif 000041
と表され得る。
【００６４】
像面Ｂへの同次表現
【数４０】
2019534603.tif 000042
の投影は、
【数４１】
2019534603.tif 000043
と示され、
【数４２】
2019534603.tif 000044
と表され得る。
【数４３】
2019534603.tif 000045
は、像面Ｂに関連付けられたカメラの較正行列である。上記式は、いくらか異なり、
【数４４】
2019534603.tif 000046
という形式で表され得る。
【００６５】
同次座標がスケーリングのみまで定義されるので、スケーリング係数
【数４５】
2019534603.tif 000047
は、正規化された同次画像座標
【数４６】
2019534603.tif 000048
を提供するために省略され得る。この正規化された形式は、以下の態様で直接取得され得もする。
【数４７】
2019534603.tif 000049
【００６６】
カメラからの点の距離が既知である場合、投影は、以下の態様で逆数にされ得る。
【数４８】
2019534603.tif 000050
【００６７】
この場合も、スケーリング係数
【数４９】
2019534603.tif 000051
は、抜かされ得る。次に、上述の態様で取得された点は、像面Ａに投影され得る。しかしながら、像面Ａは像面Ｂとは異なる向きを有するので、まず、像面Ａを像面Ｂと位置合わせするために、カメラ中心Ｃの周りでの回転Ｒが実行されなければならない。この回転
【数５０】
2019534603.tif 000052
は、像面Ａと像面Ｂとの間の角度
【数５１】
2019534603.tif 000053
により画定され、それぞれの座標軸を中心とする回転の組み合わせ、すなわち、
【数５２】
2019534603.tif 000054
とも表され得る。この回転は、同次座標
【数５３】
2019534603.tif 000055
でも表され得る。
【００６８】
故に、像面Ｂにおける点
【数５４】
2019534603.tif 000056
は、像面Ａにおける対応する点
【数５５】
2019534603.tif 000057
に投影またはマッピングされ得る。
【数５６】
2019534603.tif 000058
【００６９】
故に、点を像面Ｂから像面Ｂに移動させるためのホモグラフィ行列
【数５７】
2019534603.tif 000059
は、
【数５８】
2019534603.tif 000060
と表され得る。
【００７０】
ホモグラフィ行列
【数５９】
2019534603.tif 000061
を決定するための上記式から分かるように、カメラＣからの距離
【数６０】
2019534603.tif 000062
は、上記式から抜かされる。なぜなら、この情報は、ホモグラフィの実行には必要ではないからである。
【００７１】
上述の変換についてのより詳細な事項に関して、２００３年Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ出版、Ｒｉｃｈａｒｄ  ＨａｒｌｅｙおよびＡｎｄｒｅｗ  Ｚｉｓｓｅｒｍａｎ著「コンピュータビジョンにおける複数視点ジオメトリ」第２版という文献が参照される。当該文献は、参照により全体が本明細書に組み込まれる。
【００７２】
故に、一実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装されるマッピングまたは幾何学変換は、基準フレームの第２のセグメントのピクセルまたは点
【数６１】
2019534603.tif 000063
を三次元空間における点
【数６２】
2019534603.tif 000064
に投影する段階であって、点
【数６３】
2019534603.tif 000065
は、基準フレームの第２のセグメントのピクセル
【数６４】
2019534603.tif 000066
をカメラ位置
【数６５】
2019534603.tif 000067
と結び付ける線上に存在する、段階と、基準フレームの第２のセグメントの像面Ｂを基準フレームの第１のセグメントの像面Ａと平行な向きへと回転させるための回転を実行する段階と、点
【数６６】
2019534603.tif 000068
を基準フレームの第１のセグメントの像面Ａにおける点
【数６７】
2019534603.tif 000069
に投影する段階であって、基準フレームの第１のセグメントの像面Ａにおける点
【数６８】
2019534603.tif 000070
は、拡張ピクセルを画定する、段階とを含む。
【００７３】
さらなる実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装されるマッピングまたは幾何学変換は、ホモグラフィ行列
【数６９】
2019534603.tif 000071
に基づく。
【００７４】
以下では、上記アプローチが、３６０°ビデオ信号に関連して説明される。セグメントは、立方体の６つの面である。すなわち、３６０°ビデオ信号は、立方体を画定する６つのセグメントにマッピングされている。立方体の面またはセグメントは、フレームに配置されている。立方体セグメント４０１−１，…，  ４０１−６とパッドされた画像境界４０３とを含むフレーム４００の可能な構成の１つが、図４に示される。図５に示されるように、全ての立方体セグメント４０１−１，…，  ４０１−６は、４つの隣接セグメントまたは近接セグメントを有する主面またはセグメントとなるように画定され得る。立方体セグメント４０１−１が、主面として選択されている。特許請求される発明により提供される幾何学的補正をしないと、図５に示されるセグメントの境界にわたる幾何学的歪みが生じるであろう。
【００７５】
簡略化の目的で、異なる立方体セグメントの解像度は同じであるものと仮定する。さらに、座標
【数７０】
2019534603.tif 000072
で表されるそれぞれの主点は、それぞれの立方体セグメントの中心に存在するものと仮定する。そのような実施形態において、較正行列
【数７１】
2019534603.tif 000073
および
【数７２】
2019534603.tif 000074
は、以下の態様で表され得る。
【数７３】
2019534603.tif 000075
および
【数７４】
2019534603.tif 000076
【数７５】
2019534603.tif 000077
は、幾何学的な考慮事項を用いて決定され得る焦点距離を示し、
【数７６】
2019534603.tif 000078
と等しい。
【数７７】
2019534603.tif 000079
は、ピクセルにおける立方体セグメントの幅を示す。
【００７６】
本実施形態について、第１のセグメントの像面Ａは、デカルト座標系のｘ−ｙ面と一致し、一方、第２のセグメントの像面Ｂは、そのｙ−ｚ面に存在するものと仮定する。本実施形態において、像面Ａを像面Ｂと位置合わせするための回転は、ｙ軸を中心とする９０°の回転である。  この場合、ホモグラフィ行列
【数７８】
2019534603.tif 000080
は、以下の態様で表され得る。
【数７９】
2019534603.tif 000081
やはり、ここでもスケーリング係数
【数８０】
2019534603.tif 000082
は、抜かされ得る。
【００７７】
故に、一実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装されるマッピングまたは幾何学変換は、ホモグラフィ行列
【数８１】
2019534603.tif 000083
に基づく。
【００７８】
一実施形態において、図４に示される６つの立方体セグメント４０１−１，…，  ４０１−６の各々は、それぞれの隣接セグメントのピクセルのピクセル値に基づいて拡張され得る。図６において、このことが立方体セグメント４０１−１について示されている。立方体セグメント４０１−１は、左方近接セグメント４０１−２に基づく拡張領域４０１−１ａと、上方近接セグメント４０１−４に基づく拡張領域４０１−１ｂと、右方近接セグメント４０１−３に基づく拡張領域４０１−１ｃと、下方近接セグメント４０１−５に基づく拡張領域４０１−１ｄとを有し得る。
【００７９】
一実施形態において、拡張領域は常に、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とによりインターフレーム予測のために提供され得る。しかしながら、補償されたブロックは、必ずしも元のブロックと異なるわけではないことが理解されよう。例えば、動き補償が実行されることになるブロックは、面（図５における主面）の端部に存在する。動き補償が実行されるエリアは、予測されることになるブロックの位置に基づいて拡張される。４つの近接セグメントは、拡張セグメント、すなわち、メインセグメントとその拡張領域とを生成するために、メインセグメントと共に用いられ得る。メインセグメントのエリアは、ここでは修正されていない。他のセグメントから生成されるメインセグメントの周りのエリアのみが修正されている。動き補償がメインセグメント４０１−１内で機能している限り、挙動は、本発明の実施形態により提供されるセグメント拡張がない場合と同じである。動き補償がメインセグメントの端部を越えて検索している場合、挙動は異なり、ここでは、拡張領域からの情報が用いられる。
【００８０】
同様のホモグラフィが他のセグメントにも当てはまる。各立方体セグメントは、上述の態様で拡張され得る。しかしながら、このことには、拡張領域が互いに重なる影響があり得る。故に、一実施形態において、図７に示されるように、拡張領域は、別個の追加の基準ピクチャまたは基準フレームに格納され得る。エンコードおよびデコード中に用いられなければならない基準ピクチャは、現在処理されているブロックの空間的位置に基づいて導出される。故に、追加のシグナリングは必要ない（基準ピクチャリストにおけるピクチャの数は不変である）。より具体的には、図７に示される例では、１つの基準ピクチャの代わりに６つの基準ピクチャが現在利用可能とみなされ得、１つの基準ピクチャのみが所与の予測ブロックについて用いられるが、一実施形態におけるように、このブロックは、単一のセグメントおよびその（結果としてブロックの位置により決定される）対応する拡張領域に割り当てられ得る。一実施形態において、これは、処理されているブロックの位置に基づいて、エンコード装置１００により用いられる基準ピクチャを対応する追加の基準ピクチャで透過的に置き換えることにより行われ得る。エンコード装置１００およびデコード装置２００は、より多くの基準ピクチャが存在していることを「認識」していない。置き換えは、実際のＹＵＶバッファにアクセスがあった場合にのみ起こる。置き換えは、予測されることになるピクチャの基準ピクチャリストにおける過去および将来の基準ピクチャについて実行され得る。
【００８１】
故に、本発明の実施形態により、演算の複雑性のみがわずかに上がる。追加で必要なオペレーションは、拡張領域の作成になる。６つのピクチャが１つのピクチャの代わりに格納されるので、メモリ要件が上がり得る。しかしながら、これは、特定の実装形態の課題である。より効率的な実施形態であれば、追加の６つのピクチャの全てを格納する必要はない可能性もあるが、各セグメントの周りの小さい領域に必要なデータのみを格納し得る。別の代替的な実施形態は、拡張を各々のブロックおよび検索位置に適用することから成る。これは追加のストレージを必要としないであろうが、各検索位置について補償を実行しなければならないので、さらなる演算の複雑性につながるであろう。
【００８２】
本発明の実施形態は、３６０°ビデオ信号の「ラップアラウンド」にも相当する。各セグメント境界は、近接セグメントからの情報で拡張され得る。これは、３６０°画像の境界と一致するセグメント境界についても当てはまる。図７において分かるように、拡張セグメント４０１−１は、パディングを必要としない。代わりに、パディングエリアは、別の立方体セグメントのコンテンツで満たされ得る。拡張領域のサイズは、ピクチャ境界のパディング箇所のサイズと一致するように、動き補償中にエンコード装置１００により用いられる検索範囲から導出され得る。
【００８３】
図８は、一実施形態によるビデオ信号をエンコードするための方法８００を例示した概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントと第２のセグメントとを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。
【００８４】
エンコード方法８００は、基準フレームにおける第２のセグメントのピクセルのピクセル値に基づいて、複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を、拡張ピクセルのピクセル値を決定することにより生成する段階８０１と、基準フレームにおける第１のセグメントのピクセルと基準フレームにおける拡張領域の拡張ピクセルとに基づいて、現在のフレームにおける第１のセグメントのビデオコーディングブロックの動き補償を実行する段階８０３と、予測ビデオコーディングブロックに基づいて、エンコードされたビデオコーディングブロックを現在のフレームに生成する段階８０５とを備える。
【００８５】
要するに、基準フレームのセグメントと、基準フレームの別のセグメントから生成された拡張領域とは、インター予測により現在のフレームをエンコードするために用いられる。
【００８６】
図９は、一実施形態によるビデオ信号をデコードするための方法９００を例示した概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントと第２のセグメントとを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。
【００８７】
デコード方法９００は、現在のフレームにおける第１のセグメントのビデオコーディングブロックをデコードして残留ビデオコーディングブロックを提供する段階９０１と、基準フレームにおける第２のセグメントのピクセルのピクセル値に基づいて、複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を、拡張ピクセルのピクセル値を決定することにより生成する段階９０３と、基準フレームにおける第１のセグメントのピクセルと基準フレームにおける拡張領域の拡張ピクセルとに基づいて、現在のフレームにおける第１のセグメントのビデオコーディングブロックの動き補償を実行する段階９０５と、予測ビデオコーディングブロックと残留ビデオコーディングブロックとに基づいて、ビデオコーディングブロックを現在のフレームに再構成する段階９０７とを備える。
【００８８】
提案される技術は、本明細書において主に２つのセグメントを参照して説明されてきたが、２つより多いセグメントがあるビデオコンテンツを有するビデオ信号に容易に適合され得る。具体的には、セグメントは、いくつかの他のセグメントからの画像コンテンツを用いて拡張され得る。
【００８９】
本開示の特定の特徴または態様が、いくつかの実装形態または実施形態のうちの１つのみに関連して開示された可能性もあるが、そのような特徴または態様は、あらゆる所与の用途または特定の用途にとって望ましく有利になり得るように、他の実装形態または実施形態の１または複数の他の特徴または態様と組み合わされてよい。さらに、「含む」、「有する」、「伴う」という用語またはそれらの他の異形が詳細な説明または特許請求の範囲のいずれかにおいて用いられる限りにおいて、そのような用語は、「備える」という用語と同様の態様で包括的であるよう意図されている。また、「例示的な」、「例えば（ｆｏｒ  ｅｘａｍｐｌｅ）」および「例えば（ｅ．ｇ．）」という用語は、最良または最適であることではなく、例を意味しているに過ぎない。「結合」および「接続」という用語は、それらの派生語と共に用いられていてよい。これらの用語は、２つの要素が、物理的または電気的に直接接触しているか、または互いに直接接触していないかにかかわらず、互いに協働または相互作用することを示すために用いられている可能性があることが理解されるべきである。
【００９０】
特定の態様が本明細書において図示および説明されてきたが、当業者であれば、様々な代替的な実装および／または同等の実装が、本開示の範囲から逸脱することなく、図示および説明された特定の態様の代わりになり得ることを理解されよう。本願は、本明細書において述べられた特定の態様のあらゆる適応形態または変形形態を包含することを意図している。
【００９１】
以下の特許請求の範囲における要素は、対応する符号と共に特定の順序で記載されているが、特許請求の範囲の記載にそれらの要素のいくつかまたは全てを特定の順序で実装することについての別段の示唆がない限り、それらの要素がその特定の順序で実装されるよう限定されることが必ずしも意図されているわけではない。
【００９２】
上記の教示に照らして、多くの代替形態、修正形態および変形形態が当業者には明らかになろう。当業者であれば、本明細書において説明されたものの外にも本発明の多数の用途が存在することを容易に認識するのは当然である。本発明は、１または複数の特定の実施形態を参照して説明されてきたが、当業者であれば、多くの変更が、本発明の範囲から逸脱することなく行われ得ることを認識する。従って、本発明は、添付の特許請求の範囲およびそれらの均等物の範囲内で、本明細書において具体的に説明された以外の態様で実施され得ることが理解されるべきである。
【図１】
2019534603.tif 000110
【図２】
2019534603.tif 000111
【図３】
2019534603.tif 000112
【図４】
2019534603.tif 000113
【図５】
2019534603.tif 000114
【図６】
2019534603.tif 000115
【図７】
2019534603.tif 000116
【図８】
2019534603.tif 000117
【図９】
2019534603.tif 000118
【手続補正書】
【提出日】平成31年4月15日(2019.4.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ信号をエンコードするための装置であって、
セグメント拡張ユニットと、
インター予測エンコードユニットと
を備え、
前記ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々は、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の像面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
前記複数のピクセルの各々は、ピクセル値に関連付けられ、
前記セグメント拡張ユニットは、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成するように構成され、
前記複数の拡張ピクセルの各々について、前記基準フレームの前記第２のセグメントの前記複数のピクセルの各々の前記ピクセル値に基づいて、前記複数の拡張ピクセルの各々のピクセル値を決定するように構成され、
前記インター予測エンコードユニットは、
前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択するように構成され、
ビデオコーディングブロックのピクセルの前記ピクセル値と、選択された前記基準ブロックのピクセルの前記ピクセル値とに基づいて、現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値をエンコードするように構成される、
装置。
【請求項２】
前記複数の拡張ピクセルの各々について、前記セグメント拡張ユニットは、
マッピングを用いて、前記基準フレームの前記第２のセグメントの前記複数のピクセルの各々の前記ピクセル値に基づいて、前記複数の拡張ピクセルの各々の前記ピクセル値を決定するように構成されており、
前記マッピングは、
前記基準フレームの前記第２のセグメントの前記複数のピクセルを前記第１の像面にマッピングするように構成されるか、または、
前記複数の拡張ピクセルを前記第２の像面にマッピングするように構成される、
請求項１に記載のエンコード装置。
【請求項３】
前記マッピングは、
前記基準フレームの前記第２のセグメントのピクセル
【数８２】
2019534603.tif 000119
を三次元空間の点
【数８３】
2019534603.tif 000120
に投影することであって、前記点
【数８４】
2019534603.tif 000121
は、前記基準フレームの前記第２のセグメントの前記ピクセル
【数８５】
2019534603.tif 000122
をカメラ位置と結び付ける線上に存在する、ことと、
前記基準フレームの前記第２のセグメントの像面を前記基準フレームの前記第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行することと、
前記点
【数８６】
2019534603.tif 000123
を前記基準フレームの前記第１のセグメントの像面における点
【数８７】
2019534603.tif 000124
に投影することであって、前記基準フレームの前記第１のセグメントの像面における前記点
【数８８】
2019534603.tif 000125
は、拡張ピクセルを画定する、ことと
を含むか、またはそれらと同等である、
請求項２に記載のエンコード装置。
【請求項４】
前記マッピングは、ホモグラフィ行列
【数８９】
2019534603.tif 000126
に基づき、
【数９０】
2019534603.tif 000127
および
【数９１】
2019534603.tif 000128
は、前記基準フレームの前記第１のセグメントおよび前記第２のセグメントのカメラ較正行列を示し、
【数９２】
2019534603.tif 000129
は、前記第１のセグメントの像面と前記基準フレームの前記第２のセグメントの像面との間の角度を示し、
【数９３】
2019534603.tif 000130
は、回転を示し、
【数９４】
2019534603.tif 000131
は、カメラ位置からの距離を示す、
請求項２または３に記載のエンコード装置。
【請求項５】
前記基準フレームの前記第１のセグメントを前記基準フレームの前記第１のセグメントの前記拡張領域と共に格納するように構成される基準フレームバッファをさらに備える、請求項１から４のいずれか一項に記載のエンコード装置。
【請求項６】
前記第１のセグメントは、立方体または二十面体の第１の面に対応し、前記第２のセグメントは、前記立方体または前記二十面体の異なる面に対応する、
請求項１から５のいずれか一項に記載のエンコード装置。
【請求項７】
エンコードされたビデオ信号をデコードするための装置であって、
セグメント拡張ユニットと、
インター予測再構成ユニットと
を備え、
前記エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々は、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の像面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
前記複数のピクセルの各々は、ピクセル値に関連付けられ、
前記セグメント拡張ユニットは、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成するように構成され、
前記複数の拡張ピクセルの各々について、前記基準フレームの前記第２のセグメントの前記複数のピクセルの各々の前記ピクセル値に基づいて、前記複数の拡張ピクセルの各々のピクセル値を決定するように構成され、
前記インター予測再構成ユニットは、現在のフレームの前記第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルの前記ピクセル値とに基づいて、前記現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値を再構成するように構成され、
前記基準ブロックは、前記基準フレームの前記第１のセグメントに全体的または部分的に位置するか、または、前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する、
装置。
【請求項８】
前記複数の拡張ピクセルの各々について、前記セグメント拡張ユニットは、
マッピングを用いて、前記基準フレームの前記第２のセグメントの前記複数のピクセルの各々の前記ピクセル値に基づいて、前記複数の拡張ピクセルの各々の前記ピクセル値を決定するように構成されており、
前記マッピングは、
前記基準フレームの前記第２のセグメントの前記複数のピクセルを前記基準フレームの前記第１のセグメントの像面にマッピングするように構成されるか、または、
前記複数の拡張ピクセルを前記第２の像面にマッピングするように構成される、
請求項７に記載のデコード装置。
【請求項９】
前記マッピングは、
前記基準フレームの前記第２のセグメントのピクセル
【数９５】
2019534603.tif 000132
を三次元空間の点
【数９６】
2019534603.tif 000133
に投影することであって、前記点
【数９７】
2019534603.tif 000134
は、前記基準フレームの前記第２のセグメントの前記ピクセル
【数９８】
2019534603.tif 000135
をカメラ位置と結び付ける線上に存在する、ことと、
前記基準フレームの前記第２のセグメントの像面を前記基準フレームの前記第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行することと、
前記点
【数９９】
2019534603.tif 000136
を前記基準フレームの前記第１のセグメントの像面における点
【数１００】
2019534603.tif 000137
に投影することであって、前記基準フレームの前記第１のセグメントの像面における前記点
【数１０１】
2019534603.tif 000138
は、拡張ピクセルを画定する、ことと
を含む、
請求項８に記載のデコード装置。
【請求項１０】
前記マッピングは、ホモグラフィ行列
【数１０２】
2019534603.tif 000139
に基づき、
【数１０３】
2019534603.tif 000140
および
【数１０４】
2019534603.tif 000141
は、前記基準フレームの前記第１のセグメントおよび前記第２のセグメントのカメラ較正行列を示し、
【数１０５】
2019534603.tif 000142
は、前記第１のセグメントの像面と前記基準フレームの前記第２のセグメントの像面との間の角度を示し、
【数１０６】
2019534603.tif 000143
は、回転を示し、
【数１０７】
2019534603.tif 000144
は、カメラ位置からの距離を示す、
請求項８または９に記載のデコード装置。
【請求項１１】
前記基準フレームの前記第１のセグメントを前記基準フレームの前記第１のセグメントの前記拡張領域と共に格納するように構成される基準フレームバッファ
をさらに備える、請求項７から１０のいずれか一項に記載のデコード装置。
【請求項１２】
前記第１のセグメントおよび前記第２のセグメントは、立方体または二十面体の異なる面に対応する、
請求項７から１１のいずれか一項に記載のデコード装置。
【請求項１３】
前記セグメント拡張ユニットは、各ビデオコーディングブロックのブロックレベル、フレームレベル、ＧＯＰ（ピクチャグループ）レベル、ＰＰＳ（ピクチャパラメータセット）レベルまたはＳＰＳ（シーケンスパラメータセット）レベルで、フラグ／情報に基づいてセグメント拡張を実行するように構成され、
前記セグメント拡張は、前記フラグのステータスに基づいて有効化または無効化することが可能である、
請求項７から１２のいずれか一項に記載のデコード装置。
【請求項１４】
ビデオ信号をエンコードするための方法であって、
前記ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々は、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の像面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
前記複数のピクセルの各々は、ピクセル値に関連付けられ、
前記方法は、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成する段階であって、前記複数の拡張ピクセルの各々について、前記基準フレームの前記第２のセグメントの前記複数のピクセルの各々の前記ピクセル値に基づいて、前記複数の拡張ピクセルの各々のピクセル値を決定する段階を有する、生成する段階と、
前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択する段階と、
ビデオコーディングブロックのピクセルの前記ピクセル値と、選択された前記基準ブロックのピクセルの前記ピクセル値とに基づいて、現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値をエンコードする段階と
を備える方法。
【請求項１５】
エンコードされたビデオ信号をデコードするための方法であって、
前記エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
前記複数の連続するフレームの各々は、前記第１の像面の画像コンテンツを含む第１のセグメントと、前記第２の像面の画像コンテンツを含む第２のセグメントとを含み、
前記第１のセグメントおよび前記第２のセグメントは各々、複数のピクセルを含み、
前記複数のピクセルの各々は、ピクセル値に関連付けられ、
前記方法は、
複数の拡張ピクセルを含む、基準フレームの前記第１のセグメントの拡張領域を生成する段階であって、前記複数の拡張ピクセルの各々について、前記基準フレームの前記第２のセグメントの前記複数のピクセルの各々の前記ピクセル値に基づいて、前記複数の拡張ピクセルの各々のピクセル値を決定する段階を有する、生成する段階と、
現在のフレームの前記第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルの前記ピクセル値とに基づいて、前記現在のフレームの前記第１のセグメントの前記ビデオコーディングブロックのピクセルの前記ピクセル値を再構成する段階であって、前記基準ブロックは、前記基準フレームの前記第１のセグメントに全体的または部分的に位置するか、または、前記基準フレームの前記第１のセグメントの前記拡張領域に全体的または部分的に位置する、再構成する段階と
を備える方法。
【請求項１６】
コンピュータ上で実行された場合、請求項１４に記載の方法または請求項１５に記載の方法を前記コンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、ビデオコーディング分野に関する。より具体的には、本発明は、ビデオ信号のビデオコーディングブロックをエンコードおよびデコードするための装置および方法に関する。
【背景技術】
【０００２】
３６０°パノラマビデオ信号は、単一の視点の周囲の全ての方向でシーンを撮像したシーケンスを含む。これは一般に、互いに近くに配置された、異なる視野方向を有する複数のカメラを用いて実現される。次に、撮像されたコンテンツは、共にスティッチされると共に、特定の時点での３６０°のシーンまたはパノラマビデオ信号を表す、当該視点の周りのテクスチャを有する球体として考えられ得る。しかしながら、そのような球体は、概してシーンの平らな（２Ｄ）矩形画像を必要とする現在のビデオコーデックを用いて直接処理され得ない。故に、現在のビデオコーデックを用いてパノラマビデオ信号を処理すべく、球体は、そのような２Ｄフォーマットへ変換されなければならない。
【０００３】
１または複数のセグメントを含む２Ｄフォーマットへ球体を変換するために、以下の投影のうちの１つが用いられ得る。
【０００４】
エクイレクタングラー投影では、地球から世界地図を作成するものと同様の矩形への投影を画定する。サンプル密度は、「高さ」が異なるにつれて異なる。極端な場合は、球体の極であり、極は線へとマッピングされる。幾何学的歪みが、結果として得られる画像の全体に広がる。
【０００５】
立方体に基づく投影では、球体は、立方体の面またはセグメントにマッピングされる。各セグメントは、可視の幾何学的歪みがない通常の２Ｄ画像のように見える。しかしながら、セグメントの境界領域には強い幾何学的歪みが存在する。セグメントを矩形フォーマットで配置するための複数の態様がある。
【０００６】
二十面体に基づく投影では、球体は、二十面体の面またはセグメントにマッピングされる。各セグメントは、可視の幾何学的歪みがない通常の２Ｄ画像のように見える。この場合も、二十面体のセグメントの境界領域には強い幾何学的歪みが存在する。しかしながら、近接面間の角度が小さいので、これらの歪みは、立方体フォーマットに基づく投影の場合と同じ程度には強くない。二十面体の面を矩形フォーマットで配置するための複数の態様がある。
【０００７】
立方体フォーマットおよび二十面体フォーマットの両方は、同じカメラ中心および端部を共有する、歪みのないセグメントから成る。
【０００８】
複数のセグメントを含むパノラマビデオ信号のエンコードおよびデコードには、以下の問題が生じ得る。同じカメラ中心を有し、境界を共有する２つの面またはセグメント、すなわち、面Ａおよび面Ｂがあるとする。面ＡおよびＢの画像は、継時的に記録され、パノラマビデオ信号の後続のフレームに配置される。次に、このパノラマビデオ信号は、エンコードされる。
【０００９】
面ＡおよびＢの画像が互いに隣り合う順序で配置されていない場合、動き補償は、それらの共有されている境界にわたって実行され得ない。しかしながら、それらが、３Ｄ空間において共有するのと同様にパノラマビデオ信号における同じ境界を共有するように配置されている場合でも、パノラマビデオ信号におけるそれらの共通の境界にわたって幾何学的歪みが存在する。これにより、パノラマビデオ信号の面ＡおよびＢの画像の境界領域での動き補償の性能が下がってしまう。
【００１０】
故に、異なる像面に対応する２以上のセグメントを含むビデオ信号（例えば、パノラマビデオ信号）をエンコードおよびデコードするための改良された装置および方法が必要とされている。
【発明の概要】
【００１１】
本発明の目的は、ビデオ信号をエンコードおよびデコードするための改良された装置および方法を提供することである。
【００１２】
前述の目的および他の目的は、独立請求項の主題により実現される。さらなる実装形態が、従属請求項、明細書および図から明らかである。
【００１３】
本明細書において用いられる場合、ビデオ信号またはビデオシーケンスは、動画を示す一式の後続のフレームである。言い換えれば、ビデオ信号またはビデオシーケンスは、複数のフレーム（ピクチャまたは画像とも称される）から成る。
【００１４】
本明細書において用いられる場合、コーディングツリーユニット（ＣＴＵ）は、フレームの一部分（例えば、６４×６４個のピクセル）を含む、予め定義されたサイズのビデオシーケンスのコーディング構造のルートを示す。ＣＴＵは、いくつかのコーディングユニット（ＣＵ）へのパーティション化であり得る。
【００１５】
本明細書において用いられる場合、コーディングユニット（ＣＵ）は、ＣＴＵに属するフレームの一部分を含む、予め定義されたサイズのビデオシーケンスの基本的なコーディング構造を示す。ＣＵは、さらなるＣＵへパーティション化され得る。
【００１６】
本明細書において用いられる場合、予測ユニット（ＰＵ）は、ＣＵをパーティション化した結果であるコーディング構造を示す。
【００１７】
本明細書において用いられる場合、ブロックは、ピクセルグループを示す。ブロックは、任意の形状、特に、正方形または矩形であり得る。
【００１８】
本明細書において説明されるデバイスおよび方法は、ナチュラルビデオシーケンスの時間冗長性を利用すべくピクチャ間のインター予測のために用いられ得る。現在のピクチャと基準ピクチャとの間で観察される情報の変化は、多くの場合、並進移動、例えば、像面内での直線移動により近似され得る。ブロックベースの動き補償は、基準ピクチャが矩形ブロックへパーティション化され、ブロック内の各ピクセルが同じ動きを見せるこのパラダイムの主要な実現例である。故に、予測ブロックと呼ばれるブロック全体の動きは、単一の動きベクトルにより説明され得る。基準ピクチャ全体にわたる一式の動きベクトルにより、動きベクトル場として示されるベクトル場が定義される。
【００１９】
第１の態様によれば、本発明は、ビデオ信号をエンコードするための装置に関する。
装置は、
セグメント拡張ユニットと、
インター予測エンコードユニットと
を備え、
ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の像面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
セグメント拡張ユニットは、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成するように構成され、
拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成され、
インター予測エンコードユニットは、
基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択するように構成され、
ビデオコーディングブロックのピクセルのピクセル値と、選択された基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値をエンコードするように構成される。
【００２０】
故に、ビデオ信号をエンコードするための改良された装置が提供される。より具体的には、第１の態様によるエンコード装置は、共通の端部にわたって幾何学的歪みが補償されるように、隣接するセグメントに基づいて基準フレームの第１のセグメントを拡張することを可能にする。現在のフレームの第１のセグメントにおけるブロックの動き補償は、基準フレームにおける第１のセグメントおよびその拡張領域に基づいて実行され得る。追加のシグナリングは、必要ではない。なぜなら、幾何学的歪みの補償がどのように実行されるべきかは、一連のフレームにおける空間位置から導出され得るからである。本発明の実施形態は、多くの歪みのない面から成り、端部を共有し、かつ、同じカメラ中心を共有する立方体、二十面体または他のフォーマットにおける３６０°連続の動き補償に容易に用いられ得る。本発明の実施形態により、例えば、シーン内にカメラの動きまたは動く物体がある場合、コーディング性能を上げることが可能になる。
【００２１】
基準フレームは、再構成フレームであり得る。基準フレームは、複数の連続するフレームのうちの１つのフレームをエンコードし、次に、エンコードされたフレームをデコードすることにより取得され得る。
【００２２】
第１の像面および第２の像面は、互いに対してある面間角（例えば、１°と９０°との間）だけ角度が付けられ得る。
【００２３】
一実装形態において、フレームは、一連のサブフレームを含み、各サブフレームは、全てのセグメントのサブセットのみ（例えば、１つのセグメントのみ）を含む。各サブフレームは、セグメントのそれぞれのサブセットを更新するために用いられ得る。
【００２４】
第１のセグメントおよび第２のセグメントは、近接セグメントであり得る。特に、それらは、隣り合うセグメントであり得る。
【００２５】
第１の態様によるエンコード装置の第１の可能な実装形態において、拡張ピクセル各々について、セグメント拡張ユニットは、
マッピングを用いて、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成されており、
マッピングは、
基準フレームの第２のセグメントのピクセルを第１の像面にマッピングするように構成される（第１の変形例）か、または、
拡張ピクセルを第２の像面にマッピングするように構成される（第２の変形例）。
【００２６】
これの第１の変形例において、拡張ピクセルは、基準フレームの第２のセグメントのピクセルから決定される。第２の変形例において、第２のセグメントのピクセルは、（例えば、第１の変形例に関連付けられる幾何学変換とは逆の幾何学変換を用いて）拡張ピクセルから決定される。
【００２７】
マッピングにおいて、一方の像面からのピクセルは、厳密には他方の像面における１つのピクセル上ではない所に存在することになる可能性があることにさらに留意されたい。むしろ、当該ピクセルは、他方の面の２以上の近接ピクセルの間に位置する、他方の像面の幾何学上の点に存在することになる可能性がある。この理由により、セグメント拡張ユニットは、例えば、第２のセグメントのピクセルがマッピングされる第１の像面における幾何学上の点の近くに位置するピクセルグループ（例えば、２つ、３つまたは４つのピクセル）のピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成され得る。
【００２８】
第１の態様の第１の実装形態によるエンコード装置の第２の可能な実装形態において、
マッピングは、
基準フレームの第２のセグメントのピクセル
【数１】
2019534603.tif 000145
を三次元空間の点
【数２】
2019534603.tif 000146
に投影する段階であって、点
【数３】
2019534603.tif 000147
は、基準フレームの第２のセグメントのピクセル
【数４】
2019534603.tif 000148
をカメラ位置
【数５】
2019534603.tif 000149
と結び付ける線上に存在する、段階と、
基準フレームの第２のセグメントの像面を基準フレームの第１のセグメントの像面に対して平行な向きへと回転させるための回転を実行する段階と、
点
【数６】
2019534603.tif 000150
を基準フレームの第１のセグメントの像面における点
【数７】
2019534603.tif 000151
に投影する段階であって、基準フレームの第１のセグメントの像面における点
【数８】
2019534603.tif 000152
は、拡張ピクセルを画定する、段階と
を含むか、またはそれらと同等である。
【００２９】
第１の態様の第１の実装形態または第２の実装形態によるエンコード装置の第３の可能な実装形態において、マッピングは、ホモグラフィ行列
【数９】
2019534603.tif 000153
に基づき、
【数１０】
2019534603.tif 000154
および
【数１１】
2019534603.tif 000155
は、基準フレームの第１のセグメントおよび第２のセグメントのカメラ較正行列を示し、
【数１２】
2019534603.tif 000156
は、第１のセグメントの第１の像面と基準フレームの第２のセグメントの第２の像面との間の角度を示し、
【数１３】
2019534603.tif 000157
は、回転を示し、
【数１４】
2019534603.tif 000158
は、カメラ位置
【数１５】
2019534603.tif 000159
からの距離を示す。
ホモグラフィ行列は、例えば、第２の像面のｘｙ−座標に適用され得るか、またはピクセル座標に直接適用され得る。
【００３０】
第１の態様によるエンコード装置の第４の可能な実装形態またはその実装形態のいずれか１つにおいて、エンコード装置は、基準フレームバッファをさらに備える。基準フレームバッファは、基準フレームの第１のセグメントを基準フレームの第１のセグメントの拡張領域と共に格納するように構成される。
【００３１】
第１の態様によるエンコード装置の第５の可能な実装形態またはその実装形態のいずれか１つにおいて、第１のセグメントは、立方体または二十面体の第１の面に対応し、第２のセグメントは、立方体または二十面体の異なる面に対応する。これらの面は、外面または内面であり得る。
【００３２】
第２の態様によれば、本発明は、エンコードされたビデオ信号をデコードするための装置に関する。
装置は、
セグメント拡張ユニットと、
インター予測再構成ユニットと
を備え、
エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、（例えば、互いに対して、例えば１°から９０°の間の面間角だけ角度が付いた）第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の像面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
セグメント拡張ユニットは、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成するように構成され、
拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成され、
インター予測再構成ユニットは、現在のフレームの第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値を再構成するように構成され、
基準ブロックは、基準フレームの第１のセグメントに全体的または部分的に位置するか、または、基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する。
【００３３】
第２の態様によるデコード装置の第１の可能な実装形態において、拡張ピクセル各々について、セグメント拡張ユニットは、
マッピングを用いて、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定するように構成されており、
マッピングは、
基準フレームの第２のセグメントのピクセルを基準フレームの第１のセグメントの第１の像面にマッピングするように構成されるか、または、
拡張ピクセルを第２の像面にマッピングするように構成される。
【００３４】
第２の態様の第１の実装形態によるデコード装置の第２の可能な実装形態において、
マッピングは、
基準フレームの第２のセグメントのピクセル
【数１６】
2019534603.tif 000160
を三次元空間の点
【数１７】
2019534603.tif 000161
に投影する段階であって、点
【数１８】
2019534603.tif 000162
は、基準フレームの第２のセグメントのピクセル
【数１９】
2019534603.tif 000163
をカメラ位置
【数２０】
2019534603.tif 000164
と結び付ける線上に存在する、段階と、
基準フレームの第２のセグメントの第２の像面を基準フレームの第１のセグメントの第１の像面に対して平行な向きへと回転させるための回転を実行する段階と、
点
【数２１】
2019534603.tif 000165
を基準フレームの第１のセグメントの第１の像面における点
【数２２】
2019534603.tif 000166
に投影する段階であって、基準フレームの第１のセグメントの第１の像面における点
【数２３】
2019534603.tif 000167
は、拡張ピクセルを画定する、段階と
を含む。
【００３５】
第２の態様の第１の実装形態または第２の実装形態によるデコード装置の第３の可能な実装形態において、マッピングは、ホモグラフィ行列
【数２４】
2019534603.tif 000168
に基づき、
【数２５】
2019534603.tif 000169
および
【数２６】
2019534603.tif 000170
は、基準フレームの第１のセグメントおよび第２のセグメントのカメラ較正行列を示し、
【数２７】
2019534603.tif 000171
は、第１のセグメントの第１の像面と基準フレームの第２のセグメントの第２の像面との間の角度を示し、
【数２８】
2019534603.tif 000172
は、回転を示し、
【数２９】
2019534603.tif 000173
は、カメラ位置
【数３０】
2019534603.tif 000174
からの距離を示す。
【００３６】
第２の態様によるデコード装置の第４の可能な実装形態またはその実装形態のいずれか１つにおいて、デコード装置は、基準フレームバッファをさらに備える。基準フレームバッファは、基準フレームの第１のセグメントを基準フレームの第１のセグメントの拡張領域と共に格納するように構成される。
【００３７】
第２の態様によるデコード装置の第５の可能な実装形態またはその実装形態のいずれか１つにおいて、第１のセグメントおよび第２のセグメントは、立方体または二十面体の異なる面に対応する。
【００３８】
デコード装置の第６の可能な実装形態において、セグメント拡張ユニットは、各ビデオコーディングブロックのブロックレベル、フレームレベル、ＧＯＰ（ピクチャグループ）レベル、ＰＰＳ（ピクチャパラメータセット）レベルまたはＳＰＳ（シーケンスパラメータセット）レベルで、フラグ／情報に基づいてセグメント拡張を実行するように構成され、
セグメント拡張オペレーションは、フラグのステータスに基づいて有効化または無効化され得る。
【００３９】
第３の態様によれば、本発明は、ビデオ信号をエンコードするための方法に関する。
ビデオ信号は、複数の連続するフレームの形式で提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の像面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
方法は、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成する段階であって、拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定する段階を有する、生成する段階と、
基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する基準ブロック候補を含む一式の基準ブロック候補のうち基準ブロックを選択する段階と、
ビデオコーディングブロックのピクセルのピクセル値と、選択された基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値をエンコードする段階と
を備える。やはり、第１の像面および第２の像面は、ある面間角（例えば、１°と９０°との間）だけ互いに対して角度が付けられ得る。
【００４０】
第４の態様によれば、本発明は、エンコードされたビデオ信号をデコードするための方法に関する。
エンコードされたビデオ信号は、エンコードされた状態の複数の連続するフレームとして提供される、第１の像面のビデオコンテンツと第２の像面のビデオコンテンツとを含むビデオコンテンツを含み、
複数の連続するフレームの各々のフレームは、第１の像面の画像コンテンツを含む第１のセグメントと、第２の像面の画像コンテンツを含む第２のセグメントとを含み、
第１のセグメントおよび第２のセグメントは各々、複数のピクセルを含み、
ピクセル各々は、ピクセル値に関連付けられ、
方法は、
複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を生成する段階であって、拡張ピクセル各々について、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて、拡張ピクセルのピクセル値を決定する段階を有する、生成する段階と、
現在のフレームの第１のセグメントのエンコードされたビデオコーディングブロックと、基準ブロックのピクセルのピクセル値とに基づいて、現在のフレームの第１のセグメントのビデオコーディングブロックのピクセルのピクセル値を再構成する段階であって、基準ブロックは、基準フレームの第１のセグメントに全体的または部分的に位置するか、または、基準フレームの第１のセグメントの拡張領域に全体的または部分的に位置する、再構成する段階と
を備える。
【００４１】
本発明の第４の態様によるデコード方法は、本発明の第２の態様によるデコード装置により実行され得る。本発明の第４の態様によるデコード方法のさらなる特徴は、本発明の第２の態様によるデコード装置およびその異なる実装形態の機能から直接生じる。
【００４２】
本発明の第４の態様によるデコード方法または本発明の第２の態様によるデコード装置の一実装形態において、セグメント拡張ユニットは、各ビデオコーディングブロックのブロックレベル、フレームレベル、ＧＯＰ（ピクチャグループ）レベル、ＰＰＳ（ピクチャパラメータセット）レベルまたはＳＰＳ（シーケンスパラメータセット）レベルで、フラグ／情報に基づいてセグメント拡張を実行するように構成される。セグメント拡張オペレーションは、フラグのステータスに基づいて有効化または無効され得る。
【００４３】
第５の態様によれば、本発明は、コンピュータ上で実行された場合、第３の態様によるエンコード方法または第４の態様によるデコード方法をコンピュータに実行させるためのプログラムに関する。本発明は、ハードウェアおよび／またはソフトウェアにおいて実装され得る。
【図面の簡単な説明】
【００４４】
以下の図を参照して、本発明のさらなる実施形態が説明される。
【００４５】
【図１】一実施形態によるビデオ信号をエンコードするための装置を例示した概略図を示す。
【図２】一実施形態によるビデオ信号をデコードするための装置を例示した概略図を示す。
【図３】一実施形態によるエンコード装置およびデコード装置において実装される拡張領域を生成するための幾何学変換を例示した概略図を示す。
【図４】一実施形態によるエンコード装置およびデコード装置により処理され得るビデオ信号のフレームを例示した概略図を示す。
【図５】一実施形態によるエンコード装置およびデコード装置により処理され得るビデオ信号のフレームのセグメント間の幾何学的関係を例示した概略図を示す。
【図６】一実施形態によるエンコード装置およびデコード装置により生成される拡張領域を含むビデオ信号のセグメントを例示した概略図を示す。
【図７】一実施形態によるエンコード装置およびデコード装置により生成されるフレーム内に拡張領域を含むビデオ信号のセグメントを例示した概略図を示す。
【図８】一実施形態によるビデオ信号をエンコードするための方法を例示した概略図を示す。
【図９】一実施形態によるビデオ信号をデコードするための方法を例示した概略図を示す。様々な図において、同一の参照符号は、同一であるか、または少なくとも機能的に同等の特徴について用いられる。
【発明を実施するための形態】
【００４６】
以下の説明では、本開示の一部を形成する添付図面が参照される。添付図面には、例として、本発明が提起され得る特定の態様が示される。他の態様が利用され得ること、および本発明の範囲から逸脱することなく構造的または論理的な変更が行われ得ることが理解される。本発明の範囲は、添付の特許請求の範囲により定義されるので、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
【００４７】
例えば、説明される方法に関連する開示も、当該方法を実行するように構成される対応するデバイスまたはシステムについて当てはまり得ること、そしてその逆も同様であることが理解される。例えば、特定の方法の段階が説明される場合、対応するデバイスは、説明される方法の段階を実行するためのユニットを、そのようなユニットが明確に説明されないか、または図示されない場合でも、含み得る。さらに、本明細書において説明される様々な例示的な態様の特徴は、特に別段の記載がない限り、互いに組み合わされ得ることが理解される。
【００４８】
図１は、一実施形態によるビデオ信号のビデオコーディングブロックをエンコードするための装置１００を例示した概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントと第２のセグメントとを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。一実施形態において、ビデオコーディングブロックは、マクロブロック、コーディングツリーユニット、コーディングユニット、予測ユニットおよび／または予測ブロックであり得る。
【００４９】
以下でより詳細に説明されるように、エンコード装置１００は、複数の拡張ピクセルを含む基準フレームの第１のセグメントの拡張領域を生成するように構成されるセグメント拡張ユニット１１１ａ、１１１ｂを備える。各拡張ピクセルについて、セグメント拡張ユニット１１１ａ、１１１ｂは、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成される。
【００５０】
エンコード装置１００は、インター予測ユニット１１３、１１５およびエンコードユニット１０１、１１９をさらに備える。インター予測ユニット１１３、１１５は、基準フレームの第１のセグメントのピクセルと基準フレームの拡張領域の拡張ピクセルとに基づいて、現在処理されているフレームの第１のセグメントのビデオコーディングブロックの動き補償を実行するように、すなわち、基準フレームにおける同じ場所に配置されたビデオコーディングブロックに基づいて予測ビデオコーディングブロックを生成するように構成される。また、エンコードユニット１０１、１１９は、エンコードされたビデオコーディングブロックを予測ビデオコーディングブロックに基づいて生成するように構成される。以下でさらにより詳細に説明されるように、エンコードユニット１０１、１１９は、変換および量子化ユニット１０１および／またはエントロピーコーディングユニット１１９を備え得る。
【００５１】
図１に示されるエンコード装置１００の実施形態は、以下の態様で機能する。３×２個の立方体セグメントなどの複数のセグメントを含むビデオ信号のフレームは、複数の非重複ビデオコーディングブロックへ分割される。現在処理されているビデオコーディングブロックの各々について、予測ブロック、すなわち、予測された現在のビデオコーディングブロックは、残留ビデオコーディングブロックを提供する減算ユニット１０２により減算される。次に、残留ビデオコーディングブロックが、図１に示される変換および量子化ユニット１０１により変換および定量化され、エントロピーコーディングユニット１１９によりエントロピーエンコードされて、基準デコーダ１２０は、既にエンコードされているビデオコーディングブロックを利用可能になる。基準デコーダ１２０は、変換および量子化ユニット１０１のオペレーションを反転させる（ここでは、量子化エラーがもたらされ得る）逆変換および量子化ユニット１０３を備える。追加ユニット１０５は、残留ビデオコーディングブロックを予測ブロックと組み合わせることで、再構成されたビデオコーディングブロックを取得する。再構成されたビデオコーディングブロックは、イントラ予測ユニット１１７を用いた、同じフレームの他のビデオコーディングブロックのイントラ予測用に利用可能になる。
【００５２】
再構成されたビデオコーディングブロックは、ループフィルタユニット１０７によりループフィルタリングされる可能性があり（選択は、エンコード装置１００の制御ユニットにより行われ得る）、基準フレームバッファ１０９に格納される。このステージにおいて、再構成されたビデオコーディングブロックは、他のフレームのビデオコーディングブロックのインター予測用にも利用可能になる。上記で既に言及され、以下でさらにより詳細に説明されるように、基準フレームバッファ１０９がアクセスされた場合、セグメント拡張ユニット１１１ａ、１１１ｂは、現在のビデオコーディングブロックを含むセグメントの拡張領域を提供し得る。図１には例示を目的として２つのセグメント拡張ユニット１１１ａ、１１１ｂが示されているが、図１に示されている２つのセグメント拡張ユニット１１１ａ、１１１ｂは、単一のユニットの形式でも実装され得ることが容易に理解されよう。
【００５３】
上記で既に言及されたように、セグメント拡張ユニット１１１ａ、１１１ｂにより提供されるデータは、インター予測ユニット１１５により、動き補償の実行のために用いられる。この目的を達成するために、図１に示されるエンコード装置１００は、動き推定ユニット１１３をさらに備える。他の実施形態において、動き推定ユニット１１３は、インター予測ユニット１１５の一部分として実装され得る。概して、エンコード装置１００の制御ユニット（図１には示されない）は、現在処理されているビデオコーディングブロックを選択すると共に、現在処理されているビデオコーディングブロックを予測するために予測モード、すなわち、イントラ予測またはインター予測を選択する。この情報は、図２に示されるデコード装置２００より必要ともされ、よって、エントロピーコーディングユニット１１９により、ビットストリームへとエントロピーコーディングされもする。
【００５４】
図２は、一実施形態によるビデオ信号のエンコードされたビデオコーディングブロックをデコードするための装置２００を例示する概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントおよび第２のセグメントを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。
【００５５】
デコード装置２００は、デコードユニット２０３、２１９を備える。デコードユニット２０３、２１９は、残留ビデオコーディングブロックを提供するために現在のフレームの第１のセグメントのビデオコーディングブロックをデコードするように構成される。以下でさらにより詳細に説明されるように、デコードユニット２０３、２１９は、逆変換および量子化ユニット２０３および／またはエントロピーコーディングユニット２１９を備え得る。
【００５６】
以下でさらにより詳細に説明されるように、デコード装置２００は、セグメント拡張ユニット２１１をさらに備える。セグメント拡張ユニット２１１は、複数の拡張ピクセルを含む基準フレームの第１のセグメントの拡張領域を生成するように構成される。各拡張ピクセルについて、セグメント拡張ユニット２１１は、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成される。
【００５７】
デコード装置２００は、インター予測ユニット２１５をさらに備える。インター予測ユニット２１５は、基準フレームの第１のセグメントのピクセルと基準フレームの拡張領域の拡張ピクセルとに基づいて現在のフレームの第１のセグメントのビデオコーディングブロックの動き補償を実行するように、すなわち、基準フレームにおける同じ場所に配置されたビデオコーディングブロックに基づいて予測ビデオコーディングブロックを生成するように構成される。
【００５８】
デコード装置２００は、再構成ユニット２０９をさらに備える。再構成ユニット２０９は、予測ビデオコーディングブロックおよび残留ビデオコーディングブロックに基づいて現在のフレームのビデオコーディングブロックを再構成するように構成される。
【００５９】
図２に示されるデコード装置２００の実施形態は、以下の態様で機能する。ビデオ信号の現在のフレームは、複数の非重複ビデオコーディングブロックへ分割される。現在処理されているビデオコーディングブロックの残留分、すなわち、残留ビデオコーディングブロックは、エントロピーコーディングユニット２１９により、インター予測およびイントラ予測用の対応するパラメータと共にデコードされる。残留ビデオコーディングブロックは、逆変換および量子化ユニット２０３により処理され、追加ユニット２０５により、再構成されたビデオコーディングブロックを生成するために、予測ビデオコーディングブロックへ加えられる。再構成されたビデオコーディングブロックは、同じフレームの他のビデオコーディングブロックのイントラ予測用にイントラ予測ユニット２１７に提供される。さらに、再構成されたビデオコーディングブロックは、ループフィルタ２０７によりループフィルタリングされ得（この選択は、デコード装置２００の制御ユニットにより行われ得る）、基準フレームバッファ２０９に格納される。このステージにおいて、再構成されたビデオコーディングブロックは、他のフレームのビデオコーディングブロックのインター予測用にも利用可能になる。上記で既に言及され、以下でさらにより詳細に説明されるように、基準フレームバッファ２０９がアクセスされた場合、セグメント拡張ユニット２１１は、基準フレーム内のセグメントの拡張領域を提供し得る。基準フレームバッファ２０９は、処理されたフレームを出力順序で出力するように構成される。
【００６０】
上述のエンコード装置１００およびデコード装置２００の既知のユニットのいくつかについてのより詳細な事項に関して、２０１５年Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ  Ｂｅｒｌｉｎ  Ｈｅｉｄｅｌｂｅｒｇ出版、Ｍａｔｈｉａｓ  Ｗｉｅｎ著「高効率ビデオコーディング」第１版という文献が参照される。当該文献は、参照により全体が本明細書に組み込まれる。
【００６１】
一実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂと、デコード装置２００のセグメント拡張ユニット２１１とは、基準フレームの第１のセグメントの拡張領域の各拡張ピクセルについて、それらの共通の端部にわたる幾何学的歪みが補償されるように、基準フレームの第２のセグメントのピクセルを基準フレームの第１のセグメントの像面にマッピングするように構成されるマッピングを用いて、基準フレームの第２のセグメントのピクセルのピクセル値に基づいて拡張ピクセルのピクセル値を決定するように構成される。
【００６２】
図３は、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装され、基準フレームの第１のセグメントおよび隣接する第２のセグメントの共通の端部にわたる幾何学的歪みの補償を可能にするマッピングまたは幾何学変換を示す。ここで、第１のセグメント（セグメントＡとも称され、像面Ａに関連付けられる）と、第２のセグメント（セグメントＢとも称され、像面Ｂに関連付けられる）とは、同じカメラ位置またはカメラ中心Ｃを有し、境界を共有しているものと仮定する。
【００６３】
図３から理解され得るように、３Ｄ空間における点
【数３１】
2019534603.tif 000175
は、カメラ中心Ｃを通過した光線上に存在する。カメラ中心Ｃは、像面Ａおよび像面Ｂと交差する。結果的に、像面Ｂにおける点
【数３２】
2019534603.tif 000176
が、像面Ａにおける点
【数３３】
2019534603.tif 000177
に投影またはマッピングされ得る。このオペレーションには、カメラ中心Ｃからの３Ｄ点
【数３４】
2019534603.tif 000178
の距離の情報は必要とされない。
【００６４】
数学的には、このことは、以下の態様で表されされ得る。  点
【数３５】
2019534603.tif 000179
は、３Ｄ空間におけるベクトル、すなわち、
【数３６】
2019534603.tif 000180
と表され得る。点
【数３７】
2019534603.tif 000181
の同次表現
【数３８】
2019534603.tif 000182
は、
【数３９】
2019534603.tif 000183
と表され得る。
【００６５】
像面Ｂへの同次表現
【数４０】
2019534603.tif 000184
の投影は、
【数４１】
2019534603.tif 000185
と示され、
【数４２】
2019534603.tif 000186
と表され得る。
【数４３】
2019534603.tif 000187
は、像面Ｂに関連付けられたカメラの較正行列である。上記式は、いくらか異なり、
【数４４】
2019534603.tif 000188
という形式で表され得る。
【００６６】
同次座標がスケーリングのみまで定義されるので、スケーリング係数
【数４５】
2019534603.tif 000189
は、正規化された同次画像座標
【数４６】
2019534603.tif 000190
を提供するために省略され得る。この正規化された形式は、以下の態様で直接取得され得もする。
【数４７】
2019534603.tif 000191
【００６７】
カメラからの点の距離が既知である場合、投影は、以下の態様で逆数にされ得る。
【数４８】
2019534603.tif 000192
【００６８】
この場合も、スケーリング係数
【数４９】
2019534603.tif 000193
は、抜かされ得る。次に、上述の態様で取得された点は、像面Ａに投影され得る。しかしながら、像面Ａは像面Ｂとは異なる向きを有するので、まず、像面Ａを像面Ｂと位置合わせするために、カメラ中心Ｃの周りでの回転Ｒが実行されなければならない。この回転
【数５０】
2019534603.tif 000194
は、像面Ａと像面Ｂとの間の角度
【数５１】
2019534603.tif 000195
により画定され、それぞれの座標軸を中心とする回転の組み合わせ、すなわち、
【数５２】
2019534603.tif 000196
とも表され得る。この回転は、同次座標
【数５３】
2019534603.tif 000197
でも表され得る。
【００６９】
故に、像面Ｂにおける点
【数５４】
2019534603.tif 000198
は、像面Ａにおける対応する点
【数５５】
2019534603.tif 000199
に投影またはマッピングされ得る。
【数５６】
2019534603.tif 000200
【００７０】
故に、点を像面Ｂから像面Ａに移動させるためのホモグラフィ行列
【数５７】
2019534603.tif 000201
は、
【数５８】
2019534603.tif 000202
と表され得る。
【００７１】
ホモグラフィ行列
【数５９】
2019534603.tif 000203
を決定するための上記式から分かるように、カメラ中心Ｃからの距離
【数６０】
2019534603.tif 000204
は、上記式から抜かされる。なぜなら、この情報は、ホモグラフィの実行には必要ではないからである。
【００７２】
上述の変換についてのより詳細な事項に関して、２００３年Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ出版、Ｒｉｃｈａｒｄ  ＨａｒｌｅｙおよびＡｎｄｒｅｗ  Ｚｉｓｓｅｒｍａｎ著「コンピュータビジョンにおける複数視点ジオメトリ」第２版という文献が参照される。当該文献は、参照により全体が本明細書に組み込まれる。
【００７３】
故に、一実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装されるマッピングまたは幾何学変換は、基準フレームの第２のセグメントのピクセルまたは点
【数６１】
2019534603.tif 000205
を三次元空間における点
【数６２】
2019534603.tif 000206
に投影する段階であって、点
【数６３】
2019534603.tif 000207
は、基準フレームの第２のセグメントのピクセル
【数６４】
2019534603.tif 000208
をカメラ位置
【数６５】
2019534603.tif 000209
と結び付ける線上に存在する、段階と、基準フレームの第２のセグメントの像面Ｂを基準フレームの第１のセグメントの像面Ａに対して平行な向きへと回転させるための回転を実行する段階と、点
【数６６】
2019534603.tif 000210
を基準フレームの第１のセグメントの像面Ａにおける点
【数６７】
2019534603.tif 000211
に投影する段階であって、基準フレームの第１のセグメントの像面Ａにおける点
【数６８】
2019534603.tif 000212
は、拡張ピクセルを画定する、段階とを含む。
【００７４】
さらなる実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装されるマッピングまたは幾何学変換は、ホモグラフィ行列
【数６９】
2019534603.tif 000213
に基づく。
【００７５】
以下では、上記アプローチが、３６０°ビデオ信号に関連して説明される。セグメントは、立方体の６つの面である。すなわち、３６０°ビデオ信号は、立方体を画定する６つのセグメントにマッピングされている。立方体の面またはセグメントは、フレームに配置されている。立方体セグメント４０１−１，…，  ４０１−６とパッドされた画像境界４０３とを含むフレーム４００の可能な構成の１つが、図４に示される。図５に示されるように、全ての立方体セグメント４０１−１，…，  ４０１−６は、４つの隣接セグメントまたは近接セグメントを有する主面またはセグメントとなるように画定され得る。立方体セグメント４０１−１が、主面として選択されている。特許請求される発明により提供される幾何学的補正をしないと、図５に示されるセグメントの境界にわたる幾何学的歪みが生じるであろう。
【００７６】
簡略化の目的で、異なる立方体セグメントの解像度は同じであるものと仮定する。さらに、座標
【数７０】
2019534603.tif 000214
で表されるそれぞれの主点は、それぞれの立方体セグメントの中心に存在するものと仮定する。そのような実施形態において、較正行列
【数７１】
2019534603.tif 000215
および
【数７２】
2019534603.tif 000216
は、以下の態様で表され得る。
【数７３】
2019534603.tif 000217
および
【数７４】
2019534603.tif 000218
【数７５】
2019534603.tif 000219
は、幾何学的な考慮事項を用いて決定され得る焦点距離を示し、
【数７６】
2019534603.tif 000220
と等しい。
【数７７】
2019534603.tif 000221
は、ピクセルにおける立方体セグメントの幅を示す。
【００７７】
本実施形態について、第１のセグメントの像面Ａは、デカルト座標系のｘ−ｙ面と一致し、一方、第２のセグメントの像面Ｂは、そのｙ−ｚ面に存在するものと仮定する。本実施形態において、像面Ａを像面Ｂと位置合わせするための回転は、ｙ軸を中心とする９０°の回転である。  この場合、ホモグラフィ行列
【数７８】
2019534603.tif 000222
は、以下の態様で表され得る。
【数７９】
2019534603.tif 000223
やはり、ここでもスケーリング係数
【数８０】
2019534603.tif 000224
は、抜かされ得る。
【００７８】
故に、一実施形態において、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とに実装されるマッピングまたは幾何学変換は、ホモグラフィ行列
【数８１】
2019534603.tif 000225
に基づく。
【００７９】
一実施形態において、図４に示される６つの立方体セグメント４０１−１，…，  ４０１−６の各々は、それぞれの隣接セグメントのピクセルのピクセル値に基づいて拡張され得る。図６において、このことが立方体セグメント４０１−１について示されている。立方体セグメント４０１−１は、左方近接セグメント４０１−２に基づく拡張領域４０１−１ａと、上方近接セグメント４０１−４に基づく拡張領域４０１−１ｂと、右方近接セグメント４０１−３に基づく拡張領域４０１−１ｃと、下方近接セグメント４０１−５に基づく拡張領域４０１−１ｄとを有し得る。
【００８０】
一実施形態において、拡張領域は常に、エンコード装置１００のセグメント拡張ユニット１１１ａ、１１１ｂとデコード装置２００のセグメント拡張ユニット２１１とによりインターフレーム予測のために提供され得る。しかしながら、補償されたブロックは、必ずしも元のブロックと異なるわけではないことが理解されよう。例えば、動き補償が実行されることになるブロックは、面（図５における主面）の端部に存在する。動き補償が実行されるエリアは、予測されることになるブロックの位置に基づいて拡張される。４つの近接セグメントは、拡張セグメント、すなわち、メインセグメントとその拡張領域とを生成するために、メインセグメントと共に用いられ得る。メインセグメントのエリアは、ここでは修正されていない。他のセグメントから生成されるメインセグメントの周りのエリアのみが修正されている。動き補償がメインセグメント４０１−１内で機能している限り、挙動は、本発明の実施形態により提供されるセグメント拡張がない場合と同じである。動き補償がメインセグメントの端部を越えて検索している場合、挙動は異なり、ここでは、拡張領域からの情報が用いられる。
【００８１】
同様のホモグラフィが他のセグメントにも当てはまる。各立方体セグメントは、上述の態様で拡張され得る。しかしながら、このことには、拡張領域が互いに重なる影響があり得る。故に、一実施形態において、図７に示されるように、拡張領域は、別個の追加の基準ピクチャまたは基準フレームに格納され得る。エンコードおよびデコード中に用いられなければならない基準ピクチャは、現在処理されているブロックの空間的位置に基づいて導出される。故に、追加のシグナリングは必要ない（基準ピクチャリストにおけるピクチャの数は不変である）。より具体的には、図７に示される例では、１つの基準ピクチャの代わりに６つの基準ピクチャが現在利用可能とみなされ得、１つの基準ピクチャのみが所与の予測ブロックについて用いられるが、一実施形態におけるように、このブロックは、単一のセグメントおよびその（結果としてブロックの位置により決定される）対応する拡張領域に割り当てられ得る。一実施形態において、これは、処理されているブロックの位置に基づいて、エンコード装置１００により用いられる基準ピクチャを対応する追加の基準ピクチャで透過的に置き換えることにより行われ得る。エンコード装置１００およびデコード装置２００は、より多くの基準ピクチャが存在していることを「認識」していない。置き換えは、実際のＹＵＶバッファにアクセスがあった場合にのみ起こる。置き換えは、予測されることになるピクチャの基準ピクチャリストにおける過去および将来の基準ピクチャについて実行され得る。
【００８２】
故に、本発明の実施形態により、演算の複雑性のみがわずかに上がる。追加で必要なオペレーションは、拡張領域の作成になる。６つのピクチャが１つのピクチャの代わりに格納されるので、メモリ要件が上がり得る。しかしながら、これは、特定の実装形態の課題である。より効率的な実施形態であれば、追加の６つのピクチャの全てを格納する必要はない可能性もあるが、各セグメントの周りの小さい領域に必要なデータのみを格納し得る。別の代替的な実施形態は、拡張を各々のブロックおよび検索位置に適用することから成る。これは追加のストレージを必要としないであろうが、各検索位置について補償を実行しなければならないので、さらなる演算の複雑性につながるであろう。
【００８３】
本発明の実施形態は、３６０°ビデオ信号の「ラップアラウンド」にも相当する。各セグメント境界は、近接セグメントからの情報で拡張され得る。これは、３６０°画像の境界と一致するセグメント境界についても当てはまる。図７において分かるように、拡張セグメント４０１−１は、パディングを必要としない。代わりに、パディングエリアは、別の立方体セグメントのコンテンツで満たされ得る。拡張領域のサイズは、ピクチャ境界のパディング箇所のサイズと一致するように、動き補償中にエンコード装置１００により用いられる検索範囲から導出され得る。
【００８４】
図８は、一実施形態によるビデオ信号をエンコードするための方法８００を例示した概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントと第２のセグメントとを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。
【００８５】
エンコード方法８００は、基準フレームにおける第２のセグメントのピクセルのピクセル値に基づいて、複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を、拡張ピクセルのピクセル値を決定することにより生成する段階８０１と、基準フレームにおける第１のセグメントのピクセルと基準フレームにおける拡張領域の拡張ピクセルとに基づいて、現在のフレームにおける第１のセグメントのビデオコーディングブロックの動き補償を実行する段階８０３と、予測ビデオコーディングブロックに基づいて、エンコードされたビデオコーディングブロックを現在のフレームに生成する段階８０５とを備える。
【００８６】
要するに、基準フレームのセグメントと、基準フレームの別のセグメントから生成された拡張領域とは、インター予測により現在のフレームをエンコードするために用いられる。
【００８７】
図９は、一実施形態によるビデオ信号をデコードするための方法９００を例示した概略図を示す。ビデオ信号は、複数のフレームを含み、各フレームは、第１のセグメントと第２のセグメントとを含む複数のセグメントを含む。各セグメントは、異なる像面に関連付けられており、複数のビデオコーディングブロックへ分割可能である。各ビデオコーディングブロックは、複数のピクセルを含み、各ピクセルは、ピクセル値に関連付けられている。
【００８８】
デコード方法９００は、現在のフレームにおける第１のセグメントのビデオコーディングブロックをデコードして残留ビデオコーディングブロックを提供する段階９０１と、基準フレームにおける第２のセグメントのピクセルのピクセル値に基づいて、複数の拡張ピクセルを含む、基準フレームの第１のセグメントの拡張領域を、拡張ピクセルのピクセル値を決定することにより生成する段階９０３と、基準フレームにおける第１のセグメントのピクセルと基準フレームにおける拡張領域の拡張ピクセルとに基づいて、現在のフレームにおける第１のセグメントのビデオコーディングブロックの動き補償を実行する段階９０５と、予測ビデオコーディングブロックと残留ビデオコーディングブロックとに基づいて、ビデオコーディングブロックを現在のフレームに再構成する段階９０７とを備える。
【００８９】
提案される技術は、本明細書において主に２つのセグメントを参照して説明されてきたが、２つより多いセグメントがあるビデオコンテンツを有するビデオ信号に容易に適合され得る。具体的には、セグメントは、いくつかの他のセグメントからの画像コンテンツを用いて拡張され得る。
【００９０】
本開示の特定の特徴または態様が、いくつかの実装形態または実施形態のうちの１つのみに関連して開示された可能性もあるが、そのような特徴または態様は、あらゆる所与の用途または特定の用途にとって望ましく有利になり得るように、他の実装形態または実施形態の１または複数の他の特徴または態様と組み合わされてよい。さらに、「含む」、「有する」、「伴う」という用語またはそれらの他の異形が詳細な説明または特許請求の範囲のいずれかにおいて用いられる限りにおいて、そのような用語は、「備える」という用語と同様の態様で包括的であるよう意図されている。また、「例示的な」、「例えば（ｆｏｒ  ｅｘａｍｐｌｅ）」および「例えば（ｅ．ｇ．）」という用語は、最良または最適であることではなく、例を意味しているに過ぎない。「結合」および「接続」という用語は、それらの派生語と共に用いられていてよい。これらの用語は、２つの要素が、物理的または電気的に直接接触しているか、または互いに直接接触していないかにかかわらず、互いに協働または相互作用することを示すために用いられている可能性があることが理解されるべきである。
【００９１】
特定の態様が本明細書において図示および説明されてきたが、当業者であれば、様々な代替的な実装および／または同等の実装が、本開示の範囲から逸脱することなく、図示および説明された特定の態様の代わりになり得ることを理解されよう。本願は、本明細書において述べられた特定の態様のあらゆる適応形態または変形形態を包含することを意図している。
【００９２】
以下の特許請求の範囲における要素は、対応する符号と共に特定の順序で記載されているが、特許請求の範囲の記載にそれらの要素のいくつかまたは全てを特定の順序で実装することについての別段の示唆がない限り、それらの要素がその特定の順序で実装されるよう限定されることが必ずしも意図されているわけではない。
【００９３】
上記の教示に照らして、多くの代替形態、修正形態および変形形態が当業者には明らかになろう。当業者であれば、本明細書において説明されたものの外にも本発明の多数の用途が存在することを容易に認識するのは当然である。本発明は、１または複数の特定の実施形態を参照して説明されてきたが、当業者であれば、多くの変更が、本発明の範囲から逸脱することなく行われ得ることを認識する。従って、本発明は、添付の特許請求の範囲およびそれらの均等物の範囲内で、本明細書において具体的に説明された以外の態様で実施され得ることが理解されるべきである。
【国際調査報告】
2019534603.tif 000226
2019534603.tif 000227
2019534603.tif 000228