(57)【要約】【課題】３ＤおよびマルチビュービデオコーディングのサブＰＵ構文シグナリングおよび照明補償方法を提供する。【解決手段】三次元あるいはマルチビュービデオコーディングシステムのサブＰＵ (予測ユニット)構文要素シグナリングの方法が開示される。テクスチャサブＰＵサイズに関連する第一構文要素が、テクスチャビデオデータだけに送信され、深さサブＰＵサイズに関連する第二構文要素が、深さビデオデータだけに送信される。テクスチャサブＰＵサイズに関連する第一構文要素が用いられて、テクスチャブロックのＩＶＭＰ (内部ビュー動き予測)予測候補を生成する。深さサブＰＵサイズに関連する第二構文要素が、深さブロックのＭＰＩ (動きパラメータインヘリタンス)予測候補に用いられる。【選択図】図５
2017520994.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータの三次元あるいはマルチビュービデオ符号化あるいは復号の方法であって、前記方法は、
現在のＰＵ(予測ユニット)に関連する入力データを受信する工程と、
テクスチャサブＰＵサイズに関連する第一構文要素をテクスチャビデオデータだけにシグナリングまたは構文解析する工程と、
深さサブＰＵサイズに関連する第二構文要素を深さビデオデータだけにシグナリングまたは構文解析する工程と、
前記現在のＰＵがテクスチャＰＵである場合に、
前記テクスチャサブＰＵサイズにしたがって、前記現在のＰＵから分割されたテクスチャサブＰＵに対応する参照ビュー中の参照テクスチャサブＰＵを配置し、
前記参照テクスチャサブＰＵに関連する第一動き情報を識別し、
前記第一動き情報を用いて、ＩＶＭＰ(内部ビュー動き予測)を含むテクスチャ複数候補動き予測にしたがって、前記テクスチャサブＰＵを符号化あるいは復号する工程と、
前記現在のＰＵが深さＰＵである場合に、
前記深さサブＰＵサイズにしたがって、前記現在のＰＵから分割された深さサブＰＵに対応する参照ビュー中の共同設置テクスチャサブＰＵを配置し、
前記共同設置テクスチャサブＰＵに関連する第二動き情報を識別し、
前記第二動き情報を用いて、ＭＰＩ(動きパラメータインヘリタンス)を含む深さ複数候補動き予測にしたがって、前記深さサブＰＵを符号化あるいは復号する工程と、
を有することを特徴とする方法。
【請求項２】
前記第一構文要素および前記第二構文要素は、ビデオパラメータセット (ＶＰＳ)、シーケンスパラメータセット (ＳＰＳ)、適応パラメータセット (ＡＰＳ)あるいはスライスヘッダーでシグナリングされることを特徴とする請求項１に記載の方法。
【請求項３】
層ＩＤがゼロより大きいとき、前記第一構文要素がテクスチャコーディング層にシグナリングされ、一方、前記第二構文要素が深さコーディング層にシグナリングされることを特徴とする請求項１に記載の方法。
【請求項４】
前記第二構文要素は、ゼロに等しい層ＩＤを有する深さコーディング層中でシグナリングされることを特徴とする請求項１に記載の方法。
【請求項５】
ＩＣモードがオンになるときの、三次元 (３Ｄ)およびマルチビューコーディングシステムにおけるビデオデータの照明補償 (ＩＣ)の方法であって、前記方法は、
従属ビュー中の現在のテクスチャピクチャの現在のブロックと関連する入力データを受信する工程と、
前記現在のブロックの参照ビュー中で、参照テクスチャピクチャの参照ブロックを識別する工程と、
前記現在のテクスチャピクチャ中の前記現在のブロックの現在の隣接サンプルを識別する工程と、
前記参照テクスチャピクチャ中の前記参照ブロックの参照隣接サンプルを識別する工程と、
前記現在の隣接サンプルおよび前記参照隣接サンプルに基づいて、前記現在のブロックの現在のサンプルを前記参照ブロックの参照サンプルに関連づけるための、乗算の項およびオフセット項で構成される線形モデルを決定する工程であって、ＬＬＳ工程(線形最小二乗工程)が省略されるかあるいは非ＬＬＳ工程が用いられて、
a) 前記ビデオデータが複数のカラーコンポーネンツから構成される場合、少なくとも一つのカラーコンポーネント、
b) 前記現在のブロックが複数の予測方向を用いてコード化される場合、少なくとも一つの予測方向、および、
c) 前記現在のブロックが複数のインター予測モードを用いてコード化される場合、少なくとも一つのインター予測モード、
で構成される一群から選択された一つ以上の条件で、前記乗算の項あるいはオフセット項を生成する工程と、
生成された前記乗算の項および前記オフセット項から構成される前記線形モデルを用いた照明補償を前記参照ブロックに適用して、最終参照ブロックを形成する工程と、
前記最終参照ブロックを予測因子として用いて、前記現在のブロックを符号化あるいは復号する工程と、
を有することを特徴とする方法。
【請求項６】
前記現在のブロックが双方向予測モードを用いてコード化されるとき、前記ＬＬＳ工程が省略されて、前記双方向予測モードの前記乗算の項を生成することを特徴とする請求項５に記載の方法。
【請求項７】
前記現在のブロックが双方向予測モードを用いてコード化されるとき、ＩＣプロセスが省略されることを特徴とする請求項５に記載の方法。
【請求項８】
前記ＩＣモードがオンになるとき、双方向予測モードは用いられないことを特徴とする請求項５に記載の方法。
【請求項９】
前記ＩＣモードがオンになるとき、予測方向を特定するビットストリーム中のフラグは、前の予測方向あるいは後ろの予測方向に制限されることを特徴とする請求項５に記載の方法。
【請求項１０】
前記乗算の項、前記オフセット項あるいは両方を生成する前記非ＬＬＳ工程は、以下の工程、
a) 前記乗算の項および前記オフセット項を、所定値に設定する工程、
b) 前記乗算の項だけを所定値に設定するとともに、前記現在の隣接サンプルおよび前記参照隣接サンプルから、前記オフセット項を生成する工程、
c) 分割−変換-乗算値操作により、前記現在の隣接サンプルの合計に対応する分母を有する分割操作を代替する工程、および、
d) ビデオストリーム中で送信される構文要素から復号された値にしたがって、前記乗算の項および前記オフセット項を決定する工程、
の少なくとも一つからなることを特徴とする請求項５に記載の方法。
【請求項１１】
前記乗算の項および前記オフセット項は、それぞれ、１および０に設定されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記乗算の項が１に設定され、オフセット項が、前記現在の隣接サンプルの第一合計と前記参照隣接サンプルの第二合計間の差に設定されることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記乗算の項および前記オフセット項は、前記ビデオストリームのシーケンス、ピクチャ、スライス、コーディングユニット(ＣＵ)、予測ユニット(ＰＵ)あるいは変換ユニット(ＴＵ)レベルで送信される前記構文要素から決定されることを特徴とする請求項１０に記載の方法。
【請求項１４】
前記ビデオデータが、複数のカラーコンポーネンツから構成されるとき、前記乗算の項が１に設定され、前記オフセット項は、クロマ要素の前記現在の隣接サンプルの第一合計および前記参照隣接サンプルの第二合計間の差に設定されることを特徴とする請求項５に記載の方法。
【請求項１５】
前記ビデオデータが、複数のカラーコンポーネンツから構成され、且つ、前記現在のブロックがＭ×Ｌより小さいとき、前記ＬＬＳ工程が省略されて前記乗算の項を生成し、ＭおよびＬは正の整数であることを特徴とする請求項５に記載の方法。
【請求項１６】
双方向予測が前記現在のブロックに選択される場合、前記ＬＬＳ工程が省略されて前記乗算の項および前記オフセット項を生成するか、あるいは、前の予測方向が前記現在のブロックに用いられ、その他の予測情報は変化しないことを特徴とする請求項５に記載の方法。
【請求項１７】
ビデオデータの三次元あるいはマルチビュービデオコーディングのパーティションモードコーディング方法であって、前記方法は、
現在の深さブロックに関連する入力データを受信する工程と、
共同設置テクスチャブロックの現在のテクスチャパーティションモードを識別する工程であって、前記現在のテクスチャパーティションモードが、テクスチャパーティション変数により表される複数のテクスチャパーティションタイプに分類されるテクスチャパーティションモードの一群から選択される工程と、
現在のテクスチャパーティション変数に基づいて、part_mode 値を有する構文要素 part_modeをシグナリングして、前記現在の深さブロックの深さパーティションモードを示す工程であって、前記現在のテクスチャパーティション変数は、前記共同設置テクスチャブロックの前記テクスチャパーティションモードの現在のテクスチャパーティションタイプに関連する工程と、
前記深さパーティションモードにしたがって、前記現在の深さブロックを符号化する工程と、
を有することを特徴とする方法。
【請求項１８】
前記テクスチャパーティション変数が、水平パーティションに対応する値を有する場合、前記構文要素 part_mode は、水平モードあるいは非パーティション PART_2Nx2N モードに制限されることを特徴とする請求項１７に記載の方法。
【請求項１９】
非対称運動パーティション (ＡＭＰ)が許可される場合、前記構文要素 part_mode は、パーティション PART_2Nx2N モード、水平 PART_2NxN モード、非対称水平 2NxnU モードおよび非対称水平 2NxnD モードから構成される一群に制限されることを特徴とする請求項１８に記載の方法。
【請求項２０】
非対称運動パーティション (ＡＭＰ)が許可されない場合、前記構文要素 part_mode は、パーティションPART_2Nx2N モードおよび水平 PART_2NxN モードから構成される一群に制限されることを特徴とする請求項１８に記載の方法。
【請求項２１】
前記テクスチャパーティション変数が、垂直パーティションに対応する値を有する場合、前記構文要素 part_mode は、垂直モードあるいは非パーティションモード PART_2Nx2Nに制限されることを特徴とする請求項１７に記載の方法。
【請求項２２】
非対称運動パーティション (ＡＭＰ)が許可される場合、前記構文要素 part_mode は、パーティション PART_2Nx2N モード、垂直 PART_Nx2N モード、非対称垂直 nLx2N モードおよび非対称垂直 nRx2N モードから構成される一群に制限されることを特徴とする請求項２１に記載の方法。
【請求項２３】
非対称運動パーティション (ＡＭＰ)が許可されない場合、構文要素 part_mode は、パーティション PART_2Nx2N モードおよび垂直 PART_Nx2N モードから構成される一群に制限されることを特徴とする請求項２１に記載の方法。
【請求項２４】
前記テクスチャパーティション変数が、水平パーティションあるいは垂直パーティションに対応する値を有する場合、前記構文要素 part_mode は、水平モードあるいはパーティション PART_2Nx2N モードに制限されることを特徴とする請求項１７に記載の方法。
【請求項２５】
ビデオデータの三次元あるいはマルチビュービデオ復号のパーティションモードコーディング方法であって、前記方法は、
ビデオビットストリームを受信する工程と、
現在のテクスチャブロックのテクスチャ予測モードおよびパーティションに関連するテクスチャ予測情報を決定する工程と、
前記現在のテクスチャブロックと共同設置される現在の深さブロックの深さパーティションに対応する構文要素 part_mode を決定する工程と、
前記構文要素 part_mode の構文値が、前記テクスチャ予測情報のビュー中で合法であるか判断する工程、および、
前記構文値が合法でない場合、合法の構文値により前記構文値を代替するとともに、前記合法の構文値を有する前記構文要素 part_mode および前記テクスチャ予測情報で一緒に示される前記深さパーティションにしたがって、前記現在の深さブロックを復号する工程と、
を有することを特徴とする方法。
【請求項２６】
前記現在のテクスチャブロックの前記テクスチャ予測モードおよびパーティションが、Intra モードあるいは Inter モードに対応する場合、前記深さパーティションは、それぞれ、非パーティション PART_2Nx2N Intra モードあるいは非パーティション PART_2Nx2N Inter モードに対応することを特徴とする請求項２５に記載の方法。
【請求項２７】
前記現在のテクスチャブロックの前記テクスチャ予測モードおよびパーティションが、水平パーティションあるいは垂直パーティションを有するInter モード に対応する場合、前記深さパーティションは、それぞれ、水平 PART_2NxN モードあるいは垂直 PART_Nx2N モードに設定されることを特徴とする請求項２５に記載の方法。
【請求項２８】
受信される前記構文要素 part_mode が違法の一非対称運動パーティション (ＡＭＰ)モードに対応する場合において、受信される前記構文要素 part_mode が非対称水平 2NxnU モードあるいは非対称 水平 2NxnD モードである場合に、前記深さパーティションは水平 PART_2NxN Inter モードに設定され、受信される前記構文要素 part_mode が非対称垂直 nLx2N モードおよび非対称垂直 nRx2N モードである場合に、前記深さパーティションは垂直 PART_Nx2N Inter モードに設定されることを特徴とする請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１４年６月２０日に出願されたＰＣＴ特許出願ＰＣＴ/ＣＮ２０１４/０８０４０６、２０１４年６月２３日に出願されたＰＣＴ特許出願ＰＣＴ/ＣＮ２０１４/０８０５１６および２０１５年２月６日に出願されたＰＣＴ特許出願ＰＣＴ/ＣＮ２０１５/０７２４２８から、優先権を主張するものであり、その内容は引用によって本願に援用される。
【０００２】
本発明は、三次元およびマルチビュービデオコーディング（coding）に関する。特に、本発明は、サブＰＵ (予測ユニット)構文シグナリング、照明補償およびテクスチャ-依存深さパーティションを含む三次元およびマルチビュービデオコーディングの各種態様に関連する。
【背景技術】
【０００３】
三次元 (３Ｄ)ビデオコーディングが発展して、複数のカメラにより同時に捕捉される複数のビューのビデオデータを符号化（encoding）あるいは復号（decoding）する。全カメラが、テクスチャデータおよび深さデータ両方の同じシーンを捕捉するので、同じビュー中のテクスチャおよび深さデータ間に大量の冗長性がある。ＨＥＶＣによると、コーディングプロセスは、コーディングユニット (ＣＵ)という名の各ブロックに適用され、且つ、各ＣＵは予測プロセスを受ける。各ＣＵは、一つ以上の予測ユニット(ＰＵ)に分割され、予測プロセス、たとえば、イントラあるいはインター予測が各ＰＵに適用される。冗長性を減少させるため、現在の３Ｄ−ＨＥＶＣ (高効率ビデオコーディング (ＨＥＶＣ)に基づく３Ｄビデオコーディング)にしたがって、同じクアッドツリー（quad-tree，四分木）レベルで、テクスチャパーティション-依存深さパーティションが用いられて、配列されたテクスチャＣＵと配列される現在の深さブロックを処理する。
【０００４】
内部ビューおよび内部コンポーネント冗長性を有効に生かすため、追加ツール、たとえば、内部ビュー動き予測 (ＩＶＭＰ)および動きパラメータインヘリタンス (ＭＰＩ)が、現存の３Ｄ−ＨＥＶＣ (高効率ビデオコーディング)および３Ｄ−ＡＶＣ (高度なビデオコーディング)コーデックに整合されている。さらに、コーディング効率を改善するため、サブＰＵレベルＩＶＭＰおよびサブＰＵレベルＭＰＩが用いられる。ＩＶＭＰにしたがって、従属ビュー中のブロックに関連する動き情報（motion information）が、参照ビュー（reference view）中の視差ベクトルを用いて配置される対応するブロックに関連する動き情報により予測される。ＭＰＩにしたがって、深さデータのテクスチャの動きパラメータのインヘリタンスは、ＨＥＶＣ Mergeモードからの通常の空間的および一時的候補に加え、もうひとつのMerge 候補を、現在の深さブロックのMerge リストに追加することにより達成される。追加の候補は、共同設置テクスチャブロックの動き情報から生成される。
【０００５】
現在の３Ｄ−ＨＥＶＣにおいて、構文要素 iv_mv_pred_flag[ layerId ]が、ゼロより大きい層ＩＤを有する各層に送信されて、ＩＶＭＰが用いられるかを示し、ゼロより大きい層ＩＤは、従属ビューに対応する。ゼロより大きい層ＩＤを有する各層において、別の構文要素 log2_sub_pb_size_minus3[ layerId ]が送信されて、テクスチャサブＰＵサイズを示す。深さコーディングにおいて、構文要素 mpi_flag[ layerId ]が、ゼロより大きい層ＩＤを有する各層に送信されて、ＭＰＩが用いられるかを示す。しかし、ＭＰＩのサブＰＵサイズが全層によりシェアされ、且つ、ビデオパラメータセット(ＶＰＳ)拡張において、構文要素 log2_mpi_sub_pb_size_minus3 により示される。表１は、３Ｄ−ＨＥＶＣ中、現在の vps_extension2( )構文設計を示す。
【０００６】
【表１】
2017520994.tif 000003
【０００７】
表１に示されるように、iv_mv_pred_flag[ layerId ], log2_sub_pb_size_minus3[ layerId ], mpi_flag[ layerId ] および log2_mpi_sub_pb_size_minus3 に関連する構文要素が、ビデオパラメータセット拡張, vps_extension2( )でシグナリングされる。これらの構文要素の位置は、それぞれ、表１の１-１〜１-４により示される。周知のように、ＩＶＭＰがテクスチャデータに用いられて、異なるビュー間の相互関係を活用する。一方、ＭＰＩが深さデータに用いられて、共同設置テクスチャデータにおける深さデータの従属を活用する。注意すべきことは、構文要素log2_sub_pb_size_minus3[ layerId ] および log2_mpi_sub_pb_size_minus3は、独立して、ＶＰＳでシグナリングされ、現在ビデオデータが、テクスチャデータなのか、深さデータなのかを考慮しない。これにより、サブＰＵ構文要素シグナリングの新しい方法を開発して、パフォーマンスを改善することが望まれる。
【０００８】
現在の３Ｄ−ＨＥＶＣにおいて、照明補償 (ＩＣ：illumination compensation)を採用して、異なるビュー間の照度の差を補償する。ＩＣが提供されるとき、現在のビュー中の現在のブロック (１１０)の予測値 y は、y = a*x+b,に対応する線形関数 (１２０)に基づいて計算され、式中、x は、参照ビュー中の参照ブロックのサンプル値である。線形モデルにおいて、パラメータ a は乗算の項(multiplicative term，倍数詞の項)と名付けられ、パラメータ b はオフセット項(offset term)と名付けられる。二個のパラメータ a および b は、図１に示されるように、現在のブロックの隣接再構成サンプル (１４０)および参照ブロック(１６０)の隣接再構成サンプル (１５０)を用いて、訓練プロセス (１３０)にしたがって生成される。
【０００９】
ＨＥＶＣによる訓練プロセスに含まれるサンプルが図２に示され、同じ相対位置(つまり、コロケーション)を処理する参照ブロック (１６０)の隣接する参照サンプル xi および現在のブロック (１１０)の隣接サンプル yi は、訓練ペアとして用いられる。訓練ペアの数量を減少させるため、各二つの隣接するサンプルのひとつだけが訓練ペア中に含まれる。表示 (xi や yi) がない隣接サンプルは訓練プロセスに用いられない。xi および yi に関連する上付き記号 “A” は、隣接サンプルがブロックの“上”にあることを示す。xi および yi に関連する上付き記号 “L” は、ブロックの“左” にあることを示す。
【００１０】
訓練プロセスの数量は、ブロックサイズに比例する。たとえば、８x８ブロックに対し８個の訓練ペアがあり、６４x６４ブロックに対し６４個の訓練ペアがある。これにより、訓練プロセスは、大きいブロックにとってさらに複雑になる。
【００１１】
ＩＣは、単独で、各カラーコンポーネント、たとえば、Y (Luma)、U (Cb) および V (Cr)に適用される。訓練プロセスは、さらに、別々に実行される。パラメータ a および b は、各コンポーネントに対し個別に訓練される。
a と b を計算する基本的方法は以下の等式で示される:
【００１２】
【数１】
2017520994.tif 000004
2017520994.tif 000005
【００１３】
上述のように、ＩＣの複雑性は、主に、エンコーダおよびデコーダ両方において、優秀なa および b を訓練するために用いられる線形最小二乗 (ＬＬＳ) 方法が原因である。ＬＬＳベースの訓練プロセスは、複数の定期的な乗算操作が必要である。現存の３Ｄ−ＨＥＶＣあるいは３Ｄ−ＡＶＣによると、ＩＣプロセスは、輝度およびクロマ要素両方の単方向予測および双方向予測両方に用いられる。これにより、現存の３Ｄ−ＨＥＶＣあるいは３Ｄ−ＡＶＣによるＩＣプロセスは、乗算操作のために、集中的な計算を必要とする。よって、特に、ＬＬＳ工程を含むＩＣプロセスを簡潔にすることが望まれる。
【００１４】
３Ｄビデオコーディングにおいて、テクスチャデータおよび深さデータ間の相互関係を活用することにより、テクスチャ-依存深さパーティション (ＴＤＤＰ)と称されるコーディングツールが深さパーティションに開発されている。冗長性を減少させるため、現在の深さＣＵの配置されたコーディングユニット (ＣＵ)が、現在の３Ｄ−ＨＥＶＣ中、同じクアッドツリーレベルであるとき、ＴＤＤＰが用いられる。
【００１５】
図３は、現存の３Ｄ−ＨＥＶＣのＴＤＤＰによる許可される深さパーティションおよび対応するテクスチャパーティション間の対応を示す図で、ＡＭＰ(非対称運動パーティション)が許可される。テクスチャパーティションは左側で示され、深さパーティションは右側で示される。図３に示されるように、同じクアッドツリーレベルで、配列されたテクスチャＣＵが垂直パーティションによりコード化（coded）されるとき、垂直パーティションおよび２Ｎ×２Ｎパーティションだけが、対応する深さＣＵに許可される。同様に、同じクアッドツリーレベルで、配列されたテクスチャＣＵが水平パーティションでコード化されるとき、水平パーティションおよび２Ｎ×２Ｎパーティションだけが、対応する深さＣＵに許可される。同じクアッドツリーレベルで、配列されたテクスチャＣＵがＮ×Ｎ パーティションでコード化されるとき、対応する深さＣＵは、垂直および水平パーティション、２Ｎ×２ＮパーティションおよびＮ×Ｎ パーティションを含む全パーティションを用いることができる。同じクアッドツリーレベルで、配列されたテクスチャＣＵが２Ｎ×２Ｎパーティションでコード化されるとき、対応する深さＣＵは、２Ｎ×２Ｎパーティションだけを用いることができる。図３に示されるように、垂直パーティションは Nx2N, nLx2N および nRx2N を含み、水平パーティションは Nx2N, nLx2N および nRx2Nを含む。表２と表３は、インター予測のpart_mode 値および予測パーティション間の二種の可能な対応を示す。表２は、パーティションモードがpart_modeだけに基づくケースを示す。イントラコーディングにおいて、２Ｎ×２ＮおよびＮ×Ｎ パーティションが許可され、且つ、part_modeは０か１である値を有する。表３は、パーティションモードが、part_mode およびパーティション変数 partPredIdc両方に基づくケースを示す。パーティション変数 partPredIdcは、テクスチャパーティションタイプとして解釈され、１に等しいpartPredIdcは水平パーティションを示し、２に等しいpartPredIdc は垂直パーティションを示し、０に等しいpartPredIdc は、その他のパーティション(つまり、２Ｎ×２ＮあるいはＮ×Ｎ)を示す。
【００１６】
【表２】
2017520994.tif 000006
【表３】
2017520994.tif 000007
【００１７】
意味としては、配列されたテクスチャＣＵが、同じクアッドツリーレベルで、水平あるいは垂直でコード化されるとき、変数 partPredIdcは、それぞれ、１か２に設定される。配列されたテクスチャブロックが、大きい深さあるいは非水平および垂直パーティションを有するとき、partPredIdc は０に設定される。この方法において、パーティションモードを示すpart_mode flagは、短い２進列（bin string）で、あるいは、ＨＥＶＣと同じように符号化される。
【００１８】
しかし、現存の３Ｄ−ＨＥＶＣ (つまり、Working Draft 6)において、深さデータのパーティションモードにおいて妥当性がある。特に、現存の３Ｄ−ＨＥＶＣは、現在のモードがIntra あるいは Inter モードであるか、および、ＡＭＰ(非対称運動パーティション)モードが有効であるかどうかだけを確認する。故に、違法のパーティションモードはデコーダで受信され、ＴＤＤＰが用いられ、partPredIdcは０ではない。これにより、ＴＤＤＰのパーティションモードコーディングを発展させて、違法のパーティションモードが発生しないようにする、あるいは、違法のパーティションモードが受信されるケースでも、デコーダが適切に操作できるよう確保することが望まれる。
【発明の概要】
【課題を解決するための手段】
【００１９】
本発明による一実施態様を組み込んだ三次元あるいはマルチビュービデオコーディングシステムのサブＰＵ (予測ユニット)構文要素シグナリングの方法が開示される。テクスチャサブＰＵサイズに関連する第一構文要素がテクスチャビデオデータだけに送信され、深さサブＰＵサイズに関連する第二構文要素が深さビデオデータだけに送信される。テクスチャサブＰＵサイズに関連する第一構文要素が用いられて、テクスチャブロックに用いられるＩＶＭＰ (内部ビュー動き予測)予測候補を生成する。深さサブＰＵサイズに関連する第二構文要素が、深さブロックのＭＰＩ (動きパラメータインヘリタンス)予測候補に用いられる。
【００２０】
第一構文要素および第二構文要素は、ビデオパラメータセット (ＶＰＳ)、シーケンスパラメータセット (ＳＰＳ)、適応パラメータセット (ＡＰＳ)あるいはスライスヘッダーでシグナリングされる。第一構文要素は、ゼロより大きい層ＩＤを有する各テクスチャコーディング層中でだけシグナリングされる。第一構文要素は log2_sub_pb_size_minus3に対応する。第二構文要素は、ゼロより大きい層ＩＤを有する各深さコーディング層中でだけシグナリングされる。第二構文要素は、log2_mpi_sub_pb_size_minus3に対応する。
【００２１】
三次元 (３Ｄ)あるいはマルチビューコーディングシステムにおけるビデオデータの簡潔な照明補償 (ＩＣ)の方法も開示される。本発明の実施態様によると、ＬＬＳ工程 (線形最小二乗工程)が省略されるか、あるいは、非ＬＬＳ工程が用いられて、a) ビデオデータが、複数のカラーコンポーネンツから構成されるとき、少なくとも一つのカラーコンポーネント、b) 現在のブロックが、複数の予測方向を用いてコード化されるとき、少なくとも一つの予測方向、および、c) 現在のブロックが、複数のインター予測モードを用いてコード化されるとき、少なくとも一つのインター予測モードから構成される一群から選択される少なくとも一つの条件において、乗算の項あるいはオフセット項を生成する。
【００２２】
現在のブロックが、双方向予測モードを用いてコード化されるとき、ＬＬＳ工程が省略されて、双方向予測モード下で、乗算の項を生成する。現在のブロックが、双方向予測モードを用いてコード化されるとき、ＩＣプロセスは省略される。あるいは、ＩＣモードがオンになるとき、双方向予測モードは使用されない。さらに、ＩＣモードがオンになるとき、予測方向を特定するビデオストリーム中のフラグは、前の予測方向か後ろの予測方向に制限される。
【００２３】
乗算の項、オフセット項あるいは両方を生成する非ＬＬＳ工程は、以下の工程の少なくとも一つからなる: a) 乗算の項およびオフセット項を所定値に設定する; b)乗算の項だけを所定値に設定するとともに、現在の隣接サンプルおよび参照隣接サンプルから、オフセット項を生成する; c) 分割-変換-乗算値操作（division-translated-to-multiplication values operation）によって、現在の隣接サンプルの合計に対応する分母の分割操作を代替する; および d) ビデオストリームで送信される構文要素からの復号値にしたがって、乗算の項およびオフセット項を決定する。たとえば、乗算の項およびオフセット項は、それぞれ、１と０に設定される。別の例において、乗算の項は１に設定され、オフセット項は、現在の隣接サンプルの第一合計および参照隣接サンプルの第二合計間の差に設定される。さらに別の例において、乗算の項およびオフセット項は、ビデオストリームのシーケンス、ピクチャ、スライス、コーディングユニット(ＣＵ)、予測ユニット(ＰＵ)あるいは変換ユニット(ＴＵ)レベルで送信される構文要素から決定される。
【００２４】
ビデオデータが複数のカラーコンポーネンツから構成されるとき、乗算の項は１に設定され、オフセット項は、クロマ要素の現在の隣接サンプルの第一合計および参照隣接サンプルの第二合計間の差に設定される。さらに、現在のブロックがＭ×Ｌより小さいとき、ＬＬＳ工程は省略されて、乗算の項を生成し、ＭおよびＬは、正の整数である。双方向予測が現在のブロックに選択される場合、ＬＬＳ工程は省略されて、乗算の項およびオフセット項を生成する、あるいは、前の予測方向が現在のブロックに用いられ、その他の予測情報はそのままである。
【００２５】
本発明の別の態様は、３Ｄあるいはマルチビューコーディングシステムにおける違法のパーティションモード問題に取り組む。一実施態様において、エンコーダは、現在テクスチャパーティション変数に基づいて、part_mode 値を有する構文要素 part_mode をシグナリングして、現在の深さブロックの深さパーティションモードを示す。現在のテクスチャパーティション変数は、共同設置テクスチャブロックのテクスチャパーティションモードの現在のテクスチャパーティションタイプと関連する。エンコーダは、シグナリングされる構文要素 part_mode が、常に、深さブロックに対し、合法パーティションモードであるように確保する。テクスチャパーティション変数が、水平パーティションに対応する値を有する場合、シグナリングされる構文要素 part_mode が、水平モードあるいはパーティション PART_2Nx2N モードに制限される。非対称運動パーティション (ＡＭＰ)が許可される場合、シグナリングされる構文要素 part_mode は、パーティション PART_2Nx2N モード、水平 PART_2NxN モード、非対称水平 2NxnU モードおよび非対称水平 2NxnD モードから構成される一群に制限される。ＡＭＰが許可されない場合、構文要素 part_mode は、パーティション PART_2Nx2N モードおよび水平 PART_2NxN モードから構成される一群に制限される。
【００２６】
テクスチャパーティション変数が、垂直パーティションに対応する値を有する場合、構文要素 part_mode は、垂直モードあるいはパーティションモード PART_2Nx2Nに制限される。ＡＭＰが許可される場合、構文要素 part_mode は、パーティション PART_2Nx2N モード、垂直 PART_Nx2N モード、非対称垂直 nLx2N モードおよび非対称垂直 nRx2N モードから構成される一群に制限される。ＡＭＰが許可されない場合、構文要素 part_mode は、パーティション PART_2Nx2N モード および 垂直 PART_Nx2N モードから構成される一群に制限される。
【００２７】
テクスチャパーティション変数が、水平パーティションあるいは垂直パーティションに対応する値を有する場合、構文要素 part_modeは、水平モードあるいはパーティション PART_2Nx2N モードに制限される。
【００２８】
別の実施態様において、３Ｄおよびマルチビューコーディングシステムにおける違法のパーティションモード問題への取り組みは、デコーダ側で達成される。デコーダは、構文要素 part_modeの構文値が、テクスチャ予測情報のビューで、合法であるかどうか判断する。構文値が合法でない場合、構文値は、合法の構文値により代替される。その後、テクスチャ予測情報および合法の構文値を有する構文要素 part_modeにより一緒に示される深さパーティションにしたがって、現在の深さブロックが復号される。たとえば、現在のテクスチャブロックのテクスチャ予測モードおよびパーティションが、Intra モードあるいはInter モードに対応する場合、深さパーティションは、それぞれ、パーティション PART_2Nx2N Intra モードあるいはパーティション PART_2Nx2N Inter モードに設定される。別の例において、現在のテクスチャブロックのテクスチャ予測モードおよびパーティションが、水平パーティションあるいは垂直パーティションを有するInter モードに対応する場合、深さパーティションは、それぞれ、水平 PART_2NxN モードあるいは垂直 PART_Nx2N モードに設定される。さらに別の例において、受信される構文要素 part_modeが１つの違法のＡＭＰモードに対応する場合、受信される構文要素 part_mode が非対称水平 2NxnU モードあるいは非対称水平 2NxnD モードである場合、深さパーティションが、水平 PART_2NxN Inter モードに設定される。受信される構文要素 part_modeが、非対称垂直 nLx2N モードおよび非対称垂直 nRx2N モードである場合、深さパーティションは、垂直 PART_Nx2N Inter モードに設定される。
【図面の簡単な説明】
【００２９】
【図１】現存の３Ｄ−ＨＥＶＣ (高効率ビデオコーディングに基づく三次元ビデオコーディング)による照明補償の例を示す図である。
【図２】現存の３Ｄ−ＨＥＶＣ (高効率ビデオコーディングに基づく三次元ビデオコーディング)による隣接サンプルを訓練サンプルとする照明補償の線形モデル導出の例を示す図である。
【図３】現存の３Ｄ−ＨＥＶＣ (高効率ビデオコーディングに基づく三次元ビデオコーディング)による配列されたテクスチャブロックの異なる予測パーティションの現在の候補の深さ予測パーティションを示す図である。
【図４】本発明の一実施態様による派生モデルパラメータの簡潔な線形最小二乗(ＬＬＳ)工程を組み込んだコーディングシステムのフローチャートである。
【図５】本発明の一実施態様によるサブＰＵ (予測ユニット)サイズ構文要素シグナリングを用いた３Ｄあるいはマルチビューコーディングシステムのフローチャートである。
【図６】本発明の一実施態様による派生モデルパラメータの簡潔なＬＬＳ (線形最小二乗)工程を用いた３Ｄあるいはマルチビューコーディングシステムのフローチャートである。
【図７】本発明の一実施態様によるテクスチャ-従属深さパーティションモード符号化を組み込んだ３Ｄあるいはマルチビューコーディングシステムのフローチャートである。
【図８】本発明の一実施態様によるテクスチャ-従属深さパーティションモード復号を組み込んだ３Ｄあるいはマルチビューコーディングシステムのフローチャートである。
【発明を実施するための形態】
【００３０】
以下の説明は、本発明を実施する最良意図モードである。この説明は、本発明の一般的原理を説明する目的でなされ、限定的な意味に解釈されるべきではない。本発明の範囲は添付の特許請求の範囲を参照することによって決定される。
【００３１】
上述のように、現存の３Ｄ−ＨＥＶＣにおいて、内部ビュー動き予測 (ＩＶＭＰ)および動きパラメータインヘリタンス (ＭＰＩ)のサブＰＵ (予測ユニット)構文要素シグナリングは冗長性を有する。したがって、サブＰＵサイズ構文要素をシグナリングする改善方法が開示され、同じ構文要素は、サブＰＵレベルＩＶＭＰおよびサブＰＵレベルＭＰＩに用いられるか、あるいは、必要時だけ、サブＰＵサイズ構文要素がシグナリングされる。
【００３２】
ＩＶＭＰおよびＭＰＩのサブＰＵ構文シグナリングの第一実施態様において、サブＰＵサイズが全層によりシェアされ、且つ、表４に示されるように、ＶＰＳ(ビデオパラメータセット)において、log2_sub_pb_size_minus3により示される。サブＰＵサイズが全層によりシェアされるので、この実施態様基づく構文要素, log2_sub_pb_size_minus3 (表４で注記４−１により示される)は、層ＩＤに基づかない。テクスチャコーディングにおいて、log2_sub_pb_size_minus3 は、ＩＶＭＰのサブＰＵサイズ.深さコーディングにおいて、log2_sub_pb_size_minus3 は、ＭＰＩのサブＰＵサイズを示す。
【００３３】
【表４】
2017520994.tif 000008
【００３４】
ＩＶＭＰおよびＭＰＩのサブＰＵ構文要素シグナリングの第二実施態様において、サブＰＵサイズは、０より大きい層ＩＤ を有する各層でシグナリングされ、且つ、表５に示されるように、サイズ構文要素はＩＶＭＰおよびＭＰＩによりシェアされ、ゼロより大きい層ＩＤは従属ビューを示し、ゼロに等しい層ＩＤは底面図を示す。したがって、構文要素 log2_sub_pb_size_minus3[ layerId ] (表５の注記５−１により示される)は、０より大きい層ＩＤを有する各層でシグナリングされて、テクスチャコーディングのＩＶＭＰのサブＰＵサイズおよび深さコーディングのＭＰＩのサブＰＵサイズを示す。表１中の従来の構文設計と比較して、ＭＰＩのサブＰＵサイズ, log2_mpi_sub_pb_size_minus3 はシグナリングされない。
【００３５】
【表５】
2017520994.tif 000009
【００３６】
log2_sub_pb_size_minus3 のシグナリングは、さらに、ＩＶＭＰおよびＭＰＩの使用により調整される。ＩＶＭＰあるいはＭＰＩが用いられる (たとえば、iv_mv_pred_flagが１に等しい、あるいは、mpi_flag が１に等しい)場合、log2_sub_pb_size_minus3 がシグナリングされる。そうでなければ、log2_sub_pb_size_minus3 はシグナリングされない。
【００３７】
構文要素 iv_mv_pred_flag および mpi_flag は、さらに、全層によりシェアされ、且つ、ＶＰＳで一度だけ、シグナリングされる。その他のサブＰＵレベル技術において、サブＰＵ構文要素の類似する統合方法が用いられる。
【００３８】
ＩＶＭＰおよびＭＰＩのサブＰＵ構文要素シグナリングの第三実施態様において、構文要素 log2_sub_pb_size_minus3 は、ゼロより大きい層ＩＤを有する各テクスチャコーディング層でだけ送信されて、表６に示されるように、ＩＶＭＰのサブＰＵサイズを示し、ゼロより大きい層ＩＤは従属ビューを示し、ゼロに等しい層ＩＤは底面を示す。表６に示されるように、構文要素 log2_sub_pb_size_minus3[ layerId ] (表６の注記６−１により示される) の位置は、条件 “if ( !VpsDepthFlag[ layerId ] )”範囲内であり、層がテクスチャデータであるとき、条件がアサートされる。つまり、構文要素 log2_sub_pb_size_minus3[ layerId ]は、テクスチャデータにだけ合併される。
【００３９】
【表６】
2017520994.tif 000010
【００４０】
ＩＶＭＰおよびＭＰＩのサブＰＵ構文要素シグナリングの第四実施態様において、構文要素 log2_mpi_sub_pb_size_minus3[ layerId ] (表７の注記７−１により示される)は、さらに、ゼロより大きい層ＩＤを有する各深さコーディング層に送信されて、表７に示されるように、ＭＰＩのサブＰＵサイズを示し、ゼロより大きい層ＩＤは従属ビューを示す。条件 “if ( !VpsDepthFlag[ layerId ] )” が誤りであるとき、構文要素 log2_mpi_sub_pb_size_minus3[ layerId ] が組み込まれるので、深さデータに対応する。つまり、構文要素 log2_mpi_sub_pb_size_minus3[ layerId ]は、深さデータだけに組み込まれる。具体的には、層ＩＤがゼロより大きいとき、構文要素 log2_sub_pb_size_minus3[ layerId ] (表７の注記６−１により示される)は、テクスチャコーディング層にだけシグナリングされ、一方、構文要素 log2_mpi_sub_pb_size_minus3[ layerId ]は、深さコーディング層にだけ示される。ゼロに等しい層ＩＤを有する深さコーディング層 (底面図を示す)において、構文要素 log2_mpi_sub_pb_size_minus3[ layerId ] がシグナリングされて、この深さコーディング層のサブＰＵサイズを示す。ゼロに等しい層ＩＤを有するテクスチャコーディング層に関しては、構文要素 log2_sub_pb_size_minus3[ layerId ] はデコーダに送信されない。あるいは、構文要素 log2_sub_pb_size_minus3[ layerId ] は送信されるが、デコーダにより用いられない。
【００４１】
【表７】
2017520994.tif 000011
2017520994.tif 000012
【００４２】
ＩＶＭＰおよびＭＰＩ関連する全てのサブＰＵ構文要素は、さらに、別の高レベルの構文、たとえば、シーケンスパラメータセット (ＳＰＳ)、適応パラメータセット (ＡＰＳ)およびスライスヘッダー中でもシグナリングされる。上述の方法は、サブＰＵレベルの処理を用いるその他の技術に応用することができる。
【００４３】
本発明の別の態様は、照明補償 (ＩＣ)プロセスに取り組む。特に、本発明は、線形最小二乗 (ＬＬＳ)工程の使用頻度を減少させることにより、さらに、照明補償の複雑さを減少させる方法を開示する。本発明は、さらに、ＬＬＳが省略できるか確認する。図４は、本発明の一実施態様によるＬＬＳ省略の例を示す図である。図４に示される例は、工程４１０において、予測方向を決定する。予測方向が双方向性であるかが、工程４２０で確認される。結果が“はい（Yes）”である場合、プロセスは工程４７０に進み、ＬＬＳを適用せずに、線形モデル (たとえば、線形関数)のパラメータ a (つまり、乗算の項)およびパラメータ b (つまり、オフセット項)を生成し、現在のブロックの現在のサンプルを、参照ビュー中の参照ブロックの参照サンプルに関連付ける。結果が“いいえ（No）”である場合、プロセスは工程４３０に進んで、さらに、ブロックサイズを決定する。ブロックサイズがＭ×Ｌより小さいかどうかが、工程４４０で確認される。結果が“はい”である場合、プロセスは工程４７０に進み、ＬＬＳを適用せずに、パラメータ a および bを生成する。結果が“いいえ”である場合、プロセスは工程４５０に進み、さらに、カラーコンポーネントを決定する。カラーコンポーネントがchroma であるかどうかが、工程４６０で確認される。結果が “はい”である場合、プロセスは工程４７０に進み、ＬＬＳを適用せずに、パラメータ a および bを生成する。結果が “いいえ”である場合、プロセスは工程４８０に進み、ＬＬＳが適用されて、パラメータ a および bを生成する。
【００４４】
簡潔なＩＣプロセスの第一実施態様において、現在生成される予測方向が、ＩＣモードで、双方向予測である場合、双方向予測は、前の予測方向として設定され、その他の予測情報は変化しない。あるいは、この実施態様に基づくＩＣプロセスは、非ＬＬＳ方法に基づいて、パラメータa および bを生成する。
【００４５】
簡潔なＩＣプロセスの第二実施態様において、エンコーダは、ＩＣモードの双方向予測を実行しないか、あるいは、ＬＬＳ工程で、パラメータ a および bを計算しない。
【００４６】
簡潔なＩＣプロセスの第三実施態様において、デコーダは、ＩＣモードの双方向予測を実行しない、あるいは、ＬＬＳ工程で、パラメータ a および bを生成しない。
【００４７】
簡潔なＩＣプロセスの第四実施態様において、現在のブロックが、ＩＣモードでコード化されるとき、予測方向を識別するビデオビットストリーム中のフラグは、順方向と逆方向に制限される。
【００４８】
簡潔なＩＣプロセスの第五実施態様において、現在のブロックがＩＣモードでコード化されるとき、全てのカラーコンポーネンツが、ＬＬＳ工程を用いて、パラメータ a および b を生成するのではない。
【００４９】
簡潔なＩＣプロセスの第六実施態様において、現在のブロックがＩＣモードでコード化されるとき、および、ブロックサイズがＭ×Ｌより小さい場合、パラメータ a は、いくつかのカラーコンポーネンツのΣy(i)/Σx(i)の四捨五入値に等しく、 y(i) は、現在のブロック中の隣接サンプルに対応し、且つ、x(i) は、参照ブロックの隣接サンプルである。ＭおよびＬは、正の整数である。
【００５０】
簡潔なＩＣプロセスの第七実施態様において、現在のブロックがＩＣモードでコード化されるとき、および、ブロックサイズがＭ×Ｌより小さい場合、パラメータ a は、Σy(i)/Σx(i)の分割変換乗算値に等しい。
【００５１】
簡潔なＩＣプロセスの第八実施態様において、現在のブロックがＩＣモードでコード化されるとき、および、ブロックサイズがＭ×Ｌより小さい場合、パラメータ a は１に等しく、b は、いくつかのカラーコンポーネンツの Σy(i) - Σx(i)に等しい。
【００５２】
簡潔なＩＣプロセスの第九実施態様において、現在のブロックがＩＣモードでコード化されるとき、および、ブロックサイズがＭ×Ｌより小さい場合、パラメータ a は、いくつかのカラーコンポーネンツのいくつかの追加フラグから生成される対応値に等しい。追加フラグは、シーケンス、スライス、コーディングユニット (ＣＵ)あるいは変換ユニット (ＴＵ)レベルで送信される。
【００５３】
簡潔なＩＣプロセスの第十実施態様において、現在のブロックがＩＣモードでコード化されるとき、および、ブロックサイズがＭ×Ｌより小さい場合、ＩＣプロセスは、いくつかのカラーコンポーネンツのＩＣ工程を用いない。代わりに、これらのカラーコンポーネンツのＩＣプロセスは、通常の予測モードを用い、これは、パラメータ a=1 および b=0を有するＩＣプロセスと同じで、予測を完成する。
【００５４】
簡潔なＩＣプロセスの第十一実施態様において、現在のブロックがＩＣモードでコード化されるとき、および、ブロックサイズがＭ×Ｌより小さい場合、ＩＣプロセスは、ＬＬＳ工程を用いずに、クロマ要素のパラメータ aを計算する。代わりに、パラメータ a は、これらのクロマ要素に対し１に設定される。
【００５５】
簡潔なＩＣプロセスの第十二実施態様において、上述の実施態様で紹介されるあらゆる場合のＭおよびＬは、６４より大きい値に設定される。
【００５６】
上述の実施態様は、結合することもできる。たとえば、第一実施態様で記述されるように、双方向予測が用いられるとき、双方向予測は、前の予測方向として設定される。同時に、いくつかのカラーコンポーネンツのパラメータ a は、第六実施態様において、Σy(i)/Σx(i) の四捨五入値に等しい。
【００５７】
本発明の一実施態様を組み込んだシステムのパフォーマンスを、従来のシステムと比較する。照明補償 (ＩＣ)がオンになるとき、本発明の一実施態様を組み込んだシステムは、双方向予測を無効にする。一方、従来のシステムは、ＩＣがオンになるとき、双方向予測を有効にする。簡潔なＩＣプロセスのため、ＢＤ-レートの点では、パフォーマンス損失が非常に小さい (約 0.01%)。ＢＤ-レートは、ビデオコーディングの分野において用いられる既知の性能測定である。つまり、この実施態様はＩＣプロセスを簡潔にし、パフォーマンスに不利な条件がない。別の実施態様において、chroma コンポーネントのパラメータ a 導出は機能しない。さらに、簡潔なＩＣプロセスによるＢＤ−レートの点で、パフォーマンス損失は非常に小さい (約 0.01%)。
【００５８】
本発明は、さらに、テクスチャパーティション変数、たとえば、partPredIdc が０に等しくないとき、パーティションモードの構文要素 (たとえば、part_mode)の範囲値に制限を共用することにより、および/または、デコーダ側の違法の part_mode 値を処理することにより、３Ｄおよびマルチビュービデオコーディングシステムのパーティションモードコーディングの態様に対処する。
【００５９】
パーティションモードコーディングの第一実施態様において、partPredIdcが１に等しいとき (つまり、水平パーティションを示す)、水平および２Ｎ×２Ｎパーティションに対応する part_mode 値だけが許可される。
【００６０】
パーティションモードフラグコーディングの第二実施態様において、partPredIdcが２に等しいとき (つまり、垂直パーティションを示す)、垂直および２Ｎ×２Ｎパーティションに対応する part_mode 値だけが、許可される。
【００６１】
パーティションモードフラグコーディングの第三実施態様において、異なる partPredIdc 値で、同じpart_mode 値が、同じパーティションモードを示し、且つ、ＡＭＰ (非対称運動パーティション)モードが許可される場合、partPredIdcが１に等しいとき、０、１、４および５(つまり、2Nx2N, 2NxN, 2NxnU および 2NxnD)のpart_mode 値だけが許可される。
【００６２】
パーティションモードフラグコーディングの第四実施態様において、異なる partPredIdc 値で、同じpart_mode 値が、同じパーティションモードを示し、且つ、ＡＭＰモードが許可されない場合、partPredIdcが２に等しいとき、０と２のpart_mode 値(すなわち、2Nx2N および Nx2N) だけが許可される。
【００６３】
パーティションモードフラグコーディングの第五実施態様において、異なる partPredIdc 値で、同じpart_mode 値が、同じパーティションモードを示し、且つ、ＡＭＰモードが許可されない場合、partPredIdcが１に等しいとき、０と１のpart_mode 値(すなわち、2Nx2N および 2NxN) だけが許可される。
【００６４】
パーティションモードフラグコーディングの第六実施態様において、異なる partPredIdc 値で、同じpart_mode 値が、異なるパーティションモードを示し、且つ、ＡＭＰモードが許可される場合、partPredIdcが０に等しくないとき、０、１および２のpart_mode 値(すなわち、2Nx2N, 2NxN, Nx2N および NxN)だけが許可される。
【００６５】
パーティションモードフラグコーディングの第七実施態様において、異なる partPredIdc 値で、同じpart_mode 値が、異なるパーティションモードを示し、且つ、ＡＭＰモードが許可されない場合、partPredIdcが０に等しくないとき、０と１のpart_mode 値(すなわち、2Nx2Nおよび 2NxN)だけが許可される。
【００６６】
パーティションモードフラグコーディングの第八実施態様において、送信あるいは復号される part_modeが違法である場合、合法モード間で、特定のパーティションモードが、現在の予測ユニットに設定される。
【００６７】
パーティションモードフラグコーディングの第九実施態様において、送信あるいは復号される part_mode が違法であり、且つ、現在の予測モードがInterである場合、現在の予測ユニットは、2Nx2N Inter モードを用いる。
【００６８】
パーティションモードフラグコーディングの第十実施態様において、送信あるいは復号される part_modeが違法であり、且つ、現在の予測モードがIntraである場合、現在の予測ユニットは、2Nx2N Intra モードを用いる。
【００６９】
パーティションモードフラグコーディングの第十一実施態様において、送信あるいは復号される part_modeが違法であり、且つ、現在の予測モードがInterである場合、partPredIdcが１に等しいとき、現在の予測ユニットは、2NxN Inter モードを用いる。
【００７０】
パーティションモードフラグコーディングの第十二実施態様において、送信あるいは復号される part_mode が違法であり、且つ、現在の予測モードがInterである場合、partPredIdcが２に等しいとき、現在の予測ユニットは、Nx2N Inter モードを用いる。
【００７１】
パーティションモードフラグコーディングの第十三実施態様において、送信あるいは復号される part_modeが違法のＡＭＰモードである場合、復号されたパーティションモードが、nLx2N あるいは nRx2Nであるとき、現在の予測ユニットは、Nx2N Inter モードを用いる。
【００７２】
パーティションモードフラグコーディングの第十四実施態様において、送信あるいは復号される part_mode が違法のＡＭＰモードである場合、復号されたパーティションモードが2NxnU あるいは 2NxnDであるとき、現在の予測ユニットは、2NxN Inter モードを用いる。
【００７３】
パーティションモードフラグコーディングの第十五実施態様において、送信あるいは復号される part_modeが違法であり、且つ、現在の予測モードがInterである場合、現在の予測ユニットは、復号された違法の Inter モードを用いる。
【００７４】
図５は、本発明の一実施態様によるテクスチャデータおよび深さデータのサブＰＵ (予測ユニット)構文要素コーディングを組み込んだ三次元あるいはマルチビュービデオコーディングシステムのフローチャートである。本システムは、工程５１０において、現在のＰＵ (予測ユニット)に関連する入力データを受信する。符号化において、入力データは、符号化されるテクスチャデータ あるいは深さデータに対応する。復号において、入力データは、復号されるコード化テクスチャデータあるいは深さデータに対応する。入力データは、メモリ(たとえば、コンピュータメモリ、バッファ (ＲＡＭあるいはＤＲＡＭ)あるいはその他の媒体)あるいはプロセッサから回収される。工程５２０に示されるように、テクスチャサブＰＵサイズに関連する第一構文要素が、テクスチャビデオデータだけに、シグナリング (エンコーダ)または構文解析される (デコーダ)。工程５３０において、深さサブＰＵサイズに関連する第二構文要素が、深さビデオデータだけにシグナリング(エンコーダ)あるいは構文解析される (デコーダ)。工程５４０において、現在のＰＵがテクスチャＰＵであるかどうかチェックされる。結果が“はい（Yes）” (つまり、現在のＰＵがテクスチャＰＵである)である場合、従属ビュー中のテクスチャデータのＩＶＭＰ (内部ビュー動き予測)に対応する工程５５２、５６２および５７２が実行される。結果が“いいえ（No）” (つまり、現在のＰＵが深さＰＵである)である場合、深さコーディングのＭＰＩ(動きパラメータインヘリタンス)に対応する工程５５４、５６４および５７４が実行される。工程５５２において、テクスチャサブＰＵサイズにしたがって、参照ビュー中の参照テクスチャサブＰＵは、現在のＰＵから分割されるテクスチャサブＰＵに対応して設置される。工程５６２において、参照テクスチャサブＰＵに関連する第一動き情報が識別される。工程５７２において、テクスチャサブＰＵは、第一動き情報を用いて、ＩＶＭＰ (内部ビュー動き予測)を含むテクスチャ複数候補動き予測にしたがって符号化あるいは復号される。工程５５４において、分割される深さサブＰＵに対応する参照ビュー中の共同設置テクスチャサブＰＵは、深さサブＰＵサイズにしたがって、現在のＰＵから設置される。工程５６４において、共同設置テクスチャサブＰＵに関連する第二動き情報が識別される。工程５７４において、深さサブＰＵは、第二動き情報を用いて、ＭＰＩ(動きパラメータインヘリタンス)を含む深さ複数候補動き予測にしたがって、符号化あるいは復号される。
【００７５】
図６は、本発明の一実施態様による簡潔なＬＬＳ (線形最小二乗)工程を用いて、モデルパラメータを生成する３Ｄあるいはマルチビューコーディングシステムのフローチャートである。システムは、工程６１０において、従属ビュー中の現在のテクスチャピクチャの現在のブロックに関連する入力データを受信する。現在のブロックの参照ビュー中の参照テクスチャピクチャの参照ブロックが、工程６２０で識別される。現在のテクスチャピクチャ中の現在のブロックの現在の隣接サンプルが、工程６３０で識別される。参照テクスチャピクチャ中の参照ブロック中の参照隣接サンプルが工程６４０で識別される。工程６５０において、現在の隣接サンプルおよび参照隣接サンプルに基づいて現在のサンプルを参照サンプルに関連づける線形モデルが決定される。線形モデル導出において、ＬＬＳ工程 (線形最小二乗工程)が省略されるか、あるいは、非ＬＬＳ工程が用いられて、いくつかの条件下で、線形モデルを生成し、一つ以上の条件は、以下から構成される一群から選択される:
a) 多色間の少なくとも一つのカラーコンポーネント、
b) 多方向間の少なくとも一つの予測方向、および、
c) マルチインター予測モード間の少なくとも一つのインター予測モード。
【００７６】
工程６６０において、導出される乗算の項およびオフセット項から構成される線形モデルを用いた照明補償が参照ブロックに適用されて、最終参照ブロックを形成する。工程６７０において、最終参照ブロックを予測判断材料とした現在のブロックが符号化あるいは復号される。
【００７７】
図７は、本発明の一実施態様によるテクスチャ-従属の深さパーティションモード符号化を組み込んだ３Ｄあるいはマルチビューコーディングシステムのフローチャートである。上述のように、現存の３Ｄ−ＨＥＶＣあるいは３Ｄ−ＡＶＣにおけるパーティションモードコーディングの問題は、本発明にしたがって、エンコーダ側および/またはデコーダ側で解決される。図７のフローチャートは、エンコーダ側の一実施態様に対応する。現在の深さブロックに関連する入力データが工程７１０で受信される。共同設置テクスチャブロックの現在のテクスチャパーティションモードが、工程７２０で識別され、現在のテクスチャパーティションモードは、テクスチャパーティション変数 partPredIdcにより表される複数のテクスチャパーティションタイプに分類されるテクスチャパーティションモードの一群から選択される。たとえば、表２と表３に示されるように、テクスチャパーティションモードの群は、Inter コーディングの０から７の値を有するパーティションモードに対応する。複数のテクスチャパーティションタイプは、テクスチャパーティション変数 partPredIdcに関連するテクスチャパーティションタイプに対応する。現存の３Ｄ−ＨＥＶＣにおいて、水平パーティションを示す値が１のpartPredIdc が用いられ、垂直パーティションを示す値が２のpartPredIdcが用いられる。partPredIdc が０に等しいとき、２Ｎ×２ＮパーティションモードあるいはＮ×Ｎパーティションモードが用いられる。工程７３０において、現在のテクスチャパーティション変数 partPredIdc に基づくpart_mode 値を有する構文要素 part_mode がシグナリングされて、現在の深さブロックの深さパーティションモードが、現在のテクスチャパーティション変数 partPredIdcと共同であることを示し、現在のテクスチャパーティション変数 partPredIdc は、共同設置テクスチャブロックのテクスチャパーティションモードの現在のテクスチャパーティションタイプに関連する。表３は、深さパーティションは、part_mode および partPredIdcにより共同で識別される例を示す。工程７４０において、現在の深さブロックが、深さパーティションモードにしたがって、符号化される。
【００７８】
図８は、本発明の一実施態様によるテクスチャ-従属深さパーティションモード復号を組み込んだ３Ｄあるいはマルチビューコーディングシステムのフローチャートである。ビデオビットストリームが、工程８１０で受信される。工程８２０において、現在のテクスチャブロックのテクスチャ予測モードおよびパーティションに関連するテクスチャ予測情報が決定される。現在のテクスチャブロックと共同設置される現在の深さブロックの深さパーティションに対応する構文要素 part_mode が、工程８３０において決定される。テクスチャ予測情報中のビューで、構文要素 part_mode の構文値が合法であるかどうかが、工程８４０で決定される。工程８５０において、構文値が合法でない場合、構文値は合法の構文値により代替され、現在の深さブロックは、テクスチャ予測情報および合法の構文値を有する構文要素 part_modeにより一緒に示される深さパーティションにしたがって復号される。
【００７９】
前に示されたフローチャートは、本発明による３Ｄおよびマルチビューコーディングの例を説明するのに用いられる。当業者は、本発明の精神を逸脱しない限り、各工程を修正、再配列、分割や結合により、本発明を実施することができる。
【００８０】
上の記述が提示されて、当業者に、特定のアプリケーションとその要求のコンテキストに記述される通り、本発明を行うことができる。当業者なら、記述された具体例への各種修正が理解でき、ここで定義される一般原則は別の実施例にも応用できる。よって、本発明は、記述される特定の実施例に制限することを目的としておらず、原理と新規特徴と一致する最大範囲に一致する。上述の記述において、本発明の十分な理解を提供するため、各種特定の詳細が説明される。当業者なら、本発明が行えることが理解できる。
【００８１】
上述の本発明の具体例は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の具体例は、画像圧縮チップに整合される回路、または、画像圧縮ソフトウェアに整合されるプログラムコードで、上述の処理を実行する。本発明の具体例は、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードで、上述の処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械読み取り可能ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明による特定のタスクを実行するように設定される。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語、および、異なるフォーマット、または、スタイルで開発される。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明によるタスクを実行するソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、設定コードのその他の手段は、本発明の精神を逸脱しない。
【００８２】
本発明は、その精神または本質的な特徴から逸脱することなく他の特定の形態で具体化することができる。記載の実施例は単なる例示であり、限定的ではないすべての点で考えられるべきである。本発明の範囲は、したがって、添付の特許請求の範囲によってではなく、前述の説明で示される。手段及び特許請求の範囲の均等物の範囲内に入るすべての変更は、その範囲内に包含される。
【図１】
2017520994.tif 000013
【図２】
2017520994.tif 000014
【図３】
2017520994.tif 000015
【図４】
2017520994.tif 000016
【図５】
2017520994.tif 000017
【図６】
2017520994.tif 000018
【図７】
2017520994.tif 000019
【図８】
2017520994.tif 000020
【国際調査報告】
2017520994.tif 000021
2017520994.tif 000022
2017520994.tif 000023