(57)【要約】【課題】ＨＥＶＣ範囲拡張の剰余差分パルス符号変調の方法を提供する。【解決手段】統一されたイントラ、および、インターＲＤＰＣＭ符号化を組み込んだＲＤＰＣＭ（剰余差分パルス符号変調）符号化の方法が開示される。同じ処理命令中の同じＲＤＰＣＭ符号化、および、復号ステップは、イントラ予測モード、および、インター予測モード／イントラＢＣ予測モード（イントラ−ブロックコピーモード）で符号化されるブロックに適用される。本発明の方法は、インターＲＤＰＣＭ符号化を、イントラＢＣ予測モードで符号化されるブロックに拡張する。垂直、または、水平方向中のＲＤＰＣＭ処理は、イントラＢＣ剰余に適用される。【選択図】    図３
2016540458.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャのブロックのＲＤＰＣＭ（剰余差分パルス符号変調）符号化の方法であって、前記方法は、
現在ブロックに関連する入力データを受信する工程と、
イントラ予測モード、および、インター予測モードとイントラＢＣ（イントラ−ブロックコピー）予測モードの少なくとも１つを含む第一群から予測モードを選択し、前記現在ブロックの予測モードを決定する工程と、
トランスフォーム−量子化バイパスモード（トランスフォーム−量子化バイパスモード）、および、ＴＳモード（トランスフォームスキップモード）を含む第二群から符号化モードを選択し、前記現在ブロックの符号化モードを決定する工程と、
前記現在ブロックが前記イントラ予測モードを用いて符号化されるときは、第一ＲＤＰＣＭ符号化または復号を前記現在ブロックに適用し、前記現在ブロックが前記インター予測モードまたは前記イントラＢＣ予測モードを用いて符号化されるときは、第二ＲＤＰＣＭ符号化または復号を前記現在ブロックに適用する工程であって、前記第一ＲＤＰＣＭ符号化および前記第二ＲＤＰＣＭ符号化は同じ符号化処理命令に適用される同じ符号化ステップを用い、前記第一ＲＤＰＣＭ復号および前記第二ＲＤＰＣＭ復号が同じ復号処理命令に適用される同じ復号ステップを用いるものである工程と、
を有することを特徴とする方法。
【請求項２】
前記現在ブロックが、前記ＴＳモードを用いて符号化されるとき、前記同じ符号化ステップは、ＴＳ処理、ＲＤＰＣＭ処理、および、量子化処理を含み、同じ復号ステップは、逆量子処理、逆ＲＤＰＣＭ処理、逆ＴＳ処理を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記同じ符号化処理命令は、順に、前記ＲＤＰＣＭ処理、続いて、前記ＴＳ処理、および、任意のＲＲ処理に対応し、前記同じ復号処理命令は、順に、前記任意のＲＲ処理、続いて、前記逆ＴＳ処理、および、前記逆ＲＤＰＣＭ処理に対応することを特徴とする請求項２に記載の方法。
【請求項４】
前記同じ符号化処理命令は、順に、前記ＴＳ処理、続いて、前記ＲＤＰＣＭ処理および任意のＲＲ処理に対応し、前記同じ復号処理命令は、順に、前記任意のＲＲ処理、続いて、前記逆ＲＤＰＣＭ処理および前記逆ＴＳ処理に対応することを特徴とする請求項２に記載の方法。
【請求項５】
前記第一群は、前記イントラ予測モード、前記インター予測モード、および、前記イントラＢＣ予測モードから構成され、前記現在ブロックが、前記イントラ予測モード、前記インター予測モード、および、前記イントラＢＣ予測モードを用いて符号化されるとき、前記同じ符号化ステップ、または、前記同じ復号ステップが、前記現在ブロックに適用されることを特徴とする請求項１に記載の方法。
【請求項６】
前記同じ符号化ステップはＲＤＰＣＭ処理を含み、前記同じ復号ステップは逆ＲＤＰＣＭ処理を含み、垂直方向、または、水平方向に対応する予測方向は、前記ＲＤＰＣＭ処理、および、前記逆ＲＤＰＣＭ処理に関連し、前記予測方向は、暗黙的に、前記イントラ予測モードで符号化される前記現在ブロックに決定され、前記予測方向は、明示的に、前記インター予測モードと前記イントラＢＣ予測モードで符号化される前記現在ブロックのエンコーダ側で決定されることを特徴とする請求項１に記載の方法。
【請求項７】
前記現在ブロックが、前記イントラ予測モードで符号化されるとき、前記現在ブロックのイントラモードに基づいて、前記予測方向が、暗黙的に決定されることを特徴とする請求項６に記載の方法。
【請求項８】
前記予測方向は、前記インター予測モードと前記イントラＢＣ予測モードで符号化される前記現在ブロックの符号化済みのビットストリームでシグナリングされることを特徴とする請求項６に記載の方法。
【請求項９】
イントラＢＣブロックのＲＤＰＣＭ（剰余差分パルス符号変調）符号化の方法であって、前記方法は、
現在ピクチャで、現在ブロックに関連する入力データを受信する工程と、
前記現在ピクチャ中の前記現在ブロックと参照ブロックに基づいて、前記現在ブロックのイントラＢＣ剰余（イントラ−ブロックコピー剰余）を生成する工程と、
非−イントラモード情報に基づいて、前記イントラＢＣ剰余のＲＤＰＣＭオン／オフフラグ、および、予測方向フラグを決定する工程と、
決定された前記ＲＤＰＣＭオン／オフフラグにしたがって、ＲＤＰＣＭがあるまたはない、損失または無損失符号化を、前記イントラＢＣ剰余、または、処理済みイントラＢＣ剰余に適用し、決定された前記ＲＤＰＣＭオン／オフフラグがオンのとき、前記損失または無損失ＲＤＰＣＭ符号化が、前記予測方向フラグにしたがってＲＤＰＣＭ処理を有する工程と、
を有することを特徴とする方法。
【請求項１０】
前記損失ＲＤＰＣＭ符号化は、さらに、ＴＳ（トランスフォームスキップ）処理、および、量子化処理を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
イントラＢＣ（イントラ−ブロックコピー）ブロックのＲＤＰＣＭ（剰余差分パルス符号変調）復号の方法であって、前記方法は、
現在ピクチャ中の現在ブロックに関連する符号化済みのビットストリームを受信する工程と、
前記符号化済みのビットストリームから、前記現在ブロックのＲＤＰＣＭオン／オフフラグ、および、予測方向フラグを決定する工程と、
前記符号化済みのビットストリームから、符号化済み剰余データを構文解析する工程と、
決定された前記ＲＤＰＣＭオン／オフフラグにしたがって、ＲＤＰＣＭプロセスがあるまたはない、損失または無損失復号を、前記符号化済みの剰余データに適用して、再構成イントラＢＣ剰余、または、再構成−処理済みイントラＢＣ剰余を生成し、決定された前記ＲＤＰＣＭオン／オフフラグがオンのとき、前記損失または無損失ＲＤＰＣＭ復号は、前記予測方向フラグにしたがって、逆ＲＤＰＣＭ処理を含む工程と、
前記現在ピクチャ中の参照ブロック、および、前記再構成イントラＢＣ剰余または前記再構成−処理済みイントラＢＣ剰余に基づいて、再構成の現在ブロックを生成する工程と、
を有することを特徴とする方法。
【請求項１２】
前記損失ＲＤＰＣＭ復号は、さらに、逆ＴＳ（トランスフォームスキップ）処理、および、逆量子化処理を含むことを特徴とする請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１３年１０月１４日に出願された“Unification and Harmonization of Residue Differential Pulse - Code Modulation (RDPCM) with Transform-Skip and Residue Rotation for HEVC Range Extension”と題された米国仮出願番号６１／８９０３６５、および、２０１３年１０月１４日に出願された“Modifications to the Text Specification of HEVC Range Extension”と題された米国仮出願番号６１／８９０３６１から優先権を主張するものであり、その内容は引用によって本願に援用される。
【０００２】
本発明は、高効率ビデオコーディング（ＨＥＶＣ）範囲拡張に用いるＲＤＰＣＭ（剰余差分パルス符号変調）符号化に関する。特に、本発明は、ＨＥＶＣ範囲拡張、または、類似するアプリケーションのイントラＲＤＰＣＭ符号化、イントラ−ブロックコピー（IntraＢＣ）、および、インターＲＤＰＣＭ符号化モードに関する。
【背景技術】
【０００３】
高効率ビデオコーディング（ＨＥＶＣ）標準の範囲拡張（ＲＥｘｔ）の最近の動向において、映像コンテンツに対する符号化効率のそれらの改善により、いくつかのツールが採用される。特に、剰余差分パルス符号変調（ＲＤＰＣＭ）、および、剰余回転（ＲＲ）ツールがビデオ圧縮に用いられる。これらのツールは、無損失トランスフォーム−量子化バイパスブロック、または、損失トランスフォームスキップ（ＴＳ）ブロックに適用される。“トランスフォームスキップ”符号化モードは、転換プロセスがスキップされて、剰余が、直接量子化、および、エントロピー符号化される符号化モードである。トランスフォームが一ブロックに対してスキップされるとき、トランスフォーム−符号化ブロックに対する別の処理はまだそのブロックに適用されている。したがって、スケーリングが、まだ、ＴＳブロックに適用される。二次元ブロック剰余は、一次元信号に変換する必要がある。したがって、スキャニング（たとえば、垂直または水平スキャン）が剰余ブロックに適用される。スケーリング前後、または、量子化後、スキャニングも適用される。デコーダ側で、逆ＴＳ（inv−ＴＳ）が符号化ブロックに適用される。inv-ＴＳは、逆スケーリングを含む。注意すべきことは、符号化ユニット（ＣＵ）は、符号化プロセスが適用される基本ユニットであることである。剰余が各ＣＵに形成され、さらに、従来の符号化プロセス（つまり、非ＴＳ）中で用いられる転換プロセスのトランスフォームユニット（ＴＵｓ）と称されるブロックに分割される。さらに、トランスフォームと量子化処理両方をスキップして、ＣＵの無損失符号化を有効にすることもできる。無損失符号化の場合、ループフィルタリングもオフになる。
【０００４】
イントラブロックにおいて、隣接ブロックからの再構築画素に基づいて、予測を用いて、イントラ予測を実行する。イントラ予測は、垂直モード、水平モード、および、各種角度の予測モードを含む一組のイントラモードから、イントラモードを選択する。イントラ−ブロックコピー（IntraＢＣ）により符号化されるブロック以外のイントラブロックにおいて、ＲＤＰＣＭ処理の方向は、下層のブロックのイントラモードに基づく。ＲＤＰＣＭは、それぞれ、水平と垂直方向に沿って、水平と垂直モードを用いて、イントラ符号化ブロックにだけに適用される。インター、および、イントラＢＣブロックにおいて、エンコーダは、シグナリングフラグにより、ＲＤＰＣＭを用いるかどうかを決定する。エンコーダは、さらに、別のフラグをシグナリングすることにより、ＲＤＰＣＭ方向を決定する。イントラ剰余（イントラＢＣ以外）とインター剰余両方のＲＤＰＣＭは、水平ＤＰＣＭ、または、垂直ＤＰＣＭを用いるので、イントラＲＤＰＣＭ処理、および、インターＲＤＰＣＭ処理間に多少の差異がある。イントラＲＤＰＣＭ処理の予測方向（すなわち、水平または垂直）の選択は、ブロックのイントラモードに基づいて、暗黙的に決定される。一方、ＲＤＰＣＭ、および、予測方向を用いるかどうかがエンコーダ側で判断され、および、決定が明示的にシグナリングされる。この開示において、ＲＤＰＣＭ処理は剰余信号、または、処理済みの剰余信号（たとえば、ＴＳにより処理される剰余信号）に適用されるＤＰＣＭ（差分パルス符号変調）工程を参照する。ＲＤＰＣＭ符号化は、ＲＤＰＣＭ処理を含む符号化方法を参照する。
【０００５】
図１は、無損失垂直ＲＤＰＣＭ処理の例を示す図で、イントラ符号化ブロックの剰余サンプルは、上ロウ中のサンプルを除いて、垂直隣接サンプルを取り去って、さらに、冗長性を減少させる。ＮカラムとＭロウのサンプルを有するブロックにおいて、イントラ予測後、を予測剰余とする。トランスフォームと量子化がスキップされると仮定すると、無損失垂直ＲＤＰＣＭ処理が、以下のように、剰余サンプルに適用される：
【０００６】
【数１】
2016540458.tif 000003
【０００７】
ＲＤＰＣＭ符号化において、ＤＰＣＭ処理済み剰余（つまりｒ~ｉ,ｊ）は、剰余信号（つまりｒｉ,ｊ）自身に代わって、さらに符号化される。無損失水平ＲＤＰＣＭ処理において、サブトラクションは、第一カラム中のサンプルを除いて、現在サンプルと左側隣接サンプル間で実行される。損失ケースに関しては、剰余差は量子化を受ける。方程式（２）は、剰余サンプルに適用される損失垂直ＲＤＰＣＭ処理の例を示す：
【０００８】
【数２】
2016540458.tif 000004
【０００９】
インターＲＤＰＣＭ処理において、剰余ＤＰＣＭがインター符号化ブロックに適用される。方程式（１）も、インターＲＤＰＣＭ処理に適用でき、イントラＲＤＰＣＭのケースにおいて、イントラ予測剰余に代わって、剰余信号は、インター予測剰余に対応する。無損失水平ＲＤＰＣＭ処理において、サブトラクションは、第一カラムで、サンプルを除いて、現在サンプルと左側隣接サンプル間で実行される。損失ケースに関しては、剰余差は量子化を受ける。
【００１０】
剰余回転（ＲＲ）に関しては、剰余ブロックは１８０度回転するので、右下隅から左上隅に回転するとき、ＤＰＣＭ予測剰余を有する可能性がある。回転したＤＰＣＭ予測剰余は、トランスフォーム係数に最初に設計されたエントロピー符号化にさらに適合する。図２は、ＲＲ処理の例を示し、ＤＰＣＭ予測剰余は、右下隅で、ノンゼロ（ＮＺ）サンプルを有する。ＮＺサンプルは、ＲＲ処理により、左上隅に回転する。
【００１１】
従来のＲＥｘｔによると、ＲＤＰＣＭとＲＲ処理両方を呼び起こすとき、剰余の符号化とデコーディング過程は、インター／イントラ、および、損失／無損失の選択によって変わる。以下は、剰余信号に対応する符号化、および、デコーディング過程の主要部である。“inv-ＴＳ”の表記は、逆トランスフォームスキップを意味し、“inv-ＲＤＰＣＭ”は逆ＲＤＰＣＭを意味する。
【００１２】
注意すべきことは、ＲＤＰＣＭは、トランスフォーム−量子化（transquant）バイパス、または、トランスフォームスキップ下でだけ呼び起こされることである。さらに、注意すべきことは、剰余回転（ＲＲ）自身が、ＲＤＰＣＭから独立して有効になるセパレートコントロールフラグを有することである。つまり、ＲＤＰＣＭが用いられるとき、ＲＲはオンかオフになり、ＲＲが用いられるとき、ＲＤＰＣＭはオンかオフになる。
【００１３】
符号化プロセス
イントラ（イントラ−ブロックコピーを除く）符号化：
・ＣＵがトランスフォーム−量子化バイパスで符号化される場合：
ＲＤＰＣＭ  −＞  ＲＲ
・ＴＵがトランスフォームスキップで符号化される場合：
ＲＤＰＣＭ  −＞  ＴＳ  −＞  ＲＲ  −＞   量子化
インター、および、イントラブロックコピー符号化：
・ＣＵがトランスフォーム−量子化バイパスで符号化される場合：
ＲＤＰＣＭ  −＞  ＲＲ
・ＴＵがトランスフォームスキップで符号化される場合：
ＴＳ  −＞  ＲＲ  −＞  ＲＤＰＣＭ  −＞  量子化
【００１４】
デコーディング過程
イントラ（イントラ−ブロックコピーを除く）復号：
・ＣＵがトランスフォーム−量子化バイパスで符号化され場合：
ＲＲ−＞  inv-ＲＤＰＣＭ
・ＴＵがトランスフォームスキップで符号化される場合：
逆量子化  −＞  ＲＲ  −＞  inv-ＴＳ  −＞  inv-ＲＤＰＣＭ
インター、および、イントラ−ブロックコピー復号：
・ＣＵがトランスフォーム−量子化バイパスで符号化される場合：
ＲＲ  −＞  inv-ＲＤＰＣＭ
・ＴＵがトランスフォームスキップで符号化される場合：
逆量子化  −＞  inv-ＲＤＰＣＭ  −＞  ＲＲ  −＞  inv-ＴＳ
【００１５】
上述の符号化とデコーディング過程において、“transquant bypass”は特定の無損失符号化モードを参照し、無損失符号化は、両ＤＣＴトランスフォームのバイパス、および、量子化のバイパスが適用されることを意味する。下線で強調される二個のプロセス、たとえば、ＴＳ−＞ＲＲとＲＲ−＞inv-ＴＳは、それらが一緒にまとめられることを意味する。ソフトウェアベースの実施において、ＲＲが、ＴＳとinv-ＴＳ機能中で実行される。デコーディング過程不一致は、実施困難度を増加させる。よって、ＲＤＰＣＭとＲＲの組み合わせのデコーディング過程を調和、および、統一することが望まれる。
【００１６】
ＨＥＶＣの従来のＲＥｘｔにおいて、インター−ＲＤＰＣＭは、インターブロックにだけ適用される。イントラＢＣ剰余は、イントラブロックとみなされる同じピクチャにおいて、現在ブロックと参照ブロック間で形成される。よって、インター−ＲＤＰＣＭは、イントラＢＣ予測モードにより処理されるブロックに適用されない。一方、イントラＢＣ予測モードで符号化されるブロックは、水平、または、垂直イントラモードを使用せず、よって、これらのブロックは、イントラＲＤＰＣＭにより処理されない。符号化スキームを開発して、イントラＢＣ予測モードにより処理されるブロックのパフォーマンスを改善することが望まれる。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明は、統一されたイントラ、および、インターＲＤＰＣＭ符号化を組み込んだＲＤＰＣＭ（剰余差分パルス符号変調）符号化の方法を提供する。
【課題を解決するための手段】
【００１８】
本発明による統一されたイントラ、および、インターＲＤＰＣＭ符号化を組み込んだＲＤＰＣＭ（剰余差分パルス符号変調）符号化の方法が開示される。現在ブロックの予測モードが決定され、予測モードは、イントラ予測モード、および、インター予測モードとイントラＢＣモード（イントラ−ブロックコピーモード）の少なくとも一つを含む第一群から選択される。さらに、符号化モードが現在ブロックに決定され、符号化モードは、トランスフォーム−量子化バイパスモード（トランスフォーム−量子化バイパスモード）とＴＳ（トランスフォームスキップ）符号化モードを含む第二群から選択される。本発明の一実施形態は、イントラモードとインター／イントラＢＣ予測モード間のＲＤＰＣＭ符号化プロセスを統一する。したがって、イントラ予測モードで、現在ブロックを符号化するとき、第一ＲＤＰＣＭ符号化、または、復号が現在ブロックに適用される。インター予測モード、または、イントラＢＣ予測モードを用いて、現在ブロックを符号化するとき、第二ＲＤＰＣＭ符号化、または、復号が現在ブロックに適用される。第一ＲＤＰＣＭ符号化、および、第二ＲＤＰＣＭ符号化は、同じ符号化処理命令で適用される同じ符号化ステップを用いる。また、第一ＲＤＰＣＭ復号、および、第二ＲＤＰＣＭ復号は、同じ復号処理命令に適用される同じ復号ステップを用いる。
【００１９】
トランスフォーム−量子化バイパスモードにおいて、同じ符号化ステップは、ＲＲ（剰余回転）処理とＲＤＰＣＭ処理を含み、同じ復号ステップは、ＲＲ処理、および、逆ＲＤＰＣＭ処理を含む。符号化処理命令は、ＲＲ処理、続いて、ＲＤＰＣＭ処理に対応し、復号処理命令は、逆ＲＤＰＣＭ処理、続いて、ＲＲ処理に対応する。
【００２０】
ＴＳ符号化モードにおいて、同じ符号化ステップは、ＴＳ処理、ＲＲ（剰余回転）処理、ＲＤＰＣＭ処理、および、量子化処理を含み、同じ復号ステップは、逆量子処理、逆ＲＤＰＣＭ処理、ＲＲ処理、および、逆ＴＳ処理を含む。符号化処理命令は、順番に、ＲＤＰＣＭ処理、続いて、ＴＳ処理およびＲＲ処理に対応し、復号処理命令は、順に、ＲＲ処理、続いて、逆ＴＳ処理および逆ＲＤＰＣＭ処理に対応する。別の実施形態において、符号化処理命令は、順に、ＴＳ処理、続いて、ＲＤＰＣＭ処理およびＲＲ処理に対応し、復号処理命令は、順に、ＲＲ処理、続いて、逆ＲＤＰＣＭ処理および逆ＴＳ処理に対応する。
【００２１】
別の実施形態において、インターＲＤＰＣＭ符号化は、イントラＢＣ予測モードで符号化されるブロックまで拡張される。つまり、イントラＢＣ剰余は、垂直、または、水平予測方向のインター予測剰余、および、インターＲＤＰＣＭ処理が、イントラＢＣ剰余、または、処理済みイントラＢＣ剰余に適用されるように扱われる。
【図面の簡単な説明】
【００２２】
【図１】図１は、垂直方向のＲＤＰＣＭ（剰余差分パルス符号変調）処理の例を示す図である。
【図２】図２は、右下隅から左上隅で、適した大きさの剰余を回転させる剰余回転処理の例を示す図である。
【図３】図３は、イントラ予測、インター予測、および、イントラ−ブロックコピーモード間で、ＲＤＰＣＭ符号化を統一する本発明の実施形態を組み込んだシステムのフローチャートである。
【図４Ａ】図４Ａは、本発明の３実施形態に対応する統一されたＲＤＰＣＭ復号を示す第１の図である。
【図４Ｂ】図４Ｂは、本発明の３実施形態に対応する統一されたＲＤＰＣＭ復号を示す第２の図である。
【図４Ｃ】図４Ｃは、本発明の３実施形態に対応する統一されたＲＤＰＣＭ復号を示す第３の図である。
【図５】図５は、インターＲＤＰＣＭ符号化を、イントラ−ブロックコピーモードを用いて符号化されたブロックに拡張した本発明の実施形態を組み込んだ符号化システムのフローチャートである。
【図６】図６は、インターＲＤＰＣＭ符号化を、イントラ−ブロックコピーモードを用いて符号化されたブロックに拡張した本発明の実施形態を組み込んだ復号システムのフローチャートである。
【発明を実施するための形態】
【００２３】
剰余差分パルス符号変調（ＲＤＰＣＭ）符号化のインター／イントラ、および、損失／無損失モードにおける処理依存性に起因する複雑性を減少させるため、本発明の実施形態は、インター／イントラ、および、損失／無損失モードの統一されたＲＤＰＣＭ符号化プロセスを用いる。
【００２４】
第一実施形態−インター／イントラＢＣ損失プロセスを修正して、別のケースと調和させる。
【００２５】
前述のデコーディング過程に基づいて、注意すべきことは、インター／イントラＢＣ損失（すなわち、トランスフォームスキップモード）プロセスは、特別なケースで、inv-ＲＤＰＣＭは、ＲＲとinv-ＴＳの前に実行されることである。したがって、第一実施形態は、以下のように、別のケースと統一されるように、このケースだけを修正する：
【００２６】
統一されたＲＤＰＣＭ符号化、方法１：
・Encode：ＴＵがトランスフォームスキップを用いて符号化される場合：
ＲＤＰＣＭ  −＞  ＴＳ  −＞  ＲＲ  −＞  量子化
・Decode：ＴＵがトランスフォームスキップを用いて符号化される場合：
逆量子化  −＞  ＲＲ  −＞  inv-ＴＳ  −＞  inv-ＲＤＰＣＭ
【００２７】
注意すべきことは、剰余回転（ＲＲ）自身は、ＲＤＰＣＭが添付されないセパレートコントロールフラグを有することである。
【００２８】
したがって、インター／イントラ、または、損失／無損失にかかわらず、inv-ＲＤＰＣＭが、常に、剰余信号のデコーディング過程の最後のステップになる。これは、デコーディング過程を簡潔にする。エンコーダに関しては、ＲＤＰＣＭは、常に、最初に実行され、続いて、ＴＳ（損失状況）、左方移動（つまり、スケーリング）を剰余に適用し、その後、回転と量子化を適用する。
【００２９】
第二実施形態−インター／イントラＢＣ損失プロセスに対する全ケースの調和
【００３０】
第一実施形態に対する別のアプローチは、その他の全ケースとインター／イントラＢＣ損失プロセスを調和させる。つまり、剰余デコーディング過程において、ＲＲとinv-ＴＳがinv-ＲＤＰＣＭ後に移動する。エンコーダ側で、ＴＳとＲＲはＲＤＰＣＭ前に移動する。対応するプロセスは以下のように示される：
【００３１】
統一されたＲＤＰＣＭ符号化、方法２：
符号化プロセス
・ＣＵがトランスフォーム−量子化バイパスを用いて符号化される場合：
ＲＲ  −＞  ＲＤＰＣＭ
・ＴＵがトランスフォームスキップを用いて符号化される場合：
ＴＳ  −＞  ＲＲ  −＞  ＲＤＰＣＭ  −＞  量子化
デコーディングプロセス
・ＣＵがトランスフォーム−量子化バイパスを用いて符号化される場合：
inv-ＲＤＰＣＭ  −＞  ＲＲ
・ＴＵがトランスフォームスキップを用いて符号化される場合：
逆量子化  −＞  inv-ＲＤＰＣＭ  −＞  ＲＲ  −＞  inv-ＴＳ
【００３２】
注意すべきことは、剰余回転（ＲＲ）自身は、ＲＤＰＣＭが添付されないセパレートコントロールフラグを有することである。
【００３３】
統一されたＲＤＰＣＭ処理の第二実施形態において、ＴＳ（left-shift）操作が、まず、剰余ブロックのエンコーダ側で実行されるので、後続のロウバイロウ／カラムバイカラムのＲＤＰＣＭ、および、量子化は、高い正確度のドメインで操作する。よって、第二実施形態は、ビデオ符号化の既知の性能測定であるBD−レートの観点から、符号化効率の改善をもたらす。
【００３４】
第三実施形態−ＲＲ−＞inv-ＲＤＰＣＭ−＞inv-ＴＳを伴うデコーディングプロセス（エンコーダ：ＴＳ−＞ＲＤＰＣＭ−＞ＲＲ）
【００３５】
エンコーダ側で、ＲＤＰＣＭ前に打ち込まれるＴＳが、よい符号化効率を提供する一方、第三実施形態は、さらに、特に、イントラブロックで、ＲＤＰＣＭによるＰＲの影響を考慮する。イントラＲＤＰＣＭの有効性は、イントラ予測方向に沿って、剰余中の有効な冗長性から生まれる。たとえば、剰余を、ロウバイロウで引き出すことにより、イントラＲＤＰＣＭ垂直モードは、垂直冗長性を利用する。最終ロウは、より大きい最大剰余を有する可能性がある。ＲＲが、エンコーダ側で、ＲＤＰＣＭ前に実行される場合、最終ロウであり得る最大剰余は、最上ロウに回転する。これは、ＲＤＰＣＭの恩恵を受けない。よって、第三実施形態において、ＴＳ−＞ＲＲとＲＲ−＞inv-ＴＳのバンドルが分離され、それぞれ、ＴＳ―＞ＲＲとＲＲ−＞inv-ＴＳ間のＲＤＰＣＭ／inv-ＲＤＰＣＭにより、符号化／デコーディング過程につながる。対応するプロセスは以下のように示される：
【００３６】
統一されたＲＤＰＣＭ符号化、方法３：
符号化プロセス
・ＣＵがトランスフォーム−量子化バイパスを用いて符号化される場合：
ＲＤＰＣＭ  −＞  ＲＲ
・ＴＵがトランスフォームスキップを用いて符号化される場合：
ＴＳ  −＞  ＲＤＰＣＭ  −＞  ＲＲ  −＞  量子化
デコーディング過程
・ＣＵがトランスフォーム−量子化バイパスを用いて符号化される場合：
ＲＲ  −＞  inv-ＲＤＰＣＭ
・ＴＵがトランスフォームスキップを用いて符号化される場合：
逆量子化  −＞  ＲＲ  −＞  inv-ＲＤＰＣＭ  −＞  inv-ＴＳ
【００３７】
注意すべきことは、剰余回転（ＲＲ）自身は、ＲＤＰＣＭが添付されないセパレートコントロールフラグを有することである。
【００３８】
イントラＢＣ予測モードにより符号化されるブロックのパフォーマンスの改善のために、本発明の別の実施形態は、インター−ＲＤＰＣＭを、イントラＢＣ予測モードにより符号化されるブロックに拡張する。
【００３９】
第四実施形態−インター−ＲＤＰＣＭをイントラＢＣブロックに拡張
【００４０】
インター−ＲＤＰＣＭ符号化プロセスを、ＨＥＶＣの範囲拡張のイントラＢＣ予測ブロックに拡張するために、構文解析ＲＤＰＣＭオン／オフフラグ、および、ＲＤＰＣＭ方向フラグの構文解析が、イントラＢＣブロックに含まれる必要がない。さらに、ＲＤＰＣＭ処理が呼び起こされる必要がある。第四実施形態をサポートする構文解析修正の例が表１に示される。
【００４１】
【表１】
2016540458.tif 000005
【００４２】
表１のNote(1)に示されるように、追加テキスト（ボールドイタリック部分）がすでに構文解析に追加されて、インターＲＤＰＣＭを、IntaＢＣモードにより符号化されるブロックに拡張される。特に、新しいテキスト,“（CuPredMode[x0][y0] = = MODE_INTRA && intra_bc_flag[x0][y0] && residual_dpcm_intra_enabled_flag）”が関連して、インターＲＤＰＣＭ符号化を、イントラＢＣ予測モードに拡張し、値が１のMODE_INTRAは、イントラ予測モードで符号化されるブロックを示し、値が１のintra_bc_flag[x0][y0]は、ブロックが符号化されるIntaＢＣを示し、および、値が１のresidual_dpcm_intra_enabled_flagは、ＲＤＰＣＭがイントラ予測モードに有効であることを示す。表１のNote(2)に示されるように、追加テキスト（ボールドイタリック部分）が、すでに、構文解析に加えられて、インターＲＤＰＣＭ符号化を、IntaＢＣモードにより符号化されるブロックに拡張する。特に、新しいテキスト,“（CuPredMode[xC][yC] = = MODE_INTRA && intra_bc_flag[x0][y0] && inter_rdpcm_flag[x0][y0][cIdx]）”が関連して、インター−ＲＤＰＣＭ符号化を、イントラＢＣ予測モードに拡張し、値が１のinter_rdpcm_flag[x0][y0][cIdx]は、ＲＤＰＣＭが、イントラ予測モードに有効であることを示す。
【００４３】
本発明によるインター−ＲＤＰＣＭ符号化を、イントラＢＣブロックに拡張する実践が、輝度剰余ブロック、および、クロミナンス剰余ブロックに適用される。
【００４４】
第五実施形態−ＰＰＳフラグを有するＣＵ−レベルトランスフォーム−量子化バイパスシグナリングの簡潔化
【００４５】
現在のＨＥＶＣ範囲拡張仕様において、設定ファイルからの符号化パラメータが、無損失符号化条件に用いられる。無損失状態がアサートされるとき、関連ピクチャ／スライス中の全ＣＵが、トランスフォーム−量子化バイパスモードを用いて符号化される。符号化条件が、すでに、各ＣＵに、トランスフォーム−量子化バイパスモードを用いて符号化させるように強制しているにもかかわらず、デコーダ側で、フラグcu_transquant_bypass_flagが、各ＣＵに構文解析される。
【００４６】
本発明の実施形態は、ピクチャレベルフラグを用いて、冗長構文解析プロセスを回避することによりこの課題を克服する。このような無損失符号化条件が設定されるとき、表２に示されるように、本発明の実施形態によるcu_transquant_bypass_flagのＣＵ−レベル構文解析に以下の変化をもたらす。このほか、表３に示されるように、ＰＰＳ（picture parameter set）フラグ（すなわち、force_cu_transquant_bypass_flag）が用いられて、関連ピクチャ中の全ＣＵが、トランスフォーム−量子化バイパスモードを用いて符号化されることを示す。
【００４７】
【表２】
2016540458.tif 000006
【００４８】
【表３】
2016540458.tif 000007
【００４９】
表２に示されるように、トランスフォーム−量子化バイパスモードが有効（つまり、transquant_bypass_enabled_flag == 1）、且つ、ＣＵが、トランスフォーム−量子化バイパスモード（つまり、force_cu_transquant_bypass_flag == 0）を用いることを強制されないときだけ、フラグ,cu_transquant_bypass_flagが構文解析される。したがって、cu_transquant_bypass_flagの冗長構文素子構文解析が回避される。
【００５０】
表３に示されるように、フラグ（つまり、force_cu_transquant_bypass_flag）がＰＰＳ中に存在して、関連ピクチャ中の全ＣＵが、トランスフォーム−量子化バイパスモードを用いて符号化されるかどうか示す。トランスフォーム−量子化バイパスモードが、transquant_bypass_enabled_flagで示されているように、有効であるとき、このフラグが現れ、force_cu_transquant_bypass_flagが１に等しいとき、cu_transquant_bypass_flagは示されず、cu_transquant_bypass_flagは１であると推定される。force_cu_transquant_bypass_flagが０に等しいとき、cu_transquant_bypass_flagが示される。force_cu_transquant_bypass_flagが示されない場合、０に等しいと推定される。
【００５１】
本発明の第四実施形態を組み込んだシステムのパフォーマンスが、従来のシステムと比較される。表４は、ドキュメントＪＣＴＶＣ−Ｎ１１２３に定められるテスト条件下で実行される性能比較（Ankur Saxena, et al.,“HEVC Range Extensions Core Experiment 3 (RCE3):Intra Prediction techniques”,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 14th Meeting:Vienna,Austria,25 Jul.-2 Aug.2013,ドキュメント：JCTVC−N1123）を示す。性能比較において、ソフトウェア基盤はＨＭ−１２．０（HEVC Test Model, version 12.0）である。この参照は、イントラＢＣブロックに拡張されるインター−ＲＤＰＣＭを参照として一体になる。テストデータは、インター−ＲＤＰＣＭをイントラＢＣブロックに対し無効にする。カラム1でリストされる各種テスト材料に基づいて、比較が実行される。従来のアプローチと比較して、本発明の実施形態によるビットレートにおける改善が、全イントラＨＥ（High Efficiency）Main−tier、全イントラＨＥ High−tier、および、全イントラＨＥ Super High−tierを含む各種システム構成に見られる。表４に示されるように、インター−ＲＤＰＣＭがイントラＢＣブロックに許可されないとき、ビットレート増加は、スクリーンコンテントテスト材料（つまりＳＣ（４４４）ＧＢＲとＳＣ（４４４）ＹＵＶ）にさらに顕著になり、この増加は５．２％まである。符号化と復号回数はほぼ同じである。
【００５２】
【表４】
2016540458.tif 000008
【００５３】
統一されたイントラとインター符号化の本発明の実施形態を組み込んだシステムのパフォーマンスが互いに比較される。第一システムは第一実施形態に対応し、第二システムは第三実施形態に対応する。表５から表７は、ドキュメントJCTVC−N1123に定められるテスト条件下で実行される性能比較を示す。第一実施形態は、性能比較のアンカーシステムとして用いられ、表中の負の値は、第二システムが、第一システムよりうまく実行されることを意味する。表５は、全イントラＨＥ（High Efficiency）Main−tier、全イントラＨＥ High−tier、および、全イントラＨＥ Super High−tierを含む各種システム構成の結果を示す。第三実施形態は、第一実施形態よりも、ビットレートにおいてわずかな改善が示される。表６は、ランダムアクセスＨＥ Main−tier、および、ランダムアクセスＨＥ High−tierの結果を示す。第三実施形態は、第一実施形態よりも、ビットレートにおいてわずかな改善が示される。表７は、Low−delay B HE Main−tier、および、Low−delay B HE High−tierの結果を示す。第三実施形態は、第一実施形態よりも、ビットレートにおいてわずかな改善が示される。符号化と復号回数は、全ケースにおいて、ほぼ同じである。
【００５４】
【表５】
2016540458.tif 000009
【００５５】
【表６】
2016540458.tif 000010
【００５６】
【表７】
2016540458.tif 000011
【００５７】
統一されたイントラとインター符号化の本発明の二実施形態を組み込んだシステムのパフォーマンスが互いに比較される。第一システムは剰余回転がない第一実施形態に対応し、第二システムは剰余回転がない第三実施形態に対応する。表８から表１０は、ドキュメントJCTVC−N1123に定められるテスト条件下で実行される性能比較を示す。剰余回転がない第一実施形態が、性能比較のアンカーシステムとして用いられる。表８は、全イントラＨＥ（High Efficiency）Main−tier、全イントラＨＥ High−tier、および、全イントラＨＥ Super High−tierを含む各種システム構成の結果を説明する。剰余回転がない第三実施形態は、剰余回転がない第一実施形態より、ビットレートにおいてわずかな改善が見られる。表９は、ランダムアクセスＨＥ Main−tier、および、ランダムアクセスＨＥ High−tierの結果を示す。剰余回転がない第三実施形態は、剰余回転がない第一実施形態より、ビットレートにおいてわずかな改善が見られる。表１０は、Low−delay B HE Main−tier、および、Low−delay B HE High−tierの結果を示す。剰余回転がない第三実施形態は、剰余回転がない第一実施形態より、ビットレートにおいてわずかな改善が見られる。符号化と復号回数は、全ケースにおいて、ほぼ同じである。
【００５８】
【表８】
2016540458.tif 000012
【００５９】
【表９】
2016540458.tif 000013
【００６０】
【表１０】
2016540458.tif 000014
【００６１】
図３は、本発明の実施形態を組み込んだシステムのイントラ予測、インター予測、および、イントラ−ブロックコピー間で、ＲＤＰＣＭ符号化を統一するフローチャートである。ステップ３１０に示されるように、システムは、現在ブロックに関連する入力データを受信する。符号化において、入力データは、符号化される画素データに対応する。復号において、入力データは、復号される符号化済み画素データに対応する。入力データは、メモリ（たとえば、コンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）、または、その他の媒体）、または、プロセッサから回収される。ステップ３２０に示されるように、予測モードが現在ブロックに決定され、予測モードは、イントラ予測モード、および、インター予測モードとイントラＢＣ予測モード（イントラ−ブロックコピーモード）の少なくとも１つからなる第一群から選択される。ステップ３３０に示されるように、現在ブロックの符号化モードが決定され、符号化モードは、トランスフォーム−量子化バイパスモード（トランスフォーム−量子化バイパスモード）、および、ＴＳ符号化モード（トランスフォームスキップ符号化モード）を含む第二群から選択される。ステップ３４０において、イントラ予測モードを用いて、現在ブロックが符号化されるとき、第一ＲＤＰＣＭ符号化が現在ブロックに適用される。インター予測モード、または、イントラＢＣ予測モードを用いて、現在ブロックが符号化されるとき、第二ＲＤＰＣＭ符号化が現在ブロックに適用される。第一ＲＤＰＣＭ符号化、および、第二ＲＤＰＣＭ符号化は、同じ符号化処理命令に適用される同じ符号化ステップを用いる。
【００６２】
図４Ａから図４Ｃは、それぞれ、第一実施形態から第三実施形態の統一されたデコーディング過程を示す図である。図４Ａは、第一実施形態の統一されたデコーディング過程に対応する。図４Ａに示されるように、順に、まず逆量子処理（４１０）、続いて任意の剰余回転（４２０）、逆トランスフォームスキップ（４３０）、および、逆−ＲＤＰＣＭ（４４０）が適用される。図４Ｂは、第二実施形態の統一されたデコーディング過程に対応する。図４Ｂに示されるように、順に、まず逆量子処理（４１０）、続いて、逆−ＲＤＰＣＭ（４４０）、任意の剰余回転（４２０）、および、逆トランスフォームスキップ（４３０）が適用される。図４Ｃは、第３実施形態の統一されたデコーディング過程に対応する。図４Ｃに示されるように、順に、まず逆量子処理（４１０）、続いて、任意の剰余回転（４２０）、逆−ＲＤＰＣＭ（４４０）、および、逆トランスフォームスキップ（４３０）が適用される。
【００６３】
図５は、インターＲＤＰＣＭ符号化を、イントラ−ブロックコピーモードを用いて符号化されるブロックに拡張する本発明の実施形態を組み込んだ符号化システムのフローチャートである。現在ピクチャ中の現在ブロックに関連する入力データが、ステップ５１０で受信される。ステップ５２０において、現在ブロックのイントラＢＣ剰余（イントラ−ブロックコピー剰余）が、現在ピクチャの現在ブロックと参照ブロックに基づいて生成される。イントラＢＣ剰余のＲＤＰＣＭオン／オフフラグ、および、ＲＤＰＣＭ予測方向フラグが、ステップ５３０で決定される。ステップ５４０において、決定されたＲＤＰＣＭオン／オフフラグにしたがって、ＲＤＰＣＭがあるまたはない、損失または無損失符号化が、イントラＢＣ剰余、または、処理済みイントラＢＣ剰余に適用される。決定されたＲＤＰＣＭオン／オフフラグがオンのとき、損失または無損失ＲＤＰＣＭ符号化は、ＲＤＰＣＭ予測方向フラグにしたがって、ＲＤＰＣＭ処理を含む。
【００６４】
図６は、本発明の実施形態を組み込んだ復号システムによるインターＲＤＰＣＭ符号化を、イントラ−ブロックコピーモードを用いて符号化されるブロックに拡張するフローチャートである。ステップ６１０において、現在ピクチャ中の現在ブロックに関連する符号化済みのビットストリームが受信される。ステップ６２０において、現在ブロックのＲＤＰＣＭオン／オフフラグ、および、ＲＤＰＣＭ予測方向フラグが、符号化済みのビットストリームから決定される。ステップ６３０において、インター符号化剰余データが、符号化済みのビットストリームから構文解析される。ステップ６４０において、決定されたＲＤＰＣＭオン／オフフラグによると、ＲＤＰＣＭを有する、または、有さない損失、または、無損失復号が、符号化済みの剰余データに適用されて、再構成イントラＢＣ剰余、または、再構成−処理済みイントラＢＣ剰余を得る。決定されたＲＤＰＣＭオン／オフフラグがオンのとき、損失、または、無損失ＲＤＰＣＭ復号は、決定されたＲＤＰＣＭ予測方向フラグにしたがって、逆ＲＤＰＣＭ処理を含む。ステップ６５０において、再構成の現在ブロックが、現在ピクチャ中の参照ブロック、および、再構成イントラＢＣ剰余、または、再構成−処理済みイントラＢＣ剰余に基づいて生成される。
【００６５】
上述のフローチャートは、本発明によるインターＲＤＰＣＭを、イントラＢＣ予測モードで符号化されるブロックに拡張する統一されたインター／イントラＲＤＰＣＭの例を説明することを目的とする。当業者は、各ステップを修正、ステップを再配置、ステップを分割、または、ステップを組み合わせて、本発明の精神を逸脱することなく、本発明を実施することができる。
【００６６】
上の記述が提示されて、当業者が、特定のアプリケーションとその要求の文脈で提供されるように、本発明を実施できるようにする。当業者なら、上記実施形態に対する各種修正が理解でき、ここで定義される一般定義は、その他の実施形態に適用される。よって、本発明は、示される特定の実施形態や記述に限定されるものではなく、原理と新規特徴と一致する幅広い領域が認められる。上述の詳細な記述において、各種特定の詳細が説明されて、本発明の十分な理解を提供する。それでもなお、当業者なら、本発明が実行できることが理解できる。
【００６７】
上記の本発明の実施形態は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の一実施形態は、ビデオ圧縮チップに整合される回路、または、ビデオ圧縮ソフトウェア中に整合されるプログラムコードで、記述される処理を実行する。本発明の一実施形態は、また、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードで、記述される処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明による特定のタスクを実行するように設定される。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語と異なるフォーマットやスタイルで開発される。ソフトウェアコードは、さらに、異なる標的プラットフォームにコンパイルされる。しかし、本発明によるソフトウェアコードの異なる符号化フォーマット、スタイル、および、言語、および、コードを設定して、タスクを実行するその他の手段は、本発明の精神と領域を脱しない。
【００６８】
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。
【図１】
2016540458.tif 000015
【図２】
2016540458.tif 000016
【図３】
2016540458.tif 000017
【図４Ａ】
2016540458.tif 000018
【図４Ｂ】
2016540458.tif 000019
【図４Ｃ】
2016540458.tif 000020
【図５】
2016540458.tif 000021
【図６】
2016540458.tif 000022
【国際調査報告】
2016540458.tif 000023