(57)【要約】局所的な信号構造を捕捉及び表現するためのパラメータモデルの使用により、ビデオ画像を良好にエンコードするため、新たな幾何学的なイントラ予測スキームを可能にする。この符号化スキームは、ビデオエンコーダにフレキシビリティ及びスケーラビリティを与え、ビデオフレームのコンテンツを所望の計算上の複雑度と整合させる。また、この符号化スキームにより、標準的なイントラ符号化の間に生じる人為的なエッジが低減されるため、エンコーダは、イントラ予測を使用して更に効率的に画像を符号化するのを可能にする。
2010505343.tif 000002
【特許請求の範囲】
【請求項１】
画素のグループが任意の形状のパーティションに分割されるビデオエンコーダであって、
前記パーティションのそれぞれは、イントラ符号化画像のデータからの予測データ及び／又はモデルフィッティングに基づいた明示的な記述で満たされる、
ことを特徴とするビデオエンコーダ。
【請求項２】
前記任意の形状は、１以上のパラメータモデル又は関数により記述される、
請求項１記載のビデオエンコーダ。
【請求項３】
前記パラメータモデル又は機能について多項式が使用される、
請求項２記載のビデオエンコーダ。
【請求項４】
前記多項式について一次多項式のモデルが使用される、
請求項３記載のビデオエンコーダ。
【請求項５】
前記多項式は、角度と距離である２つのパラメータを含む、
請求項４記載のビデオエンコーダ。
【請求項６】
前記モデルは、圧縮効率及び／又はエンコーダの複雑度を制御するために適合されるパラメータを含む、
請求項１記載のビデオエンコーダ。
【請求項７】
それぞれのパーティションに関連される前記予測データは、デコードされた画素から予測されるか、又は前記パーティション内の統計値から予測される、
請求項１記載のビデオエンコーダ。
【請求項８】
前記予測は、方向の予測、ＤＣ予測又はプレーンの予測のうちの少なくとも１つを使用して実行される、
請求項７記載のビデオエンコーダ。
【請求項９】
前記方向の予測の方向は、前記パーティションの方向と同じであるか、又は前記パーティションの方向と異なる、
請求項８記載のビデオエンコーダ。
【請求項１０】
前記デコードされた画像の領域からサーチされたパッチは、予測として使用される、
請求項７記載のビデオエンコーダ。
【請求項１１】
前記統計値は、ＤＣ値、フィッティングプレーン及び高次のモデルを含むリストから選択される、
請求項７記載のビデオエンコーダ。
【請求項１２】
前記予測及び符号化は、Ｈ.２６４規格の拡張に基づく、
請求項１記載のビデオエンコーダ。
【請求項１３】
パラメータモデルに基づくイントラ符号化モードは、マクロブロック又はサブマクロブロックに適用される、
請求項１２記載のビデオエンコーダ。
【請求項１４】
前記モデル内のパラメータの精度は、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダで伝達されるか、或いは、他の符号化パラメータから導出される、
請求項１記載のビデオエンコーダ。
【請求項１５】
前記パーティションの境界を記述する前記モデルのパラメータは、符号化され、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダで伝達される、
請求項１４記載のビデオエンコーダ。
【請求項１６】
どの予測方法が使用されるかを示すコードワードは、マクロブロックの予測データで指示される、
請求項７記載のビデオエンコーダ。
【請求項１７】
前記方向は、マクロブロック予測データで指示される、
請求項８記載のビデオエンコーダ。
【請求項１８】
マクロブロックの予測データ内で動きベクトルが符号化される、
請求項１０記載のビデオエンコーダ。
【請求項１９】
ＤＣ、プレーン情報及び／又は高次のモデルは、マクロブロックの予測データ内で符号化される、
請求項１１記載のビデオエンコーダ。
【請求項２０】
歪みの測定及び／又は符号化コストの測定を共に最小にするため、前記モデルパラメータ及び前記パーティションの予測が選択される、
請求項１記載のビデオエンコーダ。
【請求項２１】
前記画像領域の統計値に従って前記モデルパラメータ及び前記パーティションの予測が選択される、
請求項１記載のビデオエンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオ情報の符号化及びその情報の圧縮に関し、画像内の幾何学的な情報への情報の符号化に関する。
【背景技術】
【０００２】
Ｈ.２６３、ＭＰＥＧ−１／２及びＭＰＥＧ４ビジュアル、イントラ予測のような以前のビデオ符号化標準では、変換領域においてイントラ予測が行われる。Ｈ.２６４／ＡＶＣは、空間領域においてイントラ予測を行うための第一のビデオ符号化標準である。Ｈ.２６４／ＡＶＣは、方向の空間予測を採用し、現在のピクチャの前にデコードされた部分のエッジを外挿する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これにより、予測信号の品質、したがって符号化効率が前のビデオ符号化標準に比較して改善されるが、エッジ、輪郭及び配向されたテクスチャに沿って存在する幾何学的な冗長度を利用することにおいて最適ではない。また、Ｈ.２６４／ＡＶＣは、様々な計算上の複雑度の要件に適合することができない。第一に、イントラ予測モードの数が固定され、ビデオフレームのコンテンツと計算上の複雑度との整合における適応及びスケーラビリティを欠く。第二に、イントラ符号化における因果関係のため、予測により、残余を符号化するために更に多くのビットを生じる場合がある人為によるエッジが形成される可能性がある。
【課題を解決するための手段】
【０００４】
この開示は、画像又はビデオ画像における隣接する領域と現在の領域との間の予測可能性及び／又は相関を利用しつつ、画像の幾何学的な構造を効率的に捕捉する新たなイントラ符号化スキームを提案する。さらに、本発明の１以上の実施の形態は、幾つかの目標とされる圧縮及び／又は所望のアルゴリズムの複雑度に依存して、幾何学的な情報の量及び／又は精度を適応的に選択することが可能である。この開示では、新たな幾何学的なイントラ予測スキームが提案され、このスキームは、残余をエンコードするために必要とされる更に多くのビットを生じる可能性がある標準的なイントラ符号化の予測における因果関係による人口のエッジの問題と同様に、ビデオフレームのコンテンツと計算上の複雑度を整合することにおける適応性とスケーラビリティとの問題を解決することを狙いとする。
【図面の簡単な説明】
【０００５】
［表1］Ｈ.２６４のイントラ４×４の輝度予測モードを示す表である。
［表2］Ｈ.２６４のイントラ１６×１６の輝度予測モードを示す表である。
［表3］ピクチャパラメータのセットのシンタックスを示す表である。
［表4］マクロブロックの予測のシンタックスを示す表である。
【図１】４×４ブロックの予測サンプルのラベリングを示す図である。
【図２】イントラ４×４ブロックの予測モードを示す図である。
【図３】イントラ１６×１６の輝度予測モードを示す図である。
【図４】幾何学的形状の記述におけるパラメータモデルとして使用される一次多項式を示す図である。
【図５】パラメータモデルとして一次多項式を使用して生成されるパーティションマスクを示す図である。
【図６】最新のビデオコーデックの例（すなわちＨ２６４ブロックスキーム）を示す図である。
【図７】幾何学的なイントラ予測モードを組み込むため、変化を必要とする最新のビデオコーデックの例（すなわちＨ２６４ブロックスキーム）を示す図である。
【図８】最新のビデオデコーダの例（すなわちＨ２６４ブロックスキーム）を示す図である。
【図９】幾何学的なイントラ予測モードを組み込むため、変換を必要とする最新のビデオデコーダの例（すなわちＨ２６４ブロックスキーム）を示す図である。
【図１０】幾何学的なイントラ予測を使用した１つのＭＢをエンコードする例のフローチャートである。
【図１１】幾何学的なイントラ予測を使用した１つのＭＢをデコードする例のフローチャートである。
【発明を実施するための形態】
【０００６】
Ｈ.２６４／ＡＶＣは、イントラ符号化向けの空間的な方向予測を採用する第一のビデオ符号化標準である。これにより、変換領域においてイントラ予測が行われる以前の標準に対して、予測信号の品質、したがって符号化効率が改善される。Ｈ.２６４／ＡＶＣでは、同じスライス内のデコーダで利用可能な以前に再構成されたサンプルである、周辺の利用可能なサンプルを使用して、空間的なイントラ予測が形成される。輝度サンプルについて、４×４ブロックベース（Intra_4×4として示される）、８×８ブロックベース（Intra_8×8として示される）、及び１６×１６マクロブロック（Intra_16×16として示される）に関してイントラ予測が形成される。輝度予測に加えて、個別の色度予測が行われる。全体として、Intra_4×4及びIntra_8×8について９つの予測モード、Intra_16×16について４つのモード、及び色度成分について４つのモードが存在する。エンコーダは、典型的に、予測ブロックと符号化されるべきオリジナルブロックとの間の差を最小にする予測モードを選択する。更なるイントラ符号化モードI_PCMにより、エンコーダは、予測及び変換符号化プロセスをシンプルにバイパスすることができる。更なるイントラ符号化モードI_PCMにより、エンコーダは、サンプルの値を正確に表現することができ、デコードされた画質を制限することなしに、符号化されたマクロブロックに含まれるビット数に絶対の限界を設ける。
【０００７】
Intra_4×4について、図１は、前に符号化及び再構成されたサンプルであって、したがって予測を形成するためにエンコーダ及びデコーダで利用可能な上及び左へのサンプル（Ａ−Ｍとしてラベリングされる）を示す。予測ブロックのサンプルａ，ｂ，ｃ，．．．，ｐは、図２及び表１に示される予測モードを使用してサンプルＡ−Ｍに基づいて計算される。図における矢印は、それぞれのモードについて予測の方向を示す。モード３−８では、予測されたサンプルは、予測サンプルＡ−Ｍの重み付け平均から形成される。Intra_8×8は、４×４予測と同じコンセプトを基本的に使用するが、予測の性能を改善するために予測ブロックサイズ８×８及び予測子のロウパスフィルタリングによる。図３及び表２で示されるように、Intra_16×16について４つのモードが利用可能である。イントラ符号化マクロブロックのそれぞれ８×８の色度成分は、上及び／又は左への以前にエンコードされた色度サンプルから予測され、両方の色度成分は、同じ予測モードを使用する。４つの予測モードは、モードのナンバリングが異なる点を除いて、Intra_16×16に非常に類似する。モードは、ＤＣ（モード０）、水平（モード１）、垂直（モード２）及びプレーン（モード３）である。
【０００８】
Ｈ.２６４／ＡＶＣにおけるイントラ予測はビデオ符号化効率を改善するが、エッジ、輪郭及び配向されたテクスチャに沿って存在する幾何学的な冗長度を捕捉することにおいて最適ではない。さらに、Ｈ.２６４／ＡＶＣにおける現在のイントラ予測技術は、異なる用途で遭遇する場合がある様々な複雑度の要件の状況に適合することができない。第一に、予測の方向の数は、Ｈ.２６４で固定されているので、使用可能な計算上の複雑度及び／又は圧縮の品質に依存して、非常に変化するビデオフレームコンテンツと最良に整合するための適合、フレキシビリティ及びスケーラビリティを欠く。たとえば、ビデオフレームで発見される数多くの豊かなエッジを符号化するため、用途、符号化品質及び／又は状況に依存して、十分に正確ではないか、正確すぎる場合がある。異なる能力及び／又はメモリの制約をもつデコーダ及びエンコーダについて、現在のＨ.２６４／ＡＶＣにおけるよりも多かれ少なかれモードのサポートが存在する。第二に、Ｈ.２６４におけるイントラ予測の非対称の特性は、因果関係の制約を課す。たとえば、図２に示されるイントラ４×４予測モードでは、ブロックのスキャニング／エンコードの順序のため、それぞれの方向の予測の精度は異なる。０，１，４，５及び６のような予測モードでは、ターゲットブロックにおける画素は、最も近い境界の画素により予測される。他のモードでは、最も近い境界の画素の幾つかは符号化されず、且つ利用可能ではないか、又は、予測は、遠くにあるサンプルを使用する必要がある。したがって、３，７及び８のような予測モードでは、予測の精度は、他のモードにおける予測の精度よりも低くなる傾向にある。これらのモードは、残余を符号化するために更に多くのビットを生じる場合がある幾つかの人為的なエッジが形成される場合がある。
【０００９】
さらに、ツリー構造は、画像情報を符号化するために最適ではないように示されている。テストは、ツリーに基づいた画像の符号化が、矩形の（平滑な）エッジ又は輪郭により分離される異質の領域を最適に符号化するために使用することができないことを示す（それぞれの領域は、平坦、平滑、又は静止したテクスチャのような良好に定義され、且つ一様な特性を有すると考えられる）。この問題は、エッジ、輪郭又は配向されたテクスチャに沿って存在する幾何学的な冗長度をツリー構造が最適に捕捉することができないという事実から生じる。最新のビデオ符号化方式に向けられるこの概念は、適応的なマクロブロックのツリーの分割がシンプルな固定サイズのフレームの分割よりも良好であるとしても、符号化のために２次元のデータに含まれる幾何学的な情報を捕捉するために十分に最適ではないことを意味する。Ｈ.２６４／ＡＶＣにおけるイントラ符号化モードの前の記載では、イントラフレームの分割がツリーに基づいた分割構造であることを明らかに見ることができる。画像符号化のピクチャ分割の技術は、シンプルな四分木の分割の制約に対処するために提案されている。しかし、幾つかの開発は、シンプルな多項式の表現を使用して、生成された「幾何学的な」分割内でのデータの「イントラ」符号化のみを考慮する。これらの開発は、シンプルなエッジよりも複雑の方向付けされた構造を効果的に表すのと同様に、隣接する領域間での冗長度を利用するために使用することができない。さらに、これらの開発は、テクスチャ符号化のための効果的な残余の符号化を欠いている。
【００１０】
本発明では、少なくとも１つの実施の形態は、Ｈ.２６４／ＡＶＣイントラ予測により与えられる問題、及び幾何学的なエッジの符号化における実験的な研究の強い制約を解決する。本発明の様々な実施の形態は、インターピクチャ符号化における研究の骨組みをイントラベースの予測符号化に詳細に拡張する。
【００１１】
本発明では、局所的な信号の構造を捕捉及び表現するパラメータモデルの使用が提示される。予測されるべきフレームの領域又はブロックが与えられると、最新式のイントラ予測モードに加えて、幾何学的な予測モードがテストされる。関係しているブロック又は領域は、１又はあるセットのパラメータモデルにより記載される幾つかの領域に分割される。特に、この形式は、２つの分割とすることができ、この場合、それらの境界は、パラメータモデル又は関数
［外１］
2010505343.tif 000003
により記述され、ここでｘ及びｙは座標軸を示し、
［外２］
2010505343.tif 000004
は分割の形状を記述する情報を含むパラメータのセットである。たとえば
［外３］
2010505343.tif 000005
は、多項式の境界により分けられる２つの分割を定義する場合がある。ひとたび、
［外４］
2010505343.tif 000006
を使用してフレームブロック又は領域がパーティションに分割されると、それぞれ生成されたパーティションは、領域の統計値により、及び／又は、たとえばフィットされた多項式（たとえばＤＣ値の符号化、プレーンフィッティングパラメータ等）のような幾つかのモデルのパラメータを使用してパーティションの内容の明示的な「イントラ」符号化により、（たとえばＨ.２６４／ＡＶＣにおける予測モードをエミュレートするやり方で）隣接するデコードされた画素から、最も適切な予測子により予測される。全てのモードのパラメータの選択（パーティションスキーム＋パーティションの内容の記述）は、歪みと符号化コストの測定とのトレードオフの最適化を受ける。
【００１２】
Ｈ.２６４の骨格における幾何学的なイントラ予測モードの１実施の形態は、以下のように機能する。はじめに、マクロブロック又はサブマクロブロックは、２つの領域に分割され、ここで、境界はパラメータモデル又は関数
［外５］
2010505343.tif 000007
により記述される。次いで、その領域の統計値により、及び／又は、残余の符号化により後続される、たとえばフィットされる多項式（たとえばＤＣ値の符号化、プレーンフィッティングパラメータ等）のような幾つかのモデルのパラメータを使用したパーティションの内容の明示的な「イントラ」符号化により、隣接するデコードされた画素の何れかから、それぞれの領域が予測される。最後に、歪みの測定が計算される。このモードは、レート歪み測定の観点で標準的なＨ.２６４イントラ予測モードよりも効率が優れている場合にのみ選択される。
【００１３】
２つのパーティション間の境界は、局所的な角度、位置及び／又はある種の曲率のような幾何学的な情報を記述するように演算される、幾つかの種類の多項式
［外６］
2010505343.tif 000008
（以下ではｆ（ｘ，ｙ）としても表現される）によりモデル化されて精細に近似される。したがって、一次多項式の特定のケースでは、
【数１】
2010505343.tif 000009
として（図４に示される）パーティションの境界が記述され、ここで、パーティションの境界は、ｆ（ｘ，ｙ）＝０のように位置（ｘ，ｙ）にわたり定義される。（図５に示される）パーティションのマスクは、
【数２】
2010505343.tif 000010
として定義される。ゼロのライン（ｆ（ｘ，ｙ）＝０）の一方の側に位置される全ての画素は、一方のパーティションの領域に属するとして分類される（たとえばパーティション１）。他方の側に位置される全ての画素は、代替的な領域に分類される（たとえばパーティション０）。
【００１４】
それぞれのパーティションについて、以下の方法のうちの１つから利用可能な情報を使用して予測が行われる。  
１）たとえば方向の予測、ＤＣ予測及び／又はプレーンの予測といった、隣接するデコードされた画素からの予測。方向の予測では、予測の方向は、パーティションのエッジの方向と同じであるか、又は異なる。  
２）領域内の統計値による予測。この予測は、ＤＣ値、領域内のフィッティングプレーン又は高次のモデルとすることができる。  
３）デコードされた画像領域からサーチされるパッチ。
【００１５】
エンコーダでは、どの予測が使用されるべきかを判定するため、歪み測定に基づくか、又はたとえば統計値に基づく高速アルゴリズムに基づいた包括的なサーチが使用される。
【００１６】
Ｈ.２６４の骨格内の本発明の１つの特定のケースでは、マクロブロックについて幾何学的なイントラ予測モード（Intra_Geo_16×16）を加え、この場合、このモードは、イントラ４×４の後に挿入されるが、イントラ１６×１６の前に挿入されない。幾何学的な境界は、あるラインを使用して提示され、この場合、距離（ρ）及び角度（Θ）が符号化される。（ρ，Θ）は、共同して符号化されるか、個別に符号化される。（ρ，Θ）は、絶対的に符号化されるか、隣接する情報を使用して差分的に符号化される。パーティションの精度は、距離のための量子化ステップサイズと角度のための量子化ステップサイズにより制御することができ、これらは、シーケンスパラメータセット、ピクチャパラメータセット、又はスライスヘッダのようなハイレベルシンタックスで指示することができる。それぞれのパーティションについて、予測を行うためにどの方法が使用されるかに関するインジケータが規定される。隣接するデコードされた画素から方向性の予測が使用される場合、方向を符号化する必要がある。パーティションが統計値で満たされるか、及び／又は、ブロック内の幾つかのモデルのパラメータを使用してパーティションのコンテンツの明示的な「イントラ」符号化による場合、たとえばＤＣ値又はプレーン情報を符号化する必要がある。パーティションがパッチで満たされる場合、「動き」ベクトルの等価なものを符号化する必要がある。シンタックスの例は、表３及び表４に示される。
【００１７】
qs_for_distanceは、距離について量子化ステップサイズを規定する。  
qs_for_angleは、角度について量子化ステップサイズを規定する。  
quant_distance_indexは、量子化された距離のインデックスを規定する。qs_for_distanceにより乗算されたとき、量子化された距離を与える。  
quant_angle_indexは、量子化された角度のインデックスを規定する。qs_for_angleにより乗算されたとき、量子化された角度を与える。  
geo_pred_idcは、パーティションにおける幾何学的な予測の指標を規定する。０に等しいgeo_pred_idcについて、ＤＣ値が使用される。２に等しいgeo_pred_idcについて、パッチが使用される。  
directional_pred_modeは、予測のモードを識別する方向の予測モードを規定する。  
dc_pred_valueは、ＤＣ予測値を規定する。  
mvdxは、ｘについて動きベクトルの差を規定する。  
mvdyは、ｙについて動きベクトルの差を規定する。
【００１８】
図６は、最新のビデオコーデックの例（すなわちＨ２６４ブロックスキーム）を示す。幾何学的なイントラ予測モードを組み込むために変化を必要とする最新のビデオコーデックの例（すなわちＨ２６４ブロックスキーム）を示す。図８は、最新のビデオデコーダの例（すなわちＨ２６４ブロックスキーム）を示す。図９は、幾何学的なイントラ予測モードを組み込むために変化を必要とする最新のビデオデコーダの例（すなわちＨ２６４ブロックスキーム）を示す。図１０は、幾何学的なイントラ予測を使用した１つのＭＢを符号化する例のフローチャートである。図１１は、幾何学的なイントラ予測を使用した１つのＭＢをデコードする例のフローチャートである。
【００１９】
【表１】
2010505343.tif 000011
【００２０】
【表２】
2010505343.tif 000012
【００２１】
【表３】
2010505343.tif 000013
【００２２】
【表４】
2010505343.tif 000014
【図１】
2010505343.tif 000015
【図２】
2010505343.tif 000016
【図３】
2010505343.tif 000017
【図４】
2010505343.tif 000018
【図５】
2010505343.tif 000019
【図６】
2010505343.tif 000020
【図７】
2010505343.tif 000021
【図８】
2010505343.tif 000022
【図９】
2010505343.tif 000023
【図１０】
2010505343.tif 000024
【図１１】
2010505343.tif 000025
【国際調査報告】
2010505343.tif 000026