(57)【要約】カラー画像のブロックをＨ．２６４Ｈｉｇｈ４４４プロファイルにおいてインター符号化する方法が提案される。画像は、第１、第２及び第３の互いに異なった色成分を有する。方法は、異なるカラー画像に含まれる２又はそれ以上の基準ブロック候補の中から、残りの基準ブロック候補の対応する第１の色成分のいずれかと同様に、少なくとも、当該ブロックの前記第１の色成分と一致する対応する第１の色成分を有する基準ブロック候補を決定するステップと、前記決定された基準ブロックの対応する第２の色成分により当該ブロックの前記第２の色成分を符号化するステップとを有する。符号化されるブロックの対応する第１の色成分と一致する第１の色成分を有する基準ブロックは、しばしば、符号化されるブロックの異なる第２の色成分を基準ブロックから探すための良好な開始点である。
2012513134.tif 000002
【特許請求の範囲】
【請求項１】
第１、第２及び第３の互いに異なった色成分を有するカラー画像のブロックをＨ．２６４Ｈｉｇｈ４４４プロファイルにおいてインター符号化する方法であって、
異なるカラー画像に含まれる２又はそれ以上の基準ブロック候補の中から、残りの基準ブロック候補の対応する第１の色成分のいずれかと同様に、少なくとも、当該ブロックの前記第１の色成分と一致する対応する第１の色成分を有する基準ブロック候補を決定するステップと、
前記決定された基準ブロックの対応する第２の色成分により当該ブロックの前記第２の色成分を符号化するステップと
を有する方法。
【請求項２】
前記決定された基準ブロックの対応する第３の色成分により当該ブロックの前記第３の色成分を符号化するステップ
を更に有する、請求項１に記載の方法。
【請求項３】
当該ブロックと前記決定された基準ブロックとの間の時空間的関係を表す動き情報を符号化するステップと、
当該ブロックの前記第２の色成分を復号化するために、少なくとも、前記動き情報が使用されるべきことを示すインジケータを符号化するステップと
を更に有する、請求項２に記載の方法。
【請求項４】
当該ブロックの前記第２の色成分が、前記決定された基準ブロックの対応する第２の色成分により符号化されるべきことを示す制御信号を受信するステップ
を更に有する、請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
当該ブロックの前記第２の色成分と、前記決定された基準ブロックの前記対応する第２の色成分とにより、歪みを決定するステップと、
前記決定された歪みに応じて前記制御信号を生成するステップと
を更に有し、
前記制御信号は、当該ブロックの前記第２の色成分を符号化するために、異なる更なる基準ブロックの対応する第２の色成分が、前記決定された基準ブロックの対応する第２の色成分の代わりに、又は該対応する第２の色成分とともに使用されるべきかどうかを示す、
請求項４に記載の方法。
【請求項６】
当該ブロックの前記第１の色成分及び前記決定された基準ブロックの前記対応する第１の色成分は、輝度成分であり、
当該ブロックの前記第２の色成分及び前記第３の色成分並びに前記決定された基準ブロックの前記対応する第２の色成分及び対応する第３の色成分は、クロミナンス成分である、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
第１、第２及び第３の互いに異なった色成分を有するカラー画像のブロックをＨ．２６４Ｈｉｇｈ４４４プロファイルにおいてインター符号化する装置であって、
更なる画像に含まれる２又はそれ以上の基準ブロック候補の中から、残りの基準ブロック候補の対応する第１の色成分のいずれかと同様に、少なくとも、当該ブロックの前記第１の色成分と一致する対応する第１の色成分を有する基準ブロック候補を決定する決定手段と、
前記決定された基準ブロックの対応する第２の色成分により当該ブロックの前記第２の色成分を符号化する符号化手段と
を有する装置。
【請求項８】
前記符号化手段は、前記決定された基準ブロックの対応する第３の色成分により当該ブロックの前記第３の色成分を符号化するよう構成される、
請求項７に記載の装置。
【請求項９】
動き情報を符号化する手段と、
当該ブロックの前記第２の色成分を復号化するために、少なくとも、前記動き情報が使用されるべきことを示すインジケータを符号化する手段と
を更に有する、請求項７又は８に記載の装置。
【請求項１０】
前記符号化手段は、当該ブロックの前記第２の色成分が、前記決定された基準ブロックの対応する第２の色成分により符号化されるべきことを示す制御信号を受信するよう構成される、
請求項７乃至９のうちいずれか一項に記載の装置。
【請求項１１】
当該ブロックの前記第２の色成分と、前記決定された基準ブロックの前記対応する第２の色成分とにより、歪みを決定する手段と、
前記決定された歪みに応じて前記制御信号を生成する手段と
を更に有し、
前記制御信号は、当該ブロックの前記第２の色成分を符号化するために、異なる更なる基準ブロックの対応する第２の色成分が、前記決定された基準ブロックの対応する第２の色成分の代わりに、又は該対応する第２の色成分とともに使用されるべきかどうかを示す、
請求項１０に記載の装置。
【請求項１２】
当該ブロックの前記第１の色成分及び前記決定された基準ブロックの前記対応する第１の色成分は、輝度成分であり、
当該ブロックの前記第２の色成分及び前記第３の色成分並びに前記決定された基準ブロックの前記対応する第２の色成分及び対応する第３の色成分は、クロミナンス成分である、
請求項７乃至１１のうちいずれか一項に記載の装置。
【請求項１３】
第１、第２及び第３の互いに異なった色成分を有する画像のブロックを復号化する方法であって、
動き情報を復号化するステップと、
基準画像を決定するために前記動き情報を用いるステップと、
前記決定された基準画像に含まれる基準ブロックを決定するために前記動き情報を用いるステップと、
前記決定された基準ブロックの対応する第１の色成分により当該ブロックの前記第１の色成分を復号化するステップと、
当該ブロックの前記第２の色成分が前記決定された基準ブロックの対応する第２の色成分により復号化されるべきことを示すインジケータを復号化するステップと
を有する方法。
【請求項１４】
第１、第２及び第３の互いに異なった色成分を有する画像のブロックを復号化する装置であって、
動き情報を復号化する手段と、
基準画像を決定するために前記動き情報を用いる手段と、
前記決定された基準画像に含まれる基準ブロックを決定するために前記動き情報を用いる手段と、
前記決定された基準ブロックの対応する第１の色成分により当該ブロックの前記第１の色成分を復号化するよう構成される復号化手段と
を有し、
前記復号化手段は、更に、当該ブロックの前記第２の色成分が前記決定された基準ブロックの対応する第２の色成分により復号化されるべきことを示すインジケータを復号化するよう構成される、装置。
【請求項１５】
請求項３に従って符号化された画像のブロックを有するデータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のブロックを更なる画像の基準ブロックを用いて符号化する方法及び装置、符号化された画像のブロックを有するデータ記憶媒体、並びに画像のブロックを復号化する方法に関する。
【０００２】
より厳密には、本発明は、インター予測（inter-prediction）を用いて、すなわち、基準画像を用いて、画像の色成分の分離した、しかし、相互に関連する符号化に関する。
【背景技術】
【０００３】
画素の色を表すために、３つの色成分が必要である。３つの色成分は、赤色、緑色及び青色（ＲＧＢ）であってよい。あるいは、色成分は、輝度成分（Ｙ）と、２つのクロミナンス成分（ＵＶ又はＣｒＣｂ）とを有する。クロミナンス成分は、色差成分としても知られている。
【０００４】
従って、カラー画像は、３つの色成分画像に分けられてよい。
【０００５】
そのような画像のブロックをインター符号化するために、２つの異なるアプローチが知られている。すなわち、１つは、全ての色成分の全体的なレート歪みが最適化されるように単一の基準ブロックが決定されるアプローチであり、もう１つは、ブロックが３つの色成分の３つのブロックに分けられるアプローチである。後者の場合に、３つのブロックの夫々について、対応する色成分に関してレート歪みを最適化する基準ブロックが個別に決定される。
【０００６】
前者のアプローチは、最も良く一致するブロックの検索をたった一度しか必要とせず、後者のアプローチに比べて増大したビットレートを有して現れる。
【０００７】
例えば、ＡＶＣ（Advanced  Video  Coding）Ｈｉｇｈ４４４プロファイル（Ｈ．２６４Ｈｉｇｈ４４４プロファイルとしても知られる。）に関して、前者のアプローチは統合符号化（unified  coding）と称され、一方、後者のアプローチは分離可能な符号化（separable  coding）と称される。
【０００８】
２つのアプローチのどちらが適用されるのかは、スライスヘッダ（slice_header）に含まれ且つスライス内の全てのブロックの符号化モードを制御する、高度な構文要素colour_plane_idの制御下にある。言い換えると、同じスライス内の全てのブロックは、同じ符号化モード（分離可能モード又は統合モード）で符号化される。
【０００９】
語「ブロック」は、ブロックサイズとは無関係に、画像のあらゆるブロックについて使用されることが知られる。語「ブロック」は、８×８ブロック、１６×１６マクロブロック、ｎ行及びｍ列の長方形、又は画像全体に言及する。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ブロックの符号化において更なる柔軟性を有することが望ましい。
【課題を解決するための手段】
【００１１】
本発明は、請求項１に記載の方法における技術的事項を特徴とする第３のアプローチを提案することによって、更なる柔軟性を提供する。対応する装置は、請求項７に記載される技術的事項を有する。
【００１２】
方法は、第１、第２及び第３の互いに異なった色成分を有するカラー画像のブロックをＨ．２６４Ｈｉｇｈ４４４プロファイルにおいてインター符号化する方法である。かかる方法は、異なるカラー画像に含まれる２又はそれ以上の基準ブロック候補の中から、残りの基準ブロック候補の対応する第１の色成分のいずれかと同様に、少なくとも、当該ブロックの前記第１の色成分と一致する対応する第１の色成分を有する基準ブロック候補を決定するステップと、前記決定された基準ブロックの対応する第２の色成分により当該ブロックの前記第２の色成分を符号化するステップとを有する。
【００１３】
符号化されるブロックの対応する第１の色成分と一致する第１の色成分を有する基準ブロックは、しばしば、符号化されるブロックの異なる第２の色成分を基準ブロックから探すための良好な開始点である。
【００１４】
請求項２乃至６は、符号化方法の具体的な実施形態に関し、請求項８乃至１２は、符号化装置の具体的な実施形態に関する。
【００１５】
請求項３に係る実施形態において、方法は、当該ブロックと前記決定された基準ブロックとの間の時空間的関係を表す動き情報を符号化するステップと、当該ブロックの前記第２の色成分を復号化するために、少なくとも、前記動き情報が使用されるべきことを示すインジケータを符号化するステップと有する。
【００１６】
このようにして、再利用される動き情報を再送信することによって、動き情報が再利用されることを示すインジケータが送信される。これにより、帯域幅が節約される。
【００１７】
本発明は、更に、請求項３に従って符号化された画像のブロックを有するデータ記憶媒体に関する。
【００１８】
また、本発明は、第１、第２及び第３の互いに異なった色成分を有する画像のブロックを復号化する方法及び装置に関し、復号化方法は請求項１３に記載される技術的事項を有し、復号化装置は請求項１４に記載される技術的事項を有する。
【００１９】
復号化方法及び復号化装置は、請求項３に従って符号化されるブロックを復号化するのに適する。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に従う符号化フレームワークを表す。
【図２】対応する復号化フレームワークを表す。
【発明を実施するための形態】
【００２１】
本発明の例となる実施形態について、図面に例示するとともに、以下の記載においてより詳細に説明する。
【００２２】
いわゆるビデオフォーマット４４４は、従来の４２０及び４２２に従う８ビット色深さよりも高いビット色深さを備えている。そのようなより高い色深さは、科学的な画像化、デジタル映画、高品質映像に対応したコンピュータゲーム、並びに、プロスタジオ及びホームシアターに関連した用途等、多くの分野でますます望まれている。
【００２３】
従って、ビデオ符号化規格Ｈ．２６４／ＡＶＣは、サンプル毎に最大１２ビットまで、及び最大４：４：４クロマサンプリングをサポートするフィデリティ・レンジ・エクステンション（Fidelity  Range  Extension）を有している。
【００２４】
ビデオ符号化規格Ｈ．２６４／ＡＶＣは、プロファイルＨｉｇｈ４４４によってクロマフォーマット４４４をサポートする。スライス毎に、Ｈｉｇｈ４４４は、全ての色成分（色平面とも呼ばれる。すなわち、ＹＵＶ若しくはＹＣｒＣｂ色空間における輝度及びクロミナンス、又はＲＧＢ色空間における赤、緑及び青。）に適用される２つの可能なインター符号化モードの１つを選択することを可能にする。
【００２５】
それらの可能な符号化モードとは、分離可能な符号化及び統合符号化である。
【００２６】
統合符号化モードの下で、３つの面において同じ位置に配置され且つ画像ブロックを構成する３つのブロックは、結合される場合に、同じブロック符号化情報（例えば、ブロック符号化タイプ及び運動ベクトル）を共有する。それにより、３つ全てのブロックの符号化のために使用される基準ブロックは、符号化されるブロック及び基準ブロック候補の全ての色成分を用いて決定される。
【００２７】
分離可能符号化モードの下で、平面ブロックは、個別に且つ独立して扱われる。画像ブロックの夫々の色成分について、対応する面における個々の基準ブロックが決定される。このように、運動ベクトル及び／又は符号化タイプは異なってよく、従って、平面ブロック毎に個別に符号化される必要がある。
【００２８】
先に述べたように、統合符号化モード及び分離可能符号化モードのどちらが適用されるのかは、スライス毎に決定される。どのモードが適用されるのかは、Ｈ．２６４の下で、スライスヘッダにおいて符号化され且つ１つのスライス内の全てのブロックを制御するcolour_plane_idと呼ばれる構文要素によって示される。言い換えると、同じスライス内の全てのブロックは、同じ符号化モード、すなわち、分離可能なモード又は統合モードを用いて、符号化される。
【００２９】
分離可能符号化モードは、最も良く一致する又は少なくとも上手く一致する基準ブロックが、基準ブロックの検索が閾値に達した後に終了される場合に、全ての色成分について決定される必要があるので、符号化のための余分の努力の価値に対するより良い圧縮をもたらす。一致基準は、符号化される平面ブロックと同じ面の基準ブロック候補との間の歪み、類似性又はレート歪みであってよく、歪み、類似性又はレート歪みは、少なくとも、一致閾値に達するべきであり、又は最適化されるべきである。
【００３０】
本発明の例となる実施形態において、上記の余分の努力は、有意に低減可能である。すなわち、第１の色平面の符号化において使用される第１の基準ブロックを決定した後、第１の色平面における前記第１の基準ブロックと同じ位置で第２の色平面内に配置される開始ブロックが、第２の色平面の符号化において使用される第２の基準ブロックの検索のための開始点として使用される。
【００３１】
基準検索が閾値基準によって終了される場合、第２の基準ブロックの検索は、ほとんどの場合において、前記開始ブロックを決定した後に中止されてよい。これは、前記開始ブロックが既に閾値基準を満足している可能性が高いためである。
【００３２】
ゆえに、分離可能符号化モードが使用されるとしても、例となる実施形態においては、画像ブロックの少なくとも２つの色平面は、同じブロックの平面を参照し、従って、符号化されるよう同じ動き情報（例えば、相対的な時空間的関係を表す同じ運動ベクトル）を必要とする、と考えられる。
【００３３】
このように、更なる例となる実施形態において、いくらかの帯域幅が、再利用される動き情報を夫々の平面ブロックについて別々に符号化するのではなく、単に動き情報の再利用を示すことによって、節約される。
【００３４】
他の実施形態において、第１の色成分の第１のブロック並びに第２及び／又は第３の色成分の第２のブロックは、符号化されるブロックから取り出される。次いで、第１の基準ブロックは、その基準ブロックから取り出される第１の色成分基準ブロックに対する前記第１のブロックの歪みが第１の歪み閾値を下回るように、決定される。更に、当該ブロックと基準ブロックとの間の時空間的関係を表す動き情報が決定されて符号化される。決定された基準ブロックは、前記第２のブロックを符号化するために使用される更なる基準ブロックの検索のための開始ブロックとしても使用される。この検索は、第１のステップとして、前記基準ブロックの第２の色成分基準ブロック及び前記第２のブロックを用いて歪みを決定し、そのようにして決定された歪みを、第１の閾値と等しい又は該第１の閾値とは異なった第２の歪み閾値と比較するステップを有する。決定された歪みが第２の歪み閾値を下回る場合は、検索は終了し、動き情報が前記第２のブロックを復号化するために使用されるべきことを示すインジケータが符号化される。
【００３５】
そうである場合に、デコーダは然るべく構成される必要がある。すなわち、デコーダは、動き情報が前記第２のブロックを復号化するために使用されるべきとの指示を検出し、第１の色成分から動き情報を複製する手段を有する必要がある。
【００３６】
図１は、エンコーダのフレームワークを例として示す。第１の平面ブロック（ＦＰＢ）が受け取られ、動きが推定される（ＭＣＥ）。動き推定は動き補正（ＭＣＰ）のために使用され、剰余が減算により形成される。剰余は、続いて、変換及び量子化され（ＴＱ）、逆量子化及び逆変換される（ＩＱＩＴ）。動き補正（ＭＣＰ）の出力が加えられ、その結果はデブロッキング・フィルタリングを受ける（ＤＢＬ）。再構成及びデブロッキングされた平面ブロックはメモリ（ＦＲＭ）において記憶され、それにより、動き補正（ＭＣＰ）及び動き推定（ＭＣＥ）は、第１の平面の記憶されたフレームを使用することができる。
【００３７】
同様に、現在の平面ブロック（ＣＰＢ）が受け取られ、改良（modified）動き推定（ＭＭＥ）が適用される。改良動き推定（ＭＭＥ）の出力は、第１の平面ブロック（ＦＰＢ）と同様に、動き補正（ＭＣＰ）及び続く剰余符号化のために使用される。
【００３８】
改良動き推定（ＭＭＥ）は、第１の平面ブロック（ＦＰＢ）の動き推定（ＭＣＥ）結果によって開始される。次いで、現在の平面ブロック（ＣＰＢ）は、第１の平面ブロックの動き推定（ＭＣＥ）によって生成された動き補正ブロックと比較される。例えば、歪みが決定され、その決定された歪みが閾値と比較される。決定された歪みが閾値を下回る場合は、第１の平面ブロックの動き推定（ＭＣＥ）の結果は、第２の平面ブロックの動き推定（ＭＭＥ）へ送られる。更に、インジケータが符号化のためにエンコーダ（ＥＮＣ）へ送られる。そのインジケータは、第１の平面ブロックの剰余とともに符号化された動き情報が、復号化の間、現在の平面ブロックを再構成するために使用されるべきことを示す。
【００３９】
決定された歪みが閾値を上回る場合は、現在の平面ブロックは、上手く一致する現在の平面基準ブロックが見つけられるまで、更なる現在の平面基準候補ブロックと比較される。
【００４０】
図２は、対応する復号化フレームワークを例として示す。トリガスイッチ（ＴＳＷ）は、第２の平面ブロックの復号化（ＳＰＤ）における復号化（ＤＥＣ）により得られるインジケータによってトリガされ、第１の平面の復号化（ＦＰＤ）のデコーダ（ＤＥＣ）から得られる動き情報、又は第２の平面の復号化（ＳＰＤ）のデコーダ（ＤＥＣ）から得られる動き情報のどちらかをインジケータに依存してパスする。パスされた動き情報は、次いで、更なる復号化のために使用される。インジケータはフラグビットであってよい。
【図１】
2012513134.tif 000003
【図２】
2012513134.tif 000004
【国際調査報告】
2012513134.tif 000005
2012513134.tif 000006
2012513134.tif 000007