(57)【特許請求の範囲】
【請求項１】
異なる複数の色平面について別個に画像単位レベルでビデオ・エンコードする、ビデオ符号化器が行う方法であって、画像単位はマクロブロック、フレームまたはピクチャであり、
・基本色平面を選択し、画像単位の基本色平面をエンコードおよび再構成する段階と；
・再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行して少なくとも二つのテクスチャー・セグメントを決定する段階と；
・基本色平面について決定されたテクスチャー・セグメントを使って前記画像単位の少なくとも一つの他の色平面をテクスチャー・セグメントに分離する段階と；
・テクスチャー・セグメントのそれぞれについて、再構成された基本色平面と前記少なくとも一つの他の色平面との間の強度相関を決定する段階であって、重み因子およびオフセットが得られる段階と；
・テクスチャー・セグメントについて得られた前記強度相関または前記重み因子およびオフセットに基づいて、前記少なくとも一つの他の色平面のテクスチャー・セグメントにおけるピクセルを、前記再構成された基本色平面の対応するテクスチャー・セグメントのピクセルから予測し、残差を決定する段階と；
・少なくとも前記重み因子および前記オフセットを定義する情報をエンコードする段階とを含み、
前記重み因子および前記オフセットを定義する情報は、色平面毎の傾き値（sB,k）および少なくとも一つの予測子（bHpk、gHpk）を含み、前記予測子は対応する色平面のピクチャ単位のイントラ予測によって生成されるピクセル予測子の平均値である、
方法。
【請求項２】
前記基本色平面のエンコードがイントラ符号化を使う、請求項１記載の方法。
【請求項３】
前記エンコードされた基本色平面、前記一つまたは複数の残差および前記重み因子および前記オフセットを定義する情報を組み合わせてエンコードされたビデオ信号にする最終段階をさらに含む、請求項１記載の方法。
【請求項４】
前記基本色平面の選択が、少なくとも二つの色平面のテクスチャー解析を含み、前記テクスチャー解析はテクスチャー・セグメントの間の相関の決定を含む、請求項１記載の方法。
【請求項５】
前記相関の前記重み因子および前記オフセットが、基本色セグメントと前記他の色平面の対応するセグメントとの間の残差エネルギーを最小化することによって得られる、請求項１記載の方法。
【請求項６】
前記画像単位の前記他の色平面は、前記基本色について決定されたのと同じテクスチャー・セグメントに分離される、請求項１記載の方法。
【請求項７】
前記画像単位の前記他の色平面は、前記基本色について決定されたのと似ているが同じではないテクスチャー・セグメントに分離される、請求項１記載の方法。
【請求項８】
前記画像単位の前記他の色平面の少なくとも一つは、前記基本色について決定されたより少数のテクスチャー・セグメントに分離され、ここで、前記基本色平面の二つ以上のテクスチャー・セグメントが一つに組み合わされる、請求項１記載の方法。
【請求項９】
前記テクスチャー・セグメントのそれぞれは、割り当てられた領域識別子を獲得し、対応するテクスチャー・セグメントどうしは同じ領域識別子をもち、該領域識別子は、出力信号におけるエンコードされたデータのブロックがどのテクスチャー・セグメントに属するかを示すために使われることができる、請求項１記載の方法。
【請求項１０】
色平面のオフセット（oB,k）が
【数１２】
0005547301.tif 000013
によってエンコードされ、第一の予測子
【数１３】
0005547301.tif 000014
は再構成された基本色セグメントkにおけるピクセルの平均値であり、第二の予測子
【数１４】
0005547301.tif 000015
は前記他の色の対応するテクスチャー・セグメントkにおけるピクセルの平均値である、
請求項１記載の方法。
【請求項１１】
異なる色平面について別個に画像単位レベルでエンコードされているビデオ・データをデコードする、ビデオ・デコーダが行う方法であって、画像単位はたとえばマクロブロック、フレームまたはピクチャであり、当該方法は、
・画像単位のイントラ符号化された基本色平面のデータを含む第一のデータ・ブロックを、エンコードされたビデオ・データから抽出する段階と；
・前記画像単位のエンコードされた第二の色平面のデータを含む第二のデータ・ブロックを、エンコードされたビデオ・データから抽出し、少なくとも二つの相関関数の重み因子およびオフセットを定義する相関データを、エンコードされたビデオ・データから抽出する段階であって、前記重み因子および前記オフセットを定義する前記相関データは、重み因子およびオフセット毎に、色平面毎の傾き値（sB,k）および少なくとも一つの予測子（bHpk、gHpk）を含み、前記予測子は対応する色平面のピクチャ単位のイントラ予測によって生成されるピクセル予測子の平均値である、段階と；
・前記第一のデータ・ブロックをイントラ・デコードする段階であって、再構成された基本色平面が得られる、段階と；
・再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行する段階であって、少なくとも二つのテクスチャー・セグメントが決定される、段階と；
・基本色平面について決定されたテクスチャー・セグメントを使って前記画像単位の少なくとも第二の色平面を少なくとも二つのテクスチャー・セグメントに分離する段階と；
・第二の色平面の前記少なくとも二つのテクスチャー・セグメントのそれぞれについて、再構成された基本色平面と前記第二の色平面との間の強度相関関数を、重み因子およびオフセットを定義する前記データから、決定する段階と；
・前記第二の色平面の前記少なくとも二つのテクスチャー・セグメントのそれぞれを、前記基本色平面のそれぞれのテクスチャー・セグメントから、そのセグメントについて決定されたそれぞれの相関関数を使って予測する段階と；
・前記第二の色平面の前記画像単位を再構成する段階であって、前記第二のデータ・ブロックから抽出された残差データが前記第二の色平面の前記予測されたテクスチャー・セグメントと組み合わされる、段階とを含む、
方法。
【請求項１２】
請求項１記載の方法を使用するビデオ符号化器。
【請求項１３】
請求項１１記載の方法を使用するビデオ・デコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる色平面が別個にエンコード／デコードされるビデオ・エンコードおよびビデオ・デコードに関する。
【背景技術】
【０００２】
高忠実度ビデオ符号化はRGB符号化を採用する傾向がある。これは、外部の色空間変換なしにRGB色間冗長性を直接削減する。RGB符号化は、高解像度（HD）ならびに彩度および色相の正確な定義のために望ましい。RGB領域の4:4:4ビデオ符号化効率を改善するために、RGB色空間における4:4:4フォーマットをサポートするいくつかの符号化ツールが開発されている。たとえば、非特許文献１は、4:4:4符号化のために残差色変換を使う。これはまず、H.264/AVCのような同じ手順に従って赤（R）、緑（G）および青（B）平面にイントラ／インター予測を行い、残差色変換のためにYCoCg-R色変換を採用する。これは、色残差変換が多くの色歪みを生じるという欠点がある。
【０００３】
色空間変換から帰結する色歪みを回避するいくつかの方法が提案されている。上記と同じ著者は、非特許文献２、３において、RGB符号化のための面間予測（IPP:  inter-plane  prediction）符号化方法を提示している。この提案では、イントラ／インター予測はまず三つの色成分に対して行われ、次いで、再構成されたG平面残差がRおよびB残差のそれぞれについての予測子ブロックとして使われる。最後に、予測されたR残差およびB残差は、G残差と同じ、既存のJVT規格の符号化手順に従う。IPP符号化は、色空間変換から帰結する色歪みおよび符号化誤差の伝搬を回避する。しかしながら、インター／イントラ予測後に色成分の間の相関が減少する場合がある。そのような場合、IPPの性能は貧弱である。
【０００４】
もう一つの提案では、非特許文献４は、RGB色平面上で色間冗長性を取り除くためのブロック・ベースの色間補償アルゴリズムを提起している。これは、各符号化ブロック内の色平面の間の相関を、傾きとオフセット・パラメータの線形モデルとして定義し、H.264/AVC規格を使って基本色平面ブロックを符号化し、次いで重み付けされた予測を実行して、基本色平面ブロックから他の二つの色ブロックを推定する。これは、B/R平面内のすべてのブロックについて定義された線形モデルにおけるオフセットを計算するために、単一の共通のH.264イントラ予測を使って、ピクセル値を予測する。しかしながら、この予測器の正確さはしばしば貧弱であり、よって線形予測の精度を劣化させる。
【０００５】
さらに、非特許文献５は、符号化ブロックにおけるG/B、G/RおよびB/R平面間の面間および面内の相関の両方を使う。これら二つのアプローチのために、各色成分ブロック内のサブブロックのすべてが単一の傾き値を共有する。これは、現在ブロック内の色成分のテクスチャーが均一であり、強く相関しているという想定に基づく。しかしながら、たいていの符号化ブロックについて、成分ブロック内のテクスチャーは大きく変化する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Woo-Shik  Kim,  Dmitry  Birinov,  and  Hyun  Mun  Kim、"Residue  Color  Transform",  ISO/IEC  JTC1/SC29/WG11およびITU-T  Q6/SG16,  Document  JVT-L025,  July  2004
【非特許文献２】Woo-Shik  Kim,  Dmitry  Birinov,  and  Hyun  Mun  Kim、"Color  Format  Extension",  ISO/IEC  JTC1/SC29/WG11およびITU-T  Q6/SG16,  Doc.  JVT-H018,  May  2003
【非特許文献３】Woo-Shik  Kim,  Dmitry  Birinov,  and  Hyun  Mun  Kim、"Inter-plane  Prediction  for  RGB  Coding  II,"  ISO/IEC  JTC1/SC29/WG11およびITU-T  Q6/SG16,  Doc.  JVT-J017,  Dec.  2003
【非特許文献４】Byung  Cheol  Song,  Yun  Gu  Lee  and  Nak  Hoon  Kim、"Block  Adaptive  Inter-Color  Compensation  Algorithm  for  RGB  4:4:4  Video  Coding",  IEEE  Trans.  Circuits  and  systems  for  video  technology,  vol.18,  no.10,  pp.1447-1451,  Oct.  2008
【非特許文献５】Yong-Hwan  Kim,  Byeongho  Choi,  and  Joonki  Paik、"High-Fidelity  RGB  Video  Coding  Using  Adaptive  Inter-Plane  Weighted  Prediction"  IEEE  Trans.  Circuits  and  systems  for  video  technology,  vol.19,  no.7,  pp.1051-1056,  July  2009
【発明の概要】
【発明が解決しようとする課題】
【０００７】
マクロブロックのような成分ブロックを予測する際の符号化効率が、単一の傾きパラメータを使う代わりに、その成分ブロックの適応セグメントについての個々の傾きおよびオフセット・パラメータを使うことによって改善できることが見出された。適応セグメントは、各セグメントが完全な成分ブロックよりも均一または同様なテクスチャーをもつよう、エッジ検出によって決定される。
【課題を解決するための手段】
【０００８】
本発明は、基本色平面が定義され、該基本色平面のピクチャ単位についてテクスチャー・セグメンテーションが実行されて、該ピクチャ単位内で比較的同様／均一なテクスチャーの一つまたは複数の領域が決定され、該テクスチャー領域が、前記ピクチャ単位の残りの色平面の少なくとも一つに適用され、その残りの色平面の各領域は、基本色平面における対応する領域から線形に予測されるという点で、この認識を使っている。ピクチャ単位または画像単位はたとえばブロック、マクロブロック（MB）、フレームまたは完全なピクチャである。原理的には、これらのMBはいかなるサイズまたは形状を有することもできる。通例、MBは正方形であり、16×16ピクセルを有する。「領域」および「セグメント」が本稿では等価として使われていることを注意しておく。
【０００９】
ある側面では、各色平面について別個に画像単位レベルでビデオをエンコードする方法は、基本色平面を選択する段階と、画像単位の基本色平面をエンコードおよび再構成する段階と、再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行して少なくとも二つのテクスチャー・セグメントを決定する段階と、基本色について決定されたテクスチャー・セグメントを使って前記画像単位の他の色平面の少なくとも一つをテクスチャー・セグメントに分離する段階とを含む。さらなる段階は、テクスチャー・セグメントまたは領域のそれぞれについて、再構成された基本色平面と前記少なくとも一つの他の色平面との間の（輝度または強度の面での）線形相関を決定する段階と、前記画像単位の前記少なくとも一つの他の色平面のテクスチャー・セグメントにおけるピクセルを、前記画像単位の基本色平面の対応するテクスチャー・セグメントのピクセルから、それぞれのテクスチャー・セグメントについて得られた前記線形相関に基づいて予測する段階と、残差を決定する（たとえば、予測されたピクセルをもとのピクセルと比較し、その差を残差として決定することによる）段階と、前記残差および前記線形相関を定義する情報をエンコードする段階である。前記相関は、重み因子およびオフセットによって表現できるが、原理的には、線形相関を定義する他の値を使うこともできる。
【００１０】
基本色平面は、画像部分について、あるいは画像について、あるいは画像シーケンスについて選択されることができる。ある実施形態では、画像単位の基本色平面をエンコードする段階は、予測イントラ符号化を使う。もう一つの実施形態では、基本色平面は、再構成された、前にエンコード／デコードされた画像に基づいてインター符号化を使ってエンコードされる。
【００１１】
もう一つの側面では、画像単位レベル（たとえば、マクロブロック、フレームまたはピクチャ）で別個に諸色平面をエンコードするビデオ・エンコーダは、
画像単位、画像または画像シーケンスについて基本色平面を選択する選択器と、
画像単位の基本色平面をエンコードおよび再構成するコーデックと、
再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行するセグメンテーション・ユニットであって、少なくとも二つのテクスチャー・セグメントが決定される、セグメンテーション・ユニットと、
前記画像単位の他の色平面の少なくとも一つをテクスチャー・セグメントに分離する分離器であって、基本色について決定されたテクスチャー・セグメントが使われる、分離器と、
各テクスチャー・セグメントについて、再構成された基本色平面と前記少なくとも一つの他の色平面との間の（輝度または強度の）相関を決定する相関器であって、線形相関を定義する値が得られる、相関器と、
前記画像単位の前記少なくとも一つの他の色平面のテクスチャー・セグメントにおけるピクセルを、前記基本色平面の対応するテクスチャー・セグメントのピクセルから、この特定のテクスチャー・セグメントについて得られた線形相関を定義する前記値に基づいて予測する予測器を有し、残差を決定する弁別器、たとえば、前記他の色平面のもとのピクセルを予測されたピクセルと比較し、その差を残差として決定する比較器を有する予測符号化器と、
前記残差および前記線形相関を定義する情報をエンコードするエンコーダとを有する。
【００１２】
ある実施形態では、画像単位の基本色平面をエンコードおよび再構成する前記コーデックは、イントラ符号化を実行する。
【００１３】
もう一つの側面では、異なる色平面について別個に画像単位レベルでエンコードされているビデオ・データをデコードする方法であって、画像単位はたとえばブロック、マクロブロック、フレームまたはピクチャである、方法は、
画像単位のエンコードされた基本色平面のデータを含む第一のデータ・ブロックを、エンコードされたビデオ・データから抽出する段階と、
前記画像単位のエンコードされた第二の色平面のデータを含む第二のデータ・ブロックを、エンコードされたビデオ・データから抽出し、少なくとも二つの線形相関関数の重み因子およびオフセットを定義する相関データを、エンコードされたビデオ・データから抽出する段階と、
前記第一のデータ・ブロックをイントラ・デコードする段階であって、再構成された基本色平面が得られる、段階と、
再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行する段階であって、少なくとも二つのテクスチャー・セグメントが決定される、段階と、
基本色平面について決定されたテクスチャー・セグメントを使って前記画像単位の少なくとも第二の色平面を少なくとも二つのテクスチャー・セグメントに分離する段階と、
第二の色平面の前記少なくとも二つのテクスチャー・セグメントのそれぞれについて、再構成された基本色平面と前記第二の色平面との間の強度相関関数を、重み因子およびオフセットを定義する前記データから、決定する段階と、
前記第二の色平面の前記少なくとも二つのテクスチャー・セグメントのそれぞれを、前記基本色平面のそれぞれのテクスチャー・セグメントのピクセルから、そのセグメントについて決定されたそれぞれの相関関数を使って予測する段階と、
前記第二の色平面の前記画像単位を再構成する段階であって、前記第二のデータ・ブロックから抽出された残差データが前記第二の色平面の前記予測されたテクスチャー・セグメントと組み合わされる、段階とを含む。
【００１４】
ある実施形態では、前記画像単位のエンコードされたビデオ・データから抽出された第一のデータ・ブロックは、イントラ符号化された基本色平面のデータを含む。
【００１５】
もう一つの側面では、異なる色平面について別個に画像単位レベルでエンコードされているビデオ・データのビデオ・デコーダは、
画像単位のエンコードされた基本色平面のデータを含む第一のデータ・ブロックを、エンコードされたビデオ・データから抽出する第一の抽出手段と、
前記画像単位のエンコードされた第二の色平面のデータを含む第二のデータ・ブロックを、エンコードされたビデオ・データから抽出する第二の抽出手段と、少なくとも二つの相関関数の重み因子およびオフセットを定義する相関データを、エンコードされたビデオ・データから抽出する第三の抽出手段と、
前記第一のデータ・ブロックをイントラ・デコードする第一のコーデックであって、再構成された基本色平面が得られる、第一のコーデックと、
再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行するセグメンテーション・ユニットであって、少なくとも二つのテクスチャー・セグメントが決定される、セグメンテーション・ユニットと、
基本色平面について決定されたテクスチャー・セグメントを使って前記画像単位の少なくとも第二の色平面を少なくとも二つのテクスチャー・セグメントに分離するセグメンテーション適用ユニットと、
第二の色平面の前記少なくとも二つのテクスチャー・セグメントのそれぞれについて、再構成された基本色平面と前記第二の色平面との間の強度相関関数を、重み因子およびオフセットを定義する前記データから、決定する決定ユニットと、
前記第二の色平面の前記少なくとも二つのテクスチャー・セグメントのそれぞれを、前記基本色平面のそれぞれのテクスチャー・セグメントから、そのセグメントについて決定されたそれぞれの相関関数を使って予測する予測ユニットと、
前記第二の色平面の前記画像単位を再構成する再構成ユニットであって、前記第二のデータ・ブロックから抽出された残差データが前記第二の色平面の前記予測されたテクスチャー・セグメントと組み合わされる、再構成ユニットとを有する。
【００１６】
ある実施形態では、前記画像単位のエンコードされたビデオ・データから抽出された第一のデータ・ブロックは、イントラ符号化された基本色平面のデータを含み、第一のコーデックはイントラ・デコードのためのデコーダを有する。
【００１７】
本発明の有利な実施形態は従属請求項、以下の記述および図面において開示される。
【図面の簡単な説明】
【００１８】
本発明の例示的な実施形態は、付属の図面を参照して記載される。
【図１】MB中のR成分とG成分の間の例示的な相関を示す図である。
【図２】例示的な16×16のMBのテクスチャー・セグメント分割されたG、RおよびB色平面を示す図である。
【図３】エンコードのブロック図である。
【図４】MBレベルまたはフレーム・レベルでのB平面のエンコードのフローチャートである。
【図５】エンコーダの構成を示す図である。
【図６】代替的なエンコーダの構成を示す図である。
【図７】デコーダの構成を示す図である。
【図８】代替的なデコーダの構成を示す図である。
【発明を実施するための形態】
【００１９】
ピクチャのG、R、B成分の間にはかなりのテクスチャー冗長性が存在する。それらの色成分におけるテクスチャー分布は互いにきわめて似通っているからである。たいていの場合、単一ブロック内のテクスチャーは大きく異なり、よってブロック内にはいくつかの異なるテクスチャー領域が存在する。たとえば既存のJVT規格はフレームをMBに分割し、各MBを個々にエンコードするので、我々は、MBベースで色成分の間の相関を調べる。図１は、高精細度ビデオ・フレームにおける二つの例示的なMB（これはよく知られた「トラフィック」シーケンスの最初のフレームにおける２８番目および２６番目のMBである）におけるR成分とG成分の間の色間相関を示している。このMBのR成分およびG成分は高度に相関しており、主として二つの相関グループc1,c2のうちの一つに従う。このMB内のデータは、異なるテクスチャー分布に基づいて、主として異なる傾きをもつ二つの部分に分割される。加えて、各部分が、R成分とG成分の間に強い相関をもつことが見て取れる。本発明は、基本色成分を使って他の成分を予測することによって、このテクスチャー冗長性の多くを除去する。予測は、イントラ符号化フェーズの間に、ある色成分内の各テクスチャー領域について、別個の重み付けされたパラメータを使ってもよい。よって、本発明は、色空間変換によって生成される色歪みを避け、（通例三つの）色成分の間に存在するテクスチャー冗長性を除去し、異なる色成分のテクスチャー相関をフルに利用する。
【００２０】
以下の実施形態では、本発明は、RGB  4:4:4フォーマットのためのイントラ・フレーム符号化へのテクスチャー・ベースの適応色間予測アプローチを提案する。これは、緑（G）成分を基本色成分として扱い、G成分から赤および青（R/B）成分を予測する。予測は、異なるテクスチャー領域について異なる重み付け因子を使う。提案される方式は、種々のレベルで、たとえば、MB（16×16ピクセルのブロック）レベルやフレーム・レベルで実装できる。本発明は、8×16、32×32、64×64などといった他のMBサイズで使うこともできることを注意しておく。ピクチャ単位は8×8ピクセルより小さくするべきではない。そうすると、以下に記載されるセグメンテーションがあまりに困難になってしまう。
【００２１】
ある実施形態では、G  MBは、既存のJVT規格においてMBレベルについて使用されるのと同じイントラ予測方法に従ってエンコードされる。G  MBをエンコードし、再構成したのち、再構成されたG  MBはテクスチャー・セグメンテーションを実行するために使われ、一つまたは複数のテクスチャー領域が生成される。その後、RおよびB  MBがG成分と同じテクスチャー領域に分離され、各テクスチャー領域におけるピクセルが、対応するGテクスチャー領域内のピクセルから予測される。予測は、各テクスチャー領域について個々に決定される特定の予測重み付け因子を使う。
【００２２】
もう一つの実施形態では、G平面が、既存のJVT規格においてフレーム・レベルについて使用されるのと同じイントラ予測方法に従ってエンコードされる。再構成されたG平面
（これはフレームの大きさをもつ）はテクスチャー分布に基づいて、適応的な数の領域に分離される。その後、Rおよび／またはB平面（フレームの大きさをもつ）がG平面と同じテクスチャー領域に分離される。次いで、（MBの大きさの）R/Bブロックのテクスチャー領域におけるピクセルが、（MBの大きさの）Gブロックの対応する領域内のピクセルから予測される。
【００２３】
すなわち、テクスチャー・セグメンテーションは、MBまたはフレームのようなさまざまなピクチャ単位に対して実行されうる。それは、エッジ検出および／または他のよく知られた画像解析方法を使ってもよく、一つまたは複数のテクスチャー領域を生成する、あるいはむしろ同定する。
【００２４】
以下では、MBレベルでのテクスチャー・セグメンテーションの実施形態が記載される。色成分は例示的には、H.264/AVCにおけるように、G平面、B平面およびR平面の順にエンコードされる。すなわち、Gが基本色平面である。他の実施形態では、他の逐次順が可能である。いくつかのMBからなる基本色平面は、第一フェーズにおいて、H.264/AVCにおいて指定されるイントラ予測方法に従ってエンコードされる。その後、対応する再構成されたG  MBに対してテクスチャー・セグメンテーションが行われる。これで、GおよびR平面と同数のMBからなるB平面がエンコードされる準備ができる。対応するB  MBが現在MBとして選択される。「対応する」ピクセル、ブロックまたはMBというとき、現在のピクセル、ブロックまたはMBと同じ座標をもつピクセル、ブロックまたはMBを意味する。
【００２５】
次いで、現在のB  MBはテクスチャー領域に分離される。すなわち、MBの各ピクセルは一つの領域に関連付けられる。これはたとえば、基本色平面における異なるテクスチャー領域に基づいて、諸領域を異なる領域フラグでマークすることによって実装できる。たとえば、図２のａ）に示されるように、現在のG  MBがテクスチャー・ベースのセグメンテーション後にK個の領域に分離され、各領域が識別子R1,R2,…,Rkによってマークされた場合、図２のｂ）に示される一実施形態では、対応するBおよび／またはR  MBは同じ諸領域に分離される。他の実施形態では、基本色平面のセグメンテーションは、一つまたは複数の他の色平面における段階的な改善のための基礎として使われる。そうした改善は追加的な、簡略化されたまたは完全なテクスチャー解析を必要とすることがある。ある単純な実施形態では、図２のｃ）に示されるように、すべての色平面が基本色平面のセグメンテーションをテクスチャー領域として直接再利用する。たとえば、第一の領域R1はG平面R1g、B平面R1bおよびR平面R1rにおいて同じピクセルをカバーする。
【００２６】
提案される予測方式は、代替的に、二つ以上のレベルで、少なくともMBレベル（16×16ピクセル）およびフレーム・レベル（フレーム・サイズ）で、実装されることができる。図３は、提案されるチャネル間予測アーキテクチャのいくつかの側面のブロック図を示している。たとえば、Gが基本色平面として選択され、G  MBが普通のH.264イントラ予測を使ってイントラ符号化され、次いで再構成される。エンコードされたMBはDCTのようなさらなるエンコード段階に渡される一方、再構成された基本色平面はテクスチャー・ベースのセグメンテーション７２にも入力される。このセグメンテーションの結果、上で説明した諸領域が生じる。テクスチャー・ベースのセグメンテーション７２はその入力として再構成された基本色平面のMBまたは完全なフレームを得る。ある実施形態では、異なる入力部分の間で選択を行うためにスイッチ・ユニットSWが設けられる。次いで、セグメンテーションは他の色平面B、Rに適用され、該他の色平面について、下記のように、テクスチャー・ベースのイントラ予測が実行される。
【００２７】
上述したように、異なる色平面の間の相関はほぼ線形であると考えられる。その相関は線形関係によって表現され、これが線形予測に使われる。そのような線形関係は次の一般的な形をもつ。
【００２８】
b＝s×g+o        (1)
これは、たとえば青ピクセルbの強度は対応する緑ピクセルg（これがここでは基本色平面である）の強度に傾き（slope）sを乗算し、加算オフセット（offset）oを加えたものによって表現できることを意味している。青のピクセルのエンコードにおいては、領域毎の個々の傾きおよびオフセットの値、たとえば「1」と表される青平面領域についてsb1およびob1を用いて基本色平面から予測が実行される。次いで青のピクセルは、残差、すなわち予測されたピクセルと実際のピクセルとの間の差を決定することによってエンコードされる。青のピクセルの再構成のためには、対応する再構成された基本色ピクセル、残差および現在セグメントの傾きおよびオフセットを有することで十分である。
【００２９】
b(i,j)およびbp(i,j)をそれぞれもとの青のピクセルおよびその予測子とする。次の線形モデルが現在のB  MBのピクセル値を予測するために使用される。
【００３０】
【数１】
0005547301.tif 000002
ここで、grec(i,j)は対応するG  MBの再構成されたピクセルである。ここで、sBkおよびoBkは、現在のB  MBにおける領域kについての線形モデルの傾きとオフセットのパラメータを表す。青のMBとその予測子との間の残差エネルギーJは次のように定義される。
【００３１】
【数２】
0005547301.tif 000003
ここで、Jkは、現在の青のMBにおける領域kのピクセルとその予測子の間の残差エネルギーである。最小化された残差エネルギーJは、各Jkを最小化することによって達成できる。Jkを最小化するために偏微分を使うことによって、最適な傾きsBkおよびオフセットoBkは次のように計算される。
【００３２】
【数３】
0005547301.tif 000004
ここで￣付きのbkおよび￣付きのgreckはそれぞれ、領域kに属する再構成された（reconstructed）緑および青のピクセルの平均またはアベレージである。
【００３３】
現在の青のMBについてのテクスチャー領域または領域境界の数についての情報は、デコーダに伝送される必要はない。デコーダにおいて、再構成された基本色成分に対して同じセグメンテーション・プロセス（および同じ領域命名アルゴリズム）を反復できるからである。しかしながら、現在の青のMBの傾きおよびオフセットはいずれも、デコーダでは入手可能でないので、デコーダに伝送される必要があるように思われる。ある実施形態では、傾きおよびオフセットはデコーダに伝送される。
【００３４】
もう一つの実施形態では、予測子の精度を劣化させることなくオフセットについての符号化ビットを節約するため、
【数４】
0005547301.tif 000005
の代わりにそれぞれ
【数５】
0005547301.tif 000006
が用いられる。ここで、
【数６】
0005547301.tif 000007
は現在の青のMBおよび対応する緑のMBにおける領域kのH.264イントラ予測によって生成されるピクセル予測子の平均値である。したがって、
【数７】
0005547301.tif 000008
を得るために、現在の青のMBに対して、提案されるテクスチャー・ベースのイントラ予測が行われる前に、H.264イントラ予測を行う必要がある。Gブロックとは異なり、B/Rブロックについてはレート歪み最適化（RDO:  rate  distortion  optimization）は必要とされない。G成分とB/R成分の間のテクスチャー分布の類似性のため、B/Rブロックは対応するG  MBと同じMBモードおよびイントラ予測モードを使うと想定されるからである。よって、式(5)は次のように書き換えられる。
【００３５】
【数８】
0005547301.tif 000009
したがって、式(2)は次のように再定義される。
【００３６】
【数９】
0005547301.tif 000010
これは、ある実施形態では、提案されるテクスチャー・ベースのチャネル間イントラ予測を使ってG成分からB成分を予測するために使われる線形モデルである。
【００３７】
同様に、赤成分の予測子は次式によって得られる。
【００３８】
【数１０】
0005547301.tif 000011
もとのピクセルと式(8)によって計算されたその予測子との間の差を計算することによって、最終的な残差を得ることができる。イントラ予測後の後続の作業は、H.264に記載されるプロセスと同じである。一般に、イントラ予測プロセスは、異なる非基本色成分に、逐次的にまたは同時に適用されることができる。
【００３９】
上記の解析に基づいて、B/R  MBのMB型、イントラ予測モードまたはモデル・オフセットのいずれも、ビットストリーム中に符号化される必要はなく、B/R  MBの傾きだけがデコーダに伝送される必要がある。これは多くの符号化ビットを節約する。ここで、オフセットはビットストリームに、MB層情報としてエンコードされることができる。
【００４０】
以下では、フレーム・レベルでの予測のための実施形態が説明される。フレーム・レベルでの提案される方式は、他の色平面の対応するMBをエンコードする前に基本色平面MBにテクスチャー・ベースのセグメンテーションが行われる上記のMBレベルでの方式と同様である。フレーム・レベルでは、他の色平面をエンコードする前に、再構成された基本色フレーム（たとえばGフレーム）に画像セグメンテーションが行われる必要がある。図４のｂ）では、フレーム・レベルでのブロック・サイズはフレーム・サイズであり、平面全体の傾き情報はスライス層情報としてビットストリーム中にエンコードされる。MBレベルおよびフレーム・レベルで非基本色平面（たとえばB平面）をエンコードするフロー・プロセスを図４のａ）およびｂ）に示す。
【００４１】
MBレベルを示す図４のａ）では、プロセスは、基本色平面（たとえばG平面）の再構成されたMBのセグメンテーションをもって始まる。次いで、通常のH.264イントラ予測が実行される。ここで、エンコード・モードが決定され、使用される。対応するB平面MBについては、G平面MBについて決定され、使用されたのと同じエンコード・モードが使用される。次いで、上記のようにしてテクスチャー・ベースのイントラ予測が行われ、結果として得られる残差がH.264/AVCでのように通常の仕方でエンコードされる。違いとして、傾きも出力ビットストリーム中に書き込まれる。ある実施形態では、オフセットもビットストリーム中に書き込まれる一方、別の実施形態では、デコーダにおいてオフセットを生成できるようオフセットを定義する残差データがビットストリーム中に書き込まれる。次いで、プロセスは次のB平面MBに戻る。
【００４２】
図４のｂ）は、フレーム・レベルでエンコード・プロセスのフローチャートを示している。再構成された基本色平面（すなわちG平面の画像全体）に対してセグメンテーションが行われたのち、傾きが決定され、ビットストリーム中に書き込まれる。傾き値のそれぞれは、完全な画像のある領域について有効である。そうして初めて、B平面についてH.264イントラ予測が開始される。ここで、各MBについて、基本色平面の対応するMBについて決定され、使用されたのと同じエンコード・モードが使われる。残りの段階は上記の通りである。
【００４３】
上記の例では常にG平面が基本色平面として使われているが、原理的には、いかなる色平面が基本色平面として選択されることもできる。また、第二および第三の色平面の選択は可変であってもよい。エンコーダは、画像単位、画像または画像シーケンスについての基本色平面を選択する暗黙的または明示的な選択器を有する。すなわち、ある色平面が、基本色平面であると、定義によってまたは制御情報（たとえばフラグ）によってあらかじめ定義されていてもよいし、あるいは一つの色平面が適応的に基本色平面であると選択されてもよい。そのような適応的な選択は利用可能な色平面を、好ましくはフレーム・レベルまたはシーケンス・レベルで解析し（５２１、５２２）、他より多くのテクスチャー領域、オブジェクトまたはエッジをもつ色平面を決定し（５２３）、それを基本色平面として選択する。図５のｂ）を参照されたい。他よりも少ないテクスチャー領域、オブジェクトまたはエッジをもつ別の色平面が「最後の」色平面として選択される。たとえば、ある実施形態では、最大数のテクスチャー領域を赤の色平面にもち、最小数のテクスチャー領域を青の色平面にもつシーケンスは、Rを基本色平面として、Gを第二の色平面として、Bを第三の色平面として使ってエンコード／デコードされることができる。B平面はR平面またはG平面のいずれかから予測される。色平面逐次順のそれぞれの指示は、ビデオ信号中にエンコードされる。次のシーケンスについては、色平面逐次順は変えられてもよい。
【００４４】
図５のａ）は、本発明のある側面に基づくエンコーダの第一の実施形態を示している。上の分枝はここではGである基本色平面を表す。基本色平面はエンコーダ５１においてエンコードされ、再構成ユニット５２において再構成される。エンコードされた基本色平面gencは出力される準備ができている一方、再構成された基本色平面が、再構成された画像単位の基本色平面に対してテクスチャー・セグメンテーションを実行するためにセグメンテーション・ユニット５３に与えられる。ここで、少なくとも二つのテクスチャー・セグメントが決定される。次いで、分離器５４ｂ、５４ｒが基本色平面セグメントを適用して、画像単位の他の色平面をテクスチャー・セグメントに分離する。この適用において、ある実施形態では、基本色について決定されたテクスチャー・セグメントが直接再利用され、別の実施形態ではわずかに修正される。この修正はいくぶんかの追加的な領域情報（たとえば異なる色平面において異なる領域に属するピクセルまたはピクセル・ブロックの位置）が伝送されることを要求する。
【００４５】
相関器５５ｂ、５５ｒは、テクスチャー・セグメントのそれぞれについて、再構成された基本色平面ともとの他の色平面との間の線形の（輝度または強度の）相関関数を決定する。線形相関は、傾きおよびオフセットのような、それを定義する値によって表現できる。図５のａ）では、三つの相関関数corB1、corB2、corB3が青平面の三つのセグメントについて見出されており、それぞれ傾きおよびオフセットのパラメータsB1、sB2、sB3、oB1、oB2、oB3によって特徴付けられる。同様の結果がR平面について得られる。ここで、線形相関は通例近似でしかないが、予測精度を実質的に改善するために十分良好であることが見出されていることを注意しておく。
【００４６】
さらに、エンコーダは、現在の画像単位の他の色平面のテクスチャー・セグメントにおけるピクセルを、基本色平面の対応するテクスチャー・セグメントのピクセルから実際に予測し、残差ピクチャを生成する予測符号化器５６ｂ、５６ｒを有する。予測のために、これはセグメント分割された色平面画像（たとえば、各MBについてのB平面入力画像およびセグメント情報）、予測のためのセグメント毎の相関関数またはこの特定のテクスチャー・セグメントについて得られた値、および予測基準としての基本色平面の再構成された画像を使う。ある実施形態では、特定のセグメントについての予測は、線形相関を定義する、この特定のテクスチャー・セグメントについて得られた値に基づいて実行される。ある実施形態では、エンコーダは、残差を決定するための弁別器、たとえば他の色平面のもとのピクセルを予測されたピクセルと比較してその差を残差として決定する比較器を有する。さらに、エンコーダは、前記残差と、前記線形相関を定義する情報、たとえば
【数１１】
0005547301.tif 000012
とをエンコードするためのエンコード・ユニット５７ｂ、５７ｒを有する。図５のａ）に示したエンコーダは、各色平面について別個のユニットを使っているが、いくつかのユニットは二つ以上の異なる色平面について使われてもよい。該異なる色平面は同時に処理されても逐次的に処理されてもよい。それに依存して、いくつかのユニットまたはユニット内のいくつかのモジュールが節約されうる。図６は、エンコーダの第二の実施形態を示している。ここでは、たった一つの分離器（多平面分離器）５４が、二つの色平面を分離するために基本色平面セグメントを適用しており、複数平面相関器６５が上記の相関を二つの色平面におけるテクスチャー・セグメントのそれぞれについて実行し、複数平面予測符号化器６６が二つの色平面のテクスチャー・セグメントにおけるピクセルを予測し、複数平面エンコード・ユニット６７が残差および線形相関を定義する情報をエンコードする。
【００４７】
以下では、図７に示されるデコーダの第一の実施形態について述べる。第一の段階（図７には示さず）は基本色平面を決定することである。これは、あらかじめ定義された色平面を選択する、構成設定において基本色平面を探し出す〔ルックアップする〕またはデコードされるべきビデオ信号と一緒に受領される識別子を評価することによって行われる。こうして、基本色平面選択器は、暗黙的に用いられてもよいし、明示的なユニットであってもよい。この例では、緑Gが基本色平面である。受領された基本色平面は、デコードおよび再構成ユニット７１において、通常通りデコードされ、再構成される。ある実施形態では、デコードおよび再構成ユニット７１は、単一色平面のための通常のH.264/AVCイントラ・デコーダである。再構成された基本色平面grecはさらなる処理段階のために出力され、またセグメンテーション・ユニット７２においてセグメントに分割される。
【００４８】
得られたセグメントは、エンコーダ側でセグメンテーション・ユニット５３、６３において得られたものと同じである。同じセグメンテーション・アルゴリズムおよびセグメント命名アルゴリズムが実行されるからである。いくつかの実施形態では、これらのアルゴリズムはあらかじめ定義されている。他の実施形態では、セグメンテーション・アルゴリズムは適応的であり、アルゴリズムを定義もしくは微調整するパラメータも受領される。さらに、他の色平面に関係するデータが受領される。各色平面について、これらのデータは少なくとも残差およびいくつかの相関関数のパラメータsB1、sB2、sB3、oB1、oB2、oB3、sR1、sR2、sR3、oR1、oR2、oR3である。これらのパラメータから、それぞれの相関関数corB1、corB2、corB3、corR1、corR2、corR3が、パラメータから相関関数を決定する相関関数生成器７３ｂ、７３ｒにおいて再構成設定される。ある実施形態では、受領された残差はたとえば任意的なエントロピー・デコーダ７５ｂ、７５ｒにおいてデコードされる。一方、別の実施形態では、残差は明示的なデコードは必要としない。
【００４９】
残差、基本色平面セグメンテーションgsegおよび相関関数corB1、……、corR3から、再構成ユニット７６ｂ、７６ｒにおいて、それぞれの色平面が、各セグメントについてそれぞれの相関関数を使って、セグメント毎に再構成される。
【００５０】
図８は、デコーダの第二の実施形態を示している。ここでは、上で説明したのと同じ理由により、処理ユニットまたはモジュールが異なる色平面の間で共有されている。
【００５１】
ある実施形態では、基本色平面のセグメンテーション・マップgsegが他の色平面両方brsegのために使用される。それにより、再構成ユニット８６への入力として一つのセグメンテーション・マップしか必要とされない。別の実施形態では、上で説明したように、互いに異なる別個のセグメンテーション・マップbseg、rsegが使用される。
【００５２】
ある実施形態では、他の色平面の出力と時間的に相関付けられるよう基本色平面出力を遅延させるために、ビデオ・エンコーダはバッファのような遅延要素を有する。
【００５３】
同様に、ある実施形態では、他の色平面の出力と時間的に相関付けられるよう基本色平面出力を遅延させるために、ビデオ・デコーダはバッファのような遅延要素を有する。
【００５４】
いくつかの実施形態では、基本色平面のエンコードはイントラ符号化を使う。他の実施形態では、基本色平面のエンコードは、たとえば他のピクチャの基本色平面にも基づく、インター符号化を使ってもよい。これは、より早いまたはより遅いフレーム、異なるビューの画像などであってもよい。
【００５５】
いくつかの実施形態は、エンコードされた基本層と一つまたは複数の残差を組み合わせてエンコードされたビデオ信号にする最終段階を含む。
【００５６】
以下の実施形態を含む本稿に記載される各実施形態は、単独で、またはそれらの実施形態のうちの一つまたは複数の他の任意の実施形態と組み合わせて（それらの実施形態が異なる代替であるのでない限り）使うことができる。
【００５７】
基本色平面をデコードおよび再構成した後、デコーダは、エンコーダと同じセグメンテーションを実行し、同じ結果に到達する。したがって、ある実施形態では、明示的なセグメンテーション情報はエンコードされたりデコードされたりしない。
【００５８】
ある実施形態では、選択する段階において、あらかじめ定義された色平面が基本色平面として使われる。ある実施形態では、あらかじめ決定された色平面は、緑（G）平面のような、他の平面よりも典型的には多くのテクスチャー情報を含む平面である。別の実施形態では、基本色平面は適応的に選択され、基本色平面の選択は、少なくとも二つの色平面のテクスチャー解析を含む。テクスチャー解析は、前記少なくとも二つの色平面の対応するセグメントの間の（輝度、強度またはテクスチャーの）相関を決定することを含む。
【００５９】
ある実施形態では、画像単位の他の二つの色平面は、基本色について決定されたのと同じテクスチャー・セグメント（すなわち、厳密に同じ座標をもつセグメント）に分離される。この単純化は、大半の画像について適用可能であり、セグメンテーションを行う必要があるのは基本色平面についてのみであるという利点がある。
【００６０】
もう一つの実施形態では、画像単位の他の二つの色平面は、基本色について決定されたのと似ているが厳密に同じではないテクスチャー・セグメントに分離される。これはたとえば、基本色平面ではない前記少なくとも一つの色平面についての洗練セグメンテーションによって達成できる。ここで、基本色セグメンテーションが段階的な改善のための出発点となる。よって、追加的な処理努力を代償として、より高い圧縮率が達成できる。
【００６１】
ある実施形態では、画像単位の他の二つの色平面の少なくとも一つについては、基本色平面の二つ以上のテクスチャー・セグメントが一つに組み合わされる。その結果、基本色平面について決定されたより少数のテクスチャー・セグメントが生じる。
【００６２】
ある実施形態では、相関器は、色平面の間の線形相関だけを判別でき、そのような線形相関を定義する値を提供する。もう一つの実施形態では、相関器は色平面の間のより複雑な相関を判別でき、そのようなより複雑な相関を定義する値を提供する。もう一つの実施形態では、相関器は種々の相関型の一つを決定することもでき、追加的に、その相関型の指標を提供する。
【００６３】
ある実施形態では、前記相関の重み因子およびオフセットは、基本色セグメントと他の色平面の対応するセグメントとの間の残差エネルギーを最小化することによって得られる。もう一つの実施形態では、色平面についての重み因子およびオフセットを得るために他の方法が使われる。たとえば、時間的に先行する画像、異なるビューの画像などから得られた値の再利用である。この最後の二つの実施形態は、たとえば異なる色平面のために組み合わされてもよい。
【００６４】
ある実施形態では、テクスチャー・セグメントのそれぞれは、割り当てられた領域識別子を得る。ここで、対応するテクスチャー・セグメントは同じ領域識別子をもつ。領域識別子は、出力信号におけるエンコードされたデータのブロックがどのセグメントに属するかを示すために使われることができる。
【００６５】
ある実施形態では、重み因子およびオフセットを定義する情報は、色平面毎の傾き値、予測子bHPk、gHPkおよびオフセットoB,kの残差を含み、ここで、オフセットは前記予測子bHPk、gHPkおよび基本色に基づく予測誤差である。ある実施形態では、傾き値sB,kは、スライス・レベル、フレーム・レベルまたはピクチャのエンコードの場合、層〔レイヤー〕制御情報、たとえばスライス層情報として含められる。
【００６６】
ある実施形態では、第一の予測子gHPkは、再構成された基本色テクスチャー・セグメントにおけるピクセルの平均値であり、第二の予測子bHPkは、前記他の色の対応するテクスチャー・セグメントにおけるピクセルの平均値である。
【００６７】
ある実施形態では、テクスチャー・セグメンテーションはエッジ検出器および単純な領域成長法を用いて行われる。任意のエッジ検出方法を使用できる。よりよいエッジ検出はより高い圧縮率につながる。ある実施形態では、エッジ検出のためにソーベル演算子が使われる。
【００６８】
ある実施形態では、マクロブロック（MB）は16×16のピクセルをもつ。もう一つの実施形態では、MBは16×16より多くの（または少なくとも8×8より多くの）ピクセルをもつ。MBは正方形でなくてもよい。
【００６９】
本発明の一つの利点は、エンコードおよびデコードの間に、再構成されたピクチャ単位、たとえばMBに対して同じテクスチャー・セグメンテーションを実行することによって領域が暗黙的に与えられるので、領域情報をエンコードまたはデコードする必要がないということである。
【００７０】
本発明は、ビデオ・エンコードおよびデコードのためだけでなく、画像デモザイキングにおいても使用できる。画像デモザイキングというのは、カラー・フィルタ・アレイを重ねられたイメージ・センサーから出力される不完全な色サンプルから、完全なカラー画像を再構成するために使われるデジタル画像プロセスである。さらに、本発明は、誤り隠蔽およびデータ保護のために使うこともできる。
【００７１】
本発明の好ましい実施形態に適用される本発明の基本的な新たな特徴を示し、説明し、指摘してきたが、本発明の精神から外れることなく、開示される装置の形および詳細においてまたその動作において、記載される装置および方法においてさまざまな省略および代替および変更が当業者によってなされてもよいことは理解されるであろう。本発明は、RGB色平面に関して開示されているが、当業者は、本稿に記載される方法および装置が、空間的な冗長性を含む他の型の色平面にも適用されうることを認識するであろう。同じ結果を達成するために実質的に同じ仕方で実質的に同じ機能を実行する要素のあらゆる組み合わせは本発明の範囲内であることが明白に意図されている。記載されるある実施形態から別の実施形態への要素の転用も完全に意図されており、考えられている。
【００７２】
本発明は純粋に例として記載されてきたのであり、本発明の範囲から外れることなく細部の修正ができることは理解されるであろう。本明細書および適切な場合には請求項および／または図面において開示される各特徴は、独立して、または任意の適切な組み合わせにおいて設けられてもよい。諸特徴は、適切な場合には、ハードウェア、ソフトウェアまたは両者の組み合わせとして実装されてもよい。接続は、適宜、無線接続または必ずしも直接もしくは専用ではない有線接続として実装されうる。請求項に参照符号が現れたとしても、単に例解のためであって、特許請求の範囲を限定する効果はもたないものとする。
【図１】
0005547301.tif 000016
【図２ａ）】
0005547301.tif 000017
【図２ｂ）】
0005547301.tif 000018
【図２ｃ）】
0005547301.tif 000019
【図３】
0005547301.tif 000020
【図４】
0005547301.tif 000021
【図５】
0005547301.tif 000022
【図６】
0005547301.tif 000023
【図７】
0005547301.tif 000024
【図８】
0005547301.tif 000025