(57)【特許請求の範囲】
【請求項１】
ビデオ画像解凍システムにおけるカラービデオ画像を解凍する方法であって、
圧縮されたカラービデオ画像を受け取り、
輝度チャネルに対する第一の量子化パラメータ値をアクセスする、
ことを含む方法において、
第一の量子化パラメータバイアス値を受け取り、
第二の量子化パラメータバイアス値を受け取り、
前記第一の量子化パラメータバイアス値を前記輝度チャネル（Ｙ）に対する前記第一の量子化パラメータ値に加えることにより、前記カラービデオ画像の第一のクロマチャネル（Ｕ）に対する第二の量子化パラメータ値を決定し、
前記第二の量子化パラメータバイアス値を前記輝度チャネル（Ｙ）に対する前記第一の量子化パラメータ値に加えることにより、前記カラービデオ画像の第二のクロマチャネル（Ｖ）に対する第三の量子化パラメータ値を決定し、
前記輝度チャネル（Ｙ）に対する前記第一の量子化パラメータ値、前記第一のクロマチャネル（Ｕ）に対する前記第二の量子化パラメータ値、及び、前記第二のクロマチャネル（Ｖ）に対する前記第三の量子化パラメータ値を用いて、前記圧縮されたビデオ画像を解凍する、
ことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記第一の量子化パラメータバイアス値は、各ピクチャー群（ＧＯＰ）、フレーム及び画像領域のうちの少なくとも一つに対して受け取られる、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ圧縮に関し、詳細には、ＭＰＥＧ等のビデオ圧縮システムにおいて圧縮画像のクロマ（chroma）情報を改良するための方法、システム、コンピュータプログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧの背景
ＭＰＥＧ−２およびＭＰＥＧ−４は、画像シーケンスをよりコンパクトな符号化データの形で表わす効率的な方法を提供するビデオシンタックスを定義する国際ビデオ圧縮標準規格である。符号化ビットの言語は、「シンタックス」である。例えば、僅かなトークンでサンプルの全ブロックを表すことができる（例えば、ＭＰＥＧ−２では６４サンプル）。両方のＭＰＥＧ標準規格には、復号化（再構成）処理も記述されており、符号化ビットを、コンパクトな表現から元のフォーマットの近似画像シーケンスへ写像する。例えば、符号化ビットストリーム内のフラグは、後続のビットを、離散コサイン変換（ＤＣＴ）アルゴリズムで復号化する前に、予測アルゴリズムで先に処理すべきかどうかを知らせる。復号化処理を含むアルゴリズムは、これらのＭＰＥＧ標準規格により定義されているセマンティックスにより規定されている。このシンタックスは、空間冗長性、時間冗長性、一様な動き、空間マスキング等の共通のビデオ特性を活用するように適用され得る。実際、これらＭＰＥＧ標準規格は、データフォーマットはもとよりプログラミング言語も定義している。ＭＰＥＧデコーダは、入力されるデータストリームを解析し、復号化できなければならないが、データストリームが対応するＭＰＥＧシンタックスに準拠している限り、広く多様な可能なデータ構造および圧縮技法を用いることができる（セマンティックスが整合性をもたないために、技術的には標準規格から逸脱することはあるが）。代替シンタックス内に必要なセマンティックスを持つことも可能である。
【０００３】
これらＭＰＥＧ標準規格は、イントラフレーム（フレーム内）およびインターフレーム（フレーム間）法を含む多様な圧縮法を用いる。ほとんどの映像シーンでは、動きが前景において生じている間、背景は比較的静止したままである。背景が動くこともあるが、多くのシーンは冗長である。これらＭＰＥＧ標準規格は、「イントラ」フレームまたは「Ｉフレーム」と呼ばれる基準フレームを作成することにより圧縮を開始する。Ｉフレームは、他のフレームを参照せずに圧縮されるので、フレーム全体の映像情報を含んでいる。Ｉフレームは、ランダムアクセスのためのエントリーポイントをデータビットストリームに提供するが、中程度にしか圧縮できない。Ｉフレームを表すデータは、１２から１５フレーム毎にビットストリームに配置されるのが普通である（状況によっては、Ｉフレーム間にもっと広い間隔を設けることも有用である）。従って、基準Ｉフレーム間にあるフレームの僅かな部分だけが、両側を挟むＩフレームと異なるので、その画像の差分だけが捕捉され、圧縮され、そして格納される。２種類のフレームが、かかる差分のために用いられる。すなわち、予測フレームつまりＰフレーム、および双方向補間フレームつまりＢフレームである。
【０００４】
Ｐフレームは、一般に過去のフレーム（Ｉフレームまたは以前のＰフレームのいずれか）を参照して符号化され、一般には後続のＰフレームに参照されて用いられる。Ｐフレームはかなり高い圧縮を受ける。Ｂフレームは、最も高い圧縮量を提供するが、符号化されるために過去と未来の両参照フレームを必要とする。標準圧縮技術で双方向フレームが参照フレームとして用いられることはない。
【０００５】
マクロブロックは、画像ピクセルからなる領域である。ＭＰＥＧ−２では、マクロブロックは、８×８のＤＣＴブロック４つを集めた１６×１６ピクセルであり、Ｐフレームについては１つの動きベクトル、Ｂフレームについては１つまたは２つの動きベクトルを伴う。Ｐフレーム内のマクロブロックは、イントラフレームまたはインターフレーム（予測フレーム）符号化のいずれかを用いて個別に符号化され得る。Ｂフレーム内のマクロブロックは、イントラフレーム符号化、順方向予測符号化、逆方向予測符号化、または、順方向および逆方向の両方向（すなわち、双方向補間）予測符号化を用いて個別に符号化され得る。僅かに異なってはいるが類似の構造が、ＭＰＥＧ−４ビデオ符号化で用いられている。
【０００６】
符号化されると、ＭＰＥＧデータビットストリームは、一連のＩ、ＰおよびＢフレームを備える。シーケンスはＩ、ＰおよびＢフレームのほとんどいかなるパターンを構成してもよい（それらの配置に多少の意味的制限はある。）。しかしながら、産業上の実施においては、一定のパターン（例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ）を有することが通常である。
【０００７】
ＭＰＥＧ色空間解像度
ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４の全ては圧縮のためにＹ、Ｕ、Ｖ色空間を用いる。輝度方程式の選択はあるが、典型的なＲＧＢ（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ）とＹＵＶ表現間の変換は
Ｙ＝．５９Ｇ＋．２９Ｒ＋．１２Ｂ
Ｕ＝Ｒ−Ｙ
Ｖ＝Ｂ−Ｙ
と表される。緑に対する輝度Ｙの係数は、表色系に依存して０．５５から０．７５まで及ぶ。赤に対する係数は０．２から０．３、青に対する係数は０．０５から０．１５に及ぶ。
【０００８】
線形信号に対して用いることを意図された線形演算子である行列の変換として、この変換は計算することができる。しかしながら、この簡潔な変換は、非線形ビデオ空間におけるＭＰＥＧの１、２、４で実行され、様々な不自然な結果や問題を生じている。
【０００９】
より高い圧縮を達成するために、ＵとＶのクロマチャネルの解像度を減少することは、ＭＰＥＧにおいて標準的である。もっとも一般的な解像度の減少法は、垂直と水平の両方向に半分の解像度を用いることである。ＭＰＥＧ−２は、水平方向の半分の解像度と同様に、全解像度のクロマに対応する。しかしながら、もっとも一般的に用いられるＭＰＥＧ−２のプロファイルである、メインレベルのメインプロファイル（ＭＰ＠ＭＬ）とハイレベルのメインプロファイル（ＭＰ＠ＨＬ）は水平方向および垂直方向に半分の解像度を用いる。ＭＰＥＧ−４のバージョン１および２は垂直方向および水平方向に半分の解像度を用いる。全クロマ解像度は４：４：４と、水平方向半分のクロマ解像度は４：２：２と、垂直方向および水平方向ともに半分の解像度は４：２：０とよく呼ばれることに留意されたい（なお、４：ｘ：ｘという命名法は、その意味と導出において欠点があるが、クロマ解像度の輝度に対する関係を表現するために一般的に用いられている。）。
【００１０】
様々なＭＰＥＧ標準規格の下で、水平方向および垂直方向のクロマ解像度を減少させるフィルタは、ＵとＶの色表現へ変換されるように、非線形のビデオ信号に適用される。逆変換を適用してＲＧＢを復元するときは、非線形信号とフィルタは不自然な結果と問題を生じるように相互作用する。これらの問題は、空間的エイリアシングとともに、Ｙ輝度とＵおよびＶクロマチャネル間の「クロストーク」として一般化することができる。
【００１１】
１９９０年１０月のＳＭＰＴＥ会議で、デモス  ガリー（Gary  Demos）によって発表され、ＳＭＰＴＥ誌（１９９１年１０月、１００巻、１０号）において公表された「ピクセルに対する対数および密度単位の使用」（"The  Use  of  Logarithmic  and  Density  Units  for  Pixels”）において、線形対非線形表現および変換に関するさらなる情報が見つかるだろう。１９９３年１０月のＳＭＰＴＥ会議で、デモス  ガリーによって発表され、その論文集および予稿集において公表された「画像の色およびダイナミックレンジに対する、拡大縮小可能で、共同利用でき、拡張可能な表現例」（"An  Example  Representation  for  Image  Color  and  Dynamic  Range  which  is  Scalable,  Interoperable,  and  Extensible”）もまた参照されたい。これらの論文は、画像圧縮行程のパイプラインの様々な段階における、対数および線形空間の利益を記述しており、引用して本明細書に組み込む。
【００１２】
クロマのサブサンプリング
ＵおよびＶに対するクロマ解像度を減少する理由は、人間の視覚体系が輝度Ｙの変化より、ＵとＶの変化に鈍感だからである。Ｙは主に緑であり、ＵとＶはそれぞれ主に赤と青であるから、人間は、赤と青に対するよりも緑に対してより高い視覚感度を持つと表現することもできる。また一方、ＵおよびＶはＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４において同様に扱われるけれども、人間の視覚体系は（青成分を持つ）Ｖに対するよりも（赤成分を持つ）Ｕに対して敏感である。
【００１３】
このクロマの感度における違いは、テレビ放送のために用いられる１９５１年のＮＴＳＣ−２カラー標準規格において、具現されている。ＮＴＳＣ−２は、ＩとＱとがＵとＶとに（わずかに異なる重み付けで）類似する、ＹＩＱ色空間を用いる。つまり、Ｉチャネルは主として赤引く輝度を表し、Ｑチャネルは主として青引く輝度を表す。ＮＴＳＣ−２では、輝度は４．５ＭＨｚのアナログバンド幅を与えられ、Ｉクロマチャネルは１．５ＭＨｚのアナログバンド幅を与えられる。青−黄軸を表すＱチャネルは０．５ＭＨｚのみのアナログバンド幅が与えられる。
【００１４】
それゆえに、ＮＴＳＣ−２テレビシステムはＱチャネルに対して割り当てる３倍の情報量をＩチャネルに対して割り当て、Ｉチャネルに対する３倍の情報量をＹ輝度チャネルに対して割り当てる。したがって、Ｙ輝度チャネルとＱ（青引く輝度）チャネルの間のバンド幅比は９になる。これらのＭＰＥＧ  ＹＵＶとＮＴＳＣ−２の関係は、以下の表にまとめられる。
【表１】
0005506902.tif 000002
【００１５】
輝度に対するクロマの解像度比
ＭＰＥＧ標準規格下での輝度チャネルとＵおよびＶチャネル間の取り扱いは、ＮＴＳＣ−２標準規格下での輝度とＩおよびＱチャネル間の取り扱いと、明らかに大きく異なっている。
【発明の開示】
【００１６】
本発明は、圧縮画像のクロマ情報を改良するための方法、システムおよびコンピュータプログラムに向けられている。
【００１７】
本発明の一側面において、より詳細には、ＲＧＢ表現のための赤の解像度（またはＹＵＶ表現のためのＵの解像度）を青（またはＶ）に用いられる解像度より高くすることによって、カラービデオ画像は改良され得る。より低い解像度を青色成分に対して用いることは、例えば動き補償カラービデオ画像圧縮システムにおいて、より少ない情報しか圧縮される必要がないことを意味する。本発明のこの側面は、カラービデオ画像の青色成分に対する解像度より高い、カラービデオ画像の赤色成分に対する解像度を選択することによって、ビデオ画像圧縮システムにおいて、カラービデオ画像の画像クロマ情報を圧縮するための方法、システムおよびコンピュータプログラムを含む。
【００１８】
本発明の他の側面は、圧縮中に用いられる量子化パラメータ（ＱＰ）の任意の値から生じるクロマノイズのレベルを低減し、その結果、画質を改良するための技法である。これは、Ｙチャネルに対してよりもＵ（＝Ｒ−Ｙ）チャネルに対して、より小さなＱＰ値を用いることで達成される。同様に、Ｖ（＝Ｂ−Ｙ）チャネルの質も、Ｙチャネルに対してよりもＶチャネルに対して、より小さなＱＰ値を用いることで改良されるだろう。
【００１９】
本発明の他の側面は、より高い圧縮が要求されるときに有用な技法である。この側面においては、ＵとＶのクロマチャネルの一方あるいは両方に使用するために、正のＱＰバイアスが、Ｙチャネルに対するＱＰ値に適用される。
【００２０】
本発明の他の側面は画像符号化に利益をもたらす対数表現の使用である。実現可能なときには、対数符号化は、もともと線形なＲＧＢピクセル値として表現されていた画像のＹＵＶ色空間表現のための符号化効率を改善できる。他の処理手続きステップで、線形表現へのおよび線形表現からの変換は有益となり得る。
【００２１】
本発明の他の側面は、ビデオ圧縮システムにおいてカラービデオ画像のビデオ特性を改良するための方法であって、カラービデオ画像を表すために、輝度チャネルと３以上のｎ個のクロマチャネルを含む１組の画像チャネルを選択するステップと、輝度チャネルとｎ個の追加的なクロマチャネルを圧縮ビデオ画像へ圧縮するステップとを含む方法である。
【００２２】
本発明の１つ以上の実施の形態の詳細を添付図面と以下の説明で述べる。本発明の他の特徴、目的、そして利点は、その説明と図面、および請求の範囲から明らかとなろう。なお、種々の図において同様な要素には同様な参照符号を付する。
【図面の簡単な説明】
【００２３】
【図１】図１は、ＹＵＶ色空間表現において、Ｕに対する解像度をＶに対して用いる解像度より高くするための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【図２】図２は、クロマチャネルに対してＱＰバイアスを適用するための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【図３】図３は、輝度およびクロマ情報の対数符号化のための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【図４】図４は、画像圧縮システムにおいて追加的なクロマチャネルを符号化するための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【発明を実施するための形態】
【００２４】
詳細な説明
改良された色符号化精度
低減されたノイズ、拡張されたダイナミックレンジおよび拡張されたカラーレンジの属性に関連して画像の質が改善するにつれて、人間の色に対する感度もまた増大する。特に、ＲＧＢ表現における赤（またはＹＵＶ表現におけるＵ）はしばしば、ビデオ圧縮に通常用いられるよりも高い精度と明確さを要求することが観察される。
【００２５】
青が加工に用いられない限り（青スクリーン特別効果合成や画像解析のように）、青またはＶの一方によって具現されるような青−黄クロマ軸に対する人間の感度は、水平方向および垂直方向の半分の解像度のサンプリングを適切に取り扱う。それゆえに、画像の全ピクセル数の４分の１で、青またはＶクロマ軸を表すために十分な質が提供される。しかしながら青およびＶと異なり、２分の１の解像度での赤および／またはＵの符号化は、大きなワイドダイナミックレンジのディスプレイやプロジェクターについての質において、不十分なことがある。
【００２６】
したがって、ＲＧＢ表現のための赤の解像度（またはＹＵＶ表現のためのＵの解像度）を、青（またはＶ）に対して用いられる解像度より高くすることによって、画像は改良され得る。より低い解像度を青色成分に対して用いることは、例えば動き補償カラービデオ画像圧縮システムにおいて、より少ない情報しか圧縮される必要がないことを意味する。
【００２７】
本発明に従って、フィルタ処理により減少される青（またはＶ）の解像度に対して、赤（またはＵ）の解像度を大きなまま維持する以下の３つの好ましい方法がある。
１）赤および／またはＵに対して、全解像度を用いること、
２）赤および／またはＵに対して、垂直方向または水平方向のいずれか一方の１つのクロマ軸だけに２分の１の解像度を用いること、または
３）赤および／またはＵに対して、１つまたは両方のクロマ軸に、２／３や３／４のような全サイズと２分の１の間の解像度であって、フィルタ処理したものを用いること。
【００２８】
図１は、ＹＵＶ色空間表現において、Ｖに対して用いる解像度より高い解像度をＵに対して用いるための（コンピュータに実装され得る）例示的な方法を示すフロー図である（同様の方法をＲＧＢ色空間表現に適用してもよい。）。
【００２９】
ステップ１０１：ＹＵＶ色空間表現を利用する画像圧縮システムにおいて、入力画像のＶ（＝Ｂ−Ｙ）チャネルを水平方向に２分の１の解像度へ、さらに任意で垂直方向に２分の１の解像度へフィルタ処理により縮小する。
【００３０】
ステップ１０２：画像のＵ（＝Ｒ−Ｙ）チャネルをＶ（＝Ｂ−Ｙ）チャネルより高い解像度であって、好ましくは、
ａ）全解像度
ｂ）水平方向には２分の１と全解像度の間の解像度で、垂直方向には全解像度
ｃ）水平方向および垂直方向に２分の１と全解像度の間の解像度
ｄ）垂直方向には２分の１と全解像度の間の解像度で、水平方向には全解像度
の１つへフィルタ処理により縮小する。
【００３１】
ステップ１０３：ＭＰＥＧ等の圧縮システムを用いてＹＵＶ画像（輝度Ｙとフィルタ処理により縮小されたＵおよびＶのクロマ情報を有する）を圧縮する。
【００３２】
ステップ１０４：（通常は別のコンピュータにおいて）画像をＹ、ＵおよびＶチャネルへ解凍する。
【００３３】
ステップ１０５：適切な解像度の増加（すなわち、Ｖに対しては上記ステップ１０１、Ｕに対しては上記ステップ１０２で用いた縮小フィルタ係数の逆数）を用いて、ＵおよびＶチャネルを全解像度へ変換する。
【００３４】
ステップ１０６：任意で、鑑賞、解析、あるいはさらなる手続き処理のために、ＹＵＶピクチャをＲＧＢ画像へ変換する。
【００３５】
クロマに対する差分ＱＰバイアス
本発明の譲受人へ譲渡された「ビデオ画像の高精度符号化および復号化」（"High  Precision  Encoding  and  Decoding  of  Video  Images”）と題する係属中の米国特許第０９／７９８，３４６号は（引用して本明細書に組み込む。）、圧縮中の量子化パラメータ（ＱＰ）の使用の様々な側面を教示する。本発明のもう１つの側面は、圧縮中に用いられる量子化パラメータ（ＱＰ）の任意の値から生じるクロマノイズのレベルを低減し、その結果、画質を改良するための技法である。これは、Ｙチャネルに対してよりもＵ（＝Ｒ−Ｙ）チャネルに対して、より小さなＱＰ値を用いることで達成される。同様に、Ｖ（＝Ｂ−Ｙ）チャネルの質も、Ｙチャネルに対してよりもＶチャネルに対して、より小さなＱＰ値を用いることで改良されるだろう。
【００３６】
減少されるクロマのＱＰ値を実装するための簡便な方法は、Ｙ（輝度）チャネルに対して用いられるＱＰ値から一定値を引くことである。あるいは、別々の（Ｙに対するＱＰ値より小さな）一定値を、ＵとＶのそれぞれに対して用いてもよい。例えば、Ｙに対するＱＰ値から「２」を引いてＵに対するＱＰ値とし、Ｙに対するＱＰ値から「１」を引いてＶに対するＱＰ値としてもよい。適用されるＱＰ値の最小値が「１」であることによってのみ制限されるが、引くための量としていかなる実用的な値も使用し得る。
【００３７】
この方法は不変のＱＰ値（可変ビットレート）に対して作動する。可変のＱＰ値（例えば、一定および可変両方のビットレートの動き補償圧縮システムにおいて）に対しても、瞬間的なＱＰ値はＹに対するＱＰ値から特定の差分値を引くことによってバイアスでき、ＵとＶそれぞれに対するＱＰ値にできるので、同様に作動する。
【００３８】
さらに、先に引用した特許出願「ビデオ画像の高精度符号化および復号化」に記述されるような拡張されたＱＰ範囲関数や検索を用いて、これらの差分バイアスされたクロマのＱＰ値の範囲は拡張できる。
【００３９】
予め設定された値が使用されない限り、ＵおよびＶのバイアス値は、エンコーダからデコーダに伝える必要がある。これらは例えば、セッション、ＧＯＰ、フレームまたは画像領域毎に一度、特定できる。
【００４０】
図２は、クロマチャネルに対してＱＰバイアスを適用するための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【００４１】
ステップ２０１：画像圧縮システムにおいて、ＵおよびＶのクロマチャネルのそれぞれに対するＱＰ値を、選択した値（チャネル毎に異なってもよい）だけ減少する。
【００４２】
ステップ２０２：この減少されたＱＰ値をそれぞれ、ＵおよびＶのクロマチャネル圧縮に用いる。
【００４３】
ステップ２０３：任意で、可変ＱＰ値が使用される場合、減少されたＵおよびＶのＱＰ値が少なくとも「１」であることを保証する。
【００４４】
ステップ２０４：あらかじめ設定したバイアスが使用されない限り、変化するたびに（少なくとも１度）ＱＰ値の減少量をデコーダに伝達する。
【００４５】
ステップ２０５：（通常は別のコンピュータにおいて）ＵおよびＶに対する適切なＱＰ値を用いて信号を解凍する（再び、減少されたＱＰ値が少なくとも「１」であることを保証しつつ）。
【００４６】
ステップ２０６：任意で、解凍された画像を見たり、追加的な処理や解析のために画像を使用したりする。
【００４７】
本発明の他の側面は、より高い圧縮が要求されるときに有用な技法である。この側面においては、ＵとＶのクロマチャネルの一方あるいは両方に使用するために、正のＱＰバイアスが、Ｙチャネルに対するＱＰ値に適用される（好ましくは、圧縮システムのＱＰの最大値がもしあればチェックする）。ＵとＶのチャネルのそれぞれに対して別のバイアスを使用できる。そのほかの点では、かかる実施形態のステップは、図２で示したものと同様である。
【００４８】
輝度とクロマの対数符号化
先に引用した「ピクセルに対する対数および密度単位の使用」と題する論文は、ダイナミックレンジに対する対数表現の利益について説明する。適合するダイナミックレンジ（matching  dynamic  range）の対数表現は、一般的に使用されるビデオ伝達関数に多少類似している。類似してはいるけれども、拡張性、較正の使用および色チャネルの直交性において、対数表現は一般的に使用される様々なビデオ表現より最適である。
【００４９】
本発明の他の側面は画像符号化に利益をもたらす対数表現の使用である。実現可能なときには、対数符号化は、線形なＲＧＢピクセル値としてもともと表現されていた（カメラのセンサーにおけるような）画像のＹＵＶ色空間表現のための符号化効率を改善できる。他の処理手続きステップで、線形表現へのおよび線形表現からの変換は有益となり得る。
【００５０】
先に引用した特許出願「ビデオ画像の高精度符号化および復号化」に記述されるように、クロマの輝度とのクロストークは
Ｙｌｏｇ＝Ｌｏｇ（Ｗｒ＊Ｒ＋Ｗｇ＊Ｇ＋Ｗｂ＊Ｂ）
Ｕ＝Ｌｏｇ（Ｒ）−Ｙｌｏｇ
Ｖ＝Ｌｏｇ（Ｂ）−Ｙｌｏｇ
のときに最小化され、ここでＷｒ、ＷｇおよびＷｂは輝度の赤、緑および青成分に対する線形重みであり、Ｒ、ＧおよびＢは線形光空間を表している。これらの関係は本発明のこの側面を適用する際に有用である。
【００５１】
図３は、輝度およびクロマ情報の対数符号化のための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【００５２】
ステップ３０１：画像圧縮システムにおいて、入力（例えば、ビデオカメラから直接的に）の線形Ｒ、ＧおよびＢピクセル値に関して、以下の変換を実行する。
Ｙｌｏｇ＝Ｌｏｇ（Ｗｒ＊Ｒ＋Ｗｇ＊Ｇ＋Ｗｂ＊Ｂ）
Ｕ＝Ｌｏｇ（Ｒ）−Ｙｌｏｇ
Ｖ＝Ｌｏｇ（Ｂ）−Ｙｌｏｇ
ここでＷｒ、ＷｇおよびＷｂは輝度の赤、緑および青成分に対する線形重みである。
【００５３】
ステップ３０２：任意で、ＵおよびＶのクロマチャネルの解像度を減少する（上述の通り）。
【００５４】
ステップ３０３：動画のＹ、ＵおよびＶ表現に関して、動き補償圧縮を実行する。
【００５５】
ステップ３０４：（通常は別のコンピュータにおいて）圧縮画像を解凍して動画のＹ、ＵおよびＶ色成分を復元する。
【００５６】
ステップ３０５：もし任意のステップ３０２が適用されたならば、解像度の減少を逆にして、ＵおよびＶの全解像度を復元する。
【００５７】
ステップ３０６：以下の変換を用いて、線形のＲ、ＧおよびＢピクセル値を復元する。
Ｒ＝ａｎｔｉ‐ｌｏｇ（Ｙ＋Ｕ）
Ｂ＝ａｎｔｉ‐ｌｏｇ（Ｙ＋Ｖ）
Ｇ＝（ａｎｔｉ‐ｌｏｇ（Ｙ）−Ｗｒ＊Ｒ−Ｗｂ＊Ｂ）／Ｗｇ
【００５８】
ステップ３０７：任意で、他のビデオＲＧＢ表現に変換する（あるいは、ステップ３０６に加えてというよりはむしろ、ステップ３０６の代わりに実行されてもよい。）。
【００５９】
追加的なクロマ軸
拡張されたダイナミックレンジと拡張されたコントラストレンジ画像において、可視および不可視の両方の画像情報の追加的なチャネルを伴って可視の波長チャネルを拡大させることは有用であろう。
【００６０】
赤、緑および青の原色の任意の組み合わせから得られる色の範囲は、全ての存在し得る可視的な色を含むわけではない。黄色、オレンジ、シアンおよび茶色のような他の可視的な色を作るための赤、緑および青の原色の割合からなる結合は、「メタメリズム」として知られる人間の視覚体系の特性である。
【００６１】
先に引用した「画像の色およびダイナミックレンジに対する、拡大縮小可能で、共同利用でき、拡張可能な表現例」と題された論文で指摘されるように、赤、緑および青の三原色に追加的な原色を加えることは可能である。特に、シアン、マゼンダおよび黄色の原色は、もっとも一般的な赤、緑および青の原色値から得られる範囲を超えて、色再現域を拡張するのに役立つ。さらに、スミレ色と（燐光色を明るくする）紫外線も伝達することができる。
【００６２】
可視的な色を超えて、不可視な赤外線波長は、雲や霞を見通したり、暗闇の中で見たりする際に有用であると分かっている。紫外線波長もまた、指紋や表面コーティングのような、低振幅で可視的な画像の詳細を見るために有用であろう。
【００６３】
さらに、可視的な波長においてさえ、様々な物質（例えばスモッグや水中の藻）がある波長のコントラストやダイナミックレンジの量をしばしば減少させる。スモッグが茶色に見える理由は、青のコントラストとダイナミックレンジが減少され、遠くにある全ての物体に茶色がかった色を与えるためである。また、水中写真が緑または青緑あるいは青に見える理由も、赤系統の色域が、コントラストとダイナミックレンジにおいて減少されるためである。
【００６４】
上述のような、Ｙ、ＵおよびＶ間の対数の関係は、可視光に対する色の関係の符号化を最適化するだろう。
【００６５】
本発明のこの側面において、追加的なクロマチャネルは、代表的にはＲＧＢやＹＵＶ表現により具現される三原色の波長を符号化するチャネルに加えられる。さらに、ＹＵＶ色空間を使用するときは、最高振幅の画像信号に好都合なようにＹ（輝度）チャネルの構成を変えることも可能である。したがって例えば、緑の可視的なチャネルは、輝度を他の波長領域へ移動させて、それ自身のクロマチャネルを用いて符号化してもよい。この概念は、赤、緑および青（そしてことによると、他の可視的なおよび不可視的な原色）のそれぞれにそれ自身のクロマチャネルを持たせて、Ｙ輝度が赤外線である場合へと拡張できる。
【００６６】
本発明のこの側面に従って、新しい各クロマチャネルに対して、以下のことを決定する必要がある。
１）１つ以上の他のチャネルから（Ｕ＝Ｒ−Ｙのように通常は輝度から）差分をとり符号化する必要があるか？
２）チャネルに、輝度に対しての全解像度を与える必要があるか、または、所定の用途に対して画質を損なうことなく解像度を減少できるか？
【００６７】
１）の決定は各符号化チャネルの他チャネルとの相関に基づく。例えば、紫外波長や遠赤外波長の画像は、可視的な波長に対してまたは互いに、相対的に無相関となることがある。かかる場合、これらのチャネルは他チャネルを参照せずに符号化してもよい。しかしながら、いかなる可視的な波長も強く相関し、それゆえにほとんどいつでも、互いに関連して符号化することで利益を受け得る。
【００６８】
これらの決定に基づいて、通常三原色のチャネル（例えばＹＵＶ）を超える（または置換しかつ超える）１組の画像チャネルを選択することができる。例えば、１組の画像チャネルは、Ｙ’輝度チャネルとＵ’第一のクロマチャネル、Ｖ’第二のクロマチャネル、Ｘ’第三のクロマチャネルのようなｎ個のクロマチャネルから構成してもよい。
【００６９】
本例を用いて、かつ動き補償圧縮を適用すると、選択したＹ’の値は全解像度で符号化され、様々な他のクロマチャネル（Ｕ’、Ｖ’、Ｘ’）は差分をとりまたは独立に符号化されるだろう。追加的なチャネルがあることを除き、全てのチャネルは、従来のＹＵＶ表現に対して用いられるのと同じ動きベクトルとマクロブロック動き補償構造を利用できる。かかるチャネルはそれぞれ、（先のステップ２で決定されるような）Ｙに対する適切な解像度を利用する。加えて、所望の圧縮クロマの質が達成されることを保証するために、（上述の）ＱＰバイアスを独立して各クロマチャネルに適用できる。
【００７０】
可視的な波長に対してのみ適用するときでさえ、追加的なクロマチャネルは拡張された色範囲やより正確な色を保証するだけでなく、さらなる明確さと細部とノイズ忠実度がマゼンタ、オレンジ、黄色およびアクアシアンのような非常に目立つ色に適用されるようにする。これらの利益は、広ダイナミックレンジおよび広コントラストレンジの画像に対して、特に重要である。
【００７１】
図４は、画像圧縮システムにおいて追加的なクロマチャネルを符号化するための（コンピュータに実装され得る）例示的な方法を示すフロー図である。
【００７２】
ステップ４０１：画像圧縮システムにおいて、任意の不可視波長の画像信号を含む画像に対してもっとも広いダイナミックレンジと最高解像度に基づいて選択される最適な輝度表現を決定する。
【００７３】
ステップ４０２：画像を表すための、３以上のｎ個の追加的なクロマチャネルを決定する。
【００７４】
ステップ４０３：任意で、各クロマチャネルに対して、輝度および／または１つ以上の他のクロマチャネルについて、差分をとり符号化する方が有益かどうかを決定する。
【００７５】
ステップ４０４：各クロマチャネルの画像信号に対して、輝度の画像信号に関する入力から輝度の解像度以下の所望の解像度を決定し、任意で解像度の減少を適用する。
【００７６】
ステップ４０５：動き補償圧縮を用いて、Ｙ＋ｎ個のクロマの画像信号を圧縮する。
【００７７】
ステップ４０６：（通常は別のコンピュータにおいて）Ｙ＋ｎ個のクロマの画像を解凍する。
【００７８】
ステップ４０７：解像度の減少が適用された場合、クロマチャネルの元の解像度を復元する。
【００７９】
ステップ４０８：各クロマチャネルを、もしあれば、先のステップ４０３からの差分の対応部分と結合する。
【００８０】
ステップ４０９：任意で、以下のいずれかを実行する。
ａ）クロマチャネルをＲＧＢのような視空間または３より多い原色を有する空間へ変換し、トルーカラー画像（true-color  image）として見る。
ｂ）ａ）の変換を実行するが、（赤外線を緑にマッピングするような）フォールスカラー画像（false-color  image）として見る。
ｃ）手続き処理および／または解析のために変換なしでクロマチャネルを使用する。
【００８１】
他の選択肢として、各クロマチャネルに対する質の所望水準を達成するために、各クロマチャネルに、輝度チャネルに対して用いられるＱＰ値と関連のあるバイアスされたＱＰ値（増加か減少の一方）を適用してもよい（すなわち、より高い圧縮率に対するクロマノイズはトレードオフの関係にある。）。
【００８２】
実装
本発明は、ハードウエアもしくはソフトウエアまたは両者の組み合わせ（例えば、プログラマブル・ロジック・アレー）で実装してもよい。特に規定のない限り、本発明の一部として含まれるアルゴリズムは、如何なる特定のコンピュータまたは他の装置と本質的に関連しない。特に、本明細書の教示に従って書かれたプログラムを有する各種の汎用マシンを用いることができ、あるいはより特化した装置（例えば、集積回路）を構成して特定の機能を実行すると更に便利になろう。このように、本発明は、１台以上のプログラマブルコンピュータシステム上の１つ以上のコンピュータプログラムに実装でき、各システムは、少なくとも１つのプロセッサ、少なくとも１つのデータ記憶システム（揮発性または不揮発性メモリおよび／または記憶素子を含む）、少なくとも１つの入力装置またはポート、および少なくとも１つの出力装置またはポートを備える。プログラムコードを入力データに適用して本明細書で説明した機能を実行するとともに、出力情報を生成する。出力情報は、既知の方法で１台以上の出力装置に適用される。
【００８３】
コンピュータシステムと通信するための、任意の所望するコンピュータ言語（機械語、アセンブリ言語、または高レベル手続き型言語、論理型言語、またはオブジェクト指向プログラム言語を含む）で、かかるプログラムをそれぞれ実装してよい。いずれにしても、言語は、コンパイラ型言語でもインタープリタ型言語でもよい。
【００８４】
本明細書で説明した手段を実行するためのコンピュータシステムにより、汎用または特定用途のプログラマブルコンピュータにより可読な記憶媒体または装置（例えば、固体メモリか媒体、または磁気式か光学式媒体）が読み込まれる際に、コンピュータを構成するとともに操作するため、かかるコンピュータプログラムはそれぞれ、その記憶媒体または装置に格納するかダウンロードされるのが好ましい。本発明のシステムは、コンピュータプログラムで構成されたコンピュータ可読の記憶媒体として実施されると考えられてもよく、その場合、そのように構成された記憶媒体は、コンピュータシステムを特定のかつ予め定義された方法で動作させて、本明細書で説明した機能を実行する。
【００８５】
本発明の多くの実施の形態を説明してきた。それにもかかわらず、本発明の趣旨と範囲から逸脱することなく、多様な改変がなされるだろうことは言うまでもない。例えば、上記のステップの幾つかは順不同であってもよく、従って、説明したものと異なる順序で実行してもよい。よって、他の実施の形態は、以下の請求の範囲内にある。
【図１】
0005506902.tif 000003
【図２】
0005506902.tif 000004
【図３】
0005506902.tif 000005
【図４】
0005506902.tif 000006