(57)【特許請求の範囲】
【請求項１】
１次元のビットストリーム中に画像のデジタル表示を圧縮する方法であって、そのデジタル表示は、原色コンポーネント及び等和色コンポーネントがそれぞれのピクセルと結合される２次元配列からなり、且つ全ての色コンポネートが各ピクセルに存在し、その方法は以下の構成からなる：より高い品質のスケールがより低い品質のスケールよりも多くのデータからなり、より低い品質のスケールは蓄積された色コンポーネントの数を減少させ或いはピクセルの数を減少させることによってより高い品質のスケールから形成されることを特徴とする漸次減少していく品質の一連の品質スケールで画像を表示すること；該一連の品質スケールが、第１品質スケールからなるグループの中から選択された品質スケールを含み、原色コンポーネント及び１つの等和色コンポーネントが各ピクセルに存在する第２品質スケール、原色コンポーネントが各ピクセルに存在し、４倍の原色コンポーネントが等和色コンポーネントとして存在する第３品質スケール、１つの色コンポーネントが各ピクセルに存在し、等和色コンポーネントと比較して２倍多くの原色コンポーネントが存在する第４品質スケール、水平の方向において不可欠なファクターで各次元を割ることによる垂直の方向におけるピクセルの数を減少させることによって第１品質スケールから得られる第５品質スケール、原色コンポーネント及び、１つの等和色コンポーネントが各ピクセルに存在する第４品質スケールから得られる第６品質スケール、原色コンポーネントが各ピクセルに存在し、４倍の原色コンポーネントが各等和色コンポーネントとして存在する第４品質スケールから得られる第７品質スケール、からなること；所定の品質スケールにおける差分画像が所定の品質スケールにおける画像と、隣接したより低い品質のスケールにおいて再構築された表示からスケールアップされた画像の表示との相違である基本品質スケールの画像及び差分画像に基づく品質スケールに基づき画像を表示すること、その再構築された表示は、既知の関数と結び付けられた係数のセットに画像を変換すること、量子化値で割ることによって及び整数値に四捨五入することによって係数のセットを量子化すること、量子化値を掛けることによって量子化係数のセットを脱量子化すること、及び再構築された表示を作り出すために既知の関数と結び付けられた逆変換を実行すること、からなるプロセスによって決定され；既知の関数に結び付けられた係数のセットへ変換すること、並びに量子化値で割ることにより及び整数値に四捨五入することにより係数のセットを量子化することを含むプロセスによって整数値として基本品質スケール画像及び差分画像を表示すること；及び一次元のビットストリームを作り出すためのロスレス配置された統計エンコードプロセスによって、最も低い品質のスケール及び差分画像に対応する整数値をエンコードすること。
【請求項２】
原色コンポーネントが緑、等和色コンポーネントが赤と青であることを特徴とする請求項１の方法。
【請求項３】
原色コンポーネントが発光性、等和色コンポーネントがクロミナンスであることを特徴とする請求項１の方法。
【請求項４】
既知の関数と関連する一組の係数へ変換することが、二次元的な変換と、周波数変換特徴と多重解像度変換特徴を結合している二次元の変換へ適用することを特徴とする請求項１の方法。
【請求項５】
ピクセルの二次元的な配列の列への一次元的な適用及びピクセルの二次元的な配列の行への一次元的な適用からなる二次元的な変換へ適用することを特徴とする請求項４記載の方法。
【請求項６】
偶数のコンポーネントが変換への入力の表示の更に低いスケールを含み、偶数のコンポーネント及び奇数のコンポーネントへ分離される変換の出力コンポーネントが別個のコサイン変換及び置換関数から一次元的な変換が定義されることを特徴とする請求項５の方法。
【請求項７】
一次元の変換が帰納的に定義されることを特徴とする請求項６に記載の方法。
【請求項８】
一次元の変換が別個のウェイブレット・コサイン変換であることを特徴とする請求項７の方法。
【請求項９】
係数のセットへ変換する前のMは整数の二乗であることを特徴とする、最も低い品質スケール表示を分割し、Mによる次元Mのブロックへの差分画像を更に含む、請求項１の方法。
【請求項１０】
変換後の係数のセットが多くともＪｘk非ゼロ価値を持つようなＫによる次元Ｊのブロックに対し要素を加えることによりＪ及びＫが二乗ではないことを特徴とし、Kによる次元JのブロックからMによって次元Mのブロックを形成することを更に含む請求項９の方法。
【請求項１１】
ロスレス配置統計エンコードプロセスは、量子化された係数、配置及び、算術のエンコードのコンテキスト予測からなり、コンテキスト予測は、各色コンポーネントのために別々に行われることを特徴とし、原色コンポーネントのために、コンテキストは、原色ピクセルの位置インデックス、及び、隣接の係数からなり、最初の等和色コンポーネントのため、コンテキストは位置インデックス、隣接する第１等和色コンポーネントの係数及び同じ位置インデックスの原色コンポーネントの係数からなり、第２等和色コンポーネントのために、コンテキストは位置インデックス、隣接する第２等和色係数及び、基本係数及び、同じ位置のインデックスの第１等和色コンポーネントからなることを特徴とする請求項１の方法。
【請求項１２】
第１グループが最下位の位置インデックスに対応する係数からなり、第２グループが第１グループ係数に含まれない係数の第１行からなり、第３グループが第１グループ係数に含まれない係数の第１列からなり、かつ第４グループが残りの係数からなることを特徴とし、各グループのための異なるコンテキストの予測が量子化した係数を上記グループに分割することを特徴とする請求項１１の方法。
【請求項１３】
ロスレス配置統計エンコードプロセスが、ピクセルの二次元の配列を一次元の配列内に配置しかつ計算エンコードするコンテキスト予測からなり、その配置は、二次元の配列を左上、右上、左下および右下と配置された４つの同じサイズの領域への分割からなり、左上、右上、左下および右下と配置された４つの同じサイズの下位領域内に各領域を下位領域がサイズ内に１ピクセルごとになるまで繰り返し分割することを特徴とする請求項４の方法。
【請求項１４】
圧縮において用いられたコンテキスト予測確率表の回復、基本品質スケール表示および差分画像に対応する整数値のデコーディング、ピクセルの配列内における２次元位置に対する各デコードされた整数値の逆配置、基本品質スケールおよび差分画像に対応する各デコードされた整数値に量子化値の乗算、基本品質スケールおよび差分画像のデジタルの表示を再構築するための公知の関数を持つ逆変換の実行、より低い品質スケールにある画像のデジタル表示の次のより高い品質スケールへのスケールアップ、及び特定の品質スケールでデジタルの表示を再構築するために、特定の品質スケールでスケールアップした画像に特定の品質スケールの差分画像の加算、からなる請求項１の方法により圧縮された画像の再構築の方法。
【請求項１５】
原色コンポーネントのために、コンテキスト予測表において使われるコンテキストが位置インデックスおよび原色ピクセルの隣接した係数からなり、第１等和色コンポーネントについて、コンテキストが位置インデックス、隣接した第１等和色原色コンポーネントの係数および同じ位置インデックスの原色コンポーネントの係数からなり、第２等和色コンポーネントについて、コンテキストが位置インデックス、隣接した第２等和色コンポーネント係数、並びに同じ位置インデックスの第１等和色および原色コンポーネントの係数からなることを特徴とする請求項１４の方法。
【請求項１６】
第１グループが最下位の位置インデックスに対応する係数からなり、第２グループが第１グループ係数に含まれない係数の第１行からなり、第３グループが第１グループ係数に含まれない係数の第１列からなり、かつ第４グループが残りの係数からなることを特徴とし、各グループのためのコンテキストは異なり、コンテキスト予測表が上記グループ内で考慮された量子化係数と結合することを特徴とする請求項１５の方法。
【請求項１７】
公知の関数を持つ逆変換が、周波数変換機能と多重解像度変換を結合する逆変換であることを特徴とする請求項１４の方法。
【請求項１８】
逆変換が逆離散コサイン変換と置換関数から再帰的に定義され、逆変換の入力要素が偶数要素および奇数要素に分離され、該偶数要素が変換への入力の下位のスケールの表示を含むことを特徴とする請求項１７の方法。
【請求項１９】
逆変換が逆離散ウェーブレット変換であることを特徴とする請求項１８の方法。
【請求項２０】
請求項１記載の品質スケールのシーケンスであって、該シーケンスが、全ての色コンポーネントが各ピクセルに存在していることを特徴とする、第一のサブサンプリング表示；原色コンポーネント及び1つの等和色コンポーネントが各ピクセルに存在することを特徴とする、第二のサブサンプリング表示；原色コンポーネントが各ピクセルに存在し、且つ各等和色コンポーネントの四倍量原色コンポーネントが存在することを特徴とする、第三のサブサンプリング表示；整数値で二次元配列の各次元を分割することで水平方向および垂直方向へピクセルの数を縮小することにより第一のサブサンプリング表示に由来する第四のサブサンプリング表示；原色コンポーネント及び一つの等和色コンポーネントが各ピクセルに存在することを特徴とする、第四のサブサンプリング表示に由来した第五のサブサンプリング表示；及び原色コンポーネントが各ピクセルに存在し、且つ各等和色コンポーネントの四倍量原色コンポーネントが存在することを特徴とする、第四のサンプリング表示に由来する第六のサブサンプリング表示、からなり、デジタル表示が、原色コンポーネント及び等和色コンポーネントが各ピクセルに結合していることを特徴とするピクセルの二次元配列からなり、画像のデジタル表示の圧縮のために減少する長さのサブサンプリング表示のシーケンス。
【請求項２１】
請求項１記載の品質スケールのシーケンスであって、該シーケンスが全てのコンポーネントが各ピクセルに存在することを特徴とする、第一のサブサンプリング表示；原色コンポーネント及び1つの等和色コンポーネントが各ピクセルに存在することを特徴とする、第二のサブサンプリング表示；原色コンポーネントが各ピクセルに存在し、且つ原色コンポーネントの四倍量の等和色コンポーネントが存在することを特徴とする、第三のサブサンプリング表示；及び一つの色コンポーネントが各ピクセルに存在し、且つ第一のコンポーネントの二倍量の等和色コンポーネントが存在することを特徴とする、第四のサブサンプリング表示、からなり、デジタル表示が、原色コンポーネント及び等和色コンポーネントが各ピクセルに結合していることを特徴とするピクセルの二次元配列からなり、画像のデジタル表示の圧縮のために減少する長さのサブサンプリング表示のシーケンス。
【請求項２２】
ロスレス配置統計エンコードプロセスは、量子化された係数、配置及び、算術のエンコードのコンテキスト予測からなり、コンテキスト予測は、原色カラーコンポーネントのために、コンテキストが位置インデックスおよび原色ピクセルの隣接した係数からなり、第１等和色コンポーネントのために、コンテキストが位置インデックス、隣接した第１等和色コンポーネントの係数及び同じ位置インデックスの原色コンポーネントの係数からなり、第２等和色コンポーネントのために、コンテキストが位置インデックス、隣接した第２等和色コンポーネント係数、並びに同じ位置インデックスの第１等和色及び原色コンポーネントの係数からなることを特徴とする、各色コンポーネントのための個別コンテキストの決定、からなり、デジタル表示が原色コンポーネント及び等和色コンポーネントが各ピクセルに結合していることを特徴とするピクセルの二次元配列を含み、ビットストリーム中の画像のデジタル表示の圧縮におけるエントロピーエンコードプロセスを使用するための予測表を形成することを特徴とする請求項１の方法。
【請求項２３】
１次元のビットストリームの中に画像のデジタル表示を圧縮する方法を実行するためのインストラクションを含んでいる装置であって、そのデジタル表示が原色コンポーネントと等和色コンポーネントがそれぞれのピクセルと結合することを特徴とするピクセルの２次元配列からなり、且つ全ての色コンポーネントが各ピクセルに存在し、その方法は以下の構成からなる：より高い品質のスケールはより低い品質のスケールよりも多くのデータから成り、そしてより低い品質のスケールは記憶装置に蓄積された色コンポーネントの数を減少させ、あるいはピクセルの数を減少させることによってより高い品質のスケールから構成されることを特徴とする、漸次減少していく品質の一連の品質スケールで画像を表示すること；該一連の品質スケールが、第１品質スケールからなるグループの中から選択された品質スケールを含み、原色コンポーネント及び１つの等和色コンポーネントが各ピクセルに存在する第２品質スケール、原色コンポーネントが各ピクセルに存在し、４倍の原色コンポーネントが等和色コンポーネントとして存在する第３品質スケール、１つの色コンポーネントが各ピクセルに存在し、等和色コンポーネントと比較して２倍多くの原色コンポーネントが存在する第４品質スケール、水平の方向において不可欠なファクターで各次元を割ることによる垂直の方向におけるピクセルの数を減少させることによって第１品質スケールから得られる第５品質スケール、原色コンポーネント及び、１つの等和色コンポーネントが各ピクセルに存在する第４品質スケールから得られる第６品質スケール、原色コンポーネントが各ピクセルに存在し、４倍の原色コンポーネントが各等和色コンポーネントとして存在する第４品質スケールから得られる第７品質スケール、からなること；所定の品質スケールでの差分画像が、所定の品質スケールでの画像と、隣接したより低い品質スケールにおいて再構築された表示からスケールアップされた画像の表示との違いである基本品質スケール画像、及び差分画像に基づく品質スケールに基づき画像を表示すること、そしてその再構築された表示は、既知の関数と結び付けられた係数のセットへ画像を変換すること、量子化値で割ることによって、及び整数値に四捨五入することによって、係数のセットを量子化すること、量子化値を掛けることによって、量子化係数のセットを脱量子化すること、及び再構築された表示を作るために既知の関数と結び付けられた逆変換を実行すること、から成るプロセスによって決定され；既知の関数と結び付けられた係数のセットへ変換すること、及び量子化値で割り、整数値に四捨五入することにより係数のセットを脱量子化することからなるプロセスによって整数値としての基本品質スケール画像及び差分画像を表示すること；及び１次元のビットストリームを作るためにロスレス配置された統計エンコードプロセスによって最も低い品質スケール表示及び差分画像に一致する整数値をエンコードすること。
【請求項２４】
既知の関数と結合した係数のセットに変換することが、偶数要素が変換への入力の表示のより低いスケールを含み、変換の出力要素が偶数要素と、奇数要素へ分けられ別々のコサイン変換、及び置換関数から繰り返し定義される変換を適用している請求項２３の装置。
【請求項２５】
変換が不連続のウエイブレットコサイン変換である請求項２４の装置。
【請求項２６】
量子化係数のコンテキスト予測、配置、及び算術エンコードからなるロスレス配置統計エンコードプロセスであり、コンテキスト予測がそれぞれの色コンポーネントに対して別々に実行され、そして、原色コンポーネントとして、コンテキストが位置インデックスと原色ピクセルの隣接した係数からなり、第１の等和色コンポーネントとして、コンテキストが位置インデックス、隣接する第１の等和色コンポーネントの係数、及びいくつかの位置インデックスの原色コンポーネントの係数からなり、第２の等和色コンポーネントとして、コンテキストが位置インデックス、隣接する第２の等和色係数、及び同じ位置インデックスの主要コンポーネントと第１の等和色コンポーネントから成ることを特徴とする請求項２３の装置。
【請求項２７】
コンテキスト予測が量子化係数をグループに分け、第１のグループが、最も低い位置インデックスに一致する係数からなり、第２のグループが、第１のグループ係数を含む係数の第１行からなり、第３のグループが、第１のグループ係数を含む係数の第１列からなり、第４のグループが、変わらない係数からなり、そしてコンテキストがそれぞれのグループで異なることを特徴とする請求項２６の装置。
【請求項２８】
インストラクションが、変換が離散コサイン変換及び置換関数から再帰的に定義され、それによって変換の出力要素が偶数の要素と奇数の要素に分かれ、偶数の要素は変換のために入力の表示のより低いスケールを含む、周波数変換機能と多重解像機能を結合する変換によるデータの変換、およびデジタル記憶媒体への出力要素の蓄積のためのインストラクションからなる、１次元のビットストリームに画像のデジタル表示の圧縮における使用のためにデジタルデータのコンパクトな表示を提供するための請求項２３記載のインストラクションからなる装置。
【請求項２９】
インストラクションが、圧縮にて使用されたコンテキスト予測確率表の回復、基本品質スケール表示および差分画像に対応する整数値のデコーディング、各デコードされた整数値の、ピクセルの配列中の２次元位置への逆配置、基本品質スケール表示および差分画像に対応する整数値に対応する各デコードされた整数値に量子化値の乗算、基本品質スケール表示および差分画像のデジタル表示を再構築するための公知の関数と結合する逆変換の実行、より低い品質スケールの画像のデジタル表示を次のより高い品質スケールへのアップスケール、および特定の品質スケールにてデジタル表示を再構築するために、特定の品質スケールでの差分画像の、特定の品質スケールでアップスケールされた画像への加算、のためのインストラクションからなる、請求項１の方法により圧縮された画像のデジタル表示の再構築のためのインストラクションからなる装置。
【請求項３０】
原色コンポーネントについて、コンテキスト予測表にて使用されるコンテキストは位置インデックス及び隣接する原色ピクセルの係数からなり、第１の等和色コンポーネントについて、コンテキストは位置インデックス、隣接する第１の等和色コンポーネントの係数、及び同じ位置インデックスの原色コンポーネントの係数からなり、そして第２の等和色コンポーネントについて、コンテキストは位置インデックス、隣接する第２の等和色コンポーネントの係数、及び同じ位置インデックスの原色及び第１の等和色コンポーネントの係数からなる、請求項２９記載の装置。
【請求項３１】
コンテキスト予測表は、第１グループは最下位のインデックスに対応する係数からなり、第２グループは第１グループの係数を除く第１行の係数からなり、第３グループは第１グループの係数を除く第１列の係数からなり、第４グループは残りの係数からなり、コンテキストは各グループについて異なるグループで考慮される量子化係数と結合される請求項３０記載の装置。
【請求項３２】
公知の関数と結合する逆変換が、周波数変換機能と多重解析変換機能を組み合わせた逆変換である請求項２９記載の装置。
【請求項３３】
逆変換が逆離散コサイン変換及び置換関数から再帰的に定義され、逆変換の入力要素は偶数の要素と奇数の要素に分かれ、偶数の要素は変換のために入力の表示のより低いスケールを含む、請求項３２記載の装置。
【請求項３４】
逆変換が逆離散ウェーブレット変換である請求項３３記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は一般にデジタル画像の圧縮に関連し、特に、進歩的な方法で多数の品質スケールで圧縮された画像データを蓄積するか、あるいは伝達するデジタル画像の圧縮方法に関連している。
【０００２】
【従来の技術】
高い品質の色画像のデジタル記憶装置とディスプレイが遍在している。大規模な記憶装置要求項目を克服し、そして高い品質のデジタル画像の送信時間とコストを減らすために、データ圧縮方法が開発された。特に、ＪＰＥＧとして知られている方法及びＪＰＥＧ２０００として知られている最近の更新版は工業規格になっている。データ圧縮は、一般にデータの大きさと再構築された画像品質の間の交換を巻き込む。再構築された画像が元の画像と違うとき、データ圧縮方法は「ロッシー」と言われる。
【０００３】
よく知られているように、基本的なＪＰＥＧ方法において、画像はＹＵＶあるいはＹＣｂＣｒとして示される発光性/クロミナンス色表示に慣習的に変換され、そこでＹは原色あるいは発光性コンポーネントであり、ＵとＶあるいはＣｂとＣｒは等和色コンポーネントである。ピクセルのグループを一緒に平均化することによって、蓄積された等和色コンポーネントの数が減少する。それぞれのコンポーネントのためのピクセル値がブロックの中にまとめられ、それぞれのブロックが不連続のコサイン変換（ＤＣＴ）によって変換される。それぞれのブロックにおいて、結果として生じているＤＣＴ係数は量子化され、それは前もって決定された量子化係数によって分割され、整数に四捨五入される。量子化された係数は、先行技術で知られているハッフマンあるいは算術エンコードアルゴリズムによって条件付きの確率に基づいてエンコードされる。標準的なインターチェンジＪＰＥＧファイルは、デコンプレッサープログラムがプロセスを逆転させることができるファイルヘッダーの中に、量子化表とエンコード表を含む圧縮パラメータを含む。
【０００４】
最小ＪＰＥＧ方法への任意の拡張は、画像のリアルタイム送信をサポートするように意図された進歩的なモードを含む。進歩的なモードにおいて、ＤＣＴ係数は少しずつ画像の多数の走査の中に送られることができる。それぞれの走査で、デコータは画像のより高い品質の翻訳をすることができる。しかしながら、たいていの実行で、同じ数のピクセルがそれぞれの品質レベルにおいて使われる。
【０００５】
ＪＰＥＧ及びＪＰＥＧ２０００方法の広範囲にわたる手段にもかかわらず、それぞれの方法がそれ自身の欠点を持っている。ＪＰＥＧ圧縮での主要な問題は、平凡な圧縮比率、ブロック効果、及び進歩性に乏しい画像品質を含む。ＪＰＥＧで合理的なデータ圧縮を達成するために使われる主要なステップは、ＤＣＴ係数を量子化することである。しかしながら、重い量子化が、ブロック境界が再構築された画像の中に見られることができるブロック効果をもたらす間に、軽い量子化が低い圧縮比率をもたらす。ＪＰＥＧ方法を使うと、画像品質は圧縮比率と共にいさぎよく下がらない。そのために、画像の最後の走査がデコードされるまで、次第にデコードされたＪＰＥＧ画像は視聴者にとって心地よくない。
【０００６】
ＪＰＥＧ２０００は、ＪＰＥＧの欠点のいくつかを克服するよう設計される。ＪＰＥＧ２０００は、圧縮比率が増加するようにもっといさぎよくディグレイドするウェイブレット変換を使用する。しかしながら、ＪＰＥＧ２０００は増加した計算の複雑さによる価格の上昇をもたらす。ＪＰＥＧ２０００で使用された発展方法は、エンコードとデコードの両方のために過度の計算力を必要とする。ＪＰＥＧ２０００においてウェイブレット変換は圧縮比率に関する品質低下を改善するけれども、高い品質が必要とされるとき、ＪＰＥＧと略同様に本質的にデータ圧縮を改善しない。さらに、ＪＰＥＧ２０００で算術コーディングのために使われるコンテキスト予測方法は、写真における物体の色が大いに相互関係するという事実を利用しない。
【０００７】
【発明が解決しようとする課題】
そのために、画像圧縮の既存の技術を改善する機会が残る。それが速い実行を持っていて、そしてデータをいっそうコンパクトにすることはより良い変換をするのに望ましいであろう。より効率的で且つより良い品質の発展方法が同じく切望される。最終的に、コンテキスト予測における色相互関係を利用すると共にＹＵＶスペース以外の色スペースの圧縮方法を提供する機会がある。
【０００８】
【課題を解決するための手段】
画像のデジタル表示を圧縮する方法は、より高い品質のスケールが隣接したより低い品質のスケールの中のデータに対して増加するデータだけを含むような進歩的な方法における多数のサブサンプリング品質スケールの中に画像を蓄積する能力を提供する。その方法はソフトウェア、専用のハードウェア、あるいはソフトウェアとハードウェアの組み合わせにより実行することができる。
【０００９】
その方法は、２次元配列を形成するピクセルに関連づけられ、原色コンポーネント及び等和色コンポーネントに基づいて表される３色画像に主に適用される。多数の色スペース、例えば、ＲＧＢスペース或いはＹＵＶ発光性/クロミナンスの色スペースを扱うことができる。その方法によれば、まず、画像は、次第に品質が減少していく品質スケールのシーケンスにおいて表される。そのシーケンスにおいて、蓄積された色コンポーネントの数を減少させることによって、あるいは色コンポーネントのいくらかのあるいはすべてピクセルの数を減少させることによって、高い品質のスケールから低い品質のスケールが形成される。
【００１０】
最初の最も高い品質スケールである１つの有用なスケールのシーケンスにおいて、すべての色コンポーネントはそれぞれのピクセルのために存在する。第２の品質スケールにおいて、原色コンポーネントと１つの等和色コンポーネントはそれぞれのピクセルのために存在している。第３の品質スケールにおいて、原色コンポーネントはそれぞれのピクセルに存在しており、そして等和色コンポーネントと比べて２倍の原色コンポーネントが存在する。プロセスをスケールダウンしてピクセルの数を減らすことによって、そのシーケンスはまた、それぞれ第１、第２、そして第３の品質スケールに由来する第４、第５、そして第６の品質スケールを含む。ディシメーションスケーリング、ビリニアースケーリング、あるいはビキュービックスケーリングのようなスケールダウンプロセスを使うことができる。
【００１１】
品質スケールの第２の有用なスケールシーケンスは、１つの色コンポーネントがそれぞれのピクセルの場所に存在し等和色コンポーネントと比べて２倍の原色コンポーネントが存在する第４の品質スケールと一緒に上述された第１、第２、及び第３のスケールを含む。後のスケールはベイヤーパターンとして知られている。
【００１２】
より高い品質のスケールにおけるそれぞれの表示は、隣接したより低い品質のスケールでの画像に関する差分で表される。それぞれの差分画像は、対応するより低い品質のスケールに対して増加するデータだけを含んでいる。差分画像は、エラーの蓄積を避ける隣接したより低い品質のスケールにおいて再構築された画像から決定される。元の表示はこのように、差分画像を足した最も低い品質のスケールにおける表示に変換される。
【００１３】
画像を差分として表示するプロセスの一部として、基本品質スケール画像と差分画像は周知の関数と結び付けられた係数のセットに変換される。典型的な手段で、最も低い品質のスケールの表示と差分画像はそれぞれステージを変える前にブロックに分けられる。従来のＪＰＥＧ方法で、不連続のコサイン変換が使われる。本発明の見地によれば、不連続のコサイン変換と空間変換の周波数変換特徴とハーウェイブレット変換の多数の解像特徴を結合する不連続のウェイブレットコサイン変換（ＤＷＣＴ）と呼ばれる変換を使うことができる。ＤＷＣＴは、変換の出力要素が偶数と奇数の要素に分類されその偶数要素が変換への入力の表示のより低いスケールを含んでいる不連続のコサイン変換及び置換関数から再帰的に定義される。ＤＷＣＴ変換は従来のウェイブレット変換より速く、そして前に使われた変換より良い係数値の圧縮を提供する。量子化表で指定された値で割り、そして整数に四捨五入することによって、ＤＷＣＴ係数は量子化される。
【００１４】
基本品質スケールと差分画像に対応している量子化された係数は、ロスレス配置された統計エンコードプロセスによって圧縮される。配置された統計エンコードプロセスは、２次元配列を１次元配列の中に配置し算術エンコードするコンテキスト予測のステージを含む。もう１つの発明、コンテキスト予測のプロセスの見地によれば、それは隣接するピクセルにおける係数の値からそれぞれの係数の値を予測しており、それぞれの色コンポーネントを別々に予測する。原色コンポーネントのために、所定のピクセルのためのコンテキストは位置インデックスと原色ピクセルの隣接する係数からなる。第１の等和色のために、コンテキストは位置インデックス、隣接する第１の等和色コンポーネントの係数、及び同じ位置インデックスの対応する原色コンポーネントの係数からなる。第２の等和色コンポーネントのために、コンテキストは位置インデックス、隣接する第２の等和色係数、及び同じ位置インデックスの対応する原色及び第１の等和色コンポーネントの係数からなる。このコンテキスト予測方法で、係数は配列中の位置に基づく４つのグループに分けられ、コンテキスト予測のために使用される隣接する係数の位置はそれぞれのグループ毎に異なる。
【００１５】
本発明のさらにもう１つの見地によれば、クアッドツリー配値方法としてここで定義された配置プロセスが、データ相互関係を最大にするために使われる。クアッドツリー配値方法で、係数の２次元配列は、上位左方、上位右方、下位左方、及び下位右方に配置された４つの同じサイズの領域に分割される。それぞれの領域は、大きさにおいて１ピクセルずつ下位領域が得られるまで、上位左方、上位右方、下位左方、及び下位右方として配置された４つの同じサイズの領域に繰り返し分割される。マッピング係数、量子化表、及びコンテキストのようなすべての適切なデータのために維持されている限り、量子化あるいはコンテキスト予測の前に配置をすることができる。コンテキスト予測され、配置された係数値は、その後、ロスレスエンコード方法、例えば算術エンコード方法を使ってエンコードされる。
【００１６】
この圧縮プロセスは、効率的に蓄積されるか、あるいはコンピュータネットワーク上に伝達されることができるビットストリームを引き起こす。圧縮解除プロセスは、本質的にプロセスを逆転させ、そうして画像の再構築を可能にする。このプロセスによれば、圧縮された画像は、コンピュータネットワークあるいはインターネット上への送信によって次第に見るか、あるいはダウンロードすることができる。さらに、ブラウザは、指定されたスケールより高い品質のスケールに対応しているどんなデータをも無視して、指定された品質スケールで画像を表示することができる。
【００１７】
【発明の実施の形態】
本発明の実施例に沿った画像のデジタル表示を圧縮する方法は、エラーの蓄積を回避する進歩的な方法における多数のサブサンプリング品質スケールで画像を表す。本出願において、これらの方法について、静止画像に関し検討される。しかしながら、いかなる種類のビデオ・シーケンスおける各画像も、静止画像のように扱うことができるので、本方法はまた、ビデオ画像に適用することができる。本方法によって扱われる画像は、主として二次元の配列を形成するピクセルと関連していた原色コンポーネント（Ｐによって表示される）、及び、等和色コンポーネント（Ｓ、及び、Ｑによって表示される）に関して表された３原色画像である。しかしながら、同様に、これらの方法は、単一色又は多数色画像まで範囲を広げることができる。Ｐ、Ｓ及び、Ｑコンポーネントは、各々、例えばＧ、Ｒ及びＢコンポーネントに、ＲＧＢ色スペース及び、Ｙ、Ｕ及び、ＶコンポーネントはそれぞれＹＵＶ発光性／クロミナンスカラースペースと一致する。典型的に、データ圧縮方法への入力は、それぞれ３色のコンポーネントを持つピクセルの二次元の配列であり、出力は圧縮データの一次元のビットストリームである。
【００１８】
これらの方法は、汎用コンピュータ演算処理装置（ＣＰＵ）、または、デジタル・シグナル・プロセッサ（ＤＳＰ）で稼働するソフトウェア、例えばＶＬＳＩチップのようなハードウェア、もしくは、ハードウェア及びソフトウェアの組み合わせで実行することができる。これらの方法がソフトウェアにおいて実行されるとき、方法を実行するためのコンピュータのインストラクションは、ＣＰＵ、または、ＤＳＰと関連していたメモリに蓄積することもできる。それゆえに、ここで用いられる装置という用語は、プレプログラム学習、汎用コンピュータを持つ専用のハードウェア装置、及び、蓄積されたインストラクション、または、インストラクションを実行する専用のハードウェア、及び、コンピュータのあらゆるコンビネーションを持つ関連するメモリを指す。圧縮された画像は、モニター上の後の検索及びディスプレイのためのメモリに蓄積することもでき、又は内部のネットワーク、または、インターネットのような外部のネットワーク上に送ることもできる。
【００１９】
画像のデジタル表示を圧縮する本方法の概観は、図１のフローチャートにある。サブサンプリング・ステージ、１１０で、オリジナルの画像は圧縮品質スケール（ＣＱＳ）と呼ばれる最も品質が高いスケールからサブサンプリング・ステージ品質スケール（ＳＱＳ）と称される最も低い又は基本品質スケールまで多数の品質スケールの中に分解される。基本品質スケール、ＳＱＳにおいての画像データは次のスケールに続いて、最初に、そしてＣＱＳにおいてデータが出力されるまでに出力される。
【００２０】
それぞれの差分画像がより品質が低いスケールにおいて、画像に付加的なデータだけを含んでいるように、差分ステージ、１２０は差分形式でサブサンプルした画像を表す。ステージ１２５〜１７０を含む差分ステージは、隣接した更に低い品質スケールでサブサンプルし、再構築した画像から拡大され、サブサンプルした画像及び参照画像の間の違いを決定する。以下に詳細に記されるように、再構築された画像は、変換ステージ１３０と量子化ステージ１４０そして次に１４０ステージの逆である脱量子化ステージ１５０、逆の変換ステージ１６０からなるロッシー変換によって、サブサンプルした画像を扱うことによって形成される。差分ステージ１２０の出力は、量子化された基本品質スケール及び量子化された差分画像である。
【００２１】
量子化された基本画像及び差分画像は、ロスレス配置統計エンコードプロセスによって圧縮されたデータのビットストリームに変換される。配置統計エンコードプロセスは、コンテキスト予測ステージ１８５、ピクセルに参照された二次元の配列が一次元の配列に変換される配置ステージ１９０、及び、算術のエンコードのような、ロスレス・エンコード・エントロピ・ステージ１９５を含む。図２において示され、以下で詳細に述べられるように、圧縮解除方法は、本質的に圧縮プロセスを逆にする。
【００２２】
ある実施例において、異なるサブサンプリング・シーケンスは、同様に定義されるが、合計７つのサブサンプリング・スケールは、サブサンプリング・ステージ１１０の使用のために定義される。合計７つのサブサンプリング・スケールは、０から６まで列挙され、０は最も高品質のスケール及び、６は最も低い品質のスケールとして表す。それぞれのスケール数が画像データをサブサンプリングする特定の方法を示す。
【００２３】
スケール０の４：４：４において、元の画像は全くサブサンプルされていない。表１において示されるように、Ｐ、Ｓ及びＱ、全てのコンポーネントは、全てのピクセル位置に保持される。
【表１】
0004116304.tif 000002
【００２４】
スケール１の４：２：２において、原色コンポーネントＰの画像は全くサブサンプルされておらず、コンポーネントＳ及びＱだけがサブサンプルされた。以下、表２から７に示されるように、このスケールにはサブサンプルの６つのモデルがある。
【表２】
0004116304.tif 000003
【００２５】
４：２：２サブサンプリング方法のモード１は、テレビ産業に使われるサブサンプリング計画、そして、動画画像を伝えるためのＭＰＥＧ２規格と同じである。表において、「x」は、欠けているコンポーネントを示す。表３において示された第２モードにおいて、そのスペーシングがS、及び、Qコンポーネントに関する水平の、そして垂直の指示に沿って一定となるように、S及び、Qコンポーネントは、対角線的に並べられる。モード２は、スケール１のための好ましいサブサンプル・モードである。
【表３】
0004116304.tif 000004
【００２６】
第３モードは、表４において示されるように、置き換えられたS及びQのポジションを持つモード２の小さい変化である。
【表４】
0004116304.tif 000005
水平の方向を支持するスペーシングを備えた、第４モードは、モード１の置き換えられたモードである。
【表５】
0004116304.tif 000006
置き換えられたS及びQの位置を備えた、第５及び第６モードは、 モード１及び４の小さい変化である。
【表６】
0004116304.tif 000007
【表７】
0004116304.tif 000008
【００２７】
スケール２の４：２：０において、原色コンポーネントPもまた、全くサブサンプルせず、Ｓ及びQコンポーネントのみ、サブサンプルする。S及び、Qを異なる位置に設置することにより、このスケールにサブサンプルの多くのモードがある。５つの有用なモードを以下に示す。
【表８】
0004116304.tif 000009
最初のモードは、ＭＰＥＧ２、及び、ＪＰＥＧ規格に使われるＹＵＶ４：２：０クローマ・フォーマットと類似している。このモードにおいて、４つのＰピクセルの中心に位置して、Ｐの４ピクセル毎に、一組のＳ及びＱコンポーネントを共有する。第２モードにおいて、Ｓ及びＱコンポーネントは、同じ場所に位置しない。むしろ、それらは、対角線的に並べられ、そして、表９において示されるように、異なるＰピクセルによって同じ場所に位置する。
【表９】
0004116304.tif 000010
他の３つのモードは、表１０〜１２において示されるように、異なる位置に配されたＳ及びＱを備えた、単なるモード２の変化である。
【表１０】
0004116304.tif 000011
【表１１】
0004116304.tif 000012
【表１２】
0004116304.tif 000013
【００２８】
スケール３は、画像センサー技術におけるサンプリング・パターンとしてしばしば用いられるベイヤーパターンである。スケール３において、色コンポーネントの特別な構造をそれぞれ定義する４つのモードがある。表１３において示された最初のモードにおいて、わずか１つの色コンポーネントだけが、各ピクセル色として保たれる。原色は、等和色と比較して２倍の要素を持っている。
【表１３】
0004116304.tif 000014
以下、表１４〜１６で示されるように、ベイヤーパターン・サブサンプリングの他のモードはコンポーネントの位置の単純な再調整である。
【表１４】
0004116304.tif 000015
【表１５】
0004116304.tif 000016
【表１６】
0004116304.tif 000017
【００２９】
【数１】
0004116304.tif 000018
【００３０】
【数２】
0004116304.tif 000019
【００３１】
上述のように、スケール５において、ＭｘＮピクセルの画像ＩＭｘＮを水平および垂直方向のＬのファクターによりサイズｍｘｎの画像Ｉｍｘｎにスケールダウンし４:２:２フォーマットでサブサンプリングする。同様に、スケール６において画像を、水平および垂直方向のＬのファクターによりスケールダウンし、４:２:０フォーマットでサブサンプリングする。圧縮画像のマルチスケール表示において、同じ値またはＬ、例えば２又は３の値は、一般に４から６までのスケールにおいて使用される。すなわち、４から６までのすべてのスケールは同じ数のピクセルを参照する。
【００３２】
アルゴリズムのスケールダウン及びスケールアップは、Ｌがスケール・ファクターでありＬｘがスケール・アルゴリズムを意味する（Ｌｘ↓、Ｌｘ↑）で示されるペア内で使われる。特定のスケール・アルゴリズムの最適な選択は、画像データの特徴に依存する。ペア化することによって、同じＬは、スケールダウン（Ｌx↓）及びスケールアップ（Ｌx↑）の両方で使われる。スケールは、サブサンプリングのパターンに依存して、画像がサブサンプリングされるスケールからいくつか又はすべての画像の色コンポーネントにおいて実行できる。
【００３３】
サブサンプリングした画像のシーケンスを形成するために、まず、オリジナルの画像Ｉは上述のスケール０、１、２、および３の表示のうちの１つでなければならない。４:２:２パターンの画像は、水平方向にのみ沿う２のファクターによるＵＶまたはＲＢコンポーネントをスケールダウンすることによって４:４:４パターンの画像から得られる。この水平方向に沿ったスケールダウンは、２ｘ↓アルゴリズムにより実行される。ＹＵＶ又はＲＧＢコンポーネントの垂直サイズは、４:４:４パターンと４:２:２パターンのために同じである。同様に、４:２:０パターンの画像は、垂直方向にのみ沿う２のファクターによるＵＶまたはＲＢコンポーネントのスケールダウンによって４:２:２パターンの画像から得られる。ベイヤー（Bayer）パターンは、Ｐコンポーネント画像の水平又は垂直への（両方ではない）スケールダウンにより、４:２:０画像から得られる。
【００３４】
Ｇを画像Ｉのオリジナルのスケールにする。次に、スケール０からサブサンプリングされた画像を考慮することができることから、ＩはＩＧで表される。ＩＧ＋１を得るためにサブサンプリングＩＧへのＬｘ↓アルゴリズムを、ＩＧから用いることができる。さらに、ＩＧ＋２を得るために、その他サブサンプリング品質スケールＳに達するまでサブサンプリングＩＧ＋１へのＬｘ↓アルゴリズムを、ＩＧ＋１から用いることができる。この方法で、ＩＧ：｛ＩＧ，ＩＧ＋１，・・・ＩＳ｝のサブサンプリングされた画像のシーケンスを得ることができる。明らかに、ＳＱＳ値Ｓは、オリジナルの画像スケールＧより小さくはない。
【００３５】
例えば、Ｇ＝２及びＳ＝４と仮定する。そして、Ｉ２は４:２:０フォーマット内におく。表１３から表１６に示すように、バイヤー・パターンのうちの１つＩ３にＩ２を減少させるために、ＩＧから削減アルゴリズムを用いる。また、Ｉ２のＰコンポーネントをスケールダウンしかつＩ２から下の次元にある４:４:４フォーマット内のＩ４に減少させるために、特定の２ｘ↓アルゴリズムを用いる。Ｉ４は、特定の２ｘ↓アルゴリズムを用いたすべての色コンポーネントのスケールダウンによってＩ０から直接得ることもできる。
【００３６】
ベイヤー・パターンの色コンポーネントは共同では置かれない。下のスケールのフォーマットにベイヤー・パターンをサブサンプリングする時に、ピクセル・アラインメントに関して注意が必要である。よって、以下のスケールの２つのシーケンスが特に有用である。
シーケンスＩ：｛０，１，２，４，５，６｝
シーケンスＩＩ：｛０，１，２，３｝
３未満のＳＱＳ値のために、シーケンスＩ又はシーケンスＩＩを用いることができる。３のＳＱＳ値のために、シーケンスＩＩを用いる。３より大きいＳＱＳ値のために、シーケンスＩを用いる。シーケンスＩＩにおいて、削減方法は、スケール１及び２でのサブサンプリング内で好まれる。シーケンスＩにおいて、スケール３は、非共存の問題を避けるために省略される。より洗練されたスケールの方法は、シーケンスＩのために用いることができる。
【００３７】
差分画像のシーケンスをシーケンスＩ及びシーケンスＩＩのために別々に与えることができる。シーケンスＩＩの場合において、サブサンプリングされたシーケンスは、｛Ｉ０，Ｉ１，Ｉ２，Ｉ３｝のサブセットを含む。サブサンプリングのために削減方法を用いるとき、Ｓ＝０，１，２のために、ＩＳ+１がＩＳのサブセットであることは明らかである。ＩＳとＩＳ+１の間の差分画像ＤＳを、ＩＳ内に存在するがＩＳ+１にはない余分なピクセル又はコンポーネントと定義することができる。よって、ＤＳは以下のように記載される。
Ｄｋ＝Ｉｋ−Ｉｋ＋１、  ｋ＝０，１，２
便宜上、Ｄ３＝Ｉ３とする。この方法で、差分サブサンプリング画像：｛Ｄ０，Ｄ１，Ｄ２，Ｄ３｝を得る。
【００３８】
シーケンスＩの場合において、サブサンプリングしたシーケンスは、｛Ｉ０，Ｉ１，Ｉ２，Ｉ４，Ｉ５，Ｉ６｝のサブセットを含む。差分画像を得るために、下のスケールでより高いスケールに画像をスケールアップする。例えば、より高いスケール画像Ｊ２を得るために、Ｉ４のＰコンポーネントをスケールする特定の２ｘ↑アルゴリズムを用いる。同様に、特定の２ｘ↑アルゴリズムを用いてより高いスケール画像Ｊｋ-１を得るために、Ｉｋ（ｋ＝６，５，２，１）のＳとＱコンポーネントをスケールアップする。そして、スケールｋでの差分画像は以下のように定義される。
Ｄｋ＝Ｉｋ−Ｊｋ、ｋ＝０，１，２，４，５
Ｄ６＝Ｉ６とする。そして、差分サブサンプリング画像のシーケンスは、｛Ｄ０，Ｄ１，Ｄ２，Ｄ４，Ｄ５，Ｄ６｝とされる。
シーケンスＩでの差分方法は、シーケンスＩＩにもまた適用することができる。
【００３９】
本発明の一面によれば、上述の差分サブサンプリング画像のシーケンスに代えて、図１の差分ステージ１２０で作られた差分画像は、違う形態をとる。上述の差分表示は、最も低い品質スケールからより高い品質スケールへのエラー伝播の不都合を持つ。現在の差分プロセスでのエラー蓄積を防止するために、削除のための参照画像は、下のスケールのデータから再構築された画像により交換される必要がある。
【００４０】
ここでシーケンスＩの場合だけを考える。シーケンスＩＩの場合は、より簡単で、同様に扱うことができる。ＳＱＳ  ＳとＣＱＳ  Ｃを与え、まず、サブサンプリングしたシーケンス｛ＩＣ，ＩＣ＋１，・・・，ＩＳ｝を得る。基本の品質スケール画像ＩＳは、変換ステージ１３０と量子化ステージ１４０からなるロッシー変換により扱われる。変換ステージ１３０は、標準のＪＰＥＧまたはＪＰＥＧ２０００の方法を各々使用してＤＣＴ又はウェーブレット変換を使って実行できる。或いは、変換ステージ１３０は、本出願において以下で定義する新たな別個のコサインウェーブレット変換を使うことができる。
【００４１】
ロッシー変換の逆関数を適用することによりＩＳを再構築するとき、ＧＳを得ることができる。一般に、ステージ１３０と１４０でロッシープロセスが使われることから、ＧＳはＩＳと異なる。特定のＬｘ↑アルゴリズムを使うとき、ＧＳのスケールをより高いスケールＳ-１まで上げて、ＨＳ-１が得られる。そして、
ＤＳ−１＝ＩＳ−１−ＨＳ−１                    （１）
からＤＳ−１を得て、ＤＳ−１を変換し、量子化する。Ｄ’Ｓ−１を、ＤＳ−１が変換して量子化したものとして表す。
【００４２】
ステージ１３０と１４０の逆関数によって、Ｄ’Ｓ−１を再構築するとき、ＧＳ-１を得る。ここでも、一般にはＧＳ−１は、ＤＳ−１と異なる。ＤＳ−１とＨＳ−１から、
ＦＳ−１＝ＧＳ−１＋ＨＳ−１                    （２）
から、ＩＳ−１を再構築することができる。ここで、記号ＦＳ-１は、スケールＳ-１でのオリジナルな画像ＩＳ−１に対する近似値である。ＦＳ-１とＩＳ−１の差異は、スケールＳからエラー伝播をうまく防止するＤＳ−１とＧＳ−１との差異と同じであることを補足する。ここで、特定の２ｘ↑アルゴリズムを用いるとき、ＦＳ−１のスケールをより高いスケールＳ-１まで上げて、ＨＳ-２が得られる。そして、
ＤＳ−２＝ＩＳ−２−ＨＳ−２
から、ＤＳ−２を得る。ここで、Ｄ’Ｓ−２を得るためにＤＳ−２を変換して量子化し、Ｄ’Ｓ−２からＧＳ−２を得る。このプロセスは、最も高い品質スケールＣでの差分画像ＤＣが決定され、変換され、量子化されるまで続く。Ｊｋがより低い品質のスケール画像Ｉｋ＋１からスケールアップされた画像である限り、数量Ｈｋは、Ｈｋがロッシー方法を使って変換されかつ量子化された下方のスケール画像データから再構築されるところで定義づけられたＪｋとは異なる。
【００４３】
直前に詳述した計算を、図１のフローチャートに示す。削除ステージ１２５は、等式（１）内のスケールＳ-１のために明示的に示されるようにサブサンプリングした画像と再構築しアップスケールした画像の差を計算する。量子化ステージ１４０のアウトプットＤ’は、差を決定するプロセスを完了するために脱量子化ステージ１５０と配置統計エンコードステージ１８０の両方を通る。逆変換ステージ１６０のアウトプットは、Ｇで示された量であり、再構築されたＤ’である。等式（２）のスケールＳ-１のために明示的に示されるように、加算ステージ１６５は、再構築された差分Ｇを隣接する下方スケールＨからスケールアップした画像に加算する。ＤＳ＝ＩＳ及びＨＳ＝０の基本の品質スケールＳのための形式的な定義をもって、このフローチャートは、変換され量子化された画像｛Ｄ’Ｓ，Ｄ’Ｓ−１，・・・Ｄ'Ｃ｝のシーケンスを生み出す全体の差分プロセスを説明する。
【００４４】
示したように、変換ステージ１３０は、離散コサイン変換（ＤＣＴ）、ウェーブレット変換（ＷＴ）又は当該技術において知られている他の同様な変換などの知られている関数と関連した係数の標準の変換を参照できる。本発明の別の面によるれば、離散ウェーブレットコサイン変換（ＤＷＣＴ）を示す新たな変換が使われる。ＤＷＣＴ変換は、ハー（Ｈａａｒ）（ウェーブレット）変換の空間変換機能とＤＣＴの周波数変換機能を結合する。
【００４５】
【数３】
0004116304.tif 000020
【００４６】
【数４】
0004116304.tif 000021
【数５】
0004116304.tif 000022
【数６】
0004116304.tif 000023
【数７】
0004116304.tif 000024
【数８】
0004116304.tif 000025
【数９】
0004116304.tif 000026
【００４７】
【数１０】
0004116304.tif 000027
【数１１】
0004116304.tif 000028
【数１２】
0004116304.tif 000029
【数１３】
0004116304.tif 000030
【数１４】
0004116304.tif 000031
【数１５】
0004116304.tif 000032
【数１６】
0004116304.tif 000033
【数１７】
0004116304.tif 000034
【数１８】
0004116304.tif 000035
【数１９】
0004116304.tif 000036
【００４８】
【数２０】
0004116304.tif 000037
【００４９】
【数２１】
0004116304.tif 000038
【数２２】
0004116304.tif 000039
【数２３】
0004116304.tif 000040
【数２４】
0004116304.tif 000041
【数２５】
0004116304.tif 000042
【数２６】
0004116304.tif 000043
【数２７】
0004116304.tif 000044
【数２８】
0004116304.tif 000045
【数２９】
0004116304.tif 000046
【００５０】
ＤＣＴの再帰的な定義でのように、上で得られたＨＴカーネルＨＮは標準化されない。ＨＮの第１列に１／√２を掛けることは与えられた次元Ｎに従来の標準化されたＨＴを提供する。
【００５１】
【数３０】
0004116304.tif 000047
【数３１】
0004116304.tif 000048
【数３２】
0004116304.tif 000049
【数３３】
0004116304.tif 000050
【数３４】
0004116304.tif 000051
【数３５】
0004116304.tif 000052
【数３６】
0004116304.tif 000053
【数３７】
0004116304.tif 000054
【数３８】
0004116304.tif 000055
【数３９】
0004116304.tif 000056
【数４０】
0004116304.tif 000057
【００５２】
【数４１】
0004116304.tif 000058
【００５３】
【数４２】
0004116304.tif 000059
【００５４】
【数４３】
0004116304.tif 000060
【００５５】
ＤＷＣＴが、差分画像が再構築された表示から定義される現在のデータ圧縮プロセスのコンテキストでここに定義されている一方、ＤＷＣＴは任意のデータ圧縮方法に適用されるかもしれない。例えば、ＤＷＣＴがＤＣＴ、又はＪＰＥＧ或いはＪＰＥＧ２０００のウェーブレット変換にそれぞれ取って変わることで、交替データ圧縮方法を定義することができるかもしれない。
【００５６】
【数４４】
0004116304.tif 000061
【００５７】
【数４５】
0004116304.tif 000062
【００５８】
【数４６】
0004116304.tif 000063
【数４７】
0004116304.tif 000064
【００５９】
【数４８】
0004116304.tif 000065
【００６０】
【数４９】
0004116304.tif 000066
【数５０】
0004116304.tif 000067
【数５１】
0004116304.tif 000068
【数５２】
0004116304.tif 000069
【数５３】
0004116304.tif 000070
【００６１】
【数５４】
0004116304.tif 000071
【００６２】
画像をブロックに分けるプロセスはステージ１３０において使用される代替変換に等しく適用できる。図１のフローチャートに関して、変換プロセス１３０のような変換ステージ１３０や量子化プロセス１４０がその時ブロックに換算して実行される前に、画像は直ぐにブロックに分けられる。差分ステージ１２０の内部でループを完成することにおいて、ブロック化された画像はステージ１６０において逆変換の後直ぐにデブロックされる。
【００６３】
量子化ステージ１４０において、係数のブロックはクォンタイザーでそれぞれの係数を割り、そして最も近い整数に四捨五入することによって、固定点データに量子化される。クォンタイザーはアプリケーションの必要に応じて自由に選択される。ＭｘＭブロック画像のＤＷＣＴ、又は他の変換は、ＭｘＭ係数のブロックを産出する。上述したとおり、ブロックが全体の画像に関係するかもしれない。ブロック中の係数としてのクォンタイザーの集合は、クォンタイザーブロックを形成し、量子化表とよばれる。クォンタイザーブロックの構造は表１７に示される。
【表１７】
0004116304.tif 000072
例えば、Ｃ（ｘ，ｙ）を画像ブロックのＤＷＣＴ係数、Ｑ（ｘ，ｙ）を選択されたクォンタイザーブロックとなるようにしなさい。量子化プロセスは次の方程式によって説明される。
【数５５】
0004116304.tif 000073
【００６４】
量子化係数Ｑ（ｘ，ｙ）の値は変換係数が蓄積される精度、すなわち変換の前にデータの精度である最も高い精度を限定する。Ｑ（ｘ，ｙ）のために選択された値を増加することは、係数毎に蓄積されたビットの数を減少させる。経験に基づく便利な方法は、次元ＮｘＮの変換のためにＱ（ｘ，ｙ）の最小実用的値がＮであるということである。不正常化した変換が使用された場合、量子化表の第１行の値Ｑ（０，ｙ）は、変換係数の第１行が正常ではないという事実を補うために選択される。いくつかの実施例において、クォンタイザー表の固定値は、異なった係数ブロックが異なった量子化表を使うことができるように与えられた画像において使われる。高頻度係数に一致する係数ブロックのために、かなり大きいクォンタイザー値、例えば、５００桁値が使われる。
【００６５】
脱量子化ステージ１５０において、整数値は量子化表中の値を掛けられる。代りに、脱量子化ステージ１５０は逆量子化表を使う。
【００６６】
配置された統計エンコードステージ１８０において、それぞれのブロックの量子化係数は、３つのステージ：コンテキスト予測１８５、配置１９０、及びエントロピーエンコード１９５で実行されたロスレスマナーでエンコードされる。
【００６７】
コンテキスト予測の従来の方法はステージ１８５で使用することができる。本発明の別の側面によれば、コンテキスト予測の改善された方法はそれぞれの色コンポーネントやそれぞれの係数のために異なっているコンテキストを使う。原色コンポーネントＰとして、コンテキストは同じブロック中の隣接するピクセルから成る。第２の色コンポーネントＳとして、コンテキストは同じブロック中の隣接する係数及びその対応する原色ブロック中の同じインデックスの係数から成る。第３の色コンポーネントＱとして、コンテキストは同じブロック中の隣接する係数及びその対応する原色ブロックと第２の色ブロック中の同じインデックスの係数から成る。
【００６８】
インデックス０の係数は、原色コンポーネントや第２の色コンポーネント中の同じ係数に加えて隣接するブロックのインデックス０の係数を利用して、異なって予側される。どんな桁のコンテキストも使われることができる；しかしながら、典型的に、２桁と３桁が使われる。３桁のコンテキストは同じであるか、又は異なったブロックからの３つの係数Ｃ１、Ｃ２及びＣ３によって構成される。２桁のコンテキストはＣ１とＣ２のみを含む。後述されるコンテキストは３桁のためである。２桁のコンテキストはコンテキスト中の１つの係数、普通は最も少なく関係しているものを捨てることによって得られる。
【００６９】
ブロックの中の係数は４つのグループに分類される。それぞれのグループのコンテキストは異なった規則を用いて構成される：
グループ０：グループ０は位置（０，０）のみにおいて係数を含む。
グループ１：グループ１は係数（０，０）以外の第１行上の係数を含む。この係数のグループはｉ＞０である（０，ｉ）からなるインデックスを持つ。
グループ２：グループ２は係数（０，０）以外の第１列上の係数を含む。この係数のグループはｊ＞０である（ｊ，０）からなるインデックスを持つ。
グループ３：グループ３は係数の残りすべてを含む。この係数のグループはｉ＞０、ｊ＞０である（ｉ，ｊ）からなるインデックスを持つ。
【００７０】
グループ１の原色係数Ｐ０，ｉ（ｉ＞０）のコンテキストはＰ０，ｉより前にある同じ行上の３つの係数によって構成される：
Ｃｋ＝Ｐ０，ｉ−ｋ，  ｋ＝１，２，３
もしＣ３又はＣ２がブロックの外にあるならば、その時コンテキストはＣ１のみによって構成される。同様に、グループ２の係数Ｐｊ，０のコンテキストはＰｊ，０より前にある同じ列上の３つの係数によって構成される。もしＣ３又はＣ２がブロックの外にあるならば、その時コンテキストはＣ１のみによって構成される。グループ３の係数Ｐｊ，ｉのコンテキストはＰｊ，ｉの左側上部の３つの隣接する係数によって構成される。：
Ｃ１＝Ｐｊ，ｉ−１，  Ｃ２＝Ｐｊ−１，ｉ，  Ｃ３＝Ｐｊ−１，ｉ−１
係数のブロック中の、グループ０、１、２、及び３の位置は、図３で概略的に図示される。
【００７１】
係数（０，０）のためのコンテキストは異なって構成される。最初に、原色の異なったブロックからのすべての係数（０，０）はインデックス画像を構成するために集められる。インデックス画像は通常の主要なコンポーネントブロックのように扱われ、ＤＷＣＴは係数ブロックを得るためにインデックス画像に適用される。グループ１、２及び３は上述されたコンテキストを使って予測される。ポジション（０，０）においての係数はＨビット精度の画像のためにコンスタント２Ｈ−１を使って予測される。
【００７２】
グループ１の第２の色コンポーネントＳ０，ｉ（ｉ＞０）の係数のコンテキストは、Ｓ０，ｉの前にある同じ行上の２つの係数、及び対応する主要係数Ｐ０，ｉによって形成される。：
Ｃ１＝Ｐ０，ｉ，  Ｃ２＝Ｓ０，ｉ−１，  Ｃ３＝Ｓ０，ｉ−２
もしＣ３がブロックの外にあるならば、その時コンテキストはＣ１とＣ２のみによって構成される。同様に、グループ２の係数Ｓｊ，０のコンテキストはＳｊ，０の前にある同じ列上の２つの係数、及び対応する主要係数Ｐ０，ｉによって構成される。：
Ｃ１＝Ｐｊ，０，  Ｃ２＝Ｓ０，ｉ−１，  Ｃ３＝Ｓ０，ｉ−２
もしＣ３がブロックの外にあるならば、その時コンテキストはＣ１とＣ２のみによって構成される。グループ３の係数Ｓｊ，ｉのコンテキストはＳｊ，ｉの左側と上側上の２つの隣接する係数、及び対応する主要係数Ｐｊ，ｉによって構成される。：
Ｃ１＝Ｐｊ，ｉ，  Ｃ２＝Ｓｊ，ｉ−１，  Ｃ３＝Ｓｊ−１，ｉ
【００７３】
第２の色コンポーネントＳの係数（０，０）のためのコンテキストは、原色コンポーネントの係数（０，０）のためのコンテキストに類似して構成される。最初に、第２の色の異なったブロックからのすべての係数（０，０）は、インデックス画像を構成するために集められる。このインデックス画像は通常の第２のコンポーネントブロックのように扱われ、ＤＷＣＴは係数ブロックを得るためにこのインデックス画像に適用される。グループ１、２及び３は第２のコンポーネントのために上述されたコンテキストを使って予測される。係数０はＨビット精度の画像のために不変の２Ｈ−１を使って予測される。
【００７４】
グループ１の第３の色コンポーネントＱ０，ｉ（ｉ＞０）の係数のコンテキストは、Ｓ０，ｉの前にある同じ行上の係数、及び対応する主要係数と第２の係数Ｐ０，ｉとＳ０，ｉによって構成される。：
Ｃ１＝Ｐ０，ｉ，  Ｃ２＝Ｓ０，ｉ，  Ｃ３＝Ｑ０，ｉ−１
同様に、グループ２の係数Ｑｊ，０のコンテキストはＱｊ，０の前にある同じ列上の係数、及び対応する主要係数と第２の係数Ｐｊ，０とＳｊ，０によって構成される。：
Ｃ１＝Ｐｊ，０，  Ｃ２＝Ｓｊ，０，  Ｃ３＝Ｑｊ−１，０
グループ３の係数Ｑｊ，ｉのコンテキストはＱｊ，ｉの左側上の２つの隣接する係数、及び対応する主要係数と第２の係数Ｐｊ，ｉとＳｊ，ｉによって形成される。：
Ｃ１＝Ｐｊ，ｉ，  Ｃ２＝Ｓｊ，ｉ，  Ｃ３＝Ｑｊ，ｉ−１
【００７５】
第３の色コンポーネントの係数（０，０）のコンテキストは原色コンポーネントと、第２の色コンポーネントの（０，０）係数の上述されたプロセスに類似して構成される。
【００７６】
隣接するピクセルからのコンテキストに加えて、ＤＷＣＴブロックの中のそれぞれの係数の位置インデックスもまたコンテキストとして使用することができる。位置のコンテキストはＣ０によって示される。
【００７７】
例えばスケール４において、いくつかの品質スケール中の画像の色コンポーネント、ベイヤーパターンサブサンプリングは共同で設置されないことに注意。この場合、１つの色のピクセルは同じ場所で他の色の対応するピクセルを見つけることができない、つまり色ブロックは一直線に並べられず、同じブロックサイズすら持つことができないという結果になる。等和色のためのコンテキストを生成するために上部左角の主要係数のサブブロックのみを使うことによって、ブロックサイズ問題は処理することができる。代わりに、不整列の問題は見のがされる可能性がある。ここで記述されたコンテキスト予測方法がどんなデータ圧縮方法にも応用できることはさらに注目されるかもしれない。例えば、現在のコンテキスト予測方法はＪＰＥＧあるいはＪＰＥＧ２０００のような方法のエントロピーエンコーディングステップと共同で使われる。
【００７８】
ピクセルコンテキストと位置コンテキストは、確率モデリングのために一緒に全体のコンテキストを形成する。全体のコンテキストは、Ｃ３Ｃ２Ｃ１Ｃ０により示される。係数Ｘについて、条件付き確率Ｐ（Ｃ３Ｃ２Ｃ１Ｃ０|Ｘ）は、係数Ｘをエンコードするためにステージ１９５にて続いて使用される。コンテキストの最大桁は、実際の適用において、コンピュータ上の理由のために４から３或いは２まで減少することができる。
【００７９】
配置ステージ１９０において、ピクセルの２次元の配列は効率的なエンコードの目的のために１次元のシーケンスの中にマップされる。図１のフローチャートにおいて、配置がコンテキスト予測の後に続く。代わりに、マッピングが、係数、量子化表及びコンテキストのような全ての関連の有るデータについて維持されている限り、配置は量子化又はコンテキスト予測の前に行われることができる。配置の従来の方法は、ＪＰＥＧで使われるジグザグ配置スキームを含んでいる。本発明の別の見地によれば、四分木（quad-tree）配置と呼ばれる配置方法がここで定義される。四分木配置方法は、２次元配列の上方左隅にて最も重要な係数に配置されるＤＷＣＴ変換のデータ圧縮を利用するために特に適している。最初に、表１８に示されるように、各ブロックが等しい大きさの４つの優先領域（ＰＲ）に分割される。
優先領域
【表１８】
0004116304.tif 000074
優先０は最も高い優先の領域であり、優先３は最も低い優先領域である。ビットストリームにおいて、優先０の領域は優先１の領域の前にあり、優先２とそれから優先３の領域が後に続いているように見える。
【００８０】
各領域は、さらに上記したのと同様の方法を使用して下位優先領域に分割される。このプロセスは、領域サイズが１×１ピクセルに達するまで続く。表１９は、サイズ１６×１６のブロックについての配置結果を示す。同じ方法は、いかなるサイズのブロックについても適用されることができる。
ブロック係数の四本木配置
【表１９】
0004116304.tif 000075
【００８１】
上に示したように、配置方法の出力は、１次元の配列にて係数配置に２つのインデックスピクセル位置を関連付ける表を含む。
【００８２】
データ圧縮方法の最終ステージは、エントロピーエンコード１９５である。配置された量子化係数は、ステージ１８５で決定されたコンテキストに基づいた条件付き確率に基づいてエンコードされるエントロピーである。どんなロスレスエンコード方法が使用されてもよいが、算術エンコードが好ましく使用される。算術エンコードの標準的な方法は、マーク・ネルソンとジーン−ループ−ガイリーによる参考文献、例えばThe Data Compression Book（Ｍ＆Ｔブックス、1995）に記述されている。
【００８３】
条件付き確率P（Ｃ３Ｃ２Ｃ１Ｃ０|Ｘ）、ここでＸはエンコードされるべき係数、は優先が得られるコンテキスト表から初期化され、それから関心画像のために、蓄積された統計値を使って更新される。Ｃ０が配置ステージに起因する１次元配列中の位置のインデックスであることに注意する必要がある。もしＸがＣ３Ｃ２Ｃ１Ｃ０の予測表中に無ければ、予測桁は３に減り、Ｃ２Ｃ１Ｃ０の予測表が検討される。もしＸが予測表Ｃ２Ｃ１Ｃ０中に無ければ、P（Ｃ２Ｃ１Ｃ０|Ｘ）がＸをエンコードするために使用される。さもなければ、桁は２に減り、Ｃ１Ｃ０の予測表が検討される。このプロセスは、１桁に達するまで続けられる。もし再びＸがＣ０の予測表中に無かったら、ＸはＣ３Ｃ２Ｃ１Ｃ０、Ｃ２Ｃ１Ｃ０、Ｃ１Ｃ０及びＣ０の予測表中に無い値のための一定の確率を仮定してエンコードされる。
【００８４】
エンコードされる値はシンボルと呼ばれる。異なる桁についての予測表は、それらが共通のシンボルを含んでいないため解体される。もしＸがＣ３Ｃ２Ｃ１Ｃ０の予測表中に無い場合、桁を４から３に減らしたとき、Ｃ３Ｃ２Ｃ１Ｃ０中の全てのシンボルは、そのシンボル確率を計算するときに、Ｃ２Ｃ１Ｃ０の予測表から除去されるべきである。同様に、桁を３から２に減らしたとき（Ｃ２Ｃ１Ｃ０の予測表中にＸが無いため）、Ｃ３Ｃ２Ｃ１Ｃ０及びＣ２Ｃ１Ｃ０中の全てのシンボルは、そのシンボル確率を計算するときに、Ｃ１Ｃ０の予測表から除去されるべきである。エンコードするプロセスでは、各条件付き確率は固定小数点式の数フォーマットで発生カウントにより表わされる。値がエンコードされる毎に、発生カウントが更新される。
【００８５】
エンコードステージは、コンピュータ・ネットワーク上で効率的に蓄積され或いは伝達されることができるビットストリームを作り出すプロセスを完了する。ビットストリームは差分画像に対応するエンコードされた係数に続いて、基本品質スケール画像に対応するエンコードされた係数を含む。加えて、ビットストリームは、ファイルのサイズ、色の数、スケールの数、ブロックシーケンシャルインデックスのようなファイルがどのように配置されるかについての情報、例えば非デフォルトの量子化表を変換しエンコードするために使用される方法の識別、そしてオプションとして確率表、のような従来のヘッダー情報を含んでいてもよい。
【００８６】
図２で記述されるように、圧縮解除プロセスは、プロセスの各ステップにおいて本質的に作用を逆にし、それにより画像が再構築される。圧縮解除プロセスは、エントロピーエンコードのために使用される確率表へのアクセスを持つ必要がある。確率表はヘッダー情報の一部として蓄積されるかもしれないが、それらは一般に大きい。従って、ステージ２１０において、確率予測表は典型的にステージ１８５で使用されたのと類似したコンテキスト予測プロセスによって生成される。しかしながら、コンテキスト予測プロセスは隣接するピクセルについての情報を使用した。配置された統計エンコードを逆にするループ２８０により示された圧縮解除プロセスの一部は、ピクセルが次第に確率表を構築するために配置される間、ループとして実行される。エントロピーエンコードステージにおいて、ビットストリームデータは、量子化変換係数に再構築される。逆配置ステージ２３０は、１次元係数データを２次元位置にマップする。脱量子化ステージ２５０は、逆の量子化表を使用している量子化プロセスを逆にする。逆変換ステージ２６０は、脱量子化係数をピクセルデータに変換する。ステージ２５０及び２６０は、差分ステージ１２０内のループで使用されるステージ１５０及び１６０と正確に同じプロセスであることに注意する必要がある。
【００８７】
図２に示されるように、組換えプロセス２９０は、差分ステージ１２０の効果を逆にする。逆変換ステージ２６０の出力は、{ＧS, GS-1, …GC}として示される基本品質スケール画像ＧＳから始まる差分画像のシーケンスでもよい。ここで、Ｇ'Ｓはロッシー変換を受けるために、オリジナル画像ＩＳ等と正確に同じではない。ＧＳはより高いスケール画像ＨS-1を生み出すためにスケールアップされる。ＩS-1に近い再構築されたＦS-1は、上記等式（２）、ＦS-1＝ＧS-1＋ＨS-1から得られる。画像ＦS-1は、ＨS-2を与えるために次の画像スケールへとスケールアップし、このプロセスは最も品質の高いスケール画像のデジタル表示が回復するまで続けられる。形式上の定義ＨS＝０で、組換えプロセス２９０は図２のフローチャートに記述される。ここで、加算ステージ２６５は、再構築された差分Ｇを、等式（２）中のように、隣のより低いスケールＨからスケールアップされた画像に加算する。
【００８８】
しかしながら、圧縮されたデータで利用可能な最も品質が高いスケールにおいて再構築された画像を得ることは必要ではない。もし、アプリケーションによって指定されたスケールであるディスプレイ品質スケール（ＤＱＳ）が、画像が蓄積された品質より低い品質であるなら、ただ ＤＱＳスケールに対応している差分だけが回復される必要がある。この場合、代わりに、ステージ２１０から２６０までで差分Ｇが一度に得られるように、図２中のプロセスの流れは変えられ、そして、次の品質スケールで差分が逆変換される前に、前のアップスケールされた画像に加えられることができる。このようにして、次のより品質が高いスケールのために要求されるいかなる情報も算出される前に、与えられた品質スケールにおいて画像を表示するために必要な全ての情報が決定されてもよい。
【００８９】
このように、本プロセスによる圧縮された画像は、コンピュータ・ネットワーク或いはインターネット上での送信によって、漸次見られるか或いはダウンロードされることができる。さらに、ブラウザは、指定されたスケールより高い品質スケールに対応しているどんなデータも無視して、指定された品質スケールにおいて画像を表示することができる。
【００９０】
デジタル画像圧縮プロセスが、特定のスケール定義、変換及び配置スキームに関して記述されたけれども、記述は単に発明の適用の例に過ぎない。次のクレームによって定義されるように、開示されたプロセスの種々の適応と修正が発明の範囲内で考えられる。
【図面の簡単な説明】
【図１】本発明の実施例に沿ったデジタル静止画像を圧縮するプロセスのフローチャートである。
【図２】本発明の実施例に沿ったビットストリーム・データをデジタル画像へ圧縮解除するプロセスのフローチャートである。
【図３】本発明の実施例に沿ったコンテキスト予測のために用いられるグループ０〜３を示す図である。
【図１】
0004116304.tif 000076
【図２】
0004116304.tif 000077
【図３】
0004116304.tif 000078