(57)【要約】  高品質広帯域多層画像圧縮符号化のためのシステム、方法、及びコンピュータプログラムは、全ての計算の本質で浮動小数点値の無矛盾の遍在する使用と、調整可能な浮動小数点不感帯と、最適な帯域分割フィルタの使用と、より低い解像度レベルでの全ＳＮＲ層の使用と、特定のＳＮＲ層の特定の品質改善への標的化と、標的とされた帯域分割およびＳＮＲ層中での関心領域への符号化ビットの集中と、高域通過及び／又はＳＮＲ層に対して静的に分配された標的の使用と、より高い圧縮符号化誤差を示す画像の領域に対してより低い量子化値を用いることによる改善されたＳＮＲと、ＳＮＲ層の生成時に差の値を計算したとき色の非線形関数の適用と、局部的量子化スケーリングを用いたより低い解像度レベルでのより微細な全面的量子化の使用と、動き補償圧縮又はフィルム安定化の前のソース画像雑音の除去と、一以上の全範囲低帯域の使用と、ＳＮＲ帯域及び他の高解像度増強帯域に対する交番量子化制御画像の使用と、適応性領域を用いる無損失可変長符号かの適用と、ビットの層に対するフォルダ及びファイル構造の使用と、及び動き補償フレームに必要なビット数を計数することによる新イントラフレームを挿入する方法とを含む。
2008514115.tif 000002
【特許請求の範囲】
【請求項１】
画素として表された一連のデジタル化したビデオ画像を圧縮する方法であって、
最適の帯域分割フィルタ位相構造をデジタル化したビデオ画像に適用して、前記デジタル化したビデオ画像の前記画素間に低域通過帯域を生成するステップを有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、少なくとも最も低い低域通過帯域が浮動小数点数値表現を有することを特徴とする方法。
【請求項３】
一連のデジタル化したビデオ画像を圧縮する方法であって、
低域通過帯域が前記デジタル化したビデオ画像の画素間に生成される少なくとも二つの減少した解像度レベルを備えた帯域分割フィルタ構造を適用して、前記デジタル化したビデオ画像から帯域分割階層を生成するステップと、
異なる量子化パラメータ値を少なくとも二つの減少した解像度層のそれぞれに適用するステップと、
前記少なくとも二つの減少した解像度層で、引き続いて実施される符号化ステップであって、前記デジタル化したビデオ画像の圧縮された出力を生成するステップと
を備えたことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、少なくとも一つの量子化パラメータを制約して極端な値を選択するステップを更に備えたことを特徴とする方法。
【請求項５】
請求項３に記載の方法であって、少なくとも一つの量子化パラメータの値が浮動小数点数値表現を有することを特徴とする方法。
【請求項６】
一連のデジタル化したビデオ画像を圧縮するための方法であって、
各デジタルビデオ画像を浮動小数点数値表現に変換するステップと、
前記浮動小数点数値表現を用いて量子化に先立って全ての符号化ステップを実行し、圧縮された出力を生成するステップと
を備えたことを特徴とする方法。
【請求項７】
デジタル化したビデオ画像から雑音を除去する方法であって、
少なくとも一つの一時的、空間的、及びパターン雑音を、前記デジタル化したビデオ画像のソース内に、色、輝度及び領域の少なくとも一つの関数として統計的に特徴づけるステップと、
前記特徴付けられた雑音を、圧縮又は画像安定化アルゴリズムの適用の前に除去するステップと
を備えたことを特徴とする方法。
【請求項８】
標的とされた信号対雑音改善層を一連の画像の特定の態様に付け加える方法であって、
改善のために符号化された画像の一以上の態様を選択するステップと、
前記画像の態様を選択基準を用いて分離するステップと、
分離された符号化画像態様を用いて信号対雑音層を符号化するステップと
を備えたことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、
高域通過又は帯域通過フィルタの一つを適用して特定の空間周波数を画像態様として選択するステップを更に備えたことを特徴とする方法。
【請求項１０】
請求項８に記載の方法であって、前記選択するステップは、
前記改善のための符号化画像の複数の静的領域を選択し、少なくとも一つの領域をもう一つの領域と異なるように符号化するステップであることを特徴とする方法。
【請求項１１】
一連の動き補償圧縮デジタル化ビデオ画像内にイントラフレームをいつ挿入すべきか判断するための方法であって、
前記イントラフレームを符号化するために必要な第一の数のビットを数えるステップと、
前記イントラフレームに引き続く動き補償フレームを符号化するために必要な第二の数のビットを数えるステップと、
前記第二の数と前記第一の数とを比較して、イントラフレームとして動き補償されたフレームを再度数えるべきか否かを判断するステップと
を備えたことを特徴とする方法。
【請求項１２】
一連のデジタルビデオ画像を圧縮するための方法であって、
デジタル化したビデオ画像から処理された画像の階層を生成するステップと、
それぞれが無損失符号化効率に基づいて選択される複数の領域を各処理された画像内に決定するステップと、
前記各領域とは独立に無損失化変調符号化を適用するステップと
を備えたことを特徴する巣方法。
【請求項１３】
請求項１２に記載の方法であって、前記所有された画像の階層は、前記デジタル化したビデオ画像から生成された画像の量子化された帯域分割階層を備えたことを特徴とする方法。
【請求項１４】
請求項１２に記載の方法であって、前記所有された画像の階層は、少なくとも一つの、前記デジタル化されたビデオ画像から生成された低解像度浮動小数点低帯域を備えたことを特徴とする用法。
【請求項１５】
請求項１２に記載の方法であって、前記所有された画像の階層は、少なくとも一つの、前記デジタル化されたビデオ画像から生成された浮動小数点局部べき量子化画像を含むことを特徴とする方法。
【請求項１６】
請求項１２に記載の方法であって、各領域に適用された前記無損失可変長符号化は符号化効率に基づいて選択されることを特徴とする方法。
【請求項１７】
一連のデジタル化したビデオ画像の圧縮から生じたデータを分類するための方法であって、
ファイルデータ構造中の単一の画像の圧縮結果の組織的態様に関するデータを記憶するステップと、
フォルダデータ構造内の各態様に関して全てのファイルデータ構造を分類するステップと
を備えたことを特徴とする方法。
【請求項１８】
請求項１７に記載の方法であって、少なくとも一つのフォルダデータ構造が前記圧縮されたデジタル化したビデオ画像の複合から省略されることを特徴とする方法。
【請求項１９】
請求項１７に記載の方法であって、単一の画像の圧縮の結果の前記組織的態様が、解像度層、信号対雑音層、浮動小数点最低帯域、量子化領域低帯域、又は動き補償データの少なくとも一つを含むことを特徴とする方法。
【請求項２０】
一連の圧縮されたデジタル化したビデオ画像を減圧する方法であって、
非量子化後の全ての復号ステップを浮動小数点数値表現を用いて、減圧したデジタル化した画素値を有する出力を生じるステップを備えたことを特徴とする方法。
【請求項２１】
請求項２０に記載の方法であって、
前記画素値の最後の浮動小数点数値表現を整数に変換するステップを更に備えたことを特徴とする方法。
【請求項２２】
画素として表される一連のデジタル化したビデオ画像を圧縮するための方法であって、
少なくとも一つの、それぞれ複数の値を有する処理された層を、少なくとも一つのデジタル化したビデオ画像から生成するステップと、
対応するデジタル化したビデオ画像に関してより高い圧縮符号化誤差を示す層、又は前記処理された層が生成された層、の領域に対するより低い量子化値を用いる前記少なくとも一つの処理された層の前記複数の値に、量子化パラメータを適用するステップと
を備えたことを特徴とする方法。
【請求項２３】
画素として表される一連のデジタル化したビデオ画像を圧縮する方法であって、
少なくとも一つの、少なくとも一つのデジタル化したビデオ画像から処理され、それぞれの処理された層が複数の値を有する層を生成するステップと、
量子化パラメータを、前記少なくとも一つの、ゼロの近傍のこのような処理された層の値に対して、調整可能な大きさの浮動小数点不感帯を用いて処理された層の前記複数の値に当てはめるステップと
を備えたことを特徴とする方法。
【請求項２４】
請求項２３に記載の方法であって、処理された層の一つの中に前記量子化パラメータを独立の領域に適用する関数、又は前記量子化パラメータを異なる処理された層に適用する関数の少なくとも一つの関数として前記不感帯の大きさを調整するステップを更に備えたことを特徴とする方法。
【請求項２５】
請求項２５に記載の方法であって、少なくとも一つの層は、双直交副帯域９／７離散ウェーブレット変換により生成されることを特徴する方法。
【請求項２６】
一点のデジタル化したビデオ画像を圧縮するための方法であって、
デジタル化したビデオ画像から、少なくとも二つの減少した解像度レベルを備えた帯域分割階層を生成するステップと、
浮動小数点又は半浮動小数点数値として表された量子化パラメータを、このような少なくとも二つの減少した解像度の層に適用するステップと、
前記少なくとも二つの減少した解像度の層に引き続き行う符号化ステップであって、前記デジタル化したビデオ画像の圧縮された出力を生じるステップと
を備えたことを特徴とする方法。
【請求項２７】
請求項２６に記載の方法であって、
前記帯域分割階層は前記双直交副帯域９／７離散ウェーブレット変換により生成されることを特徴とする方法。
【請求項２８】
画素で表される一連のデジタル化したビデオ画像を圧縮する方法であって、
それぞれ複数の値を有する少なくとも一つの処理された層をデジタル化したビデオ画像の少なくとも一つから生成するステップと、
少なくとも一つの前記処理された層の値を、量子化の前に擬似ランダム雑音を用いてディザリングするステップと、
量子化パラメータを、少なくとも一つの処理された層の前記複数の値適用するステップと
を備えたことを特徴とする方法。
【請求項２９】
請求項２８に記載の方法であって、各処理された層の各値は固有の雑音レベルを有し、前記量子化パラメータステップの大きさを有し、前記固有の雑音と前記擬似ランダム雑音との、少なくともゼロ近傍の不感帯の外側の各値の合計が量子化パラメータステップの大きさに近似するように、前記擬似ランダム雑音のレベルを設定するステップを更に備えたことを特徴とする方法。
【請求項３０】
画素として表される一連のデジタル化したビデオ画像を圧縮する方法であって、
デジタル化したビデオ画像を、最適の帯域分割フィルタ位相構造関数又は離散ウェーブレット変換９／７双直交副帯域ウェーブレット関数の双方を用いて濾波するステップと、
共通の量子化レベルで最善の符号化効率を有する関数を選択するステップと
を備えたことを特徴とする方法。
【請求項３１】
請求項３０に記載の方法であって、前記選択された関数を適用して少なくとも一つの信号伝播対雑音層をデジタルビデオ画像から生成する方法。
【請求項３２】
画素として表される一連のデジタル化したビデオ画像を圧縮する方法であって、
フィルタ構造を適用して、デジタル化したビデオ画像から減少した解像度層の階層を生成するステップと、
それぞれが前記減少した解像度層の一つに対応する、少なくとも一つの信号対雑音層を生成するステップと
を備えたことを特徴とする方法。
【請求項３３】
画素として表される一連のデジタル化したビデオが層フレームを圧縮するための方法であって、
それぞれが複数の値を備えた少なくとも一つの処理された層を、少なくとも一つの前記デジタル化したビデオ画像フレームから生成するステップと、
好ましくは符号化ビットを少なくとも一つの処理された層の関心の或る領域に配置して、デジタル化したビデオ画像フレームの縁近傍の画素差の振幅を、このようなフレームの縁に近接する関数として減少する重み付けを用いて減少させることにより、少なくとも一つの処理された層を符号化するステップと
を備えたことを特徴とする方法。
【請求項３４】
請求項３３に記載の方法であって、少なくとも一つの層は、帯域分割された層である。
【請求項３５】
請求項３３に記載の方法であって、少なくとも一つの層は、信号伝播対雑音層である。
【請求項３６】
信号対雑音改善層を用いて、色空間内の異なる色を表す値を有する画素として表される一連の画像の圧縮を改善する方法であって、
非線形関数を画像の画素の各色値に適用して知覚的に重み付けられた画像を生成するステップと、
信号対雑音層を各知覚的重み付け画像から生成するステップと
を備えたことを特徴とする方法。
【請求項３７】
請求項３６に記載の方法であって、前記非線形関数はガンマ関数であることを特徴とする方法。
【請求項３８】
請求項２６に記載の方法であって、前記非線形関数は対数関数であることを特徴とする方法。
【請求項３９】
動き補償圧縮システム中の一連のデジタル化したビデオ画像を圧縮する方法であって、
少なくとも二つの異なる減少した解像度レベルを有する帯域分割階層をデジタル化したビデオ画像から生成するステップと、
減少した解像度レベルに対応する以前復号したビデオ画像を減少した解像度レベルから減算して、中間のフレームを生成するステップと
帯域分割階層を前記中間のフレームから生成するステップと、
最低のレベルを除き、前記中間フレームの全てのレベルを、対応するより低い解像度の画像に量子化及び非量子化するステップと、
前記より低い解像度の画像と前記最低のレベルの中間フレームとを組み合わせてだんだん高くなる解像度の符号化画像とするステップと
最高の解像度の符号化画像を以前復号したビデオ画像に加算して、可視画像を生成するステップと
を備えたことを特徴とする方法。
【請求項４０】
一連のデジタル化したビデオ画像を圧縮する方法であって、
デジタル化したビデオ画像から、少なくとも二つの異なる減少した解像度を備えた帯域分割階層を生成するステップと、
極端な画素値として選択した減少した解像度レベルから量子化スケールファクタを決定するステップと、
決定した量子化スケールファクタを、選択した減衰した解像度レベルより高い解像度を有する全ての減衰した解像度レベルに対する量子化パラメータとして適用するステップと
を有することを特徴とする方法。
【請求項４１】
請求項４０に記載の方法であって、特定の画素値を、前期量子化スケールファクタとして選択した減少した解像度レベルから選択するステップを更に備えたことを特徴とする方法。
【請求項４２】
請求項４１に記載の方法であって、減少した解像度レベルにそれぞれ対応する複数の量子化スケールファクタを決定するステップをさらに備えたことを特徴とする方法。
【請求項４３】
請求項４１に記載の方法であって、一以上の隣接する画素の値として極値画素値を決定するステップを更に備えたことを特徴とする方法。
【請求項４４】
画素として表されるデジタル化したビデオ画像から信号対雑音補正層を生成するための方法であって、
前記デジタル化したビデオ画像を量子化及び非量子化して符号化画像を生成するステップと、
該符号化画像を、前記デジタル化したビデオ画像から減算して、画素として表される信号対雑音差画像を生成するステップと、
より大きな差画像の画素値がより小さな量子化された値を有するように、前記信号対雑音差画像の画素値に対して、一方又は双方の量子化重み付け及び画素重み付けを適用するステップと
を備えたことを特徴とする方法。
【請求項４５】
請求項４４に記載の方法であって、各信号対雑音差画像の画素値を一以上の隣接画素の関数として含むステップを更に備えたことを特徴とする方法。
【請求項４６】
請求項４５に記載の方法であって、信号対雑音差画像の画素値に対する誤差値が、前記信号対雑音差画像に対する平均誤差値から異なる量の関数として追加的な量子化重み付けを適用するステップを更に備えたことを特徴とする方法。
【請求項４７】
画素として表される一連のデジタル化したビデオ画像を圧縮する方法であって、
複数の処理された層を少なくとも一つのデジタル化したビデオ画像から生成するステップと、
より低い解像度層がより高い解像度の層に対してより低い量子化パラメータの値を有するように測定された各量子化パラメータを、それぞれ対応する各処理された層に適用するステップと
を備えたことを特徴とする方法。
【請求項４８】
請求項４７に記載の方法であって、各処理された層に対して、処理された層の中の領域の関数として、前記量子化パラメータの値を変動させるステップを更に備えたことを特徴とする方法。
【請求項４９】
圧縮されたデジタル化したビデオ画像中のフィルム粒子又はカメラ雑音の外観を減少させるための方法であって、
変換振幅ヒストグラムを、圧縮されたデジタル化したビデオ画像から生成された少なくとも一つの信号対雑音層に対する一以上の色、輝度及び領域の関数として適用するステップを有することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮に係り、特にデジタル化したカラービデオ画像のシーケンスに関する。
【背景技術】
【０００２】
本出願は、２００４年９月１４日に出願された仮特許出願第６０／６０９７７３号に対する優先権を主張する非仮特許出願である。
【０００３】
ＪＰＥＧ−２０００双直交９／７離散的ウェーブレット変換
２０年間、副帯域符号化、低域通過／高域通過スプリット対及びウェーブレット副帯域符号化等の帯域分割技術が画像圧縮に適用されてきた。最近注目すべきは、ＪＰＥＧ−２０００に用いられる副帯域離散的ウェーブレット変換（ＤＷＴ）である（例えば、「ＪＰＥＧ２０００、画像圧縮の基礎、標準及び実際（ＪＰＥＧ−２０００，Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｆｕｎｄａｍｅｎｔａｌｓ，  Ｓｔａｎｄａｒｄｓ）」デビッド・エス・タウブマン（Ｄａｖｉｄ  Ｓ．  Ｔａｕｂｍａｎ）及びミッチェル・ダブリュー・マーセリン（Ｍｉｃｈａｅｌ  Ｗ．  Ｍａｒｃｅｌｌｉｎ）著、クルワー学術出版社（Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ）刊、２００２年）。ＪＰＥＧ−２０００静止画像及びフレーム内符号化（即ち、無動き補償)動画像符号化システムが、副帯域構成における二つの「双直交」ウェーブレットクラスを支持する。ＤＷＴ５／３双直交副帯域構成が、少量（典型的には２．２：１）の圧縮だけを伴う無損失圧縮のために使用され、そのとき正確なビットの一致が要求される。ＤＷＴ９／７双直交副帯域構成が、より一般的に用いられ、（ビット的に正確ではないが）画像の「視覚の本質」を保持しながら、より高い圧縮比のための変換符号化法を提供できる。
【０００４】
ＤＷＴ９／７双直交副帯域構成の基本的な長所は、低域通過／高域通過フィルタ対に類似していることである。「双直交性」により、低域通過フィルタ及び高域通過フィルタを用いて、奇数及び偶数のサンプル位置がそれぞれ指示される。この構造は、そこで、ＪＰＥＧ−２０００中の４つの副帯域、即ち、低域水平及び垂直（「低−低」)副帯域、高域水平及び低域垂直（「高−低」)副帯域、低域水平及び高域垂直（「低−高」)副帯域、及び高域垂直及び水平（「高−高」)副帯域、に分割される。この副帯域構成は、他の帯域分割フィルタセットも利用でき、また偶数／奇数画素で双直交に構成する必要がない。どのように定義された低帯域アップフィルタ及び（任意の高帯域フィルタを備えた）高帯域和でも、圧縮符号化に使用するのに適した帯域分割を生じることができる。
【０００５】
図１は、ＪＰＥＧ−２０００の教示に従った従来例の９／７ＤＷＴ双直交副帯域圧縮システムのブロック図である。圧縮される高解像度画像１００（即ち従来の高層低−低副帯域画像)が、奇数画素に適用される（９タップを有するとして示された）低帯域フィルタ１１２及び偶数画素に適用される（７タップを有するとして示された）高帯域フィルタ１１４により濾波され、４つの副帯域画像１２０を生じる。これらの解析的なフィルタ１１２，１１４は最初に水平パスに適用され、中間の水平低副帯域及び水平高副帯域を生じる。これらの二つの中間の副帯域は、そして、垂直パスに濾波される。同じ解析的なフィルタ１１２，１１４を用いて水平低副帯域を垂直に濾波すると、低−低副帯域及び高−低副帯域が生じる。同じ解析的なフィルタ１１２，１１４を用いて水平高副帯域を垂直に濾波すると、低−高副帯域及び高−高副帯域が生じる。この４つの副帯域から画像を合成する間、（７タップを有するとして示される）低帯域フィルタ１２２が奇数画素に適用され、及び（９タップを有するとして示される）高帯域フィルタ１２４が偶数画素に適用される。
【０００６】
帯域分割された低域通過／高域通過フィルタ対は空間周波数エネルギーを分離するのに最も有効である。双直交ＤＷＴ９／７は低域通過／高域通過フィルタ対に十分に類似していて、有効に機能する。理想化されたサンプルに対して、最適の低域通過フィルタは、フィルタ中心と第一のゼロ切片との距離を低域通過画素空間に等しくした、打ち切りシンク関数（即ち、ｓｉｎｃ（ｘ）＝ｓｉｎ（ｘ）／ｘ）である。オクターブ（解像度における２倍の減少)帯域分割に対して、フィルタ中心から第一のゼロ切片までの（両方向の）間隔は、ソース解像度単位で２．０、及び半オクターブ帰結解像度単位で１．０である。ＤＷＴ９／７の低域通過フィルタは、その寸法と重みは多少異なるが、このオクターブ打ち切りシンクに大略類似している。理想的な線形サンプルは実際には決して生じないが、それらは、ナイキストサンプリング及びフィルタリング等の画像処理理論の基礎を形成する。この理論は、無限大の広がりのシンクを用い、実際に実施する場合に打ち切ることができることに注目すべきである。打ち切りシンクは、フィルタ理論に従えば理想的ではない。その理由は、それが打ち切られ、また典型的には非線形だからである。さらに、そのサンプルが、作成されまたは再構成された場合には、理想的には濾波されないからである。しかし、打ち切りシンクは大半の画像フィルタリング用途に、可能な限り最適なものである。
【０００７】
量子化
殆どの画像圧縮符号化の一部は量子化に使用されている。しばしばその頭文字「ＱＰ」により知られる「量子化パラメータ」が、非無損失圧縮システムの本質的に全ての共通タイプの局在周波数係数に分割される。圧縮画像を復元するために、適当な量子化パラメータが周波数係数に再度乗算される。量子化された値が整数の性質を有することから、復元する係数は、量子化パラメータのステップの±半分の値だけ変化する。例えば、量子化パラメータが６である場合、復元された値は典型的には±３変化する。さらに、最も効率的に符号化が行われるゼロ係数の数を増加させるために、「不感帯」がゼロの周囲に適用される。かくして、例えば、量子化パラメータが６である場合であっても、係数中の０の値が、（不感帯なしの±３であるよりも）±６の範囲に亘る場合がある。
【０００８】
ＪＰＥＧ−２０００においては、量子化パラメータは、単一の浮動小数点値を有する各幅帯域に対して指定できる。ＪＰＥＧ−２０００の不感帯は、量子化ステップの幅の２倍に固定される。ＪＰＥＧ−２０００は、また、量子化がゼロでなかったとしても、若干の小さな量子化された値を取り除くビット打ち切り法を用いて符号化されたビットを減少させる。このため、ＪＰＥＧ−２０００量子化だけで圧縮するのではなく、ビットを符号化する位置も用いて圧縮し、その結果、量子化誤差に加えて、しばしば相対的にランダムな付加的誤差を生じる。
【０００９】
係数符号化構造
周波数係数の符号化は、典型的には、何らかの固定構造と（ハフマン符号化又は算術符号化等の）可変長符号化（ＶＬＣ）方法を含む無損失処理である。その係数符号化構造は、その変換に適合することが典型的である。例えば、ＭＰＥＧ−２においては、係数符号化の構造は、離散コサイン変換（ＤＣＴ）８×８画素ブロックと同一である。可変長符号の一つのパターンは、隅からのジグザグ走査、左から右への走査、上から下への走査等の、８×８ブロックにおける値の順序に適用される。ＪＰＥＧ−２０００においては、ＤＷＴ９／７は、ルート係数又は底部解像度からそれぞれ係数の４倍の伸長まで符号化され、副帯域（低−低、高−低、低−高及び高−高)を生じる。これらの係数は次に高い解像度に合成され、次の上層の低−低副帯域となる。
【００１０】
可変長符号化
画像圧縮に用いられる可変長符号は、ランレングス符号及びデルタ符号等のきわめて簡単なものから算術符号等の適度に複雑なものまでの範囲で用いられる。可変長符号の目的は、係数値を符号化するために必要なビット数を、最大の範囲を符号化できる固定ビット数を使用する場合に比べて、減少させることである。例えば、値が±３２７６７の範囲に亘りうるがわずかな値のみが±１２７より大きいため１６ビットが使用される場合、次の値が追加の１６ビットを必要とすることを示すために保存された一つの「逃避」符号を用いて８ビットを使用し得る。大きな「逃避した」値は２４ビット（８＋１６）必要とするが、平均係数符号化の大きさが２４ビットよりも８ビットに近いことは、普通十分に珍しい。この方法論は、非常に小さい値、及びゼロ自身も、すべての大きさのより大きな値よりもなおさらありそうであるという原理に基づいて拡大することができる。このようにして、ハフマン表は、小さく、ありそうな値に対してもっとも短い符号を用いるように試み、より大きく、よりありそうもない値に対して徐々に長い符号を用いるように試みる。
【００１１】
算術符号化方法論は、多数の符号値を一緒に符号化することを可能にし、各係数符号値に対して非整数の平均ビット数を有する符号を生じる。例えば、各符号値がそれぞれ３．５ビット相当量を使用するように７ビットを用いて二つの値を符号化することができる。
【００１２】
ランレングス、デルタ及びハフマン符号を組み合わせることはＭＰＥＧ−２及びＪＰＥＧ−２０００等の圧縮システムにおいて典型的である。
【００１３】
動き補償
ＪＰＥＧ−２０００は、各フレームが孤立しているため、動き補償を提供しない。このことは、「イントラ」符号化として知られている。ＭＰＥＧ−２と多くの他の同様な符号化システムは、ブロックと動きベクトルとを用いて、画像の順に画像を「インター」符号化するための動き補償を提供する。このような動き補償付き符号化システムにおいて、変換符号化ブロックの上位集合として動きブロックを構築するのは共通の手法である。例えば、ＭＰＥＧ−２においては、動きブロックは、典型的には１６×１６がその大きさで（インターレースに対しては１６×８)、このブロックは４つの８×８ＤＣＴブロック（インターレースに対しては２つ)を包含する。したがって、このブロック動き補償構造は、ＤＣＴ変換符号化構造に密接に適合している。ＭＰＥＧ−４は、パート２（元来のＭＰＥＧ−４ビデオ)及びパート１０（「高度ビデオ符号器」とも言われる)の双方として、これらの点においてＭＰＥＧ−２と同様に構築される。
【００１４】
空間拡張性
ＭＰＥＧ−２は、めったに使用されない、追加的な解像度増加層を符号化できる「空間拡張性のある」選択肢を提供する。この選択肢のためのアップフィルタは、理論的に最適の打ち切りシンクと大きく異なる。ＭＰＥＧ−２は、信号対雑音減少（ＳＮＲ）拡張性も提供し、それもまれにしか使われない。ＭＰＥＧ−２のＳＮＲレベルの基本的な構造は、結果として生じる画像中の信号対雑音を改善する補正を合計する基本的なＭＰＥＧ−２と同一である。空間拡張性もＳＮＲ拡張性もどんな特定の目的でも標的とされることなく、それぞれ、解像度及びＳＮＲの全般的な増大のみが標的とされる。単独のＳＮＲ及び単独の空間拡張性レベルだけがＭＰＥＧ−２中に規定されている。
【００１５】
ＪＰＥＧ−２０００は、（優先順位付け及び／又は区分化を用いて画像を符号化する場合)復号の早期の終了が可能であるように、画像中のビットの順番を重要なものから順に並べ区分する能力を提供する。この能力により、ＳＮＲ又は解像度のどちらかを高めるための拡張方法が可能となるが、この能力は、ＪＰＥＧ−２０００のビット面順序付け符号化及びブロック領域区分化特性により制限される。例えば、高い優先順位の変換された画素は、量子化（したがって２乗単位のスケーリング)の間、事前シフトして残し、復号の間、シフトさせないことができ、（残留するシフトスケーリングが２乗でなければならないため制限される）ＳＮＲ拡張性の制限された形態を提供する。（タイルの区分又は他の部分的な区分内で）全ての最上位の（最上位ビット)ビット面が最初に復号され、そして、全ての利用可能なビットを復号する前に復号器が打ち切るまで、又は全ての符号化されたビットが復号されるまで、次の最上位ビット等が復号される。この順序付けられた符号化及び任意の事前シフトの方法により、ある空間及びＳＮＲ拡張性が可能となるが、この方法は、特定の事前に順序付けられたビット面の境界内に止まるよう制限されている。したがって、ＪＰＥＧ−２０００内で利用できる拡張性は、共通のＱＰを共有するビット面に限定され、これらのビット面は、その性質から、重みが２の係数により分離される。拡張性のより微細な細分性は、ＪＰＥＧ−２０００では不可能である。
【００１６】
浮動小数点
基準圧縮符号器ソフトウェアにおいて浮動小数点及び整数計算を混合することは共通の手法であった。例えば、ＭＰＥＧ−２及びＭＰＥＧ−４は、浮動小数点基準ＤＣＴ実施を用いるが、符号化システムの色処理、動き補償及び殆どの他の態様に対して整数処理を用いる。ＪＰＥＧ−２０００は、その基準の実施において整数処理及び浮動小数点処理の組み合わせを用いる。ＭＰＥＧ−４のパート１０は、量子化ステップとＤＣＴ変換ステップとを単独の整数動作に組み合わせる「整数変換」を用いる。ＭＰＥＧ−４パート１０の実施はビット−正確で反転可能ではないが、整数復号は符号器及び復号器間で正確に適合することを意図している。これは、本発明の発明者が（ディビット・ルホッフ（Ｄａｂｉｄ  Ｒｕｈｏｆｆ）と共に）「ビデオ画像の高精度符号化及び復号」と題した特許出願番号２００２０１５４６９３として出願した動き補償付き符号化システムの設計の特徴である。「正確な適合」復号（即ち、符号器の復号器部と全てのビットストリーム復号器部との間で正確に適合する復号）を用いることにより、動き補償を用いるときに伝播する誤差を生じないで制限された正確な整数計算が可能となる。
【００１７】
ある整数処理は、全ての従来の圧縮符号化システムではないにしても大半の従来の圧縮符号化システムの必須の構成要素であった。浮動小数点計算は、普通は、整数計算、特に１６ビット及び８ビットの整数計算、より相当遅いので、この整数処理は意図的なものであった。
【００１８】
ＯｐｅｎＥｘｒ
比較的最近、（デジタル特殊効果生産会社である）Ｌｕｃａｓｆｉｌｍ  Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃと（パーソナルコンピュータのビデオカードのメーカである）Ｎｖｉｄｉａとが協力して「ＯｐｅｎＥｘｒ」として知られる標準を作成した。ＯｐｅｎＥｘｒは、１符号ビットと、５ビットの指数と、１０ビットの仮数とを有する１６ビットの浮動小数点表現を特徴とする開かれた「拡大範囲」浮動小数点表現である。この表現は、白黒の範囲を拡大できると共に、大半の画像処理アプリケーションに対して十分な精度を提供する。ＯｐｅｎＥｘｒにより提供される１６ビットの「半」浮動表現は、簡単な相互運用のための標準的な３２ビットＩＥＥＥ浮動小数点表現に直接写像することができる。
【００１９】
ゼロで黒の画素値を表示し、最大整数値又は１．０の浮動値で白を表示することが共通の手法である。しかし、 デジタル画像の原図は、特にコンピュータグラフィックスを含む原図は、０で黒を有し、２５５又は１０２３で白をそれぞれ有する８ビット又は１０ビットの整数を用いて利用できる範囲より広い白黒の範囲を表すことがしばしば必要となる。ＯｐｅｎＥｘｒは、この範囲を相当に超えて白の値と黒の値を拡大することを可能にする。さらに、ＯｐｅｎＥｘｒの１６ビット浮動小数点表現又は３２ビットの浮動小数点表現を用いる場合、連結計算が、（正確な適合復号を用いた整数計算の場合ですら）整数計算よりもより高い結果の制度を有するものである。
【００２０】
ＯｐｅｎＥｘｒは、更に、画素値に対して整数を用いる場合、非線形（普通はビデオ−ガンマ指数)表現を必要とするよりも、線形の光の値を直接表現できる利点を有する。
【００２１】
ＯｐｅｎＥｘｒは、（普通は２：１圧縮を生じる)任意の無損失圧縮符号器も提供する。この圧縮符号器は、簡単なハール（Ｈａａｒ）差ウェーブレット、精度を減少したクラスター化表及びハフマン可変長符号の組み合わせに基づいている。精度を減少したクラスター化表は、符号値の多くが用いられない場合には、圧縮を増大させる。例えば、１０ビット整数画素値から変換する場合、（可能な６５５３６の符号のうち）１０２３符号だけを用いるであろうから、上述のことが当てはまる。
【００２２】
【特許文献１】米国特許出願公開第２００２／０１５４６９３号明細書
【発明の開示】
【発明が解決しようとする課題】
【００２３】
本発明は、高品質広範囲多層画像圧縮符号化のためのシステム、方法及びコンピュータプログラムを包含する。
【課題を解決するための手段】
【００２４】
本発明の一態様は、入力されその量子化ステップにある最初のＲＧＢ（赤−緑−青チャンネル）画像ファイルを除いた、全ての計算に、画素及び変換画素値のための３２ビット浮動小数点を無矛盾で遍在的に使用することである。本発明のこの態様は、１６ビットＯｐｅｎＥｘｒ浮動小数点、２４ビット浮動小数点、４８ビット、６４ビット、１２８ビット及び全ての他の有用な浮動小数点計算形式に拡大できる。
【００２５】
本発明のもう一つの態様は、符号化中の減算及びゼロ床と、復号中の加算とを介して調整可能な浮動小数点不感帯を適用する。
【００２６】
本発明のもう一つの態様は、圧縮の間中、浮動小数点表現の固有の広範囲を保存することである。これは、１．０より大きい値、非常に小さい値及び負の値を含む。本発明のこの態様の最も重要な実際的利点の一つは、最後の表示された基準の白の選択された数字表現中に内在する輝度値を超えて、広い範囲の動画像データ及び静止画像データを効率的に圧縮する能力である。
【００２７】
本発明のもう一つの態様は、フィルタタップの重みの適当な選択をすることにより、画素間に低域通過帯域が生成される最適の帯域分割フィルタ位相構造を用いることである。より最適な帯域分割フィルタ構造の利点は、全ての解像度レベルのＳＮＲ改善層にも適合する。
【００２８】
本発明のもう一つの態様は、より低い解像度レベルで全ＳＮＲ層を用いる。本発明のこの態様は、多重ＳＮＲ構造を許容することにより、最後の解像度でのＳＮＲ解像度層の概念を拡大する。ＳＮＲ層に対するＤＷＴ９／７双直交副帯域ウェーブレットにおいて任意の低−低帯域を使用することが、一つのこのような新規のＳＮＲ構造である。共通に量子化された最小のビットに基づいて、より最適な帯域分割フィルタとＤＷＴ９／７双直交ウェーブレットとの間でを用いることは、本発明のもう一つの新規な態様である。本発明のこの態様は、最大限の解像度レベル又は任意のより低い解像度レベルで多重ＳＮＲ層を有することにこれらの概念を更に拡大する。
【００２９】
本発明のもう一つの態様は、特定のＳＮＲ層の特定の品質の改善を標的とすることである。例えば、一つのＳＮＲ層を、そのＳＮＲ層に対する特定の空間周波数を選択するための高域通過フィルタ又は帯域通過フィルタを用いて、画像中の細部に適用できる。更に、特定のＳＮＲ層がいくつかの帯域を同時に改善できるように、多重通過帯域を合計できる。
【００３０】
本発明のもう一つの態様は、フレームの縁に近接する関数として、おそらくゼロまで減少する重み付けを用いて画像のフレームの縁の近くの画素の差又は高い帯域を減少させることにより、標的とする帯域分割層及びＳＮＲ層中の関心領域中に符号化ビットを集中させることである。高周波帯域において、減少により、鮮鋭さ及び細部が減少し得る。ＳＮＲ帯域においては、この減少により、フレームの縁で精度、鮮明度及び雑音ですら減少し得る。
【００３１】
本発明のもう一つの態様は、高域通過層及び／又はＳＮＲ層に対して、静的に割り当てられた標的の集合を樹立することである。このようにして、復号の間、大きな関心のあるどの領域も、復号でき、一方より低い関心の領域は、復号する必要がない。したがって、おびただしい局部的な強化層（b高帯域及び／又はＳＮＲの双方)を提供でき、特定の局部領域に焦点を合わせた詳細な復号器を可能にする。
【００３２】
本発明のもう一つの態様は、（その解像度層）に対して元の画像から高い差の（圧縮符号化誤差）を示す画像領域に対して、より低い量子化値（よりよい精度）を用いてＳＮＲを改善することである。
【００３３】
本発明のもう一つの態様は、ＳＮＲ層を生成するときに異なる値を計算する場合、ガンマ又は対数等のＲ、Ｇ及びＢ、又はＹ、Ｕ及びＶの非線形関数を任意に適用することである。
【００３４】
本発明のもう一つの態様は、局部的な量子化スケーリングとともに、より低い解像度レベルで、より精密な総体的量子化を利用して（より低い量子化パラメータ値を用いて）層化変換量子化を改善することである。より低いレベルはより低い解像度にあるので、より低いレベルの各画素は、より高い層の画素数に影響し得る。
【００３５】
本発明のもう一つの態様は、特徴付けが可能な場合は、動き補償圧縮に先立って、ソース画像固定パターン雑音を特徴付けて取り除くことである。本発明のもう一つの態様は、この発明を用いた補償の前に、走査したフィルム画像を固定するためのほかの技術を用いる前に、それによって固定パターン雑音が減少し又は取り除かれる処理である。
【００３６】
本発明のもう一つの態様は、一以上の全範囲低帯域を用いることである。これは、少なくとも帯域分割階層の最も低い階層が浮動小数点表現を利用して広範囲高精度を提供することを意味する。
【００３７】
本発明のもう一つの態様は、ＳＮＲ帯域及び他の高解像度高画質化帯域のために交替量子化制御画像を用いることである。しかし、本発明の別の任意の態様として、一以上の必要な又は任意の層で（これらの層でのより高い圧縮のために)、より粗い量子化を用いる場合、量子化に先立って、擬似ランダム雑音を用いて画素値をディザすることが時には利益となり得る。
【００３８】
本発明のもう一つの態様は、適応領域を用いて、帯域分割変換画素係数の無損失可変長符号化を適用することである。これらの領域は、任意の大きさと形状を持つことができ、無損失符号化効率（即ち最小ビットの大きさ)のみに基づいて選択される。本発明のもう一つの態様は、低解像度浮動小数点低帯域又は浮動小数点局部的量子化画像に適合符号化領域の大きさ、形状及び可変長符号化表を適用する。
【００３９】
本発明のもう一つの態様は、ビット層にファイル構造を用いることである。各解像度層、各ＳＮＲ層、各浮動小数点最低帯域、各量子化局部的低帯域及び動き補償が、圧縮中に生成されたビットの異なる態様を形成する。圧縮ビットは、そのフレームの各態様に対して、各フレームに対して一つのファイルを用いて、ファイルに編成される。各態様は、更に、その態様に専用のフォルダ中に置かれる。総体的プロジェクト又はシーンは、これらの態様のフォルダの全てを最も高いレベルのフォルダ、又は記憶装置に収納する。
【００４０】
本発明のもう一つの態様は、動き補償されたフレームに必要なビット数を計算することによって新しいイントラフレームを挿入する任意の方法である。従来のイントラフレームに対して必要なビットよりも、少なくとも合理的な割合で、その数が少なくない場合には、動き補償フレームを捨て、イントラフレームを作成できる。
【００４１】
本発明の新規で有用な態様は、少なくとも次を含む。
【００４２】
（１）符号化変換解像度階層の２以上の解像度レベルでの異なる量子化パラメータ値の使用であって、量子化のための局部的なスケーリングとして、帯域分割又は帯域分割階層の減少した解像度レベルの使用を含む。
（ａ）双直交副帯域９／７離散ウェーブレット変換解像度階層に任意に適用された。
（ｂ）より最適の帯域分割階層に任意に適用された。
（ｃ）各解像度レベルの関数として任意に、減少した解像度量子化スケール上で最小及び／又は最大を任意に含む。
【００４３】
（２）浮動小数点量子化のための局部的なスケーリングとして、整数、又は帯域分割又は帯域分割階層の浮動小数点減少解像度レベルとともに、浮動小数点量子化パラメータ値の使用。
【００４４】
（３）符号化変換階層の低解像度レベルに対する、浮動小数点又は半浮動小数点等の高精度の使用。
（ａ）双直交副帯域９／７離散ウェーブレット変換解像度階層を任意に含む。
【００４５】
（４）（符号化がビット正確な無損失であることを求めて）量子化分割の点まで、入力間の画像圧縮符号化（画素は任意に整数)中のあらゆる場所での浮動小数点の使用。したがって、全ての変換処理が浮動小数点でなされる。
【００４６】
（５）非量子化乗算後、（最後のステップとして任意に整数に変換される）最終画素値まで、いたる所で浮動小数点の復号器に置ける同様な使用。
【００４７】
（６）量子化のための実際の画像（イントラ−スタイル)の低帯域の使用、しかし、量子化はイントラ-符号化だけでなく、（動き補償の場合）（帯域分割階層の異なるレベル、高いレベル及び／又は低いレベル、の帯域を含む）動き補償の異なる帯域にも適用される。
【００４８】
（７）解像度階層の使用、そこでは、より高い解像度レベルでの全ての画素に対する量子化パラメータのためのスケールファクタとしての使用に対し、適当な低−低帯域に対して最小値をとる。
（ａ）各解像度レベルの関数として任意に、特定の最小値及び／又は最大値の使用を任意に含む。
（ｂ）帯域分割フィルタ範囲の影響を考慮に入れるために、各レベルでの隣接画素の重なり合いを任意に含む。
【００４９】
（８）大きな誤差が小さな量子化パラメータを持つように（したがって、生成される補正ビットの高い数を持つように）、ＳＮＲ補正層に対する量子化の重み付けにおいて使用するための新しい適当な低−低帯域を生成するための、結果として生じた符号化誤差の差の値の使用。
（ａ）帯域分割フィルタ範囲の影響を考慮に入れるために、各レベルでの隣接画素の重なり合いを任意に含むこと。
（ｂ）所与の画素の誤差が平均誤差以上である要因の量の関数として任意に追加的な 量子化重み付けを含むこと。
【００５０】
（９）符号化変換解像度階層の２以上の解像度レベルで異なる不感帯量子化帯の使用。
（ａ）双直交副帯域９／７離散ウェーブレット変換解像度階層に任意に適用される。
【００５１】
（１０）雑音レベルを量子化ステップの大きさ以下に設定しながら、量子化の点で、雑音ディザ法の使用。小さく設定した場合、目的は、（そのレベルでの）固有の画像雑音と追加された雑音との和であり、量子化ステップに等しくすることである。（ほぼゼロの）不感帯の雑音ディザ法は、任意に、他のステップと異なるように取り扱ってよい。
【００５２】
（１１）フィルム粒子の外観又はカメラ雑音を再生するために、一以上のＳＮＲ層に対する一以上の色、輝度及び領域の関数として、変換振幅ヒストグラム等の統計的数値特性の使用。
【００５３】
（１２）イントラ フレームとして動き補償フレームを代わりに再計算するか否かを決定するために、従来のイントラフレーム内のビットの計算に相対比較して、動き補償フレームにより生成されたビットの計算の使用。
【００５４】
（１３）可変長符号化表の一以上の選択肢を用いた無損失ビット符号化の場合、最小ビットのための最適化のための適応領域の大きさの使用。
【００５５】
（１４）種々の層のための圧縮データ要素を分類するための任意の中間ファイルフォルダ構造の使用。
【発明を実施するための最良の形態】
【００５６】
本発明の一以上の実施の詳細は、添付図面及び以下の説明において述べられる。
【００５７】
種々の図における同じ参照番号及び記号は同じ要素を示す。
【００５８】
遍在浮動小数点
画像圧縮処理がより複雑になるにつれ、それが多くの階層ＤＷＴ９／７副帯域変換を利用するので、連結された計算ステップの数が相当に増加し、数千処理ステップのオーダーになり得る。整数及び浮動小数点処理を混合する共通の手法は、一連の計算ステップからの量子化誤差が蓄積して重大な誤りとなり得るので、問題の多いものとなる。本発明の一態様は、初めのＲＧＢ（赤−緑−青チャンネル）の画像ファイル入力に対する計算と量子化ステップ自身での計算とを除く全ての計算において、画素と変換された画素値とに対する３２ビット浮動小数点の無矛盾の遍在する使用である。好ましい実施の形態において、画像入力選択肢は、３２ビット浮動小数点（例えば、「ＴＩＦＦ」、「ＤＰＸ」又は「ＯｐｅｎＥｘｒ」ファイル形式)、１６ビット「半」浮動小数点ＯｐｅｎＥｘｒ、１６ビット整数Ｔｉｆｆ及び（互換性のための）１０ビットＤＰＸファイル形式を含む。好ましい実施の形態において、復号された画像のための出力形式選択肢は、１０ビットＤＰＸを除いた以上の全ての選択肢を含む。これらの形式の全ては、それらがすでに３２ビット浮動小数点ではない場合、入力上のＲＧＢ３２ビット浮動小数点値に直ちに変換される。３２ビット浮動小数点の遍在使用により、重大な誤りを蓄積することなく、符号化及び復号の間、より複雑な計算を連結することができる。（非常に精密に量子化された高品質の圧縮に対してすら）量子化された圧縮に固有の量子化誤差に比べて、また原画像の雑音床に比べて、この誤差は微々たる物にできる。本発明のこの態様は、１６ビットＯｐｅｎＥｘｒ浮動小数点、２４ビット浮動小数点、４８ビット、６４ビット、１２８ビット及び全ての他の有用な浮動小数点計算形式に拡大できる。１６ビットＯｐｅｎＥｘｒ「半」浮動小数点を除いて、全ての他の共通の浮動小数点形式は１６ビット以上あり、８、１２又は１６ビット整数計算で利用できる制度より高い精度を提供する。さらに、浮動小数点の増加した精度により、動き補償復号の間の画素誤差のドリフト及び蓄積を取り除くための、符号器内での復号器サブシステムにおける整数計算と、最後の復号器の整数計算との間の「正確な適合」の必要性が除去される。これは、増加した精度が、不正確に適合する計算順序の最下位ビットの丸め中に共通に生じ得る画措置のドリフトを最小にするからである。画像圧縮システム内の遍在する３２ビット浮動小数点処理を用いて、１６ビット画素の最下位ビット中にどんな重大な誤差も蓄積させずに、イントラフレーム間の画素に、数千の計算ステップを適用できる。
【００５９】
全ての既知の高圧縮比符号化システムは、本発明を含め、変換後に適用される量子化ステップの結果として、整数を要求する。しかし、本発明においては、変換値は３２ビット浮動小数点（又は他の大きさの浮動小数点)であり、分割量子化パラメータは３２ビット浮動小数点（又は他の大きさの浮動小数点)である。分割された結果のみが整数に打ち切られる。それぞれの結果として生じる整数は、無損失可変長符号化システムを用いて次に符号化され、そして、（典型的には符号化されたビットストリーム又は符号化されたビットファイルにより運ばれる)浮動小数点量子化値が乗算されることにより復元される。異なる量子化値、又はＲ、Ｇ、Ｂ若しくはＹ、Ｕ、Ｖ等の異なる色チャンネルを許容することが、本発明を含めて、共通の手法であることに注目すべきである。
【００６０】
本発明のもう一つの態様は、符号化の間、及び加算を経て復号の間、減算及びゼロ床介して、調整可能な浮動小数点不感帯を適用する。例えば、整数（ｍａｘ（（値−Ｄ）、０）／ＱＰ）で、ここでＤは調整可能な浮動小数点パラメータで、その値の符号は、出力ビットストリーム中で分離されて運ばれる。さらに、この不感帯は、部分的に及び／又はその層の関数として、圧縮符号化を最もよく最適化すように調整できる。このようにして、小さな又はゼロの不感帯を用いて、臨界の小さな整数値を最も精確にでき、大きな整数値又はより臨界的でない小さな整数値は、量子化の間、大きな不感帯の使用を経て、より少ない符号化されたビットを生成できる。
【００６１】
拡大された範囲
ＪＰＥＧ−２０００及びＭＰＥＧ−２等の典型的な圧縮システムは、最大整数符号値又はその値の近くの値に対応する最大画素輝度を用いた固定点画素データを利用する。例えば、８ビット符号化における輝度に対する白（又は赤、緑及び青)は、普通は２５５又は２３５（２３５の場合、２３６及び２５５の間の値は規定されていない）である。１０ビット符号化に対しては、白は、普通は１０２３又は９４０（９４０の場合は、９４１及び１０２３の間の値は規定されていない)である。同様に、８ビット符号化に対する黒は、普通は０又は１６で（１６未満の値は規定されていない)、１０ビット符号化に対しては、普通は０又は６４で（６４未満の値は規定されていない)ある。
【００６２】
ＯｐｅｎＥｘｒ１６ビット浮動小数点並びに３２ビット及び他の浮動小数点に対しては、画素値を論理的範囲０．０〜１．０に限定する必要はない。ＯｐｅｎＥｘｒ１６ビット浮動小数点は、１．０の基準の白の値を１６３８４倍まで拡大し、非常に小さい値を表すことができる。さらに、負の値を表すことができる。
【００６３】
本発明の符号化システムを用いて、固有の広範囲の浮動小数点表現が圧縮の間中保存される。このことは、１．０を超える値、非常に小さい値及び負の値を含む。このことは、広範囲のソースマスター画像を圧縮するときに非常に有用である。というのは、最後の見た白は、元のマスターに固有の明るい値よりはるかに小さい値にクリップされるかも知れないからである。デジタル的に走査されたフィルの陰画と、フィルムストリーム擬似対数モードにおけるＴｈｏｍｓｏｎ  Ｖｉｐｅｒあたりのような広範囲カメラとは、典型的には、完成された表示画像中に表わされるよりはるかに広範囲の明暗の値を取り込む。本発明の圧縮技術は、固定範囲分布符号化に加えて広範囲の画像データの効率のよい高品質の符号化を許容する。
【００６４】
画像データの純粋の対数表現においては、単に加算及び減算の演算を介して、輝度を測定し色バランスを調整できる。線形浮動小数点表現においては、輝度及び色バランスはスケーリング乗算により達成される。本発明で説明する圧縮技術は、事前にバランスをとった（すなわち、バランスしていない）画像データ、粗くバランスをとったデータ、又は最終的にバランスをとったデータに適用できる。圧縮は効率的で、このような平衡化とは無関係に、また、白が論理値１．０に対してクリップされているか否かとは無関係に、全範囲に亘って完全な画像を保存する。さらに、量子化パラメータ中に浮動小数点表現を用いることにより、広い明範囲に加えて広い暗範囲が許容される。さらに、陰画の画素値を直接符号化できる（このことは、中間の画像の減算若しくは差又は他の生成された中間画像の要素において有益であり得る)。
【００６５】
値の拡大された範囲表現は圧縮処理の間中保存されるので、本発明は、奥行きマップ、赤外画像、肌理高度場、レーダー反射率及び他のこのような関連する有益な情報等の、輝度以外の画像情報を圧縮できる。データ範囲、雑音床、及びこのようなデータに関する他の関連情報を圧縮符号化のパラメータを最適化するために考慮することができる。このような情報を用いないでも、本発明は、画像に関する非輝度データのこれらの形式の全てを直接符号化できる。
【００６６】
しかし、本発明のこの態様の最も重大な実際的な利点の一つは、最後に表示された基準の白の選択された数値表現に内在する輝度値を超えて広範囲動画像データ及び静止画像データを効率的に圧縮するための能力である。
【００６７】
より最適な帯域分割変換符号化
本発明の多くの態様は、ＤＷＴ９／７双直交副帯域ウェーブレット変換に適用可能である。しかし、本発明は、その特別な帯域分割方法に限定される訳ではない。事実、ＤＷＴ９／７双直交副帯域ウェーブレット変換は、帯域分割フィルタリング方法として見たとき、多数の欠点を有している。これらの制限は、次のように要約できる：
【００６８】
（１）ＤＷＴ９／７変換の低域通過フィルタ及び高域通過フィルタは、上述したウィンドウ表示のシンク関数等の、より最適な帯域分割フィルタから幾分外れたフィルタ核（ＦＩＲ核）を用いる。最適からの外れの正味の結果はエイリアシングの導入である。圧縮において、エイリアシングは、画質を低下させると共に、その低下した画質で必要な圧縮されたビット数を増大させる。
【００６９】
（２）ＤＷＴ９／７双直交変換は、交互に並ぶ画素（偶数及び奇数、又は奇数及び偶数)に中心を置く、互いに直交する高域通過フィルタ及び低域通過フィルタ対を用いて構築される。元の変換の間低域通過フィルタ核が復元の間高域通過フィルタとなるか、その逆であるように、核は入れ替えられる。この構造は、低−低（水平及び垂直)帯域、低−高帯域、高−低帯域及び高−高帯域を帰結する副帯域分解を許容する。この接近方法の利点は、低−低帯域が更により低い層に分解されることである。この構造の欠点は次の通りである：
（ａ）低−低帯域階層は、単独の画素上に中心が置かれ、全ての高い帯域が隣接する水平及び垂直画素を加える。したがって、各層で、画素の小部分単位で位置シフトが存在する。
（ｂ）この画素に中心を置く低−低位相構造のために、この構造は変換されたエネルギーを最適に分配しない。
（ｃ）この副帯域階層は、解像度の分解において２の因数に制限される。
【００７０】
（３）ＪＰＥＧ−２０００等の典型的な適用において、ＤＷＴ９／７は非線形画素値に適用される。これは、線形画素値のウィンドウ表示のシンクフィルタリングに基づく最適の帯域分割フィルタからの追加的な偏移である。この偏移の結果は、鋭い縁が追加的なエイリアシングを有し、画質を劣化させ、その劣化された画質で追加的なビットを必要とする。
【００７１】
−ダウンフィルタリング
本発明の一態様は、低域通過帯域が、フィルタタップのウェイトの適当な選択により画素間に生成されるフィルタ位相構造を用いることである。これは、画素の半分に正確に一致するＤＷＴ９／７フィルタ構造と対照をなす。
【００７２】
図２は、この例においては２の因数を用いて、本発明のこの態様による最適の二次元空間帯域分割フィルタの適用を示すブロック図である。高周波差画像２００を生成するために、入力原画像２０２（この例では全解像度画像)は、半解像度画像２０６に対して低域通過核２０４を用いたダウンフィルタである。低域通過核２０４は、この例では、ｎタップを有するウィンドウ表示のシンク関数を実施し、原画像画素間の中間の位相に適用される。このウィンドウ表示のシンク関数は、半解像度画像２０６の２．０画素単位（±１画素）だけ離れた第一のゼロ切片を有する。
【００７３】
したがって、半解像度画像２０６は、原画像２０２の低帯域空間周波数を含む。アップフィルタ２０８が、ｍタップを有するウィンドウ表示のシンク関数を用いた半解像度画像２０６に適用され、復元された画像を生成する。このウィンドウ表示のシンク関数は、半解像度画像２０６の２．０画素単位（±１画素）だけ隔たった第一のゼロ切片を有する。復元された画像の位相は、１／４画素だけ離れた画素を用いる。復元された画像は、原画像２０２から減算され２１２、所望の高周波差画像２００を生成する。
【００７４】
図２に示す処理は、高層の、減少した解像度画像にも適用できることに注目すべきである。
【００７５】
図３は、ＤＷＴ９／７構造のための（原画素３００に関して）同時発生的位相構造を示す原画素３００の列の図である。低域通過フィルタ関数３０２の中央位相（即ち、スケール３０３中の０．０で）が、全ての他の（偶数又は奇数）画素上で正確に中央に置かれるように、低域通過関数３０２が、原画素３００に適用される。この結果は、半解像度画素集合３０４の生成である（画素集合３００及び３０４の描写は拡大され、これらの画素３０４の実際のスケールは３０３に示されていることに注目せよ）。しかし、原画素上の低域通過フィルタ関数３０２の位相を中央に置くことにより、生成された画素３０４は、中央に置かれた原画素からのエネルギーを主として有する。この逆変換の間、復元された画素が、アップフィルタリングステップの間、半画素離れている。
【００７６】
図４は、本発明のための中間の（画素４００に関する)位相構造を示す原画素４００の列の図である。低域通過フィルタ関数４０２の中央位相（即ち、スケール４０３中の０．０で）が原画像４００の間に位置するように、低域通過フィルタ関数４０２が原画像４００に適用される。この結果、半解像度画素集合４０４が生成される（画素集合４００及び４０４の描写は拡大され、これらの画素４０４の実際のスケールは４０３で示されることに注目せよ）。本発明における中間位相低域通過フィルタ構造の使用は、ＤＷＴ９／７構造よりもより最適である。これは、逆変換の間、復元された画素が、アップフィルタリングステップの間、１／４画素だけ離れているためである。したがって、本発明を適用するときは、ＤＷＴ９／７双直交副帯域位相に対して１／４画素離れた変換位相のために使用するエネルギーが少ない。
【００７７】
ＤＷＴ９／７と同様に、解像度に２の因数を用いる、図４に示す、より最適な帯域分割フィルタ位相構造。しかし、本発明のこの態様の全般的な概念は、（ＤＷＴ９／７双直交副帯域ウェーブレットと同様に）ソース画素と同じ位置にダウンフィルタされた画素の幾分か又は全てを置くこととは対照的に、ソース画素の間の中央に、ダウンフィルタされた画素の位相を置くという概念である。最適の帯域分割フィルタ位相構造は、任意の解像度関係部分を支持するので、位相は、特定の部分に含まれるとき、固有に変化する。したがって、２／３解像度ダウンフィルタは、それぞれ３個の全解像度画素に対して２個のダウンフィルタ画素位相を有し、それに対して、１／３解像度ダウンフィルタは、必然的に、各第３の全解像度画素の第２の中央上に、ダウンフィルタ画素を中央に置く。位相差は、ＤＷＴ９／７副帯域ウェーブレット変換の形式の連続ダウンフィルタリングが、第１の（又は第２の）画素上で中心に置かれる程度であり、したがって各ダウンフィルタステップに関して、画素の半分だけ正味の変異が結果として生じる。対照的に、本発明の最適の帯域分割フィルタ位相態様は、各ダウンフィルタステップに関して、どんな部分的変異も結果しない。これを見る別の方法は、分数３／４によるダウンフィルタが、原４画素（分母)の範囲上の新しい３画素（分子)を中央に置くことである。
【００７８】
典型的には数ダースの位相を有する多相打ち切りシンクフィルタを用いて、任意の比関係を容易に実施でき、そこでは、ゼロ交差間のシンク幅は、より低い入出力解像度で２画素に設定される。アップフィルタリングに対して、より低い解像度は入力解像度である。ダウンフィルタリングに対して、より低い解像度は出力解像度である。両フィルタは、（所与のレベル、又は原レベル、からより低い解像度レベルに進む）典型的適用に適用される。その理由は、画像解像度は、最初にダウンフィルタで濾波され、量子化され、そしてアップフィルタで濾波されて、原（又は高レベル)解像度から減算し、次のレベル上昇に対して量子化するために差の値を生成する。
【００７９】
ダウンフィルタリング時の本発明のより最適な帯域分割フィルタ位相の欠点は、アップフィルタされた最終の画像中の各画素に対してアップフィルタステップがデルタを付け加えるということである。したがって、５ソース画素（原ダウンフィルタ足す４デルタ)が、４つの結果として生じるアップフィルタされた画素に対して必要となる。ＤＷＴ９／７副帯域ウェーブレットは、しかし、高帯域のみを追加することが必要とされ、結果として生じる４つのアップフィルタされた画素毎に、４つのソース画素（低−低、高−低、低−高及び高−高)を結果として生じる。したがって、ＤＷＴ９／７副帯域ウェーブレット構造に対して、より最適な帯域分割フィルタ位相構造中に（２の因数解像度ケース中に)５／４以上のデータが存在する。しかし、アップフィルタステップでのデータ量は、デジタル画像圧縮における一番の関心事ではない。一番の関心事は、量子化及び可変長符号化後のデータ量である。本発明のより最適な帯域分割フィルタ位相構造が、多分２の因数だけ、小さいデルタを有することが与えられた場合、より最適な帯域分割フィルタ位相構造は、画像圧縮効率（即ち、入力ビットに対する出力ビットの比)に対して、しばしばＤＷＴ９／７より効率がよい。
【００８０】
どの構造が結局より良いかはシーンに依存することに注目すべきである。それは、画像のタイプ、画像中の雑音（又は粒子)の量、及び（動き補償がある場合には）フレームからフレームへの移動に依存する可能性がある。さらに、特定の解像度レベルもどちらが良いかに影響を及ぼす。その理由は、画像解像度の中間レベルが、ＤＷＴ９／７構造により最も利益を得るからであり、ＤＷＴ９／７中の次善のフィルタからのエイリアシング損傷は、これらの中間レベルでは最も問題が少ないからである。しかし、低レベル及び高レベルは、双方とも普通は、本発明のより最適な帯域分割フィルタ位相構造を用いてより最適である。
【００８１】
ＤＷＴ９／７副帯域ウェーブレット、及びより最適の帯域分割ダウンフィルタ及びアップフィルタ構造の双方の実施が、相対的に直接的であると仮定すると、双方とも容易に実施される。このようにして、両フィルタ構造は、各フレームについて、各レベルで試験され、符号化され、どちらがより効率が良いか（即ち、最小のビットを出力するか）決定する。両変換が同じ量子化方法を用いる場合、画質は相対的に等価であるべきであり、その決定は、生成されたビット数にのみ基づいてなされるべきである。さらに、この決定は、境界条件がこのことを幾分複雑にするが、画像内で部分的に適用できる。レベルごとの基準で適用されるが、ＤＷＴ９／７又は（打ち切りシンクに基づいた）より最適な帯域分割フィルタ構造のいずれを用いるべきか動的に決定する能力が、実質的符号化効率利得を帰結することができる。
【００８２】
−ＳＮＲ改善
より最適な帯域分割フィルタ構造の利点は、全ての解像度レベルでＳＮＲ改善層にも当てはまる。最高の解像度レベルは、より最適な帯域分割フィルタに好都合であるように思われる。その理由は、より最適な帯域分割フィルタからの減少した大きさのデルタは、普通はＤＷＴ９／７副帯域構造より利益となるからである。しかし、各ＳＮＲ層でより最適な帯域分割フィルタ変換のＤＷＴ９／７副帯域ウェーブレット変換を用いるかどうかの選択は、（比較の間それぞれに対して同じ量子化を用いる場合は）生成されたビット数により動的に決定できる。
【００８３】
ＤＷＴ９／７副帯域構造は、低−低帯域が存在する場合、その低−低帯域の任意のＳＮＲ改善を許容する。この任意の低−低帯域は、高−低、低−高及び高−高帯域を加える前にＳＮＲを改善できる。復号の間、低−低ＳＮＲ改善帯域の復号は、復号の時間に決定するように、任意であり得る。ＤＷＴ９／７副帯域ウェーブレットＳＮＲ処理の間に低−低ＳＮＲ改善帯域が生成されるか否かも任意である。本発明のより最適の帯域分割フィルタ構造を用いた等価構造は、アップフィルタリングの前に低解像度で任意のＳＮＲ帯域に適用される。（より最適なフィルタを用いた)このようなＳＮＲ帯域は、改善している画像として同じ解像度で生成される。したがって、ＤＷＴ９／７副帯域ウェーブレット及びより最適な帯域分割フィルタの双方が低−低解像度レベルＳＮＲを支持する。しかし、より最適な帯域分割フィルタを用いて、アップフィルタされた解像度で追加的なＳＮＲ層を適用しながら、アップフィルタリングに先立って低−低解像度ＳＮＲを好ましく適用すべきであり、それに対してＤＷＴ９／７副帯域は、アップフィルタリング時に任意に適用できる。しかし、より高い解像度の全ての更なるＳＮＲ層は、アップフィルタリングの間にＤＷＴ９／７低−低副帯域が生成される場合は、そのＤＷＴ９／７低−低副帯域を含むべきである。
【００８４】
ＳＮＲ改善層は、全ての解像度レベルで適用できることに注目すべきである。さらに、より最適な帯域分割フィルタ構造を用いるときは、解像度ステップは、２：１の割合に制限する必要はない（それに対してＤＷＴ９／７副帯域ウェーブレットは、２：１の割合に厳格に制限され、又はＳＮＲ層は、１：１の解像度比に制限される)。
【００８５】
図５は、種々の解像度の任意のＳＮＲ層を有する、解像度及びＳＮＲ層構造を有する画像圧縮システムの一実施を示すブロック図である。ソース画像５００は、本発明の教示に従い、一以上の低解像度画像５０２、５０４、５０６に帯域分割され（他の数の低解像度画像を用いてもよい)。最も低い解像度画像５０６は、量子化されず、浮動小数点形式５０８で表される。
【００８６】
帯域の鎖を遡って移動すると、次の最低の帯域分割画像５０４が量子化されそして非量子化される。そして不量子化された低解像度画像５０６のアップフィルタされたバージョンと組み合わされ、復号された画像５１０が生成される。帯域の鎖を遡って、次の最低の帯域分割画像５０２が量子化されそして非量子化される。そして、次の最低のレベルから復号された画像５１０のアップフィルタされたバージョンと組み合わされ、高帯域符号化画像５１２を生成する。この高帯域符号化画像５１２は、対応する帯域分割画像５０２から減算５１４され、ＳＮＲ差画像５１６を生成する。このＳＮＲ差画像５１６は、復号器、及び符号器内で任意に用いるものに、更なる画像処理のために、出力されてもよい。
【００８７】
高帯域符号化された画像５１２も、アップフィルタされ、ソース画像５００の量子化され／非量子化されたバージョンと組み合わされて、全解像度符号化画像５１８を生成してもよい。全解像度符号化画像５１８は、そして、対応するソース画像５００から減算５２０され、全解像度ＳＮＲ差画像５２２を生成してよく、全解像度ＳＮＲ画像５２２は、量子化され、非量子化され、復号器に出力されてよい。
【００８８】
図６は、階層圧縮処理を有する画像圧縮システムの一例を示すブロック図である。ソース画像６００は、少なくとも高帯域６０２及び低帯域６０４の低解像度画像に帯域分割される。この例では、動き補償を用いる場合、以前の復号された低解像度フレーム６０６が低帯域画像６０４から減算され、中間のフレーム６０８を生成する。図５におけるごとく、中間フレーム６０８は、一以上のより低い解像度画像６１０、６１２に帯域分割することができ、それらの解像度画像６１０、６１２は、だんだん高解像度符号化画像６１６、６１８（画像６１４は不量子化された、画像６１２の浮動小数点バージョンである)に組み合わせられる。最高レベル符号化画像６１８が、次に、以前に復号された低解像度フレーム６０６に加算され、実際の（見ることのできる)画像６２０を生成する。
【００８９】
この画像６２０は、高帯域画像６０２の量子化された/量子化されないバージョンと組み合わせることができ、全解像度符号化画像６２２を生成する。全解像度符号化画像６２２の標的とする態様は、ソース画像６００と比較でき、完全な解像度の第一のＳＮＲ画像６２４を生成する。所望の場合には、ソース画像６００と第一のＳＮＲ画像６２４との間の差の更なる態様を標的とすることができ、全解像度の第二のＳＮＲ画像６２６を生成する。所望の場合、同様のＳＮＲ処理を継続できる。
【００９０】
−アップフィルタリング
ＤＷＴ９／７副帯域ウェーブレットは、７タップの低い合成フィルタ核を用いる。したがって、各低帯域変換画素に対して、次の高帯域での７画素が、次の高解像度レベルへの合成中に影響を受ける。この高帯域は、９タップの合成フィルタ核を用いる。各高帯域変換画素に対して合成中９画素が影響を受けるような、９タップの合成フィルタ核を使用する。
【００９１】
より最適な帯域分割フィルタは、低解像度帯域で、低帯域をアップフィルタする、ウィンドウ表示のシンク核が類似した「範囲」（即ち、低帯域変換画素が、次に高い帯域の一以上の画素に影響を与える程度）を有するという点で、類似している。しかし、高帯域差画像は、濾波されず、むしろ直接、アップフィルタされた低帯域に付け加えられる。したがって、高帯域差画素は、所与のレベルで、それらの単独の画素を超えてどんな範囲も包含しない。しかし、 次の解像度帯域上昇では、画素は次の低帯域になり、ウィンドウ表示のシンク核は、その大きさに応じてそれらの影響を拡大する。最後の高解像度レベル、又は表示され又は保存される全てのより低い解像度レベルが、単独の画素の広がりを有する高帯域画素を有する。したがって、より最適な帯域分割フィルタ中の高帯域差画素は、単独の画素差であり、それぞれ単独の画素を調整し、そのレベルで隣接画素に影響を及ぼさない。このため、より最適な帯域分割フィルタ変換の高帯域とＤＷＴ９／７双直交副帯域符号化の高帯域との間に厳密な均等性は存在しない。より最適な帯域分割フィルタ構造及びＤＷＴ９／７変換の高帯域に対して同じ量子化値を用いる場合でさえも、より最適な帯域分割フィルタ構造の単独の画素高帯域の広さに対するＤＷＴ９／７変換の９画素高帯域フィルタの広さのために、外観が異なる。このため、ＤＷＴ９／７変換を用いるかより最適な帯域分割フィルタを用いるかの選択は、これらの変換の概観の差を考慮に入れなければならない。変換の両タイプが同様に量子化されたとしても、外観は異なる。したがって、所与の量子化で最低数のビットを有する変換は、変換の間の選択のための厳密に唯一の基準ではない。
【００９２】
より最適のフィルタからの高帯域画素は、最高の解像度レベルのＳＮＲ層を含む全てのレベルのＳＮＲ層に加えて、解像度増加層に対して適切であることに注目せよ。
【００９３】
−画素広さ及び画像劣化
画素変換係数の影響又は「範囲」の特性は、ＤＣＴと他の変換符号とで共有される。例えば、８×８ＤＣＴ係数のそれぞれは、反転されたときに、広さ８画素、高さ８画素の画素領域に影響を及ぼす。同様に、８×８の原画素ブロックの１画素画素値は、ＤＣＴの変換された係数中の８×８係数の全てに影響を及ぼす。ＤＣＴとここで説明したフィルタと間の主な差、および両者がより最適な帯域分割であることとＤＷＴ９／７双直交副帯域であることとの間の主な差は、後者の影響の範囲が、現在の係数の近くに略集中させられる（±１画素)のに対してＤＣＴ係数は固定位置ブロックのみに関連させられていることである。したがって、８×８ＤＣＴ ブロックの縁の画素は、隣接するブロックに影響を与えない。量子化されたＤＣＴは、したがって、ブロックの縁のアーチファクトを表すことができるが、より最適な変換符号化及びＤＷＴ９／７双直交副帯域はこのようには品質低下しない。その代わりに、量子化されたＤＷＴ９／７低帯域及び高帯域の品質低下は、全てのレベルに亘って連結されたときに、低（７タップ）及び高（９タップ）合成核の不自然な「フットプリント」として現れる。対照的に、より最適な帯域分割フィルタは、全てのレベルに亘って連結された低帯域アップフィルタ核に起因して不自然な概観を有するかも知れないが、それは、最も高い観察レベルで、ひとつの画素に限定された局部的な画素の誤りを有するだけである。より最適な帯域分割フィルタの低帯域アップフィルタのウィンドウ表示のシンクフィルタは、（±３画素以下のような比較的小さな大きさで打ち切られる場合）過度の核リンギングを加えることなく、軟調の低帯域画像の外観を保存するので、このシンクフィルタはしばしば相対的に不可視である。したがって、より最適な帯域分割フィルタは、量子化による総体的画素誤差に加えて、量子化による軟調を表すが、ＤＷＴ９／７変換ほど、リンギング又は他の核のフットプリントの外観アーチファクトを表さない。
【００９４】
このより最適な帯域分割フィルタの特徴により、ビットが、より高い空間帯域で（粗い量子化により）減少したとき、より優雅な品質低下を可能にする。画像はより軟調になるが、エイリアシングを表さない。対照的に、ＤＷＴ９／７双直交副帯域ウェーブレットは、（粗い量子化により）高帯域ビットが減少した場合、（軟調化に加えて）エイリアシングを表す。一般に、軟調化及びエイリアシングの両方よりも、軟調化のみのほうが好ましい。この量子化に起因するエイリアシングは、符号化により多くのビットを有するが、より高い帯域が再合成されたときに取り除かれる、より低い帯域に固有のＤＷＴ９／７エイリアシングとは異なることに注目せよ。
【００９５】
−他の実施の形態
１画素上に集中したあまり最適ではない位相構造を、ＤＷＴ９／７副帯域ウェーブレットフィルタ核よりも打ち切られた（「ウィンドウ表示の」とも呼ばれる）シンクにより類似したフィルタと共に用いることができることにも注目すべきである。ＤＷＴ９／７ウェーブレット核は双直交であり、フィルタ核を特定の双直交ウェーブレット対の集合に限定する。打ち切りシンクにより類似したより最適な帯域分割フィルタを使用するときは、低−低、高−低、低−高、及び高−高を有する副帯域構造は使用できない。しかし、ＤＷＴ９／７双直交副帯域核よりも良い帯域分割を提供する、より最適のフィルタ核を備えたあまり最適でないフィルタ位相も、用途によっては利点を提供する。しかし、より最適な帯域分割フィルタ位相構造が普通は好ましい。
【００９６】
１９２０×１０８０の２／３は１２８０×７２０で、７２０の２／３は４８０である（標準的規定）から、２／３解像度階層形式の使用は、米国においてはＨＤＴＶ形式及びＳＤＴＶ形式により良く適合することに注目せよ。より最適な帯域分割フィルタは、１２８０対、４８０垂直の標準的規定に関連する典型的な水平値である６４０、７０４又は７２０との間の普通でない関係を直接処理することもできる。さらに、１９２０対６４０、７０４及び７２０の関係も直接処理できる。
【００９７】
デジタル映画が、ＨＤＴＶにより用いられる１９２０に加えて４０９６、３８４０、３６５６、３０７２、２５６０及び２０４８の水平値を調査しつつある。映画に典型的な１．８５：１及び２．３７：１の縦横比に対応する、垂直解像度に対する同様な値の組が調査されつつある。本発明のより最適な帯域分割フィルタ構造の柔軟性が、これらの普通でない水平の大きさの関係の全てに対する直接の支持を提供する。
【００９８】
標的とするＳＮＲ層
共通の手法は、最後の解像度で、圧縮システム中に単一のＳＮＲ層を有するはずである。しかし、もう一つの態様においては、本発明は、より低い解像度レベルで全ＳＮＲ層を独特に用いる。さらに、本発明のこの態様は、多重ＳＮＲ構造を許容することにより、最後の解像度にＳＮＲ解像度層を有する概念を拡大する。ＳＮＲ層に対するＤＷＴ９／７双直交副帯域ウェーブレット中の任意の低−低帯域の仕様は、一つのこのような新規のＳＮＲ構造である。共通の量子化を用いる最小のビットに基づく、より最適な帯域分割フィルタ及びＤＷＴ９／７双直交ウェーブレット間の任意のスイッチングの使用は、本発明のもう一つの新規な態様である。
【００９９】
本発明のこの態様は、これらの概念を、最大限の解像度レベル又は全てのより低い解像度レベルに多層ＳＮＲ層を有することに拡大する。
【０１００】
さらに、本発明のもう一つの独特な態様は、特定の品質改善のための特定のＳＮＲ層の標的化である。例えば、あるＳＮＲ層を、そのＳＮＲ層に対して特定の空間周波数を選択するための高域通過フィルタ又は帯域通過フィルタを用いて、画像の細部に適用できる。例えば、全解像度の１／３と３／４との間の帯域通過フィルタを、この選択された解像度帯域を改善する画素差の重み付けに使用できる。さらに、多重通過帯域を、特別のＳＮＲ層が数帯域を同時に改善できるように、合計できる。対照的に、ＳＮＲ改善の共通の手法は、特定の周波数を標的としない（即ち、それは全通過フィルタである)。
【０１０１】
もう一つの例では、一つのＳＮＲ層は、画像の中間の灰色部分の画質を改善することを標的にできる。したがって、画素が（色及び輝度の両者において）中間の灰色のどの程度近いかに基づいて、中間の灰色の画素を比例的に選択するフィルタをそのＳＮＲ層に適用することとなる。（それらの中間の灰色である割合により重み付けられた）結果として生じる画素差を、（全解像度を含む）その解像度レベルの正規のＳＮＲ層として符号化できる。さらに、中間の灰色の変わりに特定の色及び／又は輝度を選択できる。例えば、暗い領域及び明るい赤の領域を、標準的色選択又は検索方法を用いて選択でき、それにより、全ての解像度レベルでＳＮＲ層に対してＳＮＲ画素差を重み付けするのに用いられる割合を形成する。画像の暗い領域を標的に定める簡単な方法は、各レベルで復号された画素値の和の逆数に基づいて割合を作成することである。このような逆数は、画素色要素の和が低いとき（例えば、赤＋緑＋青が小さいか、輝度が小さいとき）大きい。この割合は、したがって、暗い細部を改善するように設計されたＳＮＲ層中の暗い画素差を強調する重みを形成する。同様に、赤−緑＋赤−青が用いられる色抽出は、必然的に赤みを帯びた色画素を強調する。もう一つの有益な標的化方法は、一部の層にＹＵＶ又は他の色空間を使用し、他の層にＲＧＢを使用するものである。輝度（Ｙ）のみを用いることも有益であるかも知れない。多くの他の自然色及び輝度選択技術を、ＳＮＲ層を標的に設定するために用いることができる。対照的に、ＳＮＲ改善の共通の手法は、輝度又は色の標的を設定しない（即ち。それは、全ての色と輝度とを通過させる)。
【０１０２】
したがって、特定の特徴を標的として設定することが、各ＳＮＲ層に対して指定され得る。一般に、復号器は、帯域通過重みや色選択重み等の重みが、関心の対象として設定された画素を選択するための符号化の間、異なる値を単に測定するとき、ＳＮＲ層に用いられる特定のそれらの特徴を知る必要はない。それらの差の値は更に測定されることなく復号され、したがって標的とする改善に本質的に適用される。しかし、暗い重み付けに基づく画素の差の重み付け等の重み付けの一部の形式が、復号された画素値（符号化の間に用いられたのと同じ復号された値）に基づいて、そのＳＮＲ層の復号の間、同一の重み付け計算式が適用される場合、最も有効であるかも知れない。したがって、標的とされたＳＮＲの一部の形式にとって、復号器に、各ＳＮＲ層にどのＳＮＲタイプが適用されているかを表す信号を送信することが必要であるかも知れない。この送信の結果、復号器は、適当な重み付けを再生できる。一般に、ＳＮＲに特定の復号の特徴は、非量子化の間逆重み付けを必要とするような方法での異なる信号への重み付けを経て、又はその代わりに、復号の間重み付けのなされない、異なる振幅での重み付けを経て、量子化の不均一な重み付けに影響を及ぼす。
【０１０３】
標的の重み付け方法のいくつかは、復号された赤、緑及び青の和の標的とする暗い画素への逆数等の画素毎の標的設定を含む。このような重み付け方法は、各画素に対して、復号器中の同様な処理を必要とする。ＳＮＲ差値に対する重み付け等の他の重み付け方法を、画素毎に異なる重み付けを用いる符号化に適用しても良いが、符号化された重みは、あたかもそれらが原画像信号に固有であるかのように、復号中「焼付け」ておくように意図されるので、復号中逆重み付けを適用しない必要がある。画素差の広範囲のスケーリングや、量子化値に対する局部的な処理の使用等の更に他の方法は、差のスケールを適当に再調整するための、あるいは量子化値が、符号化中に使用された量子化値と適合するように、復号のための量子化値を部分的に調整するための、復号器中での局部的な処理を必要とする。どの方法が使用されるかは、復号器に伝達でき、各方法は、変換符号化値の全ての部分で有益である。これらの方法には、ＳＮＲ、全層での動き補償差画像、及びイントラ画像又は動き補償差画像の解像度強化層符号化が含まれる。これらの標的設定方法の全てを各フレーム中で混合及び適合して、これらの方法の適用を最適化するすることも有益である。しかし、これらの方法の主な意図は、一以上の方法を各ＳＮＲ層に適用して、ＳＮＲを改善するために特定の画像の特徴を標的に設定することである。
【０１０４】
特別の復号方法を必要としないこれらのＳＮＲ層に対して、標的とされた画素差は、正規の非量子化及び（ＤＷＴ９／７の場合は合成である）フィルタ復元を用いて、各層に対して加えられることが好ましい。このような差は符号器に対して知られているため、符号器の復号器はこれらの差を適用し、そしてオリジナルから（その解像度層で、おそらく全解像度で）新しい差を取得する用意ができる。この新しい差は、そして、符号化中に生成されたのと同じだけの数の標的とされるＳＮＲ層に対して、略同じ標的若しくは異なった標的の特徴又はこれらの組み合わせ等に対する重み付けされ得る。したがって、各ＳＮＲ層内の一以上の特徴の標的化は、標的化のタイプ間に必要とされる何等の関係もなしに、多層ＳＮＲ層に対して反復して適用することが容易である。
【０１０５】
勿論、復号器は、更なるＳＮＲ層が追加的なＳＮＲ改善を前の層の連結に適用するので、どのＳＮＲ層にどの順序で適用すべきか（信号伝達により、又は内在的に）知るべきである。しかし、一部の特別に標的として設定されたＳＮＲ層を、前の層を復号することなく復号ことが利益となることもあるかもしれない。その理由は、前の層は、その特定の復号の間最も必要とされるかも知れない特徴を標的とすることができなかったかも知れないからである。しかし、ＳＮＲ層の選択的復号は、全ての前のものの連結を改善するように順次選択することにより普通は適用され、そして取り除かれたＳＮＲ層が全て停止点（適用された最後のＳＮＲ層)の論理的に次である
【０１０６】
全解像度ＳＮＲ層の各関数は、原画像に関して改善された画像忠実度を提供するので、全解像度ＳＮＲ層は一般に復号器に対して任意であると考えられていることに注目すべきである。
【０１０７】
さらに、より低い解像度レベルのＳＮＲ層は、それらは通常、しかし任意に、高解像度層及び高解像度レベルを適用する前に必要なのではあるが、そのより低いレベルに対しても任意である。
【０１０８】
空間的標的設定
関心のある領域に符号化ビットを集中させることにより、いくらかの用途において効率を得ることができる。このことを考慮するためのもう一つの方法は、ほとんど関心のない領域に細部と微妙な差異とを生じるために用いられるビットは浪費されているということである。例えば、多くのテレビ受像機は、画像の縁を見ることができる表示領域の外側に置きそれらの外側部分を不可視にする「過走査」を用いる。４％〜８％の範囲の過走査は典型的である。しかし、復元された画像を示すいくつかの受信機とコンピュータディスプレイとは過走査をしない。したがって、全画像を生成するが、符号化ビットをフレームの縁から離れた領域に集中させることは有益である。
【０１０９】
これは、フレームの縁への接近関数として、できるだけゼロまで減少させる重み付けを用いて、縁に近い画素差又は高帯域の振幅を減少させることにより、標的とする帯域分割及びＳＮＲ層で容易に成し遂げられる。高周波帯域においては、この減少は、鮮鋭さと細部の減少を帰結する。ＳＮＲ帯域においては、この減少は、フレームの縁での精度、鮮明度、及び雑音の減少さえも帰結する。
【０１１０】
画像のどの領域が合焦しており、それに対してどの領域が焦点外であるか、を見出すことも可能である。これは、動き補償層で、あるいはその上で（又は全ての有益なイントラ符号化のための中間細部層で)で分散測定の全ての有益な形式を用いて成し遂げることができる。例えば、全解像度の１／４等の適切な中間細部空間周波数で、平均輝度の分散、又はその層で復号された画像の（赤＋緑＋青＋色相＋彩度)等の全ての有益な関数を、局部的な領域の細部を決定するために用いることができる。このような情報は、そして、その又はより高い解像度層のＳＮＲ層に加えて、より高い解像度の高域通過層を重み付けるために使用できる。平均からの分散が小さい場合、低振幅の細部がなお存在するかもしれず、それは、重み付けの量をゼロまで完全に調整すべきではなく、むしろ全重みのいくらかの有益な小部分まで調整すべきことを示唆する。
【０１１１】
意図は、（縁の近傍等の)ある領域の振幅を減少することであり、減少した振幅は、重み付けの後すでに存在するので、このような重み付けを復号器まで運ぶ必要はない。したがって、符号化中に減少した振幅は、復号中に自動的に再生される。
【０１１２】
局部的な量子化値が復号器まで運ばれた場合、いくらかのタイプの重み付けが、量子化、又は等価的に、（これも復号器まで運ぶ必要がある）画素差の局部的なスケーリング、に適用できる。局部的な不感帯調整も復号器まで運ばれるが、より低い関心の領域で、より粗い量子化に加えて、量子化不感帯も広げることができる。
【０１１３】
したがって、より低い関心の領域に対して、減少した振幅とより粗い量子化、より粗い量子化及び減少した振幅の組み合わせ間で自然の選択肢が存在する。局部的な量子化調整及び／又は局部的な不感帯、及び／又は局部的な振幅スケーリング及び再スケーリングを用いて、情報が復号器まで運ばれる。量子化と、万一重み付けを何等適用しない場合不感対が存在するであろし、したがってこのような重み付けが、復号中に、あたかもそれらが原画像信号に固有である、又は「焼き付けられ」ている如く、再生されるように意図されるそのような不感帯と、を用いる局部的な重み付けにより運ばれることにより追加的な情報は何等必要とされない。
【０１１４】
帯域分割解像度階層中の解像度のレベルは、低帯域及び一以上の高帯域に分離される。低帯域は、動き補償層の又はその上の実際の画像である。高帯域は、解像度又はＳＮＲを増大するために画像に加えられる細部を含む。したがって、低帯域での分散は、中間及びより低い周波数での画像の細部を表す。高帯域はそれら自身分散であり、低帯域画素値の近くにそれらの局部的な平均として適用される。したがって、低帯域及び高帯域は、種々の解像度レベルで局部的な画像細部を決定するときに、異なるように用いられる。
【０１１５】
縁の近く及び中間帯域での分散に加えて、他の有益な方法がより低い重み付け及び／又はより粗い量子化のための領域を標的とできる。例えば、一人の人が、高い関心の或る領域又はその代わりに（等価的に）低い関心のある領域を丸で囲むことができ、適用する重み付け及び／又は量子化粗さの量を調整することもできる。分散以外の他のアルゴリズム的に完全な自動的方法も、動き補償レベル又はその上の一以上の帯域に適用できる。例えば、帯域分割階層での高周波数振幅の傾向は、増大する空間解像度のレベルで、高周波数が大きく減少しているか、わずかに減少しているか、又は減少していないかを示す。このような傾向は、普通は、（多くの有益な有益な目に見える細部を含むことなく)最も高いレベルで増大する振幅を有するように思われる高周波雑音に対して、高層で見出される画像の細部を示す。（このような超データを生成する未来のカメラを用いる）もう一つの方法は、レンズの焦点距離に関する情報と組み合わされた、画像の奥行きマップを使用することができ、画像のどの領域が合焦状態か決定できる。関心が有り、合焦状態の領域を決定するための他の解析方法を、高周波帯域、ＳＮＲ差値及び／又は量子化の粗さ/細密度を重み付けするために利用できる。
【０１１６】
静的増強標的
高域通過層及び／又はＳＮＲ層に対して静的に割り当てられた標的の集合を樹立することは時には有益である。例えば、画面の左側、中央及び右側を増強するために割り当てられた層を、常に静的に標的とする事ができる。このようにして、復号中、もっとも大きな関心を有するどの領域も復号することができ、より低い関心の領域は復号する必要がない。本発明のこの態様においては、以下に説明する方法が、各層に割り当てられたタスクに必要なデータを超えて、各層に対する低いオーバーヘッドを許容する。したがって、おびただしい局部的な強化層（高帯域及び／又はＳＮＲの双方)を、特定の局部領域に合焦した詳細な復号器を許容しながら、提供できる。例えば、数ダースの領域を増強することができるが、多分半ダースの領域のみがこれらの特定の与えられた用途に対する関心領域に対して復号される。
【０１１７】
同様に、暗い領域及び影に割り当てられたＳＮＲ層はしばしば有用であって、その特定のＳＮＲ層を復号することにより影の細部における関心を常に任意に復号できる。明るい領域、飽和色、色の特定の組み合わせ、又はこれらの組み合わせに割り当てられたＳＮＲ層に対して同じ方法を用いることができる。同様に、各画面形状（縦横比）画素の形状に対して適当にそれらの層を復号できるように、縁に割り当てられたＳＮＲ及び高帯域層をマルチ縦横比復号に対して利用できる。全ての意図した復号縦横比に共通である、画像の中央領域も種々の改善層を有することができる。
【０１１８】
それらの上述した標的の全ての組み合わせも、各層に提供できる。例えば、ある層が、画像中の全ての点の暗い影の領域に加えて、他の領域の飽和色に加えて、いくつかの数個の共通点のない領域を標的とすることができる。図７は、標的とされた層を生成するために適したシーンを示すソース画像７００の図である。ソース画像７００中の１本の木は、一般的に、一以上のＳＮＲ層を用いる符号化のために独立に標的とすることのできる暗い影領域７０６に加えて、緑領域７０２及び茶領域７０４を有する。画像のいくらかの部分は焦点外（不鮮明)７０８であるかも知れないので、画像の合焦（鮮明)である部分は、一以上のＳＮＲ層を用いて分離して符号化のための標的とできる。したがって、符号化されたビットストリーム（又はビットファイル)中に提供された情報の有用性を最適化するための符号化構造及び復号構造の双方での広い柔軟性を標的化が許容する。
【０１１９】
ＳＮＲ差−制御された量子化
ＳＮＲ層に一つの量子化値を適用するのは共通の手法である。符号化されたより大きな差（圧縮符号化の誤り)は、相対的に均一な方法で、符号化されたより小さな誤りよりも多くの符号化されたビットを生成する。量子化が（通常「マクロブロック」の境界上で）領域により変化する場合、共通の手法は、生成されたビットの数に対して特定の標的に応じる（通常実時間バッファ及び遅延制約に応じる）可変速度制御に従う調整である。量子化をＳＮＲ改善層に適用するためのこのような方法は、改善の位置及び量に対して限定された制御を提供する。さらに、差の量が画像全体に亘って比較的均一であるか、又は量子化が、（通常はＳＮＲ層の下の層に対する速度制御により）基礎をなす符号化に対して変化しつつある場合に初めて変化するという仮定が置かれている。しかし、いくらかの符号化の差の誤りは、（圧縮のための量子化ではなく）計算中の量子化に帰結する連結された精度の誤りに起因する。ＤＷＴ９／７副帯域符号化等の深く層化された変換符号化システム、又は深く堆積された帯域分割変換符号化においては、連結された誤りが、多数の計算ステップに起因して、浮動小数点又は固定小数点変換処理を用いて、蓄積できる。このような計算差の誤りが、各階層で量子化差の誤りを増大させ、その結果、誤差の静的なばらつきが生じ、時折、標準的偏移（「シグマ」)の数倍の大きな誤差を生じる。このような最大の最悪差符号化誤差を減少させるために、減少した量子化による改善された精度を、このような誤差を含む領域に適用できる。
【０１２０】
画像圧縮における共通の手法のＳＮＲは、均一な量子化を用いる。しかし、もう一つの態様において、本発明は、原画像（又はその解像度層）から、より高い差（圧縮符号化誤差）を示す画像の領域に対してより低い量子化値（より高精度）を用いてＳＮＲを改善する。典型的には、差の量は各画素と共に変化する。本発明のこの態様において、一領域の平均差、又は一領域の最大差、が、直接的又は間接的に量子化の精度の局部的な調整を解して、その領域で生成された多数のビットを制御することに利用される。これらの方法の単調な関数に加えて、平均差及び最大差の組み合わせも用いることができる。局部的な差の平均、最大又は他の単調な関数が大きくなればなるほど、その領域に最も大きな補正を加えるために量子化値は低くなるべきである。このようにして、ＳＮＲ層は、任意に重み付けされ、そのビットの大半を最高の圧縮符号化誤差の領域に適用できる。
【０１２１】
差の局部的な決定は、或る領域を解析するときに、フィルタ核の大きさの縁の重なり合いを選択的に含み、その領域の符号化に影響を及ぼす全ての画素が、（その領域の縁を越えているが、フィルタ核の大きさに起因してその領域に影響を及ぼすそれらの画素においてすら）、これらの量子化値を決定するために用いられることを保証することができる。
【０１２２】
本発明のこの態様による、この領域を決定する一つの方法は、層化された階層中のＤＷＴ９／７双直交副帯域又は他の帯域分割フィルタを用いて差画像を帯域分割することである。選択できる数のレベルの後に、（縁の重なり合いを含む）その領域の差の平均を表す低解像度画像が生成される。
【０１２３】
替わり又はそれに加えて、各領域の最大差（圧縮符号化誤差）を（縁の重なり合いを含む）解像度階層に適用して、各領域に対する低解像度量子化値を決定できる。この最大差は、圧縮符号化誤差の逆数の最小として、あるいは平均差及び／又は最大差の関数として逆数を生成することにより、実施することもできる。この手法により、各領域における差（符号化誤差）の関数として画像の特定の領域に対するＳＮＲ改善の正確な標的化ができる。
【０１２４】
最大差の関数、平均差の関数又は両者の組み合わされた関数を、ＳＮＲ差画素の重み付けに利用できる。その代わりに及び同等に、画素差の値はそれら自身部分的に重み付けできる。局部的な量子化重み付け及び画素重み付けの双方の組み合わせも使用できる。（量子化及び／又は画素重み付け)のいずれの場合にも、最大差及び／又は平均差の関数を、制御された量の補正を最大の誤差領域に加えるように設定できる。通常、これは、より大きな量の補正である。しかし、（平均差及び／又は最大差の大きさの関数ではなく）そして画素輝度の非線形表現を用いて使用できる均一な量の補正を適用することが時には有益である。減少した量の補正が、量子化がより正確な領域に好都合であるように、最も大きい平均誤差又は最大誤差の領域に有益である場合すらあるかも知れない。それらの領域は、他の領域よりも高い量子化を用いても、より多くのビットを生成し続けるため、より多くのビットが更にしばしば最大の差の領域に適用される（より高い量子化により測定され又は分割されるときですら、より大きな値が相当量のビットをなお生成する)。
【０１２５】
各画素により表される光の値の非線形表現を圧縮することは共通の手法である。この非線形表現は、通常、ガンマ調整された画像信号（典型的な場合は略２．２ガンマ)である。一つのＳＮＲ差（符号化誤差）が、符号化された値から非線形画素値を減算することにより決定される場合は、固有の知覚的重み付けを含む。したがって、この非線形表現に起因して、一画素単位の差（例えば、８ビット又は１０ビット中の１ｌｓｂ)が、明るい画素に対するよりも暗い画素に対して光の値中に小さな差を表す。
【０１２６】
（ＹＰｂＰｒ及びＹＣｂＣｒとも呼ばれる）ＹＵＶ表現において、Ｕ（ＰｒＣｒ）及びＶ（ＰｂＣｂ）チャンネルは、それぞれＲ−Ｙ及びＢ−Ｙである。これらのＲ及びＢの値はガンマ調整により非線形である。しかし、Ｒ−Ｙ及びＢ−Ｙの値は知覚的に重み付けされておらず、むしろ色の量（彩度)により重み付けされ、中間の灰色（白の最大値の半分)の値にオフセットされる。これらのＵ及びＶチャンネルは、したがって、直接ＲＧＢ圧縮符号化を支持する符号化システム中のＹ（輝度）信号又はＲ、Ｇ及びＢ値のように、ガンマ関数により知覚的に重み付けされない。
【０１２７】
したがって、本発明のもう一つの態様においては、ガンマ関数や対数関数等のＲ、Ｇ及びＢ、又はＹ、Ｕ及びＶの非線形関数は、ＳＮＲ層を生成するときに差の値を計算する場合、任意に適用される。差の値は、そして、最大差及び／又は平均差の関数を用いて処理でき、差自身が知覚的に略均一になるように知覚的に重み付けられることが分かる。
【０１２８】
種々の代替方法が、略２．２の典型的な画像のガンマに利用できる。例えば、２．６や１．８等の異なるガンマを適用できる。あるいは、純粋対数非線形表現又は擬似対数非線形表現を用いて、所与の用途に対して知覚的に均一な方法で差（符号化誤差）を決定できる。ここで述べるように、本発明により、他の非線形知覚的不均一表現も用いることができる。
【０１２９】
量子化値、局部的な量子化値、及び／又は測定された画素値を含む画素および処理に対して浮動小数点表現を使用することはこれらのＳＮＲ重み付け処理の正確な制御を可能にする。
【０１３０】
動き補償に対するＳＮＲ及び解像度層の関係
ＳＮＲ層と同様に、動き補償が、通常は高解像度に対する中間で、特定の層に適用されるように意図される。動き補償は、一般に、一つの動きベクトル（又は「Ｂ」フレームの場合は、一以上の動きベクトル)に従う（普通は長方形又は正方形)領域の、以前の（又は次の)フレームからの、現在のフレームの領域を用いた減算のための、変位である。
【０１３１】
この動き補償のされた差は、イントラ（即ち、非動き補償）フレームと同様に、帯域分割され、量子化され、及び可変長符号化される。基礎動き補償解像度まで復号が適用されることは動き補償の特性である。したがって、より低い解像度の復号は全て利用できない。追加的な動き補償は、増加した解像度で適用できるが、動き補償レベルを超えた全ての層は、基礎動き補償が適用される解像度の全復号を必要とする。
【０１３２】
基礎動き補償解像度以下の全てのレベルでそのＳＮＲ層を適用できることに注目せよ。ＳＮＲ層及び解像度増加層は、基礎動き補償解像度以上で適用できる。しかし、基礎動き補償解像度以上のこれらのＳＮＲ及び解像度増加層は任意である。基礎動き補償解像度以下の全てのＳＮＲ及び解像度レベルが、動き補償フレーム毎に必要である。本発明のこの態様は、上述したように、図６に示されている。
【０１３３】
層の関数としての量子化
ＪＰＥＧ−２０００は、量子化を各副帯域層に指定することを可能にする。本発明のもう一つの態様は、局部的な量子化スケーリングとともに、より低い解像度レベルで、より精密な総体的量子化を利用することにより（より低い量子化パラメータ値を用いることにより)、層化変換量子化を改善できる。より低いレベルはより低い解像度にあるので、より低いレベルの各画素が、より高い層のた多数の画素に影響を与える。深く層化された帯域分割変換符号化システムにおいて、より低い解像度層の一画素がより高い解像度層の多くの画素に影響を及ぼし得る。（ＤＷＴ９／７システム中の９又は７タップであるが、２乃至数ダースのタップの間で有用な全ての大きさを取り得る）フィルタ核の大きさにより各層で影響の伝播も存在する。したがって、増大する解像度の各層に関して、低解像度での画素の影響が、どこまでも拡幅しどこまでも高くなる領域に亘って伝播するかもしれない。
【０１３４】
さらに、全般的な変換における帯域分割の低域通過フィルタ構造と、特定のＤＷＴ９／７副帯域変換の低域通過フィルタ構造とにより、それぞれのより低い解像度レベルで雑音が減少する。このことは、画像が低域通過フィルタで濾波されたときに生じる統計的な雑音の減少に起因する。より低い解像度層は、したがって、大きな領域の影響のみでなく、より低い領域の画像に固有なより高い信号対雑音にも起因して、（より低い量子化パラメータにより）より高い精度で最適に符号化され得る。
【０１３５】
したがって、局部的な量子化スケーリングとともに、帯域分割変換で符号化された量子化の間各より低い解像度レベルでより小さくなる総体的な量子化パラメータを用いることにより、任意に量子化の精度を増大することが利益となる。
【０１３６】
画質の目標充足
上述した道具を使用すると、画像圧縮中に符号化誤差を統計的に制限することが可能となる。画像変換量子化に加えて計算による量子化の性質により、符号化された結果の精度に統計的変動が生じる。しかし、差で制御されたＳＮＲ層を用いることにより、より精度の低いそれらの領域を精度を改善するために特に標的とすることができる。この方法で、画素値の略全てを全ての定義された誤差範囲内におくことができる。このことは非常に効果的にすることができるので、数百万画素の中のわずかに数画素のみが範囲を超える可能性がある。この方法で、復号された画像の各画素を任意の所望の誤差範囲内に置くことができる。
【０１３７】
有用な誤差範囲を決定する最も有用な方法は、画像の雑音特性に統計を用いることである。雑音は、一般に、輝度の関数であり、しかもしばしば色の関数である。雑音床が各フレームに対して一旦決定されると、誤差範囲を設定できる。一般に、いくつかの高雑音画像は、雑音床より低いレベルの有用な画像の細部を含む。このような画像に対して、この副雑音床画像の細部を保存するために、雑音床より低く雑音範囲を有用に設定できる。低雑音画像に対して、雑音床自体を有用な制限とするのに適当である。カメラを、実世界の高精度センサとして用いる場合、この方法論を用いることにより、圧縮システムがこのセンサにより提供される情報の全てを保存していることを信頼できる。このことは、最高の品質の画像が要求されるような用途においては重要である。
【０１３８】
画像センサ又はフィルムに基づく画像走査の完全な品質に加えて、より高い圧縮比（より少ないビット）でより低い画質の画像を提供することもしばしば有用である。ここに述べたこれらの方法論を用いて、より低い画質の層を提供できる。より低い画質の層と組む合わされたときに、原画像中で利用できる全画質を提供する追加の層に加えて、より高い圧縮比に対する要求に応じるより低い画質の層を提供することができる。このようにして、この符号化システムは、同時により高い圧縮を可能とするより低い画質の層を有しつつ、原画像を完全に再生するために必要な全てのデータを生成できる。さらに、より高い圧縮層は、ほとんど又は完全にデータを浪費しないような完全な品質の層に寄与する。或る場合には、このような層化された構造は実際により効率的である。多数の層が高効率を有することを可能とするために全層のオーバーヘッドを意図的に最小化しているため、本発明にこのことが特に当てはまる。
【０１３９】
雑音の特性付け
上述したように、静止画像又は動画像の雑音床の特性付けを輝度及び色の関数としてもとことは有益である。シーンの他の部分と共に（普通はシーンの初めに）色及び濃淡階調表が撮影され調整された場合、この色及び階調表を用いてこのことを容易に成し遂げることができる。このような表は普通は均一な色及び輝度の正方形を含む。それぞれのこのような正方形は、そして、全ての画素がこの均一な正方形内に同じ輝度と色とに見えるべきであるので、（水平、垂直及び斜めに）隣り合う画素に対して一画素の変化を決定するために使用できる。さらに、各正方形内で各フレームも同じ色に見えるべきであるので、多数のフレームに亘って一つのフレームを次のフレームと比較して、各フレームに関する変動を決定できる。このようにして、原画像のフレームからフレームへの（一時的な）雑音及び画素から画素への（空間)雑音を、各色及び輝度の正方形に対して直接観察できる。
【０１４０】
これらの基本的な前提に加えて、画像システムの特性付けに関して多数の実際的な考慮が存在する。
【０１４１】
前記表に焦点が合わされ、色及び輝度の正方形上にちり又は傷が存在する場合、望まざる変動が存在する。したがって、範囲の固有の変動を有する肌理のつけられた彩色を用いることのできる着色された及び灰色の正方形自身の変動を減少することに加えて、表の焦点をわずかにぼかしてこれらのちり及び傷の効果を減少させることが利益となる。
【０１４２】
もう一つの実際的な課題がシリコンの画像センサに影響を与える。シリコンセンサ及び他のタイプの電子画像センサにとって、各画素位置に対して画素感度の製造変動を有するのは共通のことである。この変動は各画素に付けられているので移動又は変化しないため、この変動は「固定パターン雑音」と呼ばれる。このような雑音は、画像が合焦しているか否かにより影響されず、画像が合焦していない場合、より容易に発現する。輝度毎に各画素の固定パターン雑音を決定するために、多数のフレームに亘って捕捉された画像を平均することが最上である。このことは、全フレームの一組の色と輝度とを撮像することにより、又はセンサが反応する全ての輝度レベルで各画素位置が試験されることを保障する全ての他の方法により、なすことができる。このように決定された平均は、そして、減算等の適切な計算により、その特定のセンサにより生成された全ての原画像から取り去ることができる。
【０１４３】
画像は動いているが固定パターン雑音は動いていないため、固定パターン雑音が動き補償に干渉することに注目せよ。したがって、このような特性付けが可能である場合、動き補償圧縮の前に固定パターン雑音を取り除くことが本発明の利益となる別の態様である。
【０１４４】
固定パターン雑音のもう一つのバージョンは、デジタル的に走査されたフィルムに関して生じる。センサは、通常、同一の固定パターン雑音を電子カメラに出力するエリアアレイ、又はその代わりに走査されたラインアレイである。ラインアレイの場合、固定パターン雑音は、（走査の方向に応じて）垂直又は水平の縞として現れる。再び、動き補償圧縮の前にこのような雑音を特性付け又は除去することは利益となる。
【０１４５】
固定パターン雑音の除去は、また、雑音の縞又は画素パターンは符号化ビットを必要とするが、画像情報を表しはしないため、高精度イントラ（非動き補償）圧縮にとっても利益となる。デジタルカメラ、エリアアレイ及びラインアレイスキャナは典型的には何らかの補正を施し、固定パターン雑音の量を減少することに注目すべきである。したがって、ここでの議論は、残りの補正されない固定パターン雑音に適用される。
【０１４６】
フィルム穿孔登録は不正確で差のフィルム収縮が発生することに注目せよ。したがって、走査されたフィルムは、原画像に固有でない「ゲートウィーブ」及び他の動き変動を表す。このような歪みと望まざる動きは、本発明により画像運動として取り扱われ、これらの歪みと望まざる動きとを除去することが公知の技術の課題である。このような歪みおよび望まざる動きを除去した場合、アルゴリズムが関数を適当に適用したとすれば、帰結する画像は、安定して実際の運動により密接に適合する。しかし、正しい運動をフィルム画像に回復させようと試みる処理は、また、固定パターン雑音を移動させ、変更して、その除去を不可能とすることに注目せよ。したがって、本発明のもう一つの態様は、本発明を用いて圧縮する前に、走査されたフィルム画像を固定するための他の技術を用いる前に、それによって固定パターン雑音を減少又は取り除く処理である。
【０１４７】
もう一つの実際的な問題がレンズフレアにより生じ、それにより画像の明るい領域が暗い領域に「こぼれる」。この問題は、色及び／又は輝度の全フレームを使用することにより、除去できる。この問題は、公知の「フレア補正」技術を用いて多色多輝度表を撮像することにより減少できる。「フレア補正」技術は、所与レンズのレンズフレアを設計し、そのレンズのフレアに起因する、結果として生じた輝度と色の干渉を減算することを試みる。
【０１４８】
全範囲低帯域
本発明のもう一つの態様は、一以上の全範囲低帯域を用いることであり、帯域分割階層の少なくとも最低帯域が浮動小数点表現を利用して広範囲高精度を提供することを意味する。より高い帯域の全てを、量子化された整数を用いて符号化でき、この符号化された帯域は、非量子化された浮動小数点値を用いて復号され、これらの浮動小数点値は、より高い解像度帯域の合成のために高帯域を形成する。ＯｐｅｎＥｘｒ半１６ビット浮動小数点表現を使用することは、これらの低帯域を直接格納する比較的コンパクトな方法を提供し、内部無損失の「Ｐｉｚ」圧縮（ハフマン、クラスタ表、ハールウェーブレット)の利点を取り込む。
【０１４９】
動き補償の場合、この浮動小数点低帯域は、動き補償後の差画像の低帯域を表し、したがって、全ての正の画像に対してすら本質的に署名されている。
【０１５０】
滑らかに変化する低雑音画像領域の共通の量子化アーチファクトは、量子化に起因して輪郭に筋を付けていることに注目せよ。この輪郭形成アーチファクトは、正確な微細な勾配は本質的に正確に再生されるため、最も低い画像の画素帯域に対して高精度浮動小数点（又は固定点)表現を用いることにより、削除される。この新規な方法を考えるひとつの方法は、最低帯域は全く量子化されていないが、むしろ非常に高精度に保たれていることを考えることである。この最低層の解像度はかなり低くできるので、低帯域が高精度で表わされるとしても、総体的圧縮比をやはり比較的に高くできる。
【０１５１】
イントラ又は動き補償画像の低帯域を記憶することに加えて、量子化は、低解像度浮動小数点量子化画像を用いることにより、部分的に制御することもできる。このような画像は、帯域分割階層の低帯域を用いて生成することができ、又は本発明中に説明される基準の最小値、最大値又は全ての他のものを用いて生成することができる。量子化画像データの解像度は、帯域分割画像解像度に適合する必要はないが、むしろ、量子化値を各解像度レベルで対応する画素に適用するときに使用される写像に関して記述するだけが必要である。
【０１５２】
量子化パラメータは、有益であるための微細な階調を有する必要はないので、広範囲の浮動小数点表現に使用する利点の多くは、低順位の仮数ビットがマスクされた場合でもなお保持できる。これは画質に殆んど影響を及ぼさないが、良好な圧縮を生じるためのＰｉｚＯｐｅｎＥｘｒ圧縮のクラスタ表におけるクラスタ化を許容する。２の因数あたり４〜８量子化符号ステップを許容する数ビットの仮数が、良好なＰｉｚＯｐｅｎＥｘｒ圧縮を許容する間微細な量子化ステップを保持する。
【０１５３】
ここでの議論は、実施の例としてＰｉｚ圧縮及びＯｐｅｎＥｘｒを用いたが、他の浮動小数点システム又は他の広範囲の測定する固定小数点システム及び同様な圧縮システムも、本発明に関して使用することができる。本発明の一つの新規な概念は、量子化を部分的に制御するための広範囲の量子化画像を用いることである。もう一つの新規な概念は、浮動小数点表現と同様に、高精度表現と共に広範囲低帯域を使用することである。
【０１５４】
さらに、本発明のもう一つの態様は、ＳＮＲ帯域及び他の高解像度高画質化帯域に対して交替量子化制御画像を用いることである。標的とするＳＮＲの特徴を使用することは、有用な解像度を変化させて、量子化パラメータを部分的に決定することに関して、代わりの量子化画像を選択的に利用することを可能とする。一以上のこのような追加的な量子化画像を、必要に応じて一以上のＳＮＲ又は高帯域解像度層とともに使用できる。この量子化画像は、特定の特徴を、より微細に復号する標的にし、それによりＳＮＲの改善又は解像度を増加させる細部を最も望ましい位置に置くための手段を提供する。
【０１５５】
本発明のこの態様による低帯域を使用して広いダイナミックレンジを得るためのもう一つの方法は、共通の手法の量子化された整数を利用するが、量子化／非量子化パラメータに対する浮動小数点表現を使用することである。浮動小数点量子化パラメータは、そこで、広範囲の符号化を可能にする。動き補償符号化に対して、浮動小数点表現の範囲は、イントラフレーム量子化パラメータだけに関してのみ必要とされるかも知れない。その理由は、フレームの全てが広い範囲を有する場合ですら、動き補償差の範囲は小さいからである。したがって、低いイントラ帯域に対して浮動小数点量子化パラメータにより広い範囲を全面的に可能にできるので、動き補償を用いる場合、整数量子化パラメータを、最も低い層を含む任意の及び全ての層で、任意に用いることができる。このような浮動小数点量子化パラメータは、その層の解像度で又はより低い解像度で部分的に適用できる。又は適切な場合に単独の値を全層に対して用いることができる。したがって、本発明は、部分的及び一層当たりの、整数及び浮動小数点最低帯域画素のイントラ及び動き補償フレームでの混合を、浮動小数点及び固定点量子化パラメータの混合と共に許容する。本発明のこのシステムは、少なくとも一つの低帯域量子化パラメータ及び一つの低帯域画素の画像が浮動小数点表現を用いる限り、利用されつつある。
【０１５６】
量子化前の雑音ディザ法
より低い数のビットに打ち切るとき、ディザ法が、隣接する輝度の視認性のステップを減少するために、雑音を加える処理を行なう。各解像度層での実際の画像雑音床が総体的及び／又は局部的な量子化を樹立するために利用される場合、雑音床自身が、量子化の前に画像画素値を適当にディザする。
【０１５７】
本発明のもう一つの態様として、しかし、より粗い量子化が一以上の必要な又は任意の層が（これらの層でのより高い圧縮に対して）用いられる場合、量子化の前に画素値を擬似ランダム雑音雑音でディザすることが時には利益となる。加えられた雑音及び固有の雑音の合計は、量子化ステップの大きさと等しくなければならない。本発明の浮動小数点量子化パラメータの使用はこのようなディザ法の精確な制御に利益となる。
【０１５８】
任意の不感帯をゼロの周辺で用いる場合、不感帯内に数個の任意の処理が存在する。一つの処理は、他の全ての帯域ステップ（即ち、不感帯の外側）に対応するレベルで雑音を加える。この処理は、不感帯の関数を保存するが、或る値を整数＋１又は整数−１に１ディザする。あるいは、他の場合は不感体内でゼロに丸められる。もう一つの処理は、ディザ法を用いなければ不感体内にはないであろう値に雑音を加えることである。したがって、不感帯の圧縮利点は、影響されずに残ることとなろう。もう一つの処理は、不感帯の広さの量の半分を、ゼロと、（整数１を生じる）不感帯の値が超えられる点との間で、加えることによってディザ法を不感帯の大きさに利用することである。変換された画素値の符号は、不感帯の半分がこの処理中に負の値から減算されるように、考慮されることに注目せよ。上の組み合わせと、又は量子化された量の関数としての他の処理も潜在的に有益である。
【０１５９】
低帯域及び高帯域は、雑音ディザリングのために任意に選択でき、及びそれぞれに対するディザリングレベルは異なることに注目せよ。ディザ法は、一般的に圧縮ビットの大きさを増大させ、したがってディザ法の量は、画質の利点と圧縮効率との間の妥協である。したがって、ディザ法のいくらかの利点を得ながら、出力ビットの大きさをいくらか減少させるために、量子化ステップの大きさより小さくなるように、固有の局部的な画像雑音と付加された擬似ランダム雑音との和を有することが時には有益である。
【０１６０】
任意のＳＮＲ層の低帯域が、任意のＳＮＲ高帯域よりも異なる雑音ディザ方の処理から利益を得そうであることにも注目すべきである。さらに、任意のＳＮＲ及び解像度を高める帯域が、帯域特性の関数として、ディザ法を用いないことに加えて、異なったディザ法の量が有用であることを発見するかも知れない。さらに、それらの雑音床以上のレベルで量子化された場合、必要な解像度を高める高帯域は、特定のしかし（特別のレベルの関数として）異なるディザ法の量及び特定の不感帯の処理によって利益を得るかも知れない。
【０１６１】
動画像とその領域の雑音床の周りの情報を利用できない場合は、総体的画像雑音床の一般的な推測を、ディザ法の量を選択して、量子化パラメータの使用が一般的な雑音床の推定を相当超えそうであるときに、適用することを手助けするのに使用できる。
【０１６２】
本発明について上に注目したように、量子化パラメータは、一般的に、各層に対して、総体的量子化と局部領域量子化スケールとの乗法の積である。さらに、画像雑音床は一般的に各より低い解像度帯域に関して、対応するより精密な（より低い）量子化パラメータと共に、減少する。このような量子化は、時には、より高い任意の層で画像内に特定の特徴でビットを収束させる標的とされる。最低層は、最低帯域自身は雑音床以上に決して量子化されないように、多くの層の低域通過濾波を含む、最低雑音床画像ソースそのものですら超えるように設定された精度を有する、高精度浮動小数点を用いる。（高帯域及び低帯域の双方の)最低レベル以上の帯域だけが、ここに説明するように、擬似ランダム雑音雑音ディザ法の候補である。
【０１６３】
領域による適応無損失符号化
量子化パラメータを帯域分割変換画素値分割することにより整数が一旦得られると、それらは無損失の（ビットに正確な）方法で効率的に符号化される。共通の手法は、ハフマン又は算術符号化などの単独の可変長符号化（「ｖｌｃ」)表を用いる。ハフマン符号化を用いて、各値が独立に符号化される。算術符号化を用いて、多重値が一緒に符号化される。それぞれ異なる目的を有する単一の静的な表を多重の静的な表に拡大することも共通の手法である。さらに、数個の表を利用でき、最も効率のよい一つを選択して復号器に信号で伝えることのできる「適応的な」可変長符号化の手法が存在する。そのデータにとって特定の効率の良い符号化に基づいて、符号器から復号器に表を送ることも可能である。これらの適応的で信号で伝えられる手法は共通ではないが、時には合理的な圧縮効率利得を用いてそれらは用いられてきた。
【０１６４】
これらの可変長符号化手法の一つの相手が、特定の変換符号化領域へのそれらの適用である。例えば、ＪＰＥＧ−２０００は、各解像度帯域での全画像を用いる。また、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４（部分２及び１０の両者）は、各ＤＣＴブロック（例えば、４×４、８×８、８×４、１６×１６画素）に対応する数個のパターン（例えば、走査又はジグザグ)の選択肢を用いてそれらの整数ＤＣＴ値を符号化する。
【０１６５】
帯域分割変換画素係数の無損失可変長符号化が適応領域を用いて符号化されることは、本発明のもう一つの新規な態様である。これらの領域は、任意の大きさと形状を持つことができ、無損失符号化効率（即ち、最小ビットの大きさ)のみに基づいて選択される。これらの領域の大きさと形状は、従来のｖｌｃ符号化方法と異なり、どんな特定の大きさと形状にも限定されない。本発明のこの態様においては、多数の「ｖｌｃ」表が利用でき、これらの「ｖｌｃ」表は、全ての選択された領域の大きさ及び形状に対して試験される。さらに、ダウンロード可能なｖｌｃ表を利用できる。各選択された領域の大きさと形状に対して、全ての静的に利用できるｖｌｃ表がビットの大きさに対して試験される。この大きさ、形状、及び最も小さなビットの大きさを有するｖｌｃ表が、そして、復号器に信号で伝えられる。
【０１６６】
ダウンロード可能なｖｌｃ表も、普通はこれらのｖｌｃ表から利益を得る特定のデータパターと共に、試験でき、ｖｌｃ表はこれらのデータパターンを最適化する。このようなダウンロード可能なｖｌｃ表は、アルゴリズム的に生成でき、特定のデータパターンにより駆動される。このようなダウンロード可能なパターンが特定の大きさと形状で、償却表のダウンロードされた大きさを含む、最小のビットの大きさを利用する場合、このような表を最も効率的なように任意に選択する。
【０１６７】
本発明のこの態様中に用いられるｖｌｃ無損失符号化領域の大きさと形状に関する制限は何もないが、簡単な長方形の領域が、実施するのに最も容易である。２×２（又は１×１）の小さな領域の大きさから、１２８×１２８の大きな領域（又は更に大きな領域）の大きさまでの広範囲の領域の大きさが、広範囲のデータを完全に自動化するために利用できることに注目せよ。また、２×１２８及び１２８×２のような極端な長方形の形状も、中間の任意の形状に加えて、時には、又はより極端な形状であってさえ時には、最適である。
【０１６８】
例えば、特定の特徴を標的とする上述したＳＮＲ層は、疎データだけを必要とする大きな領域に遭遇するかもしれない。このような大きな領域に対しては、（その領域に対して最善のｖｌｃを用いて）その領域の大きさ及び形状を、これらの領域で符号化されるデータに対して適合させる能力が、高解像度ＳＮＲ層のビット符号化オーバーヘッドを大きく減少させる。本発明のこの態様を用いて、多くのＳＮＲ層を、（例えば４ｋ解像度のような）非常に高い解像度ですら、小さなビットの大きさのオーバーヘッドのみを用いて、このような層を、それらが積極的に画像改善を標的としていない領域に有することに対して適用できる。さらに、このようなＳＮＲ層が、なすべき「仕事」を殆んど発見しない場合、すなわち、標的となる画像データが何も存在しないことを意味する場合、この層の存在を有することに対して殆んどオーバーヘッドが存在しない。このことは、この適用領域の大きさ、形状及びｖｌｃ選択方法にとって重大な利点である。
【０１６９】
あるｖｌｃ符号化表を標的として、大きなゼロの領域に対して、その領域に対して小さな数のビットを用いて最適化することは利益となる。変換された画素を個別に、又は最大値が、±１又は±２等の小さな範囲に限定される群として、符号化することも利益となる。小さな範囲を符号化することに限定されたｖｌｃを利用できるとき、その領域に対する値の範囲を最大及び最小により、単純に検査できる。そして、画素値画素の範囲を超える場合、ｖｌｃ符号は、その大きさと形状に対して、測定する必要はない。さらに、全ての値が、特定の領域の大きさと形状でゼロである場合、このゼロの符号化は最適であり、他のどんなｖｌｃ表も試験する必要はない。このようにして、いくらかの符号は単純に削除できるため、最小ビットの大きさに対する徹底的な最適条件を、全てのｖｌｃ符号を計算する必要なしに決定できる。
【０１７０】
画像の縁の近くで、符号化領域の大きさ及び形状が、必然的に限定される。さらに、多くの画素を共通の符号値に組み合わせるｖｌｃ表が利用できるとき、縁で利用できる大きさが適合しない場合、このようなｖｌｃ表の選択肢を考えることができない。
【０１７１】
全ての領域の大きさ、形状及びｖｌｃの選択肢を試みる最適化された徹底的な方法が説明される間、符号化するデータの疎走査に基づいて、符号化速度の最適化として、残りの大きさ、形状及びｖｌｃ表の部分集合のみを試験することも有益である。どの大きさ、形状及びｖｌｃ表が最も疎サンプリング適合するかに関する最良の推量を用いると、これらの大きさ、形状及びｖｌｃ表のみを検査することが必要であり、従来の段落に記述される最適化を用いてすら、全ての場合を検査するために必要な計算を除去する。例えば、最大及び最小に加えて、平均及び平均偏差、標準偏差、又は他の統計的特性付けを、どのｖｌｃ表が最適である最良の機会を有するかを推定することに利用できる。さらに、 このような統計的特性付けも、より多くのビットを最も必要としそうであるとして、いくつかのｖｌｃ選択肢を削除することができる。さらに、いくらかの領域大きさ及び形状も、削除でき、他の領域はいくつかの統計的特性付けに好都合である。例えば、各領域に対するｖｌｃは独立に最適化できるので、疎データは、大きな領域からより利益を得しそうであり、それに対して密データは小さな領域からより利益を得そうである。
【０１７２】
これらの領域の大きさ、形状及びｖｌｃの選択肢を最適化する方法を用いることにより、選択肢の小さな部分集合のみを符号化の間試験する必要がある。このように計算時間を縮小しながら、徹底的な試験から得ることのできる最小ビットの大きさにたどり着く。
【０１７３】
符号化領域の大きさ、形状及びｖｌｃの適応的使用は、各層が他の層とは独立に最適化できるように、一つの解像度の層ともう一つの解像度の層との間にどんな関係も負わない必要があることに注目すべきである。本発明のこの態様は、整数の無損失ビットに正確な符号化（これらの整数は量子化分割、固定又は不動から帰結する）を含むので、ここに説明した適応的な大きさ、形状及びｖｌｃ表の方法から可視画像上に何の効果も生じない。ｖｌｃ表の選択肢と共に適応的な符号化領域の大きさと形状を使用することは、排他的に画像の態様の無損失符号化のビットの大きさを最小化するための最適化であり、画像データの大きさを形成する帯域分割変換符号化画素が最も注目すべきである。本発明のこの態様は、圧縮データの整数値にも圧縮品質にも影響を及ぼさない。そのデータの可変長符号化ビットの大きさのみが影響を及ぼす。
【０１７４】
この適応的な無損失整数符号化方法は、量子化が低解像度副画像により部分的に制御される場合に、副画像を整数量子化パラメータ副画像にも適用できる。本発明のもう一つの態様は、適合符号化領域の大きさ、形状及びｖｌｃ表を低解像度浮動小数点低帯域又は浮動小数点の局部的な量子化画像に適用する。このようにして、浮動小数点の低帯域及び量子化帯域を部分的に類似した指数の領域分類できる。数ビットへの量子化仮数の打ち切りとともに、このような局部的な大きさ、形状及びｖｌｃ符号化が、低解像度量子化浮動小数点値の量子化において、高度に有効であることができる。（その低帯域での高雑音床が画質を減少させることなくこのような減少を可能とするときに仮数精度が減少しない限り）より高い必要な仮数ビット精度は本質的に達成された仮数ビットの大きさの減少量を制限するが、イントラフレームの低画像帯域に対して、適応的な大きさ、形状及びｖｌｃ表も有益であり得、特に指数及び符号に対して有益であり得る。
【０１７５】
層化ファイル構造
本発明のもう一つの態様は、ビットの層に対するファイル構造を用いることである。各解像度層、各ＳＮＲ層、各浮動小数点最低帯域、各量子化局部的低帯域及び動き補償は、圧縮の間に生成されたビットの異なる態様を形成する。各フレームに対する一つのファイルをそのフレームの各態様に対して、圧縮したビットをフレームに編成することが好都合であることが証明された。各態様は、その態様専用のフォルダに更に置かれる。総体的プロジェクト又はシーンは、これらの態様のフォルダの全てを最高レベルのフォルダ又は（ＤＶＤ−Ｒ又はＣＤ−Ｒ等の記録可能なデジタルディスク等の）記憶装置内に含む。
【０１７６】
さらに、任意の好都合な引く続くフレームに加えて、各シーケンス（典型的シーン）の開始に、ヘッダファイルを記憶できる。このヘッダファイルは、フレーム数、（動き補償が実行中か、動き補償を不活性にする「１」の距離である場合）イントラフレーム間の距離、各層の解像度、各選択層の有無、各層の存在に対する総体的量子化値、各層に対する不感帯の大きさ、及び他の必要なシーケンス毎の情報から等の典型的なヘッダ情報又は超データを含む。指定された「イントラストライド」パラメータ値よりも小さなフレーム距離でイントラフレームを挿入する場合、ヘッダファイルを含むのが通常である。
【０１７７】
図８は、本発明のこの態様による一つの可能な階層ファイル構造を示す図である。図示した例中の各記載事項は、型名（「フォルダ」又は「ファイル」）及び項目名（例えば「低−低＿浮動＿小数点」）の形式である。しかし、実施においては、型名は、一般的に、コンピュータファイルシステムのディレクトリー構造中に内在する。この例では、ルートフォルダ８００は、上述したように、一以上のヘッダファイル８０２を含み、そして圧縮画像シーケンスの分離可能なアスペクトを表す一連のフォルダ８０４を含む。各フォルダ８０４は、フォルダ構造により表される圧縮画像シーケンスの特定の分離可能な態様の各フレームに対応する実際のビットを含むファイル８０６を含む。
【０１７８】
このフォルダ及びファイルの構成は、多数の方法で便利であることを証明した。所望の層を含むそれらのフォルダをコピーすることにより（それらが所望のレベルで復号するために十分な量を提供しさえすれば）、フォルダのいくつかの層を選び、他の層を選ばないことは容易である。現在の必要を越えて層を含むそれらのフォルダは、コピーされないし送信もされない。符号化時及び復号時に、自動的にフォルダ名とファイル名とをその態様とフレーム数とから生成することが簡単になる。
【０１７９】
この中間の態様毎のフォルダ、及び態様毎のフレーム毎のファイルの構造は、この発明の特徴である多くの層を管理する便利な方法を提供する。
【０１８０】
この中間のフォルダ及びファイル構造は、典型的に圧縮された動画像ストリーム多重へ所望の数の層を集めることができる送信処理符号により読むこともできる。この多重は、アスペクトフォルダ内のフレーム毎ファイルからビットを、どの態様のブロックが従うかと、データのそのブロックの長さとを示す単一のヘッダに連結するだけを必要とする。選択された多重は、ＭＰＥＧ−２及び他の共通の動画像圧縮システムと同様に送信されるかもしれないし、記憶されるかもしれない。
【０１８１】
復号器が多重を復号することは直接的である。あるいは、しなやかな中間の態様フォルダ及びファイル構造を、対応するデマルチプレックス処理符号を用いて、記憶した又は送信した多重ビットストリームから復元することができる。このようなデマルチプレックス符号は、多重に含まれた層及び態様の全てから態様のフォルダ及びファイル構造を復元でき、又は必要でないいくらかの任意の態様の復元を任意に省略しても良い。
【０１８２】
自動化されたイントラ選択
通常、隣接するフレームの画素を検査することによりシーンの刻み目を探すことにより、余分なイントラフレームをシーケンス中に挿入すべきときを決定する多数の方法が存在した。本発明のこの態様においては、新しいイントラフレームの任意の挿入方法は、動き補償フレームに必要なビットの数を計数することである。その数が、以前のイントラフレームに対して必要とされるビットよりも少ない少なくとも合理的なパーセントでない場合には、動き補償フレームを捨てることができ、イントラフレームを作ることができる。例えば、動き補償フレームが少なくとも５％少ないビット（あるいは、調整可能なパラメータにより指定されるような他の有用な量）を使用しない場合、イントラ挿入を選択できる。さらに、所望の場合には、以前のインフラビットの大きさより指定された量だけ大きい圧縮されたビットの大きさの動き補償フレームを共用できる。
【０１８３】
動き補償は、動きベクトルおよび動きモードのためのオーバーヘッドを有することに注目せよ。フレームが大きく異なるとき、動き補償オーバーヘッドは、動き補償フレームを前のイントラフレームより実際に大きくなるようにさせるかも知れない。いくらかの他の共通の場合で、黒から次第に明るくなるようなデータ量が非常に小さい場合は、各フレーム中のデータの大きな部分である動き補償オーバーヘッドを生じ、それに応じて、明るくなりつつある間、ビット数の比較だけに基づいて、フレーム毎に自動的にイントラ挿入を選択するかもしれない。この目的のために、全ての符号化層のビット数を使用でき、又はその代わりに、（一以上の任意のより高い解像度及びＳＮＲ層を除いた）より低い有用の層までのビット数を使用できる。
【０１８４】
現在のフレームのイントラ符号化は、以前の基準イントラフレームと等しい数のビットを生成する必要がないことに注目せよ。したがって、パーセンテージ（又はその代わりに絶対量）差の選択肢が、現在のフレームの動き補償圧縮ビットの大きさと（以前の多数のフレームである可能性のある）以前のイントラフレームとの間を比較するとき、利益となる。パーセンテージ（又は他の）差の量の選択は、この自動的なイントラフレーム挿入の使用を最適化するために、イントラフレームストライド距離と圧縮されたシーンのタイプとに適合するように変更できる。
【０１８５】
この簡単なビットの大きさ圧縮方法は、高いシーンの変更、徐々に明るくすること及び他の特別な場合の間、画質を最適化し、かつ符号化されたビットの数を減らすことに、高度に有効であることを証明した。
【０１８６】
実施
【０１８７】
図９は、非動き補償圧縮／非圧縮システム中での本発明の種々の態様の一実施を示すブロック図である。この実施の種々のステージは任意であり、他の任意のステージ又はステップを含んでも良い。ソース画像９００が、（まだその形式でない場合には）浮動小数点表現９０２に変換される。浮動小数点画像９０２は、浮動小数点出力を有する帯域分割解析９０４を受ける。その結果として生じる不量子化最低帯域９０６は、ＯｐｅｎＥｘｒ形式等の浮動小数点表現で、圧縮されたソース画像の最低層として、直接出力されるかもしれない。
【０１８８】
一以上の残りの帯域は、極小と平均画素値とを考慮することによる量子化測定９０８であり得る。各選択された帯域分割画像は、そして、総体的量子化パラメータ９１２及び局部的な量子化測定画像９０８を用いて、好ましくは浮動小数点形式で表された全ての量子化パラメータ及び量子化測定について、量子化９１０される。量子化器９１０の整数出力は、そして、適応的な領域ＶＬＣ符号化９１４と、圧縮されたソース画像の高帯域層を表す符号化ビット９１６としての出力とを用いて、符号化できる。
【０１８９】
ＳＮＲ層を生成するために、量子化器９１０の出力は、浮動小数点表現へ非量子化９１８され、帯域合成フィルタ９２０によりアップフィルタされる。帯域合成フィルタ９２０の出力は浮動小数点ソース画像９０２から減算９２２され、帯域分割解析９２４を受ける。その解析の出力に対する最大誤差９２６を、そして、決定でき、それを用いて量子化測定画像９２８を生成できる。量子化測定画像９２８は、帯域分割解析９２４の出力の量子化を量子化器９３０を介して部分的に測定するために使用され、適応的な領域ＶＬＣ符号化９３２を用いて符号化され、そして誤差制限ＳＮＲ層を表す符号化ビット９３４として出力される。
【０１９０】
量子化器９３０の出力は、浮動小数点表現に非量子化９３６することができ、ソース画像９００から減算９３８され、一以上のＳＮＲ標的９４０、９４２を用いて、図６に示すような対応するＳＮＲ差画像９４４、９４６を生成するために用いられる。
【０１９１】
本発明は、ハードウェア、ソフトウェア、又は両者の組み合わせ（例えばプログラマブルロジックアレイ)で実施してよい。他に指定されなければ、本発明の一部として含まれるアルゴリズムは、全ての特別なコンピュータ又は他の装置に本質的にかかわるものではない。特に、種々の汎用機械を、ここでの教示に従って書かれたプログラムを用いて使用することができ、又はより特殊化した機械（例えば積分回路）を構築して特定の機能を遂行することはより便利かも知れない。したがって、本発明は、それぞれ、少なくとも一つのプロセッサと、（揮発性及び不揮発性メモリ及び／又は記憶素子を含む）少なくとも一つの記憶システム、少なくとも一つの入力装置またはポートと、少なくとも一つの出力装置又はポートとを備えた一以上のプログラム可能なコンピュータシステム上で実行する一以上のコンピュータプログラム中で実施しても良い。プログラム符号を適用して、データを入力し、ここに説明した関数を実施し、出力情報を生成する。この出力情報は、一以上の出力装置に既知の方法で適用される。
【０１９２】
このような各プログラムは、（機械、アセンブリ、又は高レベル手順、論理的、又はオブジェクト指向 プログラム言語を含む)任意の所望のコンピュータ言語で実施され、コンピュータシステムと通信する。いずれの場合も、その言語は、コンパイルされた又は解釈された言語であり得る。
【０１９３】
このような各コンピュータプログラムは、望ましくは、汎用又は特殊目的のプログラム可能なコンピュータにより読み取り可能な記憶媒体又は記憶装置（例えば、固体メモリ又は媒体、又は磁気若しくは光媒体）に格納又はダウンロードされる。記憶媒体又は記憶装置は、それらがコンピュータシステムにより読み取られ、ここに説明した手順を実行するときにそのコンピュータを構成及び操作する。この発明のシステムは、コンピュータプログラムと共に構成された、コンピュータで読み取り可能な記憶媒体として実施することも考えられる。ここで、このように構成された記憶媒体は、コンピュータシステムに、特定の及び予め定義された方法でここに説明した関数を実行するよう動作させる。
【０１９４】
本発明の新規で有益な態様は少なくとも次のものを含む。
【０１９５】
（１）符号化変換解像度階層の２以上の解像度レベルで異なる量子化パラメータ値を使用すること。これには、量子化のための局部的なスケーリングとしての帯域分割又は帯域分割階層の減少した解像度レベルを使用することが含まれる。
（ａ）双直交副帯域９／７離散ウェーブレット変換解像度階層への任意の適用。
（ｂ）より最適な帯域分割階層への任意の適用。
（ｃ）任意に各解像度レベルの機能として、減少した解像度量子化スケール上の最小及び／又は最大を任意に含むこと。
【０１９６】
（２）浮動小数点量子化のための局部的なスケーリングとして、帯域分割又は帯域分割階層の整数又は浮動小数点減少解像度レベルと共に浮動小数点量子化パラメータ値を用いること。
【０１９７】
（３）符号化変換階層の低解像度に対する、浮動小数点又は半浮動小数点等の高精度を使用すること。
（ａ）双直交副帯域９／７離散ウェーブレット変換解像度階層を任意に含むこと。
【０１９８】
（４）入力（画素入力は選択的に整数）間の画像圧縮符号化中どこでも、量子化分割の点まで（その後符号化はビット正確な無損失）、浮動小数点を使用すること。したがって、全ての変換処理が浮動小数点で行われる。
【０１９９】
（５）非量子化乗算後、（最終ステップで整数に任意に変換されても良い）最終画素値までどこでも浮動小数点の復号器中での同様の使用。
【０２００】
（６）量子化のための実際の画像（イントラスタイル)の低帯域を用いるが、量子化をイントラ符号化のみならず（動き補償のとき)動き補償の（帯域分割階層のより高い又はより低い異なるレベルの帯域を含む)異なる帯域にも適用すること。
【０２０１】
（７）より高い解像度レベルの全ての画素に対する量子化パラメータのためのスケールファクタとして使用するために、最小値を適切な低−低帯域に対して取る解像度階層を用いること。
（ａ）任意に各解像度レベルの機能として、特定の最小及び／又は最大を使用することを任意に含むこと。
（ｂ）帯域分割フィルタ範囲の影響を考慮に入れるために、各レベルでの隣接画素の重なり合いを任意に含むこと。
【０２０２】
（８）結果として生じる符号化誤差の値を用いて、より大きな誤差がより小さな量子化パラメータ値を有する（それによりより高い数の補正ビットが生成される）ようにＳＮＲ補正層に対する量子化の重み付けに使用するための新しい適切な低−低帯域を生成すること。
（ａ）各レベルで隣接画素の重なり合いを任意に含み、帯域分割フィルタ範囲の影響を考慮に入れること。
（ｂ）所与の画素の誤差が平均誤差以上である要因の量の関数として、追加的な量子化重み付けを任意に含むこと。
【０２０３】
（９）符号化変換解像度階層の２以上の解像度レベルで異なる不感帯量子化帯を用いること。
（ａ）双直交副帯域９／７離散ウェーブレット変換解像度階層に任意に適用すること。
【０２０４】
（１０）雑音レベルを量子化のステップの大きさ以下に設定して、量子化の点で雑音ディザ法を用いること。より小さく設定したときは、目的は、（そのレベルでの）固有の画像雑音を合計し、加えられた雑音を足し、量子化ステップを等しくすること。（ゼロの近傍の）不感帯の雑音ディザ法は、他のステップと異なって任意に取り扱われても良い。
【０２０５】
（１１）フィルム粒子又はカメラ雑音の外観を再生するために一以上のＳＮＲ層の一以上の色、輝度及び領域の関数として変換振幅ヒストグラム等の統計的数値特性を使用すること。
【０２０６】
（１２）以前のイントラフレームの中のビットの計数と相対的に比較して、動き補償フレームにより生成されたビットの計算を用いて、その代わりにイントラフレームとして動き補償フレームを再計算すること。
【０２０７】
（１３）可変調符号化表の一以上の選択肢を用いた無損失ビット符号化のときに最小ビットに対して最適化するために適応領域の大きさを用いること。
【０２０８】
（１４）種々の層に対する圧縮データ要素に分類するために任意の中間のファイルフォルダ構造を用いること。
【０２０９】
本発明の多数の実施の形態を説明した。それにもかかわらず、種々の変更を、本発明の要旨から逸脱することなくなし得、例えば、上に説明したいくらかのステップは独立に順序付けられ、したがってその説明とは異なる順序で実行することができる。したがって、他の実施の形態は以下のクレームの範囲内である。
【図面の簡単な説明】
【０２１０】
【図１】従来例の９／７ＤＷＴ双直交副帯域圧縮システムのブロック図である。
【図２】この例における二つの要因を用いて、本発明の一態様による最適の二次元空間帯域分割フィルタの適用を示すブロック図である。
【図３】ＤＷＴ９／７構造のための（画素について）同時発生的位相構造を示す原画素の列の図である。
【図４】本発明のための中間の（画素に関する）位相構造を示す原画素の列の図である。
【図５】種々の解像度での任意のＳＮＲ層とともに、解像度及びＳＮＲ層構造を有する画像圧縮システムの一つの実施をを示すブロック図である。
【図６】階層圧縮処理を行う画像圧縮システムの一例を示すブロック図である。
【図７】標的層を生成するために適したシーンを示すソース画像の図である。
【図８】本発明の一態様による一つの可能な階層ファイル構造を示す図である。
【図９】非動き補償圧縮／非圧縮システムにおける本発明の種々の態様の一実施を示すブロック図である。
【図１】
2008514115.tif 000003
【図２】
2008514115.tif 000004
【図３】
2008514115.tif 000005
【図４】
2008514115.tif 000006
【図５】
2008514115.tif 000007
【図６】
2008514115.tif 000008
【図７】
2008514115.tif 000009
【図８】
2008514115.tif 000010
【図９】
2008514115.tif 000011
【国際調査報告】
2008514115.tif 000012
2008514115.tif 000013
2008514115.tif 000014
2008514115.tif 000015
2008514115.tif 000016
2008514115.tif 000017
2008514115.tif 000018
2008514115.tif 000019