(57)【要約】デジタル画像のセットを圧縮し、全体のセットにわたり平均の圧縮データレートを達成する方法が開示される。画像のサブセットは、画像のセットから選択される。閾値の観察距離及び所望の平均の圧縮データレートが指定され、圧縮パラメータは閾値の観察距離から決定される。画像のサブセットは、圧縮データを生成するために圧縮パラメータで圧縮され、平均の圧縮データレートは、画像のサブセットから圧縮データについて計算される。画像のサブセットの平均の圧縮データレートは、平均のデータレートに比較される。画像のサブセットの平均の圧縮データレートが所望の平均の圧縮データレート以下である場合、画像のサブセットについて使用された所望の平均の圧縮パラメータを使用して、画像のサブセットにない画像系列からの残りの画像が圧縮される。さもなければ、閾値の観察距離は大きな距離に変更され、圧縮プロセスが繰り返される。
2010524298.tif 000002
【特許請求の範囲】
【請求項１】
画像のセットについて平均の圧縮データレートを達成するために連続したデジタル画像のセットを圧縮する方法であって、
（ａ）閾値となる観察距離及び所望の平均圧縮データレートを指定するステップと、
（ｂ）連続した画像のセットから小さな画像のサブセットを選択するステップと、
（ｃ）圧縮パラメータを計算するための入力として閾値となる観察距離を利用するステップと、
（ｄ）圧縮データを生成するため、前記圧縮パラメータにより前記小さな画像のサブセットを圧縮するステップと、
（ｅ）前記小さな画像のサブセットについて、平均の圧縮データレートを計算するステップと、
（ｆ）前記小さな画像のサブセットの前記平均の圧縮データレートを前記所望の平均の圧縮データレートに比較するステップと、
（ｇ）前記小さな画像のサブセットの前記平均の圧縮データレートが前記所望の平均の圧縮データレート以下である場合、前記小さな画像のサブセットを再び圧縮することなしに前記小さな画像のサブセットについて使用された圧縮パラメータを使用して、前記小さな画像のサブセットにない前記画像のセットから残りの画像を圧縮するステップと、
（ｈ）前記小さな画像のサブセットの前記平均の圧縮データレートが前記所望の平均の圧縮データレートよりも大きい場合、前記閾値となる観察距離を変更して、前記ステップｃ）からステップｈ）を繰り返すステップと、
を含むことを特徴とする方法。
【請求項２】
前記小さな画像のサブセットを通した第一の圧縮パス後に前記ステップｈ）の前記閾値の観察距離を変更するステップは、前記平均の圧縮データレート及び前記閾値の観察距離を使用して、レート歪み関数について推定される傾斜を決定し、前記推定される傾斜を使用して、前記所望の平均の圧縮データレートを達成する変更された閾値の観察距離を計算するステップを更に含む、
請求項１記載の方法。
【請求項３】
前記小さな画像のサブセットを通して第二の圧縮パス後に前記ステップｈ）の前記閾値の観察距離を変更するステップは、前記第一の圧縮パスから前記平均の圧縮データレート及び前記閾値の観察距離と、前記第二の圧縮パスからの前記平均の圧縮データレート及び前記閾値の観察距離とを使用して、レート歪み関数に計算される傾斜を決定し、前記計算される傾斜を使用して、前記所望の平均の圧縮データレートを達成する変更された閾値の観察距離を計算するステップを更に含む、
請求項２記載の方法。
【請求項４】
前記画像のサブセットを通して少なくとも第三の圧縮パス後に前記ステップｈ）の前記閾値の観察距離を変更するステップは、前の圧縮パスからの前記平均の圧縮データレート及び前記閾値の観察距離と、現在の圧縮パスからの前記平均の圧縮データレート及び前記閾値の観察距離とを使用して、レート歪み関数について計算される傾斜を決定し、前記計算される傾斜を使用して、前記所望の平均の圧縮データレートを達成する変更された閾値の観察距離を計算するステップを更に含む、
請求項３記載の方法。
【請求項５】
前記閾値の観察距離は、前記圧縮パラメータを計算するコントラスト感度の関数の計算手段に入力される、
請求項１記載の方法。
【請求項６】
前記圧縮パラメータは、量子化ステップサイズである、
請求項５記載の方法。
【請求項７】
連続する画像のセットの一定の知覚される画質を達成するために圧縮データの量を最小化しつつ、連続する画像のセットの一定の知覚される画質を実現するJPEG2000可変ビットレート（VBR）圧縮方法であって、
（ａ）閾値となる観察距離及び所望の平均圧縮データレートを指定するステップと、
（ｂ）連続した画像のセットから小さな画像のサブセットを選択するステップと、
（ｃ）圧縮パラメータを計算する量子化ステップサイズのジェネレータへの入力として閾値となる観察距離を利用するステップと、
（ｄ）圧縮データを生成するため、前記圧縮パラメータにより前記小さな画像のサブセットを圧縮するステップと、
（ｅ）前記小さな画像のサブセットについて、平均の圧縮データレートを計算するステップと、
（ｆ）前記小さな画像のサブセットの前記平均の圧縮データレートを前記所望の平均の圧縮データレートに比較するステップと、
（ｇ）前記小さな画像のサブセットの前記平均の圧縮データレートが前記所望の平均の圧縮データレート以下である場合、前記小さな画像のサブセットを再び圧縮することなしに前記小さな画像のサブセットについて使用された圧縮パラメータを使用して、前記小さな画像のサブセットにない前記画像のセットから残りの画像を圧縮するステップと、
（ｈ）前記小さな画像のサブセットの前記平均の圧縮データレートが前記所望の平均の圧縮データレートよりも大きい場合、前記閾値となる観察距離を変更して、前記ステップｃ）からステップｈ）を繰り返すステップと、
を含むことを特徴とする方法。
【請求項８】
前記小さな画像のサブセットを通した第一の圧縮パス後に前記ステップｈ）の前記閾値の観察距離を変更するステップは、前記平均の圧縮データレート及び前記閾値の観察距離を使用して、レート歪み関数について推定される傾斜を決定し、前記推定される傾斜を使用して、前記所望の平均の圧縮データレートを達成する変更された閾値の観察距離を計算するステップを更に含む、
請求項７記載の方法。
【請求項９】
前記小さな画像のサブセットを通して第二の圧縮パス後に前記ステップｈ）の前記閾値の観察距離を変更するステップは、前記第一の圧縮パスから前記平均の圧縮データレート及び前記閾値の観察距離と、前記第二の圧縮パスからの前記平均の圧縮データレート及び前記閾値の観察距離とを使用して、レート歪み関数に計算される傾斜を決定し、前記計算される傾斜を使用して、前記所望の平均の圧縮データレートを達成する変更された閾値の観察距離を計算するステップを更に含む、
請求項８記載の方法。
【請求項１０】
前記画像のサブセットを通して少なくとも第三の圧縮パス後に前記ステップｈ）の前記閾値の観察距離を変更するステップは、前の圧縮パスからの前記平均の圧縮データレート及び前記閾値の観察距離と、現在の圧縮パスからの前記平均の圧縮データレート及び前記閾値の観察距離とを使用して、レート歪み関数について計算される傾斜を決定し、前記計算される傾斜を使用して、前記所望の平均の圧縮データレートを達成する変更された閾値の観察距離を計算するステップを更に含む、
請求項９載の方法。
【請求項１１】
前記閾値の観察距離は、前記圧縮パラメータを計算するコントラスト感度の関数の計算手段に入力される、
請求項７記載の方法。
【請求項１２】
請求項１記載の方法を実行するコンピュータ読取り可能な記録媒体に記憶されるコンピュータプログラム。
【請求項１３】
請求項２記載の方法を実行するコンピュータ読取り可能な記録媒体に記憶されるコンピュータプログラム。
【請求項１４】
請求項３記載の方法を実行するコンピュータ読取り可能な記録媒体に記憶されるコンピュータプログラム。
【請求項１５】
請求項４記載の方法を実行するコンピュータ読取り可能な記録媒体に記憶されるコンピュータプログラム。
【請求項１６】
請求項５記載の方法を実行するコンピュータ読取り可能な記録媒体に記憶されるコンピュータプログラム。
【請求項１７】
請求項６記載の方法を実行するコンピュータ読取り可能な記録媒体に記憶されるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理の分野に関し、より詳細には、JPEG2000画像圧縮における圧縮データレートを効率的に制御する方法に関する。
【背景技術】
【０００２】
JPEG2000は、洗練された画像圧縮技術であり、異なるアプリケーションの要求に適合するためにリッチな特徴のセットを提供する。これらの特徴は、JPEG2000圧縮システムを形成する様々なコンポーネントの特性のために達成することができる。これらのコンポーネントの簡単な説明は、以下に提供され、より完全な説明は、“An  overview  of  the  JPEG  2000  still  image  compression  standard”,  Signal  Processing:  Image  Communication,  Vol.  17,  pp.  3-48,  2002.と題されたM.  Rabbani及びR.  Joshiによる論文で見られる。
【０００３】
図１は、JPEG2000圧縮システムにおける基本的なコンポーネントを例示する。原画像データは、プリプロセッサ１０に送出され、ここで、原画像データへの幾つかの修正が行われる場合がある。１つの可能性のある修正は、ＩＣＴ（Irreversible  Color  Transform）として知られる色変換である。この変換は、改善された圧縮性能のために、赤−緑−青（ＲＧＢ）画像データを輝度（Ｙ）成分及び２つの色度（Ｃb，Ｃr）成分に変換するために設計される。前処理されたデータは、次いで、離散ウェーブレット変換１２を使用して変換され、この離散ウェーブレット変換は、空間画像データを、複数の空間周波数サブバンドに対応するウェーブレット係数に変換する。ウェーブレット係数は、デッドゾーンを持つ一様量子化器１４で量子化される。量子化は、量子化されたウェーブレット係数から再構成される画像のエラーを犠牲にして、ウェーブレット係数を表すために使用されるデータ量を低減する多対一のマッピングである。それぞれの周波数サブバンドｂの量子化の程度は、サブバンドに関連される量子化ステップサイズ（図１でQ(b)で示される）により決定される。量子化の１つのベースステップサイズを指定し、次いでウェーブレット変換の特性を使用することで（すなわち、周波数サブバンドのそれぞれのバンドゲインファクタから）様々な周波数サブバンドに対応する量子化ステップサイズのセットを導出することは、JPEG2000システムにおいて一般的である。代替的に、量子化のより正確な制御のために周波数サブバンドの量子化ステップサイズの明示的なセットを指定することが可能である。
【０００４】
次いで、量子化されたウェーブレット係数は、小さなコードブロックに区分され、それぞれのコードブロックからの量子化された係数は、適応二進算術符号化器１６を使用してビットプレーンとしてエンコードされる。このステップは、Tier-1符号化と呼ばれる。最終的に、ビットストリーム編成器１８を使用して様々なやり方でエンコードされたコードブロックデータをアレンジすることで、圧縮されたコードストリームが生成される。このステップは、Tier-2符号化と呼ばれる。Tier-2符号化では、量子化されたウェーブレット係数の１以上のビットプレーンに対応するエンコードされたデータを廃棄することが可能であり、伸張された画像における増加されるエラーを犠牲にして、圧縮データの量が低減される。所与のウェーブレット係数からのビットプレーンの廃棄は、その係数の粗い量子化に等価である。ある係数に最初に適用される量子化ステップサイズがΔとして示される場合、最下位ビットプレーンｋの廃棄後の効果的な量子化ステップサイズは、２k・Δである。係数ビットプレーンの廃棄と結果として得られる量子化の程度との間の関係は、Joshi等による米国特許第6650782号に記載される。
【０００５】
JPEG2000で達成される柔軟性は、高い計算上の複雑さに想到する擬制を払って到来し、所望の画質レベルをなお提供しつつ、この複雑さを低減することが望まれる。この高い計算上の複雑さは、動画像形成のアプリケーションにおいて特に問題であり、この場合、ある系列における多数のフレームが存在し、時間及び計算リソースにおいて経済的となるように、符号化システムについて高いスループットでエンコードされる必要がある。JPEG2000における計算上の負荷の重要な部分は、Tier-1符号化の間に生じ、量子化されたウェーブレット係数は、圧縮されたデータを形成するために算術符号化器を使用してエンコードされる。Tier-1符号化の後、圧縮されたコードストリームについて予め指定されたサイズを達成するため、又は、伸張の間に再構成された画像における予め指定された歪みのレベルを達成するため、Tier-2符号化の間にかなりの圧縮データ量を廃棄することが一般的である。圧縮データの量を変更するこのプロセスは、レート制御と呼ばれる。
【０００６】
１つのJPEG2000用の一般的なレート制御方法は、PCRD-opt（Post  Compression  Rate-Distortion  OPTimization）である。PCRD-optの幾つかのバリエーションは、大部分のJPEG2000ソフトウェア及びハードウェアエンコーダで発見され、完全な説明は、“JPEG2000  Image  Compression  Fundamentals,  Standards  and  Practice”,  D.S.  Taubman  and  M.  W.  Marcellin,  pp.339-348,  Kluwer  Academic  Publishers,  Boston,  Ma,  2002と題された書籍に見られる。PCRD-optを適用する典型的な目的は、画像の内容に係らず、固定されたサイズの圧縮されたコードストリームを達成することである。固定された圧縮サイズ又は一定の圧縮サイズを生成する圧縮システムは、CBR（Constant  Bit  Rate）として知られる。PCRD-optを使用した典型的なJPEG2000の実現では、ウェーブレット係数は、微細に量子化され、これにより、Tier-1符号化の間に大量の圧縮されたデータが生成される。PCRD-optアルゴリズムは、データを廃棄することが圧縮されたコードストリームのサイズに与える影響及び伸張された画像で受ける結果的な歪みに与える影響を分析することで、予め規定されたサイズに合致するためにどのデータが廃棄されるべきかを決定する。目標は、所望の最終的なサイズの圧縮されたデータを達成するために受ける全体の歪みを最小にすることである。PCRD-optアルゴリズムにより微細に量子化されたウェーブレット係数を使用する利点は、コードストリームサイズが制限を越えることなしに予め指定された制限にできるだけ近くなるように、圧縮データの量を正確に制御することができることである。しかし、Tier-1符号化において微細に量子化された係数からの圧縮データの形成はかなりの計算を必要とし、更に大部分の圧縮データは、その後のレート制御プロセスにおいて廃棄されるため、このアプローチは時間がかかる。これは、オーバコーディングの問題である。また、過剰の圧縮データの評価は、Tier-2符号化の間の処理時間を増加する。
【０００７】
PCRD-optアルゴリズムは、最大圧縮アルゴリズムへの制約を受ける全体の歪みを最小にするために典型的に使用されるが、PCRD-optアルゴリズムのバリエーションを使用して、全体の歪みへの制約を受ける圧縮されたコードストリームのサイズを最小にすることも可能である。係るシステムは、近似的に一定の歪みを生成し、圧縮されたコードストリームサイズは、画像の内容と共に変動する。圧縮されたサイズが画像コンテンツと共に変動することを許容することで一定の品質を生成することを試みる圧縮システムは、VBR（Variable  Bit  Rate）として知られる。VBRシステムは、CBRシステムよりも一般に好まれる。これは、VBRシステムは、典型的に、内容において変動する画像の集合を通して匹敵する画質について、CBRよりも小さい平均の圧縮されたサイズを生成するためである。しかし、計算の観点から、VBRシステムは、変換係数がTier-1符号化における算術コーダの前に微細に量子化される場合にオーバコーディングの問題に苦しむ。
【０００８】
動画像の系列におけるオーバコーディングの量を最小にする１つの方法は、Becker等（米国出願2005/0100229）により教示される。しかし、この方法は、所定のパラメータの正確な推定を必要とし、PCRD-optの置換として、又はPCRD-optの拡張として更なるロジックを必要とする。大部分のJPEG2000エンコーダは、Becker等により教示される方法を実施する修正を必要とし、また、この方法は、個々の画像フレームを圧縮するために適さない。より重要なことは、この方法は、動きシーケンスにおけるシーンの境界で生じるような、画像の内容が突然に変わるときに機能しない。
【０００９】
現在のシステムにおける別の制限は、システムがCBRであろうと、又はVBRであろうと、平均自乗誤差（MSE）である、画質を定量化するために一般的に使用される歪みのメトリックである。MSEは、原画像の画素値と伸張された画像の画素値との間の数値的な差の測定値である。MSEに対する関連されるメトリックは、ピーク信号対雑音比（PSNR）である、デジベル（dB）単位を使用して規定される。これらのメトリックは、数学的に便利であるが、知覚された品質と常に相関しないことが良く知られている。結果として、特定のMSE又はPSNRが得られたとしても、所与のレベルの知覚された画質の保証がない。多くのアプリケーションについて、目標は、視覚的に損失のない品質であり、すなわち伸張された画像及び原画像が規定された視聴条件下で人間の観察者により視聴されたとき、伸張された画像が原画像と同じに見えることである。圧縮された画像のMSE又はPSNRの情報は、視覚的に損失のない品質が得られる視聴条件に関する情報を提供しない。
【００１０】
たとえば、40dBのPSNRをもつ圧縮画像が与えられた場合、どのような視聴条件が視覚的に損失のない画質を生じるかを事前に知ることはできない。知覚される品質が、指定された視聴条件下で視覚的にロスレスではない場合があり、又は、視覚的にロスレスの品質が得られるが、その品質を達成するために必要であるよりも多くの圧縮データが使用される場合がある。第一のシナリオにより、望まれるよりも低く知覚される画質が得られ、第二のシナリオにより、視覚的に損失のない品質について必要であるよりも大きな圧縮されたコードストリームが得られる。したがって、品質のメトリックとしてMSE又はPSNRに厳密に依存することは十分ではない。これは、特に、所望の品質について必要とされる最小のデータ量に画像を圧縮する一方で、既知のレベルの知覚された画質を生成することを望むVBRシステムの場合である。
【００１１】
幾つかのJPEG2000アプリケーションにおいて生じる別の問題は、それぞれの画像について最大の圧縮されたコードストリームのサイズを満たす必要である。１つの係るアプリケーションは、デジタルシネマ（DCinema）圧縮におけるものである。主要なUSスタジオのコンソーシアムであるデジタルシネマイニシアチブ（DCI）は、DCinema機器の製造業者の間の所定のレベルの相互運用性を保証する仕様のセットを最近開発した。１つの仕様は、ある画像におけるそれぞれの色成分を表すために使用される圧縮されたデータの最大量への更なる制約により、それぞれの画像について最大の圧縮されたコードストリームのサイズへの制約を求める。最大の圧縮されたコードストリームのサイズへの制約は、毎秒２４フレームを有する画像系列におけるそれぞれの画像フレームについて、フレーム当たり1302083バイトである。この最大のコードストリームのサイズへの制約は、250メガビット／秒（Mbps）の瞬間的な最大圧縮データレートとして等価的に規定することができる。画像フレームにおけるそれぞれの色成分について圧縮データの量は、最大で1041066バイトであり、これは、毎秒２４フレームを有する画像系列について200Mbpsの瞬間的な圧縮データレートに等価である。これらの仕様は、現在のJPEG2000伸張システムの機能により主に駆動される。CBRシステムがPCRD-optのようなレート制御アルゴリズムを通してこれらのデータ制約に常に合致するが、これは、VBRシステムに比較してCBRについて典型的に大きな平均のコードストリームのサイズのために好適なソリューションではない。したがって、それぞれの画像について最大の圧縮データ量への制約に対処しつつ、一定の知覚される品質をできる限り提供するVBRシステムを有することが望まれる。
【００１２】
それぞれの画像フレーム又は画像系列におけるフレームコンポーネントのこれら瞬間的なレート制御の制約を超えて、全体の系列について圧縮されたコードストリームの全体のサイズを制約することが望まれる場合がある。このように、所与の期間の映画は、たとえば１６０ギガバイト（Gbyte）ハードドライブに圧縮された２時間の映画といった、所定の容量をもつ記憶媒体に適合することが保証される。圧縮されたコードストリームの全体のサイズは、圧縮された映画コンテンツが、コンテンツプロバイダから映画シアターへの転送について物理的な媒体に記憶される代わりに、通信ネットワークを通して送信される場合に重要である。小さな全体のサイズの圧縮されたコードストリームは、データがより迅速且つ更に効率的に劇場に送出されることを意味する。物理的な記憶媒体が使用されるか又は通信ネットワークが使用されるかに係らず、好適な圧縮ソリューションは、VBR符号化である。これは、この符号化は、同じ全体のコードストリームサイズについてCBR符号化よりも高い全体の画質を生成するためである。
【００１３】
圧縮されたコードストリームの全体のサイズへの制約は、全体の系列を通して平均のデータレートへの制約に等価であり、以下の説明は、便宜上、全体のファイルサイズの代わりに平均データレートを使用する。たとえば、長さ的に２時間である映画を有し、160Gbyteハードドライブに圧縮された映画を適合するのを望む場合、平均の圧縮されたデータレートは、182Mpsよりも低い必要がある。可変のビットレート符号化のため、幾つかのフレームは、（DCIに準拠したコードストリームの場合に最大で250Mbpsまでの）高い瞬間的な圧縮されたデータレートを使用し、他のフレームは、182Mbpsよりも実質的に小さい瞬間的なデータレートを使用する。瞬間的な圧縮データレートにおける変動に係らず、目的は、それぞれのフレームについて一定の画質を有することである。
【００１４】
一定の画質を維持しつつVBRシステムにより所望の平均データレートを達成するため、幾つかのタイプのマルチパス符号化を実行することが必要である。これは、画像の内容の複雑さが事前に知られないためであり、したがって、所与の圧縮パラメータのセットの圧縮データレートも事前に知られないためである。所望の平均データレートが達成されるまで、異なる圧縮パラメータで反復的に全体のコンテンツを圧縮することが必要である場合に、ワークフローの効率が大いに低減され、したがって、より効率的なアプローチが必要とされる。圧縮されたフレームを除くためにPCRD-optアルゴリズムを利用することができるが、これは、ある系列における全てのフレームについてレート歪み統計値をはじめに収集し、次いでMSE又はPSNRにより定量化される一定の画質を維持しつつ、平均レート要件に適合するためにどのデータを廃棄するかを判定する必要がある点で時間がかかる。
【００１５】
効率を改善する１つのアプローチは、最初の圧縮パラメータのセットを使用して画像系列におけるデータのサブセットのみを処理し、全てのフレームについて平均レートの推定値として結果的な平均レートを使用することである。推定された平均レートが所望のレートよりも高い場合、圧縮パラメータが修正され、画像データのサブセットが再び圧縮される。ひとたび、所望の平均データレートへの制約が画像データのサブセットと合致すると、全ての画像フレームは、決定された圧縮パラメータと圧縮される。Honsinger等によるUS6356668（Kodak社に譲渡）は、全体の画像のレートを推定するために１つの画像内でまばらにサンプリングされた画像領域を使用した、JPEG圧縮による効率的なレート制御の方法を記載している。さらに、Honsinger等による特許は、JPEG圧縮パラメータの決定における品質メトリックとして閾値となる視距離の使用、及び目標とするデータレートに合致するために更なる繰り返しが必要とされる場合に圧縮パラメータの調節で使用されるレート歪み（R-D）曲線の構築におけるその使用を記載している。
【００１６】
しかし、Honsinger等による従来の方法は、デジタルシネマアプリケーションにおける画像系列の圧縮のためにJPEG2000のVBR圧縮に適用されたときに制限を有する。はじめに、まばらな画像の空間サンプリングは、（JPEG圧縮で使用されるDCTに比較したとき）ウェーブレット変換の性質のため、JPEG2000符号化により効率的ではない。第二に、Honsingerによる方法は、R-D曲線を構築して所望の平均データレートを達成するため、かなりの数の圧縮の繰り返しを必要とする場合がある。それぞれの圧縮の繰り返しは、更なる計算を必要とし、これにより非効率的な全体の圧縮プロセスにつながる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
したがって、（１）計算上の複雑さが低減されるようにオーバコーディングの量を最小化し、（２）個々のフレーム及びフレームコンポーネント、及び計算上効率的なやり方で全体の圧縮されたコードストリームの両者について、最大の圧縮データ量への制約に適合する圧縮されたコードストリームを生成し、（３）一定の知覚されたレベルの画質を達成するために圧縮されたデータ量を最小化すると共に、一定の知覚された画質を生成する画像系列用のJPEG2000VBR圧縮システムが必要とされる。
【課題を解決するための手段】
【００１８】
本発明は、上述された問題の１以上を克服することに向けられる。要約すると、本発明の１実施の形態によれば、全体のセットを通して平均の圧縮されたデータレートを達成するためにデジタル画像のセットを圧縮する方法が開示される。本方法は、ａ）閾値となる観察距離及び所望の平均の圧縮データレートを規定するステップ、ｂ）画像のセットから画像のサブセットを選択するステップ、ｃ）閾値となる観察距離から圧縮パラメータを決定するステップ、ｄ）圧縮データを生成するため、圧縮パラメータで画像のサブセットを圧縮するステップ、ｅ）画像のサブセットから圧縮データについて平均の圧縮データレートを計算するステップ、ｆ）画像のサブセットの平均圧縮データレートを所望の平均圧縮データレートに比較するステップ、ｇ）画像のサブセットの平均圧縮データレートが所望の平均圧縮データレート以下である場合、画像のサブセットについて使用された圧縮パラメータを使用して、画像のサブセットにない画像のセットからの残りの画像を圧縮するステップ、ｈ）さもなければ、閾値の観察距離を修正し、ステップｃ）〜ｈ）を繰り返すステップを含む。
【発明の効果】
【００１９】
本発明は、以下の利点を有する。  
本発明の方法の利点は、改善された計算効率を達成するように、JPEG2000圧縮におけるオーバコーディングが最小にされることである。
【００２０】
本発明の方法の更なる利点は、閾値の観察距離により定量化される既知のレベルの知覚される画質が提供されることである。
【００２１】
本発明の方法の更に別の利点は、指定された観察条件について視覚的に損失のない画質を提供するために必要とされる最小の圧縮データ量により、一定の知覚される品質が得られることである。
【００２２】
本発明の方法の更に別の利点は、画像フレームの系列について所望の平均の圧縮データレートが効率的に達成される。
【００２３】
本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本発明の例示的な実施の形態が図示及び記載される添付図面と共に行われる以下の詳細な説明を読むことに応じて当業者にとって明らかとなるであろう。
【図面の簡単な説明】
【００２４】
明細書は本発明の主要な事項を特に指摘及び個別に特許請求する請求項で結論付けされるが、本発明は、添付図面と共に行われたときに以下の記載から良好に理解されるであろう。
【図１】従来技術のJPEG2000圧縮システムの基本コンポーネントを例示するブロック図である。
【図２】JPEG2000エンコーダから表示画像へのエラーの伝播を説明するブロック図である。
【図３】人間の視覚システムのコントラスト感度の関数の例示する図である。
【図４】ピクチャの高さの単位における観察距離を例示する図である。
【図５】コントラスト感度の関数での観察距離の影響を例示する図である。
【図６】コントラスト感度の関数の値を個々のウェーブレットサブバンドにマッピングする例を示す図である。
【図７】入力レベルの関数として、ディスプレイへの入力として１コード値のデルタにより生成されるコントラストデルタを例示する図である。
【図８】オブザーバの応答、並びに、エンコーダ／デコーダシステム及びディスプレイの特性を例示する図である。
【図９】観察条件のパラメータ並びにエンコーダ／デコーダシステム及びディスプレイの特性を使用して、量子化ステップの生成を例示する本発明のブロック図である。
【図１０】本発明の量子化ステップサイズのジェネレータのブロック図である。
【図１１】観察条件のパラメータを使用して、歪みの重み付けパラメータの生成を説明する本発明のブロック図である。
【図１２】所望の平均レートへの画像系列の圧縮を例示する本発明のブロック図である。
【図１３】異なるタイプの画像系列の内容についてレート歪み関数の例を説明する図である。
【図１４】平均の圧縮データレートと１．５スクリーンの高さの閾値となる観察距離についてレート歪み関数の傾斜との間の関係を例示する図である。
【図１５】１．５スクリーンの高さの閾値の観察距離をもつ第一の圧縮パスについて平均の圧縮データレートを使用した、レート歪み関数の傾きの推定値を例示する図である。
【図１６】推定されたレート歪み関数を使用した第二の圧縮パスについて閾値の観察距離の修正を例示する図である。
【図１７】計算されたレート歪み関数を使用した第三の圧縮パスについて閾値の観察距離の修正を例示する図である。
【図１８】最終的な閾値の観察距離を持つ第三の圧縮パスの後の所望の平均の圧縮データレートの達成を例示する図である。
【図１９】計算されたレート歪み関数を使用した第四の圧縮パスについて閾値の観察距離の修正を例示する図である。
【発明を実施するための最良の形態】
【００２５】
本発明は、本発明に係る装置の一部を形成するエレメント、又は本発明に係る装置と直接に協働するエレメントに向けられる。特に図示又は記載されないエレメントは、当業者に公知の様々な形態をとる場合があることが理解される。
【００２６】
上述されたように、JPEG2000圧縮システムの計算上の複雑さは、Tier-1符号化で行われる算術符号化のために非常に高い可能性がある。典型的なJPEG2000圧縮システムでは、量子化ステップサイズは、符号化されるべきデータのかなりの量を生成する微細に量子化された係数を生成するように選択される。しかし、Tier-2符号化における圧縮されたコードストリームの形成の間、算術符号化されたデータの多くは、所望の圧縮されたコードストリームサイズを達成するためにその後に廃棄される。これは、オーバコーディングの問題であり、全ての量子化された係数データがエンコードされるが、その全てが最終的なコードストリームに含まれない。
【００２７】
本発明は、Tier-1符号化における算術コーダへの入力として制限された量の量子化された係数データのみを生成することで、オーバコーディングの問題に対処するものである。このように、算術コーダにより処理される必要があるデータが少なく、その後に、Tier-2符号化の間に最終的なコードストリームを編成するときに評価される必要があるデータが少ない。しかし、どの量子化された係数データが生成されるかを決定することに非常に注意する必要がある。これは、量子化が余りに粗い場合に、伸張された画像において知覚することができるアーチファクトを導入することが全く可能であるためである。アーチファクトの導入を防止するため、本発明は、意図される観察条件と共に、人間の視覚システムのモデルを使用して、ウェーブレット周波数サブバンドについて量子化ステップサイズを決定する。これらの量子化ステップサイズは、所望のレベルの知覚される画質を維持しつつ、生成されるオーバコードされたデータの量を制限する観点で最適である。観察条件は、観察距離（すなわち、オブザーバからディスプレイまでの距離）、ディスプレイ装置のサイズ及び明るさ等といったパラメータを含む。
【００２８】
画像の圧縮への人間の視覚システムモデルの適用は、従来技術であるDaly等による米国特許4780761号に開示されており、空間周波数に対する人間の視覚システムの感度の二次元モデルに従って変換係数を量子化する方法を教示している。この方法では、変換係数は、離散コサイン変換（DCT）により生成される。JPEG2000の環境においてウェーブレット係数を量子化する人間の視覚システムの使用は、共にJoshi等によるUS6650782及びUS6668090を含めて従来技術において記載される。しかし、これらの従来技術の方法のいずれも、JPEG2000におけるオーバコーディングの問題に対処するものではなく、又は、最大の圧縮データの量への制約に適合する有効な手段を提供するものではない。本発明がこれらの問題をどのように解決するかを記載する前に、人間の視覚システムを記載すること、人間の視覚システムが画像の圧縮にどのように適用することができるかを説明することが役に立つことである。
【００２９】
図２を参照して、表示された画像のJPEG2000圧縮からのエラーの伝播は例示される。原画像データは、様々なウェーブレット周波数のサブバンドについて量子化ステップサイズをもつJPEG2000エンコーダ２０を使用して圧縮される。量子化により、量子化されていないウェーブレット係数に対して、量子化されたウェーブレット係数においてエラーが生じる。量子化されたウェーブレット係数は、エンコードされ、最終的にJPEG2000デコーダ２２に通過され、このデコーダは、デコードされた量子化された係数から画像を再構築する。量子化された係数におけるエラーにより、原画像のコード値に対して、伸張された画像のコード値においてエラーが生じる。伸張された画像が表示装置２４に送出されたとき、表示された画像は、人間のオーブザーバにより見られる。表示された画像は、伸張された画像のコード値におけるエラーのため、コントラストのエラーを含む。コントラストは、人間の精神物理学の研究分野で特定の意義を有し、用語は、以下に手短に定義される。結合されたJPEG2000エンコーダ／デコーダ及びディスプレイシステムが記載され、目標は、人間のオブザーバにより検出可能でないディスプレイでのコントラストエラーにつながる量子化ステップサイズを決定することである。
【００３０】
コントラストは、ある信号の明るさの変動のその平均の明るさに対する速度である。１つの非常に一般的な定義は、以下に示される。
【００３１】
【数１】
2010524298.tif 000003
この場合、Ｌmaxは信号の最大輝度、Ｌminは信号の最小輝度、ΔＬは最小輝度と最大輝度との間の差、Ｌmeanは平均輝度である。このコントラストの定義は、Michelsonコントラストとして知られ、その輝度が正弦波状に変動する信号に特に適している。ウェーブレット圧縮技術により生成されるアーチファクトはシンプルな正弦波ではないが、Michelsonコントラストは、本発明を実施することにおいて良好に合理的に機能することが発見される。
【００３２】
空間周波数ｆをもつ正弦波の刺激について、精神物理学的な実験を通して、刺激の存在を検出するため、オブザーバにとって必要とされる最小のコントラストを決定することが可能である。この最小の検出可能なコントラストは、その周波数についてコントラストの閾値として知られ、Ｃt（ｆ）として示される。コントラストの感度は、１／（コントラストの閾値）としてシンプルに定義され、以下のようにコントラスト感度の関数（CSF:  Contrast  Sensitivity  Function）を定義するのを可能にする。
【００３３】
【数２】
2010524298.tif 000004
図３は、典型的なコントラストの感度の関数を示し、空間周波数は、視角１°当たりの周期（cycle/degree）の単位で与えられる。コントラストの感度の関数の形状は、当業者にとって良く知られているように、平均の輝度レベル、ディスプレイのノイズレベル、向き等のような多数の観察条件のパラメータと共に変動する。CSFを適用するときに特に重要である１つの観察条件パラメータは、観察距離である。ひとたび、意図された観察距離及びディスプレイ特性が規定されると、Jones等によるUS6349151で概説されるcycle/mmのようなディスプレイの物理的な単位に、CSFのcycle/degreeの単位をマッピングすることができる。しかし、cycle/mmの単位は、特定のディスプレイの関数であり、本発明の実施の形態において、CSFをピクチャの高さ当たりの周期（cycle/picture  height）の単位にマッピングすることが便利であることが発見される。このように、表示画素のサイズの測定単位と観察距離とが結合され、CSF空間周波数軸の適切なスケーリングを確立するため、ディスプレイからオブザーバへのピクチャの高さの数の観点で、観察距離を規定することのみが必要である。ピクチャの高さの観点で、この観察距離の概念は、２つのピクチャの高さという観察距離について図４に例示される。表示画像の全体の内在する角は、図４においてθとして示される。cycle/degreeの単位は、以下のシンプルな計算によりcycle/picture  heightに変換される。
【００３４】
【数３】
2010524298.tif 000005
たとえば、２つのピクチャの高さで観察される画像は、全体の内在する角θ＝ｔａｎ-1（1/2）＝26.6°を有する。所望の観察距離について同様の計算を行うことができ、たとえば、１つのピクチャの高さの観察距離でディスプレイの全体の内在される角度は、ｔａｎ-1（1/1）＝45°である。
【００３５】
CSFのcycle/picture  heightへのマッピング及びピクチャの高さにおける観察距離の結果として得られる影響は、0.5，1.0及び2.0ピクチャの高さ（PH）の観察距離について図５に例示される。オブザーバはディスプレイから更に移動するとき、CSFは低い空間周波数にマッピングされ、高い空間周波数に対して感度が低い。シネマのアプリケーションについて、ピクチャの高さの代わりに用語「スクリーンの高さ」を使用することが一般的であり、この場合、画像は、その高さがスクリーンを近似的に満たすように投影されることが想定され、したがって、用語「ピクチャの高さ」と「スクリーンの高さ」は、本質的に等価であり、本発明について係るように扱われる。代替的に、観察距離は、表示される画素のサイズに関連する寸法で規定されることがある。たとえば、画像が１０００画素の高さの寸法を有する場合、２つのピクチャの高さの観察距離は、２０００画素として記載され、この場合、ある画素は、ディスプレイで示される画素と同じ寸法を有する。観察距離を説明するピクチャの高さ、スクリーンの高さ及びディスプレイ画素の単位は、容易に互いに交換できるが、観察のアプリケーションの領域に依存して、一方を他方に対して選択することが有利である。
【００３６】
観察距離及びディスプレイの明るさのような他の観察条件パラメータが与えられると、適切なCSF曲線は、Daly等によりUS4780761に記載されるようにCSFモデルから計算される。その後、CSF値（本質的に連続関数）を離散ウェーブレットサブバンドにマッピングする。しかし、それぞれのウェーブレットサブバンドは、ある空間周波数のレンジを含み、したがって、サブバンド全体を表すために１つの周波数を選択する必要がある。
【００３７】
図６は、それぞれのサブバンドの中心周波数が使用されるマッピングを例示し、この例におけるCSFは、2.0スクリーンの高さの観察距離についてである。たとえばそれぞれのサブバンドで生じるエラーに対する感度の定義において控えめになるように中心周波数よりも低い周波数を使用することで、他のマッピングも可能である。
【００３８】
CSFを本発明に適用することにおいて、指定された観察距離よりも大きな観察距離をもつ全てのCSFのエンベロープが使用される。低周波のCSFエンベロープの例は、0.5PHの観察距離について図５に例示される。このエンベロープの使用は、CSFの低周波のロールオフを除く作用を有し、これにより、意図された観察距離Ｄについて圧縮された画像は、Ｄよりも大きい全ての観察距離について視覚的に損失がない。意図される観察距離Ｄは、閾値となる観察距離とも呼ばれ、これは、任意の近い観察距離は、伸張された、表示画像に存在するコントラストエラーを明らかにするためである。閾値となる観察距離及び他の関連する観察条件を使用して導出された量子化ステップサイズは、閾値となる量子化ステップサイズと呼ばれる。閾値となる観察距離は、どのような観察条件下で圧縮画像がオリジナルの非圧縮画像と比較して視覚的に損失がないかを示す意義のある物理量を提供するとき、画質を特定する正確なやり方である。これは、特定のディスプレイ条件について画像の安定性に関して殆ど情報を提供しないＭＳＥ又はＰＳＮＲメトリクスに厳密に依存する技術とは対照的である。
【００３９】
ひとたびウェーブレットサブバンドに対応するＣＳＦ値が既知であると、指定された観察条件について視覚的に損失のない品質を提供する対応する量子化ステップサイズのセットを計算することが可能である。この計算を実行するため、特徴付けられるべき２つの他の関係が存在する。
【００４０】
第一は、ディスプレイへの入力でコード値の変化により生成される表示画像におけるコントラストの変化の観点で、ディスプレイの特性である。特に、１つのコード値（ＣＶ）の入力デルタについて表示されたコントラストデルタを知る必要がある。結局のところ、この関係は、１ＣＶデルタが生じる信号レベルの関数であり、これは、2.6のガンマで表示される１２ビットデータについて図７で例示される。最大のコントラストの変化は、低いＣＶ（影の領域）で生成されるが、オブザーバは、高い輝度レベルに適合される可能性が高い。このため、コントラスト／ＣＶの関係を確立するため、ミッドスケールの入力レベルが選択される。
【００４１】
第二は、所与の量子化ステップサイズについて伸張された画像において生成されるＣＶ変化の観点で、JPEG2000エンコーダ／デコーダシステムの特性である。特に、伸張された画像における１ＣＶデルタを生成するそれぞれのウェーブレットサブバンドｂについて、量子化ステップサイズＱ（ｂ）を知る必要がある。これらの値は、直接的な数値計算により又はシンプルな実験を通して決定される。１ＣＶデルタを生成する特定の量子化ステップサイズは、JPEG2000の実現及びウェーブレットフィルタ（たとえばDCI準拠システムのケースにおいて9-7フィルタ）に依存する。
【００４２】
これら２つの特性を決定した後、これらは、視覚的に損失のない圧縮のために実際の閾値の量子化ステップサイズを決定するためにCSF値と結合される。図８を参照して、JPEG2000エンコーダ／デコーダシステムは、伸張された画像において１ＣＶデルタ（Ｑ（ｂ）／ＣＶ）につながるそれぞれのウェーブレットサブバンドｂの量子化ステップサイズにより特徴付けされ、ディスプレイは、１ＣＶ入力デルタ（Contrast/CV）についてコントラストデルタにより特徴付けられ、オブザーバは、式２を反転することで、ＣＳＦから決定することができる、それぞれのサブバンドｂの閾値のコントラスト（Ｃt（ｂ））により特徴付けられることがわかる。これらの関係が与えられると、所与のウェーブレットサブバンドｂの閾値の量子化ステップサイズＱt（ｂ）は、以下に示される。
【００４３】
【数４】
2010524298.tif 000006
図９に例示されるように、本発明は、図１に示されるJPEG2000エンコーダエレメントに加えて、量子化ステップサイズジェネレータ３０を含む。量子化ステップサイズジェネレータ３０は、ウェーブレット係数量子化器１４における周波数サブバンドに適用される量子化ステップサイズを生成する。量子化ステップサイズジェネレータへの入力は、（ピクチャの高さ、スクリーンの高さ又は他の類似の単位を含む）観察条件パラメータ、１ＣＶ入力デルタのコントラストデルタのディスプレイ特性、及び伸張された画像における１ＣＶデルタを生成する量子化ステップサイズのJPEG2000エンコーダ／デコーダシステム特性である。
【００４４】
図１０を参照して、図９に示される量子化ステップサイズジェネレータ３０は、入力として観察条件パラメータを取得ＣＳＦカリキュレータ３０ａ、ウェーブレットサブバンドのそれぞれについてコントラストの閾値Ｃt（ｂ）を決定するためにCSF値を使用するウェーブレットサブバンド空間周波数マッパ３０ｂ、並びに、ディスプレイ特性（Contrast/CV）、JPEG2000エンコーダ／デコーダ特性（Q(b)/CV）及びコントラスト閾値（Ｃt（ｂ））を使用して、式４で与えられる式を使用してウェーブレットサブバンドの量子化ステップサイズを計算する量子化ステップサイズカリキュレータ３０ｃを含む。
【００４５】
本発明は、観察距離が、ピクチャの高さ、スクリーンの高さ、又は、ディスプレイの特定のサイズに独立な類似の単位で規定される利点を有する。デジタルシネマシステムを使用して映画の投影のような用途では、映画は、本発明により、閾値の観察距離により規定される品質レベルに圧縮され、カスタマは、映画が表示されるスクリーンサイズに係らず、画質が同じとなることが保証される。別の利点は、大部分のエンコーダは入力値としてユーザにより指定された量子化ステップサイズを許容するように設計されるとき、本発明は、修正することなしに大部分のJPEG2000エンコーダで実施されることである。
【００４６】
本発明の１実施の形態では、意図された観察条件が規定され、対応する閾値の量子化ステップサイズは、CSFモデル及び上述された他のシステム特性から決定される。これらのステップサイズは、伸張及び表示された画像がオリジナルの非圧縮画像の両者が意図された表示条件下で観察されたとき、伸張及び表示された画像がオリジナルの非圧縮画像と同じである知覚された品質を有するように、すなわち意図された表示条件について圧縮が視覚的に損失がないように、画像を圧縮するために使用される。このアプローチでは、オーバコーディングは、明らかに最小にされる。これは、閾値となる量子化ステップサイズが、所望の品質レベルについて必要とされる最小の情報量を生成し、したがって、Tier-1符号化は、この最小量の情報のみをエンコードするからである。この圧縮システムは、最終的なコードストリームにおける圧縮データの量が画像の内容に依存するため、VBRシステムに固有である。
【００４７】
しかし、このタイプのVBRシステムによっても、それぞれの画像の最大の圧縮データ量に制約があるケースがなお存在する場合があり、係るケースは、画像系列のJPEG2000圧縮のDCIに準拠したコードストリームのケースである。係る制約に適合するため、本発明は、全てのサイズの制約が適合されることを保証するため、Tier-2符号化の間、PCRD-optのような更なるレート制御アルゴリズムを含む。圧縮データの量は、予め規定された最大量に比較され、Tier-2符号化の間のレート制御は、最大量を超える場合に、圧縮データの量を低減する。本発明で記載される視覚的に損失のないVBRシステムについて、視覚に基づく量子化は、大部分の画像の内容について小さな圧縮されたサイズを生成するため、これら最大サイズの制約は、実際に圧縮されたサイズよりも典型的に大きい。したがって、Tier-2符号化の間に更なる圧縮データの削除は典型的に起こらず、最悪のケースでさえ最小であり、したがって、オーバコーディングは最小である。
【００４８】
圧縮データの削除がコードストリームのサイズの制約のために行われるケースでは、結果として得られる画像は、意図された観察条件について視覚的に損失がないことがもはや保証されない。しかし、画質における可能性のある損失を定量化するやり方として、US6650782で記載される方法を使用して、係る修正された画像の新たな閾値となる観察距離を計算することが可能である。しかし、DCI指定されたサイズの制約を使用したDCinemaアプリケーションについて、圧縮データは、典型的な観察条件について滅多に削除されず、さらに、削除の量は、この削除が生じたとしても少ない。したがって、実際に、このVBR方法は、圧縮された画像の大部分について指定された閾値の観察距離（及び全ての大きな観察距離）について視覚的に損失のない、ほぼ一定の知覚される品質を提供する。
【００４９】
本発明の上述された実施の形態は、計算上の複雑さを低減することで従来技術の正弦を克服する一方で、これらの実施の形態は、最大の圧縮されたコードストリームのサイズへの制約が適合されることを保証するため、Tier-2符号化の間にPCRD-opt又は類似のレート制御を利用する場合がある。これは、大部分のJPEG2000エンコーダがPCRD-optの幾つかの形式を含むとき、サイズの制約に適合するために有利な方法であり、したがって、本発明は、更なる変更なしに係るエンコーダで実施することができる。
【００５０】
上述されたように、PCRD-optは、歪みのメトリックとしてMSEを使用し、MSEは、知覚された品質と必ずしも良好に相関しない場合がある。しかし、本発明によるエンコードされたデータのトリミングにおけるPCRD-opt及びMSEの使用は、微細に量子化されたウェーブレット係数を生成する典型的なJPEG2000エンコーダにおけるよりも問題とならない。これら従来技術の方法では、それぞれの符号化の決定は、圧縮データが廃棄されるときにMSE（及び対応するレート変化）に基づき、係る符号化の決定は、最終的な圧縮されたコードストリームのサイズについて最適である知覚された画質につながるという保証は存在しない。対照的に、本発明は、量子化フェーズの間に符号化の決定の大部分を形成し、結果として、Tier-1符号化及びその後にTier-2符号化に通過されるデータは、非常に強い知覚の関連を有する制限された量のデータに既に制限されている。
【００５１】
本発明によるVBR符号化のケースでは、Tier-2符号化におけるトリミングの量は、大部分の画像について重要ではなく、したがって、結果として得られる圧縮された画像は、ほぼ一定の知覚された品質を提供する。Tier-2符号化の間に行われた任意の符号化判定が画質の観点で最適であることを保証するため、Tier-2符号化の間に視覚的なモデルを更に利用することができる。これは、PCRD-optアルゴリズム又は類似の方法について歪みを計算するとき、視覚に基づく歪みの重みファクタを使用することで達成される。歪みの重み付けファクタは、それぞれウェーブレット周波数サブバンドに割り当てることができ、次いで、重み付けファクタは、所与のサブバンドにおける特定の係数により寄与されるMSEにおける低減を決定するために使用される。このプロセスは、図１１に例示されており、この場合、観察条件は、Tier-2符号化１８におけるPCRD-opt又は類似のアルゴリズムにより使用されるべき視覚に基づく重み付けファクタを生成する歪み重み付けファクタジェネレータ３２への入力パラメータである。重み付けファクタを決定するために試用される人間の視覚システムモデルは、上述されたように、並びに図５及び図６に例示されるようにCSFモデルに典型的に基づいている。しかし、周波数サブバンドのそれぞれの量子化ステップサイズ及び重み付けファクタは同じ値ではなく、ステップサイズ及び重み付けファクタは、必ずしも全てのサブバンドにわたり同じ関係を共有するものでもない。これは、量子化のプロセス及びMSEの視覚的な重み付けは基本的に異なり、したがって、互いのサブバンドの関係は、２つのプロセスについて異なる。
【００５２】
MSEの歪みの計算のための視覚に基づく重み付けファクタの使用は、従来技術において知られているが、本発明で実施されたウェーブレット係数の視覚に基づく量子化及び視覚的に重み付けされたMSEに基づくその後の符号化の決定の両者の判定における閾値の観察距離の使用は、従来技術に対して利点を与える。上述されたように、意図された観察条件の視覚モデルを使用してオーバコーディングの量を制限することで、結果として得られる圧縮されたコードストリームは、それら観察条件について知覚された品質及びサイズの観点でほぼ最適である。最大の圧縮データ量への制約に適合するために圧縮データを削除することが必要である場合、MSEの視覚的な重み付けは、廃棄されたデータが小さな圧縮されたコードストリームにより生成された知覚された画質への影響が殆どないことを保証する助けとなる。
【００５３】
図１１に例示されるように、歪みファクタジェネレータ３２への入力として、量子化ステップサイズを決定するために使用された観察条件と同じ観察条件を使用することができる。同じ観察条件から導出された視覚に基づく重み付けファクタを使用する影響は、高い空間周波数に対応する歪みが低い値に典型的に重み付けされることであり、高い空間周波数の圧縮データがPCRD-optのレート歪みの最適化の間に廃棄されることが好ましいことを意味する。これにより、望まれるよりも僅かに低い鮮鋭度を有する画像となるが、問題となるアーチファクトが導入される可能性が最小になる。オブザーバは、不自然な符号化アーチファクトに対してよりも、画像の鮮鋭度の僅かな損失に更に強い。
【００５４】
しかし、図１１に更に例示されるように、歪みの計算のために重み付けファクタを生成するため、歪み重み付けファクタジェネレータ３２への入力として、１以上の代替的な観察条件パラメータを使用することは有利である。このアプローチの例は、量子化ステップサイズを生成するために使用された閾値の観察距離よりも大きな観察距離を使用して重み付けファクタを決定することである。この方法によれば、高い空間周波数に対応する圧縮データは、圧縮されたサイズの制約への適合において低い空間周波数のデータよりも廃棄される可能性が非常に高い。これは、VBR符号化について特に重要であり、この場合、係数は、閾値レベルに既に量子化されている。任意の更なる圧縮エラーは、オリジナルに指定されたよりも大きな閾値の観察距離に従う量子化に等価である、まさに記載された視覚的な重み付けにより高周波で生じる。さらに、このタイプのデータ低減は、知覚的に関連しない圧縮データを廃棄する。
【００５５】
非常に大きな重み付けファクタを低い空間周波数サブバンドに適用して、これらのサブバンドからデータが廃棄されないことを完全に保証することは更に有利である。低周波サブバンドが視覚的に損失のないレベルに既に量子化されたとき、結果として得られる画質が著しく影響される可能性があるので、任意の更なる歪みをこれら周波数サブバンドに導入しないことが好ましい。しかし、視覚に基づく量子化ステップサイズ及び重み付けファクタを計算するときに、同じ観察条件が使用されるか又は異なる観察条件が使用されるかに係らず、視覚的な重み付けファクタの影響は、最大のコードストリームのサイズの制約に適合するため、圧縮データをトリミングするとき、知覚的に関連しないデータが廃棄されることを保証することである。
【００５６】
先の記載では、典型的に画像を含む色成分について言及されていない。本発明の別の実施の形態では、量子化ステップサイズの個別のセットは、それぞれの色成分について決定され、この場合、それぞれのセットは、全体の圧縮／伸張／表示のチェインについて調整される。たとえば、RGBカラーチャネルとして圧縮された画像について３つの最適な量子化ステップサイズのセットは、圧縮前にRGBデータをYCbCrデータに変換するためにICTで前処理されている画像について、最適な量子化ステップサイズのセットとは異なる。これは、それぞれのカラーチャネルについて量子化されたウェーブレット係数に導入されたエラーが、圧縮データが伸張され、必要に応じて逆ICTで処理され、ディスプレイでの色信号に変換されるとき、異なるやり方で増幅されるか又は低下されるためである。異なるカラーチャネルにおけるエラーの知覚における同様の変動、（RGBの代わりにXYZのような）異なるカラープライマリセットに対応する画像の色成分を表すデータについて、及び（たとえばRGB  P3又はRGB  709プライマリといった）異なるプライマリセットをもつディスプレイについて生じる。同様に、異なるカラーチャネルの特性に基づいて任意のMSEの計算について視覚的な重み付けファクタを調節することが望まれる。これは、たとえば緑のカラーチャネルといった幾つかのカラーチャネルは、知覚的に重要であり、たとえば青のカラーチャネルといった他のカラーチャネルは、知覚的に関連しない。特定の画像の色表現及びディスプレイの色特性の情報が与えられると、直接的な数値計算又はシンプルなオブザーバによる実験の何れかを通して、異なるカラーチャネルについて最適な量子化ステップサイズ及び重み付けファクタを決定することは簡単である。
【００５７】
１つのフレーム又はフレームコンポーネントについて圧縮データの量への制約に加えて、画像系列を有する全ての画像フレームを表現するために使用される圧縮データの全体の量への制約が存在する場合がある。上述されたように、画像系列の圧縮データの全体の量への制約により、所与の期間の映画が、たとえば160Gbyteのハードドライブに圧縮される２時間映画といった所定の容量をもつ記憶媒体に適合されることが保証される。全体のコードストリームサイズへの制約は、圧縮された映画コンテンツの映画館へのサテライトデリバリのような、通信ネットワークを通して圧縮データが伝送されるシステムにおいて有利である。
【００５８】
圧縮されたコードストリームの全体のサイズへの制約は、全体の系列を通した平均圧縮データレートへの制約に等価であり、以下の説明は、便宜上、全体のファイルサイズの代わりに平均データレートを使用する。たとえば、長さにおいて２時間である映画を有し、160Gbyteのハードドライブに圧縮された映画を適合することを望む場合、平均の圧縮データレートは、182Mbpsよりも小さい必要がある。可変ビットレート符号化のため、幾つかのフレームは、（DCIに準拠したコードストリームのケースでは最大で250Mbpsまでの）高い瞬間的な圧縮データレートを使用し、他のフレームは、182Mbpsよりも実質的に低い瞬間的なデータレートを使用する。瞬間的な圧縮データレートにおける変動にも係らず、目標は、平均の圧縮データレートの制約を受けるそれぞれのフレームについて一定の知覚される画質を達成することであり、効率的なやり方でそのようにすることで、ワークフローの効率における任意の損失が防止される。
【００５９】
この目標は、閾値の観察距離の画質のメトリックを使用することで、本発明の実施の形態において適合される。図１２を参照して、ユーザは、最初の品質の仕様として所望の閾値の観察距離と共に、所望の平均の圧縮データレートを供給する。ユーザは、上述されたような閾値の観察距離以外に他の観察条件パラメータを提供する場合がある。所望の閾値の観察距離は、上述されたように、図１０で示されたように、量子化ステップサイズジェネレータ３０への入力として供給され、最初の圧縮パラメータのセット、すなわち量子化ステップサイズが計算される。ユーザは、所望の平均の圧縮されたデータレートと所望の閾値の観察距離を、以下に簡単に記載される変更された閾値の観察距離のジェネレータ４４への入力として供給する。さらに、所望の平均の圧縮データレートは、以下に簡単に記載される比較ロジック４２への入力として供給される。
【００６０】
図１２を参照して、オリジナルの画像系列を有する画像フレームのセットは、２つのサブセットに分割される。１つのサブセットは、サブセット＃１として示され、全体のフレーム数の典型的に１〜２％である小さなフレーム数のみを含み、他のサブセットは、サブセット＃２として示され、小さなサブセットにない全ての残りのフレームを含む。固定された時間サンプリングのインターバルが実際に非常に良好に機能し、ランダムなサンプリングインターバルよりも実現するのが容易であるが、フレームの小さなサブセット（サブセット＃１）は、画像系列のランダムな時間サンプリングにより選択される。特定のシーンコンテンツの情報が利用可能である場合に、特定のシーンコンテンツに従ってフレームを選択するような他のサンプリング方式が使用される場合がある。
【００６１】
サブセット＃１におけるそれぞれのフレームは、圧縮されたフレームのサブセットを生成するため、JPEG2000エンコーダ２０により最初の圧縮パラメータのセットを使用して、その完全な形で圧縮される。サブセット＃１の圧縮されたフレームの平均の圧縮データレートは、平均のデータレートの推定器４０を使用して計算され、この場合、平均の圧縮データレートは、サブセット＃１における個々のフレームと関連される圧縮データレートの平均である。サブセット＃１の平均の圧縮データレートは、全体の系列について平均の圧縮データレートの推定値として使用される。この粗い時間サンプリングの方法は、動画像データと良好に機能する。これは、フレームとフレームの間の相関が典型的に高く、画像系列を通した粗い時間サンプリングは、全体の系列の平均データレートの非常に良好な推定を提供するためである。しかし、平均の圧縮データレートを推定するために画像フレームのサブセットを形成するこのアプローチは、小さなサブセットにおける画像及びセットにおける残りの画像について画像の内容の十分な類似性が存在する限り、動画系列だけでなく、任意の画像のセットに適用される。
【００６２】
推定される平均の圧縮データレートは、比較ロジック４２を使用して所望の平均の圧縮されたデータレートに比較される。推定される平均のデータレートが所望の平均データレート以下である場合、残りのフレームのサブセット（サブセット＃２）は、圧縮された残りのフレームのセットを生成するため、サブセット＃１について使用されたのと同じ圧縮パラメータを使用して、JPEG2000エンコーダ２０で圧縮される。同時に、（サブセット＃１からの）圧縮されたフレームの小さなサブセットと（サブセット＃２からの）圧縮された残りのフレームのサブセットは、全体の圧縮されたフレームのセットを有する。なお、平均レートの制約がこの最初の圧縮パスに適合される場合に、サブセット＃１を再び圧縮する必要はなく、したがって、サブセット＃１について所望の平均の圧縮データレートを達成するために唯一の圧縮パスが必要とされる場合に、全体の圧縮時間に関して受けるオーバヘッドがない。
【００６３】
推定された平均データレートが所望の平均データレートよりも大きい場合、閾値の観察距離は、変更された閾値の観察距離のジェネレータ４４を使用して変更される。特に、閾値の観察距離が増加され、これにより、新たな量子化ステップサイズが大きな閾値の観察距離で量子化ステップサイズのジェネレータ３０により計算されるときに多くのエラーを導入することを許容することで、圧縮されたファイルサイズが低減される。より大きな閾値の観察距離の使用は、コンテンツが所望の近い観察距離で観察されるとき高い空間周波数において検出可能なエラーを導入するが、主観テストでは、観察距離における変化による品質における損失は、DCinema環境における典型的な観察条件により極めて小さいことが示される。
【００６４】
変更された閾値の観察距離のジェネレータ４４を使用した所与の平均データレートに適合するために閾値の観察距離を変更することは、レート歪み（R-D）関数により制御される。視覚的に損失のないVBRシステムでは、スクリーンの高さ（又は上述されたように、関連する測定の単位）における閾値の観察距離により歪みが定量化され、Mbpsのような便利な単位で平均の圧縮されたデータレートによりレートが定量化される。R-D関数は、画像の内容に依存し、図１３には、３つの異なるタイプの２Ｋ解像度の映画コンテンツについて例となるR-D関数が示される。テストコンテンツ１は、ノイズを含まないために圧縮するのが完全に容易であるコンピュータグラフィックから生成されたコンテンツであり、テストコンテンツ２及び３は、フィルムから生成されたコンテンツであり、フィルムグレインノイズを含むために圧縮するのが困難である。更に別のR-D関数を生み出すデジタルカメラからの生成のような、他のタイプのコンテンツも考慮される。コンテンツの生成源に加えて、実際のシーンコンテンツは、R-D関数に影響を与える。たとえば、シーケンスにおけるフレームは、大きな一様な領域を有するフレームよりも圧縮することが困難である、詳細の大きな領域を含む。
【００６５】
図１３におけるR-D関数の例では、平均の圧縮データレートと閾値の観察距離との間の関係は、画像のコンテンツのソースに係らず完全にリニアである。一般に、R-D関数は、直線ではないが、DCinemaアプリケーションにおいて関心がある閾値の観察距離と平均データレートの両者は、制限された範囲のみに及び、リニアモデルは、この関係をモデル化するために一般に十分である。これは、所与のコンテンツについてR-D曲線上に任意の２つのポイントを有する場合、変更された閾値の観察距離のジェネレータ４４は、所望の平均圧縮データレートを達成する閾値の観察距離を発見するため、線形に内挿又は外装することができることを意味する。
【００６６】
しかし、小さなフレームのサブセット（サブセット＃１）を通る第一の圧縮パスは、R-D関数上に唯一のポイントを提供する。小さなフレームのサブセットを通る第二の圧縮パスが完了するまで、R-D曲線の線形関数は、未知である。したがって、第二の圧縮パスの実行において生じる問題は、量子化ステップサイズのジェネレータ３０を使用して第二のパスについて新たな量子化ステップサイズを計算するとき、変更された閾値の観察距離のジェネレータ４４により、閾値の観察距離がどの位に調節されるべきかである。理想的に、サブセット＃１による第二のパスは、所望の平均レート制約に合致する推定された平均の圧縮されたデータレートを達成し、これにより、更なる圧縮パスが不要となる。所望の平均圧縮データレートを達成する変更された閾値の観察距離を決定するため、線形の関係を特徴付けるR-D関数の傾斜を知ることが必要であるが、この傾斜は、上述されたように、図１３で示されたように、コンテンツのタイプに強く依存する。コンテンツの特性及び捕捉装置（たとえばCGIアニメーション、高速−低速オリジネーションフィルム等）に基づいて経験則を展開することができる。しかし、より簡単及びより効果的なアプローチは、R-D曲線の傾斜を推定するため、小さなフレームのサブセット（サブセット＃１）による第一の圧縮パスからの平均圧縮データレートを使用することである。
【００６７】
例として、１．５スクリーンの高さの閾値の観察距離に対応する圧縮パラメータを使用して、サブセット＃１の第一のパスが常に実行されるシステムを考える。1.5スクリーンの高さでの平均データレートとR-D曲線の傾斜との間の関係は、異なるタイプのコンテンツについて予め決定される。この予め決定された関係の例は、テストコンテンツの３つのセットについて図１３に示されるデータを使用して図１４に例示される。なお、図１４における縦軸は、便宜上、−（R-D関数の傾斜）としてプロットされている。実際、R-D関数及び関連される傾斜は、３つのみのシーケンスに基づいた、図１４に示されるものよりもロバストな推定値を導出するため、多くの異なるテストコンテンツのセットについて計算される。さらに、最初の閾値の観察距離について1.5スクリーンの高さのような１つの値に品質の仕様を制約するのを望まない場合、平均の圧縮データレートと多数の最初の観察距離のR-D傾斜との間の関係を予め決定することが可能である。
【００６８】
1.5スクリーンの高さの例示的な観察距離による小さなフレームのサブセット（サブセット＃１）をもつ第一の圧縮パスからの平均データレートが与えられると、図１４に示される関数のような関数は、圧縮されているコンテンツについて線形のR-D関数の傾斜を推定するために変更された閾値の観察距離のジェネレータ４４により使用される。例として、図１５は、130Mbpsの平均の圧縮データレートを生成する1.5スクリーン高さの観察距離を使用して小さなフレームのサブセットの第一の圧縮パスを例示する。図１４におけるような予め決定された関係を使用して、この小さなフレームのサブセットについてR-D関数の推定された傾斜は、-0.0164である。
【００６９】
ここで、所望の平均の圧縮データレートが、1.5スクリーン高さの閾値の観察距離を使用した例において実際に達成された130Mbpsの代わりに100Mbpsであるとする。閾値の観察距離は、1.5スクリーン高さの最初の値から大きな閾値の観察距離に変更される必要があり、次いで、対応する量子化ステップサイズは、小さな画像フレームのサブセット（サブセット＃１）を通して第二の圧縮パスについて計算される。R-D関数の推定された傾斜を使用して、変更された閾値の観察距離は、変更された閾値の観察距離のジェネレータ４４により計算される。
【００７０】
【数５】
2010524298.tif 000007
ここで、現在の閾値の観察距離と現在の平均データレートは、サブセット＃１による第一の圧縮パスに関連する値である。図１６は、小さな画像フレームのサブセットについて所望の平均圧縮データレートを生成するために第二の圧縮パスが推定されるように、変更された閾値の観察距離がどのように決定されるかに関する例を示す。この例ではR-D関数（=-0.0164）の推定された傾斜を使用して、110Mbpsである所望のデータレートを達成するために変更された閾値の観察距離は、[1.5+(-0.0164)(110-130)]=1.83スクリーン高さである。この変更された閾値の観察距離を使用して量子化ステップサイズが計算される。変更された閾値の観察距離によるサブセット＃１をもつ第二の圧縮パスからの結果として得られる平均データレートは、所望の平均データレートに非常に近い。平均レートが所望の平均レートの制約以下である場合、残りのフレーム（サブセット＃２）は、変更された閾値の観察距離で圧縮され、全体のシーケンスの全体の圧縮プロセスは、最小のオーバヘッドで完了される。
【００７１】
所望の平均データレートがサブセット＃１をもつ第二の圧縮パスで更に超える場合、平均の観察距離は、再び変更される。しかし、図１６におけるような推定の傾斜を使用するよりはむしろ、第一の２つのパスからの実際の結果を使用して変更された閾値の観察距離のジェネレータ４４においてR-D曲線の傾斜が以下のように計算される。
【００７２】
【数６】
2010524298.tif 000008
ここで、小さなフレームのサブセット（サブセット＃１）について、現在のパスと以前のパスは、それぞれ第二及び第一のパスである。前の例を続けて、第二のパスについて実際の平均圧縮データレートは、所望の110Mbpsの代わりに115Mbpsであるとする。サブセット＃１について第一及び第二のパスについて実際の平均圧縮レート及び対応する閾値の観察距離を使用して、計算されるR-Dの傾斜は、[(1.83-1.50)/(115-130)]=-0.0220である。この計算された傾斜を使用して、閾値の観察距離は、式５を使用して変更された閾値の観察距離のジェネレータ４４により再び変更され、この場合、現在の閾値の観察距離及び現在の平均データレートは、第二の圧縮パスに関連する値である。この例における変更された閾値の観察距離は、[1.83+(-0.0220)(110-115)]=1.94スクリーン高さとなるように決定される。新たな圧縮パラメータは、変更された閾値の観察距離を使用して量子化ステップサイズのジェネレータ３０により決定され、第三の圧縮パスは、小さなフレームのサブセット（サブセット＃１）で実行される。図１７は、小さな画像フレームのサブセットについて110Mbpsの所望の平均圧縮データレートを生成するため、第三の圧縮パスが推定されるように、計算されたR-D傾斜を使用して変更された閾値の観察距離がどのように決定されるかをグラフィカルに示す。
【００７３】
大部分のケースでは、第三の圧縮パスは、図１８に例示されるように、平均データレートの制約に適合されることを保証するために十分である。レートの制約が第三のパスにより適合されない場合、式５及び６を使用して変更された閾値の観察距離のジェネレータ４４によりそれぞれの更なるパスで計算される更新されたR-D傾斜を使用してサブセット＃１の更なるパスが実行され、この場合、平均の圧縮データレート及び閾値の観察距離は、現在及び以前の圧縮パスを反映するために更新される。以前の例を続けて、第三のパス後の実際の平均圧縮データレートが、所望の110MBPSの代わりに、1.94スクリーンの高さで112Mbpsであったとする。計算されたR-D傾斜は、[(1.94-1.83)/(112-115)]=-0.0367に更新される。第四のパスについて、この例において変更された閾値の観察距離は、[1.94+(-0.0367)(110-112)]=2.01スクリーンの高さとなるように決定される。第四の圧縮パスにより平均データレートを達成するために観察距離を調節するプロセスは、図９においてグラフィカルに例示される。更なる圧縮プロセスは、所望の平均圧縮データレートが達成されるまで、閾値の観察距離について同じ調節のやり方を使用して実行される。ひとたび、所望の平均圧縮データレートがサブセット＃１について達成されると、残りのフレーム（サブセット＃２）は、同じ閾値の観察距離を使用して圧縮される。
【００７４】
有り得ないが、平均レートの制約がサブセット＃１による圧縮プロセスのうちの１つの間に適合されるが、平均圧縮データレートは、所望の平均レートよりも実質的に小さい。これは、所望の平均レートで可能であるよりも低い画質につながる可能性があり、したがって、目標は、所望のレートを超えることなしに所望のレートに非常に近い平均レートを達成することである。この状況が生じた場合、サブセット＃１による別の圧縮パスは、有利である場合があり、所望の平均レートに近い平均圧縮データレートを達成する変更された閾値の観察距離を計算するために式５及び６を使用することができる。
【００７５】
サブセット＃１が（画像の内容の良好な表現を得るためにフルの画像系列を通して選択される）１〜２％のフレームから構成される場合、必要とされるパスの数に依存して、マルチパスのレート制御のための全体のオーバヘッドは、典型的に５〜１０％以下である。これは、所与の平均圧縮ファイルサイズを達成することが必要である場合に、全体のワークフローへの許容可能なペナルティとなる可能性がある。
【００７６】
全体のコードストリームのサイズを抑制する、この視覚に基づく方法を使用する別の利点は、最終的な閾値の観察距離がユーザに折り返し報告されることである。これにより、平均データレートが抑制されるとき、圧縮された系列の画質をユーザが評価する手段を提供する。たとえば、所望の閾値の観察距離は、1.5スクリーン高さであるが、所望の平均データレートは、図１８の例において示されるように、1.91スクリーンの高さの観察距離を使用して実際に達成される。1.91スクリーンの高さの最終的な閾値の観察距離を報告することで、ユーザは、画質に関する平均レートの制約の影響を知る。この閾値の観察距離における変化は、閾値の観察距離における変化と様々な実際の観察距離で知覚される品質における変化との間の関係を確立するために適切なオブザーバの研究が実行された場合、
品質の丁度可知差異のデルタ（ΔJND:  Delta  of  Just  Noticeable  Difference）に変換される。
【００７７】
したがって、既存のエンコーダよりも効率的なやり方でJPEG2000画像の圧縮されたサイズを制御する方法が提供され、本方法は、圧縮されたデータの最大の量に関する制約に圧縮データのサイズが適合することを保証するものである。少なくとも１つの実施の形態では、本方法は、個々のフレーム又はフレームコンポーネントの圧縮データ量に関する制約、及び全体の画像系列の圧縮データ量に関する制約に適合する機能により、非常に効率的なやり方で、画像系列を含む画像について、ほぼ一定の知覚される画質を提供する。
【００７８】
さらに、本発明は、ハードウェア及びソフトウェアの両者である大部分の既存のJPEG2000エンコーダで実施することができる。エンコーダは、（１）量子化器への入力として明示的な量子化ステップサイズを許容し、（２）予め指定された最大の制限を越えた場合に圧縮データの量を低減する手段を提供することが要件であり、係る手段は、限定されるものではないが、PCRD-optのような一般的なレート制御技術を含む。
【００７９】
本発明のコンピュータプログラムプロダクトは、公知の画像処理アルゴリズム及びプロセスを利用する場合があることを理解されたい。したがって、本発明は、特に、本発明の方法の一部を形成するアルゴリズム及びプロセスに向けられるか、本発明の方法と直接的に協働するアルゴリズム及びプロセスに向けられる。したがって、本発明のコンピュータプログラムプロダクトの実施の形態は、実現のために有効である、本明細書で特に図示又は記載されていないアルゴリズム及びプロセスを実施する場合があることを理解されたい。係るアルゴリズム及びプロセスは、コンベンショナルなものであって、当該技術分野に含まれる。
【００８０】
係るアルゴリズム及びシステム、並びに、本発明のコンピュータプログラムプロダクトに関連又は協働する画像を生成及びさもなければ処理するハードウェア及び／又はソフトウェアは、本明細書に特に図示又は記載されず、係るアルゴリズム、システム、ハードウェア、コンポーネント及び当該技術分野で公知のエレメントから選択される場合がある。
【００８１】
本発明の方法を実行するコンピュータプログラムは、コンピュータ読取可能な記憶媒体で記憶される。この媒体は、たとえば、（ハードドライブ又はフロプティカルディスクのような）磁気ディスク又は磁気テープ、光ディスク、光テープ又はコンピュータ読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（RAM）又はリードオンリメモリ（RAM）のような固体電子記憶装置、或いはコンピュータプログラムを記憶するために利用される任意の他の物理装置又は媒体を含む場合がある。本発明の方法を実行するコンピュータプログラムは、インターネット又は他の通信媒体を介してイメージプロセッサに接続されるコンピュータ読取可能な記憶媒体に記憶される。当業者であれば、係るコンピュータプログラムプロダクトの等価な構成は、特定用途向け集積回路（ASIC）、又はフィールドプログラマブルゲートアレイ（FPGA）のようなプログラマブルデジタルロジックチップとして知られるハードウェア又はファームウェアで構築されることを容易に認識されるであろう。
【符号の説明】
【００８２】
１０：プリプロセッサ
１２：離散ウェーブレット変換
１４：デッドゾーンをもつ一様量子化器
１６：適応二進算術符号化器
１８：ビットストリーム編成器
２０：JPEG2000エンコーダ
２２：JPEG2000デコーダ
２４：表示装置
３０：量子化ステップサイズジェネレータ
３０ａ：ＣＳＦ計算器
３０ｂ：ウェーブレットサブバンド空間周波数マッパ
３０ｃ：量子化ステップサイズ計算器
３２：歪み重み付けファクタジェネレータ
４０：平均データレート推定器
４２：平均圧縮データレート比較ロジック
４４：変更された閾値の観察距離のジェネレータ
【図１】
2010524298.tif 000009
【図２】
2010524298.tif 000010
【図３】
2010524298.tif 000011
【図４】
2010524298.tif 000012
【図５】
2010524298.tif 000013
【図６】
2010524298.tif 000014
【図７】
2010524298.tif 000015
【図８】
2010524298.tif 000016
【図９】
2010524298.tif 000017
【図１０】
2010524298.tif 000018
【図１１】
2010524298.tif 000019
【図１２】
2010524298.tif 000020
【図１３】
2010524298.tif 000021
【図１４】
2010524298.tif 000022
【図１５】
2010524298.tif 000023
【図１６】
2010524298.tif 000024
【図１７】
2010524298.tif 000025
【図１８】
2010524298.tif 000026
【図１９】
2010524298.tif 000027
【国際調査報告】
2010524298.tif 000028
2010524298.tif 000029
2010524298.tif 000030
2010524298.tif 000031