(57)【特許請求の範囲】
【請求項１】
増加する視覚品質レベルに対応する階層へ編成される圧縮ディジタル画像を入力ディジタル画像から生成する方法であって、
（ａ）入力ディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせ、
（ｂ）上記分解された入力ディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数について量子化された出力値を生じさせ、
（ｃ）各サブバンドのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成し、
（ｄ）各サブバンドの各ビット平面を他のサブバンドとは独立にエントロピー符号化されるよう少なくとも１回のパスでエントロピー符号化して各パスに対応する圧縮されたビットストリームを生じさせ、
（ｅ）各パスについて閾値ビュー距離を計算し、
（ｆ）予想視覚品質レベルと対応する閾値ビュー距離を指定する視覚品質テーブルを与え、
（ｇ）各予想視覚品質レベルについて、パスと対応する閾値ビュー距離を達成するのに必要な圧縮されたビットストリームの最小の組を識別し、
（ｈ）パスに対応する圧縮されたビットストリームを、上記視覚品質テーブルで指定される最も低い予想視覚品質レベルから最も高い予想視覚品質レベルまでの階層へ順序づけ、各階層は、より低い視覚品質階層に含まれていない予想視覚品質レベルに対応する上記識別された最小の組からのパスと対応する圧縮されたビットストリームを含む方法。
【請求項２】
増加する視覚品質レベルに対応する階層へ編成される圧縮ディジタル画像を入力ディジタル画像から生成する方法であって、
（ａ）入力ディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせ、
（ｂ）上記分解された入力ディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数について量子化された出力値を生じさせ、（ｃ）各サブバンドを複数の符号ブロックへ分割し、
（ｄ）各サブバンドの各符号ブロックのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成し、
（ｅ）各サブバンドの各符号ブロックの各ビット平面を他の符号ブロックとは独立にエントロピー符号化されるよう少なくとも１回のパスでエントロピー符号化し、各パスに対応する圧縮されたビットストリームを生じさせ、
（ｆ）各パスについて閾値ビュー距離を計算し、
（ｇ）予想視覚品質レベルと対応する閾値ビュー距離を指定する視覚品質テーブルを与え、
（ｈ）各予想視覚品質レベルについて、パスと対応する閾値ビュー距離を達成するのに必要な圧縮されたビットストリームの最小の組を識別し、
（ｉ）パスに対応する圧縮されたビットストリームを、上記視覚品質テーブルで指定される最も低い予想視覚品質レベルから最も高い予想視覚品質レベルまでの階層へ順序づけ、各階層は、より低い視覚品質階層に含まれていない予想視覚品質レベルに対応する上記識別された最小の組からのパスと対応する圧縮されたビットストリームを含む方法。
【請求項３】
少なくとも１つの画像のレートを制御する方法であって、
（ａ）各画像に対して多数の予想視覚品質レベル及び対応する視覚的な優位性の値を指定する視覚品質テーブルを設け、
（ｂ）上記複数の画像を圧縮して夫々が上記視覚品質テーブルで指定される予想視覚品質レベルに対応する階層を含む圧縮ディジタル画像を生成し、
（ｃ）各圧縮ディジタル画像の可能な切り捨て点について視覚的な優位性の値と対応するファイルサイズのテーブルを生成し、各圧縮ディジタル画像の予想視覚品質レベルについて上記切り捨て点は対応する予想視覚品質レベルを達成するのに必要なバイト数を表わし、
（ｄ）各画像について現在の切り捨て点を初期化し、
（ｅ）各圧縮ディジタル画像を対応する現在の切り捨て点まで切り捨て、
（ｆ）上記切り捨てられ圧縮されたディジタル画像について圧縮されたファイルの全体のサイズを計算し、
（ｇ）切り捨てられ圧縮されたディジタル画像についての上記圧縮されたファイルの全体のサイズを所定のビット予算と比較し、
（ｈ）次の可能な切り捨て点において最も低い視覚的に有意な値を有する画像のために、現在の切り捨て点を次の可能な切り捨て点へ更新し、
（ｉ）圧縮されたファイルの全体のサイズがビット予算以下となるまで上記段階（ｅ）乃至（ｈ）を繰り返す方法。
【請求項４】
前記視覚的に有意な値は、閾値ビュー距離である請求項３記載の方法
【請求項５】
前記閾値ビュー距離は、人間の視覚系（ＨＶＳ）のコントラス感度関数（ＣＦＳ）モデルを用いて決定される請求項４記載の方法
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、増加する視覚品質レベルに対応する階層へ編成される圧縮されたディジタル画像を生成し、このような圧縮された画像のレートを制御するための方法に関する。
【０００２】
【従来の技術】
近年、画像のサブバンド符号化又はウェーブレット符号化のための多くの方法が提案されている。そのうちの幾つかは、サブバンド係数ビット平面のエントロピー符号化を用いるものであり、サブバンド係数は量子化されていることがある。重要なことは、ウェーブレット係数のビット平面符号化は、２０００年３月のISO/IEC JTC1/SC29 WG1 N1646, JPEG2000 Part I Final Committee Draft, Version 1.0に記載されるように、提案されているＪＰＥＧ２０００画像圧縮標準に使用されている。
【０００３】
図１は、一般的なＪＰＥＧ２０００符号化器を示すブロック図である。ＪＰＥＧ２０００符号化器は、画像を解像度についての階層へ分解し、解像度に対応する圧縮データは更に多数の品質階層１，２，．．Ｌへと分割される。いずれの解像度でも、圧縮されたビットストリームに更なる階層を追加することにより、その解像度とそれよりも高い解像度で再構成される画像の品質は一般的に改善される。ＪＰＥＧ２０００標準は、圧縮されたビットストリームの編成及び順序づけに関してかなりの柔軟性を与える。ＪＰＥＧ２０００によって可能とされるこのような順序づけの１つには、「階層・解像度・成分・位置プログレッシブ」として知られるものがあり、これは以下「階層プログレッシブ」と称するものとする。この順序づけでは、圧縮されたビットストリームは階層のインデックスの昇順で配置される。即ち、全ての解像度レベルからの階層１に対応するデータは、圧縮されたビットストリームの始めに現れる。その後に、階層２、階層３等に属する全てのデータが続く。かかる順序づけの１つの有用な性質は、圧縮されたビットストリームの終わりに現れる完全な又は部分的な階層が捨てられる場合、切り捨てられたビットストリームを復号化して、より低い品質の再構成画像を生成しうるということである。
【０００４】
上述のように、階層プログレッシブな順序付けでは一般的に、追加的な階層を加えることによって、改善された品質が与えられる。しかしながら、知覚される画質が夫々の追加的な階層によって改善されるという保証はない。これは、品質がしばしば平均平方誤差又は同様の計量（メトリック）によって定量化されるためであり、これらの計量は知覚される画質とあまりよく相関しないことが周知である。
【０００５】
ＪＰＥＧ２０００標準は、階層の形成について殆ど制約を課さない。従って、階層の形成のための特殊用途方法を工夫するかどうかは個々のＪＰＥＧ２０００符号化器次第である。従来技術では、プログレッシブな順序づけは、サブバンドの相対的な視覚的な重み付けに基づいて決定される（J.Li, "Visual Progressive Coding", SPIE Visual Communication and Image Processing, Vol.3653, No. 116, San Jose, California, January 1999）。この方法では、ビットレートの異なる範囲において視覚的な重みの異なる組を使用することが可能である。この方法の主な欠点は、視覚的な重みが変化されるべきビットレートを決定することが困難であるということである。これは、同じ圧縮設定でも、画像内容によって圧縮率が非常に異なりうるためである。
【０００６】
Taubman（David Taubman, IEEE Transactions on Image Processingに発表された"High Performance Scalable Image Compression with EBCOT"）は、ＪＰＥＧ２０００符号化器で階層を形成する方法について記載している。Taubmanの方法では、歪み計量として平均平方誤差（ＭＳＥ）又は視覚的に重み付けされたＭＳＥが使用される。次に、レートと歪みのトレードオフを用いて、どのようにして階層が形成されるかを決定する。上述のように、ＭＳＥは知覚される視覚品質とはあまりよく相関しないことが多い。また、場合によっては、圧縮設定に基づいて視覚的な重み付けを調整する必要がある。
【０００７】
【発明が解決しようとする課題】
従って、本発明は、ＪＰＥＧ２０００符号化器において圧縮されたビットストリームの階層を、階層が増加する視覚品質レベルに対応するよう形成する方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
かかる目的は、増加する視覚品質レベルに対応する階層へ編成される圧縮ディジタル画像を入力ディジタル画像から生成する方法であって、
（ａ）入力ディジタル画像を分解して夫々が複数のサブバンド係数を有する複数のサブバンドを生じさせる段階と、
（ｂ）上記分解された入力ディジタル画像の各サブバンドの複数のサブバンド係数を量子化して各サブバンドの各サブバンド係数について量子化された出力値を生じさせる段階と、
（ｃ）各サブバンドのサブバンド係数の量子化された出力値から少なくとも１つのビット平面を形成する段階と、
（ｄ）各サブバンドの各ビット平面を他のサブバンドとは独立にエントロピー符号化されるよう少なくとも１回のパスでエントロピー符号化し、各パスに対応する圧縮されたビットストリームを生じさせる段階と、
（ｅ）各パスについて視覚的に有意な値を計算する段階と、
（ｆ）予想視覚品質レベルと対応する視覚的に有意な値を指定する視覚品質テーブルを与える段階と、
（ｇ）各予想視覚品質レベルについて、パスと対応する視覚的に有意な値を達成するのに必要な圧縮されたビットストリームの最小の組を識別する段階と、
（ｈ）パスに対応する圧縮されたビットストリームを、上記視覚品質テーブルで指定される最も低い予想視覚品質レベルから最も高い予想視覚品質レベルまでの階層へ順序づけ、各階層は、より低い視覚品質階層に含まれていない予想視覚品質レベルに対応する上記識別された最小の組からのパスと対応する圧縮されたビットストリームを含む段階とを含む方法によって達成される。
【０００９】
本発明は、増加する視覚品質レベルに対応する階層を有する１つ以上の圧縮されたディジタル画像のレート制御のための効率的な方法を提供することを更なる目的とする。この目的は、少なくとも１つの画像のレートを制御する方法であって、
（ａ）各画像に対して多数の予想視覚品質レベル及び対応する視覚的な優位性の値を指定する視覚品質テーブルを設け、
（ｂ）上記複数の画像を圧縮して夫々が上記視覚品質テーブルで指定される予想視覚品質レベルに対応する階層を含む圧縮ディジタル画像を生成する段階と、
（ｃ）各圧縮ディジタル画像の可能な切り捨て点について視覚的な優位性の値と対応するファイルサイズのテーブルを生成し、各圧縮ディジタル画像の予想視覚品質レベルについて切り捨て点は対応する予想視覚品質レベルを達成するのに必要なバイト数を表わす段階と、
（ｄ）各画像について現在の切り捨て点を初期化する段階と、
（ｅ）各圧縮ディジタル画像を対応する現在の切り捨て点へ切り捨てる段階と、
（ｆ）上記切り捨てられ圧縮されたディジタル画像について圧縮されたファイルの全体のサイズを計算する段階と、
（ｇ）切り捨てられ圧縮されたディジタル画像についての上記圧縮されたファイルの全体のサイズを所定のビット予算と比較する段階と、
（ｈ）次の可能な切り捨て点において最も低い視覚的に有意な値を有する画像のために、現在の切り捨て点を次の可能な切り捨て点へ更新する段階と、
（ｉ）圧縮されたファイルの全体のサイズがビット予算以下となるまで上記段階（ｅ）乃至（ｈ）を繰り返す段階とを含む方法によって達成される。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の望ましい実施例について説明する。上述の説明では、図示されていない追加的な構造もある。このような構造が説明されるが、図示されない場合、その図面がないことではかかる設計が本願から排除されると考えられるべきではない。
【００１１】
本発明は、ディジタル画像の圧縮に関する。従来技術で周知の他の技術もあるが、本発明はＪＰＥＧ２０００画像圧縮標準に関する技術について説明するものとする。提案されるＪＰＥＧ２０００画像圧縮標準は、復号化器が圧縮されたビットストリームをどのように解釈すべきかについて指定しているため、全てのＪＰＥＧ２０００符号化器には幾らかの内在的な制約がある。例えば、ＪＰＥＧ２０００標準のＰａｒｔＩでは、ある種のウェーブレットフィルタのみが使用されうる。エントロピー符号化器もまた固定である。これらの方法は、ISO/IEC JTC1/SC29 WG1 N1646, JPEG2000 Part I Final Committee Draft, Version 1.0, March 2000に記載されている。従って、本願は、特に、本発明によるアルゴリズムの一部をなすか、より直接的に協働する属性に関連する。本願に特に図示又は説明されない属性は、ISO/IEC JTC1/SC29 WG1 N1646, JPEG2000 Part I Final Committee Draft, Version 1.0, March 2000から、又は他の従来技術で公知のものから選択されうる。以下の説明では、本発明の望ましい実施例は通常はソフトウエアプログラムとして実施されるが、当業者によればかかるソフトウエアと等価のものがハードウエア中に構築されうることが容易に認識されよう。以下説明するようなシステム及び方法では、本発明を実施するために必要な全てのかかるソフトウエア実施は従来通りであり、かかる技術の通常の知識の範囲内である。本発明がコンピュータプログラムとして実施される場合、プログラムは、例えば磁気ディスク（例えばフロッピーディスク）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ又は機械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶装置、又はコンピュータプログラムを格納するのに使用される任意の他の物理的な装置又は媒体を含む、従来のコンピュータ読み出し可能な記憶媒体に格納されうる。
【００１２】
ここで添付の図面に例として示される本発明の望ましい実施例を参照する。本発明は望ましい実施例について説明されているが、本発明はこれらの実施例に限定されるものではない。逆に、本発明は、請求の範囲に定義される本発明の精神及び範囲に含まれうる全ての変形、変更、及び等価物を網羅するものであることが意図される。
【００１３】
図２は、本発明によるＪＰＥＧ２０００画像符号化器のフローチャートを示す図である。ディジタル画像（２０１）は、解析フィルタによるサブバンド分解（２０２）を受け、サブバンド係数（２０３）についての画像表現が生成される。画像が多数の成分（例えばＲＧＢ）を有する場合、サブバンド分解段階（２０２）の前に、輝度・クロミナンス変換を適用してＹＣｂＣｒ表現に変換することができる。また、画像の各成分を多数のタイルへ分割することが可能である。しかし、この望ましい実施例では、完全な画像からなる単一のタイルのみが使用される。サブバンド係数（２０３）は、符号ブロック分割ユニット（２０４）によって矩形ブロックへ分割され、１つ以上の符号ブロック（２０５）が生成される。当業者は、単一の符号ブロックのみが使用されている場合はサブバンド係数を分割することが必要でないことを認識するであろう。
【００１４】
各符号ブロックは適当な量子化ステップサイズ（２０９）を用いて符号ブロック圧縮ユニット（２０６）によって圧縮され、圧縮された符号ブロック（２０７）及びバイト計数テーブル（２０８）が生成される。各符号ブロックについて、圧縮された符号ブロック（２０７）及びバイト計数テーブル（２０８）は、階層形成及び順序づけ決定ユニット（２１２）に与えられる。階層形成及び順序づけ決定ユニット（２１２）の他の入力は、その符号ブロックを量子化するために使用される量子化ステップサイズ（２０９）と、所望の視覚品質レベルのテーブル（２１０）と、見る条件のパラメータ（２１１）とである。各符号ブロックについて、階層形成及び順序づけ決定ユニット（２１２）は、階層構造とされた圧縮された符号ブロック（２１３）を生成するために各階層に幾つの符号化パスが含まれねばならないかを決定し、符号化パス及び各階層の対応するバイトについての情報を格納するＴａｂｌｅＬ（２１４）を決定する。階層形成及び順序づけ決定ユニット（２１２）はまた、ビットストリーム全体が階層プログレッシブに配置されるべきであることを指定する。
【００１５】
この順序付け情報と、階層化された圧縮された符号ブロック（２１３）と、及びＴａｂｌｅＬ（２１４）とは、ＪＰＥＧ２０００ビットストリームオーガナイザ（２１５）に供給され、ＪＰＥＧ２０００に準拠する符号化されたディジタル画像（２１６）が生成される。マスタテーブル発生器（２１７）は、ＴａｂｌｅＭＬ（２１８）を生成し、そのｊ番目のエントリは最初からＪ個の階層に対応する圧縮されたデータを表わすために必要とされるバイトの数を指定する。この情報はまた圧縮されたビットストリームに含まれるが、幾つかの適用では、情報からビットストリームをパーズする必要がないよう、情報を別々に記憶することが有利である。
【００１６】
ここで、図２に示されるブロックについてより詳細に説明する。分解に含まれるサブバンドの総数をＳとし、インデックスｉ＝０，１，．．．（Ｓ−１）を付すものとする。符号ブロック分割ユニット（２０４）は、各サブバンドを多数の矩形の符号ブロックへ分割する。図３は、符号ブロック圧縮ユニット（２０６）をより詳細に示す図である。各符号ブロックは、適当な量子化ステップサイズ（２０６）を用いてスカラ量子化器（３０１）によって量子化され、量子化された係数（３０２）のインデックスの符号（ｓｉｇｎ）・大きさ表現が生成される。望ましくは、デッドゾーンを有する均一スカラ量子化器が使用される。図４Ａ及び図４Ｂは、この量子化器についての決定閾値及び再構成レベルを示す図である。図４Ａは、ステップサイズΔについての決定閾値及び再構成レベルを示す図である。図４Ｂは、ステップサイズ２Δについての決定閾値及び再構成レベルを示す図である。望ましい実施例では、再構成レベルは常に量子化間隔の中心にある。しかし、当業者によれば、これは必須ではないことが明らかとなろう。例えば、再構成レベルはゼロに向かって偏ってもよい。所与のサブバンド中の全ての符号ブロックについて同じ基本の量子化ステップサイズが使用されうる。ここで、サブバンドｉについてのステップサイズをΔiとする。尚、最大量子化誤差ＥmaxがΔiであるゼロの欄を除き、最大量子化誤差Ｅmaxは（Δi／２）である。サブバンド解析及び合成フィルタが可逆的であれば（R. Calderbank, I. Daubechies, W. Sweldens, and B.-L. Yeo, "Wavelet Transform that Maps Integers to Integers," Applied and Computational Harmonic Analysis, vol. 5, no.3, pp. 332-369, 1998）、量子化のステップは完全になくされてもよい。
【００１７】
処理されるブロックはサブバンドｉから得られたものであると想定する。すると、ブロックからのサンプルは、上述のようにステップサイズがΔiの均一スカラ量子化器によって量子化される。量子化された係数のインデックスの大きさが、Ａiビットの一定の精度で表わされるとする。ビットは１，２，．．．，Ａiでインデックス付けされ、インデックス１は最上位ビット（ＭＳＢ）に対応し、Ａiは最下位ビット（ＬＳＢ）に対応するものとする。符号ブロックのｋ番目のビット平面は、その符号ブロックからの全ての量子化された係数の大きさ表現からのｋ番目のビットからなる。使用されるスカラ量子化器の１つの興味深い性質は、サブバンドｉからの量子化された係数のインデックスの大きさ表現からのｋの最下位ビットを捨てること又はゼロとすることは、ステップサイズが２kΔiである係数のスカラ量子化と等しいことである。このように、最後のｋのビット平面に対応するデータが捨てられる符号ブロックに対応する圧縮されたビットストリームが切り捨てられる場合、符号ブロックのより粗い量子化されたバージョンを再構成することが可能である。これは埋め込み（ｅｍｂｅｄｄｉｎｇ）性質として知られている。復号化器における再構成のために量子化された係数のインデックスの大きさ表現のｋのビット平面がなくされた場合、ステップサイズが２kΔiである量子化器のための再構成レベルが使用される。
【００１８】
エントロピー符号化のために、符号化器のビット平面は、先行するビット平面のいずれかが有意であるか現在のビット平面が少なくとも１つの非ゼロビットを有する場合に有意であるものとする。エントロピー符号化器（３０３）は、１つ以上の符号化パスにおいて符号ブロックについて各ビット平面を符号化する。例えば、最上位ビット平面は、単一の符号化パスを用いて符号化される。符号ブロックの残るビット平面は、３つの符号化パスを用いて符号化される。ＪＰＥＧ２０００では、ＭＱ算術符号化器がエントロピー符号化器として使用される。テーブル発生ユニット（３０４）は、各符号ブロックについてバイト計数テーブル（２０８）を発生する。テーブル中のｍ番目のエントリは、ビットストリーム中の符号ブロックの１，２，．．．，ｍの符号化パスを含むために必要なバイト数に対応する。
【００１９】
階層形成及び順序づけ決定ユニット（２１２）は、視覚品質テーブル（２１０）によって指定される視覚品質基準を満たすよう各階層に含まれるべき符号化パスの数を決定する。視覚品質テーブル（２１０）によって指定のｊ番目のエントリは、最初からｊの階層のみが圧縮されたビットストリームに含まれる場合にのみ、再構成された画像の最小の予想視覚品質を指定する。符号ブロックの各符号化パスは、視覚的な有意性に割り当てられる。視覚的な有意性がより高いということは、符号化パスが圧縮されたビットストリームに含まれていなければ、再構成された画像の視覚品質が更に低下することを意味する。
【００２０】
望ましい実施例では、符号化パスの視覚的な有意性は、符号化パスに対応する閾値ビュー距離に関して決定される。これは、人間の視覚系（ＨＶＳ）の２次元コントラスト感度関数（ＣＳＦ）を用いて行なわれる。ここに参照として組み入れられるJones et al., "Comparative study of wavelet and DCT decomposition with equivalent quantization and encoding strategies for medical images", Proc. SPIE Medical Imaging '95, vol. 2431, pp. 571-582に記載されるＣＳＦモデルは、人間の視覚系の感度を２次元（２Ｄ）空間周波数の関数としてモデル化し、例えば、ビュー距離、光レベル、色、画像サイズ、偏心率、ディスプレイの雑音レベル等の多数のパラメータに依存する。ＣＳＦの周波数依存性は、一般的には視覚対辺のサイクル／度数を用いて表わされる。ＣＳＦは、所与のビュー距離（即ち、見る人から表示される画像までの距離）については、例えばサイクル／ｍｍといった他の単位へマップされうる。
【００２１】
サブバンドｉについての２次元ＣＳＦ値は、Ｖをビュー距離、Ｎをディスプレイの雑音レベル、Ｄをディスプレイの１インチ当たりドット数（ｄｐｉ）、Ｆiをサブバンドｉに関連付けられる２次元空間周波数（サイクル／ｍｍで表わす）とすると、ＣＳＦ（Ｆi，Ｖ，Ｎ，Ｄ）と表わされる。望ましい実施例では、Ｆiはサブバンドｉに公称に関連付けられる周波数範囲の中心であるよう選択される。Jones外の論文に記載されるように、サブバンドｉがデッドゾーンを有する均一なスカラ量子化器によって量子化される場合、ビュー距離Ｖにおいて再構成される画像中に「丁度認識可能（just noticeable）な歪み」を生じさせるステップサイズＱi（Ｖ）は、
【００２２】
【数１】
0004554844.tif 000002
であり、但し、ＭＴＦ（Ｆi）は周波数ＦiにおけるディスプレイのＭＴＦであり、であり、Ｃは表示装置の符号値当たりのコントラストであり、Ｇはサブバンドｉの係数の１の符号値の変化に対する再構成された画像のコントラストの変化を表わす利得係数である。利得係数は、サブバンドのレベル及び向きと、サブバンド合成フィルタとに依存する。Jones外の論文と比較すると、分母に０．５の係数がない。これは、最大の生じうる歪みＥmaxが、デッドゾーンのない均一なスカラ量子化器ではステップサイズの半分であるのに対して、デッドゾーンを有する均一なスカラ量子化器ではステップサイズに等しいためである。
【００２３】
量子化された画像についての閾値ビュー距離は、再構成された画像中の歪みが「丁度認識可能である」ビュー距離として定義される。このように、量子化された画像の視覚品質は、閾値ビュー距離に関して量子化されえ、例えば高い閾値ビュー距離は低い視覚品質に対応する。ここで、ＨＶＳの１つのモデルは、サブバンド分解の各帯域を独立に処理するものである。このように、再構成された画像中の全体の歪みに対する量子化された符号ブロックの寄与は、全ての他の符号ブロックにおいて生ずる量子化と独立であると想定されうる。ステップサイズＱiで量子化された特定の符号ブロックについては、対応する閾値ビュー距離Ｖiを関連付けることができる。この関係は、
Ｑi＝Ｋ（Ｖi）
と書くことができ、但し、Ｋはビュー距離Ｖiに対するＱiの依存性を特徴付ける関数である。関数Ｋの逆関数は、特定のステップサイズについての閾値ビュー距離、即ち、
Ｖi＝Ｋ-1（Ｑi）
を決定するために必要である。或いは、符号ブロックについての最大絶対量子化誤差がＥmaxであると想定する。すると、符号ブロックは、ステップサイズＱi＝Ｅmaxを有する均一なデッドゾーンスカラ量子化器によって量子化されるものと考えられる。その場合、
Ｖi＝Ｋ-1（Ｅmax）
となる。
【００２４】
このように、各符号ブロックについての閾値ビュー距離は、符号ブロックに関連付けられる最大絶対量子化誤差に基づいて決定されうる。この逆関数を見つけるために、所与の空間周波数における１次元ＣＳＦは、ｄ、２ｄ、４ｄのビュー距離では図５に示されるようにビュー距離が減少するにつれ、一般的に増加する。しかしながら、非常に低い周波数では、再び減少し始め、従って一意の逆関数Ｋ-1は存在しない。ＣＳＦは、Ｋ-1の存在を確実とするため僅かに変更されうる。ビュー距離Ｖに対してＣＳＦを計算するために、Ｖ以上のビュー距離を有する全てのＣＳＦ曲線についての包絡線がとられる。これは、Ｋが増加しない関数であることを確実とする。Ｋ-1は最も小さいビュー距離のためには結びつきが解かれるよう決められる。これは、サブバンドについての閾値ビュー距離が必ず量子化器のステップサイズの増加関数であることを意味する。望ましい実施例では、Ｋ-1はルックアップテーブルとして実施される。
【００２５】
関数-1Ｋは、階層のサブセットが保持された場合にのみ符号ブロックについての閾値ビュー距離を決定するために、階層形成及び順序づけ決定ユニット（２１２）によって使用される。階層形成及び順序づけ決定ユニット（２１２）のより詳細なフローチャートは図６に示されている。階層の総数がＬであり、符号ブロックについての符号化パスの総数がＰであるとする。階層形成及び順序づけ決定ユニット（２１２）の入力は、(1)Ｌ個のエントリを有する視覚品質テーブル（２１０）であってＴａｂｌｅＶと称するもの、(2)元の符号ブロック（２０５）、(3)符号ブロックに対応する圧縮されたビットストリーム（２０７）、(4)符号ブロックについてのバイト計数テーブル（２０８）であってＴａｂｌｅＢと称されるもの、(5)見る条件のパラメータ（２１１）である。視覚品質テーブル（２１０）は、予想視覚品質レベルを格納し、最初のｊの階層が圧縮されたビットストリームに含まれる場合にのみ、ｊ番目のエントリは予想視覚品質を表わす。視覚品質レベルは、閾値ビュー距離に関して予め指定され、降順で格納される。バイト計数テーブル（２０８）のｍ番目のエントリは、符号ブロックについての最初のｍの符号化パスに対応する圧縮されたデータを表わすのに必要なバイトの数を表わす。階層形成及び順序づけ決定ユニット（２１２）は、Ｌ個の行及び２個の欄を有するＴａｂｌｅＬ（２１４）を発生する。行ｊの１番目のエントリは、階層ｊに含まれるべき符号化パスの数を示し、行ｊの２番目のエントリは階層ｊをその符号ブロックについての既存の圧縮されたビットストリームへ追加するのに必要なバイト数を示す。
【００２６】
初期化ユニット（６０１）は、ｊ、ｍ、及び累積パス数ＣＰをゼロに初期化する。初期化ユニットはまた、Ｅmaxを符号ブロックについての量子化された計数のインデックスの最大絶対値へ初期化し、現在の閾値ビュー距離ＣＶＤをＫ-1（Ｅmax）に設定する。ステップ（６０２）において、ｊは１ずつインクリメントされる。次に、比較ユニット（６０３）はｊを階層の数Ｌと比較する。ｊがＬよりも大きければ、全ての階層が形成されており、プロセスは停止し、テーブルＬ（２１４）が書き出され、ｊがＬ以下であればプロセスは続行する。ステップ（６０４）において、目標ビュー距離ＴＶＤはテーブルＶのｊ番目のエントリに設定される。第２の比較ユニット（６０５）は、現在のビュー距離を目標ビュー距離と比較する。現在のビュー距離が目標ビュー距離以下であれば、ステップ（６１０）までスキップする。現在のビュー距離が目標ビュー距離よりも大きければ、ｍはパスの総数Ｐと比較される（６０６）。ｍがＰ以上であれば、ステップ（６１０）までスキップする。ｍがＰよりも小さければ、ｍは１ずつインクリメントされる（６０７）。次に、最初のｍ回の符号化に対応する圧縮データを用いて符号ブロックが再構成され、元の符号ブロックと再構成された符号ブロックとの間の最大絶対差Ｅｍａｘが見つけられる（６０８）。現在のビュー距離はＫ−１まで更新され（６０９）、ステップ（６０５）へ戻る。ステップ（６１０）において、ＴａｂｌｅＬ［ｊ］［１］は（ｍ−ＣＰ）に設定され、ＴａｂｌｅＬ［ｊ］［２］は（ＴａｂｌｅＢ［ｍ］−Ｔａｂｌｅ［ＣＰ］）に設定される。また、累積パス数はｍに設定される。つぎに、ステップ（６０２）に戻る。従って、ステップ６０５乃至６０９により、視覚品質テーブル（２１０）に与えられた夫々の予想視覚品質レベルを満たすのに必要なパスとパスに対応する圧縮されたビットストリームの最小の組が識別される。
【００２７】
符号ブロックを量子化するために使用されるステップサイズは、その符号ブロックについての全ての符号化パスがビットストリームに含まれるとき、視覚品質テーブル（２１０）の中で指定される最大の視覚品質レベルが達成されるか超過されるよう、十分に小さいべきであることに留意されたい。望ましい実施例は、これは再構成された画像中の歪みが上述のように丁度認識可能であるよう最大の予想視覚品質レベルに対応する閾値ビュー距離から各サブバンドについてのステップサイズを決定することによって達成される。これは、各サブバンドを量子化するために用いられるステップサイズが十分に細かいことを保証する。
【００２８】
図７は、階層の形成に対して更なる制約のある階層形成及び順序決定ユニット（２１２）の他の実施例を示す図である。この実施例での制約は、ブロックの階層境界がビット平面境界と一致せねばならないということである。上述のように、ステップサイズΔで量子化された符号ブロック係数のインデックスの大きさを、Ａビットの一定の精度で表わすとする。ビットを１，．．．，Ａでインデックス付けするものとし、インデックス１は最上位ビット（ＭＳＢ）を表わす。ここで、符号ブロックのｋの最下位ビット平面は捨てるものとする。すると、符号ブロックについての量子化ステップサイズは（２ｋΔ）であり、対応する閾値ビュー距離はＫ−１（２ｋΔ）である。上述のように元の符号ブロックと再構成された符号ブロックの間の最大絶対誤差Ｅｍａｘを計算する代わりに、Ｅｍａｘを２ｋΔとする。
【００２９】
他の実施例では、初期化ユニット（７０１）もまた、ｋを０へ初期化する。ステップ７０２乃至７０５は、ステップ６０２乃至６０５と同じである。ステップ７０６において、ｋを符号ブロックについてのビット平面の総数であるＡと比較する。ｋがＡ以上であれば、ステップ７１０へ進む。ｋがＡ以上でなければ、ステップ７０７においてｋを１ずつインクリメントし、ｍが最初ｋのビット平面を表わすのに必要とされる符号化パスの数を表すよう、ｍを更新する。ステップ７０８において、最初のｋのビット平面（２（Ａ−ｋ）Δ）のみを保持することに対応する有効ステップサイズが計算され、Ｅｍａｘはこの値に設定される。ステップ７０９乃至７１０はステップ６０９乃至６１０と同じである。このように、ステップ７０５乃至７０９は、パスの最小の組と、視覚品質テーブル（２１０）の中に与えられる各予想視覚品質レベルを満たすのに必要な対応する圧縮されたビットストリームを識別する効果を有する。
【００３０】
他の実施例では、画像の視覚品質は、閾値ディスプレイ雑音レベルに関して量子化される。閾値ディスプレイ雑音レベルは、ビュー距離又はディスプレイのｄｐｉといったＣＳＦに影響を与える他の因子が一定に保たれるときに、再構成された画像中の歪みが丁度認識可能であるようなディスプレイの雑音レベルとして定義される。閾値ビュー距離の場合と同様に、ステップサイズＱｉで量子化された特定の符号ブロックについて、対応する閾値ディスプレイ雑音レベルＮｉが関連付けられうる。この関係式は、
Ｑｉ＝Ｍ（Ｎｉ）
と書くことができ、式中、Ｍはディスプレイ雑音レベルＮｉに対するＱｉの依存性を特徴付ける関数である。この場合、より高いディスプレイ雑音レベルは、より高いステップサイズに一般的に対応する。逆関数Ｍ−１は、Ｋ−１を定義するのと同様に定義される。つぎに、視覚品質テーブル（２１０）が閾値ディスプレイ雑音レベルに対して、より高い雑音レベルがより低い視覚品質に対応するよう指定される。階層形成及び順序決定ユニット（２１２）もまた、現在のビュー距離（ＣＶＤ）を現在の雑音レベル（ＣＮＬ）で適切に置き換え、目標ビュー距離（ＴＶＤ）を目標雑音レベル（ＴＮＬ）で適切に置き換えることによって変更される。
【００３１】
幾つかの適用では、異なるｄｐｉ及び異なる意図されるビュー距離で表示されうる（ハードコピー又はソフトコピー）画像の視覚品質を比較することが望ましいことがある。このような場合、より近いビュー距離で順応効果によるＣＳＦの変化を無視し、ビュー距離及びｄｐｉのＣＳＦパラメータを単一のパラメータである画素の視覚的な対辺の角度へ組み合わせる。その場合、画像の視覚品質は、視覚的な対辺の閾値角度について指定されうる。つぎに、視覚的な対辺のより低い閾値角度は、より低い視覚品質に対応する。階層形成方法は、視覚品質尺度として閾値ディスプレイ雑音レベルの場合のように適当に変化されうる。異なる点は、比較ユニット（６０５）が、視覚的な対辺の現在の角度が現在の対辺の目標角度以上であることである。
【００３２】
図８は、本発明の他の実施例を示す図である。ＪＰＥＧ２０００符号化器によって生成される圧縮されたビットストリーム（８０１）はＪＰＥＧ２０００ビットストリームパーザ（８１９）を通され、各符号ブロック（８２０）に対応する圧縮されたビットストリームが生成される。ビットストリームパーザはまた、量子化ステップサイズ（８０９）についての情報を抽出する。各圧縮された符号ブロックビットストリームは、エントロピー復号化器（８０２）を通され、量子化されたサブバンド係数（８０３）が再構成される。ステップ８０４乃至８１８は、対応するステップ２０４乃至２１８と全く同じである。元のＪＰＥＧ２０００ビットストリームを生成するために用いられる基本量子化ステップサイズが粗ければ、視覚品質テーブル（８１０）から全ての視覚品質レベルを達成することは可能ではないことがある。
【００３３】
視覚的なプログレッシブな順序づけ方法は、１つ以上の画像を符号化するときに簡単なレート制御方法を提供するために容易に拡張されうる。Ｑ（Ｑ≧１）の画像が、上述のように視覚的にプログレッシブにＪＰＥＧ２０００ビットストリームパーザ２０００符号化器を用いて圧縮されたとする。ディスプレイのディスプレイ雑音ｄｐｉと観察条件は各画像について同じであると想定する。全体のビット予算をＲＴバイトであるとする。画像セットの全体の視覚品質を最大化するよう各画像の圧縮されたビットストリームの切り捨て点を見つける方法について説明する。
【００３４】
上述において、圧縮された画像の質が閾値ビュー距離に対してどのように量子化されうるかについて説明した。同様に、一組の圧縮された画像の全体的な質を、Ｑの画像の組についての閾値ビュー距離Ｖｓｅｔによって量子化しうる。これは、全ての再構成された画像が視覚的に損失のないよう再構成される、即ち歪みが丁度認識可能な最も低いビュー距離として定義される。Ｖｑが、所与のビットストリーム切り捨て点における画像ｑ（１≦ｑ≦Ｑ）に対する閾値ビュー距離であるとすると、
【００３５】
【数２】
0004554844.tif 000003
となる。
【００３６】
レート制御に関する問題は、切り捨てられたビットストリームの全体のファイルサイズが最大でＲＴバイトであるという制約を受けているときに、Ｖｓｅｔが最小化されるよう各圧縮されたビットストリームを切り捨てることである。
【００３７】
上述のように、ＪＰＥＧ２０００符号化器は、各画像についてのＴａｂｌｅＭＬを生成する。テーブルのｊ番目のエントリは、圧縮されたビットストリーム中の画像の最初のｊ個の階層を保持するために必要とされるバイト数を指定する。レート制御方法を実行するために、各画像ｑについて、２つの列のテーブルＴｑが生成される。第１のカラムは、可能な切捨て点における圧縮されたファイルサイズのリストである。本発明では、圧縮されたビットストリームは、階層境界においてのみ切り捨てられることが許される。従って、その画像についてＪＰＥＧ２０００符号化器によって生成されるＴａｂｌｅＭＬは、テーブルＴｑの第１の列に複製される。テーブルの第２の列は、その画像について視覚的なテーブルの入力からＪＰＥＧ２０００符号化器へ複製された対応する閾値ビュー距離のリストである。
【００３８】
図９は、レート制御方法のフローチャートを示す図である。一組のＱ（Ｑ≧１）の画像（９０１）とＲＴバイトのビット予算（９０３）が所与であるとき、方法は以下のようにして行なわれる。ＪＰＥＧ２０００符号化器（９０３）は、上述のように視覚品質テーブル（９０４）を用いて組の各画像を符号化する。各画像について異なる視覚品質テーブルを用いることが可能である。ＪＰＥＧ２０００符号化器（９０３）は、圧縮されたビットストリーム（９０５）と各画像のＴａｂｌｅＭＬ（９０６）とを発生する。テーブル発生ユニット（９０７）はテーブルＴｑ（１≦ｑ≦Ｑ）を発生する（９０８）。切り捨て点初期化ユニット（９０９）は、画像全体が保持されるよう各画像についての切り捨て点を初期化する。当業者は、他の方法により切り捨て点を初期化することが可能であることを認識するであろう。例えば、ユーザは各画像についての閾値ビュー距離について所望の最大の視覚品質レベルを指定しうる。この場合、各画像の切り捨て点は、その画像についてのユーザ指定の閾値ビュー距離以下の最大閾値ビュー距離に対応するよう選択されうる。切り捨てユニット（９１０）は、各画像についての圧縮されたビットストリームを対応する現在の切り捨て点へ切り捨て、切り捨てられたビットストリーム（９１１）を生じさせる。ファイルサイズ計算ユニット（９１２）は、切り捨てられた圧縮されたビットストリームについての全体の圧縮されたファイルサイズＦｓ（９１３）を計算する。ファイルサイズ比較ユニット（９１４）は、全体の圧縮されたファイルサイズをＲＴバイトのビット予算（９０２）と比較する。圧縮されたファイルサイズがＲＴバイト以下であれば、方法は停止する。ＲＴバイト以下でなければ、切り捨て点更新ユニット（９１５）は、次の可能な切り捨て点において最も低い閾値ビュー距離を有する画像について、現在の切り捨て点を次の行に設定する。切り捨て点を更新した後に最も小さい全体ファイルサイズを生じさせる画像についての関連性はなくされる。切り捨て、全体ファイルサイズ計算、ファイルサイズ比較、及び、更新の処理は、ビットストリーム予算に達するまで続けられる。
【００３９】
当業者によれば、最小のファイルサイズに対応する圧縮されたビットストリームから開始し、全体のファイルサイズがＲＴバイトのビット予算を超過するまで更なる階層を追加するために連続的な連結点を選択することも可能であることを認識するであろう。本発明の方法は、最大のファイルサイズに対応する圧縮されたビットストリームから開始し、階層を捨てていくものである。これは、連続的により低いビット予算に対してレート制御が多数回実行されねばならない場合に、計算的な複雑性に関する利点を有する。
【００４０】
当業者は、本発明の方法を視覚品質の計量が閾値ディスプレイ雑音レベル又は視覚的な対辺の閾値角度であるような場合に拡張することが可能であることを認識するであろう。ディスプレイのｄｐｉが画像毎に異なる場合は、視覚的な対辺の閾値角度は、望ましい視覚的な計量である。
【００４１】
【発明の効果】
本発明は、任意の解像度において低いインデックスを付された階層中の圧縮データが、より高い視覚的な重要性を有し、任意の解像度において高いインデックスを付された階層と比較して圧縮ビットストリーム中でより早く出現するよう階層を形成する方法を提供する。これは、「視覚的にプログレッシブ」な圧縮ビットストリームとしても知られる。この順序づけでは、圧縮ビットストリームが切り捨てられた場合に、視覚的にあまり重要でない階層が最初に捨てられるという利点がある。更に、圧縮ビットストリームが階層プログレッシブな方法で配置され、最初のｊの階層のみを残すようビットストリームが切り捨てられれば、ｊ番目の視覚品質レベルに達する。
【００４２】
本発明によるレート制御方法は、個々の画像の圧縮ビットストリームから階層を捨て、それにより切り捨てられたビットストリームの全体ファイルサイズがユーザ指定のビット予算を超えず、画像セットの全体の視覚品質が最大にされるという利点がある。
【図面の簡単な説明】
【図１】一般的なＪＰＥＧ２０００画像符号化器を示すブロック図である。
【図２】本発明による画像符号化器のフローチャートを示す図である。
【図３】符号ブロック圧縮ユニットを示すブロック図である。
【図４Ａ】デッド・ゾーンを有する均一スカラ量子化器についてステップサイズがΔである場合の決定閾値と再構成レベルのグラフを示す図である。
【図４Ｂ】デッド・ゾーンを有する均一スカラ量子化器についてステップサイズが２Δである場合の決定閾値と再構成レベルのグラフを示す図である。
【図５】ビュー距離がｄ、２ｄ、４ｄである場合の典型的な１次元コントラスト感度関数（ＣＳＦ）を示す図である。
【図６】図２の「階層形成及び順序づけ決定ユニット」のフローチャートを示す図である。
【図７】図２の「階層形成及び順序づけ決定ユニット」の他の実施例のフローチャートを示す図である。
【図８】本発明による階層の視覚的なプログレッシブな配置においてＪＰＥＧ２０００に従って圧縮されたビットストリームを再設定する方法を示すフローチャートである。
【図９】本発明によるレート制御方法を示すフローチャートである。
【符号の説明】
２０１    ディジタル画像
２０２    解析フィルタによるサブバンド分解
２０３    サブバンド係数
２０４    符号ブロック分割ユニット
２０５    符号ブロック
２０６    符号ブロック圧縮ユニット
２０７    圧縮された符号ブロック
２０８    バイト計数テーブル
２０９    量子化ステップサイズ
２１０    視覚品質テーブル
２１１    見る条件のパラメータ
２１２    階層形成及び順序決定ユニット
２１３    階層化された圧縮された符号ブロック
２１４    ＴＡＢＬＥＬ
２１５    ビットストリームオーガナイザ
２１６    符号化されたディジタル画像
２１７    マスタテーブル発生器
２１８    ＴＡＢＬＥＭＬ
【図１】
0004554844.tif 000004
【図２】
0004554844.tif 000005
【図３】
0004554844.tif 000006
【図４Ａ】
0004554844.tif 000007
【図４Ｂ】
0004554844.tif 000008
【図５】
0004554844.tif 000009
【図６】
0004554844.tif 000010
【図７】
0004554844.tif 000011
【図８】
0004554844.tif 000012
【図９】
0004554844.tif 000013