(57)【要約】【課題】  少ない演算量で高速に動作する圧縮符号化装置の提供。【解決手段】  圧縮符号化装置１において、ＤＷＴ部１３が、入力信号をウェーブレット変換して出力する変換係数を、量子化部１４が、画質制御部２３において目標画質に応じて求められた量子化ステップサイズにより量子化する。係数ビットモデリング部２０は、量子化された前記変換係数ＱＤに対してビットプレーン単位のビットモデリング処理を施し、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤを算術符号化する。符号量制御部２２は、算術符号化部２１から入力する符号化データＡＤのレートを、画質制御部２３から入力される量子化ステップサイズに係る情報に基づいて制御する。【選択図】        図１
2005192087.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、
を備えることを特徴とする圧縮符号化装置。
【請求項２】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部と、
を備えることを特徴とする圧縮符号化装置。
【請求項３】
請求項１または請求項２に記載の圧縮符号化装置であって、
前記画質制御部は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする圧縮符号化装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の圧縮符号化装置であって、
前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の階乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする圧縮符号化装置。
【請求項５】
請求項４に記載の圧縮符号化装置であって、
前記符号量制御部は、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の階乗の指数に対応するビット数だけシフトさせることを特徴とする圧縮符号化装置。
【請求項６】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
（ｃ）前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、
を備えることを特徴とする圧縮符号化方法。
【請求項７】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
（ｄ）前記変換係数をエントロピー符号化する工程と、
（ｅ）前記工程（ｄ）で符号化した符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する工程と、
を備えることを特徴とする圧縮符号化方法。
【請求項８】
請求項６または請求項７に記載の圧縮符号化方法であって、
前記工程（ｂ）は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程を含むことを特徴とする圧縮符号化方法。
【請求項９】
請求項６ないし請求項８のいずれかに記載の圧縮符号化方法であって、
前記工程（ｂ）は、前記量子化ステップサイズが所定の数値より小さいときは、
（ｂ−１）前記量子化ステップサイズが前記所定の数値以上になる２の階乗を乗算して前記量子化ステップサイズを求める工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１０】
請求項９に記載の圧縮符号化方法であって、
前記工程（ｅ）は、前記符号化データを前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記工程（ｂ−１）により前記量子化ステップサイズを求めたときは、
（ｅ−１）前記符号化データを、前記工程（ｂ−１）で乗算した２の階乗の指数に対応するビット数だけシフトさせる工程、
を含むことを特徴とする圧縮符号化方法。
【請求項１１】
マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項１２】
マイクロプロセッサに画像信号を圧縮符号化するためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
前記変換係数をエントロピー符号化するエントロピー符号化部と、
前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項１３】
請求項１１または請求項１２に記載のプログラムであって、
前記マイクロプロセッサを前記画質制御部として機能させるときは、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように、機能させることを特徴とするプログラム。
【請求項１４】
請求項１１ないし請求項１３のいずれかに記載のプログラムであって、
前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の階乗を乗算して得られた値を前記量子化ステップサイズとするように、機能させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムであって、
前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の階乗の指数に対応するビット数だけシフトさせるように、機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮伸長技術で使用される圧縮符号化方法および圧縮符号化装置および圧縮符号化方法に関する。
【背景技術】
【０００２】
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式が策定されている。ＪＰＥＧ２０００方式は、現在主流のＪＰＥＧ（Joint Photographic Experts Group）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と称する方法を採用する点に特徴がある。
【０００３】
図２４は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化装置の概略構成を示す機能ブロック図である。以下、この図２４を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
【０００４】
この圧縮符号化装置１００に入力する画像信号は、ＤＣレベルシフト部１０２で必要に応じてＤＣレベル変換を施された後に、色空間変換部１０３に出力される。次に、色空間変換部１０３は、ＤＣレベルシフト部１０２から入力する信号の色空間を変換する。ここで、例えば、色空間変換部１０３に入力するＲＧＢ信号はＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換される。
【０００５】
次に、タイリング部１０４は、色空間変換部１０３から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１０５に出力する。ＤＷＴ部１０５は、タイリング部１０４から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、２次元画像信号に対して、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが垂直方向と水平方向の順に適用される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル（decomposition level）と呼ばれる。
【０００６】
図２５は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指すものとする。
【０００７】
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。以上で生成された帯域成分ＨＨ１〜ＬＬ３を配列したのが図２５である。図２５では、３次の分解レベルの例が示されているが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
【０００８】
次に、量子化部１０６は、ＤＷＴ部１０５から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部１０６は、ＲＯＩ部１０７による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、この量子化部１０６でのスカラー量子化と後述するポスト量子化（truncation）との２種類の量子化手段が用意されている。
【０００９】
次に、量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部１１０でレートを制御される。具体的には、係数ビットモデリング部１０８は、入力する変換係数の帯域成分を１６×１６や３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００１０】
図２６は、複数のコードブロック１２１，１２１，１２１，…に分解された２次元画像１２０を示す模式図である。また、図２７は、このコードブロック１２１を構成するｎ枚のビットプレーン１２２0〜１２２n-1（ｎ：自然数）を示す模式図である。図２７に示すように、コードブロック１２１中の１点の変換係数の２進値１２３が"０１１…０"である場合、この２進値１２３を構成するビットは、それぞれ、ビットプレーン１２２n-1，１２２n-2，１２２n-3，…，１２２0に属するように分解される。図中のビットプレーン１２２n-1は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン１２２0は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
【００１１】
更に、係数ビットモデリング部１０８は、各ビットプレーン１２２k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図２８に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２kを３種類の符号化パス、すなわち、ＣＬパス（CLeanup pass），ＭＲパス（Magnitude Refinement pass），ＳＩＧパス（SIGnificance propagation pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【００１２】
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００１３】
尚、図２９に、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す。このＲ−Ｄ曲線中、Ｒ1はビットプレーン符号化前のレート、Ｒ2はビットプレーン符号化後のレート、Ｄ1はビットプレーン符号化前の歪み、Ｄ2はビットプレーン符号化後の歪み、をそれぞれ示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点Ｐ1（Ｒ1，Ｄ1）から終了点（Ｒ2，Ｄ2）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、ＭＳＢプレーンからＬＳＢプレーンに向けて符号化すればよいことが知られている。
【００１４】
次に、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部１０９で、係数ビットモデリング部１０８から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００１５】
次に、符号量制御部１１０は、算術符号化部１０９が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部１１１は、符号量制御部１１０が出力した符号列と付加情報（ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として出力する。
【００１６】
以上のような構成を有する圧縮符号化装置において、画像データのデータ量を圧縮するための方法としては、例えば、符号量制御部１１０におけるレート制御方法を利用するレート・歪み最適化（R-D optimization）と称する手法が採用されている（非特許文献１参照）。
【００１７】
【非特許文献１】David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、この手法では、（１）レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、（２）各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
【００１９】
以上の問題などに鑑みて本発明が課題とするところは、少ない演算量で且つ高速にデータ量の圧縮を実行し得る圧縮符号化装置および圧縮符号化方法を提供する点にある。
【課題を解決するための手段】
【００２０】
上記課題を解決すべく、請求項１に記載の発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、を備えることを特徴とするものである。
【００２１】
請求項２に記載の発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部と、を備えることを特徴とするものである。
【００２２】
請求項３に記載の発明は、請求項１または請求項２に記載の圧縮符号化装置であって、前記画質制御部は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とするものである。
【００２３】
請求項４に記載の発明は、請求項１ないし請求項３のいずれかに記載の圧縮符号化装置であって、前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の階乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とするものである。
【００２４】
請求項５に記載の発明は、請求項４に記載の圧縮符号化装置であって、前記符号量制御部は、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の階乗の指数に対応するビット数だけシフトさせることを特徴とするものである。
【００２５】
請求項６に記載の発明は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、（ｃ）前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、を備えることを特徴とするものである。
【００２６】
請求項７に記載の発明は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、（ｄ）前記変換係数をエントロピー符号化する工程と、（ｅ）前記工程（ｄ）で符号化した符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する工程と、を備えることを特徴とするものである。
【００２７】
請求項８に記載の発明は、請求項６または請求項７に記載の圧縮符号化方法であって、前記工程（ｂ）は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程を含むことを特徴とするものである。
【００２８】
請求項９に記載の発明は、請求項６ないし請求項８のいずれかに記載の圧縮符号化方法であって、前記工程（ｂ）は、前記量子化ステップサイズが所定の数値より小さいときは、（ｂ−１）前記量子化ステップサイズが前記所定の数値以上になる２の階乗を乗算して前記量子化ステップサイズを求める工程を含むことを特徴とするものである。
【００２９】
請求項１０に記載の発明は、請求項９に記載の圧縮符号化方法であって、前記工程（ｅ）は、前記符号化データを前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記工程（ｂ−１）により前記量子化ステップサイズを求めたときは、（ｅ−１）前記符号化データを、前記工程（ｂ−１）で乗算した２の階乗の指数に対応するビット数だけシフトさせる工程を含むことを特徴とするものである。
【００３０】
請求項１１に記載の発明は、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部として、前記マイクロプロセッサを機能させることを特徴とするものである。
【００３１】
請求項１２に記載の発明は、マイクロプロセッサに画像信号を圧縮符号化するためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部として、前記マイクロプロセッサを機能させることを特徴とするものである。
【００３２】
請求項１３に記載の発明は、請求項１１または請求項１２に記載のプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように、機能させることを特徴とするものである。
【００３３】
請求項１４に記載の発明は、請求項１１ないし請求項１３のいずれかに記載のプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の階乗を乗算して得られた値を前記量子化ステップサイズとするように、機能させることを特徴とするものである。
【００３４】
請求項１５に記載の発明は、請求項１４に記載のプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の階乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の階乗の指数に対応するビット数だけシフトさせるように、機能させることを特徴とするものである。
【発明の効果】
【００３５】
請求項１、請求項６および請求項１１に記載の発明によれば、目標画質に従って量子化によるデータの圧縮率を制御しながら、最適解を推定する処理が必要な従来技術に比べて少ない演算量で高速な量子化を行うことが可能である。
【００３６】
請求項２、請求項７および請求項１２に記載の発明によれば、目標符号量に適合する圧縮画像を容易に生成することができる。
【００３７】
請求項３、請求項８および請求項１３に記載の発明によれば、人間の視覚評価に適した高い表示画質を有する圧縮画像を容易に生成することが可能である。
【００３８】
請求項４、請求項９および請求項１４に記載の発明によれば、目標画質に従って効率的に量子化する装置を容易に実現することができる。
【００３９】
請求項５、請求項１０および請求項１５に記載の発明によれば、目標符号量に適合する高画質な圧縮画像を効率的に生成することができる。
【発明を実施するための最良の形態】
【００４０】
｛圧縮符号化装置｝
図１は、本発明の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。この圧縮符号化装置１の構成と機能について概説した後に、本実施形態に係る量子化方法および符号化方法について詳説する。
【００４１】
この圧縮符号化装置１は、ＤＣレベルシフト部１０、色空間変換部１１、タイリング部１２、ＤＷＴ部１３、量子化部１４、ＲＯＩ部１５、係数ビットモデリング部２０、算術符号化部（エントロピー符号化部）２１、符号量制御部２２、画質制御部２３およびビットストリーム生成部１７を備えて構成される。
【００４２】
尚、この圧縮符号化装置１を構成する各処理部１０〜１５，１７，２０〜２３の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【００４３】
この圧縮符号化装置１に入力した画像信号は、ＤＣレベルシフト部１０で必要に応じてＤＣレベル変換を施された後に、色空間変換部１１に出力される。色空間変換部１１は入力信号を色空間変換して出力する。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Reversible Component Transformation）と、非可逆変換用のＩＣＴ（Irreversible Component Transformation）とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するＲＧＢ信号をＹＣｂＣｒ信号或いはＹＵＶ信号に変換する。
【００４４】
次に、タイリング部１２は、色空間変換部１１から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１３に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、１フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
【００４５】
次に、ＤＷＴ部１３は、タイリング部１２から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図２５に示したような複数の帯域成分（サブバンド）ＨＨ１〜ＬＬ３の変換係数が生成され量子化部１４に出力される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップまたは７×５タイプなどのフィルタが使用され、整数型ＤＷＴであれば、５×３タップまたは１３×７タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成（Lifting scheme）で実行してもよい。
【００４６】
量子化部１４は、ＤＷＴ部１３から入力する変換係数を、画質制御部２３で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部１４は、ＲＯＩ部１５による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。画質制御部２３における量子化パラメータの決定方法および量子化部１４における量子化の方法については後述する。
【００４７】
次に、量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【００４８】
係数ビットモデリング部２０は、図２４に示した係数ビットモデリング部１０８と同様に、入力する変換係数ＱＤの帯域成分を３２×３２や６４×６４程度のコードブロックに分割し、更に、各コードブロックを、各ビットを２次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図２７に示したような複数のビットプレーン１２２0〜１２２n-1に分解される。
【００４９】
次に、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤを算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。ここで、算術符号化部２１は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データＡＤに含めて出力するバイパス処理を行う場合もある。尚、本実施の形態では算術符号化を採用するが、本発明はこれに限らず、他の方式のエントロピー符号化を採用しても構わない。
【００５０】
次に、符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）に合わせて、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部２２でのレート制御の方法については後述する。
【００５１】
そして、ビットストリーム生成部１７は、符号量制御部２２から出力された符号化データＣＤと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
【００５２】
｛画質制御処理｝
次に、図１に示した画質制御部２３の構成と処理内容について説明する。画質制御部２３は、外部から供給される目標画質情報（高画質，標準画質，低画質，解像度情報など）に基づいて、ＤＷＴ部１３から入力する変換係数を量子化部１４で量子化するときの量子化ステップサイズΔbを決定する機能を有する。以下、量子化ステップサイズΔbの決定方法について説明する。
【００５３】
ＤＷＴ部１３によって、原画像が図２５に示すように、「ＸＹｎ」（Ｘ，Ｙは広域成分Ｈまたは低域成分Ｌの何れか。ｎは分解レベル。）のサブバンド（帯域成分）に分割されたときに、各サブバンドの量子化に用いる量子化ステップサイズΔbを、次式（１）のように設定する。
【００５４】
【数１】
2005192087.tif 000003
【００５５】
ここで、Ｑpは、目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。量子化パラメータＱpは、利用者が直接数値を入力して指定する態様であってもよいし、例えば、予め、目標画質情報を示す「高画質、標準画質、低画質」といった所定の指示語と量子化パラメータＱpの数値とを関連づけた所定のテーブルを備えておき、利用者が所望する画像データの圧縮後の目標画質を指示語によって指定することで、当該テーブルにおいて関連づけられた量子化パラメータＱpの値を読み出して利用する態様であっても構わない。
【００５６】
Ｑbは、各サブバンドにおける量子化係数であって、合成フィルタ係数のノルムとして、次式（２）で表される。
【００５７】
【数２】
2005192087.tif 000004
【００５８】
ここで、サブバンドｂの重み係数Ｇbは、次式（３）に従って算出される。
【００５９】
【数３】
2005192087.tif 000005
【００６０】
上式（３）中、ｓb［ｎ］は、サブバンドｂの１次元合成フィルタ係数を示している。また、記号||x||は、ベクトルxに関するノルムを示す。
【００６１】
上述した非特許文献１に記載される数式（４．３９）と（４．４０）によれば、分解レベル１における低域成分Ｌ１の１次元合成フィルタ係数ｓL[1]［ｎ］と、同分解レベルにおける高域成分Ｈ１の１次元合成フィルタ係数ｓH[1]［ｎ］とは、次式（４）に従って算出される。
【００６２】
【数４】
2005192087.tif 000006
【００６３】
ここで、上式（４）中、ｇ0［ｎ］は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、ｇ1［ｎ］は、そのハイパス・フィルタ係数をそれぞれ示している。
【００６４】
また、分解レベルｄ（ｄ＝１，２，…，Ｄ）における低域成分Ｌｄの１次元合成フィルタ係数ｓL[d]［ｎ］と、同分解レベルにおける高域成分Ｈｄの１次元合成フィルタ係数ｓH[d]［ｎ］とは、次式（５）に従って算出される。
【００６５】
【数５】
2005192087.tif 000007
【００６６】
そして、分解レベルｄにおける低域成分Ｌｄの１次元合成フィルタ係数のノルムの二乗は、次式（６）に従って算出される。
【００６７】
【数６】
2005192087.tif 000008
【００６８】
高域成分の１次元合成フィルタ係数のノルムの二乗も、上式（６）と同様にして算出することができる。
【００６９】
１次元合成フィルタ係数のノルムの二乗の計算結果を表１に示す。表中のｎは分解レベルを示しており、例えばＧＬｎとは、低域成分Ｌの分解レベル１における計算結果を示している。
【００７０】
【表１】
2005192087.tif 000009
【００７１】
次に、分解レベルｄ（ｄ＝１，２，…，Ｄ；Ｄは整数）における帯域成分ＬＬＤ，ＨＬｄ，ＬＨｄ，ＨＨｄの２次元合成フィルタ係数は、上記１次元合成フィルタ係数の積で表現することができ、帯域成分ｂの２次元の重み係数Ｇbも、１次元の重み係数の積で表現することができる。具体的には、２次元合成フィルタ係数と２次元の重み係数とは、次式（７）に従って算出される。
【００７２】
【数７】
2005192087.tif 000010
【００７３】
上式（７）中、添字ＬＬ［Ｄ］はサブバンドＬＬＤを示し，ＨＬ［ｄ］，ＬＨ［ｄ］およびＨＨ［ｄ］はそれぞれサブバンドＨＬｄ，ＬＨｄおよびＨＨｄを表している。
【００７４】
重み係数Ｇbの平方根がノルムである。以下の表２および表３に、表１から求めた２次元の重み係数Ｇbに関する計算結果を示す。表２には（９，７）フィルタ（９×７タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表３には表２に対応するノルムの数値をそれぞれ示す。
【００７５】
【表２】
2005192087.tif 000011
【００７６】
【表３】
2005192087.tif 000012
【００７７】
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、表３に示した値から上式（１）および（２）を利用して求めた輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表４のようになる。
【００７８】
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。
【００７９】
【表４】
2005192087.tif 000013
【００８０】
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。
【００８１】
ただし、量子化ステップサイズΔbの値が１より小さくなる場合には、１以上の値となるように２の階乗を乗算してから用いる。例えば、上述した方法で計算した結果、求められたサブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して量子化ステップサイズΔb＝１．．８８６５２として量子化を行う。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０．９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０７として量子化を行う。このように量子化ステップサイズΔbを、量子化を実現する量子化器の性能に基づいて所定の数値に変換する機能を有することで、量子化器の構成を簡素化することが可能であり、本来の量子化の目的であるデータ量の圧縮を達成することもできる。尚、量子化ステップサイズΔbを１以上の値としたのは一例であって、量子化器の機能によって、例えば１／２以上の値を利用する量子化器であれば、量子化ステップサイズΔbを１／２以上になるように変換すればよい。すなわち、量子化器の扱う下限値が１／２mであれば、全ての量子化ステップサイズΔbが、１／２m以上になるように２の階乗を乗算してから利用する態様であればよい。
【００８２】
また、画質制御部２３では、上述した方法のほか、人間の視覚特性を考慮して量子化ステップサイズΔbを決定することもできる。その方法は以下の通りである。
【００８３】
上述した非特許文献１のChapter 16には、ＣＳＦ（human visual system Contrast Sensitivity Function）に基づいた重み付けＷＭＳＥ（Weighted Mean Squared Error；WMSE）が記載されている。これを利用して、圧縮符号化後の画像データに対する人間の視覚評価を改善するために、上式（２）を次式（８）に修正する。
【００８４】
【数８】
2005192087.tif 000014
【００８５】
ここで、上式（８）中、Ｗb[i]csfは、サブバンドｂ［ｉ］の"energy weighting factor"と呼ばれており、Ｗb[i]csfの推奨数値は、「ISO/IEC JTC 1/SC 29/WG1(ITU-T SG8) N2406, "JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3)," 4 December 2001」の文献（以下、非特許文献２と呼ぶ。）に記載されている。図２〜図４に、非特許文献２に記載される"energy weighting factor"の数値を示す。
【００８６】
図２〜図４中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Ｙと色差成分Ｃｂ, Ｃｒをそれぞれ示しており、"Viewing distance（視距離）"が1000，1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi，170dpi，200dpi，300dpi，400dpiのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
【００８７】
例えば、カラーの画像データについて、量子化ステップサイズΔbを求める具体的な方法を以下に説明する。尚、色空間については、ＲＧＢ信号から成るカラーの入力画像を、色空間変換部１１においてＹＵＶ４２２またはＹＵＶ４２０形式の色空間データに変換したものとする。
【００８８】
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データについては、色差信号ＵおよびＶは、輝度信号Ｙに比べ、そのデータ量がそれぞれ１／２および１／４となっている。輝度信号ＹにＤＷＴを施したウェーブレット平面は図５のように表すことができるが、データ量が１／２であることを、図５に示したウェーブレット平面に対して水平方向にＤＷＴを一回施したものと同等であると仮定すれば、図６中の散点部がＹＵＶ４２２形式の色差信号ＵおよびＶのウェーブレット平面となる。同様に、データ量が１／４であることを、図５に示したウェーブレット平面に対して水平方向および垂直方向にＤＷＴを一回ずつ施したものと同等であると仮定すれば、図７中の散点部がＹＵＶ４２０形式の色差信号ＵおよびＶのウェーブレット平面となる。
【００８９】
ＹＵＶ４２２形式では、図６に示したように水平成分について垂直成分より一回多くフィルタリングすると仮定するので、２次元合成フィルタ係数と２次元の重み係数は、上式（７）に対して、次式（９）のように表すことができる。
【００９０】
【数９】
2005192087.tif 000015
【００９１】
また、ＹＵＶ４２０形式では、同様に、図７に示したように水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定するので、上式（７）に対して、次式（１０）のように表すことができる。
【００９２】
【数１０】
2005192087.tif 000016
【００９３】
よって、表１に示した値から上式（９）および（１０）を利用して、ＹＵＶ４２２およびＹＵＶ４２０形式の色差信号のノルムを求めると表５および表６のようになる。
【００９４】
【表５】
2005192087.tif 000017
【００９５】
【表６】
2005192087.tif 000018
【００９６】
次に、energy weighting factor  Ｗb[i]csfについて、非特許文献１の記載によれば、サブバンドｂ[i]のenergy weighting factor  Ｗb[i]csfは１次元の水平および垂直方向の各帯域成分のenergy weighting factorの積として、次式（１１）で表される。
【００９７】
【数１１】
2005192087.tif 000019
【００９８】
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データにおける輝度信号Ｙに係るenergy weighting factorは、上式（１１）で求めることができる。尚、ＹＵＶ４４４形式であれば、輝度信号および色差信号ともに上式（１１）で求められる。
【００９９】
ＹＵＶ４２２形式の色差信号ＵおよびＶについては、上述したように水平成分について垂直成分より一回多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１２）のように表すことができる。
【０１００】
【数１２】
2005192087.tif 000020
【０１０１】
また、ＹＵＶ４２０形式の色差信号ＵおよびＶについては、同様に、水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１３）のように表すことができる。
【０１０２】
【数１３】
2005192087.tif 000021
【０１０３】
非特許文献２の記載から求められるViewing distance 1000、Viewing distance 1700、およびViewing distance 3000の色差信号ＵおよびＶのenergy weighting factorの値を表７〜表９に示す。ここで、以下の表も含め、表中のＣｂおよびＣｒはそれぞれ色差信号ＵおよびＶを示している。
【０１０４】
【表７】
2005192087.tif 000022
【０１０５】
【表８】
2005192087.tif 000023
【０１０６】
【表９】
2005192087.tif 000024
【０１０７】
そして、表７〜表９に示した値から、上式（１１）〜（１３）を利用して求めたＹＵＶ４２２およびＹＵＶ４２０形式の画像データに係るenergy weighting factorが表１０〜表１２および表１３〜表１５である。
【０１０８】
【表１０】
2005192087.tif 000025
【０１０９】
【表１１】
2005192087.tif 000026
【０１１０】
【表１２】
2005192087.tif 000027
【０１１１】
【表１３】
2005192087.tif 000028
【０１１２】
【表１４】
2005192087.tif 000029
【０１１３】
【表１５】
2005192087.tif 000030
【０１１４】
このようにして求めた表５および表６のノルムの値を上式（１）および（２）に代入すれば通常の量子化ステップサイズΔbが、表５および表６のノルムの値と、表１０〜表１５のenergy weighting factorの値とを上式（１）および（８）に代入すれば、人間の視覚特性を考慮して視覚的重み付けを行った量子化ステップサイズΔbが求められる。
【０１１５】
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表５に示すノルムの値、表１２に示すenergy weighting factorの値、および上式（１），（８）を用いて求められる。その結果を表１６〜表１８に示す。
【０１１６】
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。
【０１１７】
【表１６】
2005192087.tif 000031
【０１１８】
【表１７】
2005192087.tif 000032
【０１１９】
【表１８】
2005192087.tif 000033
【０１２０】
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが１より小さければ、２の階乗を乗算して１以上の値にしてから利用するのは、上述したのと同様である。
【０１２１】
以上のように、本実施の形態に係る画質制御方法では、画質を量子化により制御するため、目標画質に応じた厳密な制御を行うことが可能である。このとき最適解を求めるような複雑な処理を必要としないため、少ない演算量で高速に処理することが可能である。また、人間の視覚特性を考慮し、圧縮後に高い表示画質を有する圧縮画像を生成することもできる。
【０１２２】
｛符号量制御処理｝
次に、図１に示した符号量制御部２２の処理内容について説明する。符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力される符号化データＡＤのレート制御を行う。具体的なレート制御の内容は以下の通りである。
【０１２３】
まず、目標画質として所定の量子化パラメータＱpの値が指定されると、この値に基づいて上述した方法で、画質制御部２３が量子化ステップサイズΔbを算出し、これを量子化部１４および符号量制御部２２に通知する。
【０１２４】
量子化部１４では、量子化ステップサイズΔbが通知されると、この値に基づいて、ＤＷＴ部１３がＤＷＴを施した後の画像データを量子化する。
【０１２５】
符号量制御部２２では、量子化部１４が量子化を行った後、係数ビットモデリング部２０および算術符号化部２１によって処理が施された符号化データＡＤを、画質制御部２３から通知された各符号化データＡＤに対応する量子化ステップサイズΔbの大きさに従って、その値が小さい順（昇順）に並べ替える。
【０１２６】
上述したように１以上になるよう変換した量子化ステップサイズΔbを利用して量子化された符号化データＡＤについては、変換後の量子化ステップサイズΔbに基づいて並べ替えを行うが、このとき、量子化ステップサイズΔbを変換するときに乗算した２の階乗の指数分だけ符号化データＡＤを左シフトする処理を行う。具体的な処理の態様は以下の通りである。
【０１２７】
例えば、表４において、サブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して１．８８６５２を量子化ステップサイズΔbとして量子化を行う。よって、レート制御の際には、サブバンドＬＬ５の符号化データＡＤを、量子化ステップサイズΔbの変換のために乗算した２2の指数に対応して、２ビット左へシフトする。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０，９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０７として量子化を行う。よって、レート制御の際には、サブバンドＨＬ５の符号化データＡＤを、乗算した２の指数に対応して１ビット左へシフトする。すなわち、２mを乗算した量子化ステップサイズΔbにより量子化した場合、該当する符号化データを、レート制御の際に指数ｍの分だけ左シフトすることで、データの優先度を調節するのである。
【０１２８】
表４に示す量子化ステップサイズΔbに基づいて、このようなビットシフトの処理を施した符号列を図８に示す。図中、＊印を伏した符号列は、量子化ステップサイズΔbの値を量子化に際して変換したものを示し、符号列の各ビットに伏した番号０，１，…，９は、当該ビットが属するビットプレーン番号を示している。ここで、ＬＳＢ番号＝０、ＭＳＢ番号＝９である。
【０１２９】
次に、各符号列を、量子化に用いた量子化ステップサイズΔbの小さい順（昇順）に並べ替える。図８では、矢印で示した部分の量子化ステップサイズΔbの値が昇順となっていないため、これらを入れ替える。このようにして並べ替えを行った符号列を図９に示す。図９中の矢印は図８からその位置が変更された符号列を示している。
【０１３０】
符号量制御部２２は、図９に示すように並べ替えた符号列を用いて、全体のデータ容量が所定の容量に収まるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図９に示すＨＨ５の番号０のビットデータから、下方向へＬＨ４の番号０のビットデータ，ＨＬ４の番号０のビットデータ…と順に削除してゆき、ＬＨ２までのビットデータを切り捨てれば全体のデータ容量が所定の容量に収まるとすれば、該当する図９中の散点部のデータを切り捨てる。
【０１３１】
このようにして、量子化ステップサイズΔbの値に従って並べ替えた各サブバンドのビットデータを下位ビットから削除してゆくことで、レート制御を行うのである。
【０１３２】
また、カラーの画像の場合や視覚的重み付けを考慮して量子化ステップサイズΔbを計算した場合も同様にレート制御を行うことができる。
【０１３３】
例えば、上述したように、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔｂは、表１６〜表１８に示した通りである。
【０１３４】
ここで、表１６〜表１８中の量子化ステップサイズΔbが１より小さいものは、上述したように２の階乗を乗算した上で量子化に用いられる。そして、変換後の量子化ステップサイズΔbによって量子化された符号化データＡＤは、レート制御を行うときに、元の量子化ステップサイズΔbに乗算した２の階乗の指数分だけ左シフトする。カラー画像の場合、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについてデータが存在するが、レート制御を行うときは、これらのデータを信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた符号列を図１０に示す。図中、ＹＬＬ５とは、輝度信号ＹのサブバンドＬＬ５のデータであることを示している。このように、輝度信号Ｙ、色差信号ＵおよびＶの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。そして、上述したのと同様に、右端のビットから順に、例えば図１０中の散点部で示したデータを切り捨てて、データ容量を所定の容量に収まるよう制御する。
【０１３５】
さらに、上述したレート制御は、画像データをタイルに分割して処理を施す場合であっても同様に行うことができる。
【０１３６】
例えば、カラーの画像データを、図１１に示すようにＴ１〜Ｔｎまでのタイルに分割して処理を行う場合、各タイルの輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、上述したように量子化ステップサイズΔbを求めて量子化を行う。
【０１３７】
このとき、量子化ステップサイズΔbが１より小さいものは２の階乗を乗算して１以上の数値に変換した上で量子化を行い、これらのデータについては、レート制御を行うときに、乗算した２の階乗の指数分だけ左シフトするのは上述したの同様である。
【０１３８】
タイリングしてカラー画像を処理する場合、各タイル毎に輝度信号Ｙ、色差信号ＵおよびＶのデータが存在するが、レート制御を行うときは、これらのデータをタイルまたは信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた符号列を図１２に示す。図中、ＹＴ１ＬＬ５とは、タイルＴ１における輝度信号ＹのサブバンドＬＬ５のデータであることを示している。このように、全てのタイルＴ１〜Ｔｎの、輝度信号Ｙ、色差信号ＵおよびＶの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。そして、上述したのと同様に、右端のビットから順に、例えば図１２中の散点部で示したデータを切り捨てて、データ容量を所定の容量に収まるよう制御する。
【０１３９】
このように、画像データがカラーであるか否か、視覚的重み付けを考慮するか否か、またはタイリングしてデータを処理するか否かに拘わらず、全て同様の手順でレート制御を行うことができる。また、このようなレート制御を行うことで、データ量を厳密に制御することが可能である。
【０１４０】
尚、先に量子化部１４で量子化を行った段階で、データの全体容量が既に利用者が意図する所定の容量以下になっていれば、上述したレート制御は行う必要はない。
【０１４１】
以上のように本実施の形態に係る符号量制御処理によれば、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
【０１４２】
｛画像データの評価｝
上述した量子化による画質制御処理を利用して、圧縮処理を施した画像データを、客観評価したときの結果を図１３〜図２３に示す。
【０１４３】
評価に用いた画像データは、ISO/JIS-SCID JIS X 9201-1995に規定されるサンプル番号１，画像認識番号Ｎ１，画像サイズ縦2048ピクセル横2560ピクセルの高精細カラーデジタル標準画像データ「ポートレート」である。
【０１４４】
各図の縦軸はＰＳＮＲ (Peak Signal to Noise Ratio) を示し、横軸はＢＰＰ（bit per pixel）を示している。
【０１４５】
図１３は、視覚的重み付けを施さずに上述した方法で圧縮したときのデータである”ＮＯ＿ＣＳＦ”と、非特許文献１に示すレート・歪み最適化（R-D optimization）法に従って圧縮したときのデータである”Ｒ．Ｄ−ｏｐｔ”とを示している。両者がほぼ重なっていることから、上述した方法によって最適解を探索するような複雑な処理をせず圧縮符号化を行ったにも拘わらず、非特許文献１に示す従来法と同様の符号化効率が得られることが分かる。
【０１４６】
図１４は白黒画像の評価結果を示している。また、図１５〜図１７は、カラー画像をＹＵＶ４２０形式で圧縮したときのＲＧＢ各色での評価結果を示している。図１８〜図２０および図２１〜図２３は、それぞれ同様に、ＹＵＶ４２２およびＹＵＶ４４４形式で圧縮したときのＲＧＢ各色での評価結果を示している。
【０１４７】
図１４〜図２３の図中、”ＪＰＥＧ”と記したデータは従来のＪＰＥＧ形式で圧縮したデータの評価結果であり、その他のデータは全てＪＰＥＧ２０００形式で圧縮した場合のデータを示している。
【０１４８】
ＪＰＥＧ２０００形式で圧縮した場合について、”ＶＭ”と記したデータはＩＳＯ  ＳＣ２９ＷＧ１によって規定されるＶｅｒｉｆｉｃａｔｉｏｎ  Ｍｏｄｅｌに従って圧縮したデータの評価結果であり、その他”ＣＳＦ”の文字を含むものは本発明で上述した実施例に従って圧縮を施したことを示している。
【０１４９】
本発明によって圧縮したデータのうち、”ＮＯ＿ＣＳＦ”と記したデータは、量子化ステップサイズΔbを求める際に視覚的重み付けを施さずに圧縮したデータの評価結果を示し、”ＣＳＦ＿”と数値との結合によって示すデータは、視覚的重み付けを施して圧縮したデータを示す。”ＣＳＦ＿”と結合する数値は視距離（Viewing distance）を示している。例えば”ＣＳＦ＿１０００”とあるのは、視距離１０００の視覚的重み付けを施して本発明で上述した実施例に従って圧縮したデータを示している。
【０１５０】
例えば、視覚的重み付けを施さない場合や、視距離１０００で視覚的重み付けを施した上で評価した場合、ＰＳＮＲ値が従来のＪＰＥＧ方式で圧縮した場合を上回っている。これから画像データを同容量に圧縮した場合、本発明による圧縮方式の方が圧縮後の画像データが高画質であり、客観評価の結果が高いことを示している。尚、視距離が３０００または４０００と大きくなった場合、ＰＳＮＲ値による客観評価の結果は悪くなる傾向があるが、主観評価によれば視距離が３０００または４０００の場合の評価が最も高いことも確認済みである。
【図面の簡単な説明】
【０１５１】
【図１】この発明の実施の形態に係る圧縮符号化装置の概略構成を示す図である。
【図２】Energy weighting factorの数値テーブルを示す図である。
【図３】Energy weighting factorの数値テーブルを示す図である。
【図４】Energy weighting factorの数値テーブルを示す図である。
【図５】輝度信号のウェーブレット平面を示す図である。
【図６】ＹＵＶ４２２形式の色差信号のウェーブレット平面を示す図である。
【図７】ＹＵＶ４２０形式の色差信号のウェーブレット平面を示す図である。
【図８】符号列のビットシフトの様子を示す図である。
【図９】符号列の並べ替えの様子を示す図である。
【図１０】ＹＵＶ形式の符号列のビットシフトおよび並べ替えの様子を示す図である。
【図１１】画像データのタイリングの様子を示す図である。
【図１２】タイリングしたＹＵＶ形式の符号列のビットシフトおよび並べ替えの様子を示す図である。
【図１３】この発明の実施の形態に係る圧縮画像と従来技術による圧縮画像の客観評価の比較結果を示す図である。
【図１４】この発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像の客観評価の比較結果を示す図である。
【図１５】ＹＵＶ４２０形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＲ信号の客観評価の比較結果を示す図である。
【図１６】ＹＵＶ４２０形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＧ信号の客観評価の比較結果を示す図である。
【図１７】ＹＵＶ４２０形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＢ信号の客観評価の比較結果を示す図である。
【図１８】ＹＵＶ４２２形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＲ信号の客観評価の比較結果を示す図である。
【図１９】ＹＵＶ４２２形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＧ信号の客観評価の比較結果を示す図である。
【図２０】ＹＵＶ４２２形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＢ信号の客観評価の比較結果を示す図である。
【図２１】ＹＵＶ４４４形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＲ信号の客観評価の比較結果を示す図である。
【図２２】ＹＵＶ４４４形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＧ信号の客観評価の比較結果を示す図である。
【図２３】ＹＵＶ４４４形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＢ信号の客観評価の比較結果を示す図である。
【図２４】ＪＰＥＧ２０００方式による圧縮符号化装置の概略構成を示す図である。
【図２５】オクターブ分割方式に従って帯域分割された２次元画像を示す模式図である。
【図２６】複数のコードブロックに分解された２次元画像を示す模式図である。
【図２７】コードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図２８】３種類の符号化パスを示す模式図である。
【図２９】レートと歪みの関係を表すＲ−Ｄ曲線を示す図である。
【符号の説明】
【０１５２】
１  圧縮符号化装置
１０  ＤＣレベルシフト部
１１  色空間変換部
１２  タイリング部
１３  ＤＷＴ部
１４  量子化部
１５  ＲＯＩ部
１７  ビットストリーム生成部
２０  係数ビットモデリング部
２１  算術符号化部
２２  符号量制御部
２３  画質制御部
【図１】
2005192087.tif 000034
【図２】
2005192087.tif 000035
【図３】
2005192087.tif 000036
【図４】
2005192087.tif 000037
【図５】
2005192087.tif 000038
【図６】
2005192087.tif 000039
【図７】
2005192087.tif 000040
【図８】
2005192087.tif 000041
【図９】
2005192087.tif 000042
【図１０】
2005192087.tif 000043
【図１１】
2005192087.tif 000044
【図１２】
2005192087.tif 000045
【図１３】
2005192087.tif 000046
【図１４】
2005192087.tif 000047
【図１５】
2005192087.tif 000048
【図１６】
2005192087.tif 000049
【図１７】
2005192087.tif 000050
【図１８】
2005192087.tif 000051
【図１９】
2005192087.tif 000052
【図２０】
2005192087.tif 000053
【図２１】
2005192087.tif 000054
【図２２】
2005192087.tif 000055
【図２３】
2005192087.tif 000056
【図２４】
2005192087.tif 000057
【図２５】
2005192087.tif 000058
【図２６】
2005192087.tif 000059
【図２７】
2005192087.tif 000060
【図２８】
2005192087.tif 000061
【図２９】
2005192087.tif 000062