(57)【要約】【課題】少ない演算量で高速に動作する圧縮符号化装置の提供。【解決手段】圧縮符号化装置１において、タイリング部１２は、色空間変換部１１から入力する画像信号をタイルに分割してＤＷＴ部１３に出力する。ＤＷＴ部１３は、入力信号をウェーブレット変換して得た変換係数を出力し、係数ビットモデリング部２０は、量子化部１４で必要に応じてスカラー量子化された前記変換係数ＱＤに対してビットプレーン単位のビットモデリング処理を施す。算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤのうち、画質制御部２３から指定された符号化対象のみを算術符号化する。符号量制御部２２は、算術符号化部２１から入力する符号化データＡＤのレートを制御する。画質制御部２３は、優先度テーブル２４から得た優先度データＰＤに従って、各帯域成分の変換係数を優先度に対応するビット数だけシフトさせて前記符号化対象を決定する。【選択図】　　　　図１
2004064104.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を圧縮符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、
前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部と、
を備えることを特徴とする圧縮符号化装置。
【請求項２】
請求項１記載の圧縮符号化装置であって、前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いる機能を有する、圧縮符号化装置。
【請求項３】
請求項１または２記載の圧縮符号化装置であって、前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定する、圧縮符号化装置。
【請求項４】
請求項１〜３の何れか１項に記載の圧縮符号化装置であって、
前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部を更に備え、
前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化する、圧縮符号化装置。
【請求項５】
請求項４記載の圧縮符号化装置であって、前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定する機能を有する、圧縮符号化装置。
【請求項６】
請求項４記載の圧縮符号化装置であって、前記画質制御部は、前記符号化対象を前記符号化パス単位で決定する機能を有する、圧縮符号化装置。
【請求項７】
請求項４〜６の何れか１項に記載の圧縮符号化装置であって、
前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部を更に備え、
前記符号量制御部は、
前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、
前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部と、
を備えて構成される圧縮符号化装置。
【請求項８】
請求項７記載の圧縮符号化装置であって、
前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成する、圧縮符号化装置。
【請求項９】
画像信号を圧縮符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
（ｂ）前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化する工程と、
（ｃ）前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記工程（ｂ）で指定する前記符号化対象を前記優先度に応じて決定する工程と、
を備えることを特徴とする圧縮符号化方法。
【請求項１０】
請求項９記載の圧縮符号化方法であって、前記工程（ｃ）は、人間の視覚特性を考慮した重み付けをされた前記優先度を決定する工程を含む、圧縮符号化方法。
【請求項１１】
請求項９または１０記載の圧縮符号化方法であって、前記工程（ｃ）は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定する工程である、圧縮符号化方法。
【請求項１２】
請求項９〜１１の何れか１項に記載の圧縮符号化方法であって、前記工程（ａ）の後で前記工程（ｂ）の前に、
（ｄ）前記工程（ａ）で生成された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する工程、
を更に備え、
前記工程（ｂ）は、前記工程（ｄ）で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化する工程である、圧縮符号化方法。
【請求項１３】
請求項１２記載の圧縮符号化方法であって、前記工程（ｃ）は、前記符号化対象を前記ビットプレーン単位で決定する工程を含む、圧縮符号化方法。
【請求項１４】
請求項１２記載の圧縮符号化方法であって、前記工程（ｃ）は、前記符号化対象を前記符号化パス単位で決定する工程を含む、圧縮符号化方法。
【請求項１５】
請求項１２〜１４の何れか１項に記載の圧縮符号化方法であって、
（ｅ）前記工程（ｂ）でエントロピー符号化された符号化データのレートを制御する工程、を更に備え、
前記工程（ｅ）は、
（ｅ−１）前記帯域成分、前記ビットプレーンおよび前記符号化パスのうち少なくとも一の単位で、前記工程（ｂ）でエントロピー符号化された符号化データの容量の小計を算出する工程と、
（ｅ−２）前記工程（ｅ−１）で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力する工程と、
を備えて構成される圧縮符号化方法。
【請求項１６】
請求項１５記載の圧縮符号化方法であって、前記工程（ｅ−２）は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成する工程を含む、圧縮符号化方法。
【請求項１７】
マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、
前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。
【請求項１８】
請求項１７記載のプログラムであって、前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いるように前記マイクロプロセッサを機能させるプログラム。
【請求項１９】
請求項１７または１８記載のプログラムであって、前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定するように前記マイクロプロセッサを機能させるプログラム。
【請求項２０】
請求項１７〜１９の何れか１項に記載のプログラムであって、
前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部として前記マイクロプロセッサを機能させると共に、
前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化するように前記マイクロプロセッサを機能させるプログラム。
【請求項２１】
請求項２０記載のプログラムであって、前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定するように前記マイクロプロセッサを機能させるプログラム。
【請求項２２】
請求項２０記載のプログラムであって、前記画質制御部は、前記符号化対象を前記符号化パス単位で決定するように前記マイクロプロセッサを機能させるプログラム。
【請求項２３】
請求項２０〜２２の何れか１項に記載のプログラムであって、
前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部として前記マイクロプロセッサを機能させると共に、
前記符号量制御部は、
前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、
前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部として、前記マイクロプロセッサを機能させるプログラム。
【請求項２４】
請求項２３記載のプログラムであって、
前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成するように前記マイクロプロセッサを機能させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像圧縮伸長技術で使用される圧縮符号化方法および圧縮符号化装置に関する。
【０００２】
【従来の技術】
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　２０００）方式が策定されている。ＪＰＥＧ２０００方式は、現在主流のＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ　Ｂｌｏｃｋ　Ｃｏｄｉｎｇ　ｗｉｔｈ　Ｏｐｔｉｍｉｚｅｄ　Ｔｒｕｎｃａｔｉｏｎ）と称する方法を採用する点に特徴がある。
【０００３】
図２２は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化装置の概略構成を示す機能ブロック図である。以下、この図２２を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
【０００４】
この圧縮符号化装置１００に入力する画像信号は、ＤＣレベルシフト部１０２で必要に応じてＤＣレベル変換を施された後に、色空間変換部１０３に出力される。次に、色空間変換部１０３は、ＤＣレベルシフト部１０２から入力する信号の色空間を変換する。ここで、例えば、色空間変換部１０３に入力するＲＧＢ信号はＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換される。
【０００５】
次に、タイリング部１０４は、色空間変換部１０３から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１０５に出力する。ＤＷＴ部１０５は、タイリング部１０４から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、２次元画像信号に対して、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが垂直方向と水平方向の順に適用される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル（ｄｅｃｏｍｐｏｓｉｔｉｏｎ　ｌｅｖｅｌ）と呼ばれる。
【０００６】
図２３は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指すものとする。
【０００７】
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。以上で生成された帯域成分ＨＨ１〜ＬＬ３を配列したのが図２３である。図２３では、３次の分解レベルの例が示されているが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
【０００８】
次に、量子化部１０６は、ＤＷＴ部１０５から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部１０６は、ＲＯＩ部１０７による指定領域（ＲＯＩ；Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、この量子化部１０６でのスカラー量子化と後述するポスト量子化（ｔｒｕｎｃａｔｉｏｎ）との２種類の量子化手段が用意されている。
【０００９】
次に、量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部１１０でレートを制御される。
具体的には、係数ビットモデリング部１０８は、入力する変換係数の帯域成分を１６×１６や３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００１０】
図２４は、複数のコードブロック１２１，１２１，１２１，…に分解された２次元画像１２０を示す模式図である。また、図２５は、このコードブロック１２１を構成するｎ枚のビットプレーン１２２０〜１２２ｎ−１（ｎ：自然数）を示す模式図である。図２５に示すように、コードブロック１２１中の１点の変換係数の２進値１２３が”０１１…０”である場合、この２進値１２３を構成するビットは、それぞれ、ビットプレーン１２２ｎ−１，１２２ｎ−２，１２２ｎ−３，…，１２２０に属するように分解される。図中のビットプレーン１２２ｎ−１は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン１２２０は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
【００１１】
更に、係数ビットモデリング部１０８は、各ビットプレーン１２２ｋ（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（ｃｏｎｔｅｘｔ）判定を行い、図２６に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２ｋを３種類の符号化パス、すなわち、ＣＬパス（ＣＬｅａｎｕｐ　ｐａｓｓ），ＭＲパス（Ｍａｇｎｉｔｕｄｅ　Ｒｅｆｉｎｅｍｅｎｔ　ｐａｓｓ），ＳＩＧパス（ＳＩＧｎｉｆｉｃａｎｃｅ　ｐｒｏｐａｇａｔｉｏｎ　ｐａｓｓ）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【００１２】
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００１３】
尚、図２７に、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す。このＲ−Ｄ曲線中、Ｒ１はビットプレーン符号化前のレート、Ｒ２はビットプレーン符号化後のレート、Ｄ１はビットプレーン符号化前の歪み、Ｄ２はビットプレーン符号化後の歪み、をそれぞれ示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点Ｐ１（Ｒ１，Ｄ１）から終了点（Ｒ２，Ｄ２）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、ＭＳＢプレーンからＬＳＢプレーンに向けて符号化すればよいことが知られている。
【００１４】
次に、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部１０９で、係数ビットモデリング部１０８から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００１５】
次に、符号量制御部１１０は、算術符号化部１０９が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。
そして、ビットストリーム生成部１１１は、符号量制御部１１０が出力した符号列と付加情報（ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として出力する。
【００１６】
【発明が解決しようとする課題】
従来、符号量制御部１１０におけるレート制御方法としては、レート・歪み最適化（Ｒ−Ｄ　ｏｐｔｉｍｉｚａｔｉｏｎ）と称する手法が採用されている。レート・歪み最適化のアルゴリズムについては、「Ｄａｖｉｄ　Ｓ．　Ｔａｕｂｍａｎ　ａｎｄ　Ｍｉｃｈａｅｌ　Ｗ．　Ｍａｒｃｅｌｌｉｎ，　”ＪＰＥＧ２０００　ＩＭＡＧＥ　ＣＯＭＰＲＥＳＳＩＯＮ　ＦＵＮＤＡＭＥＮＴＡＬＳ，　ＳＴＡＮＤＡＲＤＳ　ＡＮＤ　ＰＲＡＣＴＩＣＥ，”　ＫｌｕｗｅｒＡｃａｄｅｍｉｃ　Ｐｕｂｌｉｓｈｅｒｓ」の文献（以下、参考文献Ａと呼ぶ。）に開示されている。
【００１７】
しかしながら、この手法では、（１）レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、（２）各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
【００１８】
以上の問題などに鑑みて本発明が課題とするところは、符号化レートに対する歪みを抑制し得る符号化処理を、少ない演算量で且つ高速に実行し得る圧縮符号化装置および圧縮符号化方法を提供する点にある。
【００１９】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部と、を備えることを特徴としている。
【００２０】
請求項２に係る発明は、請求項１記載の圧縮符号化装置であって、前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いる機能を有したものである。
【００２１】
請求項３に係る発明は、請求項１または２記載の圧縮符号化装置であって、前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定するものである。
【００２２】
請求項４に係る発明は、請求項１〜３の何れか１項に記載の圧縮符号化装置であって、前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部を更に備え、前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化するものである。
【００２３】
請求項５に係る発明は、請求項４記載の圧縮符号化装置であって、前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定する機能を有したものである。
【００２４】
請求項６に係る発明は、請求項４記載の圧縮符号化装置であって、前記画質制御部は、前記符号化対象を前記符号化パス単位で決定する機能を有したものである。
【００２５】
請求項７に係る発明は、請求項４〜６の何れか１項に記載の圧縮符号化装置であって、前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部を更に備え、前記符号量制御部は、前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部と、を備えて構成したものである。
【００２６】
請求項８に係る発明は、請求項７記載の圧縮符号化装置であって、前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成するものである。
【００２７】
次に、請求項９に係る発明は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化する工程と、（ｃ）前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記工程（ｂ）で指定する前記符号化対象を前記優先度に応じて決定する工程と、を備えることを特徴としている。
【００２８】
請求項１０に係る発明は、請求項９記載の圧縮符号化方法であって、前記工程（ｃ）は、人間の視覚特性を考慮した重み付けをされた前記優先度を決定する工程を含むものである。
【００２９】
請求項１１に係る発明は、請求項９または１０記載の圧縮符号化方法であって、前記工程（ｃ）を、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定する工程としたものである。
【００３０】
請求項１２に係る発明は、請求項９〜１１の何れか１項に記載の圧縮符号化方法であって、前記工程（ａ）の後で前記工程（ｂ）の前に、（ｄ）前記工程（ａ）で生成された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する工程、を更に備え、前記工程（ｂ）を、前記工程（ｄ）で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化する工程としたものである。
【００３１】
請求項１３に係る発明は、請求項１２記載の圧縮符号化方法であって、前記工程（ｃ）は、前記符号化対象を前記ビットプレーン単位で決定する工程を含むものである。
【００３２】
請求項１４に係る発明は、請求項１２記載の圧縮符号化方法であって、前記工程（ｃ）は、前記符号化対象を前記符号化パス単位で決定する工程を含むものである。
【００３３】
請求項１５に係る発明は、請求項１２〜１４の何れか１項に記載の圧縮符号化方法であって、（ｅ）前記工程（ｂ）でエントロピー符号化された符号化データのレートを制御する工程、を更に備え、前記工程（ｅ）は、（ｅ−１）前記帯域成分、前記ビットプレーンおよび前記符号化パスのうち少なくとも一の単位で、前記工程（ｂ）でエントロピー符号化された符号化データの容量の小計を算出する工程と、（ｅ−２）前記工程（ｅ−１）で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力する工程と、を備えて構成したものである。
【００３４】
請求項１６に係る発明は、請求項１５記載の圧縮符号化方法であって、前記工程（ｅ−２）は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成する工程を含むものである。
【００３５】
次に、請求項１７に係る発明は、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記変換係数のうち、指定された符号化対象のみを選択的にエントロピー符号化するエントロピー符号化部と、前記各帯域成分に対して前記低域成分に再帰的に帯域分割された回数に応じて優先度を設定すると共に、前記エントロピー符号化部に指定する前記符号化対象を前記優先度に応じて決定する画質制御部として、前記マイクロプロセッサを機能させることを特徴とするものである。
【００３６】
請求項１８に係る発明は、請求項１７記載のプログラムであって、前記画質制御部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いるように前記マイクロプロセッサを機能させるものである。
【００３７】
請求項１９に係る発明は、請求項１７または１８記載のプログラムであって、前記画質制御部は、前記各帯域成分の変換係数を前記優先度に対応するビット数だけシフトさせて得た変換係数から、前記符号化対象を決定するように前記マイクロプロセッサを機能させるものである。
【００３８】
請求項２０に係る発明は、請求項１７〜１９の何れか１項に記載のプログラムであって、前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部として前記マイクロプロセッサを機能させると共に、前記エントロピー符号化部は、前記係数ビットモデリング部で生成された前記符号化データのうち、前記指定された符号化対象のみを選択的にエントロピー符号化するように前記マイクロプロセッサを機能させるものである。
【００３９】
請求項２１に係る発明は、請求項２０記載のプログラムであって、前記画質制御部は、前記符号化対象を前記ビットプレーン単位で決定するように前記マイクロプロセッサを機能させるものである。
【００４０】
請求項２２に係る発明は、請求項２０記載のプログラムであって、前記画質制御部は、前記符号化対象を前記符号化パス単位で決定するように前記マイクロプロセッサを機能させるものである。
【００４１】
請求項２３に係る発明は、請求項２０〜２２の何れか１項に記載のプログラムであって、前記エントロピー符号化部から出力された符号化データのレートを制御する符号量制御部として前記マイクロプロセッサを機能させると共に、前記符号量制御部は、前記帯域成分、前記ビットプレーンおよび前記符号化パスの中の少なくとも一の単位で、前記エントロピー符号化部から出力された符号化データの容量の小計を算出する符号量算出部と、前記符号量算出部で算出した前記小計を用いて、前記符号化データを所定の走査順序で並べ替えて生成した符号列から目標符号量に適合する切り捨て点を算出し、当該切り捨て点よりも前の前記符号列を出力するデータ出力制御部として、前記マイクロプロセッサを機能させるものである。
【００４２】
請求項２４に係る発明は、請求項２３記載のプログラムであって、前記データ出力制御部は、前記変換係数を、前記優先度の高い順に且つ同一の前記優先度においては高域側から低域側に向けた前記走査順序で並べ替えて前記符号列を生成するように前記マイクロプロセッサを機能させるものである。
【００４３】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００４４】
圧縮符号化装置．
図１は、本発明の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。この圧縮符号化装置１の構成と機能について概説した後に、本実施形態に係る符号化ブロックとその符号化方法を詳説する。
【００４５】
この圧縮符号化装置１は、ＤＣレベルシフト部１０、色空間変換部１１、タイリング部１２、ＤＷＴ部１３、量子化部１４、ＲＯＩ部１５、係数ビットモデリング部２０、算術符号化部（エントロピー符号化部）２１、符号量制御部２２、画質制御部２３、優先度テーブル２４およびビットストリーム生成部１７を備えて構成される。
【００４６】
尚、この圧縮符号化装置１を構成する各処理部１０〜１５，１７，２０〜２４の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【００４７】
この圧縮符号化装置１に入力した画像信号は、ＤＣレベルシフト部１０で必要に応じてＤＣレベル変換を施された後に、色空間変換部１１に出力される。色空間変換部１１は入力信号を色空間変換して出力する。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Ｒｅｖｅｒｓｉｂｌｅ　Ｃｏｍｐｏｎｅｎｔ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）と、非可逆変換用のＩＣＴ（Ｉｒｒｅｖｅｒｓｉｂｌｅ　Ｃｏｍｐｏｎｅｎｔ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するＲＧＢ信号がＹＣｂＣｒ信号或いはＹＵＶ信号に変換される。
【００４８】
次に、タイリング部１２は、色空間変換部１１から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１３に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、１フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
【００４９】
次に、ＤＷＴ部１３は、タイリング部１２から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図２３に示したような複数の帯域成分（サブバンド）ＨＨ１〜ＬＬ３の変換係数が生成され量子化部１４に出力される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップまたは７×５タイプなどのフィルタが使用され、整数型ＤＷＴであれば、５×３タップまたは１３×７タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成（Ｌｉｆｔｉｎｇ　ｓｃｈｅｍｅ）で実行してもよい。
【００５０】
量子化部１４は、ＤＷＴ部１３から入力する変換係数をスカラー量子化する機能を有する。また量子化部１４は、ＲＯＩ部１５による指定領域（ＲＯＩ；Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）の画質を優先させるビットシフト処理を行う機能も有している。量子化部１４ではスカラー量子化を行ってもよいし、スカラー量子化を行わなくてもよい。
【００５１】
次に、量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【００５２】
係数ビットモデリング部２０は、図２２に示した係数ビットモデリング部１０８と同様に、入力する変換係数ＱＤの帯域成分を３２×３２や６４×６４程度のコードブロックに分割し、更に、各コードブロックを、各ビットを２次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図２５に示したような複数のビットプレーン１２２０〜１２２ｎ−１に分解される。係数ビットモデリング部２０は、更に、各ビットのコンテクスト判定を行い、各ビットプレーンを３種類のＣＬパス（ＣＬｅａｎｕｐ　ｐａｓｓ）、ＭＲパス（Ｍａｇｎｉｔｕｄｅ　Ｒｅｆｉｎｅｍｅｎｔ　ｐａｓｓ）およびＳＩＧパス（ＳＩＧｎｉｆｉｃａｎｃｅ　ｐｒｏｐａｇａｔｉｏｎ　ｐａｓｓ）の符号化パスに分解して符号化し、その結果得た符号化データＢＤを出力する。
【００５３】
次に、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤのうち、画質制御部２３から指定された符号化対象のみを算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。ここで、算術符号化部２１は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データＡＤに含めて出力するバイパス処理を行う場合もある。
尚、本実施形態は、算術符号化を採用するが、これに限らず、他の方式のエントロピー符号化を採用しても構わない。
【００５４】
ここで、画質制御部２３は、優先度テーブル２４から取得した優先度データＰＤに従って、各帯域成分に対して符号化順位を示す優先度を設定し、この優先度に応じて算術符号化部２１に指定する符号化対象を決定する。優先度の設定方法と符号化対象の決定方法については後述する。
【００５５】
次に、符号量制御部２２は、優先度テーブル２４から取得した優先度データＰＤ２を用いて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）に合わせて、符号化データＡＤを、帯域成分単位、ビットプレーン単位或いは符号化パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。このポスト量子化の処理方法については後述する。
【００５６】
そして、ビットストリーム生成部１７は、符号量制御部２２から出力された符号化データＣＤと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
【００５７】
優先度設定方法（第１実施例）．
次に、優先度テーブル２４に記録する優先度の設定方法の第１実施例について説明する。本発明では、優先度は、各帯域成分（サブバンド）に対して、低域成分に再帰的に帯域分割された回数に応じて決定される。本実施例では、分解レベルｎ（ｎ：１以上の整数）における帯域成分ＨＨｎの優先度は「ｎ−１」、帯域成分ＨＬｎおよびＬＨｎの優先度は「（ｎ−１）＋１」、帯域成分ＬＬｎの優先度は「（ｎ−１）＋２」にそれぞれ決定される。例えば、図２３に示す帯域成分ＨＨ１の優先度は「０」、帯域成分ＬＬ３の優先度は「４」に設定される。図２は、オクターブ分割方式に従って帯域分割した２次元画像２５を示す模式図である。各帯域成分に優先度「０」，「１」，「２」，「３」，「４」の何れかが付されている。
【００５８】
優先度テーブル２４には、帯域成分ＨＨｎ，ＨＬｎ，ＬＨｎ，ＬＬｎのそれぞれに対応する優先度の情報が記録されており、画質制御部２３および符号量制御部２２は、この優先度テーブル２４から取得した優先度データＰＤ，ＰＤ２に従って、各帯域成分に対して優先度を設定する。具体的には、各帯域成分の変換係数を優先度に対応するビット数だけシフトさせることで、各変換係数に対して優先度が設定される。尚、このビットシフト処理では、必ずしも、各変換係数に対して実際にビットシフト演算を施す必要は無く、変換係数の各ビットの位置を仮想的にシフトさせればよい。この場合、変換係数の各ビットが属するビットプレーンの位置は変わらない。
【００５９】
図３は、ビットシフトによる優先度設定処理を説明するための図である。図２に示した例では、帯域成分ＬＬ３の優先度は「４」であるから、該当する変換係数２６は４ビット左シフトされている。また、優先度「３」を設定された帯域成分ＨＬ３，ＬＨ３の変換係数２６，２６は、３ビット左シフトされ、優先度「２」を設定された帯域成分ＨＨ３，ＨＬ２，ＬＨ２の変換係数２６，２６，２６は、２ビット左シフトされ、優先度「１」を設定された帯域成分ＨＨ２，ＨＬ１，ＬＨ１の変換係数２６，２６，２６は、１ビット左シフトされる。このとき、図４に示すように、ビットシフト前の２次元画像２５Ａの変換係数は、前述の左ビットシフト処理によって２次元画像２５Ｂで示す変換係数に変化する。例えば、帯域成分ＬＬ３の変換係数値（＝４）は、４ビットの左シフトにより、４×２４＝６４に変換される。
【００６０】
後述するように、画質制御部２３は、図３に示したような、ビットシフトした変換係数列から、算術符号化部２１に指示する符号化対象を効率的に決定することができる。
【００６１】
次に、以上のように優先度を設定する理由（理論的背景）を以下に説明する。
【００６２】
上述した従来のレート・歪み最適化（Ｒ−Ｄ　ｏｐｔｉｍｉｚａｔｉｏｎ）の方法では、歪測度を利用した最適化処理が行われていた。Ｄａｖｉｄ　Ｓ．　Ｔａｕｂｍａｎらによる前記参考文献Ａによれば、歪測度Ｄｉ（ｚ）は次式（１）に従って算出される。
【００６３】
【数１】
2004064104.tif 000003
【００６４】
上式（１）中、ｚは、ビット切り捨て点（ｂｉｔ　ｔｒｕｎｃａｔｉｏｎ　ｐｏｉｎｔ）；ｏｙｉＫ［ｉ，ｊ］［ｊ］は、Ｋ［ｉ，ｊ］番目のビットプレーンで逆量子化されたコードブロックのｊ番目のサンプル値（係数値）；ｙｉ［ｊ］は、当該コードブロックのｊ番目のサンプル値（係数値）；Ｇｂ［ｉ］は、サブバンドｂ［ｉ］に対応する合成フィルタ係数のノルムの二乗であって、当該サブバンドｂに依存する歪モデルの重み係数を示している。尚、説明の便宜上、上式（１）に示した記号の表記法は、参考文献Ａでのそれとは若干異なる。
【００６５】
レート・歪み最適化では、この歪測度Ｄｉ（ｚ）のサブバンドｂ［ｉ］における総和量を最小にするような最適化処理が行われる。サブバンドｂの重み係数Ｇｂは、画像の歪みを低減させるための重み付けを表している。
【００６６】
サブバンドｂの重み係数Ｇｂは、次式（２）に従って算出される。
【００６７】
【数２】
2004064104.tif 000004
【００６８】
ここで、上式（２）中、ｓｂ［ｎ］は、サブバンドｂの１次元合成フィルタ係数を示している。また、記号｜｜ｘ｜｜は、ベクトルｘに関するノルムを示す。
【００６９】
参考文献Ａに記載される数式（４．３９）と（４．４０）によれば、分解レベル１における低域成分Ｌ１の１次元合成フィルタ係数ｓＬ［１］［ｎ］と、同分解レベルにおける高域成分Ｈ１の１次元合成フィルタ係数ｓＨ［１］［ｎ］とは、次式（３）に従って算出される。
【００７０】
【数３】
2004064104.tif 000005
【００７１】
ここで、上式（３）中、ｇ０［ｎ］は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、ｇ１［ｎ］は、そのハイパス・フィルタ係数をそれぞれ示している。
【００７２】
また、分解レベルｄ（ｄ＝１，２，…，Ｄ）における低域成分Ｌｄの１次元合成フィルタ係数ｓＬ［ｄ］［ｎ］と、同分解レベルにおける高域成分Ｈｄの１次元合成フィルタ係数ｓＨ［ｄ］［ｎ］とは、次式（４）に従って算出される。
【００７３】
【数４】
2004064104.tif 000006
【００７４】
そして、分解レベルｄにおける低域成分Ｌｄの１次元合成フィルタ係数のノルムの二乗は、次式（５）に従って算出される。
【００７５】
【数５】
2004064104.tif 000007
【００７６】
高域成分の１次元合成フィルタ係数のノルムの二乗も、上式（５）と同様にして算出することができる。
【００７７】
次に、分解レベルｄ（ｄ＝１，２，…，Ｄ；Ｄは整数）における帯域成分ＬＬＤ，ＨＬｄ，ＬＨｄ，ＨＨｄの２次元合成フィルタ係数は、上記１次元合成フィルタ係数の積で表現することができ、帯域成分ｂの２次元の重み係数Ｇｂも、１次元の重み係数の積で表現することができる。具体的には、２次元合成フィルタ係数と２次元の重み係数とは、次式（６）に従って算出される。
【００７８】
【数６】
2004064104.tif 000008
【００７９】
上式（６）中、添字ＬＬ［Ｄ］はサブバンドＬＬＤを示し，ＨＬ［ｄ］，ＬＨ［ｄ］およびＨＨ［ｄ］はそれぞれサブバンドＨＬｄ，ＬＨｄおよびＨＨｄを表している。
【００８０】
重み係数Ｇｂの平方根がノルムである。以下の表１〜表４に、２次元の重み係数Ｇｂに関する計算結果を示す。表１に、（９，７）フィルタ（９×７タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表２には、表１に対応するノルムの数値をそれぞれ示す。また、表３に、（５，３）フィルタ（５×３タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表４には、表３に対応するノルムの数値をそれぞれ示す。
【００８１】
【表１】
2004064104.tif 000009
【００８２】
【表２】
2004064104.tif 000010
【００８３】
【表３】
2004064104.tif 000011
【００８４】
【表４】
2004064104.tif 000012
【００８５】
更に、分解レベル１における低域成分ＬＬ１のノルムをαで表すとき、このノルムαを用いて、各帯域成分について図５に示すような値を設定する。図５に示す２次元画像２７は、オクターブ分割方式に従って帯域分割された２次元画像１２０を示す図である。分解レベルｎ（ｎ：１以上の整数）における帯域成分ＨＨｎの設定値は「２ｎ−３×α」、帯域成分ＨＬｎおよびＬＨｎの設定値は「２ｎ−２×α」、帯域成分ＬＬｎの設定値は「２ｎ−１×α」にそれぞれ設定される。従って、例えば、帯域成分ＬＨ１の設定値は「２−１×α」に設定されている。
【００８６】
上記設定値と、表２と表４に示したノルムの数値とを比較すれば、両者は概ね近似する。例えば、表２の場合（α＝１．９６５９１）、図５に示す各帯域成分の「設定値（対応する帯域成分）」は、約０．４９（ＨＨ１）、約０．９８（ＨＬ１，ＬＨ１）、約１．９６（ＨＬ２，ＬＨ２，ＨＨ３）、約３．９３（ＨＬ３，ＬＨ３）、約７．８６（ＬＬ３）となり、これら設定値は、表２に示したノルムの数値と近似していることが分かる。
【００８７】
また、図５において、帯域成分ＬＬ１のノルムをα＝２に丸め込み、各帯域成分の設定値を１ビット左シフトした値、すなわち、全ての設定値に２１を乗算した２の巾乗値の指数は、図２に示した優先度の値に一致することが分かる。よって、第１実施例のように各帯域成分に優先度を設定することは、近似的に、レート・歪み最適化で使用するフィルタのノルム（重み係数の平方根）を各帯域成分のサンプル値（変換係数値）に乗算することに等しい。従って、本実施例の優先度は画像の歪みを低減させ得るように設定されるものである。
【００８８】
優先度設定方法（第２実施例）．
次に、優先度設定方法の第２実施例について説明する。本実施例では、各帯域成分の上記重み係数Ｇｂの平方根であるノルムを、最も高い分解レベルにおける最低域成分ＬＬのノルムで除算した値を２の巾乗値に丸め込み、その２の巾乗値の指数の絶対値を、優先度として設定する。具体的には、最も高い分解レベルｎの最低域成分ＬＬｎのノルムをαとし、その他の帯域成分のノルムをｘとし、２の巾乗に丸め込む変数ｙに関する関数をＲ［ｙ］とし、変数ｙの２の巾乗２ｍの指数ｍを算出する関数をｍ＝Ｉ［２ｍ］とし、変数ｙに関する絶対値を｜ｙ｜とするとき、優先度ｐは、ｐ＝｜Ｉ［Ｒ［ｘ／α］］｜、に従って算出される。
【００８９】
以下の表５に、上記表２に示した（９，７）フィルタのノルムを用いて算出した優先度を示す。また、図６に、表５に示した優先度を記した２次元画像２８を示す帯域分割図を示す。ここで、最も高い分解レベルは５であり、α＝３３．９２４９３、である。尚、表中の「×」は、当該帯域成分の優先度は計算されていないことを意味する。
【００９０】
【表５】
2004064104.tif 000013
【００９１】
また、以下の表６に、上記表４に示した（５，３）フィルタのノルムを用いて算出した優先度を示す。
【００９２】
【表６】
2004064104.tif 000014
【００９３】
上記第１実施例では、各帯域成分の変換係数を優先度のビット数だけ左シフトさせて優先度を設定していたが、本第２実施例では、各帯域成分の変換係数を優先度のビット数だけ右シフトさせる処理が実行される。但し、変換係数のビット長を拡大させるように右ビットシフト処理が実行される。図７は、図６に示す優先度のビット数だけ右シフトされた帯域成分の変換係数２９，２９，…を示す模式図である。
【００９４】
優先度設定方法（第３実施例）．
次に、人間の視覚特性を考慮した第３実施例に係る優先度設定方法について説明する。数百万画素程度の高解像度の画像について上記第２実施例で示した優先度を適用した場合、復号画像の画質は客観評価では良いが、人間の視覚評価では必ずしも良いとは限らない。そこで、本実施例の優先度設定方法は、人間の視覚特性を考慮した重み付けをされた優先度を採用するものである。これにより、高い表示画質の圧縮画像を生成することが可能になる。
【００９５】
前記参考文献ＡのＣｈａｐｔｅｒ　１６には、ＣＳＦ（ｈｕｍａｎ　ｖｉｓｕａｌ　ｓｙｓｔｅｍ　Ｃｏｎｔｒａｓｔ　Ｓｅｎｓｉｔｉｖｉｔｙ　Ｆｕｎｃｔｉｏｎ）に基づいた重み付けＭＳＥ（Ｗｅｉｇｈｔｅｄ　Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ；ＷＭＳＥ）が記載されている。この記載によれば、人間の視覚評価を改善するために、上式（１）を次式（７）に修正するのが望ましい。
【００９６】
【数７】
2004064104.tif 000015
【００９７】
ここで、上式（７）中、Ｗｂ［ｉ］ｃｓｆは、サブバンドｂ［ｉ］の”ｅｎｅｒｇｙ　ｗｅｉｇｈｔｉｎｇ　ｆａｃｔｏｒ”と呼ばれており、Ｗｂ［ｉ］ｃｓｆの推奨数値は、「ＩＳＯ／ＩＥＣ　ＪＴＣ　１／ＳＣ　２９／ＷＧ１（ＩＴＵ−Ｔ　ＳＧ８）　Ｎ２４０６，　”ＪＰＥＧ　２０００　Ｐａｒｔ　１　ＦＤＩＳ　（ｉｎｃｌｕｄｅｓ　ＣＯＲ　１，　ＣＯＲ　２，　ａｎｄ　ＤＣＯＲ３），”　４　Ｄｅｃｅｍｂｅｒ　２００１」の文献（以下、参考文献Ｂと呼ぶ。）に記載されている。図８〜図１０に、参考文献Ｂに記載される”ｅｎｅｒｇｙ　ｗｅｉｇｈｔｉｎｇ　ｆａｃｔｏｒ”の数値を示す。
【００９８】
図８〜図１０中の”ｌｅｖｅｌ”および　”Ｌｅｖ”は分解レベルを、”Ｃｏｍｐ”は輝度成分Ｙと色差成分Ｃｂ，　Ｃｒをそれぞれ示しており、”Ｖｉｅｗｉｎｇ　ｄｉｓｔａｎｃｅ（視距離）”が１０００，１７００，　２０００，　３０００，　４０００の例が示されている。また、”Ｖｉｅｗｉｎｇ　ｄｉｓｔａｎｃｅ　１０００”，　”Ｖｉｅｗｉｎｇ　ｄｉｓｔａｎｃｅ　１７００”，　”Ｖｉｅｗｉｎｇ　ｄｉｓｔａｎｃｅ　２０００”，　”Ｖｉｅｗｉｎｇ　ｄｉｓｔａｎｃｅ　３０００”，　”Ｖｉｅｗｉｎｇ　ｄｉｓｔａｎｃｅ　４０００”は、それぞれ、１００ｄｐｉ，１７０ｄｐｉ，２００ｄｐｉ，３００ｄｐｉ，４００ｄｐｉのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
【００９９】
図８〜図１０に示す数値を用いて、上式（７）の重み付け係数の平方根（Ｗｂ［ｉ］ｃｓｆ・Ｇｂ［ｉ］）１／２を計算した。その計算結果を、以下の表７〜表１８に示す。表７〜表９は、図８に示す数値を用いて計算した（９，７）フィルタの白黒用数値、表１０〜表１２は、図９と図１０に示す数値を用いて計算した（９，７）フィルタのカラー用数値を、表１３〜表１５は、図８に示す数値を用いて計算した（５，３）フィルタの白黒用数値を、表１６〜表１８は、図９と図１０に示す数値を用いて計算した（５，３）フィルタのカラー用数値をそれぞれ示している。
【０１００】
【表７】
2004064104.tif 000016
【０１０１】
【表８】
2004064104.tif 000017
【０１０２】
【表９】
2004064104.tif 000018
【０１０３】
【表１０】
2004064104.tif 000019
【０１０４】
【表１１】
2004064104.tif 000020
【０１０５】
【表１２】
2004064104.tif 000021
【０１０６】
【表１３】
2004064104.tif 000022
【０１０７】
【表１４】
2004064104.tif 000023
【０１０８】
【表１５】
2004064104.tif 000024
【０１０９】
【表１６】
2004064104.tif 000025
【０１１０】
【表１７】
2004064104.tif 000026
【０１１１】
【表１８】
2004064104.tif 000027
【０１１２】
次に、上記表７〜表１８に示す数値を用いて、上記第２実施例で述べたのと同じ手順で各帯域成分の優先度を算出した。すなわち、最も高い分解レベルｎの最低域成分ＬＬｎの数値をαとし、その他の帯域成分の数値をｘとし、２の巾乗に丸め込む変数ｙに関する関数をＲ［ｙ］とし、変数ｙの２の巾乗２ｍの指数ｍを算出する関数をｍ＝Ｉ［２ｍ］とし、変数ｙに関する絶対値を｜ｙ｜とするとき、優先度ｐは、ｐ＝｜Ｉ［Ｒ［ｘ／α］］｜、に従って算出される。
【０１１３】
優先度の値を、以下の表１９〜表３０に示す。表１９，表２０，表２１，表２２，表２３，表２４，表２５，表２６，表２７，表２８，表２９および表３０の優先度は、それぞれ、上記した表７，表８，表９，表１０，表１１，表１２，表１３，表１４，表１５，表１６，表１７および表１８の数値を用いて算出されたものである。
【０１１４】
【表１９】
2004064104.tif 000028
【０１１５】
【表２０】
2004064104.tif 000029
【０１１６】
【表２１】
2004064104.tif 000030
【０１１７】
【表２２】
2004064104.tif 000031
【０１１８】
【表２３】
2004064104.tif 000032
【０１１９】
【表２４】
2004064104.tif 000033
【０１２０】
【表２５】
2004064104.tif 000034
【０１２１】
【表２６】
2004064104.tif 000035
【０１２２】
【表２７】
2004064104.tif 000036
【０１２３】
【表２８】
2004064104.tif 000037
【０１２４】
【表２９】
2004064104.tif 000038
【０１２５】
【表３０】
2004064104.tif 000039
【０１２６】
本実施例では、上記第２実施例と同じように、以上の表１９〜表３０に示す優先度のビット数だけ右シフトさせることで、各帯域成分の変換係数に対して優先度が設定される。これにより、人間の視覚特性を考慮した優先度を設定できる。
【０１２７】
画質制御処理．
次に、図１に示した画質制御部２３の構成と処理内容について説明する。図１１は、この画質制御部２３の概略構成を示す機能ブロック図である。
【０１２８】
この画質制御部２３は、外部から供給される目標画質情報（高画質，標準画質，低画質，解像度情報など）に基づいて、複数の画質パラメータ群から当該目標画質情報に適した画質パラメータＱＰを選択して出力する画質パラメータ選択部３１と、符号化対象を決定する符号化対象判定部３０とを備えている。符号化対象判定部３０は、優先度テーブル２４から取得した優先度データＰＤに従って、符号化データＢＤの各帯域成分に対して上述の優先度を設定する。また符号化対象判定部３０は、設定した優先度に従って、前記画質パラメータＱＰで指定される目標画質に合わせて符号化対象を決定し、画質制御信号ＣＳ１を生成出力する。
【０１２９】
以下、符号化対象の決定方法について説明する。図１２は、優先度に応じてビットシフトされた変換係数３３，３３，…を例示する模式図である。各変換係数３３は優先度に応じてビットシフトされている。また、変換係数３３の各ビットに付した番号０，１，…，１０は、当該ビットが属するビットプレーンの番号を示している。ここで、ＬＳＢ番号＝０，ＭＳＢ番号＝１０、である。
【０１３０】
符号化対象判定部３０は、画質パラメータＱＰに従って符号化終了ライン３２を設定し、当該符号化終了ライン３２よりも上位ビットを符号化対象に決定し、そのライン３２よりも下位ビットを符号化対象から外すように画質制御信号ＣＳ１を生成する。これにより符号化対象を効率的に選別することが可能になる。この結果、画質制御信号ＣＳ１を受けた算術符号化部２１は、各コードブロックにおいて、符号化終了ライン３２よりも上位のビットプレーンのみを算術符号化し、そのライン３２よりも下位のビットプレーンを切り捨てることになる。尚、算術符号化部２１は、ビットシフト処理によりゼロが挿入されたビットに対しては、算術符号化を施さない。
【０１３１】
符号化対象判定部３０は、更に、画質パラメータＱＰに従って、符号化パス単位で符号化対象を決定することができる。画質パラメータＱＰは、符号化対象のビットプレーンの制限と、符号化対象の符号化パス（ＣＬパス，ＳＩＧパスおよびＭＲパス）の制限とを示すパラメータ群を含んでいる。以下の表３１に、２０４８×２５６０画素の解像度をもつ画像に適した画質パラメータＱＰを例示する。尚、最低域のサブバンドの解像度を１２８×１２８画素よりも小さくする必要があるため、５以上の分解レベルが必要である。
【０１３２】
【表３１】
2004064104.tif 000040
【０１３３】
表３１において「ビットプレーン数」は、図１２に示した符号化終了ライン３２よりも下位ビットの切り捨て対象のビットプレーンの数を、「パス名」は、符号化対象の中の最終符号化パスを、「最大パス数」は、符号化対象の符号化パス数の上限をそれぞれ表している。
【０１３４】
図１２と表３１を適用した場合の処理例を以下に説明する。図１３に、帯域成分ＬＬ５の変換係数３３として”０００１１０１０１１１２＝２１５１０”を例示する（Ｙ２は２進値Ｙを、Ｘ１０は１０進値Ｘを表すものとする）。表３１に示す通り、帯域成分ＬＬ５における最終符号化パスはＣＬパス、最大パス数は１７に制限されている。
【０１３５】
図１３に示す変換係数の７番目ビットは、ＳＩＧパスまたはＣＬパスに属するようにコンテクスト判定がなされている。８番目〜１０番目の上位ビットは、０ビットのみで構成されるビットプレーンに属する場合はタグツリー（Ｔａｇ　ｔｒｅｅ）と称する方式で符号化され、既に符号化パスが開始している場合はＳＩＧパスまたはＣＬパスで符号化される。７番目ビットが符号化開始パス（ＣＬパス）に属する場合、６番目ビットを含む下位ビットは、ＭＲパスに属するようにコンテクスト判定される。一般に、符号化開始のビットプレーンよりも下位のビットプレーンは、符号化効率の観点から、ＳＩＧパス，ＭＲパスおよびＣＬパスの順番で符号化される。よって、最大パス数は１７に制限されているため、７番目ビットのＣＬパスから１番目ビットのＳＩＧパス迄の計１７パスが符号化対象になる。
但し、１番目ビットはＭＲパスに属するため符号化されない。従って、算術符号化処理において、下位２ビットは切り捨てられ、符号化後の値は”０００１１０１０１００２＝２１２１０”となる。この値がミッドポイントで逆量子化されれば、”０００１１０１０１１０２＝２１４１０”となる。
【０１３６】
次に、図１４に、帯域成分ＬＬ５の変換係数３３として”０００００００１１１１２＝１５１０”を例示する。変換係数の３番目ビットは、ＳＩＧパスまたはＣＬパスに属する。
４番目〜１０番目の上位ビットは、０ビットのみで構成されるビットプレーンに属する場合はタグツリー（Ｔａｇ　ｔｒｅｅ）で符号化され、既に符号化パスが開始している場合はＳＩＧパスまたはＣＬパスで符号化される。３番目ビットが符号化開始パス（ＣＬパス）に属する場合、２番目ビットを含む下位ビットはＭＲパスに属し、３番目ビットのＣＬパスから０番目ビットのＣＬパス迄の計１０パスが符号化対象になる。算術符号化処理において符号化後の値は”０００００００１１１１２＝１５１０”となり、この値が逆量子化されれば、”０００００００１１１１２＝１５１０”となる。
【０１３７】
次に、図１５に、帯域成分ＨＨ２の変換係数３３として”００００１０１１１１１２＝９５１０”を例示する。表３１に示す通り、帯域成分ＨＨ２における最終符号化パスはＳＩＧパス、最大パス数は１４に制限されている。また下位３ビットのビットプレーンは切り捨てられる。
【０１３８】
変換係数の６番目ビットは、ＳＩＧパスまたはＣＬパスに属する。７番目〜１０番目の上位ビットは、０ビットのみで構成されるビットプレーンに属する場合はタグツリー（Ｔａｇ　ｔｒｅｅ）で符号化され、既に符号化パスが開始している場合はＳＩＧパスまたはＣＬパスで符号化される。６番目ビットが符号化開始パス（ＣＬパス）に属する場合、５番目ビットを含む下位ビットはＭＲパスに属する。また、３番目ビットプレーンのＳＩＧパス迄しか符号化しないという制限のため、６番目ビットのＣＬパスから４番目ビットのＳＩＧパス迄の８パスが符号化対象になるが、３番目ビットはＭＲパスに属するため符号化されない。従って、算術符号化処理において符号化後の値は”００００１０１００００２＝８０１０”となり、この値がミッドポイントで逆量子化されれば、”００００１０１１０００２＝８８１０”となる。
【０１３９】
尚、各ビットプレーンを、ＳＩＧパス，ＭＲパスおよびＣＬパスの順番で符号化するのは、ＳＩＧパスの歪みに対する符号化効率が最も高いからである。図１６に、各符号化パスにおけるレート・歪み特性を示す。Ｒ−Ｄ曲線中、点Ｐ１〜Ｐ２の部分がＳＩＧパス，点Ｐ２〜Ｐ３の部分がＭＲパス、点Ｐ３〜Ｐ４の部分がＣＬパスを示している。各符号化パスにおけるレート（符号量）に対する歪みの比率ΔＤＳＩＧ／ΔＲＳＩＧ，ΔＤＭＲ／ΔＲＭＲ，ΔＤＣＬ／ΔＲＣＬをみれば、ＳＩＧパスにおける曲線勾配が最も急であり、符号化効率が最も高いことが分かる。
【０１４０】
以上のように、本実施形態に係る画質制御方法では、優先度に応じてビットシフトした変換係数に対して、変換係数を符号化対象とするか否かが決定される。
符号化対象のみが算術符号化部２１で選択的に算術符号化されるため、歪みの少ない高画質の圧縮画像を生成し得るように、符号量を効率良く制御することが可能である。
【０１４１】
符号量制御処理．
次に、図１に示した符号量制御部２２の構成と処理内容について説明する。図１７は、この符号量制御部２２の概略構成を示す機能ブロック図である。
【０１４２】
この符号量制御部２２は、大容量記憶装置４０，符号量算出部４１およびデータ出力制御部４２を備えている。
【０１４３】
上述したように図１に示した算術符号化部２１は、画質制御部２３から指定された符号化対象のみを選択的に算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。符号量算出部４１は、入力する符号化データＡＤの容量の小計を、帯域成分単位，ビットプレーン単位および符号化パス単位で算出し、その結果得られる小計情報４３をデータ出力制御部４２に出力する。また、符号化データＡＤは、フレーム単位或いはサブフレーム単位で大容量記憶装置４０に一時記憶させられる。
【０１４４】
前記データ出力制御部４２は、大容量記憶装置４０に一時記憶された符号化データＡＤを読み出し、優先度データＰＤ２を用いて上記第１実施例〜第３実施例のようにビットシフトさせる。次いで、データ出力制御部４２は、ビットシフトした符号化データを以下に説明する走査順序で並べ替えて生成した符号列から、目標符号量に適合するように切り捨て点（ｔｒｕｎｃａｔｉｏｎ　ｐｏｉｎｔ）を算出する。次に、データ出力制御部４２は、その符号列のうち切り捨て点よりも前の符号列を符号化データＣＤとしてビットストリーム生成部１７に出力する。
【０１４５】
図１８と図１９は、前記走査順序と切り捨て点の一例を説明するための図である。図１８と図１９には、図１２に示したのと同じ規則で、優先度に応じてビットシフトされた変換係数３３，３３，…が表示されている。符号化終了ライン３２よりも上位ビット（図面左側のビット）の符号化データＡＤが、符号量制御部２２に入力する。
【０１４６】
図１８の矢印に示すように、変換係数３３，３３，…は、ビットプレーン単位または符号化パス単位で、優先度の高い順に（上位ビットから下位ビットに向けて）且つ同一の優先度においては高域側から低域側に向けた走査順序で並べ替えられる。一般に、下位のビットプレーンを符号化する程にＭＲパスの割合が増えて圧縮効率が下がる傾向にある。よって、圧縮効率を向上させるために出来るだけ多くのＳＩＧパスを符号化すべく、同一の優先度においては高域側から低域側に向けた走査順序を採用している。
【０１４７】
そして、データ出力制御部４２は、次式（８）に示すように、実際の符号量（バイト数）が目標符号量（バイト数）以下になる条件を満たすように切り捨て点を決定し、当該切り捨て点以降の符号列に含まれる下位ビットプレーンを切り捨てる。これにより、既に算術符号化済みの符号化データのレート制御を、各サブバンドに設定した優先度に従って効率的に行うことができる。
【０１４８】
【数８】
2004064104.tif 000041
【０１４９】
図１９に示すように、目標符号量に合わせてサブバンドＨＬ３の２番目ビットプレーンが切り捨て点として決定された場合、矢印で示す部分のビットが切り捨てられることになる。
【０１５０】
図２０は、ビットプレーン単位で並べ替えられた符号列を示す図、図２１は、符号化パス単位で並べ替えられた符号列を示す図である。図２０では、各ビットプレーンに対して、サブバンドを示す符号ＬＬ５，ＨＬ５，…と、ビットプレーン番号１０，９，…とが付されている。サブバンドＨＬ３の２番目ビットプレーンに付されたライン４４以降のビットプレーンが切り捨てられる。
【０１５１】
また、図２１では、各符号化パスに対して、符号化パスの種類を示す符号ＣＬ，ＳＩＧ，ＭＲと、サブバンドを示す符号ＬＬ５，ＨＬ５，…と、ビットプレーン番号１０，９，…とが付されている。サブバンドＨＬ３の２番目ビットプレーンのＭＲパスに付されたライン４４以降のビットプレーンが切り捨てられる。
【０１５２】
以上のように本実施形態に係る符号量制御処理によれば、レート・歪み最適化処理のために各符号化パスにおける歪量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
【０１５３】
【発明の効果】
以上の如く、本発明の請求項１に係る圧縮符号化装置、請求項９に係る圧縮符号化方法および請求項１７に係るプログラムによれば、上記帯域成分は、それぞれ、低域成分に再帰的に帯域分割された回数に応じて優先度を設定され、この優先度に応じて符号化対象になるか否かが決定される。符号化対象のみが選択的にエントロピー符号化されるため、符号量を効率的に制御でき、少ない演算量で高速な符号化処理を行うことが可能になる。
【０１５４】
請求項２、請求項１０および請求項１８によれば、人間の視覚評価に適した、高い表示画質を有する圧縮画像を生成することが可能となる。
【０１５５】
請求項３、請求項１１および請求項１９によれば、各帯域成分の変換係数は優先度に対応するビット数だけシフトされ、シフトするビット数に応じて変換係数の優先度が定まることから、圧縮画像の画質に応じて符号化対象を効率的に指定することが可能になる。
【０１５６】
請求項４，５，６、請求項１２，１３，１４および請求項２０，２１，２２によれば、ビットプレーン単位および符号化パス単位で、優先度に応じて符号化対象を細かく指定できることから、符号量を正確に制御し、圧縮画像の画質を細かく制御することが可能となる。
【０１５７】
請求項７，８、請求項１５，１６および請求項２３，２４によれば、既にエントロピー符号化されたデータのレート制御を、各帯域成分に設定した優先度に従って効率的に行うことが可能である。また、従来のようにレート・歪み最適化を用いた最適化処理を行わなくても、歪みを抑制し得るようにリアルタイム性の高いレート制御を行うことが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態に係る圧縮符号化装置の概略構成を示す機能ブロック図である。
【図２】ウェーブレット変換によって帯域分割した２次元画像を示す模式図である。
【図３】ビットシフトによる優先度設定処理を説明するための図である。
【図４】ビットシフトされた変換係数を例示する図である。
【図５】ウェーブレット変換によって帯域分割した２次元画像を示す模式図である。
【図６】ウェーブレット変換によって帯域分割した２次元画像を示す模式図である。
【図７】図６に示す優先度に応じて右ビットシフトされた帯域成分の変換係数を示す模式図である。
【図８】Ｅｎｅｒｇｙ　ｗｅｉｇｈｔｉｎｇ　ｆａｃｔｏｒの数値テーブルを示す図である。
【図９】Ｅｎｅｒｇｙ　ｗｅｉｇｈｔｉｎｇ　ｆａｃｔｏｒの数値テーブルを示す図である。
【図１０】Ｅｎｅｒｇｙ　ｗｅｉｇｈｔｉｎｇ　ｆａｃｔｏｒの数値テーブルを示す図である。
【図１１】本実施形態に係る画質制御部の概略構成を示す機能ブロック図である。
【図１２】優先度に応じてビットシフトされた変換係数を例示する模式図である。
【図１３】帯域成分ＬＬ５の変換係数の符号化処理例を説明するための図である。
【図１４】帯域成分ＬＬ５の変換係数の符号化処理例を説明するための図である。
【図１５】帯域成分ＨＨ２の変換係数の符号化処理例を説明するための図である。
【図１６】レート・歪み特性の曲線を示す図である。
【図１７】本実施形態に係る符号量制御部の概略構成を示す機能ブロック図である。
【図１８】走査順序の一例を説明するための図である。
【図１９】切り捨て点の一例を説明するための図である。
【図２０】ビットプレーン単位で並べ替えられた符号列を示す図である。
【図２１】符号化パス単位で並べ替えられた符号列を示す図である。
【図２２】ＪＰＥＧ２０００方式による圧縮符号化装置の概略構成を示す機能ブロック図である。
【図２３】オクターブ分割方式に従って帯域分割された２次元画像を示す模式図である。
【図２４】複数のコードブロックに分解された２次元画像を示す模式図である。
【図２５】コードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図２６】３種類の符号化パスを示す模式図である。
【図２７】レートと歪みの関係を表すＲ−Ｄ曲線を示す図である。
【符号の説明】
１　圧縮符号化装置
１０　ＤＣレベルシフト部
１１　色空間変換部
１２　タイリング部
１３　ＤＷＴ部
１４　量子化部
１５　ＲＯＩ部
１７　ビットストリーム生成部
２０　係数ビットモデリング部
２１　算術符号化部
２２　符号量制御部
２３　画質制御部
２４　優先度テーブル
【図１】
2004064104.tif 000042
【図２】
2004064104.tif 000043
【図３】
2004064104.tif 000044
【図４】
2004064104.tif 000045
【図５】
2004064104.tif 000046
【図６】
2004064104.tif 000047
【図７】
2004064104.tif 000048
【図８】
2004064104.tif 000049
【図９】
2004064104.tif 000050
【図１０】
2004064104.tif 000051
【図１１】
2004064104.tif 000052
【図１２】
2004064104.tif 000053
【図１３】
2004064104.tif 000054
【図１４】
2004064104.tif 000055
【図１５】
2004064104.tif 000056
【図１６】
2004064104.tif 000057
【図１７】
2004064104.tif 000058
【図１８】
2004064104.tif 000059
【図１９】
2004064104.tif 000060
【図２０】
2004064104.tif 000061
【図２１】
2004064104.tif 000062
【図２２】
2004064104.tif 000063
【図２３】
2004064104.tif 000064
【図２４】
2004064104.tif 000065
【図２５】
2004064104.tif 000066
【図２６】
2004064104.tif 000067
【図２７】
2004064104.tif 000068