(57)【特許請求の範囲】
【請求項１】
画像を入力する入力手段と、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、
前記変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、
前記変換手段は、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記画像に２次元離散ウェーブレット変換を施すことを特徴とする画像処理装置。
【請求項２】
前記エントロピー符号化は算術符号化であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記エントロピー符号化する前に、前記Ｍ×Ｎサイズ毎に各周波数成分を量子化する量子化手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像を入力する入力ステップと、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを有し、
前記変換ステップにおいて、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記画像に２次元離散ウェーブレット変換を施すことを特徴とする画像処理方法。
【請求項５】
画像を入力する入力手段と、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、
前記変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、
前記変換手段は、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すことを特徴とする画像処理装置。
【請求項６】
画像を入力する入力ステップと、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを有し、
前記変換ステップにおいて、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すことを特徴とする画像処理方法。
【請求項７】
画像を入力する入力手段と、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、
前記変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、
前記変換手段は、最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すことを特徴とする画像処理装置。
【請求項８】
画像を入力する入力ステップと、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを有し、
前記変換ステップにおいて、最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すことを特徴とする画像処理方法。
【請求項９】
画像を入力する入力手段と、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、
前記変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、
前記変換手段は、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化手段は、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする画像処理装置。
【請求項１０】
画像を入力する入力ステップと、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを有し、
前記変換ステップにおいて、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化ステップでは、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする画像処理方法。
【請求項１１】
画像を入力する入力手段と、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、
前記変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、
前記変換手段は、所定回数を満たすか或いは最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化手段は、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする画像処理装置。
【請求項１２】
画像を入力する入力ステップと、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを有し、
前記変換ステップにおいて、所定回数を満たすか或いは最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化ステップでは、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする画像処理方法。
【請求項１３】
画像を入力する入力手段と、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、
前記変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、
前記変換手段は、最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化手段では、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする画像処理装置。
【請求項１４】
画像を入力する入力ステップと、
前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを有し、
前記変換ステップにおいて、最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化ステップでは、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする画像処理方法。
【請求項１５】
コンピュータに、
入力画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記変換ステップにおいて、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記入力画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記入力画像に２次元離散ウェーブレット変換を施すことを特徴とする記録媒体。
【請求項１６】
コンピュータに、
入力画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記変換ステップにおいて、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記入力画像に２次元離散ウェーブレット変換を施すことを特徴とする記録媒体。
【請求項１７】
コンピュータに、
入力画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記変換ステップにおいて、最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記入力画像に２次元離散ウェーブレット変換を施すことを特徴とする記録媒体。
【請求項１８】
コンピュータに、
入力画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記変換ステップにおいて、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記入力画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記入力画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化ステップでは、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする記録媒体。
【請求項１９】
コンピュータに、
入力画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記変換ステップにおいて、所定回数を満たすか或いは最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記入力画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化ステップでは、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする記録媒体。
【請求項２０】
コンピュータに、
入力画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換ステップと、
前記変換ステップで得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記変換ステップにおいて、最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで、前記入力画像に２次元離散ウェーブレット変換を施すこと、
前記エントロピー符号化ステップでは、前記最低周波数成分ＬＬのサイズが（Ｍ／２）×（Ｎ／２）サイズになる回数まで前記画像に２次元離散ウェーブレット変換を施した場合には、前記画像を含む４つの画像に対応する（Ｍ／２）×（Ｎ／２）サイズの同種の周波数成分をまとめてＭ×Ｎサイズの成分としてエントロピー符号化することを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像をウェーブレット変換を用いて圧縮する画像処理装置及び方法及びその方法を記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、ウェーブレット変換を用いた画像圧縮／符号化が注目されている。例えば、符号化対象画像をウェーブレット変換することにより複数の周波数帯域（サブバンド）に分割した後、各周波数帯域の変換係数を量子化し、更に各量子化結果をエントロピー符号化するものである。
【０００３】
上記画像データをウェーブレット変換する方法としては、例えば、元の画像に対して１次元フィルタリングによる高周波、低周波成分の分離処理を水平方向に対して施し、続いて垂直方向に対しても１次元フィルタリングを施すことにより４つのサブバンドＬＬ、ＬＨ、ＨＬ、ＨＨに分割し、低周波成分に相当するＬＬに対しては更に同様の４分割処理が繰り返されるものが知られている。
【０００４】
また上記４分割の繰り返し処理の回数は、画像の内容等によって最適化される必要がある。
【０００５】
【発明が解決しようとする課題】
しかしながら従来、上記サブバンドの分割回数を決定する為の最適な方式は確立されていない。
【０００６】
本発明は上記従来例に鑑みて成されたものであり、ウェーブレット変換により得られたサブバンドを後段で符号化する為の単位サイズ或いは符号化データの出力方法等を考慮した、効率良いウェーブレット変換を行うことを目的とする。特に、上記各状況に応じて最適な分割回数のウェーブレット変換を行うことを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明の一画像処理装置によれば、画像を入力する入力手段と、前記画像に２次元離散ウェーブレット変換を施し、複数の周波数成分を得る変換手段と、変換手段により得られた各周波数成分をＭ×Ｎサイズ毎にエントロピー符号化するエントロピー符号化手段とを有し、前記変換手段は、第１の符号化モードの時には、所定回数を満たすか或いは最低周波数成分ＬＬのサイズがＭ×Ｎサイズになる回数まで、前記画像に２次元離散ウェーブレット変換を施し、第２の符号化モードの時には、所定回数を満たすまで前記画像に２次元離散ウェーブレット変換を施すことを特徴とする。
【０００８】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明に好適な実施の形態を説明する。
【０００９】
図１は、本実施の形態に適用される画像処理装置の全体構成を示す図である。１は画像入力部であり、２は離散ウェーブレット変換部であり、３は量子化部であり、４はエントロピー符号化部であり、５は符号出力部である。
【００１０】
以下各部の動作を順に説明する。
【００１１】
［画像入力部］
まず、画像入力部１には符号化対象となる画像データが入力される。この入力部は例えばカメラ、スキャナ等であっても良いし、データを受信するためのインターフェイスであっても良い。入力された画像データは後段の離散ウェーブレット変換部２に転送される。
【００１２】
本実施の形態では、説明の簡略化の為、符号化される画像データはモノクロの多値画像を表現するものとして説明するが、本発明はこれに限らない。例えばカラー画像を表現する複数の色成分データを符号化する場合にも本発明は適用可能である。この場合、各色成分データ、或いは輝度、色度成分データの各々を上記単一画像データとして複数回に分けて圧縮すれば良い。
【００１３】
［離散ウェーブレット変換部］
離散ウェーブレット変換部２は、入力した画像データに対して２次元の離散ウェーブレット変換処理を行うことにより、変換係数を生成するものである。
【００１４】
図２は離散ウェーブレット変換部２の内部構成を簡単に示したものである。入力された画像データはメモリ２０１に一旦記憶される。次に、処理部２０２によりメモリ内の処理対象データが順次読み出され、離散ウェーブレット変換が施された後、再度メモリ２０１に書きこまれる。
【００１５】
なお、離散ウェーブレット変換の手法自体は、特開平１１−１０３４６０号等に示される様に公知であるので詳細は省略するが、例えば、入力画像データを離散ウェーブレット変換することにより、図３（ｂ）或いは（ｃ）に示すような変換係数が得られる。
【００１６】
まず、入力された画像データに対して１次元（例えば水平方向）の離散ウェーブレット変換を施し、図３（ａ）に示される様な高周波成分Ｈ及び低周波成分Ｌを得る。そして得られた各成分に対して、もう一方の方向（例えば垂直方向）に１次元の離散ウェーブレット変換を施すことにより図３（ｂ）に示される様な２次元の離散ウェーブレット変換係数を得る。図３（ｂ）において、水平、垂直方向共に高周波成分を抽出したものがＨＨ１に相当し、水平方向から低周波成分を抽出し、垂直方向から高周波成分を抽出したものがＬＨ１に相当し、水平方向から高周波成分を抽出し、垂直方向から低周波成分を抽出したものがＨＬ１に相当し、水平、垂直共に低周波成分を抽出したものがＬＬ１に相当する。離散ウェーブレット変換を用いた符号化において、ここで得られた図３（ｂ）の係数は元の画像を構成する画素数と通常同じ個数存在する。
【００１７】
なお、上記ＬＬ１は実質上入力画像データの縮小画像になっている為、符号化効率を高める事を目的に、ＬＬ１のみに対して再度２次元の離散ウェーブレット変換を行うことが知られている。これにより図３（ｃ）に示される様な形態の係数が得られる。図３（ｃ）において、ＬＬ１の水平、垂直方向共に高周波成分を抽出したものがＨＨ２に相当し、ＬＬ１の水平方向から低周波成分を抽出し、垂直方向から高周波成分を抽出したものがＬＨ２に相当し、ＬＬ１の水平方向から高周波成分を抽出し、垂直方向から低周波成分を抽出したものがＨＬ２に相当し、ＬＬ１の水平、垂直共に低周波成分を抽出したものがＬＬ２に相当する。ここで得られた図３（ｃ）の係数も、図３（ｂ）と同様、元の画像を構成する画素数と通常同じ個数存在する。
【００１８】
従来、同様にして所定の回数だけ低周波成分ＬＬ２（ＬＬｎ）を離散ウェーブレット変換することが知られている。
【００１９】
本発明では、離散ウェーブレット変換部２にて実行される、入力画像データに対する離散ウェーブレット変換の回数を、以下の様に可変制御することを特徴とする。
【００２０】
図４に離散ウェーブレット変換の回数を決定するための簡単な手順を示す。この決定処理は離散ウェーブレット変換部２の内部で行っても良いし、図１の構成を備える画像処理装置内の不図示のＣＰＵが行っても良い。
【００２１】
まず、符号化モードを検出する。具体的には、シーケンシャル符号化モード（例えばリアルタイム送出モード）であるか、他の符号化モード（例えばハードディスクにデータを蓄積するモード）であるかを検出する（図４Ｓ４０１）。
【００２２】
シーケンシャル符号化モードの場合にはＳ４０２に進み、他の符号化モードの場合にはＳ４０３に進む。シーケンシャル符号化モードとは入力されてくる１画像（１度に離散ウェーブレット変換が施される画像群）の符号化データを生成した後、次の１画像の符号化データを生成するモードであり、画像データのリアルタイム伝送等に適している。一方、他の符号化モード（非シーケンシャル符号化モード）とは、最初に入力されてくる１画像（１度に離散ウェーブレット変換が施される画像群）の符号化データを完全に生成し終わる前に次の１画像の符号化データを生成するモードであり、リアルタイム伝送には不向きだがシーケンシャル符号化モードよりも高圧縮になる可能性がある。
【００２３】
［シーケンシャル符号化モード］
シーケンシャル符号化モードの場合には、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎになるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う（図４Ｓ４０２）。
【００２４】
例えば、２次元離散ウェーブレット変換の回数のデフォルト値が２回であるとした際に、図３（ｂ）において、ＬＬ１、ＬＨ１、ＨＬ１、ＨＨ１の各サイズが既にＭ×Ｎになっていれば、１回の２次元離散ウェーブレット変換で終了する。即ち、図３（ｃ）への変換は行わない。
【００２５】
なお、このＭ×Ｎサイズは、離散ウェーブレット変換により得られた各周波数成分ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２、…ＬＨｎ、ＨＬｎ、ＨＨｎ、ＬＬｎを後段でエントロピー符号化（算術符号化）する際の単位を意味する。即ち、上記各周波数成分のサイズがＭ×Ｎより大きい場合には、数個のＭ×Ｎのブロックに分割してエントロピー符号化（算術符号化）を行うこととなる。また、離散ウェーブレット変換後においては、常にこのＭ×Ｎサイズ単位を基準にデータ処理される為、Ｍ×Ｎサイズのデータを生成することが重要な要素となる。
【００２６】
上記動作について他の具体例を用いて説明する。図５において４Ｍ×４Ｎサイズの画像を離散ウェーブレット変換する場合、かつ２次元離散ウェーブレット変換の回数のデフォルト値が３回に設定されている場合を考える。
【００２７】
図５（ａ）は入力画像データであり、画像入力部１を介してメモリ２０１に格納されるものである。図２の処理部２０２は、図５（ａ）の入力画像データに１回の離散ウェーブレット変換を施し、図５（ｂ）に示される様な係数を得る。ＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１は共に２Ｍ×２Ｎサイズとなる。この時点でＨＬ１、ＬＨ１、ＨＨ１はこれ以上離散ウェーブレット変換が施される必要が無いので、後段での量子化或いはエントロピー符号化（算術符号化）の単位であるＭ×Ｎサイズに単純に分割（４分割）し、１２個の係数のブロックとして量子化部３へ転送し、順次量子化を行わせる。
【００２８】
一方ＬＬ１はまだＭ×Ｎサイズに達しておらず、かつ２次元離散ウェーブレット変換の回数もまだ１回しか行っていないので、２回目の離散ウェーブレット変換を行う。これにより図５（ｃ）に示される係数ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を得る。
【００２９】
この結果、２次元離散ウェーブレット変換の回数はまだ２回ではあるが、上記ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２のサイズがＭ×Ｎに達したので、これ以上の離散ウェーブレット変換は行わず、これら４つの各係数も量子化部３へ出力する。
【００３０】
［非シーケンシャル符号化モード］
一方、他の符号化モードである非シーケンシャル符号化モードの場合には、デフォルトで設定されている所定の回数だけ離散ウェーブレット変換が行われる。（図４Ｓ４０３）例えばデフォルトが２回の離散ウェーブレット変換を行う設定であった場合には、２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズに関わらず、２回の離散ウェーブレット変換を強制的に行う。
【００３１】
図３で説明するならば、図３（ｂ）において、ＬＬ１、ＬＨ１、ＨＬ１、ＨＨ１の各サイズがＭ×Ｎになっていたとしても、これに関わらず、２回の２次元離散ウェーブレット変換で終了する。即ち、図３（ｃ）への変換を行う。
【００３２】
上記動作について他の具体例を用いて説明する。図６において４Ｍ×４Ｎサイズの画像を離散ウェーブレット変換する場合、かつ２次元離散ウェーブレット変換の回数のデフォルト値が３回に設定されている場合を考える。
【００３３】
図６（ａ）は入力画像データであり、画像入力部１を介してメモリ２０１に格納されるものである。図２の処理部２０２は、図６（ａ）の入力画像データに１回の離散ウェーブレット変換を施し、図６（ｂ）に示される様な係数を得る。ＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１は共に２Ｍ×２Ｎサイズとなる。この時点でＨＬ１、ＬＨ１、ＨＨ１はこれ以上離散ウェーブレット変換が施される必要が無いので、後段での量子化或いはエントロピー符号化（算術符号化）の単位であるＭ×Ｎサイズに単純に分割（４分割）し、１２個の係数のブロックとして量子化部３へ転送し、順次量子化を行わせる。
【００３４】
次に、２次元離散ウェーブレット変換の回数がまだ１回なので、２回目の離散ウェーブレット変換を行う。これにより図５（ｃ）に示される係数ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を得る。
【００３５】
この結果、上記ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２のサイズがＭ×Ｎに達するが、本符号化モードでは各周波数成分のサイズには関係無く、ＬＬ２には３回目の離散ウェーブレット変換を行う。なお、ＨＬ２、ＬＨ２、ＨＨ２はこれ以上離散ウェーブレット変換が施される必要が無いので、後段の量子化部３へ転送し、順次量子化を行わせる。ここではＨＬ２、ＬＨ２、ＨＨ２がちょうどＭ×Ｎサイズなのでそのまま転送される。
【００３６】
上記３回目の離散ウェーブレット変換により図３（ｄ）に示されるＬＬ３、ＨＬ３、ＬＨ３、ＨＨ３が得られるが、これらは後段で量子化／エントロピー符号化されるべきサイズより小さく（（Ｍ／２）×（Ｎ／２））なってしまう。従って、これらＬＬ３、ＨＬ３、ＬＨ３、ＨＨ３は図２のメモリ２０１に一旦保持される。これら保持された係数は、すぐには量子化部３に転送されず、後に入力される他の画像データを同様に離散ウェーブレット変換して得られる係数（図６における他の画像１〜３の係数）と合成することにより、Ｍ×ＮサイズのＬＬ３、ＨＬ３、ＬＨ３、ＨＨ３を構成できた時に、量子化部３に転送される。
【００３７】
一般的に、上記入力画像データ４Ｍ×４Ｎは、大きな1画面分の画像をタイル分割した各タイルの画像データに相当することが多い。従って、上記４Ｍ×４Ｎサイズの画像データは連続的に入力されてくる場合が多く、上述したＬＬ３、ＨＬ３、ＬＨ３、ＨＨ３は容易に行える。本発明は上記場合を想定して説明するものとするが、他の場合にも適用は可能である。例えば画像のサイズ／形状に応じて、他の画像１〜３が発生しない場合にも、ダミーデータを挿入する等により対応可能である。
【００３８】
以上の制御動作により離散ウェーブレット変換が実行された後に得られた図３（ｂ）或いは（ｃ）に示された様な係数は、後段の量子化部３に転送される。
【００３９】
［量子化部］
量子化部３では、離散ウェーブレット変換部２から順次転送されてくるＭ×Ｎサイズの周波数成分データを量子化し、後段のエントロピー符号化部４に転送する。
【００４０】
［エントロピー符号化部］
エントロピー符号化部４では、量子化されたＭ×Ｎサイズの周波数成分データ（量子化インデックス）をビットプレーンに分解し、ビットプレーン単位に２値算術符号化を行うことにより符号化データを出力する。
【００４１】
図７はＭ，Ｎ＝４の時の、ある周波数成分データ（量子化インデックス）をビットプレーン毎に符号化する様子を示したものである。同図においては、３つの量子化インデックス（−６、＋３、＋１３）以外は０である。同図の場合には、４つのビットプレーン（  ）〜（  ）に分解され、ＭＳＢからＬＳＢに向かって順に２値算術符号化が施される。
【００４２】
なお、正負符号を表す１ビットについては、各ビットプレーンを符号化している最中に１６個に分割された各位置において初めて非０でない値が検出された場合、即ち量子化インデックスの各々が０以外の値を有することが検出された直後に正負符号を表す１ビット「１（正）」又は「０（負）」を付加し、同時にエントロピー符号化（算術符号化）する。同図では、（  ）の太枠で示される「１」の直後に正であることを示す「１」を続けて付加して符号化し、（  ）の太枠で示される「１」の直後に負であることを示す「０」を続けて付加して符号化し、（  ）の太枠で示される「１」の直後に正であることを示す「１」を続けて付加して符号化することとなる。
【００４３】
［符号出力部］
以上の様にして得られる1画像或いは複数画像に相当する符号化データは、符号出力部５から伝送路を介して外部機器に送信されるか、或いは内部／外部の記憶部に転送される。
【００４４】
例えば、上記符号化モードのうち、シーケンシャル符号化モードを用いた場合には、符号化側で符号化した画像の順序に合わせて、符号化データの受信／復号化側においても各画像を独立して復元することが可能である。一方、非シーケンシャル符号化モードを用いた場合には、各画像を独立して復号することはできないが、受信する符号化データを上記シーケンシャル符号化モードよりも少なくできる可能性も有る。
【００４５】
上記実施の形態によれば、ウェーブレット変換により得られたサブバンドを後段で符号化する為のサイズ（Ｍ×Ｎ）或いは符号化データの出力方法等を考慮した、効率良いウェーブレット変換を行うことが可能である。特に、上記各状況に応じた最適な分割回数のウェーブレット変換を行うことが可能である。
【００４６】
（第２の実施の形態）
上記第１の実施の形態では、符号化モードを考慮して２次元離散ウェーブレット変換の回数を制御する様にしたが、本発明はこれに限らない。例えば非シーケンシャル符号化モードの符号化効率がシーケンシャル符号化モードと大きく変化が無さそうであれば、符号化モードをシーケンシャル符号化モードに固定して上記第１の実施の形態を実行しても良い。
【００４７】
この場合には、図４のＳ４０１の判定処理を省略し、常にＳ４０２の処理に移行することとなる。即ち、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎになるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う。そして、この離散ウェーブレット変換により得られた各周波数成分のうち、サイズがＭ×Ｎより大きいものは数個のＭ×Ｎのブロックに分割してから量子化、エントロピー符号化（算術符号化）が施されることになる。
【００４８】
上記実施の形態によれば、ウェーブレット変換により得られたサブバンドを後段で符号化する為のサイズ（Ｍ×Ｎ）を考慮した、効率良いウェーブレット変換を行うことが可能である。
【００４９】
（第３の実施の形態）
更に、上記第１の実施の形態のシーケンシャル符号化モード、或いは第２の実施の形態では、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎになるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う様にしたが、本発明はこれに限らない。
【００５０】
例えばデフォルトの回数を設定しない様にしても良い。即ち、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎになることだけを考慮し、この条件を満たすまで２次元離散ウェーブレット変換を行う様にしても良い。
【００５１】
上記実施の形態によれば、ウェーブレット変換により得られたサブバンドを後段で符号化する為のサイズ（Ｍ×Ｎ）を考慮した、効率良いウェーブレット変換を行うことが可能である。
【００５２】
（第４の実施の形態）
上記第１の実施の形態では、シーケンシャル符号化モードの場合には、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎになるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行い、非シーケンシャル符号化モードの場合には、デフォルトで設定されている所定の回数だけ離散ウェーブレット変換が行われる様にしたが、本発明はこれに限らない。
【００５３】
例えば、第４の実施の形態として、『シーケンシャル符号化モード』を『第１の符号化モード』と置き変え、第１の符号化モードの場合には、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎの４分の１、即ち（Ｍ／２）×（Ｎ／２）になるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う。一方の『非シーケンシャル符号化モード』も『第２の符号化モード』と置き換え、第２の符号化モードの場合には、デフォルトで設定されている所定の回数だけ離散ウェーブレット変換が行われる様にしても良い。
【００５４】
本実施の形態の場合、第１符号化モード、第２の符号化モードの双方において頻繁に第６図（ｄ）の様な状況が発生する。しかしながら、第１の符号化モードにおいて、この時得られる各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎは、他の３つの画像が離散ウェーブレット変換され同様の周波数成分が得られるまで、保持しておくだけで良いのでそれ程負担にならない。また第１の実施の形態よりも第１の符号化モードの符号化効率が良くなる可能性が高い。
【００５５】
本実施の形態では、少量の負担で出来るだけ画質を維持できる。即ち、ウェーブレット変換により得られたサブバンドを後段で符号化する為のサイズ（Ｍ×Ｎ）に応じたサイズ（（Ｍ／２）×（Ｎ／２））或いは符号化データの出力方法等を考慮した、効率良いウェーブレット変換を行うことが可能である。
【００５６】
（第５の実施の形態）
上記第４の実施の形態では、符号化モードを考慮して２次元離散ウェーブレット変換の回数を制御する様にしたが、本発明はこれに限らない。例えば第１符号化モードのみを常に実行しても良い。
【００５７】
即ち、常に、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎの４分の１、即ち（Ｍ／２）×（Ｎ／２）になるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う様にする。
【００５８】
本実施の形態によれば、少量の負担で出来るだけ画質を維持できる。即ち、ウェーブレット変換により得られたサブバンドを後段で符号化する為のサイズ（Ｍ×Ｎ）に応じたサイズ（（Ｍ／２）×（Ｎ／２））を考慮した、効率良いウェーブレット変換を行うことが可能である。
【００５９】
（第６の実施の形態）
更に、上記第４の実施の形態の第１符号化モード、或いは第５の実施の形態では、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎの４分の１、即ち（Ｍ／２）×（Ｎ／２）になるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う様にしたが、本発明はこれに限らない。
【００６０】
例えばデフォルトの回数を設定しない様にしても良い。即ち、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎの４分の１、即ち（Ｍ／２）×（Ｎ／２）になることだけを考慮し、この条件を満たすまで２次元離散ウェーブレット変換を行う様にしても良い。
【００６１】
本実施の形態でも第５の実施の形態と同様の効果を得ることが可能である。
【００６２】
（第７の実施の形態）
なお、上記第４の実施の形態における第１の符号化モードの場合、或いは第５の実施の形態では、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎの４分の１、即ち（Ｍ／２）×（Ｎ／２）になるか、或いはデフォルトで設定された回数に達するかの何れかを満たすまで、２次元離散ウェーブレット変換を行う様にしたが、本発明はこれに限らない。例えば、適用する画像処理装置の処理速度、データ記憶容量を考慮して、上記『４分の１』を『８分の１』や『１６分の１』に設定変更しても構わない。
【００６３】
同じく第６の実施の形態においても、適用する画像処理装置の処理速度、データ記憶容量を考慮した結果に基づいて、ｎ回の２次元離散ウェーブレット変換により得られた各周波数成分ＬＬｎ、ＬＨｎ、ＨＬｎ、ＨＨｎの各サイズが所定のサイズＭ×Ｎの８分の１、１６分の１になるまで２次元離散ウェーブレット変換を行う様にしても良い。
【００６４】
（変形例）
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなる装置の１部に適用しても良い。
【００６５】
また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【００６６】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【００６７】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６８】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【００６９】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【００７０】
【発明の効果】
以上説明した様に本発明によれば、ウェーブレット変換により得られたサブバンドを後段で符号化する為の単位サイズ或いは符号化データの出力方法等を考慮した、効率良いウェーブレット変換を行うことが可能である。特に、上記各状況に応じた最適な分割回数のウェーブレット変換を行うことが可能である。
【図面の簡単な説明】
【図１】本発明に適応可能な画像処理装置の全体図
【図２】離散ウェーブレット変換部２の内部構成を示す図
【図３】離散ウェーブレット変換を行う様子を示す図
【図４】離散ウェーブレット変換の回数を決定するフローチャート
【図５】シーケンシャル符号化モードでの離散ウェーブレット変換の様子を示す図
【図６】非シーケンシャル符号化モードでの離散ウェーブレット変換の様子を示す図
【図７】エントロピー符号化の様子を示す図
【符号の説明】
１  画像入力部
２  離散ウェーブレット変換部
３  量子化部
４  エントロピー符号化部
５  符号出力部
【図１】
0004208378.tif 000002
【図２】
0004208378.tif 000003
【図３】
0004208378.tif 000004
【図４】
0004208378.tif 000005
【図５】
0004208378.tif 000006
【図６】
0004208378.tif 000007
【図７】
0004208378.tif 000008