(57)【特許請求の範囲】
【請求項１】
入力画像に対して所定の系列変換を施し、得られた変換係数をビットプレーン符号化する符号化手段と、
該符号化手段により得られた符号化データを保持する保持手段と、
所定の表示機器が表示するべき前記画像の第１の画質を認識する認識手段と、
前記符号化データにおける、所定の画質の画像を再生する為に必要なデータを、前記保持手段から読み出し出力する出力手段と、
該出力された符号化データを復号する復号手段と、
該復号手段により復号された画像を前記第１の画質に一致するよう調整する調整手段とを有し、
前記認識手段は、所定の条件に基づき前記保持された符号化データにおける、前記第１の画質よりも高画質な第２の画質を有する復号画像に対応する符号化データを前記出力手段に対して読み出すことを指示し、
前記調整手段は、前記出力手段により出力された符号化データを前記復号手段により復号した画像に対し、前記表示機器が表示するべき前記画像の画質を前記第１の画質に一致するよう調整することを特徴とする画像処理装置。
【請求項２】
前記調整手段は、前記認識手段により認識された第１の画質と前記復号手段により得られた第２の画質の差異に基づいて出力する画像を前記第１の画質に合致するよう調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画質は表示するべき画像の解像度であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の画質は表示するべき画像の解像度の２×２倍の解像度の画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第２の画質は表示するべき画像の解像度の２×２倍以上の解像度の画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第２の画質を有する復号画像は、前記保持手段が保持する符号化データが表現可能な最高解像度以下の画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記出力手段が出力する符号化データは、前記第２の画質に対応する符号化データにおいて、前記ビットプレーン符号化により生成された各ビットプレーンに係るデータの全て又は一部であることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記系列変換は離散ウェーブレット変換であることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記復号手段は、前記第２の画質に対応する符号化データを復号する際に、前記第１の画質に係わらない符号化データについては所定のビットプレーンで復号を打ち切ることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記復号手段は、符号化対象となる画像を複数の矩形領域に分割し、該矩形領域を独立に符号化した符号化データを入力し、該矩形領域に相当する部分画像を順次出力することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記符号化手段は、入力した画像を複数の矩形領域に分割し、該矩形領域を独立に符号化した符号化データを出力することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記認識手段は、前記矩形領域を単位として独立に符号化された符号列に対し、所定の矩形領域に対しては第１の画質に係る符号列を、それ以外の矩形領域に対しては第２の画質に係る符号列を出力するよう前記出力手段に対し指示を行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記出力手段は、前記矩形領域を単位として独立に符号化された符号列に対し、所定の矩形領域に対しては第１の画質に係る符号列を、それ以外の矩形領域に対しては第２の画質に係る符号列を出力することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
入力画像に対して所定の系列変換を施し、得られた変換係数をビットプレーン符号化する符号化工程と、
該符号化工程で得られた符号化データを記憶手段に格納する工程と、
所定の表示機器が表示するべき前記画像の第１の画質を認識する認識工程と、
前記符号化データにおける、所定の画質の画像を再生する為に必要なデータを、前記記憶手段から読み出し出力する出力工程と、
該出力された符号化データを復号する復号工程と、
該復号工程において復号された画像を前記第１の画質に一致するよう調整する調整工程とを有し、
前記出力工程では、所定の条件に基づき前記保持された符号化データにおける、前記第１の画質よりも高画質な第２の画質を有する復号画像に対応する符号化データを読み出し、
前記調整工程では、前記出力工程で出力された符号化データを前記復号工程において復号した画像に対し、前記表示機器が表示するべき前記画像の画質を前記第１の画質に一致するよう調整することを特徴とする画像処理方法。
【請求項１５】
コンピュータを、
入力画像に対して所定の系列変換を施し、得られた変換係数をビットプレーン符号化する符号化手段、
該符号化手段により得られた符号化データを保持する保持手段、
所定の表示機器が表示するべき前記画像の第１の画質を認識する認識手段、
前記符号化データにおける、所定の画質の画像を再生する為に必要なデータを、前記保持手段から読み出し出力する出力手段、
該出力された符号化データを復号する復号手段、
該復号手段により復号された画像を前記第１の画質に一致するよう調整する調整手段、
として機能させるプログラムであって、
前記認識手段は、所定の条件に基づき前記保持された符号化データにおける、前記第１の画質よりも高画質な第２の画質を有する復号画像に対応する符号化データを前記出力手段に対して読み出すことを指示し、
前記調整手段は、前記出力手段により出力された符号化データを前記復号手段により復号した画像に対し、前記表示機器が表示するべき前記画像の画質を前記第１の画質に一致するよう調整することを特徴とするプログラム。
【請求項１６】
符号化部と復号部とを備えた画像処理装置であって、
前記符号化部は、
入力画像を符号化して符号化データを作成する手段と、
前記入力画像を表示する場合の画質の指定を受け付ける手段と、
前記符号化データのうち、指定された前記画質以上の画質で前記入力画像を表示するために必要な符号化データを出力する手段と、を備え、
前記復号部は、
前記符号化部から出力された前記符号化データを復号して画像データを作成する手段と、
前記画像データに基づく画像が、指定された前記画質よりも高い画質となる場合に、当該画像データを、指定された前記画質の画像データに変換する手段と、
を備えたことを特徴とする画像処理装置。
【請求項１７】
画像を符号化する符号化装置から出力される符号化データを復号する画像処理装置であって、
前記符号化装置に対して、前記画像の画質を指定する手段と、
前記符号化装置から出力された符号化データを復号して、指定した前記画質以上の画質の画像データを作成する手段と、
前記画像データに基づく画像が、指定した前記画質よりも高い画質となる場合に、当該画像データを、指定した前記画質の画像データに変換する手段と、
を備えたことを特徴とする画像処理装置。
【請求項１８】
符号化工程と復号工程とを含む画像処理方法であって、
前記符号化工程は、
入力画像を符号化して符号化データを作成する工程と、
前記入力画像を表示する場合の画質の指定を受け付ける工程と、
前記符号化データのうち、指定された前記画質以上の画質で前記入力画像を表示するために必要な符号化データを出力する工程と、を備え、
前記復号工程は、
前記符号化部から出力された前記符号化データを復号して画像データを作成する工程と、
前記画像データに基づく画像が、指定された前記画質よりも高い画質となる場合に、当該画像データを、指定された前記画質の画像データに変換する工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
画像を符号化する符号化装置から出力される符号化データを復号する画像処理方法であって、
前記符号化装置に対して、前記画像の画質を指定する工程と、
前記符号化装置から出力された符号化データを復号して、指定した前記画質以上の画質の画像データを作成する工程と、
前記画像データに基づく画像が、指定した前記画質よりも高い画質となる場合に、当該画像データを、指定した前記画質の画像データに変換する工程と、
を含む画像処理方法。
【請求項２０】
コンピュータを、符号化部及び復号部として機能させるプログラムであって、
前記符号化部は、
入力画像を符号化して符号化データを作成する手段と、
前記入力画像を表示する場合の画質の指定を受け付ける手段と、
前記符号化データのうち、指定された前記画質以上の画質で前記入力画像を表示するために必要な符号化データを出力する手段と、を備え、
前記復号部は、
前記符号化部から出力された前記符号化データを復号して画像データを作成する手段と、
前記画像データに基づく画像が、指定された前記画質よりも高い画質となる場合に、当該画像データを、指定された前記画質の画像データに変換する手段と、
を備えたことを特徴とするプログラム。
【請求項２１】
画像を符号化する符号化装置から出力される符号化データを復号するために、コンピュータを、
前記符号化装置に対して、前記画像の画質を指定する手段、
前記符号化装置から出力された符号化データを復号して、指定した前記画質以上の画質の画像データを作成する手段、
前記画像データに基づく画像が、指定した前記画質よりも高い画質となる場合に、当該画像データを、指定した前記画質の画像データに変換する手段、
として機能させるプログラム。
【請求項２２】
画像を符号化して符号化データを出力する画像処理装置であって、
前記画像の種類を判定する判定手段と、
前記画像に離散ウェーブレット変換を含む符号化を実行し、前記画像の符号化データを生成する符号化手段と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、
前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理装置。
【請求項２３】
画像を符号化して符号化データを出力する画像処理装置であって、
前記画像を所定単位の複数の領域に分割する手段と、
分割された前記画像毎に、その種類を判定する判定手段と、
分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、
前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理装置。
【請求項２４】
前記解像度の入力は、前記離散ウェーブレット変換による各サブバンドから合成できる解像度に対応した解像度の入力のみが受け付けられることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なサブバンドに係るデータを出力することを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
前記判定手段は、前記画像が、テキストを含む画像か否かを少なくとも判定し、前記特定の種類の画像には、テキストを含む画像が含まれることを特徴とする請求項２２又は２３に記載の画像処理装置。
【請求項２７】
前記領域が、矩形のタイルであることを特徴とする請求項２３に記載の画像処理装置。
【請求項２８】
前記符号化手段は、前記離散ウェーブレット変換を実行した後、量子化及びエントロピ符号化を実行することを特徴とする請求項２２又は２３に記載の画像処理装置。
【請求項２９】
請求項２３に記載の画像処理装置により出力された符号化データを復号するための画像処理装置であって、
前記特定の種類の画像に係る前記領域については、他の前記領域よりも高い解像度で前記復号画像を形成することを特徴とする画像処理装置。
【請求項３０】
前記特定の種類の画像に係る前記領域の前記復号画像を、他の前記領域の復号画像と同一の解像度の画像に変換する手段を有することを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
画像を符号化して符号化データを出力する画像処理装置であって、
離散ウェーブレット変換により、前記画像を複数のサブバンドに分解する第１の符号化手段と、
各々の前記サブバンドに係る画像を所定単位の領域で分割する手段と、
各々の前記領域に係る前記画像の種類を判定する判定手段と、
各々の前記領域に係る前記画像に対して、量子化及びエントロピ符号化を実行することにより前記領域毎の符号化データを生成する第２の符号化手段と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、
前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理装置。
【請求項３２】
請求項３１に記載の画像処理装置により出力された符号化データを復号するための画像処理装置であって、
前記特定の種類の画像に係る前記領域については、他の前記領域よりも高い解像度で前記復号画像を形成することを特徴とする画像処理装置。
【請求項３３】
前記解像度にて第１の復号画像を形成する手段と、
前記特定の種類の画像に係る前記領域の前記符号化データに基づいて、第２の復号画像を形成する手段と、を備え、
前記第１及び第２の復号画像を合成することにより、前記特定の種類の画像に係る前記領域が他の前記領域よりも解像度が高い復号画像を形成することを特徴とする請求項３２に記載の画像処理装置。
【請求項３４】
画像を符号化して符号化データを出力する画像処理装置であって、
前記画像を所定単位の複数の領域に分割する手段と、
分割された前記画像毎に、その種類を判定する判定手段と、
分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、
前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを更に付加して出力することを特徴とする画像処理装置。
【請求項３５】
画像を符号化して符号化データを出力する画像処理方法であって、
前記画像の種類を判定する判定工程と、
前記画像に離散ウェーブレット変換を含む符号化を実行し、前記画像の符号化データを生成する符号化工程と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、
前記出力工程では、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理方法。
【請求項３６】
画像を符号化して符号化データを出力する画像処理方法であって、
前記画像を所定単位の複数の領域に分割する工程と、
分割された前記画像毎に、その種類を判定する判定工程と、
分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化工程と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、
前記出力工程では、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理方法。
【請求項３７】
請求項３６に記載の画像処理方法により出力された符号化データを復号するための画像処理方法であって、
前記特定の種類の画像に係る前記領域については、他の前記領域よりも高い解像度で前記復号画像を形成することを特徴とする画像処理方法。
【請求項３８】
画像を符号化して符号化データを出力する画像処理方法であって、
離散ウェーブレット変換により、前記画像を複数のサブバンドに分解する第１の符号化工程と、
各々の前記サブバンドに係る画像を所定単位の領域で分割する工程と、
各々の前記領域に係る前記画像の種類を判定する判定工程と、
各々の前記領域に係る前記画像に対して、量子化及びエントロピ符号化を実行することにより前記領域毎の符号化データを生成する第２の符号化工程と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、
前記出力工程では、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理方法。
【請求項３９】
請求項３８に記載の画像処理方法により出力された符号化データを復号するための画像処理方法であって、
前記特定の種類の画像に係る前記領域については、他の前記領域よりも高い解像度で前記復号画像を形成することを特徴とする画像処理方法。
【請求項４０】
画像を符号化して符号化データを出力する画像処理方法であって、
前記画像を所定単位の複数の領域に分割する工程と、
分割された前記画像毎に、その種類を判定する判定工程と、
分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化工程と、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、
前記出力工程では、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを更に付加して出力することを特徴とする画像処理方法。
【請求項４１】
画像を符号化して符号化データを出力するために、コンピュータを、
前記画像の種類を判定する判定手段、
前記画像に離散ウェーブレット変換を含む符号化を実行し、前記画像の符号化データを生成する符号化手段、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、
として機能させるプログラムであって、
前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とするプログラム。
【請求項４２】
画像を符号化して符号化データを出力するために、コンピュータを、
前記画像を所定単位の複数の領域に分割する手段、
分割された前記画像毎に、その種類を判定する判定手段、
分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、
として機能させるプログラムであって、
前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とするプログラム。
【請求項４３】
請求項４２に記載のプログラムをコンピュータが実行することにより出力された符号化データを復号するために、コンピュータを、
前記特定の種類の画像に係る前記領域については、他の前記領域よりも高い解像度で前記復号画像を形成する手段、
として機能させるプログラム。
【請求項４４】
画像を符号化して符号化データを出力するために、コンピュータを、
離散ウェーブレット変換により、前記画像を複数のサブバンドに分解する第１の符号化手段、
各々の前記サブバンドに係る画像を所定単位の領域で分割する手段、
各々の前記領域に係る前記画像の種類を判定する判定手段、
各々の前記領域に係る前記画像に対して、量子化及びエントロピ符号化を実行することにより前記領域毎の符号化データを生成する第２の符号化手段、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、
として機能させるプログラムであって、
前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とするプログラム。
【請求項４５】
請求項４４に記載のプログラムをコンピュータが実行することにより出力された符号化データを復号するために、コンピュータを、
前記特定の種類の画像に係る前記領域については、他の前記領域よりも高い解像度で前記復号画像を形成する手段、
として機能させるプログラム。
【請求項４６】
画像を符号化して符号化データを出力するために、コンピュータを、
前記画像を所定単位の複数の領域に分割する手段、
分割された前記画像毎に、その種類を判定する判定手段、
分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段、
前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、
生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、
として機能させるプログラムであって、
前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを更に付加して出力することを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理の分野に関し、特に、系列変換を用いた画像の符号化及びその復号に関する。
【０００２】
【従来の技術】
近年のコンピュータ及びネットワークの著しい発達に伴い、文字データ、画像データ、音声データ等、多種の情報がコンピュータ内、ネットワーク間で蓄積・伝送される様になってきている。これらのデータの中で画像、特に多値画像は非常に多くの情報を含んでおり、その画像を蓄積・伝送する際にはデ−タ量が膨大になってしまうという問題がある。
【０００３】
このため、ネットワークを経由して画像の閲覧が可能な画像データベースのような用途においては、画像を蓄積する装置内の画像は圧縮符号化されることが多い。また、これらの画像を閲覧する際は、圧縮符号化された全てのデータを伝送・復号する必要があり、ネットワークの帯域が十分でない場合には表示に時間がかかるという問題がある。
【０００４】
このような場合、画像を元の解像度よりも小さく表示するように、圧縮符号化されたデータの一部分のみを伝送することが行われている。例えばＩＳＯおよびＩＴＵ−Ｔにより勧告された圧縮符号化方式であるＪＰＥＧにおいては、階層的符号化方式が規定されており、これにより画像を元の解像度に対して２のべき乗分の１の解像度で復号することができる。
【０００５】
しかし、ＪＰＥＧに規定された方式においては、符号化において縮小された画像を作って符号化し、復号する際に必要な解像度の各階層毎に、縮小画像を復号した結果と原画像を当該解像度に縮小した画像との差を符号化する必要があり、処理が複雑であった。
【０００６】
一方、近年注目を集めている符号化方式として、離散ウェーブレット変換による方式がある。図１７は離散ウェーブレット変換に基づいた圧縮符号化・復号装置の基本的な構成を示したものである。同図において、画像入力部１は圧縮符号化対象となる画像信号を出力し、後続の離散ウェーブレット変換部２において変換が行われる。離散ウェーブレット変換部２は画像信号に対して２次元の離散ウェーブレット変換を施し、変換係数を出力する。この変換係数は、所定の周波数帯域（以降の説明ではサブバンドと称す）を単位としてまとめられ、後続の量子化部３により量子化されて量子化インデックスに変換され、さらにエントロピ符号化部４において符号化されて符号列が出力される。
【０００７】
同図（ｄ）はこのように生成された符号列を復号する復号装置の構成を示したものである。同図においてエントロピ復号部５で復号された量子化インデックスは後続の逆量子化部６において変換係数に復元される。更に復元された変換係数は逆離散ウェーブレット変換部７において逆変換が施されて画像信号が復元され、画像出力部８から出力される。
【０００８】
次に図１７（ｂ）は、離散ウェーブレット変換部２により生成されるサブバンドの構成を図示したものである。この図において、ＬＬは最も低周波のサブバンドであるが、これは原画像に低域通過フィルタを施してサブサンプリングすることにより解像度を縮小した画像信号と考えることもできる。従って、画像を復号する際に全てのサブバンドを復号せずにＬＬサブバンドのみを復号し、復号された信号を元の画像信号のダイナミックレンジに収まるよう正規化することで、元の画像を縦横共に１／４に縮小された画像を生成することができる。
【０００９】
さらに、１段階高い解像度の画像が必要な場合は、同図（ｃ）に示すように１レベル低いサブバンド、すなわちＨＬ２，ＬＨ２，ＨＨ２を復号してＬＬサブバンドと合わせて逆変換を行なえば同図に示すように縦横共に解像度が１／２の画像が得られる。
【００１０】
このように、離散ウェーブレット変換を用いた符号化方式においては、変換によるサブバンドの構造を利用することで、符号列から縮小画像を生成することができる。
【００１１】
【発明が解決しようとする課題】
しかし、前述したように離散ウェーブレット変換のサブバンド構造を利用する方法においては、生成される縮小画像の画質は必ずしも十分でない、という問題がある。特に、画像の中に文字や図形などの情報が含まれている場合、前述した方法によると高周波成分が除去された画像となるため、文字等が判別できない場合が生じ得る。
【００１２】
従って、本発明の目的は、縮小画像等の提供にあたり、画像の符号化・復号を行う場合に、画像全体または必要な部分の画質を維持し得る画像処理技術を提供することにある。
【００１３】
【課題を解決するための手段】
本発明によれば、入力画像に対して所定の系列変換を施し、得られた変換係数をビットプレーン符号化する符号化手段と、該符号化手段により得られた符号化データを保持する保持手段と、所定の表示機器が表示するべき前記画像の第１の画質を認識する認識手段と、前記符号化データにおける、所定の画質の画像を再生する為に必要なデータを、前記保持手段から読み出し出力する出力手段と、該出力された符号化データを復号する復号手段と、該復号手段により復号された画像を前記第１の画質に一致するよう調整する調整手段とを有し、前記認識手段は、所定の条件に基づき前記保持された符号化データにおける、前記第１の画質よりも高画質な第２の画質を有する復号画像に対応する符号化データを前記出力手段に対して読み出すことを指示し、前記調整手段は、前記出力手段により出力された符号化データを前記復号手段により復号した画像に対し、前記表示機器が表示するべき前記画像の画質を前記第１の画質に一致するよう調整することを特徴とする画像処理装置が提供される。
【００１４】
また、本発明によれば、入力画像に対して所定の系列変換を施し、得られた変換係数をビットプレーン符号化する符号化工程と、該符号化工程で得られた符号化データを記憶手段に格納する工程と、所定の表示機器が表示するべき前記画像の第１の画質を認識する認識工程と、前記符号化データにおける、所定の画質の画像を再生する為に必要なデータを、前記記憶手段から読み出し出力する出力工程と、該出力された符号化データを復号する復号工程と、該復号工程において復号された画像を前記第１の画質に一致するよう調整する調整工程とを有し、前記出力工程では、所定の条件に基づき前記保持された符号化データにおける、前記第１の画質よりも高画質な第２の画質を有する復号画像に対応する符号化データを読み出し、前記調整工程では、前記出力工程で出力された符号化データを前記復号工程において復号した画像に対し、前記表示機器が表示するべき前記画像の画質を前記第１の画質に一致するよう調整することを特徴とする画像処理方法が提供される。
【００１５】
また、本発明によれば、コンピュータを、入力画像に対して所定の系列変換を施し、得られた変換係数をビットプレーン符号化する符号化手段、該符号化手段により得られた符号化データを保持する保持手段、所定の表示機器が表示するべき前記画像の第１の画質を認識する認識手段、前記符号化データにおける、所定の画質の画像を再生する為に必要なデータを、前記保持手段から読み出し出力する出力手段、該出力された符号化データを復号する復号手段、該復号手段により復号された画像を前記第１の画質に一致するよう調整する調整手段、として機能させるプログラムであって、前記認識手段は、所定の条件に基づき前記保持された符号化データにおける、前記第１の画質よりも高画質な第２の画質を有する復号画像に対応する符号化データを前記出力手段に対して読み出すことを指示し、前記調整手段は、前記出力手段により出力された符号化データを前記復号手段により復号した画像に対し、前記表示機器が表示するべき前記画像の画質を前記第１の画質に一致するよう調整することを特徴とするプログラムが提供される。
【００１６】
また、本発明によれば、符号化部と復号部とを備えた画像処理装置であって、前記符号化部は、入力画像を符号化して符号化データを作成する手段と、前記入力画像を表示する場合の画質の指定を受け付ける手段と、前記符号化データのうち、指定された前記画質以上の画質で前記入力画像を表示するために必要な符号化データを出力する手段と、を備え、前記復号部は、前記符号化部から出力された前記符号化データを復号して画像データを作成する手段と、前記画像データに基づく画像が、指定された前記画質よりも高い画質となる場合に、当該画像データを、指定された前記画質の画像データに変換する手段と、を備えたことを特徴とする画像処理装置が提供される。
【００１８】
また、本発明によれば、画像を符号化する符号化装置から出力される符号化データを復号する画像処理装置であって、前記符号化装置に対して、前記画像の画質を指定する手段と、前記符号化装置から出力された符号化データを復号して、指定した前記画質以上の画質の画像データを作成する手段と、前記画像データに基づく画像が、指定した前記画質よりも高い画質となる場合に、当該画像データを、指定した前記画質の画像データに変換する手段と、を備えたことを特徴とする画像処理装置が提供される。
【００１９】
また、本発明によれば、符号化工程と復号工程とを含む画像処理方法であって、前記符号化工程は、入力画像を符号化して符号化データを作成する工程と、前記入力画像を表示する場合の画質の指定を受け付ける工程と、前記符号化データのうち、指定された前記画質以上の画質で前記入力画像を表示するために必要な符号化データを出力する工程と、を備え、前記復号工程は、前記符号化部から出力された前記符号化データを復号して画像データを作成する工程と、前記画像データに基づく画像が、指定された前記画質よりも高い画質となる場合に、当該画像データを、指定された前記画質の画像データに変換する工程と、を含むことを特徴とする画像処理方法が提供される。
【００２１】
また、本発明によれば、画像を符号化する符号化装置から出力される符号化データを復号する画像処理方法であって、前記符号化装置に対して、前記画像の画質を指定する工程と、前記符号化装置から出力された符号化データを復号して、指定した前記画質以上の画質の画像データを作成する工程と、前記画像データに基づく画像が、指定した前記画質よりも高い画質となる場合に、当該画像データを、指定した前記画質の画像データに変換する工程と、を含む画像処理方法が提供される。
【００２２】
また、本発明によれば、コンピュータを、符号化部及び復号部として機能させるプログラムであって、前記符号化部は、入力画像を符号化して符号化データを作成する手段と、前記入力画像を表示する場合の画質の指定を受け付ける手段と、前記符号化データのうち、指定された前記画質以上の画質で前記入力画像を表示するために必要な符号化データを出力する手段と、を備え、前記復号部は、前記符号化部から出力された前記符号化データを復号して画像データを作成する手段と、前記画像データに基づく画像が、指定された前記画質よりも高い画質となる場合に、当該画像データを、指定された前記画質の画像データに変換する手段と、を備えたことを特徴とするプログラムが提供される。
【００２４】
また、本発明によれば、画像を符号化する符号化装置から出力される符号化データを復号するために、コンピュータを、前記符号化装置に対して、前記画像の画質を指定する手段、前記符号化装置から出力された符号化データを復号して、指定した前記画質以上の画質の画像データを作成する手段、前記画像データに基づく画像が、指定した前記画質よりも高い画質となる場合に、当該画像データを、指定した前記画質の画像データに変換する手段、として機能させるプログラムが提供される。
【００２５】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理装置であって、前記画像の種類を判定する判定手段と、前記画像に離散ウェーブレット変換を含む符号化を実行し、前記画像の符号化データを生成する符号化手段と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理装置が提供される。
【００２６】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理装置であって、前記画像を所定単位の複数の領域に分割する手段と、分割された前記画像毎に、その種類を判定する判定手段と、分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理装置が提供される。
【００２７】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理装置であって、離散ウェーブレット変換により、前記画像を複数のサブバンドに分解する第１の符号化手段と、各々の前記サブバンドに係る画像を所定単位の領域で分割する手段と、各々の前記領域に係る前記画像の種類を判定する判定手段と、各々の前記領域に係る前記画像に対して、量子化及びエントロピ符号化を実行することにより前記領域毎の符号化データを生成する第２の符号化手段と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理装置が提供される。
【００２８】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理装置であって、前記画像を所定単位の複数の領域に分割する手段と、分割された前記画像毎に、その種類を判定する判定手段と、分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段と、を備え、前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを更に付加して出力することを特徴とする画像処理装置が提供される。
【００２９】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理方法であって、前記画像の種類を判定する判定工程と、前記画像に離散ウェーブレット変換を含む符号化を実行し、前記画像の符号化データを生成する符号化工程と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、前記出力工程では、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理方法が提供される。
【００３０】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理方法であって、前記画像を所定単位の複数の領域に分割する工程と、分割された前記画像毎に、その種類を判定する判定工程と、分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化工程と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、前記出力工程では、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理方法が提供される。
【００３１】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理方法であって、離散ウェーブレット変換により、前記画像を複数のサブバンドに分解する第１の符号化工程と、各々の前記サブバンドに係る画像を所定単位の領域で分割する工程と、各々の前記領域に係る前記画像の種類を判定する判定工程と、各々の前記領域に係る前記画像に対して、量子化及びエントロピ符号化を実行することにより前記領域毎の符号化データを生成する第２の符号化工程と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、前記出力工程では、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とする画像処理方法が提供される。
【００３２】
また、本発明によれば、画像を符号化して符号化データを出力する画像処理方法であって、前記画像を所定単位の複数の領域に分割する工程と、分割された前記画像毎に、その種類を判定する判定工程と、分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化工程と、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける工程と、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力工程と、を含み、前記出力工程では、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを更に付加して出力することを特徴とする画像処理方法が提供される。
【００３３】
また、本発明によれば、画像を符号化して符号化データを出力するために、コンピュータを、前記画像の種類を判定する判定手段、前記画像に離散ウェーブレット変換を含む符号化を実行し、前記画像の符号化データを生成する符号化手段、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、として機能させるプログラムであって、前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とするプログラムが提供される。
【００３４】
また、本発明によれば、画像を符号化して符号化データを出力するために、コンピュータを、前記画像を所定単位の複数の領域に分割する手段、分割された前記画像毎に、その種類を判定する判定手段、分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、として機能させるプログラムであって、前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とするプログラムが提供される。
【００３５】
また、本発明によれば、画像を符号化して符号化データを出力するために、コンピュータを、離散ウェーブレット変換により、前記画像を複数のサブバンドに分解する第１の符号化手段、各々の前記サブバンドに係る画像を所定単位の領域で分割する手段、各々の前記領域に係る前記画像の種類を判定する判定手段、各々の前記領域に係る前記画像に対して、量子化及びエントロピ符号化を実行することにより前記領域毎の符号化データを生成する第２の符号化手段、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、として機能させるプログラムであって、前記出力手段は、特定の種類の画像については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを出力することを特徴とするプログラムが提供される。
【００３６】
また、本発明によれば、画像を符号化して符号化データを出力するために、コンピュータを、前記画像を所定単位の複数の領域に分割する手段、分割された前記画像毎に、その種類を判定する判定手段、分割された前記画像毎に離散ウェーブレット変換を含む符号化を実行し、分割された前記画像毎の符号化データを生成する符号化手段、前記符号化データを復号する場合における復号画像の解像度の入力を受け付ける手段、生成された前記符号化データのうち、入力された前記解像度により復号画像を生成するのに必要なデータを出力する出力手段、として機能させるプログラムであって、前記出力手段は、特定の種類の画像に係る前記領域については、前記符号化データのうち、入力された前記解像度より高い解像度により復号画像を生成するのに必要なデータを更に付加して出力することを特徴とするプログラムが提供される。
【００３７】
【発明の実施の形態】
以下、本発明の好適な実施の形態について添付図面を参照して説明する。
＜第１実施形態＞
図１は、本発明の一実施形態に係る画像処理装置のブロック図である。始めに、同図により本画像処理装置の動作概要を説明する。
【００３８】
図１において、画像入力部１から入力された画像は画像符号化部ＥＮＣ（encoder）において圧縮符号化され、生成された符号列は後続の符号列構成部１１に出力される。符号列構成部１１は入力した符号列を所定の方法により構成し、符号列記憶部１０あるいは伝送部１４に出力する。さらに、符号列構成部１１は符号列記憶部１０に記憶された符号列に対し、その構成を変更して記憶または伝送する機能も有する。
【００３９】
符号列記憶部１０は圧縮符号化された画像を記憶するメモリ、ハードディスク等の記憶媒体である。符号列記憶部１０に記憶された符号列は、伝送部１４を介して、復号側に伝送され、画像復号部ＤＥＣ(decoder)において画像に復元され、画像構成部８を介して画像出力部１２において表示又は出力される。
【００４０】
一方、画質設定部１３は不図示のユーザ入力または所定の入力に基づき、画像出力部１２で出力する画像の画質を設定する。本実施の形態において画質は、表示時の画像の解像度であるものとする。したがって、画質設定部１３で指定された解像度に関する情報は別途符号列構成部１１に送出され、符号列構成部１１はこの情報を元に所定の符号列を伝送部１４に対して出力する。以下、本画像処理装置の各部の動作について詳細に説明する。
【００４１】
画像入力部１は不図示の入力装置から所定の解像度を持つ画像を入力し、符号化部ENCに出力する。ここで、入力画像はカラー画像およびモノクログレースケール画像いずれであってもよいが、後述する符号化処理は入力画像がモノクログレースケールであるとする。しかし、入力画像がカラー画像の場合であっても一連の処理はカラー画像の各色成分に対して独立に行うことにより、本発明を適用することができる。
【００４２】
入力された画像は離散ウェーブレット変換部２において離散ウェーブレット変換が施される。離散ウェーブレット変換部２は、入力した画像信号に対して２次元の離散ウェーブレット変換処理を行い、変換係数を計算して出力する。図９(a)は離散ウェーブレット変換部２の基本構成を表したものであり、入力された画像信号はメモリ２０１に記憶され、処理部２０２により順次読み出されて変換処理が行われ、再びメモリ２０１に書きこまれる。
【００４３】
図９（ｂ）は、処理部２０２の構成を示したものであり、入力された画像信号は遅延素子およびダウンサンプラの組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、２つのフィルタｐおよびｕによりフィルタ処理が施される。同図ｓおよびｄは、各々１次元の画像信号に対して１レベルの分解を行った際のローパス係数およびハイパス係数を表しており、次式により計算されるものとする。
【００４４】
d(n)=x(2*n+1)-floor((x(2*n)+x(2*n+2))/2)          （式１）
s(n)=x(2*n)+floor((d(n-1)+d(n))/4)                （式２）
ただし、ｘ(n)は変換対象となる画像信号である。
【００４５】
以上の処理により、画像信号に対する１次元の離散ウェーブレット変換処理が行われる。２次元の離散ウェーブレット変換は、１次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。図９（ｃ）は２次元の変換処理により得られる２レベルの変換係数群の構成例であり、画像信号はサブバンドＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬに分解され、各サブバンドの係数は後続の量子化部３に出力される。
【００４６】
量子化部３は、入力した係数を所定の量子化ステップにより量子化し、その量子化値に対するインデックスを出力する。量子化は次式により行われる。
【００４７】
q＝sign(c)floor(abs(c)/Δ)         （式３）
sign(c)＝１  ；ｃ＞＝０            （式４）
sign(c)＝−１  ；ｃ＜０            （式５）
ここで、ｃは量子化対象となる係数である。また、本実施の形態においてはΔの値として１を含むものとする。この場合、実際に量子化は行われず、量子化部３に入力された変換係数はそのまま後続のエントロピ符号化部４に出力される。
【００４８】
エントロピ符号化部４は入力した量子化インデックスに対しサブバンドを所定の大きさに分割した矩形領域（以下コードブロックと称す）を単位として、量子化インデックスをビットプレーンに分解し、ビットプレーンを順に２値算術符号化を行ってコードストリームを出力する。図２(a)はコードブロックＣＢに分割されたサブバンドを示す図である。同図において例えばＬＬサブバンドはＣＢ０からＣＢ３の4つのコードブロックに分割されており、各コードブロック内の量子化インデックスはＣＢ０、ＣＢ１、ＣＢ２、ＣＢ３の順にビットプレーン符号化される。
【００４９】
エントロピ符号化部４はまずサブバンド全体を走査して最大値Mを求め、次式により最大の量子化インデックスＭを表現するために必要なビット数Sを計算する。      S ＝ ceil(log2( abs(M) ))        (式６）
ここでceil(x)はx以上の整数の中で最も小さい整数値を表す。さらに、各コードブロック内においても同様に最大の量子化インデックスの値から最大ビット数SBを計算する。図２(b)はエントロピ符号化部4におけるビットプレーン符号化の動作を説明する図であり、この例においては4x4の大きさを持つコードブロック内の領域において非0の量子化インデックスが3個存在しており、それぞれ+13、-6、+3の値を持っている。エントロピ符号化部4はまずコードブロック全体を走査して最大値MBを求め、次式により最大の量子化インデックスを表現するために必要なビット数SBを計算する。
【００５０】
SB ＝ ceil(log2( abs(MB) ))        (式７)
図２(b)においては、最大の係数値は13であるのでSBは4であり、コードブロック中の16個の量子化インデックスは同図(c)に示すように4つのビットプレーンを単位として処理が行われる。最初にエントロピ符号化部4は最上位ビットプレーン(同図MSBで表す)の各ビットを２値算術符号化し、ビットストリームとして出力する。次にビットプレーンを１レベル下げ、以下同様に対象ビットプレーンが最下位ビットプレーンLSBに至るまで、ビットプレーン内の各ビットを符号化し、符号列構成部１１に出力する。この時、各量子化インデックスの符号は、ビットプレーン走査において最初の非0ビットが検出されるとそのすぐ後に当該量子化インデックスの符号がエントロピ符号化される。また、実際に符号化されたビットプレーン数も符号列構成部１１に出力され、後述するようにパラメータとして符号列に含まれることになる。なお本実施の形態において各ビットプレーンは１つのパスで実行されているが、複数の符号化パスに分割して実行しても良い。この場合、該当する１つの符号化パスが１つの単位として扱われる。
【００５１】
符号列構成部１１は入力した符号に所定のヘッダ情報等を付加した符号列を構成し、符号列記憶部１０又は伝送部１４に出力する。
【００５２】
図３は、このようにして生成され出力される符号列の構成を表した概略図である。同図(a)は符号列の全体の構成を示したものであり、MHはメインヘッダ、THはタイルヘッダ、BSはビットストリームである。メインヘッダMHは同図(b)に示すように、符号化対象となる画像のサイズ（水平および垂直方向の画素数）、画像を複数の矩形領域であるタイルに分割した際のサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報から構成されている。なお、本実施の形態では画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロのグレースケール画像の場合コンポーネント数は１である。
【００５３】
次にタイルヘッダTHの構成を図３(c)に示す。タイルヘッダTHには当該タイルの符号長とヘッダ長を含めたタイル長および当該タイルに対する符号化パラメータから構成される。符号化パラメータには離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。本実施の形態における符号化データの構成を同図(d)に示す。同図において、符号化データは各サブバンド単位でまとめられ、解像度の小さいサブバンドを先頭として順次解像度が高くなる順番に配置されている。さらに、各サブバンド内は上位ビットプレーンから下位ビットプレーンに向かう形でその符号化データが配列されている。
【００５４】
ここで各コードブロックのビットプレーン又は符号化パスに係る符号化データは、複数のレイヤーに分類されている。各レイヤーは、各コードブロックから任意の数のビットプレーン又は符号化パスに係る符号化データから構成される。例えば１つのレイヤーに各コードブロックから１つのビットプレーンに係る符号化データを含ませるようにすれば、１つのレイヤーは１つのビットプレーンに対応する。レイヤーはビットプレーンの上位から下位に向かう形で構成されるため、上位レイヤーには必ず下位レイヤーに含まれるそれよりも上位に位置するビットプレーンの符号化データが含まれる。
【００５５】
各レイヤーの符号は同図(e)に示すようにコードブロックを単位として構成されておりPHは各コードブロックの最大ビットプレーンSBと該当するビットプレーンSとの差分、当該レイヤーに含まれるコードブロックを指定する情報等が含まれている。同図(e)においてレイヤーL-１には4つのコードブロックの符号が含まれているが、当該レイヤーに対応する符号が存在しないコードブロックについてはPHにおけるコードブロック指定から特定することができる。符号列記憶部１０はこのようにして生成された符号列を記憶する。
【００５６】
次に、符号列構成部１１の機能及び、符号列構成部１１から出力された最終的な符号化データに係る画像を縮小した状態で復号表示する方法について説明する。
【００５７】
図１において、不図示の入力装置から画質設定部１３に対し、復号画像の表示解像度が指定される。入力装置としては、本画像処理装置に設けられたキーボード、マウス、スイッチ等の他、本画像処理装置にネットワークを経由して接続されたコンピュータ等を挙げることができる。
【００５８】
ここで、表示解像度は図９（c）において示したような離散ウェーブレット変換により得られるサブバンド構造から合成、生成できる縮小画像のうちのいずれかに対応するものとする。画質設定部１３は入力した表示解像度から、符号列構成部１１が出力するべき符号列における出力解像度を決定し、符合列構成部１１に対して出力指示を与える。なお、この出力指示は図１において示すように不図示の系を通して行っても良いし、伝送部１４を介して行っても良い。
【００５９】
符号列構成部１１は画質設定部１３からの指示に基づいて、先に符号列記憶部１０に記憶された符号列から出力解像度に係る符号化データを読み出し、伝送部１４に出力する。図４(a)および(b)はこの時の表示解像度と出力解像度の例であり、同図において表示解像度は(a)に示すＬＬサブバンドの解像度に対応しているが、画質設定部１３により決定された出力解像度は１レベル高い解像度であるため出力される符号列は同図(b)に示すようにＬＬに加えてＨＬ２、ＬＨ２、ＨＨ２の符号化データが含まれる。
【００６０】
出力された符号列は伝送部１４を介して復号部DECにおいて復号され、画像信号が再生される。以下に復号部DECの動作及び画像表示に至る一連の動作について説明する。
【００６１】
エントロピ復号部５は入力した符号列のヘッダを解析して必要な情報を抽出し、入力した符号列のビットストリームを復号し、出力する。復号は、図３(e)の符号列を解析して所定のコードブロック内の符号化データを各レイヤーから抽出し、上位ビットプレーンから下位ビットプレーンに向かい順次復号が行われる。
【００６２】
この時の復号手順を図１３に示す。同図（ａ）は復号対象となるサブバンド内のコードブロックをビットプレーン単位で順次復号化し、最終的に量子化インデックスを復元する流れを図示したものであり、同図の矢印の順にビットプレーンが復号化される。復元された量子化インデックスは逆量子化部６に出力される。
【００６３】
逆量子化部６は入力した量子化インデックスから、次式に基づいて離散ウェーブレット変換係数を復元する。
【００６４】
ｃ’＝Δ＊ｑ；  ｑ≠０                （式８）
ｃ’＝０    ；  ｑ＝０                （式９）
ここで、ｑは量子化インデックス、Δは量子化ステップであり、Δは符号化時に用いられたものと同じ値である。ｃ’は復元された変換係数であり、符号化時ではｓまたはｄで表される係数の復元したものである。変換係数ｃ’は後続の逆離散ウェーブレット変換部７に出力される。
【００６５】
図１４は、逆離散ウェーブレット変換部９の構成および処理のブロック図を示したものである。同図（ａ）において、入力された変換係数はメモリ７０１に記憶される。処理部７０２は１次元の逆離散ウェーブレット変換を行い、メモリ７０１から順次変換係数を読み出して処理を行うことで、２次元の逆離散ウェーブレット変換を実行する。２次元の逆離散ウェーブレット変換は、順変換と逆の手順により実行されるが、詳細は公知であるので説明を省略する。また同図（ｂ）は処理部７０２の処理ブロックを示したものであり、入力された変換係数はｕおよびｐの２つのフィルタ処理を施され、アップサンプリングされた後に重ね合わされて画像信号ｘ’が出力される。これらの処理は次式により行われる。
【００６６】
x'(2*n)=s'(n)-floor((d'(n-1)+d'(n))/4)            （式１０）
x'(2*n+1)=d'(n)+floor((x'(2*n)+x'(2*n+2))/2)      （式１１）
このように復元された画像信号は後続の画像構成部８に出力される。尚、以上述べた一連の処理により、入力した符号列に含まれる全てのサブバンドが復号され、逆離散ウェーブレット変換により先に画質設定部１３により決定された出力解像度を持つ画像信号が復元され、画像構成部８に出力される。
【００６７】
画像構成部８は画質設置部１３から先に入力された表示解像度を入力し、復号部DECから入力した解像度と比較し、入力した画像の解像度が表示解像度と等しい場合はそのまま画像出力部１２に出力する。
【００６８】
一方、復号部DECから入力した画像の解像度が表示解像度と異なる場合、画像構成部８は所定の解像度変換方法を入力した画像に適用して、表示解像度に等しい画像を生成し画像出力部１２に出力する。
【００６９】
以上説明したように、本実施の形態において画質設定部１３は表示解像度に対して１レベル高い解像度に係る符号化データを符号列構成部１１に対して出力するよう指示した。一方、画像構成部８は復号部DECにより復号された画像の解像度を表示解像度に合致するよう解像度を変換し、出力している。
【００７０】
このように表示解像度を超える解像度の画像を復号することで、精細な画像を表現するために必要な高周波成分を含めた画像信号を得ることが出来、表示解像度に係るサブバンドのみから画像を復号した場合と比較して、画像に含まれる文字部あるいはエッジ部分の画質を大幅に改善することが出来る。
【００７１】
なお、本実施の形態では表示解像度に対して１レベル高い解像度に係る符号化データを出力するようにしたが、求められる画質に応じて２レベル以上の解像度に係る符号化データを出力するようにしても良い。
【００７２】
また、以上説明した実施の形態において、復号部DECは必要に応じて全てのビットプレーンを復号しないようにしてもよい。すなわち、図４に示した出力される符号列の内、ＬＬのみについては符号列に含まれる全てのレイヤーを復号するが、ＨＬ２、ＬＨ２、ＨＨ２については所定のレイヤーで復号を中止し、後続の処理を行うようにしても良い。
【００７３】
このようにすることで、高周波成分を所定の精度で復元し縮小画像の画質を向上させる一方でエントロピ復号にかかる時間を短縮することが出来る。この時、画質設定部１３が復号部DECに対し、所定の高周波成分に対しては一部の上位レイヤーのみ出力するように指示を与えるようにしてもよい。このようにすることで、復号部DECにおいて全てのレイヤーを復号する必要がなくなるため、処理を高速化することが可能となる。
＜第２実施形態＞
上述した第１実施形態においては、出力される符号列はサブバンドを単位として配置されていたが、異なる配置によることも出来る。以下に符号列構成部１１により構成される符号列が異なる形態を持つ場合について説明する。
【００７４】
図５は本実施の形態における、符号列構成部１１による符号列の構成を示したものであるが、同図(a)から(c)における構造は第１実施形態と同様であるので説明を省略する。同図(d)において符号化データは同一レイヤー毎にまとめられて配置されており、各レイヤーには各サブバンド内の所定量の符号化データが含まれている。
【００７５】
さらに、各サブバンドに係る符号化データは当該サブバンド内のコードブロックから所定数のビットプレーン数又は符号化パス数に相当する符号化データから構成されている。このような符号列が形成された場合の、画像出力時における各部の動作について以下に説明する。
【００７６】
画質設定部１３は符号列構成部１１に対し、所定のレイヤー数に係る符号列を出力するよう、符号列構成部１１に対して指示を出力する。図６(a)はこの時の符号列の構成例を示したものであり、上位３レイヤーの符号列が出力されている。一方、画質設定部１３は第１実施形態と同様に、不図示の入力手段から表示解像度を入力し保持する一方、復号部DECの逆離散ウェーブレット変換部７に対して逆離散ウェーブレット変換を施すレベル数を出力する。
【００７７】
復号部DECにおいて、符号列は前述と同様の方法により復号され、量子化インデックスが復元される。さらに本実施の形態において逆離散ウェーブレット変換部は入力した一連の変換係数に対し、先に画質設定部１３から入力した逆変換レベル分逆変換を行い、生成した画像信号を画像構成部８に対して出力する。ここで、逆変換により得られた画像信号のレンジは元の信号のレンジに適合するよう調整されるものとする。
【００７８】
例えば、図６(b)に示すように上位3レイヤーから復号されたサブバンドのデータが２レベルの離散ウェーブレット変換に対応しており、表示解像度がＬＬサブバンドの解像度に対応している場合において、画質設定部１３により指定された逆離散ウェーブレット変換のレベル数が１レベルであるとすると、同図に示すようにＬＬに対して１レベル高い解像度の画像信号が逆変換により復元される。
【００７９】
これにより、復元された画像信号は表示解像度の２倍の解像度を持つこととなる。ここで、１レベルの逆変換により得られた信号は、離散ウェーブレット変換係数であるが、その範囲を出力装置のレンジに合わせて正規化することで画像信号として扱うことが出来る。
【００８０】
このようにして得られた画像信号は後続の画像構成部８において第１実施形態と同様に、表示解像度に合うよう解像度が変換され、画像出力部１２に出力される。
＜第３実施形態＞
上述の第１および第２実施形態においては、画像はタイルに分割されていないが、本発明はこれに限る必要はなく、画像が複数のタイルに分割されていてもよい。さらに、画質設定部により設定される出力解像度は各タイル毎に異なっていても良い。
【００８１】
本実施の形態においては、画質設定部１３は符号列構成部１１に対して表示解像度および出力解像度双方の解像度を出力する。符号列構成部１１は予め所定の方法で各タイル毎の画像種別を保持しており、所定のタイルに対しては出力解像度の解像度に係る符号列を、それ以外のタイルに対しては表示解像度の符号列を出力するよう符号列を再構成する。
【００８２】
図４(c)はこのような画像を複数のタイルに分割した際の出力符号列の例を示したものである。同図において、タイル０およびタイル１では出力符号列にＬＬサブバンドに係る符号化データのみが含まれているが、タイル５については１レベル高い解像度に係るサブバンドの符号化データも含まれている。
【００８３】
このような構成の符号列から画像を表示する際は、画像構成部８は表示解像度および各タイル毎の復号解像度を比較し、表示解像度と復号された画像の解像度が異なる場合は解像度変換を行い、そうでない場合はそのまま画像を出力することで画像出力部１２に全体として縮小された画像を表示することができる。
＜第４実施形態＞
図７は、本発明の一実施形態に係る画像処理装置のブロック図である。始めに、同図により本画像処理装置の動作概要を説明する。なお、本画像処理装置の適用分野としてはネットワークに接続された複写機、若しくは、デジタルカメラ等を挙げることができる。
【００８４】
図７において、画像入力部１から入力された画像は画像符号化部ＥＮＣ（encoder）において圧縮符号化され、生成された符号列は後続の符号列構成部１１に出力される。符号列構成部１１は入力した符号列を所定の方法により構成し、符号列記憶部１０あるいは外部に出力する。
【００８５】
符号列記憶部１０は圧縮符号化された画像を記憶するメモリ、ハードディスク等の記憶媒体である。符号列記憶部１０に記憶された符号列は、必要に応じて読み出され、復号側に伝送された符号列は、画像復号部ＤＥＣ(decoder)において画像に復元され、画像出力部１２において表示又は出力される。
【００８６】
ここで、本画像処理装置がネットワークに接続された複写機である場合を想定すると、画像入力部１は複写機に装備されたスキャナー部分に相当し、画像復号部ＤＥＣは、例えば、ネットワークを介して接続されているコンピュータ内に装備され、画像出力部１２は該コンピュータのモニタに相当する。
【００８７】
この場合、複写機内で符号化された画像データは複写機内部に蓄積され、ネットワーク上のコンピュータからの指示に基づいて、蓄積された画像データの縮小画像がコンピュータ上で表示できるよう、符号列がネットワークを介してコンピュータに送出される。そして、複写機で多量の文書を処理する際、処理の進行状況を、ネットワークを介して接続されたコンピュータから、モニタリングすることができる。
【００８８】
一方、本画像処理装置がデジタルカメラの場合を想定すると、画像符号化部ＤＥＣおよび画像復号部ＤＥＣは共にそのデジタルカメラ本体に装備され、画像入力部１はＣＣＤ等の撮像装置に相当し、符号列記憶部１０はカメラ本体内のメモリに、また、画像出力部１２はカメラ本体に装備された小型の液晶モニタに相当する。
【００８９】
この場合、撮像された画像は画像符号化部ＤＥＣにより圧縮符号化されてカメラ本体内のメモリに蓄積され、必要に応じて液晶モニタに表示されるが、この時、液晶モニタのサイズに収まるような縮小画像が符号列から生成されて表示が行われる。
【００９０】
いずれの例においても圧縮符号化された画像は表示の際に、本来の解像度よりも低い解像度を持つ縮小画像が表示されることとなる。以下、本画像処理装置の各部の動作について詳細に説明する。
【００９１】
画像信号は、画像入力部１により所定の領域毎、ここでは、所定の大きさを持つ矩形のタイルに分割されて出力される。図８はこのようにタイルに分割した例を示したものであり、処理の対象となる画像Ｉは、同じ大きさの１６個のタイルに分割されている。このように分割された画像信号は、順次タイル単位で後続の画像符号化部ＥＮＣの離散ウェーブレット変換部２および領域判定部９に出力される。
【００９２】
領域判定部９は、入力されたタイル単位の画像が、どのような特性を持つ画像であるかを判別する。本実施の形態においては、領域判定部９は画像の種類として自然画、テキスト画像の種類を判定するものとする。この判別方式に関しては、公知の判別方式を利用すれば足り、例えば、入力したタイル単位の画像内の画素値のヒストグラムを算出し、その分布を利用する等の方法を取ることができる。判別の結果は符号列構成部１１に出力されるが、符号列構成部１１については後述する。
【００９３】
一方、画像入力部１からタイル単位で出力された画像信号は、後続の離散ウェーブレット変換部２において離散ウェーブレット変換が施される。離散ウェーブレット変換部２は、入力した画像信号に対して２次元の離散ウェーブレット変換処理を行い、変換係数を計算して出力する。図９（ａ）は離散ウェーブレット変換部２の基本構成を表したものであり、入力された画像信号はメモリ２０１に記憶され、処理部２０２により順次読み出されて変換処理が行われ、再びメモリ２０１に書きこまれる。
【００９４】
図９（ｂ）は、処理部２０２の構成を示したものであり、入力された画像信号は遅延素子およびダウンサンプラの組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、２つのフィルタｐおよびｕによりフィルタ処理が施される。同図ｓおよびｄは、各々１次元の画像信号に対して１レベルの分解を行った際のローパス係数およびハイパス係数を表しており、次式により計算されるものとする。
【００９５】
d(n)=x(2*n+1)-floor((x(2*n)+x(2*n+2))/2)          （式１２）
s(n)=x(2*n)+floor((d(n-1)+d(n))/4)                （式１３）
ただし、ｘ(n)は変換対象となる画像信号である。
【００９６】
以上の処理により、画像信号に対する１次元の離散ウェーブレット変換処理が行われる。２次元の離散ウェーブレット変換は、１次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。図９（ｃ）は２次元の変換処理により得られる２レベルの変換係数群の構成例であり、画像信号はサブバンドＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬに分解され、各サブバンドの係数は後続の量子化部３に出力される。
【００９７】
量子化部３は、入力した係数を所定の量子化ステップにより量子化し、その量子化値に対するインデックスを出力する。量子化は次式により行われる。
【００９８】
q＝sign(c)floor(abs(c)/Δ)         （式１４）
sign(c)＝１  ；ｃ＞＝０            （式１５）
sign(c)＝−１；ｃ＜０              （式１６）
ここで、ｃは量子化対象となる係数である。また、本実施の形態においてはΔの値として１を含むものとする。この場合、実際に量子化は行われず、量子化部３に入力された変換係数はそのまま後続のエントロピ符号化部４に出力される。
【００９９】
エントロピ符号化部４は、入力された量子化インデックスをビットプレーンに分解し、ビットプレーンを単位に２値算術符号化を行って符号列を出力する。
【０１００】
図１０はエントロピ符号化部４の動作を説明する図であり、この例においては４ｘ４の大きさを持つサブバンド内の領域において非０の量子化インデックスが３個存在しており、それぞれ＋１３，−６，＋３の値を持っている。エントロピ符号化部４はこの領域を走査して最大値Ｍを求め、次式により最大の量子化インデックスを表現するために必要なビット数Ｓを計算する。
【０１０１】
S＝ceil(log2(abs(M)))            （式１７）
ここでceil(x)はｘ以上の整数の中で最も小さい整数値を表す。図１０においては、最大の係数値は１３であるのでＳは４であり、シーケンス中の１６個の量子化インデックスは同図（ｂ）に示すように４つのビットプレーンを単位として処理が行われる。最初にエントロピ符号化部４は最上位ビットプレーン（同図ＭＳＢで表す）の各ビットを２値算術符号化し、ビットストリームとして出力する。次にビットプレーンを１レベル下げ、以下同様に対象ビットプレーンが最下位ビットプレーン（同図ＬＳＢで表す）に至るまで、ビットプレーン内の各ビットを符号化し符号出力部５に出力する。この時、各量子化インデックスの符号は、ビットプレーン走査において最初の非０ビットが検出されるとそのすぐ後に当該量子化インデックスの符号がエントロピ符号化される。このように生成された符号列は後続の符号列構成部１１に出力される。
【０１０２】
一方、領域判定部９から出力される当該タイルの種別は、符号列構成部１１に入力される。符号列構成部１１は、領域判定部９およびエントロピ符号化部４からのデータを元に、最終的な符号列を構成し、構成された符号列は符号列記憶部１０に記憶される。
【０１０３】
図１１は、このようにして生成され、出力される符号列の構成を表した概略図である。同図（ａ）は符号列の全体の構成を示したものであり、ＭＨはメインヘッダ、ＴＨはタイルヘッダ、ＢＳはビットストリームである。
【０１０４】
メインヘッダＭＨは、同図（ｂ）に示すように、符号化対象となる画像のサイズ（水平および垂直方向の画素数）、分割された画像を更に複数の矩形領域であるタイルに分割した際のサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報から構成されている。なお、本実施の形態では画像は、（サブの）タイルに分割されていないので、ここでのタイルサイズと画像サイズとは同じ値を取り、また、対象画像がモノクロの多値画像の場合コンポーネント数は１である。
【０１０５】
次に、タイルヘッダＴＨの構成を図１１（ｃ）に示す。タイルヘッダＴＨには当該タイルのビットストリーム長とヘッダ長を含めたタイル長および当該タイルに対する符号化パラメータから構成される。符号化パラメータには離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。また、タイル種別は前述した領域判定部９による当該タイルの種別を表すデータである。
【０１０６】
また、本実施の形態におけるビットストリームの構成を同図（ｄ）に示す。同図において、ビットストリームは各サブバンド毎にまとめられ、解像度の小さいサブバンドを先頭として順次解像度が高くなる順番に配置されている。さらに、各サブバンド内は上位ビットプレーンから下位ビットプレーンに向かい、ビットプレーンを単位として符号が配列されている。
【０１０７】
次に、符号列構成部１１の機能及び、符号列構成部１１から出力された最終的な符号化データに係る画像を縮小した状態で復号表示する方法について説明する。
【０１０８】
図７において、不図示の入力装置から符号列構成部１１に対し、復号化画像の解像度が指定される。すなわち、符号列構成部１１は、復号化画像の解像度の入力を受け付ける手段としても機能する。入力装置としては、本画像処理装置に設けられた、キーボード、マウス、スイッチ等の他、本画像処理装置にネットワークを経由して接続されたコンピュータ等を挙げることができる。
【０１０９】
ここで、解像度は図９（ｃ）において示したような離散ウェーブレット変換により得られるサブバンド構造から合成、生成できる縮小画像のうちのいずれかに対応するものとする。符号列構成部１１は、指定された解像度と符号列記憶部１０に記憶された符号列に基づいて復号側に出力する符号列を再構成し、出力する。
【０１１０】
図１２は、タイルに分割された画像と、それに対応し符号列構成部１１により再構成された符号列の関係を示した図である。同図（ａ）はタイル分割された画像であるが、タイル５および６は領域判定部９によりテキスト領域として判別されているとする。これに対して再構成された符号列の一部を同図（ｂ）に示す。ここで、外部から符号列構成部１１に対して指定された解像度が離散ウェーブレット変換によるＬＬサブバンドに相当した場合、再構成された符号列における各タイルのビットストリームは、そのタイルが自然画像である場合ＬＬサブバンドの符号のみで構成される。しかし、同図（ａ）に示した２つのタイルに関しては、ＬＬ以外にＨＬ２，ＬＨ２，ＨＨ２の３つのサブバンドに対応した符号が含まれる。
【０１１１】
このように符号列を再構成するには、先に符号列記憶部１０に記憶された符号列のタイルヘッダＴＨ内のタイル種別を参照し、当該タイルが自然画でればＬＬのみを、そうでない場合はＬＬに加えＨＬ２，ＬＨ２，ＨＨ２を出力すればよい。このようにして得られた符号列は所定の伝送路を介して復号側に送出され、復号部ＤＥＣにおいて復号される。以下、本実施の形態における復号処理と画像の再構成について更に説明する。
【０１１２】
エントロピ復号部５は、入力した符号列のビットストリームをビットプレーン単位で復号化し、出力する。この時の復号化手順を図１３に示す。同図（ａ）は復号対象となるサブバンドの一領域をビットプレーン単位で順次復号化し、最終的に量子化インデックスを復元する流れを図示したものであり、同図の矢印の順にビットプレーンが復号化される。復元された量子化インデックスは逆量子化部６に出力される。
【０１１３】
逆量子化部６は入力した量子化インデックスから、次式に基づいて離散ウェーブレット変換係数を復元する。
【０１１４】
ｃ’＝Δ＊ｑ；  ｑ≠０                （式１８）
ｃ’＝０    ；  ｑ＝０                （式１９）
ここで、ｑは量子化インデックス、Δは量子化ステップであり、Δは符号化時に用いられたものと同じ値である。ｃ’は復元された変換係数であり、符号化時ではｓまたはｄで表される係数の復元したものである。変換係数ｃ’は後続の逆離散ウェーブレット変換部７に出力される。
【０１１５】
図１４は、逆離散ウェーブレット変換部９の構成および処理のブロック図を示したものである。同図（ａ）において、入力された変換係数はメモリ７０１に記憶される。処理部７０２は１次元の逆離散ウェーブレット変換を行い、メモリ７０１から順次変換係数を読み出して処理を行うことで、２次元の逆離散ウェーブレット変換を実行する。２次元の逆離散ウェーブレット変換は、順変換と逆の手順により実行されるが、詳細は公知であるので説明を省略する。また同図（ｂ）は処理部７０２の処理ブロックを示したものであり、入力された変換係数はｕおよびｐの２つのフィルタ処理を施され、アップサンプリングされた後に重ね合わされて画像信号ｘ’が出力される。これらの処理は次式により行われる。
【０１１６】
x'(2*n)=s'(n)-floor((d'(n-1)+d'(n))/4)            （式２０）
x'(2*n+1)=d'(n)+floor((x'(2*n)+x'(2*n+2))/2)      （式２１）
このように復元された画像信号は後続の画像構成部８に出力される。尚、以上述べた一連の処理は符号列を構成しているタイル単位で独立に行われ、入力したビットストリームに含まれる全てのサブバンドが復号される。本実施の形態においては、自然画像のタイルに対しては、ＬＬサブバンドのみが、テキスト画像のタイルに対してはＬＨ２、ＨＬ２、ＨＨ２のサブバンドが復号に用いられる。従って、本実施の形態においてはテキスト画像に対応したタイルは、自然画像に対応したタイルに対して垂直・水平方向共に２倍の解像度を持った画像として復元される。
【０１１７】
画像構成部８は、タイル毎の種別および要求される復元画像の解像度を元に、最終的に画像出力部１２で表示されるべき画像を構成する。まず当該タイルが自然画像の場合、画像構成部８は復元された画像信号をそのまま後続の画像出力部１２に出力する。一方、当該タイルがテキスト画像の場合、画像構成部８は当該タイルに対して水平・垂直方向に解像度を１／２とするよう、解像度変換を行って画像出力部１２に出力する。解像度変換に際しては、公知のキュービック補間等の技術を用いることができるが、本発明の範疇ではないため詳細は省略する。
【０１１８】
以上述べたように、本実施の形態においては画像をタイルに分割して独立に符号化された符号列を復号して縮小画像を生成する際、特定のタイルに対しては高周波帯域の符号を付加することで、より広い帯域の画像を生成した後に画質を保つような縮小処理を行なって最終的に表示される画像を生成した。
【０１１９】
これにより、通常の離散ウェーブレット変換によるサブバンド構造をそのまま使う場合に対して、特定の情報を保った状態で縮小画像を生成できるため、テキスト画像のように特に詳細な情報を必要とする部分について高い画質で表示を行うことができる。さらに、圧縮符号化されたデータのうち、必要な部分のみを符号列に含むことにより、符号列の伝送においては、伝送上のオーバーヘッドを最小に抑え、迅速な画像表示を行うことができる。
＜第５実施形態＞
上述した第４実施の形態においては、符号化に先立ち、画像を所定のタイルに分割してタイルを単位とした処理を行なったが、離散ウェーブレット変換によるサブバンドをブロックに分割した構成によっても同様の効果を得ることができる。以下に、このような構成における実施の形態について説明する。尚、本実施の形態においても、装置の構成は図７と同様であるので異なる部分についてのみ説明を行う。
【０１２０】
図１５は本実施の形態における、符号化のための１単位となるブロックと生成される符号列とについて示したものである。同図（ａ）の左側の図において、画像は２レベルの離散ウェーブレット変換により７つのサブバンドに分解されている。さらに、各サブバンドは右側の図において破線で示した、所定単位の領域毎、すなわち同じ大きさのブロックに分けられる。
【０１２１】
各ブロックは独立に符号化され、その符号化方法に関しては、第１実施の形態で述べたものと同様の方法であり、各ブロックは独立に量子化、ビットプレーン単位に符号化が行われる。
【０１２２】
また、図１５（ｂ）は、符号化の結果得られる符号列における、ビットストリームの構成を示したものであり、ビットストリームはブロック毎に独立した符号化データから構成されており、各ブロックの符号は上位ビットプレーンから下位ビットプレーンに配置されている。その他の部分については第１実施の形態と同様である。
【０１２３】
本実施の形態において画像を復元表示する際、符号列構成部１１は図１６に示すように、テキスト画像に対応するブロックを特定して復号側に送出する符号列を構成する。すなわち、同図（ａ）の左側の図に示すように網がけをした部分がテキスト画像であると想定すると、それに対して２レベルの離散ウェーブレット変換を行った場合、当該領域は（ａ）の右側に示す図の網がけ部分に対応する。
【０１２４】
ここで、ＬＬサブバンドの解像度を持つ縮小画像を表示する際、符号列構成部１１は図１６（ｂ）に示すように、ＬＬサブバンドの全てのブロックに加え、以下に示すようにＨＬ２，ＬＨ２，ＨＨ２の各サブバンドにおいてテキスト領域を含むブロックを出力する符号列に追加する。
【０１２５】
ＨＬ２  ：  b０，b１
ＬＨ２  ：  b２，b３
ＨＨ２  ：  b４，b５
復号側における画像復号部ＤＥＣは、このように構成された符号列を復号し、図１６（ｃ）に示すように、まずＬＬサブバンドと同じ解像度を持つ画像（以下、画像Ａという。）を生成する。一方、復号したＬＬサブバンドおよび、ＨＬ２，ＬＨ２，ＨＨ２を用いてＬＬに対して倍の解像度を持つ画像（以下、画像Ｂ）を生成する。この時、ＬＬ以外のサブバンドでは４つのブロックのうち２つしか係数が得られていないが、このような欠けている部分の係数は全て０として取り扱い、逆離散ウェーブレット変換を行う。
【０１２６】
画像構成部８は、以上の操作により得られた画像Ｂを所定の解像度変換によりＬＬサブバンドと同じ解像度を持つ画像（以下、画像Ｃという。）を生成し、画像Ｃの中でテキスト画像に相当する部分Ｄと、先に生成した画像Ａと、を合成して最終的に出力するべき画像を生成し、これを画像出力部１２に出力する。
【０１２７】
以上、本発明の好適な第４及び第５の実施形態について説明した。なお、第４および第５の実施形態においては、テキスト画像に相当する部分について、他の部分よりも高い解像度で画像を生成し、それを解像度変換により縮小して画像を生成した。
【０１２８】
しかし、内容によってはテキスト部分に重要な情報が含まれており、他の部分については概要が分かれば十分である場合もある。このような場合は、テキスト部分を縮小せず、倍の解像度の状態で他の部分と合成しても良い。
【０１２９】
以上、本発明の好適な実施の形態について説明したが、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１３０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、例えば、これを記録した記憶媒体（または記録媒体）等を介して、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が、該プログラムコードを実行することによっても、達成されることは言うまでもない。この場合、そのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード、及び、これを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３２】
【発明の効果】
以上述べたように、本発明によれば、縮小画像等の提供にあたり、画像の符号化・復号を行う場合に、画像全体または必要な部分の画質を維持することができる。
【図面の簡単な説明】
【図１】（ａ）乃至（ｃ）は、本発明の第１実施形態に係る画像処理装置のブロック図である。
【図２】（ａ）は、コードブロックＣＢに分割されたサブバンドを示す図である。（ｂ）及び（ｃ）は、エントロピ符号化部４におけるビットプレーン符号化の動作の説明図である。
【図３】（ａ）乃至（ｅ）は、図１の画像処理装置により生成され出力される符号列の概略図である。
【図４】（ａ）及び（ｂ）は、伝送部１４から出力される符号化データに関する表示解像度と出力解像度の例を示した図である。（ｃ）は、第３実施形態において、画像を複数のタイルに分割した際の出力符号列の例を示した図である。
【図５】（ａ）乃至（ｅ）は、本発明の第２実施形態における符号列構成部１１による符号列の構成例を示した図である。
【図６】（ａ）は、本発明の第２実施形態における符号列構成部１１による符号列の構成例を示した図である。（ｂ）は、本発明の第２実施形態における表示解像度と逆離散ウェーブレット変換の適用レベルとの一例を示した図である。
【図７】本発明の第４実施形態に係る画像処理装置のブロック図である。
【図８】画像をタイル分割した態様を示す説明図である。
【図９】（ａ）乃至（ｃ）は、離散ウェーブレット変換部２の説明図である。
【図１０】（ａ）及び（ｂ）は、エントロピ符号化部４による処理の説明図である。
【図１１】（ａ）乃至（ｄ）は、本発明の第４実施形態に係る画像処理装置により生成された符号列の説明図である。
【図１２】（ａ）及び（ｂ）は、符号列構成部１１により生成された符号列の説明図である。
【図１３】（ａ）及び（ｂ）は、エントロピ復号部５による処理の説明図である。
【図１４】（ａ）及び（ｂ）は、逆離散ウェーブレット変換部７の説明図である。
【図１５】（ａ）及び（ｂ）は、本発明の第５実施形態におけるサブバンドのブロック分割およびその符号列の説明図である。
【図１６】（ａ）乃至（ｃ）は、本発明の第５実施形態における復号化画像の合成手順の説明図である。
【図１７】（ａ）乃至（ｄ）は、従来例の画像処理装置の説明図である。
【図１】
0004480119.tif 000002
【図２】
0004480119.tif 000003
【図３】
0004480119.tif 000004
【図４】
0004480119.tif 000005
【図５】
0004480119.tif 000006
【図６】
0004480119.tif 000007
【図７】
0004480119.tif 000008
【図８】
0004480119.tif 000009
【図９】
0004480119.tif 000010
【図１０】
0004480119.tif 000011
【図１１】
0004480119.tif 000012
【図１２】
0004480119.tif 000013
【図１３】
0004480119.tif 000014
【図１４】
0004480119.tif 000015
【図１５】
0004480119.tif 000016
【図１６】
0004480119.tif 000017
【図１７】
0004480119.tif 000018