(57)【要約】  所定画素数の画像ブロックを直交変換を施した後、高能率符号化されて得られるシーケンシャル方式の符号データを使用して、直流復号部１１Ａ、直流逆量子化部１２Ａ、および直流逆ＤＣＴ部１３Ａより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、表示画像を順次精細に表示することができる。【特許請求の範囲】
【請求項１】
所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、
前記符号データが格納される記憶部と、
前記記憶部に格納されている前記符号データを復元処理する復元処理部とを備え、
前記復元処理部は、全ての前記画像ブロックに対して、前記符号データのうち直流符号データを先行して前記画像データに復元処理する先行処理を行うことを特徴とする画像復元装置。
【請求項２】
前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
前記復元処理部は、前記ブロックカウンタにより全ての前記画像ブロックに対する前記先行処理が完了したことを受けて、前記直流符号データから交流符号データに至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項２に記載の画像復元装置。
【請求項４】
前記復元処理部は、
前記直流符号データを復元処理する直流復元処理部と、
前記符号データのうち交流符号データを復元処理する交流復元処理部とを備えることを特徴とする請求項１に記載の画像復元装置。
【請求項５】
前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
前記交流復元処理部において処理対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項４に記載の画像復元装置。
【請求項６】
前記直流復元処理部は、前記符号データが入力されて、前記交流符号データを識別する識別部と、
識別された前記交流符号データを前記記憶部に格納するに先立ち、前記交流符号データの境界に対してデータ処理を行う切目処理部とを備え、
前記交流復元処理部は、前記記憶部に格納された前記交流符号データが入力されることを特徴とする請求項４に記載の画像復元装置。
【請求項７】
前記直流復元処理部は、前記交流符号データをゼロ値とした上で、前記復元処理を行うことを特徴とする請求項４に記載の画像復元装置。
【請求項８】
前記記憶部には、前記直流符号データを格納しておき、
前記交流復元処理部は、前記交流符号データに前記記憶部に格納されている前記直流符号データを合せて、前記復元処理を行うことを特徴とする請求項４に記載の画像復元装置。
【請求項９】
前記記憶部には、前記直流符号データまたは／および前記交流復元処理部において既に処理対象とされた前記交流符号データを格納しておき、
前記交流復元処理部は、処理対象の前記交流符号データに、前記記憶部に格納されている、前記直流符号データまたは／および前記交流符号データを合せて、前記復元処理を行うことを特徴とする請求項５に記載の画像復元装置。
【請求項１０】
前記直流／交流符号データは、直流／交流エントロピー符号化データであり、
前記直流復元処理部および前記交流復元処理部は、
前記直流／交流エントロピー符号化データを復号する復号部と、
前記復号部により復号化されたデータを逆量子化する逆量子化部と、
前記逆量子化部により逆量子化されたデータを逆変換する逆直交変換部とを、各々備え、
前記逆直交変換部により、前記画像データが復元されることを特徴とする請求項４に記載の画像復元装置。
【請求項１１】
前記直流符号データに対する復元処理が行われる際、前記逆量子化部における量子化係数は、“１”とされることを特徴とする請求項１０に記載の画像復元装置。
【請求項１２】
前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
処理対象とされる前記交流符号データの範囲が、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられる場合、
範囲外の交流符号データについては、前記逆量子化部における量子化係数は、“１”とされることを特徴とする請求項１０に記載の画像復元装置。
【請求項１３】
前記復元処理部は、
前記符号データに対して直交変換データを復元する前段復元処理部と、
前記直交変換データを逆変換する逆直交変換部とを備え、
また、前記符号データ、または前記符号データのうち交流符号データの何れかを選択する第１選択部を備えることを特徴とする請求項１に記載の画像復元装置。
【請求項１４】
前記復元処理に応じて前記画像ブロックをカウントするブロックカウンタを備え、
処理対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項１３に記載の画像復元装置。
【請求項１５】
前記前段復元処理部は、前記第１選択部により前記符号データが選択されて入力される際、前記交流符号データを識別する識別部と、
識別された前記交流符号データを前記記憶部に格納するに先立ち、前記交流符号データの境界に対してデータ処理を行う切目処理部とを備え、
前記前段復元処理部は更に、前記第１選択部により前記記憶部に格納された前記交流符号データが選択されて入力されることを特徴とする請求項１３に記載の画像復元装置。
【請求項１６】
前記逆直交変換部は、
前記第１選択部により前記符号データのうち直流符号データが選択されることに応じて、前記直交変換データのうち交流直交変換データをゼロ値とした上で、復元処理を行うことを特徴とする請求項１３に記載の画像復元装置。
【請求項１７】
前記記憶部には、前記直交変換データのうち前記先行処理により得られる直流直交変換データを格納しておき、
前記逆直交変換部は、前記第１選択部により前記符号データのうち交流符号データが選択されることに応じて、前記記憶部に格納されている前記直流直交変換データを合せて、復元処理を行うことを特徴とする請求項１３に記載の画像復元装置。
【請求項１８】
前記記憶部には、前記直交変換データのうち既に復元された、直流直交変換データまたは／および交流直交変換データを格納しておき、
前記逆直交変換部は、前記第１選択部により処理対象として新たな前記交流符号データが選択されることに応じて、前記記憶部に格納されている、前記直流直交変換データまたは／および前記交流直交変換データを合せて、復元処理を行うことを特徴とする請求項１４に記載の画像復元装置。
【請求項１９】
前記符号データは、エントロピー符号化データであり、
前記前段復元処理部は、
前記エントロピー符号化データを復号する復号部と、
前記復号部により復号化されたデータを逆量子化する逆量子化部とを備え、
前記逆量子化部により、前記直交変換データが復元されることを特徴とする請求項１３に記載の画像復元装置。
【請求項２０】
前記符号データのうち直流符号データを復元する際、前記逆量子化部における量子化係数は、“１”とされることを特徴とする請求項１９に記載の画像復元装置。
【請求項２１】
前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
処理対象とされる前記交流符号データの範囲が、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられる場合、
範囲外の交流符号データについては、前記逆量子化部における量子化係数は、“１”とされることを特徴とする請求項１９に記載の画像復元装置。
【請求項２２】
所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法であって、
復元すべき前記符号データを予め記憶しておき、
全ての前記画像ブロックに対して、記憶されている前記符号データのうち交流符号データに先行して、直流符号データを前記画像データに復元処理することを特徴とする画像復元方法。
【請求項２３】
画像を構成する全ての前記画像ブロックに対して、前記直流符号データを先行して復元処理した後、
前記直流符号データから前記交流符号データに至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項２２に記載の画像復元方法。
【請求項２４】
先行して行われる前記直流符号データに対する復元処理に応じて、前記交流符号データを識別し、
識別された前記交流符号データを記憶することに先立ち、前記交流符号データの境界に対してデータ処理を行い、
画像を構成する全ての前記画像ブロックに対して前記直流符号データを先行して復元処理した後、記憶された前記交流符号データに対して、復元処理を行うことを特徴とする請求項２２に記載の画像復元方法。
【請求項２５】
前記直流符号データに対して復元処理を行うに当たり、前記交流符号データをゼロ値とすることを特徴とする請求項２２に記載の画像復元方法。
【請求項２６】
前記直流符号データまたは／および既に復元処理された前記交流符号データを記憶しておき、
処理対象の前記交流符号データに対して復元処理を行うに当たり、前記直流符号データまたは／および前記交流符号データを合せて、前記復元処理を行うことを特徴とする請求項２２に記載の画像復元方法。
【請求項２７】
前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項２３に記載の画像復元方法。
【請求項２８】
前記復号処理には逆量子化処理を含み、
範囲外の交流符号データについては、前記逆量子化処理における量子化係数は、“１”とされることを特徴とする請求項２３に記載の画像復元方法。
【請求項２９】
所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元プログラムであって、
復元すべき前記符号データを予め記憶しておくステップと、
全ての前記画像ブロックに対して、記憶されている前記符号データのうち交流符号データに先行して、直流符号データを前記画像データに復元処理するステップとを有することを特徴とする画像復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直交変換を用いて符号化された画像データの復元に関するものである。
【背景技術】
【０００２】
特許文献１に開示されている画像符号化装置では、Ｍ画素×Ｍ画素を１ブロックとして直交変換を施して画像データを符号化、復号化する際、１ブロックの変換係数をＮ個のゾーンに分割し、第ｉ番目（１≦ｉ≦Ｎ）の符号化では直交変換を行った係数のうち第１からｉ番目のゾーンの係数について１画面分符号化及び伝送し、第１番目の符号化データから第Ｎ番目の符号化データまで順に伝送する。Ｎ回の符号化について全て直流係数から符号化していき、符号化終了のゾーンである変換係数の次数を符号化の回数に従って増やしていく。復号化側では、Ｎ種類のデータを、それぞれ独立のシーケンシャル符号化モードのデータとして解読すれば、プログレッシブ符号化と同等の画像表示効果を得られる。シーケンシャル符号化による復号化装置で、プログレッシブ符号化と同様の画像表示効果を実現するものである。【０００３】
【特許文献１】特開平６−２３３２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１では、シーケンシャル符号化による復号化装置を用いて、プログレッシブ符号化と同様の画像表示効果を実現することができるものではある。しかしながら、この場合、画像データを符号化する際、特殊な符号化データの構造を備えることが必要である。すなわち、１ブロックの変換係数を低周波数成分から高周波数成分に向けてＮ個のゾーンに分割しておき、符号化の際、各ゾーンについて、直流成分から各ゾーンに含まれる変換係数までを１組として１画面分の符号化データを生成する。第１番目のゾーンから第Ｎ番目のゾーンに至るまで、ゾーンごとに生成された１画面分の符号化データが順次伝送され、復号装置において順次複合されなければならない。【０００５】
通常のシーケンシャル符号化においては、直流成分から高周波数成分までの１組のシーケンシャル符号化データにより画像を構成するところ、上記特許文献１においては、画像に対して複数のシーケンシャル符号化データの組み合わせで構成しなければならず、特殊な符号化データを準備しなければならない。専用の符号化装置により符号化されたデータによらなければ所望の画像表示機能を得ることができない。広く普及している通常のシーケンシャル符号化データに対しては適用することができず問題である。【０００６】
また、画像を符号化、復号化するに当たっては、本来、１組のシーケンシャル符号化データで十分なところ、複数組のシーケンシャル符号化データを備えなければならず、必要なデータ量は増大せざるを得ない。増大したデータ量を処理するために、処理装置や記憶領域も大規模にならざるを得ない。更に、符号化データの伝送にあたっては、増大したデータ量のために伝送路の負荷も増大せざるを得ない。複雑大規模な装置構成と伝送システムへの負荷増大を招来するおそれがあり問題である。
【課題を解決するための手段】
【０００７】
本発明は前記従来技術の少なくとも１つの問題点を解消するためになされたものであり、シーケンシャル方式の符号データを復元処理する際に、プログレッシブ方式の符号データの復元と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することを目的とする。【０００８】
前記目的を達成するためになされた本発明の画像復元装置は、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、符号データが格納される記憶部と、記憶部に格納されている符号データを復元処理する復元処理部とを備え、復元処理部は、全ての画像ブロックに対して、符号データのうち直流符号データを先行して画像データに復元処理する先行処理を行うことを特徴とする。【０００９】
本発明の画像復元装置では、画像ブロック単位で符号化された符号データが記憶部に格納されており、復元処理部により画像データに復元処理されるにあたり、全ての画像ブロックに対して、符号データのうち直流符号データについて先行して復元処理が行われる。【００１０】
また、本発明に係る画像復元方法または画像復元プログラムは、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法または画像復元プログラムであって、復元すべき符号データを予め記憶しておくステップと、全ての画像ブロックに対して、記憶されている符号データのうち交流符号データに先行して、直流符号データを画像データに復元処理するステップとを有することを特徴とする。【００１１】
本発明の画像復元方法または画像復元プログラムでは、画像ブロック単位で符号化され予め記憶されている符号データが画像データに復元処理されるにあたり、全ての画像ブロックに対して、交流符号データに先行して、直流符号データが復元処理される。
【発明の効果】
【００１２】
これにより、所定画素数の画像ブロックごとに直交変換した上で符号化された符号データを、直流符号データについて先行処理することにより、画像ブロックにおける画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行うことにより、画像ブロック内の個々の色や、輝度、色差といった様々な違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち、画像ブロックの平均的な画像データを先行して復元することができる。先行して画像全体の特徴を表示した後に精細な画像を表示する、プログレッシブ表示を行うことができる。【００１３】
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像表示効果を得ることができる。すなわち、画像ブロックごとに精細な画像情報を有し、画像再生の際には画像ブロックごとに精細な画像再生が行われる、シーケンシャル方式での符号データを用いながら、画像全体の特徴は表現されるものの不十分な画質の画像から、精細な画質までの画像情報を順次表示することができる。画像再生の初期段階で画像の全体像を把握でき、その後徐々に精細な画像表示が行われる、プログレッシブ方式での符号データによる画像表示効果と同様な画像表示効果が得られる。【００１４】
本発明によれば、一般的に使用されているシーケンシャル方式の符号データについて復元処理を行う際、符号データのうち直流符号データを先行して復元処理することにより、各画像ブロックの平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となり、プログレッシブ方式の符号データを用いた場合と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の回路ブロック図である。
【図２】第２実施形態の回路ブロック図である。
【図３】第３実施形態のフロー図である。
【図４】直流復号部の回路ブロック図である。
【図５】交流復号部の回路ブロック図である。
【図６】交流符号データを多段階に分割する際のグループ分けを示す概念図である。
【符号の説明】
【００１６】
１１Ａ      直流復号部
１１Ｂ      交流復号部
１２Ａ      直流逆量子化部
１２Ｂ      交流逆量子化部
１３Ａ      直流逆ＤＣＴ部
１３Ｂ      交流逆ＤＣＴ部
１５        記憶部
１５Ａ      符号データ格納領域
１５Ｂ      直流ＴＥＭＰ領域
１５Ｃ      交流ＴＥＭＰ領域
１５Ｄ      復元画像格納領域
２１        復号部
２２        逆量子化部
２３        逆ＤＣＴ部
２５        記憶部
２５Ａ      符号データ格納領域
２５Ｂ      直流ＴＥＭＰ領域
２５Ｃ      交流ＴＥＭＰ領域
２６        選択部
２７        直流選択部
２８        交流選択部
４１        ブロックカウンタ
４２、５４  アドレス発生部
４３        直流（ＤＣ）テーブル
４４        交流（ＡＣ）テーブル
４５、４６  比較部
４７        バッファ
４８        （直流（ＤＣ））取込部
４９        組立部
５０        交流（ＡＣ）取込部
５３        切目処理部
【発明を実施するための最良の形態】
【００１７】
以下、本発明の画像復元装置、画像復元方法、および画像復元プログラムについて具体化した第１乃至第３実施形態を図１乃至図６に基づき図面を参照しつつ詳細に説明する。【００１８】
図１には第１実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、直流符号データに対する復元処理と交流符号データに対する復元処理とが、各々個別に行われる回路構成である。【００１９】
記憶部１５には、符号データが格納されている符号データ格納領域１５Ａ、直流符号データが一時的に格納される直流ＴＥＭＰ領域１５Ｂ、交流符号データが一時的に格納される交流ＴＥＭＰ領域１５Ｃ、そして復元された画像データが格納される復元画像格納領域１５Ｄが備えられている。【００２０】
ここで、符号データとは、所定画素数の画像ブロックにおける画像データを直交変換した上で、符号化されたデータである。例えば、ＪＰＥＧ画像等の高能率符号化データがこれにあたる。この場合、所定画素数の画像ブロックとは８×８画素である。直交変換とはＤＣＴ変換であり、符号化とはエントロピー符号化である。エントロピー符号化の方式としてはハフマン符号化方式が用いられることが一般的である。画像データはＤＣＴ変換により、１つの直流成分（ブロック０）と、低周波数成分から高周波数成分に向かって６３段階に分割された交流成分（ブロック１乃至６３）との、６４のブロックに分割される。直流成分（ブロック０）とは、８×８画素の平均値を示す値であり、交流成分（ブロック０乃至６３）とは、隣接する８×８画素との画像成分の違いを示す値である。【００２１】
直流復号部１１Ａには、符号データ格納領域１５Ａから符号データが入力され、このうち直流成分に対して復号化処理が行われる。直流符号データが復号化された直流量子化値が出力される。合せて、交流符号データが識別される。識別された交流符号データは、記憶部１５内の交流ＴＥＭＰ領域１５Ｃに格納される。この場合、図４において後述する切れ目処理により、画像ブロックごとに交流符号データを判別できるように、データ境界におけるデータ処理が施される場合がある。【００２２】
直流量子化値は直流逆量子化部１２Ａに入力される。対応する直流量子化係数を乗ずることにより直流係数が出力される。この場合、直流量子化値に乗ずる直流量子化係数として、“１”を選択することもできる。量子化処理において“１”より大きな直流量子化係数により量子化されている場合には、“１”による逆量子化では、画像のダイナミックレンジを低下させてしまうことになる。しかしながら、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための初期段階として直流量子化値に対する処理である。従って、画像表示に精度は要求されず、全体の画像特徴が表される範囲において、乗算すべき量子化係数を“１”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“１”に限定されるのもではなく、上記の効果を奏するものであれば、“１”以外の係数を使用することが可能であることはいうまでもない。【００２３】
直流逆量子化部１２Ａから出力された直流係数は、記憶部１５における直流ＴＥＭＰ領域１５Ｂに格納されると共に、直流逆ＤＣＴ部１３Ａに入力される。直流逆ＤＣＴ部１３Ａには更に、交流係数として擬似的にゼロ値が入力される。直流逆ＤＣＴ部１３Ａでは、原画像の特徴が直流係数においてのみ表されたＤＣＴ変換係数に対して、逆ＤＣＴ変換が施される。直流逆ＤＣＴ部１３Ａから出力される直流画像データは、復元画像格納領域１５Ｄに格納される。格納された直流画像データは、表示装置において表示され、直流成分により画像表示が行われる。この場合、復元画像格納領域１５Ｄに直流画像データを格納しておけば、様々な画像処理に対応することができる。また、直流画像データを格納する復元画像格納領域１５Ｄを記憶部１５に備える必要は必ずしもない。復元された画像についてはそのまま表示装置に表示するような設定とすることも可能である。これにより、記憶部１５の記憶領域を圧縮することができる。【００２４】
ここで、直流復号部１１Ａ、直流逆量子化部１２Ａ、および直流逆ＤＣＴ部１３Ａが、直流復元処理部を実現する一例である。符号データを画像データに復元する際、直流復元処理部での処理を先行させることにより、直流成分のみが画像の特徴を示す画像データが先行して得られる。【００２５】
交流復号部１１Ｂには、交流ＴＥＭＰ領域１５Ｃに格納されている交流符号データが入力され復号化処理が行われる。ここで、交流ＴＥＭＰ領域１５Ｃに格納されている交流符号データは、先行して処理が行われる直流復号部１１Ａにより識別され格納されたデータである。交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂにより構成される交流復元処理部での処理は、前述の直流復元処理部における直流復号部１１Ａでの処理の後、直流復元部の処理と並行してあるいは直流復元部での処理に遅れて行われる。交流復号部１１Ｂでは、全ての交流符号データを一括して復号化処理することの他、所定の周波数成分ごとに段階的に復号化することも可能である。後者については、図６、図７において詳述する。段階的に復号化することにより、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。交流復号部１１Ｂからは、交流量子化値が出力される。【００２６】
交流量子化値は交流逆量子化部１２Ｂに入力される。交流量子化係数を乗ずることにより交流係数が出力される。交流符号データを段階的に復元する構成の場合には、過渡的な画像表示の段階において、交流量子化値に乗ずる交流量子化係数を“１”に選択することもできる。“１”より大きな交流量子化係数で量子化されている場合には、画像のダイナミックレンジを低下させてしまうことになるが、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための中間の画像表示段階での処理であり、このとき表示される周波数成分に対する画像表示に精度は要求されず、全体の画像特徴が現われる範囲において、乗算すべき量子化係数を“１”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“１”に限定されるのもではなく、上記の効果を奏するものであれば、“１”以外の係数を使用することが可能であることはいうまでもない。【００２７】
交流逆量子化部１２Ｂから出力された交流係数は、記憶部１５における直流ＴＥＭＰ領域１５Ｂに格納されている直流係数と共に、交流逆ＤＣＴ部１３Ｂに入力される。交流逆ＤＣＴ部１３Ｂでは、直流係数と交流係数とが含まれたＤＣＴ変換係数に対して、逆ＤＣＴ変換が施される。交流逆ＤＣＴ部１３Ｂから出力される画像データは、復元画像格納領域１５Ｄに格納され、また画像表示される。【００２８】
ここで、交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂが、交流復元処理部を実現する一例である。符号データを画像データに復元する際、前述の直流復元処理部での処理に遅れて処理されることにより、直流成分に加えて交流成分を含んだ画像データが得られる。このとき、交流成分を段階的に処理する構成であれば、直流係数に、順次交流係数が加わったＤＣＴ変換係数が、順次逆ＤＣＴ変換されることとなり、よりきめ細かいプログレッシブ表示効果を得ることができる。【００２９】
第１実施形態では、所定画素数の画像ブロックとして８×８画素を１ブロックとして、ブロックごとに、ＤＣＴ変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用する。直流復号部１１Ａ、直流逆量子化部１２Ａ、および直流逆ＤＣＴ部１３Ａより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。【００３０】
図２には第２実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、復号部２１、逆量子化部２２、および逆ＤＣＴ部２３を共通に備えて、直流／交流符号データを処理する。このうち、復号部２１および逆量子化部２２が、前段復元処理部の一例として構成され、逆ＤＣＴ部２３が逆直交変換部の一例として構成される場合である。第１選択部の一例として備えられている選択部２６により、直流符号データと交流符号データとを適宜に選択して供給することにより復元処理が行われる回路構成である。【００３１】
第２実施形態では、記憶部２５と復号部２１との間に、選択部２６が備えられている。符号データ格納領域２５Ａから符号データが供給される径路と、交流ＴＥＭＰ領域２５Ｃから交流符号データが供給される径路との何れか一方が選択される。【００３２】
復号部２１は、直流復号部１１Ａと交流復号部１１Ｂとを兼ね備えた機能を奏する。すなわち、選択部２６において、先行して符号データ格納領域２５Ａとの径路が選択され符号データが入力されると、符号データのうち直流符号データに対して復号化処理が行われ直流量子化値が出力される。このとき、交流符号データについては必要に応じて後述する切れ目処理を行い、交流ＴＥＭＰ領域２５Ｃに格納される。【００３３】
交流ＴＥＭＰ領域２５Ｃとの径路が選択され、先の処理で必要に応じて切れ目処理が施された交流符号データが入力される場合には、入力される交流符号データに対して復号化処理を行う。このとき、交流符号データについては、切れ目処理により、高周波数成分に向かって段階的に処理範囲が拡大するように区切ることが可能である。この区切りごとに復号化処理が行われ、直流／交流量子化値が出力される。【００３４】
復号部２１において復号された直流／交流量子化値は、逆量子化部２２において逆量子化された後、直流ＴＥＭＰ領域２５Ｂ、直流選択部２７、および交流選択部２８に出力される。先行して直流係数が演算される際、直流係数は、直流ＴＥＭＰ領域２５Ｂに格納されると共に、直流選択部２７において選択されて逆ＤＣＴ部２３に送られる。同時に、交流係数として、交流選択部２８においてゼロ値が選択されて逆ＤＣＴ部２３に送られる。逆ＤＣＴ部２３では、直流係数において特徴を有する画像が復元される。これに遅れて交流係数を含んで演算される際、直流係数は、直流ＴＥＭＰ領域２５Ｂから直流選択部２７により選択されて逆ＤＣＴ部２３に送られる。同時に、交流係数が逆量子化部２２において演算されて逆ＤＣＴ部２３に送られる。逆ＤＣＴ部２３では、直流係数に加えて交流係数を含んで特徴を有する画像が復元される。【００３５】
尚、逆量子化部２２において量子化係数を、“１”を含む通常の量子化係数に比して小さな値とすることは、第１実施形態と同様な作用・効果を奏し、有効である。【００３６】
第２実施形態では第１実施形態の場合と同様に、所定画素数の画像ブロックとして８×８画素を１ブロックとして、ブロックごとに、ＤＣＴ変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用して、復号部２１、逆量子化部２２、および逆ＤＣＴ部２３で復元処理を行うことができる。この場合、選択部２６により選択された符号データに応じて演算された直流係数が選択部２７により選択されると共に、交流選択部２８において交流係数としてゼロ値が選択され、画像の特徴を示す直流符号データに対して、先行して画像復元処理が行われ画像表示される。これに遅れて、直流／交流選択部２７／２８において、各々、直流ＴＥＭＰ領域２５Ｂに格納されている直流係数、および逆量子化部２２から出力される交流係数が選択され、画像の特徴を示す直流符号データから交流符号データに至るデータに対して、画像復元処理が行われ画像表示される。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様に、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。【００３７】
第２実施形態では、復元部２１、逆量子部２２、および逆ＤＣＴ部２３を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することができ、各々処理で個別の回路構成を有する第１実施形態の場合に比して構成される回路規模を圧縮することができる。【００３８】
尚、第１および第２実施形態では、先行して直流符号データに対して処理が行われるとし、交流符号データについては、直流復号部１１Ａまたは復号部２１において識別されて交流ＴＥＭＰ領域１５Ｃ、２５Ｃに格納されるものとして説明した。交流ＴＥＭＰ領域１５Ｃ、２５Ｃに格納される交流符号データは、エントロピー符号化されたデータであり、ＤＣＴ変換された画像データの特徴とも相俟って、圧縮されたデータである。記憶部１５、２５として記憶領域が限られている場合にも交流ＴＥＭＰ領域１５Ｃ、２５Ｃとして格納することが容易である。ここで、記憶部１５、２５に格納されている符号データが記憶部１５、２５における一時的な格納であり、画像復元後の消失が許されるならば、交流ＴＥＭＰ領域１５Ｃ、２５Ｃを、符号データ格納領域１５Ａ、２５Ａに重ねて設定しておき、符号データの直流復号部１１Ａ、復号部２１での処理の後、交流符号データに対して必要に応じて切れ目処理を施した上で上書きすることができる。これにより、記憶部１５、２５の格納領域を小さくすることができる。【００３９】
また、記憶部１５、２５における記憶領域が十分に確保されている場合には、交流ＴＥＭＰ領域１５Ｃ，２５Ｃとして十分な領域を確保して、直流符号データに対する画像処理と共に交流符号データの処理も行い、交流量子化値や交流係数を格納することもできる。これにより、交流成分の処理を途中の段階まで予め行っておくことが可能となり、交流成分まで含んだ画像データ復元処理を高速に行うことができる。【００４０】
また、先行して行われる直流符号データに対する処理において演算される直流係数が、直流ＴＥＭＰ領域１５Ｂ、１５Ｃに格納されるものとして説明しているが、これ以外に、直流量子化値を格納しておき、交流成分の演算時において、交流逆量子化部１２Ｂまたは逆量子化部２２に対して、交流量子化値と共に供給するように構成することもできる。【００４１】
また、直流成分の処理では、直流逆ＤＣＴ部１３Ａまたは逆ＤＣＴ部２３に対して、ゼロ値の交流係数を供給しているが、直流逆量子化部１２Ａまたは逆量子化部２２に対して、ゼロ値の交流量子化値を供給することも可能である。【００４２】
また、途中段階での逆量子化係数を“１”として逆量子化演算をするとは、量子化値に“１”を乗算することである。途中段階での処理においては、直流／交流逆量子化部１２Ａ／１２Ｂや、逆量子化部２２での演算処理を行わず、演算された量子化値を、そのまま直流／交流逆ＤＣＴ部１３Ａ／１３Ｂや、逆ＤＣＴ部２３に供給する構成とすることができることを意味する。【００４３】
図３は、第３実施形態として本発明をソフトウェアでデータ処理する際のフロー図を示している。【００４４】
画像復元の処理が開始されると、要求される画像表示がプログレッシブ表示であるか否かが判断される（Ｓ１）。プログレッシブ表示が要求されておらず（Ｓ１：ＮＯ）通常のシーケンシャル表示を行う場合には、シーケンシャル符号格納部Ｄ１よりシーケンシャル符号データが読み出され、画像ブロックごとに、復号処理（Ｓ３１）、逆量子化処理（Ｓ３３）、逆ＤＣＴ処理（Ｓ３５）を行った上で、画像ブロックごとに、復元画像の表示が行われる（Ｓ３７）。【００４５】
プログレッシブ表示が要求されている場合には（Ｓ１：ＹＥＳ）、シーケンシャル符号格納部Ｄ１よりシーケンシャル符号データが読み出され、直流（ＤＣ）符号データに対する復号処理と共に、直流（ＤＣ）符号データと交流（ＡＣ）符号データとの分離が行われ、分離された交流（ＡＣ）符号データは交流（ＡＣ）符号データ格納部Ｄ２に格納される（Ｓ３）。交流（ＡＣ）符号データ格納部Ｄ２には、画面上の全ての画像ブロック（０−Ｚ）の各々に対して、低周波数成分から高周波数成分までを６３のブロックに分割して符号化されている交流（ＡＣ）符号データ（０−６３）が格納される。復号化された直流（ＤＣ）符号データは、直流（ＤＣ）量子化値として処理Ｓ５に送られる。【００４６】
処理Ｓ５では、直流（ＤＣ）量子化値に対して逆量子化処理が行われ、直流（ＤＣ）係数が演算される。直流（ＤＣ）係数は、直流（ＤＣ）係数格納部Ｄ３に格納される。直流（ＤＣ）係数格納部Ｄ３には、画面上の各画像ブロック（０−Ｚ）ごとの直流（ＤＣ）件数が格納される。更に直流（ＤＣ）係数は処理Ｓ７に送られる。【００４７】
処理Ｓ７では、画像ブロック（０−Ｚ）ごとに、演算された直流（ＤＣ）係数に対して、全ての交流（ＡＣ）係数（０−６３）にゼロ値を割り当てて、逆ＤＣＴ処理が行われる。全ての交流（ＡＣ）係数にゼロ値を割り当てるので、処理Ｓ７の逆ＤＣＴ処理での演算は簡素化され、高速処理が可能である。これにより、直流（ＤＣ）成分により表される復元画像が得られる。画像の詳細な違いは表現されないものの、画像ブロックごとの平均的な画像の特徴が大まかに表現されて表示されることとなる（Ｓ９）。処理Ｓ３乃至Ｓ９を、全ての画像ブロックに対して順次行うことにより、プログレッシブ表示における第１段階の表示が行われる。画面全体の大まかな画像の特徴が表現される。【００４８】
次に、交流（ＡＣ）符号データを含んだ符号データに対して画像復元処理を行う。先ず、６３段階の周波数成分に対するブロック１−６３のうち、同時に画像復元処理を行う交流（ＡＣ）符号データのブロック範囲を設定する（Ｓ１１）。処理Ｓ１１では、ｎとして設定される。初期化処理を行い、最小値：ｉ＝１、最大値：ｊ＝ｎとした後（Ｓ１３）、交流（ＡＣ）符号データ格納部Ｄ２に格納されている交流（ＡＣ）符号データの復号化処理を行い交流（ＡＣ）量子化値を出力する（Ｓ１５）。【００４９】
処理Ｓ１７では、交流（ＡＣ）量子化値に対して逆量子化処理が行われ、交流（ＡＣ）係数が演算される。交流（ＡＣ）係数は、交流（ＡＣ）係数格納部Ｄ４に格納される。交流（ＡＣ）係数格納部Ｄ４には、画面上の画像ブロック（０−Ｚ）ごとの交流（ＡＣ）係数が、ブロック１乃至ｊの範囲で格納される。【００５０】
処理Ｓ１９では、画像ブロック（０−Ｚ）ごとに、処理Ｓ１７で演算された交流（ＤＣ）係数に加えて、必要に応じて既に演算され交流（ＡＣ）係数格納部Ｄ４に格納されている交流（ＡＣ）係数（０−Ｚ）（１−（ｉ−１））を読み出し、また、未だ演算されていない交流（ＡＣ）係数（０−Ｚ）（（ｎ＋１）−６３）に対してはゼロ値を割り当てて、逆ＤＣＴ処理が行われる。このとき同時に、直流（ＤＣ）係数格納部Ｄ３に格納されている直流（ＤＣ）係数（０−Ｚ）も合せ、逆ＤＣＴ処理が行われる。これにより、直流（ＤＣ）成分から所定範囲までの交流（ＡＣ）成分により表される復元画像が得られる。表現される画像は、復元処理される交流（ＡＣ）成分の範囲までの特徴が復元された表示が可能となる。直流（ＤＣ）成分のみの画像表示（Ｓ９）に比してより精細な画像が表現される（Ｓ２１）。【００５１】
画像復号処理が行われる交流（ＡＣ）符号データの最大値：ｊが交流（ＡＣ）符号データの最大ブロックである６３であるか否かが判断され（Ｓ２３）、ｊ＝６３に到達していれば（Ｓ２３：ＹＥＳ）画像復元処理は終了する。ｊ＝６３に到達していなければ（Ｓ２３：ＮＯ）、最小値：ｉ、最大値：ｊにｎを加算して（Ｓ２５）次の復元処理に移行する。ｎが加算された際の最大値：ｊが６３を越える場合には（Ｓ２７：ＹＥＳ）、最大著：ｊを６３に設定し直して（Ｓ２９）、処理１５に戻って、再度、交流（ＡＣ）成分の範囲が拡大された上で画像復元処理を繰り返す。【００５２】
処理Ｓ１５乃至Ｓ１９を、全ての画像ブロック（０−Ｚ）に対して、交流（ＡＣ）成分の範囲を順次拡大しながら行うことにより、プログレッシブ表示において、精細さが順次増大する表示が行われる。画面全体の画像が順次精細に表現されるような表示が実現される。【００５３】
ここで、図４および図５により、第１実施形態の直流復号部１１Ａおよび交流復号部１１Ｂについての回路ブロック例を示す。【００５４】
先ず、図４に示す直流復号部１１Ａについて説明する。直流復号部１１Ａでは、直流（ＤＣ）符号データの復号化処理の他、交流（ＡＣ）符号データを識別し、必要に応じてデータ間の境界におけるデータ処理を施した上で、交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納する処理を含む。【００５５】
ブロックカウンタ４１は、ＤＣＴ変換された画像データが、１つの直流（ＤＣ）符号データ（ブロック１）と、低周波数成分から高周波数成分に至る６３段階の交流（ＡＣ）符号データ（ブロック１−６３）とに分解されるところ、各段階のブロック値をカウントするカウンタである。０乃至６３のカウント値ＢＣ（０：６３）はアドレス発生部４２に、カウント値ＢＣ（１：６３）はアドレス発生部５４、論理積ゲート５１、および後述の条件（３）の場合には切目処理部５３に、カウント値ＢＣ（６３）は論理積ゲート５２に、それぞれ入力される。【００５６】
アドレス発生部４２は、カウント値ＢＣ（０：６３）ごとに、直流（ＤＣ）テーブル４３または交流（ＡＣ）テーブル４４にあるハフマン符号を指定するアドレスを発生する。一つの符号データが、複数あるハフマン符号の何れに一致するかを検出するために、一つのカウント値ＢＣ（０：６３）に対して、順次アドレス値が変化する。【００５７】
アドレス発生部４２からの指定により順次選択されるハフマン符号に応じて、バッファ４７に取り込まれる符号データごとに比較部４５、４６において一致比較が行われる。比較部４５には直流（ＤＣ）テーブル４３から選択されたハフマン符号が入力され、直流（ＤＣ）符合データとの比較が行われる。比較部４６には交流（ＡＣ）テーブル４４から選択されたハフマン符号が入力され、交流（ＡＣ）符合データとの比較が行われる。【００５８】
比較部４５により直流（ＤＣ）テーブルに格納されているハフマン符号との一致が検出されると、一致検出された符号データは直流（ＤＣ）符合データであると判断され、直流（ＤＣ）取込部４８がイネーブル状態とされる。バッファ４７にある比較対象の符号データが直流（ＤＣ）取込部４８を介して組立部４９に送られる。組立部４９には、一致判定されたハフマン符号と対応する付加ビットが入力され、一致判定された直流（ＤＣ）符号データが復号される。【００５９】
比較部４６により交流（ＡＣ）テーブルに格納されているハフマン符号との一致が検出されると、判定結果は、論理積ゲート５１および５２に入力される。論理積ゲートの他方には、各々、カウント値ＢＣ（１：６３）およびカウント値ＢＣ（６３）が入力されるため、論理積ゲート５１により各カウント値ＢＣ（１：６３）に対して交流（ＡＣ）取込部５０がイネーブル状態とされ、一致判定された符号データをカウント値ＢＣ（１：６３）に対応する交流（ＡＣ）符号データであるとして、入力可能とされる。論理積ゲート５２によりカウント値ＢＣ（６３）に対してバッファ４７は禁止状態とされ、符号データの入力が禁止される。一つの画像ブロックに対する直流（ＤＣ）復号部１１Ａへの入力が禁止される。【００６０】
交流（ＡＣ）取込部５０を介して入力された交流（ＡＣ）符号データは、三種類の方法により、記憶部１５の交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納される。【００６１】
第１の方法（１）は、交流（ＡＣ）取込部５０を介して入力された交流（ＡＣ）符号データを、そのまま、交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納する場合である。バッファ４７から交流（ＡＣ）取込部５０を介して入力された交流（ＡＣ）符号データは、カウント値ＢＣ（１：６３）に応じてアドレス発生されるアドレス発生部５４により指定されるアドレスを有する格納領域に格納される。【００６２】
第２の方法（２）は、切目処理部５３において、連続して入力される交流（ＡＣ）符号データの境界をデータ処理して格納する場合である。直流（ＤＣ）符号データに続く交流（ＡＣ）符号データとの境界を、検出可能にデータ処理する場合である。【００６３】
一つの画像ブロックを表現する一連の符号データ（ブロック０−６３）のうち、先頭に位置するブロック０の符号データは、直流（ＤＣ）符号データである。既に先行して判別され、直流（ＤＣ）取込部４８を介して組立部４９において復号化されている。交流（ＡＣ）取込部５０を介して入力される符号データはブロック１−６３の交流（ＡＣ）符号データのみであるところ、先頭の交流（ＡＣ）符号データの前に、本来の直流（ＤＣ）符号データに代えて、直流（ＤＣ）符号データを表す符号データのうち最短長のビット列を有するハフマン符号に応じた符号データを擬似的に付加する。擬似的に付加される符号データは所定のビット列に固定することができるため、切目処理部５３において交流（ＡＣ）符号データの先頭に自動的に付加する構成とすることができる。【００６４】
第３の方法（３）は、切目処理部５３において、６３段階の交流（ＡＣ）符号データ（ブロック１−６３）を、ブロック１の最低周波数成分の交流（ＡＣ）符号データから、所定ブロック数ごとに複数のグループに分割する処理を行う場合である。交流（ＡＣ）符号データを含めた画像復元処理を行う際、復元処理を行う交流（ＡＣ）符号データの範囲を、高周波数成分に向けて順次拡大することにより、より滑らかなプログレッシブ表示を実現するものである。カウント値ＢＣ（１：６３）に応じて切目処理部５３において行われる。グループ分割された交流（ＡＣ）符号データは、カウント値ＢＣ（１：６３）に応じて、アドレス発生部５４においてグループごとに発生されるアドレスにより格納される。グループ分割をする際のグループ分けの一例を図６に示し、グループ境界のデータ処理の一例を図７に示す。図６、図７については後述する。【００６５】
尚、図４の回路ブロック図には示されていないが、比較部４５／４６による、直流（ＤＣ）／交流（ＡＣ）４３／４４テーブルとの一致比較に基づき、符号データ格納領域１５Ａに格納されている符号データの先頭アドレスと、符号データ内で交流（ＡＣ）符号データが始まるビット位置を把握してやれば、交流（ＡＣ）取込部５０、切目処理部５３、アドレス発生部５４等を備えて識別された交流（ＡＣ）符号データを交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納する処理をする必要はない。符号データ格納領域１５Ａから必要に応じて読み出すことができる。【００６６】
アドレス発生部５４は、識別され、必要に応じて切れ目処理を施された交流（ＡＣ）符号データを格納すべきアドレスを発生する。ブロックカウンタからのカウント値ＢＣ（１：６３）ごとに、交流（ＡＣ）ＴＥＭＰ領域１５Ｃに順次格納されるように、アドレスが順次発生される。【００６７】
図５に交流復号部１１Ｂの回路ブロックを示す。交流復号部１１Ｂは、交流（ＡＣ）符号データの復号化処理を行うことが目的である。図４に示した直流復号部１１Ａとは異なり、直流（ＤＣ）テーブル４３、比較部４５、交流（ＡＣ）取込部５０、切目処理部５３、およびアドレス発生部５４が不要である。【００６８】
直流復号部１１Ａにおける直流（ＤＣ）取込部４８に代えて取込部４８が備えられ、比較部４５からの出力信号に代えて論理積ゲート５１からの出力信号に応じてイネーブル状態とされる。カウント値ＢＣ（１：６３）ごとに一致判定された交流（ＡＣ）符号データが、取込部４８を介して組立部４９に入力される。また、論理積ゲート５２において、カウント値ＢＣ（６３）に代えてカウント値ＢＣ（Ｘ）が入力される。ここで、カウント値ＢＣ（Ｘ）とは、グループ処理される一連の交流（ＡＣ）符号データのうち終端の交流（ＡＣ）符号データのブロック値を示す値である。グループの終端を示すブロック値に応じてバッファ４７が入力禁止状態とされる。交流（ＡＣ）符号データのグループごとに復号化処理を行うことができる。【００６９】
図６は、８×８画素の画像データに対してＤＣＴ変換処理を行うことにより得られる符号データの並びを、いわゆるジグザグスキャン方式により並べたテーブルである。左上端のブロック０が直流（ＤＣ）符号データに該当する。その右隣のブロック１から右下端のブロック６３が交流（ＡＣ）符号データに対応する。ブロック１から順次ジグザグにスキャンしてブロック９までがグループ１に、ブロック１０からブロック２７までがグループ２に、ブロック２８からブロック６３までがグループ３に対応する。【００７０】
この場合の切れ目処理はグループの境界において行われる。例えば、ゼロランレングス（ＺＲＬ）等、ゼロ値がグループをまたいで連続して存在する場合には、先のグループの終端をＥＯＢ符号に置き換える処理を行う。後続のグループの先頭は残余のゼロ値の連続数に合せて符号設定が行われる。【００７１】
以上の説明から明らかなように本実施形態によれば、８×８画素等の所定画素数の画像ブロックごとに、ＤＣＴ変換等の直交変換した上でハフマン符号化等により符号化された、シーケンシャル方式の符号データを、直流符号データについて先行して画像復元処理することにより、画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行い、個々の色や、輝度、色差の違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち平均的な画像データを先行して復元することができ、プログレッシブ表示と同様な画像表示効果を得ることができる。【００７２】
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像再生と同様な表示効果を得ることができる。不十分ではあるが全体像を把握できる画像から、精細な画質までの画像情報を順次表示することができる。【００７３】
一般的に使用されているシーケンシャル方式の符号データを使用しながら、平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となる。【００７４】
本発明の直流（ＤＣ）符号データに対する画像復元処理は、プログレッシブ表示における第１段階の表示に使用できるほか、画像内容の概要を検索する際に表示させることにより、検索画像の表示を高速に行う効果を奏することもできる。例えば、デジタルスチルカメラ等のインデックス表示機能において、使用することができる。【００７５】
上記の効果のほか、下記に示す諸効果も得ることができる。すなわち、交流（ＡＣ）符号データのうち所定の周波数成分ごとに段階的に復号化してやれば、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。また、逆量子化の処理の際、乗算すべき量子化係数を“１”に減ずることにより、逆量子化演算を行う必要がなくなる。回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。また、第２実施形態において、復元部２１、逆量子部２２、および逆ＤＣＴ部２３を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することにより、回路規模を圧縮することができる。また、逆ＤＣＴ処理が行われる際、復元処理対象外の交流（ＡＣ）係数に対してはゼロ値が割り当てられるので、逆ＤＣＴ処理での演算は簡素化され、高速処理が可能となる。【００７６】
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、実施形態においては、プログレッシブ表示効果の第１段階として直流（ＤＣ）符号データのみを対象として画像復元処理を行う場合を説明したが、本発明はこれに限定されるものではない。プログレッシブ表示効果を得るための第１段階として、直流（ＤＣ）符号データに加えて低周波数成分の交流（ＡＣ）符号データを含めて、画像復元処理を行う構成とすることもできる。
【図１】
2006025090.tif 000002
【図２】
2006025090.tif 000003
【図３】
2006025090.tif 000004
【図４】
2006025090.tif 000005
【図５】
2006025090.tif 000006
【図６】
2006025090.tif 000007
【手続補正書】
【提出日】平成18年10月23日(2006.10.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、
前記符号データが格納される記憶部と、
前記記憶部に格納されている前記符号データを復元処理する復元処理部とを備え、
前記復元処理部は、全ての前記画像ブロックに対して、前記符号データのうち直流符号データを先行して前記画像データに復元処理する先行処理を行うことを特徴とする画像復元装置。
【請求項２】
前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブロックカウンタを備え、
前記復元処理部は、前記ブロックカウンタにより全ての前記画像ブロックに対する前記先行処理が完了したことを受けて、前記直流符号データから交流符号データに至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げられることを特徴とする請求項２に記載の画像復元装置。
【請求項４】
前記復元処理部は、
前記直流符号データを復元処理する直流復元処理部と、
前記符号データのうち交流符号データを復元処理する交流復元処理部とを備えることを特徴とする請求項１に記載の画像復元装置。
【請求項５】
所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法であって、
復元すべき前記符号データを予め記憶しておき、
全ての前記画像ブロックに対して、記憶されている前記符号データのうち交流符号データに先行して、直流符号データを前記画像データに復元処理することを特徴とする画像復元方法。
【請求項６】
画像を構成する全ての前記画像ブロックに対して、前記直流符号データを先行して復元処理した後、
前記直流符号データから前記交流符号データに至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項５に記載の画像復元方法。
【請求項７】
先行して行われる前記直流符号データに対する復元処理に応じて、前記交流符号データを識別し、
識別された前記交流符号データを記憶することに先立ち、前記交流符号データの境界に対してデータ処理を行い、
画像を構成する全ての前記画像ブロックに対して前記直流符号データを先行して復元処理した後、記憶された前記交流符号データに対して、復元処理を行うことを特徴とする請求項５に記載の画像復元方法。
【請求項８】
前記直流符号データに対して復元処理を行うに当たり、前記交流符号データをゼロ値とすることを特徴とする請求項５に記載の画像復元方法。
【請求項９】
前記直流符号データまたは／および既に復元処理された前記交流符号データを記憶しておき、
処理対象の前記交流符号データに対して復元処理を行うに当たり、前記直流符号データまたは／および前記交流符号データを合せて、前記復元処理を行うことを特徴とする請求項５に記載の画像復元方法。
【請求項１０】
所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元プログラムであって、
復元すべき前記符号データを予め記憶しておくステップと、
全ての前記画像ブロックに対して、記憶されている前記符号データのうち交流符号データに先行して、直流符号データを前記画像データに復元処理するステップとを有することを特徴とする画像復元プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直交変換を用いて符号化された画像データの復元に関するものである。
【背景技術】
【０００２】
特許文献１に開示されている画像符号化装置では、Ｍ画素×Ｍ画素を１ブロックとして直交変換を施して画像データを符号化、復号化する際、１ブロックの変換係数をＮ個のゾーンに分割し、第ｉ番目（１≦ｉ≦Ｎ）の符号化では直交変換を行った係数のうち第１からｉ番目のゾーンの係数について１画面分符号化及び伝送し、第１番目の符号化データから第Ｎ番目の符号化データまで順に伝送する。Ｎ回の符号化について全て直流係数から符号化していき、符号化終了のゾーンである変換係数の次数を符号化の回数に従って増やしていく。復号化側では、Ｎ種類のデータを、それぞれ独立のシーケンシャル符号化モードのデータとして解読すれば、プログレッシブ符号化と同等の画像表示効果を得られる。シーケンシャル符号化による復号化装置で、プログレッシブ符号化と同様の画像表示効果を実現するものである。
【０００３】
【特許文献１】特開平６−２３３２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１では、シーケンシャル符号化による復号化装置を用いて、プログレッシブ符号化と同様の画像表示効果を実現することができるものではある。しかしながら、この場合、画像データを符号化する際、特殊な符号化データの構造を備えることが必要である。すなわち、１ブロックの変換係数を低周波数成分から高周波数成分に向けてＮ個のゾーンに分割しておき、符号化の際、各ゾーンについて、直流成分から各ゾーンに含まれる変換係数までを１組として１画面分の符号化データを生成する。第１番目のゾーンから第Ｎ番目のゾーンに至るまで、ゾーンごとに生成された１画面分の符号化データが順次伝送され、復号装置において順次複合されなければならない。
【０００５】
通常のシーケンシャル符号化においては、直流成分から高周波数成分までの１組のシーケンシャル符号化データにより画像を構成するところ、上記特許文献１においては、画像に対して複数のシーケンシャル符号化データの組み合わせで構成しなければならず、特殊な符号化データを準備しなければならない。専用の符号化装置により符号化されたデータによらなければ所望の画像表示機能を得ることができない。広く普及している通常のシーケンシャル符号化データに対しては適用することができず問題である。
【０００６】
また、画像を符号化、復号化するに当たっては、本来、１組のシーケンシャル符号化データで十分なところ、複数組のシーケンシャル符号化データを備えなければならず、必要なデータ量は増大せざるを得ない。増大したデータ量を処理するために、処理装置や記憶領域も大規模にならざるを得ない。更に、符号化データの伝送にあたっては、増大したデータ量のために伝送路の負荷も増大せざるを得ない。複雑大規模な装置構成と伝送システムへの負荷増大を招来するおそれがあり問題である。
【課題を解決するための手段】
【０００７】
本発明は前記従来技術の少なくとも１つの問題点を解消するためになされたものであり、シーケンシャル方式の符号データを復元処理する際に、プログレッシブ方式の符号データの復元と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することを目的とする。
【０００８】
前記目的を達成するためになされた本発明の画像復元装置は、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元装置であって、符号データが格納される記憶部と、記憶部に格納されている符号データを復元処理する復元処理部とを備え、復元処理部は、全ての画像ブロックに対して、符号データのうち直流符号データを先行して画像データに復元処理する先行処理を行うことを特徴とする。
【０００９】
本発明の画像復元装置では、画像ブロック単位で符号化された符号データが記憶部に格納されており、復元処理部により画像データに復元処理されるにあたり、全ての画像ブロックに対して、符号データのうち直流符号データについて先行して復元処理が行われる。
【００１０】
また、本発明に係る画像復元方法または画像復元プログラムは、所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元処理する画像復元方法または画像復元プログラムであって、復元すべき符号データを予め記憶しておくステップと、全ての画像ブロックに対して、記憶されている符号データのうち交流符号データに先行して、直流符号データを画像データに復元処理するステップとを有することを特徴とする。
【００１１】
本発明の画像復元方法または画像復元プログラムでは、画像ブロック単位で符号化され予め記憶されている符号データが画像データに復元処理されるにあたり、全ての画像ブロックに対して、交流符号データに先行して、直流符号データが復元処理される。
【発明の効果】
【００１２】
これにより、所定画素数の画像ブロックごとに直交変換した上で符号化された符号データを、直流符号データについて先行処理することにより、画像ブロックにおける画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行うことにより、画像ブロック内の個々の色や、輝度、色差といった様々な違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち、画像ブロックの平均的な画像データを先行して復元することができる。先行して画像全体の特徴を表示した後に精細な画像を表示する、プログレッシブ表示を行うことができる。
【００１３】
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像表示効果を得ることができる。すなわち、画像ブロックごとに精細な画像情報を有し、画像再生の際には画像ブロックごとに精細な画像再生が行われる、シーケンシャル方式での符号データを用いながら、画像全体の特徴は表現されるものの不十分な画質の画像から、精細な画質までの画像情報を順次表示することができる。画像再生の初期段階で画像の全体像を把握でき、その後徐々に精細な画像表示が行われる、プログレッシブ方式での符号データによる画像表示効果と同様な画像表示効果が得られる。
【００１４】
本発明によれば、一般的に使用されているシーケンシャル方式の符号データについて復元処理を行う際、符号データのうち直流符号データを先行して復元処理することにより、各画像ブロックの平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となり、プログレッシブ方式の符号データを用いた場合と同様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画像復元プログラムを提供することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の画像復元装置、画像復元方法、および画像復元プログラムについて具体化した第１乃至第３実施形態を図１乃至図６に基づき図面を参照しつつ詳細に説明する。
【００１６】
図１には第１実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、直流符号データに対する復元処理と交流符号データに対する復元処理とが、各々個別に行われる回路構成である。
【００１７】
記憶部１５には、符号データが格納されている符号データ格納領域１５Ａ、直流符号データが一時的に格納される直流ＴＥＭＰ領域１５Ｂ、交流符号データが一時的に格納される交流ＴＥＭＰ領域１５Ｃ、そして復元された画像データが格納される復元画像格納領域１５Ｄが備えられている。
【００１８】
ここで、符号データとは、所定画素数の画像ブロックにおける画像データを直交変換した上で、符号化されたデータである。例えば、ＪＰＥＧ画像等の高能率符号化データがこれにあたる。この場合、所定画素数の画像ブロックとは８×８画素である。直交変換とはＤＣＴ変換であり、符号化とはエントロピー符号化である。エントロピー符号化の方式としてはハフマン符号化方式が用いられることが一般的である。画像データはＤＣＴ変換により、１つの直流成分（ブロック０）と、低周波数成分から高周波数成分に向かって６３段階に分割された交流成分（ブロック１乃至６３）との、６４のブロックに分割される。直流成分（ブロック０）とは、８×８画素の平均値を示す値であり、交流成分（ブロック０乃至６３）とは、隣接する８×８画素との画像成分の違いを示す値である。
【００１９】
直流復号部１１Ａには、符号データ格納領域１５Ａから符号データが入力され、このうち直流成分に対して復号化処理が行われる。直流符号データが復号化された直流量子化値が出力される。合せて、交流符号データが識別される。識別された交流符号データは、記憶部１５内の交流ＴＥＭＰ領域１５Ｃに格納される。この場合、図４において後述する切れ目処理により、画像ブロックごとに交流符号データを判別できるように、データ境界におけるデータ処理が施される場合がある。
【００２０】
直流量子化値は直流逆量子化部１２Ａに入力される。対応する直流量子化係数を乗ずることにより直流係数が出力される。この場合、直流量子化値に乗ずる直流量子化係数として、“１”を選択することもできる。量子化処理において“１”より大きな直流量子化係数により量子化されている場合には、“１”による逆量子化では、画像のダイナミックレンジを低下させてしまうことになる。しかしながら、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための初期段階として直流量子化値に対する処理である。従って、画像表示に精度は要求されず、全体の画像特徴が表される範囲において、乗算すべき量子化係数を“１”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“１”に限定されるのもではなく、上記の効果を奏するものであれば、“１”以外の係数を使用することが可能であることはいうまでもない。
【００２１】
直流逆量子化部１２Ａから出力された直流係数は、記憶部１５における直流ＴＥＭＰ領域１５Ｂに格納されると共に、直流逆ＤＣＴ部１３Ａに入力される。直流逆ＤＣＴ部１３Ａには更に、交流係数として擬似的にゼロ値が入力される。直流逆ＤＣＴ部１３Ａでは、原画像の特徴が直流係数においてのみ表されたＤＣＴ変換係数に対して、逆ＤＣＴ変換が施される。直流逆ＤＣＴ部１３Ａから出力される直流画像データは、復元画像格納領域１５Ｄに格納される。格納された直流画像データは、表示装置において表示され、直流成分により画像表示が行われる。この場合、復元画像格納領域１５Ｄに直流画像データを格納しておけば、様々な画像処理に対応することができる。また、直流画像データを格納する復元画像格納領域１５Ｄを記憶部１５に備える必要は必ずしもない。復元された画像についてはそのまま表示装置に表示するような設定とすることも可能である。これにより、記憶部１５の記憶領域を圧縮することができる。
【００２２】
ここで、直流復号部１１Ａ、直流逆量子化部１２Ａ、および直流逆ＤＣＴ部１３Ａが、直流復元処理部を実現する一例である。符号データを画像データに復元する際、直流復元処理部での処理を先行させることにより、直流成分のみが画像の特徴を示す画像データが先行して得られる。
【００２３】
交流復号部１１Ｂには、交流ＴＥＭＰ領域１５Ｃに格納されている交流符号データが入力され復号化処理が行われる。ここで、交流ＴＥＭＰ領域１５Ｃに格納されている交流符号データは、先行して処理が行われる直流復号部１１Ａにより識別され格納されたデータである。交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂにより構成される交流復元処理部での処理は、前述の直流復元処理部における直流復号部１１Ａでの処理の後、直流復元部の処理と並行してあるいは直流復元部での処理に遅れて行われる。交流復号部１１Ｂでは、全ての交流符号データを一括して復号化処理することの他、所定の周波数成分ごとに段階的に復号化することも可能である。後者については、図６、図７において詳述する。段階的に復号化することにより、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。交流復号部１１Ｂからは、交流量子化値が出力される。
【００２４】
交流量子化値は交流逆量子化部１２Ｂに入力される。交流量子化係数を乗ずることにより交流係数が出力される。交流符号データを段階的に復元する構成の場合には、過渡的な画像表示の段階において、交流量子化値に乗ずる交流量子化係数を“１”に選択することもできる。“１”より大きな交流量子化係数で量子化されている場合には、画像のダイナミックレンジを低下させてしまうことになるが、ここで行われる逆量子化演算は、プログレッシブ方式と同様な画像表示効果を得るための中間の画像表示段階での処理であり、このとき表示される周波数成分に対する画像表示に精度は要求されず、全体の画像特徴が現われる範囲において、乗算すべき量子化係数を“１”に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。尚、量子化係数は“１”に限定されるのもではなく、上記の効果を奏するものであれば、“１”以外の係数を使用することが可能であることはいうまでもない。
【００２５】
交流逆量子化部１２Ｂから出力された交流係数は、記憶部１５における直流ＴＥＭＰ領域１５Ｂに格納されている直流係数と共に、交流逆ＤＣＴ部１３Ｂに入力される。交流逆ＤＣＴ部１３Ｂでは、直流係数と交流係数とが含まれたＤＣＴ変換係数に対して、逆ＤＣＴ変換が施される。交流逆ＤＣＴ部１３Ｂから出力される画像データは、復元画像格納領域１５Ｄに格納され、また画像表示される。
【００２６】
ここで、交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂが、交流復元処理部を実現する一例である。符号データを画像データに復元する際、前述の直流復元処理部での処理に遅れて処理されることにより、直流成分に加えて交流成分を含んだ画像データが得られる。このとき、交流成分を段階的に処理する構成であれば、直流係数に、順次交流係数が加わったＤＣＴ変換係数が、順次逆ＤＣＴ変換されることとなり、よりきめ細かいプログレッシブ表示効果を得ることができる。
【００２７】
第１実施形態では、所定画素数の画像ブロックとして８×８画素を１ブロックとして、ブロックごとに、ＤＣＴ変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用する。直流復号部１１Ａ、直流逆量子化部１２Ａ、および直流逆ＤＣＴ部１３Ａより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。
【００２８】
図２には第２実施形態の画像復元装置の回路ブロック図を示す。符号データから画像を復元する際、復号部２１、逆量子化部２２、および逆ＤＣＴ部２３を共通に備えて、直流／交流符号データを処理する。このうち、復号部２１および逆量子化部２２が、前段復元処理部の一例として構成され、逆ＤＣＴ部２３が逆直交変換部の一例として構成される場合である。第１選択部の一例として備えられている選択部２６により、直流符号データと交流符号データとを適宜に選択して供給することにより復元処理が行われる回路構成である。
【００２９】
第２実施形態では、記憶部２５と復号部２１との間に、選択部２６が備えられている。符号データ格納領域２５Ａから符号データが供給される径路と、交流ＴＥＭＰ領域２５Ｃから交流符号データが供給される径路との何れか一方が選択される。
【００３０】
復号部２１は、直流復号部１１Ａと交流復号部１１Ｂとを兼ね備えた機能を奏する。すなわち、選択部２６において、先行して符号データ格納領域２５Ａとの径路が選択され符号データが入力されると、符号データのうち直流符号データに対して復号化処理が行われ直流量子化値が出力される。このとき、交流符号データについては必要に応じて後述する切れ目処理を行い、交流ＴＥＭＰ領域２５Ｃに格納される。
【００３１】
交流ＴＥＭＰ領域２５Ｃとの径路が選択され、先の処理で必要に応じて切れ目処理が施された交流符号データが入力される場合には、入力される交流符号データに対して復号化処理を行う。このとき、交流符号データについては、切れ目処理により、高周波数成分に向かって段階的に処理範囲が拡大するように区切ることが可能である。この区切りごとに復号化処理が行われ、直流／交流量子化値が出力される。
【００３２】
復号部２１において復号された直流／交流量子化値は、逆量子化部２２において逆量子化された後、直流ＴＥＭＰ領域２５Ｂ、直流選択部２７、および交流選択部２８に出力される。先行して直流係数が演算される際、直流係数は、直流ＴＥＭＰ領域２５Ｂに格納されると共に、直流選択部２７において選択されて逆ＤＣＴ部２３に送られる。同時に、交流係数として、交流選択部２８においてゼロ値が選択されて逆ＤＣＴ部２３に送られる。逆ＤＣＴ部２３では、直流係数において特徴を有する画像が復元される。これに遅れて交流係数を含んで演算される際、直流係数は、直流ＴＥＭＰ領域２５Ｂから直流選択部２７により選択されて逆ＤＣＴ部２３に送られる。同時に、交流係数が逆量子化部２２において演算されて逆ＤＣＴ部２３に送られる。逆ＤＣＴ部２３では、直流係数に加えて交流係数を含んで特徴を有する画像が復元される。
【００３３】
尚、逆量子化部２２において量子化係数を、“１”を含む通常の量子化係数に比して小さな値とすることは、第１実施形態と同様な作用・効果を奏し、有効である。
【００３４】
第２実施形態では第１実施形態の場合と同様に、所定画素数の画像ブロックとして８×８画素を１ブロックとして、ブロックごとに、ＤＣＴ変換による直交変換を施した後、ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号データを使用して、復号部２１、逆量子化部２２、および逆ＤＣＴ部２３で復元処理を行うことができる。この場合、選択部２６により選択された符号データに応じて演算された直流係数が選択部２７により選択されると共に、交流選択部２８において交流係数としてゼロ値が選択され、画像の特徴を示す直流符号データに対して、先行して画像復元処理が行われ画像表示される。これに遅れて、直流／交流選択部２７／２８において、各々、直流ＴＥＭＰ領域２５Ｂに格納されている直流係数、および逆量子化部２２から出力される交流係数が選択され、画像の特徴を示す直流符号データから交流符号データに至るデータに対して、画像復元処理が行われ画像表示される。これにより、広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様に、画像が順次精細に表示される効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理において、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元処理を行うことにより、よりきめ細かい滑らかなプログレッシブ表示効果を得ることができる。
【００３５】
第２実施形態では、復元部２１、逆量子部２２、および逆ＤＣＴ部２３を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することができ、各々処理で個別の回路構成を有する第１実施形態の場合に比して構成される回路規模を圧縮することができる。
【００３６】
尚、第１および第２実施形態では、先行して直流符号データに対して処理が行われるとし、交流符号データについては、直流復号部１１Ａまたは復号部２１において識別されて交流ＴＥＭＰ領域１５Ｃ、２５Ｃに格納されるものとして説明した。交流ＴＥＭＰ領域１５Ｃ、２５Ｃに格納される交流符号データは、エントロピー符号化されたデータであり、ＤＣＴ変換された画像データの特徴とも相俟って、圧縮されたデータである。記憶部１５、２５として記憶領域が限られている場合にも交流ＴＥＭＰ領域１５Ｃ、２５Ｃとして格納することが容易である。ここで、記憶部１５、２５に格納されている符号データが記憶部１５、２５における一時的な格納であり、画像復元後の消失が許されるならば、交流ＴＥＭＰ領域１５Ｃ、２５Ｃを、符号データ格納領域１５Ａ、２５Ａに重ねて設定しておき、符号データの直流復号部１１Ａ、復号部２１での処理の後、交流符号データに対して必要に応じて切れ目処理を施した上で上書きすることができる。これにより、記憶部１５、２５の格納領域を小さくすることができる。
【００３７】
また、記憶部１５、２５における記憶領域が十分に確保されている場合には、交流ＴＥＭＰ領域１５Ｃ，２５Ｃとして十分な領域を確保して、直流符号データに対する画像処理と共に交流符号データの処理も行い、交流量子化値や交流係数を格納することもできる。これにより、交流成分の処理を途中の段階まで予め行っておくことが可能となり、交流成分まで含んだ画像データ復元処理を高速に行うことができる。
【００３８】
また、先行して行われる直流符号データに対する処理において演算される直流係数が、直流ＴＥＭＰ領域１５Ｂ、１５Ｃに格納されるものとして説明しているが、これ以外に、直流量子化値を格納しておき、交流成分の演算時において、交流逆量子化部１２Ｂまたは逆量子化部２２に対して、交流量子化値と共に供給するように構成することもできる。
【００３９】
また、直流成分の処理では、直流逆ＤＣＴ部１３Ａまたは逆ＤＣＴ部２３に対して、ゼロ値の交流係数を供給しているが、直流逆量子化部１２Ａまたは逆量子化部２２に対して、ゼロ値の交流量子化値を供給することも可能である。
【００４０】
また、途中段階での逆量子化係数を“１”として逆量子化演算をするとは、量子化値に“１”を乗算することである。途中段階での処理においては、直流／交流逆量子化部１２Ａ／１２Ｂや、逆量子化部２２での演算処理を行わず、演算された量子化値を、そのまま直流／交流逆ＤＣＴ部１３Ａ／１３Ｂや、逆ＤＣＴ部２３に供給する構成とすることができることを意味する。
【００４１】
図３は、第３実施形態として本発明をソフトウェアでデータ処理する際のフロー図を示している。
【００４２】
画像復元の処理が開始されると、要求される画像表示がプログレッシブ表示であるか否かが判断される（Ｓ１）。プログレッシブ表示が要求されておらず（Ｓ１：ＮＯ）通常のシーケンシャル表示を行う場合には、シーケンシャル符号格納部Ｄ１よりシーケンシャル符号データが読み出され、画像ブロックごとに、復号処理（Ｓ３１）、逆量子化処理（Ｓ３３）、逆ＤＣＴ処理（Ｓ３５）を行った上で、画像ブロックごとに、復元画像の表示が行われる（Ｓ３７）。
【００４３】
プログレッシブ表示が要求されている場合には（Ｓ１：ＹＥＳ）、シーケンシャル符号格納部Ｄ１よりシーケンシャル符号データが読み出され、直流（ＤＣ）符号データに対する復号処理と共に、直流（ＤＣ）符号データと交流（ＡＣ）符号データとの分離が行われ、分離された交流（ＡＣ）符号データは交流（ＡＣ）符号データ格納部Ｄ２に格納される（Ｓ３）。交流（ＡＣ）符号データ格納部Ｄ２には、画面上の全ての画像ブロック（０−Ｚ）の各々に対して、低周波数成分から高周波数成分までを６３のブロックに分割して符号化されている交流（ＡＣ）符号データ（０−６３）が格納される。復号化された直流（ＤＣ）符号データは、直流（ＤＣ）量子化値として処理Ｓ５に送られる。
【００４４】
処理Ｓ５では、直流（ＤＣ）量子化値に対して逆量子化処理が行われ、直流（ＤＣ）係数が演算される。直流（ＤＣ）係数は、直流（ＤＣ）係数格納部Ｄ３に格納される。直流（ＤＣ）係数格納部Ｄ３には、画面上の各画像ブロック（０−Ｚ）ごとの直流（ＤＣ）件数が格納される。更に直流（ＤＣ）係数は処理Ｓ７に送られる。
【００４５】
処理Ｓ７では、画像ブロック（０−Ｚ）ごとに、演算された直流（ＤＣ）係数に対して、全ての交流（ＡＣ）係数（０−６３）にゼロ値を割り当てて、逆ＤＣＴ処理が行われる。全ての交流（ＡＣ）係数にゼロ値を割り当てるので、処理Ｓ７の逆ＤＣＴ処理での演算は簡素化され、高速処理が可能である。これにより、直流（ＤＣ）成分により表される復元画像が得られる。画像の詳細な違いは表現されないものの、画像ブロックごとの平均的な画像の特徴が大まかに表現されて表示されることとなる（Ｓ９）。処理Ｓ３乃至Ｓ９を、全ての画像ブロックに対して順次行うことにより、プログレッシブ表示における第１段階の表示が行われる。画面全体の大まかな画像の特徴が表現される。
【００４６】
次に、交流（ＡＣ）符号データを含んだ符号データに対して画像復元処理を行う。先ず、６３段階の周波数成分に対するブロック１−６３のうち、同時に画像復元処理を行う交流（ＡＣ）符号データのブロック範囲を設定する（Ｓ１１）。処理Ｓ１１では、ｎとして設定される。初期化処理を行い、最小値：ｉ＝１、最大値：ｊ＝ｎとした後（Ｓ１３）、交流（ＡＣ）符号データ格納部Ｄ２に格納されている交流（ＡＣ）符号データの復号化処理を行い交流（ＡＣ）量子化値を出力する（Ｓ１５）。
【００４７】
処理Ｓ１７では、交流（ＡＣ）量子化値に対して逆量子化処理が行われ、交流（ＡＣ）係数が演算される。交流（ＡＣ）係数は、交流（ＡＣ）係数格納部Ｄ４に格納される。交流（ＡＣ）係数格納部Ｄ４には、画面上の画像ブロック（０−Ｚ）ごとの交流（ＡＣ）係数が、ブロック１乃至ｊの範囲で格納される。
【００４８】
処理Ｓ１９では、画像ブロック（０−Ｚ）ごとに、処理Ｓ１７で演算された交流（ＤＣ）係数に加えて、必要に応じて既に演算され交流（ＡＣ）係数格納部Ｄ４に格納されている交流（ＡＣ）係数（０−Ｚ）（１−（ｉ−１））を読み出し、また、未だ演算されていない交流（ＡＣ）係数（０−Ｚ）（（ｎ＋１）−６３）に対してはゼロ値を割り当てて、逆ＤＣＴ処理が行われる。このとき同時に、直流（ＤＣ）係数格納部Ｄ３に格納されている直流（ＤＣ）係数（０−Ｚ）も合せ、逆ＤＣＴ処理が行われる。これにより、直流（ＤＣ）成分から所定範囲までの交流（ＡＣ）成分により表される復元画像が得られる。表現される画像は、復元処理される交流（ＡＣ）成分の範囲までの特徴が復元された表示が可能となる。直流（ＤＣ）成分のみの画像表示（Ｓ９）に比してより精細な画像が表現される（Ｓ２１）。
【００４９】
画像復号処理が行われる交流（ＡＣ）符号データの最大値：ｊが交流（ＡＣ）符号データの最大ブロックである６３であるか否かが判断され（Ｓ２３）、ｊ＝６３に到達していれば（Ｓ２３：ＹＥＳ）画像復元処理は終了する。ｊ＝６３に到達していなければ（Ｓ２３：ＮＯ）、最小値：ｉ、最大値：ｊにｎを加算して（Ｓ２５）次の復元処理に移行する。ｎが加算された際の最大値：ｊが６３を越える場合には（Ｓ２７：ＹＥＳ）、最大著：ｊを６３に設定し直して（Ｓ２９）、処理１５に戻って、再度、交流（ＡＣ）成分の範囲が拡大された上で画像復元処理を繰り返す。
【００５０】
処理Ｓ１５乃至Ｓ１９を、全ての画像ブロック（０−Ｚ）に対して、交流（ＡＣ）成分の範囲を順次拡大しながら行うことにより、プログレッシブ表示において、精細さが順次増大する表示が行われる。画面全体の画像が順次精細に表現されるような表示が実現される。
【００５１】
ここで、図４および図５により、第１実施形態の直流復号部１１Ａおよび交流復号部１１Ｂについての回路ブロック例を示す。
【００５２】
先ず、図４に示す直流復号部１１Ａについて説明する。直流復号部１１Ａでは、直流（ＤＣ）符号データの復号化処理の他、交流（ＡＣ）符号データを識別し、必要に応じてデータ間の境界におけるデータ処理を施した上で、交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納する処理を含む。
【００５３】
ブロックカウンタ４１は、ＤＣＴ変換された画像データが、１つの直流（ＤＣ）符号データ（ブロック１）と、低周波数成分から高周波数成分に至る６３段階の交流（ＡＣ）符号データ（ブロック１−６３）とに分解されるところ、各段階のブロック値をカウントするカウンタである。０乃至６３のカウント値ＢＣ（０：６３）はアドレス発生部４２に、カウント値ＢＣ（１：６３）はアドレス発生部５４、論理積ゲート５１、および後述の条件（３）の場合には切目処理部５３に、カウント値ＢＣ（６３）は論理積ゲート５２に、それぞれ入力される。
【００５４】
アドレス発生部４２は、カウント値ＢＣ（０：６３）ごとに、直流（ＤＣ）テーブル４３または交流（ＡＣ）テーブル４４にあるハフマン符号を指定するアドレスを発生する。一つの符号データが、複数あるハフマン符号の何れに一致するかを検出するために、一つのカウント値ＢＣ（０：６３）に対して、順次アドレス値が変化する。
【００５５】
アドレス発生部４２からの指定により順次選択されるハフマン符号に応じて、バッファ４７に取り込まれる符号データごとに比較部４５、４６において一致比較が行われる。比較部４５には直流（ＤＣ）テーブル４３から選択されたハフマン符号が入力され、直流（ＤＣ）符合データとの比較が行われる。比較部４６には交流（ＡＣ）テーブル４４から選択されたハフマン符号が入力され、交流（ＡＣ）符合データとの比較が行われる。
【００５６】
比較部４５により直流（ＤＣ）テーブルに格納されているハフマン符号との一致が検出されると、一致検出された符号データは直流（ＤＣ）符合データであると判断され、直流（ＤＣ）取込部４８がイネーブル状態とされる。バッファ４７にある比較対象の符号データが直流（ＤＣ）取込部４８を介して組立部４９に送られる。組立部４９には、一致判定されたハフマン符号と対応する付加ビットが入力され、一致判定された直流（ＤＣ）符号データが復号される。
【００５７】
比較部４６により交流（ＡＣ）テーブルに格納されているハフマン符号との一致が検出されると、判定結果は、論理積ゲート５１および５２に入力される。論理積ゲートの他方には、各々、カウント値ＢＣ（１：６３）およびカウント値ＢＣ（６３）が入力されるため、論理積ゲート５１により各カウント値ＢＣ（１：６３）に対して交流（ＡＣ）取込部５０がイネーブル状態とされ、一致判定された符号データをカウント値ＢＣ（１：６３）に対応する交流（ＡＣ）符号データであるとして、入力可能とされる。論理積ゲート５２によりカウント値ＢＣ（６３）に対してバッファ４７は禁止状態とされ、符号データの入力が禁止される。一つの画像ブロックに対する直流（ＤＣ）復号部１１Ａへの入力が禁止される。
【００５８】
交流（ＡＣ）取込部５０を介して入力された交流（ＡＣ）符号データは、三種類の方法により、記憶部１５の交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納される。
【００５９】
第１の方法（１）は、交流（ＡＣ）取込部５０を介して入力された交流（ＡＣ）符号データを、そのまま、交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納する場合である。バッファ４７から交流（ＡＣ）取込部５０を介して入力された交流（ＡＣ）符号データは、カウント値ＢＣ（１：６３）に応じてアドレス発生されるアドレス発生部５４により指定されるアドレスを有する格納領域に格納される。
【００６０】
第２の方法（２）は、切目処理部５３において、連続して入力される交流（ＡＣ）符号データの境界をデータ処理して格納する場合である。直流（ＤＣ）符号データに続く交流（ＡＣ）符号データとの境界を、検出可能にデータ処理する場合である。
【００６１】
一つの画像ブロックを表現する一連の符号データ（ブロック０−６３）のうち、先頭に位置するブロック０の符号データは、直流（ＤＣ）符号データである。既に先行して判別され、直流（ＤＣ）取込部４８を介して組立部４９において復号化されている。交流（ＡＣ）取込部５０を介して入力される符号データはブロック１−６３の交流（ＡＣ）符号データのみであるところ、先頭の交流（ＡＣ）符号データの前に、本来の直流（ＤＣ）符号データに代えて、直流（ＤＣ）符号データを表す符号データのうち最短長のビット列を有するハフマン符号に応じた符号データを擬似的に付加する。擬似的に付加される符号データは所定のビット列に固定することができるため、切目処理部５３において交流（ＡＣ）符号データの先頭に自動的に付加する構成とすることができる。
【００６２】
第３の方法（３）は、切目処理部５３において、６３段階の交流（ＡＣ）符号データ（ブロック１−６３）を、ブロック１の最低周波数成分の交流（ＡＣ）符号データから、所定ブロック数ごとに複数のグループに分割する処理を行う場合である。交流（ＡＣ）符号データを含めた画像復元処理を行う際、復元処理を行う交流（ＡＣ）符号データの範囲を、高周波数成分に向けて順次拡大することにより、より滑らかなプログレッシブ表示を実現するものである。カウント値ＢＣ（１：６３）に応じて切目処理部５３において行われる。グループ分割された交流（ＡＣ）符号データは、カウント値ＢＣ（１：６３）に応じて、アドレス発生部５４においてグループごとに発生されるアドレスにより格納される。グループ分割をする際のグループ分けの一例を図６に示し、グループ境界のデータ処理の一例を図７に示す。図６、図７については後述する。
【００６３】
尚、図４の回路ブロック図には示されていないが、比較部４５／４６による、直流（ＤＣ）／交流（ＡＣ）４３／４４テーブルとの一致比較に基づき、符号データ格納領域１５Ａに格納されている符号データの先頭アドレスと、符号データ内で交流（ＡＣ）符号データが始まるビット位置を把握してやれば、交流（ＡＣ）取込部５０、切目処理部５３、アドレス発生部５４等を備えて識別された交流（ＡＣ）符号データを交流（ＡＣ）ＴＥＭＰ領域１５Ｃに格納する処理をする必要はない。符号データ格納領域１５Ａから必要に応じて読み出すことができる。
【００６４】
アドレス発生部５４は、識別され、必要に応じて切れ目処理を施された交流（ＡＣ）符号データを格納すべきアドレスを発生する。ブロックカウンタからのカウント値ＢＣ（１：６３）ごとに、交流（ＡＣ）ＴＥＭＰ領域１５Ｃに順次格納されるように、アドレスが順次発生される。
【００６５】
図５に交流復号部１１Ｂの回路ブロックを示す。交流復号部１１Ｂは、交流（ＡＣ）符号データの復号化処理を行うことが目的である。図４に示した直流復号部１１Ａとは異なり、直流（ＤＣ）テーブル４３、比較部４５、交流（ＡＣ）取込部５０、切目処理部５３、およびアドレス発生部５４が不要である。
【００６６】
直流復号部１１Ａにおける直流（ＤＣ）取込部４８に代えて取込部４８が備えられ、比較部４５からの出力信号に代えて論理積ゲート５１からの出力信号に応じてイネーブル状態とされる。カウント値ＢＣ（１：６３）ごとに一致判定された交流（ＡＣ）符号データが、取込部４８を介して組立部４９に入力される。また、論理積ゲート５２において、カウント値ＢＣ（６３）に代えてカウント値ＢＣ（Ｘ）が入力される。ここで、カウント値ＢＣ（Ｘ）とは、グループ処理される一連の交流（ＡＣ）符号データのうち終端の交流（ＡＣ）符号データのブロック値を示す値である。グループの終端を示すブロック値に応じてバッファ４７が入力禁止状態とされる。交流（ＡＣ）符号データのグループごとに復号化処理を行うことができる。
【００６７】
図６は、８×８画素の画像データに対してＤＣＴ変換処理を行うことにより得られる符号データの並びを、いわゆるジグザグスキャン方式により並べたテーブルである。左上端のブロック０が直流（ＤＣ）符号データに該当する。その右隣のブロック１から右下端のブロック６３が交流（ＡＣ）符号データに対応する。ブロック１から順次ジグザグにスキャンしてブロック９までがグループ１に、ブロック１０からブロック２７までがグループ２に、ブロック２８からブロック６３までがグループ３に対応する。
【００６８】
この場合の切れ目処理はグループの境界において行われる。例えば、ゼロランレングス（ＺＲＬ）等、ゼロ値がグループをまたいで連続して存在する場合には、先のグループの終端をＥＯＢ符号に置き換える処理を行う。後続のグループの先頭は残余のゼロ値の連続数に合せて符号設定が行われる。
【００６９】
以上の説明から明らかなように本実施形態によれば、８×８画素等の所定画素数の画像ブロックごとに、ＤＣＴ変換等の直交変換した上でハフマン符号化等により符号化された、シーケンシャル方式の符号データを、直流符号データについて先行して画像復元処理することにより、画像データのうち平均的な特徴を表わす画像データを先行して復元することができる。その後、直流符号データに交流符号データを加えて復元処理を行い、個々の色や、輝度、色差の違いを含んだ精細な画像データを復元する。精細な画像データを再生するに先立ち平均的な画像データを先行して復元することができ、プログレッシブ表示と同様な画像表示効果を得ることができる。
【００７０】
画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化された画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッシブ方式の符号データによる画像再生と同様な表示効果を得ることができる。不十分ではあるが全体像を把握できる画像から、精細な画質までの画像情報を順次表示することができる。
【００７１】
一般的に使用されているシーケンシャル方式の符号データを使用しながら、平均的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となる。
【００７２】
本発明の直流（ＤＣ）符号データに対する画像復元処理は、プログレッシブ表示における第１段階の表示に使用できるほか、画像内容の概要を検索する際に表示させることにより、検索画像の表示を高速に行う効果を奏することもできる。例えば、デジタルスチルカメラ等のインデックス表示機能において、使用することができる。
【００７３】
上記の効果のほか、下記に示す諸効果も得ることができる。すなわち、交流（ＡＣ）符号データのうち所定の周波数成分ごとに段階的に復号化してやれば、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能となる。また、逆量子化の処理の際、乗算すべき量子化係数を“１”に減ずることにより、逆量子化演算を行う必要がなくなる。回路規模の簡略化を図ることができ、また演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。また、第２実施形態において、復元部２１、逆量子部２２、および逆ＤＣＴ部２３を、直流符号データの画像復元処理と交流符号データの画像復元処理とで共有することにより、回路規模を圧縮することができる。また、逆ＤＣＴ処理が行われる際、復元処理対象外の交流（ＡＣ）係数に対してはゼロ値が割り当てられるので、逆ＤＣＴ処理での演算は簡素化され、高速処理が可能となる。
【００７４】
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、実施形態においては、プログレッシブ表示効果の第１段階として直流（ＤＣ）符号データのみを対象として画像復元処理を行う場合を説明したが、本発明はこれに限定されるものではない。プログレッシブ表示効果を得るための第１段階として、直流（ＤＣ）符号データに加えて低周波数成分の交流（ＡＣ）符号データを含めて、画像復元処理を行う構成とすることもできる。
【図面の簡単な説明】
【００７５】
【図１】第１実施形態の回路ブロック図である。
【図２】第２実施形態の回路ブロック図である。
【図３】第３実施形態のフロー図である。
【図４】直流復号部の回路ブロック図である。
【図５】交流復号部の回路ブロック図である。
【図６】交流符号データを多段階に分割する際のグループ分けを示す概念図である。
【符号の説明】
【００７６】
１１Ａ      直流復号部
１１Ｂ      交流復号部
１２Ａ      直流逆量子化部
１２Ｂ      交流逆量子化部
１３Ａ      直流逆ＤＣＴ部
１３Ｂ      交流逆ＤＣＴ部
１５        記憶部
１５Ａ      符号データ格納領域
１５Ｂ      直流ＴＥＭＰ領域
１５Ｃ      交流ＴＥＭＰ領域
１５Ｄ      復元画像格納領域
２１        復号部
２２        逆量子化部
２３        逆ＤＣＴ部
２５        記憶部
２５Ａ      符号データ格納領域
２５Ｂ      直流ＴＥＭＰ領域
２５Ｃ      交流ＴＥＭＰ領域
２６        選択部
２７        直流選択部
２８        交流選択部
４１        ブロックカウンタ
４２、５４  アドレス発生部
４３        直流（ＤＣ）テーブル
４４        交流（ＡＣ）テーブル
４５、４６  比較部
４７        バッファ
４８        （直流（ＤＣ））取込部
４９        組立部
５０        交流（ＡＣ）取込部
５３        切目処理部
【国際調査報告】
2006025090.tif 000008
2006025090.tif 000009
2006025090.tif 000010
2006025090.tif 000011
2006025090.tif 000012
2006025090.tif 000013