(57)【要約】  【課題】  高い圧縮率で原画像を符号化すると共に、この復号画像を高画質に拡大できる画像処理装置を提供する。  【解決手段】  画像処理装置２は、原画像の縮小画像を作成し、この縮小画像に高解像度の情報（原画像と、この縮小画像を高画質拡大した場合の拡大画像との差分データ）を含ませる。これにより、画像処理装置２は、原画像の細部情報を保ったまま、原画像を高圧縮符号化できると共に、この符号データを復号化する場合には任意の解像度の画像を高画質に生成することができる。【選択図】図２
2006197074.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象である原画像を、画素値の平均値に基づいて縮小し、縮小画像を生成する画像縮小手段と、
平均画素値を略一定に保つ画像拡大方式を用いて前記画像縮小手段により生成された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成する差分画像生成手段と、
前記差分画像生成手段により生成された差分画像と、前記画像縮小手段により生成された縮小画像とに基づいて、原画像の符号データを生成する符号生成手段と
を有し、
前記画像拡大方式は、前記画像縮小手段により適用される画像縮小方式を用いて縮小された画像を、元の画像サイズに拡大できる方式であり、かつ、階段状のエッジを除去できる拡大方式である
画像処理装置。
【請求項２】
前記差分画像生成手段により生成された差分画像を圧縮する差分画像圧縮手段
をさらに有し、
前記符号生成手段は、前記差分画像圧縮手段により圧縮された差分画像と、前記縮小画像とを用いて、原画像の符号データを生成する
請求項１に記載の画像処理装置。
【請求項３】
原画像を前記画像拡大方式により拡大した場合に現れる画質劣化成分に相当する原画像内の部位を補正する前処理手段
をさらに有し、
前記画像縮小手段は、前記前処理手段により補正された原画像を縮小し、
前記差分画像生成手段は、前記拡大画像と、前記前処理手段により補正された原画像との差分画像を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記符号生成手段は、前記差分画像生成手段により生成された差分画像を、前記画像縮小手段により縮小された縮小画像のデータファイルに埋め込む
請求項１に記載の画像処理装置。
【請求項５】
前記符号生成手段は、前記差分画像生成手段により生成された差分画像に応じて、差分の有無を示す情報を前記縮小画像の既定ビット位置に埋め込む
請求項１に記載の画像処理装置。
【請求項６】
前記画像縮小手段は、原画像において互いに直交する方向がｎ画素（ｎは２以上の整数）で構成された画像ブロックの平均画素値を算出して、算出された平均画素値を縮小画像の１画素とし、
前記差分画像生成手段は、前記画像拡大方式を用いて前記縮小画像をｎ倍に拡大した場合の拡大画像と、原画像との差分を示す差分画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記差分画像生成手段は、生成された差分画像において、互いに直交する方向がｎ画素で構成された画像ブロックを単位として、既定の条件に合致した画素値を０に変更する
請求項６に記載の画像処理装置。
【請求項８】
前記差分画像生成手段は、生成された差分画像において、原画像の階段状エッジに対応する部分の各画素値を０に変更する
請求項１又は７に記載の画像処理装置。
【請求項９】
前記差分画像生成手段は、生成された差分画像において、既定サイズの画像領域の絶対値の総和が基準値以下である画像領域の各画素値を０に変更する
請求項１又は７に記載の画像処理装置。
【請求項１０】
前記画像縮小手段により生成された縮小画像を非可逆圧縮方式により圧縮する非可逆圧縮手段と、
前記非可逆圧縮手段による縮小画像の非可逆圧縮処理で発生する圧縮誤差を、前記差分画像生成手段により生成された差分画像に略均一に分配する圧縮誤差分配手段と
をさらに有し、
前記差分画像生成手段は、前記非可逆圧縮手段により圧縮された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成し、
前記符号生成手段は、前記圧縮誤差分配手段により圧縮誤差が分配された差分画像と、前記画像縮小手段により生成された縮小画像とに基づいて、原画像の符号データを生成する
請求項１に記載の画像処理装置。
【請求項１１】
前記符号生成手段により生成された符号データに基づいて、前記差分画像を抽出する差分画像抽出手段と、
前記符号データに含まれる画像データを、前記画像拡大方式で拡大する画像拡大手段と、
前記差分画像抽出手段により抽出された差分画像と、前記画像拡大手段により拡大された画像データとを合成する差分画像合成手段と
をさらに有する画像処理装置。
【請求項１２】
入力された符号データに含まれる画像を既定の画像拡大方式で規定のサイズに拡大し、拡大画像を生成する画像拡大手段と、
前記符号データから、原画像と前記拡大画像との差分を示す差分画像を抽出する差分画像抽出手段と、
前記差分画像抽出手段により抽出された差分画像と、前記画像拡大手段により拡大された拡大画像とを合算することにより合成する差分画像合成手段と、
前記差分画像合成手段により合成された画像を、前記画像拡大方式によって更に出力サイズまで拡大する後処理手段と
を有する画像処理装置。
【請求項１３】
符号化対象である原画像を、画素値の平均値に基づいて縮小して、縮小画像を生成し、
平均画素値を略一定に保ち、かつ、階段状のエッジを除去できる画像拡大方式を用いて、生成された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成し、
生成された前記差分画像と、生成された前記縮小画像とに基づいて、原画像の符号データを生成する
画像処理方法。
【請求項１４】
さらに、生成された符号データに基づいて、前記差分画像を抽出し、
前記符号データに含まれる画像データを、前記画像拡大方式で拡大し、
符号データから抽出された前記差分画像と、拡大された前記画像データとを合成する
請求項１３に記載の画像処理方法。
【請求項１５】
コンピュータを含む画像処理装置において、
符号化対象である原画像を、画素値の平均値に基づいて縮小して、縮小画像を生成するステップと、
平均画素値を略一定に保ち、かつ、階段状のエッジを除去できる画像拡大方式を用いて、生成された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成するステップと、
生成された前記差分画像と、生成された前記縮小画像とに基づいて、原画像の符号データを生成するステップと
を前記画像処理装置のコンピュータに実行させるプログラム。
【請求項１６】
生成された符号データに基づいて、前記差分画像を抽出するステップと、
前記符号データに含まれる画像データを、前記画像拡大方式で拡大するステップと、
符号データから抽出された前記差分画像と、拡大された前記画像データとを合成するステップと
をさらに実行させる請求項１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解像度変換を用いて、画像を符号化する画像処理装置に関する。
【背景技術】
【０００２】
例えば、特許文献１は、画像源から２種類の倍率で基準画像データを得て、これらの倍率が一致するように一方の基準画像データを変倍してこれらの基準画像データの差分を取り、低い方の解像度の基準画像データ及び圧縮差分データとを出力する方法を開示する。
また、特許文献２は、第１階層のＮ個の画素データの平均値データにより第２階層データを形成し、第２階層データと第１階層の画素データとの（Ｎ−１）個の差分データを作成し、（Ｎ−１）個の差分データを符号化し、更に第２階層データを符号化する方法を開示する。
また、特許文献３は、特許文献２と同様の構成において、第２階層データから第１階層データを予測して、予測された第１階層データと第１の階層データとの差分値を符号化する方法を開示する。
また、特許文献４は、第１階層データの平均値により第２階層データを形成し、第２階層データと第１階層データの差分を圧縮して、第２階層データの画像ファイルの部分に続く部分中に含まれるようにする方法を開示する。
【特許文献１】特許第２７１１０４５号公報
【特許文献２】特開２００３−４７００９号公報
【特許文献３】特開平８−１８６８２７号公報
【特許文献４】特許第３１１７４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上述した背景からなされたものであり、画像の細部情報を保ったまま、高い圧縮率で原画像を符号化することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、符号化対象である原画像を、画素値の平均値に基づいて縮小し、縮小画像を生成する画像縮小手段と、平均画素値を略一定に保つ画像拡大方式を用いて前記画像縮小手段により生成された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成する差分画像生成手段と、前記差分画像生成手段により生成された差分画像と、前記画像縮小手段により生成された縮小画像とに基づいて、原画像の符号データを生成する符号生成手段とを有し、前記画像拡大方式は、前記画像縮小手段により適用される画像縮小方式を用いて縮小された画像を、元の画像サイズに拡大できる方式であり、かつ、階段状のエッジを除去できる拡大方式である。
【０００５】
好適には、前記差分画像生成手段により生成された差分画像を圧縮する差分画像圧縮手段をさらに有し、前記符号生成手段は、前記差分画像圧縮手段により圧縮された差分画像と、前記縮小画像とを用いて、原画像の符号データを生成する。
【０００６】
好適には、前記差分画像生成手段は、生成された差分画像において、原画像の階段状エッジに対応する部分の各画素値を０に変更する。
【０００７】
好適には、前記差分画像生成手段は、生成された差分画像において、既定サイズの画像領域の絶対値の総和が基準値以下である画像領域の各画素値を０に変更する。
【０００８】
好適には、原画像を前記画像拡大方式により拡大した場合に現れる画質劣化成分に相当する原画像内の部位を補正する前処理手段をさらに有し、前記画像縮小手段は、前記前処理手段により補正された原画像を縮小し、前記差分画像生成手段は、前記拡大画像と、前記前処理手段により補正された原画像との差分画像を生成する。
【０００９】
好適には、前記符号生成手段は、前記差分画像生成手段により生成された差分画像を、前記画像縮小手段により縮小された縮小画像のデータファイルに埋め込む。
【００１０】
好適には、前記符号生成手段は、前記差分画像生成手段により生成された差分画像に応じて、差分の有無を示す情報を前記縮小画像の既定ビット位置に埋め込む。
【００１１】
好適には、前記画像縮小手段は、原画像において互いに直交する方向がｎ画素（ｎは２以上の整数）で構成された画像ブロックの平均画素値を算出して、算出された平均画素値を縮小画像の１画素とし、前記差分画像生成手段は、前記画像拡大方式を用いて前記縮小画像をｎ倍に拡大した場合の拡大画像と、原画像との差分を示す差分画像を生成する。
【００１２】
好適には、前記差分画像生成手段は、生成された差分画像において、互いに直交する方向がｎ画素で構成された画像ブロックを単位として、既定の条件に合致した画素値を０に変更する。
【００１３】
好適には、前記画像縮小手段により生成された縮小画像を非可逆圧縮方式により圧縮する非可逆圧縮手段と、前記非可逆圧縮手段による縮小画像の非可逆圧縮処理で発生する圧縮誤差を、前記差分画像生成手段により生成された差分画像に略均一に分配する圧縮誤差分配手段とをさらに有し、前記差分画像生成手段は、前記非可逆圧縮手段により圧縮された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成し、前記符号生成手段は、前記圧縮誤差分配手段により圧縮誤差が分配された差分画像と、前記画像縮小手段により生成された縮小画像とに基づいて、原画像の符号データを生成する。
【００１４】
好適には、前記符号生成手段により生成された符号データに基づいて、前記差分画像を抽出する差分画像抽出手段と、前記符号データに含まれる画像データを、前記画像拡大方式で拡大する画像拡大手段と、前記差分画像抽出手段により抽出された差分画像と、前記画像拡大手段により拡大された画像データとを合成する差分画像合成手段とをさらに有する。
【００１５】
また、本発明にかかる画像処理装置は、入力された符号データに含まれる画像を既定の画像拡大方式で規定のサイズに拡大し、拡大画像を生成する画像拡大手段と、前記符号データから、原画像と前記拡大画像との差分を示す差分画像を抽出する差分画像抽出手段と、前記差分画像抽出手段により抽出された差分画像と、前記画像拡大手段により拡大された拡大画像とを合算することにより合成する差分画像合成手段と、前記差分画像合成手段により合成された画像を、前記画像拡大方式によって更に出力サイズまで拡大する後処理手段とを有する。
【００１６】
［画像処理方法］
また、本発明にかかる画像処理方法は、符号化対象である原画像を、画素値の平均値に基づいて縮小して、縮小画像を生成し、平均画素値を略一定に保ち、かつ、階段状のエッジを除去できる画像拡大方式を用いて、生成された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成し、生成された前記差分画像と、生成された前記縮小画像とに基づいて、原画像の符号データを生成する。
好適には、上記画像処理方法は、さらに、生成された符号データに基づいて、前記差分画像を抽出し、前記符号データに含まれる画像データを、前記画像拡大方式で拡大し、符号データから抽出された前記差分画像と、拡大された前記画像データとを合成する。
【００１７】
［プログラム］
また、本発明にかかるプログラムは、コンピュータを含む画像処理装置において、符号化対象である原画像を、画素値の平均値に基づいて縮小して、縮小画像を生成するステップと、平均画素値を略一定に保ち、かつ、階段状のエッジを除去できる画像拡大方式を用いて、生成された縮小画像を拡大した場合の拡大画像と、符号化対象である原画像との差分を示す差分画像を生成するステップと、生成された前記差分画像と、生成された前記縮小画像とに基づいて、原画像の符号データを生成するステップとを前記画像処理装置のコンピュータに実行させる。
好適には、上記プログラムは、さらに、生成された符号データに基づいて、前記差分画像を抽出するステップと、前記符号データに含まれる画像データを、前記画像拡大方式で拡大するステップと、符号データから抽出された前記差分画像と、拡大された前記画像データとを合成するステップとを実行させる。
【発明の効果】
【００１８】
本発明の画像処理装置によれば、高画質かつ高圧縮率で原画像を符号化することができる。
【発明を実施するための最良の形態】
【００１９】
まず、本発明の理解を助けるために、その背景及び概略を説明する。
ディジタル画像を圧縮する方式には、画像情報を正確に保つ可逆圧縮方式と、劣化を含む非可逆圧縮方式とがある。
可逆圧縮方式は、正確に情報を保つ反面、高圧縮ができないという特徴があり、非可逆圧縮方式では、ＪＰＥＧ方式に代表されるように、高い圧縮率を実現できる反面、画像の劣化が大きくなるという問題がある。
非可逆圧縮方式の別の問題点として、非可逆圧縮処理された画像に対して、拡大処理などの画像処理を行った場合に、劣化成分がより顕著に表れるという問題がある。例えば、ＪＰＥＧ方式で高圧縮した画像を拡大すると、モスキートノイズやブロックノイズが目立ち、高解像度化の効果が損なわれる場合がある。
例えば、７５ｄｐｉなどの低解像度ＪＰＥＧ画像が貼り込まれている文書画像を、６００ｄｐｉのプリンタ装置で出力する場合、８倍の画像拡大処理が行われ、上述したように、劣化成分の目立つ出力が得られる。
【００２０】
このような問題に対処する方法としては、例えば文書の作成時に、ある程度の高解像度の画像を使用する方法や、圧縮率を下げて画質劣化が少ないようにする方法がある。
しかしこれらの方法はいずれも圧縮率の低下につながるものであり、また、もとより画像拡大処理を行うことが前提とされていないため、画像拡大を行うとジャギーなどの別の画質劣化が現れる場合がある。
【００２１】
このような解像度変換処理を行うことを前提とした場合の画像圧縮方法としては、ノイズなどの劣化成分の比較的少ないものが望ましい。そのような性質を持つ圧縮方式の一つとして、ラプラシアンピラミッド符号化方式（Ｐ．Ｊ．Ｂｕｒｔ、Ｅ．Ｈ．Ａｄｅｌｓｏｎ"Ｔｈｅ  Ｌａｐｌａｃｉａｎ  Ｐｙｒａｍｉｄ  ａｓ  ａ  Ｃｏｍｐａｃｔ  Ｉｍａｇｅ  Ｃｏｄｅ"，ＩＥＥＥ．Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，Ｖｏｌ．３１（４），ｐ５３２−５４０、に示された階層符号化方式）がある。
この階層符号化方式は、原画像を第１階層データとし、第１階層データの縦横サイズを１／２に縮小した画像を第２階層データとし、更に、第２階層データの縦横サイズを１／２に縮小した画像を第３階層データとし、以降繰り返して所定の第ｎ階層データを作成して符号化し、更に隣り合う階層間の差分データを符号化する方式であり、平坦部における差分データを間引くことによって圧縮率を上げることができ、また画像を復元した際にもノイズなどの劣化成分が現れにくいという特徴がある。
【００２２】
また、特許文献１〜４に開示された符号化方式も、上記階層符号化方式に関連するものである。
例えば、特許文献１には、画像源から２種類の解像度で（スキャン）画像データを得て、低い方の解像度の画像を高い方の解像度の画像に変倍して差分を取り、低い方の解像度の画像及び圧縮差分データとを出力する方法が開示されている。
また、特許文献２には、第１階層のＮ個の画素データ平均値データにより第２階層データを形成し、第２階層データと第１階層の画素データとの（Ｎ−１）個の差分データを作成し、（Ｎ−１）個の差分データを符号化し、更に第２階層データを符号化する方法が開示されている。
また、特許文献３には、特許文献２と同様の構成において、第２階層データから第１階層データを予測して、予測された第１階層データと第１の階層データとの差分値を符号化する方法が開示されている。
また、特許文献４には、第１階層データの平均値により第２階層データを形成し、第２階層データと第１階層データの差分を圧縮して、第２階層データの画像ファイルの部分に続く部分中に含まれるようにする方法が開示されている。
【００２３】
これらの符号化方法を使用すると、画像の平坦部の情報を適切に間引いて圧縮でき、劣化成分がなく高画質な画像を復号することができる。しかし、これら符号化方法は、いずれも原画像を近似復元することができるが、原画像よりも高解像度の画像を高画質に推定復元することができない。もちろんこれらの復号化処理の後に、別の画像拡大処理を行うことで画像を拡大できるが、復号化処理された画像が拡大処理において好ましい性質を持つとは限らないため、高画質な拡大画像が得られるとは限らない。
【００２４】
そこで、本実施形態における画像処理装置２は、原画像の縮小画像を作成し、この縮小画像に高解像度の情報（原画像の情報）を含ませる。これにより、画像処理装置２は、原画像の細部情報を保ったまま、原画像を高圧縮符号化し、復号化時には任意の高解像度の画像を高画質に生成することができる。
【００２５】
［第１実施形態］
次に、第１の実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、画像処理プログラム５（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを符号化及び復号化する。また、画像処理装置２は、復号化された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。
【００２６】
［画像処理プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の機能構成を例示する図である。
図２に例示するように、画像処理プログラム５は、画像入力部５００、記憶部５１０、前処理部５２０、画像符号化部５３０、後処理部５４０、画像復号化部５５０、及び画像出力部５６０を有する。この画像符号化部５３０は、画像縮小部５３２、擬差分画像抽出部５３４、擬差分画像圧縮部５３６、及び擬差分埋め込み部５３８を含む。また、画像復号化部５５０は、擬差分抽出部５５２、擬差分画像復号部５５４、画像拡大部５５６、及び擬差分画像合成部５５８を含む。
なお、画像処理プログラム５の全部又は一部をＡＳＩＣなどのハードウェアで実現してもよい。
【００２７】
画像処理プログラム５において、画像入力部５００は、通信装置２２（図１）又は記憶装置２４（図１）を介して、ディジタル化された画像データ（原画像）を入力し、記憶部５１０に出力する。
記憶部５１０は、画像入力部５００から入力された原画像の画像データ、画像処理後の画像データ、及び、画像処理に用いられる各種の途中演算結果又は処理パラメータなどを保持する。
【００２８】
前処理部５２０は、原画像を既定の画像拡大方式（擬差分画像抽出部５３４により適用される画像拡大方式）で拡大した場合に現れる画質劣化成分に相当する原画像内の所定部位を、必要に応じて予め補正する。例えば、前処理部５２０は、例えば、特開２００４−１６６００７号公報に開示されているような、原画像中に存在するノイズを除去したり、エッジ部にアンチエイリアスを掛ける処理を行う。なお、前処理部５２０は、画像符号化部５３０による画像符号化処理の前に、前処理を実行する。
【００２９】
画像符号化部５３０は、原画像を符号化する。より具体的には、画像符号化部５３０は、原画像を１／ｎ倍に縮小して縮小画像を作成し、作成された縮小画像を既定の拡大処理によって拡大した場合の拡大画像（以下、擬原画像）と、原画像との差分データを算出し、この縮小画像及び差分データを符号化する。
【００３０】
後処理部５４０は、画像復号化部５５０により作成された擬原画像を、必要に応じて既定の画像拡大方式によって所定の拡大率で拡大する。
【００３１】
画像復号化部５５０は、縮小画像及び差分データの符号データ（画像符号化部５３０により生成された符号データ）に基づいて、擬原画像を生成する。より具体的には、画像復号化部５５０は、符号データに含まれる縮小画像を原画像の大きさまで既定の画像拡大方式によって拡大し、この拡大画像と差分データとを合成して、擬原画像を生成する。
【００３２】
画像出力部５６０は、画像復号化部５５０により生成された擬原画像（復号画像）を、プリンタ装置１０（図１）等に出力する。
【００３３】
［画像符号化部］
次に、画像符号化部５３０をより詳細に説明する。
画像符号化部５３０は、画像縮小部５３２、擬差分画像抽出部５３４、擬差分画像圧縮部５３６、及び擬差分埋め込み部５３８を含む。
【００３４】
画像縮小部５３２は、原画像を所定の画像縮小方式で１／ｎ倍（ｎ≧２）に縮小する。この画像縮小方式は、例えば、後述する平均値縮小処理である。
【００３５】
擬差分画像抽出部５３４（差分画像生成手段）は、画像縮小部５３２により縮小された画像（縮小画像）を所定の画像拡大方式でｎ倍に拡大した場合の拡大画像（擬原画像）と、原画像との差分を抽出して差分画像を生成する。この画像拡大方式は、画素値の平均値を保存する拡大方式である。
さらに、擬差分画像抽出部５３４は、生成された差分画像から、不要な差分情報を除去して、擬差分画像を生成する。
【００３６】
擬差分画像圧縮部５３６は、擬差分画像抽出部５３４により抽出された擬差分画像を所定の圧縮方式で圧縮して、圧縮擬差分画像を生成する。
【００３７】
擬差分埋め込み部５３８（符号生成手段）は、画像縮小部５３２により生成された１／ｎ倍縮小画像と、擬差分画像抽出部５３４により抽出された擬差分画像とを用いて、原画像の符号データを生成する。例えば、擬差分埋め込み部５３８は、画像縮小部５３２により生成された縮小画像に、擬差分画像圧縮部５３６により生成された圧縮擬差分画像を埋め込む。なお、擬差分埋め込み部５３８は、１／ｎ倍縮小画像を必要に応じて可逆圧縮してもよいが、その場合には後述するように一般に使われている画像フォーマットを使用する。
【００３８】
［画像復号化部］
次に、画像復号化部５５０をより詳細に説明する。
画像復号化部５５０は、図２に例示するように、擬差分画像抽出部５５２、擬差分画像復号部５５４、画像拡大部５５６、及び擬差分画像合成部５５８を含む。
【００３９】
擬差分画像抽出部５５２（差分画像抽出手段）は、画像符号化部５３０により生成された符号データ（縮小画像及び圧縮擬差分画像）の中から、圧縮擬差分画像を抽出する。
【００４０】
擬差分画像復号部５５４は、擬差分画像抽出部５５２により抽出された圧縮擬差分画像を既定の復号方式によって復号化し、擬差分画像を生成する。この復号方法は、擬差分画像圧縮部５３６により適用される圧縮方式に対応している。
【００４１】
画像拡大部５５６は、画像符号化部５３０により生成された符号データの中から、縮小画像を抽出し、抽出された縮小画像を既定の画像拡大方式でｎ倍に拡大する。この画像拡大方式は、擬差分画像抽出部５３４により適用される画像拡大方式と実質的に同一の拡大画像が得られるものである。
【００４２】
擬差分画像合成部５５８は、擬差分画像復号部５５４により生成された擬差分画像と、画像拡大部５５６により拡大された拡大画像とを合成して、復号画像（擬原画像）を生成する。
【００４３】
［符号化動作］
次に、画像処理装置５による符号化処理（Ｓ１０）を説明する。
図３は、画像処理装置５による符号化処理（Ｓ１０）の動作を説明するフローチャートである。
ステップ１００（Ｓ１００）において、前処理部５２０（図２）は、入力された原画像に対して前処理が必要であるか否かを判定する。例えば、前処理部５２０は、原画像に含まれるノイズ及びジャギーの量を計測し、計測値が基準値以上である場合に、前処理が必要であると判定し、これ以外の場合に、前処理が不要であると判定する。
画像処理プログラム５は、前処理が必要であると判定された場合に、Ｓ１１０の処理に移行し、前処理が不要であると判定された場合に、Ｓ１２０の処理に移行する。
【００４４】
ステップ１１０（Ｓ１１０）において、前処理部５２０は、入力された原画像に対して前処理を行う。この前処理は、例えば、画像拡大時に画質劣化として目立つノイズ又はジャギーを補正する処理である。なお、この際に前提となる拡大の倍率は、例えば入力された原画像が７５ｄｐｉの画像であり、６００ｄｐｉのプリンタ装置１０に出力されることを想定して、８倍の倍率を想定してもよいし、固定の解像度を想定しなくてもよい。
【００４５】
ステップ１２０（Ｓ１２０）において、画像符号化部５３０の画像縮小部５３２は、入力された原画像（又は、前処理部５２０により前処理がなされた原画像）について、既定の縮小方式で１／ｎ（ｎ≧２）倍に縮小し、縮小画像を生成する。なお、本例では以後ｎ＝２として説明して行く。
本例の画像縮小部５３２は、平均値縮小方式を用いて、原画像を１／２倍に縮小し、縮小画像を生成する。この平均値縮小法は、原画像に含まれる所定サイズ（縮小倍率に応じたサイズ）の画像領域の平均画素値を縮小画像の画素値とする方法である。
図４は、平均値縮小法による１／２倍の縮小画像の生成方法を説明する図である。
図４に示すように、画像縮小部５３２は、原画像の２×２ブロックの平均値を、縮小画像の１画素とする。
【００４６】
ステップ１３０（Ｓ１３０）において、擬差分画像抽出部５３４（図２）は、画像縮小部５３２により生成された１／２倍縮小画像を既定の画像拡大方式で２倍に拡大した画像と、原画像との差分画像を抽出する。この画像拡大方式は、画像の平均値を保存しつつ画像の細部情報を保って階段状のエッジを除去しつつ高画質に拡大する方式であることが好ましく、例えば、特開２００３−１４３３９９号公報又は特開２００３−２８３８１１号公報に開示された拡大方式である。ここで、平均値を保存するとは、任意の画像Ａを２倍に拡大した画像を更に平均値縮小法で１／２倍縮小すると画像Ａに等しい画像となる、ということを意味している。
なお、このＳ１３０の目的は、原画像との擬差分画像を作成することであるので、ｎ倍に拡大した画像は必ずしも実際に作成しなくてもよく、差分が計算できればよい。
【００４７】
次に、擬差分画像抽出部５３４は、抽出された差分画像内部の不要な成分を除去（０値に置き換え）して擬差分画像を生成する。本例の擬差分画像抽出部５３４は、差分値が所定量以下の部分を不要成分として除去する。また、本例の擬差分画像抽出部５３４は、ステップエッジ部全ての差分を不要成分として除去する。
これら不要成分の除去処理は、いずれも２ｘ２ブロック単位で不要成分であるか否かを判断してブロック内全画素について、除去するか否かを決定するようにする。なお、ステップエッジ部において、このように一意的に差分を除去しても良い理由は、上記画像拡大方式がステップエッジ部を視覚的に充分に良好な状態に復元できるという性質を備えているからである。
このようにして作成された擬差分画像は、差分画像に比べていっそう数値の絶対量が小さくなっている。
【００４８】
ステップ１４０（Ｓ１４０）において、擬差分画像圧縮部５３６（図２）は、擬差分画像抽出部５３４により生成された擬差分画像を所定の圧縮方式によって圧縮する。圧縮方式は任意であるが、例えばハフマン符号化などの方式を使用することができる。また、この圧縮方式は、必ずしも可逆でなくてもよいが、非可逆の方式を使用する場合には格差分値の誤差が大きくない方法を使用する。例えば、擬差分画像圧縮部５３６は、擬差分画像のビット数を減らし量子化してから可逆圧縮を施すことができる。
【００４９】
ステップ１５０（Ｓ１５０）において、擬差分埋め込み部５３８は、画像縮小部５３２により生成された１／２縮小画像データの中に、擬差分画像圧縮部５３６により得られた圧縮擬差分画像を所定の方法で埋め込む。例えば、擬差分埋め込み部５３８は、１／２縮小画像を所定の可逆圧縮方式で圧縮し、この１／２縮小画像の符号データのコメント部分に、圧縮擬差分画像を埋め込む。また、擬差分埋め込み部５３８は、１／２縮小画像の各画素の最下位ビットに、擬差分画像作成の際に除去されたか否かを表す２値の信号を埋め込んでもよい。このような処理は、画像の復号化の際に、最下位ビットが０ならば差分データを考慮しないことを意味している。
また、擬差分埋め込み部５３８は、別の方法として、１／２縮小画像の各画素の最下位ビットに、画像拡大方式のためのパラメータを埋め込む方法を取ることもできる。これは、画像拡大方式の内部でより原画像を近似するパラメータに切り替えることを意味しており、符号化するときにより原画像を近似するパラメータを抽出する必要がある。
【００５０】
なお、１／２縮小画像に埋め込む情報としては、最下位から２ビット分程度使用しても画質劣化の心配はない。これは、最下位ビットに関しては、１／２縮小の際にそもそも正確な情報が欠落しているため重要性が低く、さらに、最下位から２ビット目の情報も、画像拡大方式に平均値保存型の高画質拡大方式を使用すれば、拡大の際に周囲の画素との関係から適切な値に修正されるため階調数が減る心配がないからである。
【００５１】
このように、画像処理プログラム５は、圧縮擬差分画像が埋め込まれた１／２縮小画像を原画像の符号データとして生成する。
【００５２】
次に、上記符号化処理によるデータ圧縮効果を説明する。なお、本例でもｎ＝２である場合を具体例とする。
図５は、擬差分画像の作成を説明する図である。
また、図６は、符号化すべき縮小画像及び擬差分画像を説明する図である。
画像縮小部５３２（図２）は、原画像の縮小処理（Ｓ１２０）において、平均値縮小方式を適用する。この場合に、画像縮小部５４３は、図５（Ａ）に例示するように、原画像の中から、２×２ブロック（４画素）を選択し、選択された画素群の平均値ｑ１を算出し、図５（Ｂ）に示すように、算出された平均値ｑ１を縮小画像の１画素とする。
【００５３】
原画像の２×２ブロックに含まれる画素の画素値を順にｐ１、ｐ２、ｐ３、ｐ４とすると、１／２平均値縮小画像の対応画素ｑ１は、
ｑ１＝（ｐ１＋ｐ２＋ｐ３＋ｐ４）／４・・・（式１）
で表される。
【００５４】
次に、擬差分画像抽出部５３４は、擬差分画像抽出処理（Ｓ１３０）において、平均値保存型の画像拡大方式を適用して、縮小画像を拡大する。この場合に、画素値ｑ１（図５（Ｂ））に対応する拡大画像内の２×２ブロックは、図５（Ｃ）に示すように、画素値ｒ１、ｒ２、ｒ３及びｒ４を有する。これらの画素値の関係は、
ｑ１＝（ｒ１＋ｒ２＋ｒ３＋ｒ４）／４・・・（式２）
となる。
【００５５】
次に、擬差分画像抽出部５３４は、拡大された画像（図５（Ｃ））と、原画像（図５（Ａ））との差分画像を算出する。図５（Ｄ）に示すように、差分画像の画素値をｓ１、ｓ２、ｓ３、ｓ４とすると、
ｓ１＝ｐ１−ｒ１
ｓ２＝ｐ２−ｒ２
ｓ３＝ｐ３−ｒ３
ｓ４＝ｐ４−ｒ４
となる。
【００５６】
ここで、上記（式１）及び（式２）から、
ｓ１＋ｓ２＋ｓ３＋ｓ４＝０
が導かれる。この式を変形すると、
ｓ４＝−（ｓ１＋ｓ２＋ｓ３）
となることからわかるように、３つの差分値（差分画像の画素値）があれば、すべての差分値が再現できる。
【００５７】
ここにおいて、図５（Ｃ）に示された画素値ｒ１〜ｒ４は、画像復号化部５５０が１／２平均値縮小画像を上記画像拡大方式で拡大することにより算出できる値である。したがって、あと必要な情報はｓ１、ｓ２、ｓ３の差分画素値となる（ｓ１〜ｓ４のうち、任意の３つが必要）。
つまり、画像復号化部５５０は、「１／２平均値縮小画像＋擬差分画像（３画素分記憶）」から原画像を復元できることになる。したがって、擬差分画像抽出部５３４は、図６に示すように、原画像の各２×２ブロックに対して、差分画素値を３つ持つようにデータを整理して、擬差分画像を作成すればよい。擬差分画像圧縮部５３６は、例えば、２ｘ２ブロック単位でデータをまとめ３画素分の差分データを順に並べておき、最後に既定の圧縮方式によってデータ圧縮を行う。
【００５８】
復号化処理を行う場合には、画像復号化部５５０は、符号データの中から圧縮擬差分画像を抽出して、上記圧縮方式に対応する伸長方式を用いて圧縮擬差分画像を伸長し、その後で差分データ（ｓ１〜ｓ３）を所定の画像位置に置き直し、同時に記憶していなかった差分画素値を算出する。記憶していなかった差分画素値は、以下の式により算出される。
ｓ４＝−（ｓ１＋ｓ２＋ｓ３）
この差分画素値ｓ４を、ｓ１〜ｓ３と同じブロック内の所定位置に配置すれば、擬差分画像を得ることができる。
【００５９】
以上説明したように、画像処理プログラム５は、画像縮小方式として平均値縮小方式を適用し、画像拡大方式として平均値保存型拡大方式を適用とする場合には、１／２平均値縮小画像を記憶するならば、擬差分画像のデータを全て持つ必要はなく、３／４のデータ量で足りる。したがって、画像処理プログラム５は、１／２平均値縮小画像を適切に圧縮し、さらには３／４のデータ量となった擬差分画像データを適切に圧縮することにより、より圧縮率を高めることができる。なお、１／２平均値縮小画像と擬差分画像の３／４のデータ量は、原画像と同じデータ量となっており、本実施形態の符号化処理を行った場合に、符号化前よりもデータ量が増大するということを防止することができる。
ここで、１／ｎ倍縮小画像は、圧縮を行わずにそのままＢＭＰとして保持してもよいし、ＰＮＧなどの可逆圧縮方式で圧縮してもよい。なお、可逆圧縮することにより、全体の圧縮率を更に向上させることができるが、差分画像に比べてデータ量自体が小さいため、圧縮率の向上率はそれほど顕著ではない。本例において擬差分画像の４画素のうち一つの画素値を
ｓ４＝−（ｓ１＋ｓ２＋ｓ３）
という計算式で表現できるのは、１／２縮小画像がそのまま利用できることを前提としている。１／２縮小画像を非可逆圧縮した場合には、この計算式が成り立たないため、本例に適合しにくくなる。なお、実際には上述したように、１／２縮小画像の最下位２ビットを変更したり、差分画像の一部を０に置き換えたりする処理自体も、この計算式にとっては不具合の対象となり、ｓ４値に誤差が生じる。しかし、これらの処理は、１／２縮小画像や差分画像の画素値を大きく変動させないか、もしくは復元画像の画質に影響のない部分であるため、ｓ４値自体の誤差がそれほど大きくなく、画質劣化にはつながらない。１／２縮小画像を非可逆圧縮した場合には、画素値の変動が大きいため、ｓ４値自体の誤差が大きくなり画質劣化につながる可能性があり、本実施形態に適合しにくい。
【００６０】
［復号化動作］
次に、画像処理装置５による復号化処理（Ｓ２０）を説明する。
図７は、画像処理装置５による復号化処理（Ｓ２０）の動作を説明するフローチャートである。なお、本例でも、ｎ＝２である場合を具体例とする。
ステップ２００（Ｓ２００）において、擬差分抽出部５５２（図２）は、入力された原画像の符号データ（圧縮擬差分画像が埋め込まれた縮小画像）から、圧縮擬差分画像を抽出する。この抽出は、画像符号化部５３０によりなされた埋め込み方法に応じて行われる。
【００６１】
ステップ２１０（Ｓ２１０）において、擬差分画像復号部５５４は、擬差分抽出部５５２により抽出された圧縮擬差分画像を、擬差分画像圧縮部５３６により適用される圧縮方式に対応する伸長処理を用いて復号化する。
【００６２】
ステップ２２０（Ｓ２２０）において、画像拡大部５５６は、入力された画像（擬差分抽出部５５２が埋め込まれた縮小画像）を上記画像拡大方式によって２倍に拡大する。なお、画像拡大部５５６は、符号データから縮小画像（圧縮擬差分画像が除かれたもの）を抽出して拡大処理を行ってもよい。
【００６３】
ステップ２３０（Ｓ２３０）において、擬差分画像合成部５５８は、画像拡大部５５６により生成された２倍拡大画像と、擬差分画像復号部５５４により生成された擬差分画像とを合成する。この合成処理は、２倍拡大画像に擬差分画像を加算することで行う。なお、加算の結果、画素値が許容される値を超えた場合には、許容される値のうちで最も近い値に置き換えるようにする。
【００６４】
以上の処理によって、擬原画像が作成される。なお、このようにして作成された擬原画像は、符号化処理（Ｓ１０）において擬差分画像を圧縮するときに失われたデータ量と、１／２縮小画像に圧縮擬差分画像を埋め込むときに１／２縮小画像から失われるデータ量とが少ないほど、原画像に近い画像となる。したがって、圧縮効果を高めるために、擬差分画像をある程度量子化して圧縮すると、その分、符号化した擬原画像と原画像との距離が離れるので、符号化時には画質と圧縮率のバランスを考慮する必要がある。
【００６５】
ステップ２４０（Ｓ２４０）において、後処理部５４０は、後処理が必要であるか否かを判断する。例えば、後処理部５４０は、復号化された擬差分画像が出力先の出力解像度（プリンタ装置１０の場合に６００ｄｐｉ）を満たすか否かを判定し、出力解像度を満たす場合に、後処理を要しないと判断して復号化処理（Ｓ２０）を終了し、出力解像度を満たさない場合に、後処理を要するものと判断してＳ２５０の処理に移行する。
【００６６】
ステップ２５０（Ｓ２５０）において、後処理部５４０は、画像復号化部５５０により生成された復号画像（擬原画像）に対して、所定の後処理を行う。例えば、後処理部５４０は、上記と同様の画像拡大方式を適用して、復号画像（擬原画像）を拡大する。なお、この場合の拡大倍率は、例えば、入力画像（原画像、擬原画像）が７５ｄｐｉの画像であり、かつ、出力解像度が６００ｄｐｉ（プリンタ装置）であることを想定して、８倍の倍率としてもよいし、予め指定された倍率に従って拡大してもよい。
【００６７】
以上のようにして作成された復号画像（又は後処理された復号画像）は、記憶部５１０により記憶装置２４（図１）などに書き込まれて復号化処理が終わる。この復号画像は、画像出力部５６０によってプリンタ装置１０（図１）に出力されてもよい。
【００６８】
図８は、上記符号化処理（Ｓ１０）及び復号化処理（Ｓ２０）の効果を説明する図である。
本実施形態における符号化処理及び復号化処理は、解像度変換の実施が想定される画像において効果を発揮する。
まず、原画像に対して解像度変換を行う場合を考える。まず高解像度化（拡大）の処理は、高画質を実現する画像拡大方式を使用するのが最良の選択である。また、画像縮小処理は、平均値縮小方式を使用すればよい。
ここで一般に、画像の縮小処理は、既に原画像にある情報を減らすだけであるが、拡大処理の場合には原画像に無い情報を補う必要が生じるため、一般には一旦縮小した画像からは、もとの画像を拡大復元することはできない。つまり、原画像の解像度を基準に考えると、低解像度方向には解像度変換の復元性が保たれるが、高解像度方向には復元性がないということができる。
本実施形態における画像処理装置２は、この点に関する改良を行ったものであり、図８に示すように、縮小画像に高解像度の情報（原画像の情報）を含ませることにより、高解像度方向にも復元性を持たせたものである。つまり、本画像処理装置２は、１／ｎ倍縮小原画像に原画像との擬差分データを付加した符号データ（符号化画像）を作成し、この符号化画像から原画像に充分近い擬原画像を復元できるという特徴を備えている。
【００６９】
さらに、本実施形態における画像処理装置２は、別の目的として、原画像を解像度変換にとって都合の良い状態に効率的に圧縮することができる。つまり、本画像処理装置２により符号化された符号データ（符号化画像）は、原画像に比べて解像度及びデータ量が小さくなるが、復号化の処理つまり任意の解像度に変換する場合に、上記画像拡大方式を使用しているため高画質になる。
また、符号化画像は、従来使用されている画像フォーマットの形式を取っているため、復号化の処理を持たない装置に入力された場合には、高解像度の情報を復元することはできないものの、エラーで落ちるようなことはない。なお、本画像処理装置２により高い圧縮率を実現するためには、擬差分画像のデータ量が小さいことが望ましい。これは、上記画像拡大方式が充分に高画質（原画像の復元性が高く、視覚的に良好である）であることがポイントとなっている。
【００７０】
本実施形態における画像処理装置２は、解像度変換による画質のコントロールを行うことができるため、他の画像圧縮形式と比べて、どのような解像度に変換しても高画質を達成することができる。
【００７１】
なお、上記画像処理装置２は、所定の既存の画像フォーマット形式を適用しているが、本実施形態の画像符号化部５３０により符号化された画像であるか否かを示すデータを、画像フォーマットのヘッダの空領域又はコメント部に挿入するようにしてもよい。
また、符号化処理で適用した縮小倍率１／ｎは、復号化処理においても拡大倍率ｎとして使用されるため、画像処理装置２は、この縮小倍率１／ｎ（拡大倍率ｎ）の値を、同様にヘッダの空領域又はコメント部に挿入するようにしてもよい。なお、常に固定の倍率を使用する場合には、ヘッダ等に挿入する必要はない。
【００７２】
一般に原画像のデータよりも擬差分画像のデータの方が高圧縮できるという性質があるが、さらに、本画像処理装置２は、画像拡大方式として平均値保存型の高画質（原画像の復元性が高い）拡大方式を採用しているため、上述したように差分データ量を３／４に減らすことができ、しかも差分データ自体を小さくすることができる。つまり、本画像処理装置２は、差分データを圧縮するということと、平均値保存型の高画質画像拡大方式を用いたということの相乗効果で、より高い圧縮率を達成することができる。
【００７３】
また、前処理部５２０は、原画像を拡大した場合のノイズなどの劣化成分を、原画像から取り除いており、これにより、高画質化と共に、符号化画像の高圧縮率を実現する。一般にノイズなどの劣化成分は、擬差分画像に反映されるため、これを予め原画像から除去することは、擬差分画像データを小さくすることに繋がるからである。
【００７４】
また、本画像処理装置２は、全ての符号化処理を可逆符号化で行うこともできるし、視認性の低い部分を削って非可逆符号化で行うこともできる。なお、ここでの非可逆符号化は、画素値を正確に保たないが、誤差が比較的少ないものであることが望ましい。
例えば、図５及び図６を参照して説明したように、符号化する前のデータ量は、１／２縮小画像を１としたときに、擬差分画像は３であり、１／２縮小画像よりも擬差分画像データの方が３倍大きいことになる。しかし、上述したように擬差分画像データ自体の性質と、高画質な画像拡大方式を用いたことによって、擬差分画像データの圧縮は、比較的高圧縮で行うことができる。
また、この圧縮擬差分画像データを１／２縮小画像データ内に埋め込む場合に、上記のように、画像データの外側のコメント部などに埋め込む方法と、画像の内部（下位ビット）に埋め込む方法とがある。
前者の方法の場合、１／２縮小画像自体は劣化しないが、符号データ（縮小画像及び圧縮擬差分画像）のデータ量は、１／２縮小画像と圧縮擬差分画像とからなり、やや大きくなる。
一方、後者の場合、１／２縮小画像自体の中に圧縮差分データが埋め込まれるので、符号データのデータ量は小さくなるが、その分１／２縮小画像にノイズが混入することによる画質劣化が生じる。この場合、復号化時の画質（原画像と擬原画像との距離）と、圧縮率の２つをパラメータとして、最適な組み合わせを選択することが望ましい。
【００７５】
なお、上記実施形態では、ｎ＝２である場合を具体例として説明したが、これに限定されるものではない。例えば、画像処理装置２は、ｎ＝４として、１／４縮小画像を作成し、４倍拡大して原画像との差分を抽出してもよい。この場合にも、平均値保存型の性質を利用すると、差分データ量は原画像に対して最大でも１５／１６のデータ量となる。
また、本画像処理装置２は、ｎ＝２として符号化された画像に対して、さらに、ｎ＝２で符号化処理を施すこともできる。この場合には、２回目の符号化を可逆で行えば、２回の符号化で更に画質が劣化するということはない。
【００７６】
また、本画像処理装置２は、カラー画像が符号化対象（原画像）として入力された場合に、各色成分のプレーンに分解してそれぞれを符号化及び復号化する。また、画像処理装置２は、ＲＧＢ画像をＹＵＶ画像に変換してからそれぞれＹＵＶ面に関して符号化処理を行ってもよい。この際に、視認性の低いＵＶ面は、差分画像を非可逆符号化して圧縮率を高くしておき、視認性の高いＹ面は可逆符号化処理もしくは弱い非可逆符号化処理で画像情報を正確に保つようにすることもできる。
【００７７】
［第２実施形態］
次に、第２の実施形態を説明する。
上記第１の実施形態では、縮小画像が可逆圧縮方式により符号化される形態を具体例として説明したが、これに限定されるものではなく、例えば、非可逆圧縮方式を用いて縮小画像を符号化してもよい。
そこで、第２の実施形態では、縮小画像が非可逆圧縮方式によって符号化される形態を説明する。
【００７８】
図９は、第２の実施形態における画像処理プログラム５２の機能構成を例示する図である。
図９に例示するように、第２の画像処理プログラム５２は、第１の画像処理プログラム５（図２）の画像符号化部５３０に、非可逆圧縮部５３３及び圧縮誤差分配部５３５を追加した構成をとる。
本画像処理プログラム５２において、非可逆圧縮部５３３は、画像縮小部５３２により生成された縮小画像を、非可逆圧縮方式により符号化する。本例の非可逆圧縮部５３３は、ＪＰＥＧ圧縮方式を用いて、１／２縮小画像を符号化する。
【００７９】
擬差分画像抽出部５３４は、非可逆圧縮部５３３により符号化された画像（縮小画像）を復号化し所定の画像拡大方式でｎ倍に拡大した場合の拡大画像（擬原画像）と、原画像との差分を抽出して差分画像を生成する。
【００８０】
図１０は、非可逆圧縮部５３３による非可逆符号化処理で生ずる圧縮誤差と、擬差分画像抽出部５３４により抽出される差分画像との関係を説明する図である。
図１０（Ａ）に例示する原画像の２ｘ２ブロックは、画像縮小部５３２により１／２倍に縮小されると、図１０（Ｂ）に例示する１／２縮小画像となる。さらに、この１／２縮小画像は、非可逆圧縮部５３３により符号化されて、図１０（Ｃ）に例示する１／２縮小画像（圧縮後）となる。この場合の圧縮誤差ｄ１は以下の式となる。
【００８１】
ｄ１＝（ｑ１−ｑ１’）・・・（式３）
ｑ１：圧縮前の縮小画像の画素値
ｑ１’：圧縮後の縮小画像の画素値
【００８２】
擬差分画像抽出部５３４は、図１０（Ｃ）に例示する１／２縮小画像（圧縮後）を復号化（伸長）して、平均値保存拡大方式（例えば、特開２００３−１４３３９９号公報又は特開２００３−２８３８１１号公報に開示された拡大方式）により原画像のサイズまで拡大した場合の拡大画像（図１０（Ｄ））と、原画像（図１０（Ａ））との差分を抽出する。抽出される差分は、図１０（Ｅ）に例示するような差分画像となる。
【００８３】
（式１）、（式２）及び（式３）より、差分画素値の総和と圧縮誤差との関係式は以下となる。
ｓ１＋ｓ２＋ｓ３＋ｓ４＝４＊（ｄ１）
ｓ１〜ｓ４：差分画像の画素値
ｄ１：圧縮誤差
【００８４】
図９に例示する圧縮誤差分配部５３５は、非可逆圧縮部５３３による非可逆圧縮処理で生ずる圧縮誤差を、差分画像に分配する。より具体的には、圧縮誤差分配部５３５は、画像縮小部５３２により生成された縮小画像の注目画素の画素値と、この縮小画像が非可逆圧縮部５３３により圧縮された場合の注目画素の画素値との差分値（すなわち、圧縮誤差値）を、この注目画素に対応する原画像の画素数（１／ｎ倍に縮小した場合は、ｎ画素）で除算し、除算された圧縮誤差値をこの注目画素に対応する差分画像上の画素に加算する。
【００８５】
図１１は、圧縮誤差分配部５３５による圧縮誤差の分配処理を説明する図である。
擬差分埋め込み部５３８は、図１０（Ｅ）に例示する差分画像の画素群のうち、３画素の画素値（ｓ１〜ｓ３）を、縮小画像のデータファイルに埋め込む。この場合に、第４の画素（ｓ４）は、埋め込まれた３つの画素値（ｓ１〜ｓ３）に基づいて算出される。
【００８６】
ここで、図１１（Ａ）に例示するように、差分画像の３画素（ｓ１〜ｓ３）がそのまま縮小画像に埋め込まれると、復号化処理を行うときに、第４の画素（ｓ４）は、以下の式により算出される。
ｓ４＝−（ｓ１＋ｓ２＋ｓ３）＋４＊（ｄ１）・・・（式４）
【００８７】
よって、非可逆圧縮処理（非可逆圧縮部５３３による圧縮処理）により生じる縮小画像の圧縮誤差が、第４の画素（ｓ４）に集中してしまい、復号画像の画質が劣化する。
【００８８】
そこで、図１１（Ｂ）に例示するように、圧縮誤差分配部５３５は、非可逆圧縮処理により生じる縮小画像の圧縮誤差（４＊ｄ１）を、対応する差分画像の各画素に均等に分配する。これにより、本例では、差分画像の各画素ｓ１〜ｓ３は、分配誤差値（ｄ１）を均等に加算される。
この場合に、第４の画素（ｓ４）は、復号化処理時に、上記（式４）に従って算出される。
ｓ４＝−（ｓ１＋ｓ２＋ｓ３）＋ｄ１
このように、圧縮誤差分配部５３５が差分画像の３画素（埋め込まれる画素）に圧縮誤差値を分配することにより、差分画像の全画素（ｓ１〜ｓ４）は、それぞれ均等に分配誤差値（ｄ１）を加算されることになる。これにより、圧縮誤差が差分画像上で平均化されて、非可逆圧縮処理による復号画像の画質劣化が抑えられる。
【００８９】
また、本例の擬差分画像圧縮部５３６は、圧縮誤差分配部５３５により圧縮誤差が分配された差分画像を、ＥＢＣＯＴ圧縮処理により符号化する。ＥＢＣＯＴ圧縮処理は、ＪＰＥＧ２０００で適用される圧縮方式である。
図１２は、擬差分画像圧縮部５３６によるＥＢＣＯＴ圧縮処理を説明する図である。
図１２に例示するように、本例の擬差分画像圧縮部５３６は、差分画像（圧縮誤差の分配誤差値が加算されたもの）に関して画素の並べ替え処理を行い、並べ替えがなされた差分画像をＥＢＣＯＴ圧縮して、ＥＢＣＯＴ圧縮差分情報を生成する。
本例の擬差分埋め込み部５３８は、非可逆圧縮部５３３により符号化された縮小画像のデータファイルに、擬差分画像圧縮部５３６により生成されたＥＢＣＯＴ圧縮差分情報を埋め込む。
【００９０】
なお、本例においてそれぞれ符号化された１／２縮小画像と差分画像は、画質と圧縮率に関して相互関連している。つまり、１／２縮小画像と差分画像の圧縮率を共に高くすると、全体として高圧縮率を達成できるが、１／２縮小画像、復元画像ともに画質が低下する。また、共に圧縮率を低くすれば全体として低圧縮率となる代わりに共に高画質となる。一方、１／２縮小画像の圧縮率を低めに設定し、差分画像の圧縮率を高めに設定すると、１／２縮小画像の画質は低下するが、その一方で復元画像の画質が向上する。（本例においても、第１の実施形態と同様にＹＵＶ面に分けて処理を行うことができるが、その際に、これらの圧縮率のコントロールを変更してもよい。）
このことは、単に復元画質の向上というだけでなく、セキュリティーの観点からも効用がある。つまり、復元権限を持たない者やシステムに対して、低画質な１／２縮小画像のみの使用を許容し、復元権限を持つ者やシステムに対して、高画質で高解像度な画像の生成を許容することにより、権限に応じた出力画像の生成を実現できる。この際に、画像フォーマット自体は既存のフォーマットを使用しているため、復元権限のない場合でもエラーで落ちることはなく、１／２縮小画像の利用は可能である。このように１／２縮小画像の圧縮率と差分画像の圧縮率を変えることによって全体の圧縮率、１／２縮小画像の画質、復元画像の画質をコントロールすることができるが、圧縮率をうまく選択することによって、原画像をそのまま単純に圧縮するよりも高い画質効果を得ることができるものである。このことは、本例において１／２縮小画像の拡大方式に高画質拡大方式を利用している点、また誤差を各画素に分配している点のそれぞれが功を奏している。また、転送容量などの観点から、画像の圧縮においては、可逆圧縮よりも非可逆圧縮が使用される場合が多く、その観点からも本例は第１の実施形態に比べてより汎用性が高い方式となっている。
【００９１】
以上説明したように、第２の実施形態における画像処理プログラム５２は、縮小画像を非可逆圧縮処理により圧縮するため、より高い圧縮率を実現できる。
また、本画像処理プログラム５２は、非可逆圧縮処理により生ずる圧縮誤差を差分画像に均等に分配することにより、非可逆圧縮処理による画質劣化を抑制することができる。
また、本実施形態で例示した画像復号化部５５０を有しないシステムで復号化される場合でも、縮小画像そのものはＪＰＥＧによる圧縮データであるため、低画質ながらも原画像は再現可能である。
【図面の簡単な説明】
【００９２】
【図１】本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
【図２】制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の機能構成を例示する図である。
【図３】画像処理装置５による符号化処理（Ｓ１０）の動作を説明するフローチャートである。
【図４】平均値縮小法による１／２倍の縮小画像の生成方法を説明する図である。
【図５】擬差分画像の作成を説明する図である。
【図６】符号化すべき縮小画像及び擬差分画像を例示する図である。
【図７】画像処理装置５による復号化処理（Ｓ２０）の動作を説明するフローチャートである。
【図８】符号化処理（Ｓ１０）及び復号化処理（Ｓ２０）の効果を説明する図である。
【図９】第２の実施形態における画像処理プログラム５２の機能構成を例示する図である。
【図１０】非可逆圧縮部５３３による非可逆符号化処理で生ずる圧縮誤差と、擬差分画像抽出部５３４により抽出される差分画像との関係を説明する図である。
【図１１】圧縮誤差分配部５３５による圧縮誤差の分配処理を説明する図である。
【図１２】擬差分画像圧縮部５３６によるＥＢＣＯＴ圧縮処理を説明する図である。
【符号の説明】
【００９３】
２・・・画像処理装置
５・・・画像処理プログラム
５００・・・画像入力部
５１０・・・記憶部
５２０・・・前処理部
５３０・・・画像符号化部
５３２・・・画像縮小部
５３３・・・非可逆圧縮部
５３４・・・擬差分画像抽出部
５３５・・・圧縮誤差分配部
５３６・・・擬差分画像圧縮部
５３８・・・擬差分埋め込み部
５４０・・・後処理部
５５０・・・画像復号化部
５５２・・・擬差分抽出部
５５４・・・擬差分画像復号部
５５６・・・画像拡大部
５５８・・・擬差分画像合成部
５６０・・・画像出力部
【図１】
2006197074.tif 000003
【図２】
2006197074.tif 000004
【図３】
2006197074.tif 000005
【図４】
2006197074.tif 000006
【図５】
2006197074.tif 000007
【図６】
2006197074.tif 000008
【図７】
2006197074.tif 000009
【図８】
2006197074.tif 000010
【図９】
2006197074.tif 000011
【図１０】
2006197074.tif 000012
【図１１】
2006197074.tif 000013
【図１２】
2006197074.tif 000014