(57)【特許請求の範囲】
【請求項１】
画像データを入力して加工する画像処理装置において、
原画像として入力された画像データに対してそれを周波数空間のデータとする直交変換を施して原画像の周波数成分である原画像周波数成分を生成する原画像直交変換手段と、
生成された前記原画像周波数成分からその低周波成分を抽出する低成分抽出手段と、
前記低成分抽出手段にて抽出された残りである前記原画像周波数成分の高周波成分を前記低周波成分と関連づけて、その情報である関連情報を符号化する高成分符号化手段と、
前記低周波成分を表したデータと前記関連情報を表したデータとを合成して、前記原画像の画像データよりデータサイズの小さい画像データである簡易画像データを生成する符号合成手段とを
備えたことを特徴とする画像処理装置。
【請求項２】
前記低周波成分を表したデータのデータ量を圧縮する低成分圧縮手段をさらに備え、
前記符号合成手段は、該低成分圧縮手段にてデータ量が圧縮された低周波成分を表したデータと前記関連情報を表したデータとを合成して、前記簡易画像データを生成するとを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
当該画像処理装置は、記憶媒体を有しており、前記符号合成手段にて生成された前記簡易画像データを当該画像処理装置が該記憶媒体に記憶させる、請求項１に記載の画像処理装置。
【請求項４】
画像データを入力しその画像を画像サイズが原画像より縮小されたサイズである縮小サイズに縮小した縮小画像を表示する画像処理装置において、
前記低周波成分を表したデータに逆直交変換を施すことで前記縮小画像を生成する縮小画像生成手段と、
該縮小画像を表示する縮小画像表示手段と、
をさらに備え、
前記低成分抽出手段は前記縮小サイズに対応した低周波成分を抽出するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
原画像の画像データよりデータサイズの小さい画像データである簡易画像データから原画像を復元する画像処理装置において、
前記簡易画像データが、原画像の画像データに対してそれを周波数空間のデータとする直交変換が施されて得られる、すなわち原画像の周波数成分である原画像周波数成分のうちその低周波成分を表したデータを含んでおり、その簡易画像データから、該低周波成分を表したデータを取り出す低成分復号手段と、
前記簡易画像データが、前記原画像周波数成分のうち前記低周波成分が除かれた残りであるその高周波成分を前記低周波成分と関連づけている情報である関連情報を表したデータをさらに含んでおり、前記簡易画像データから、該関連情報を表したデータを取り出し、その関連情報を表したデータと前記低周波成分を表したデータとに基づいて該高周波成分を表したデータを復号する高成分復号手段と、
前記低周波成分と前記高周波成分とを結合したものを周波数成分として、その周波数成分に逆直交変換を施して原画像を復元し、そしてその原画像を出力する原画像出力手段とを備えたことを特徴とする画像処理装置。
【請求項６】
当該画像処理装置は、記憶媒体を有しており、前記簡易画像データを当該画像処理装置が該記憶媒体から前記低成分復号手段又は前記高成分復号手段へ読み出す請求項５に記載の画像処理装置。
【請求項７】
原画像を所望の画像サイズの画像に拡大して出力する画像処理装置において、
拡大する際に、原画像の画像データに対してそれを周波数空間のデータとする直交変換が施されて得られるものであるその原画像の周波数成分に補うべき高周波成分を、該原画像の周波数成分、及び該原画像の周波数成分と補うべき該高周波成分との関連を示した情報である関連情報を基に推定する不足成分推定手段と、
前記原画像の周波数成分と、前記不足成分推定手段にて推定された前記高周波成分とを結合したものを拡大した画像の周波数成分として、その周波数成分に逆直交変換を施すことで所望の画像サイズに拡大した画像を出力する拡大画像出力手段とを備えたことを特徴とする画像処理装置。
【請求項８】
当該画像処理装置は、記憶媒体を有しており、前記原画像の周波数成分及び前記関連情報を、当該画像処理装置が該記憶媒体に記憶されたデータからそれぞれを復号して得る、請求項７に記載の画像処理装置。
【請求項９】
画像データを入力して加工する画像処理装置において、
原画像として入力された画像データに対してそれを周波数空間のデータとする直交変換を施して原画像の周波数成分である原画像周波数成分を生成する原画像直交変換手段と、
生成された前記原画像周波数成分を、前記原画像を所望の拡大率で拡大した拡大画像の周波数成分である拡大周波数成分における低周波成分とみなして、その拡大周波数成分を、前記原画像周波数成分及び該拡大周波数成分における低周波成分と残りの高周波成分との関連を示した情報である関連情報を基に推定する拡大周波数推定手段と、
前記原画像周波数成分と、複数の拡大率についてそれぞれ推定された複数の前記拡大周波数成分とから、一の原画像から拡大率の異なるすなわち画像サイズの異なる複数の画像に拡大するためにその拡大する元として共通した画像サイズの画像である基本画像を生成するのに必要となる周波数成分を基本成分として抽出する基本成分抽出手段と、
前記拡大周波数推定手段にて推定された前記拡大周波数成分を前記基本成分と関連づけて、その情報である関連情報を符号化する多重画像符号化手段と、
前記基本成分を表したデータと前記関連情報を表したデータとを合成して、前記原画像の画像データよりデータサイズの小さい多重簡易画像データを生成する多重符号合成手段とを
備えたことを特徴とする画像処理装置。
【請求項１０】
前記基本成分を表したデータのデータ量を圧縮する基本成分圧縮手段をさらに備え、
前記多重符号合成手段は、該基本成分圧縮手段にてデータ量の圧縮された基本成分を表したデータと前記関連情報を表したデータとを合成して、前記多重簡易画像データを生成することを特徴とする、請求項９に記載の画像処理装置。
【請求項１１】
当該画像処理装置は、記憶媒体を有しており、前記多重符号合成手段にて生成された前記多重簡易画像データを当該画像処理装置が該記憶媒体に記憶させる、請求項９に記載の画像処理装置。
【請求項１２】
前記基本成分を表したデータに逆直交変換を施すことで前記基本画像を生成する基本画像生成手段と、
該基本画像を表示する基本画像表示手段とを
さらに備えたことを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
原画像の画像データよりデータサイズの小さい画像データである多重簡易画像データから原画像を所望サイズに拡大した拡大画像を生成して出力する画像処理装置において、
前記多重簡易画像データが、画像データに対してそれを周波数空間のデータとする直交変換が施されて得られる、すなわち画像の周波数成分であって、一の原画像から画像サイズの異なる複数の画像に拡大するためにその拡大する元として共通した画像サイズの画像である基本画像を生成するのに必要な周波数成分である基本成分を含んでおり、その多重簡易画像データから、該基本成分を表したデータを取り出す基本成分復号手段と、
前記多重簡易画像データが、各拡大画像についてその周波数成分のうち前記基本成分が除かれた残りであるその高周波成分を前記基本成分と関連付けている情報である関連情報を表したデータをさらに含んでおり、前記多重簡易画像データから、所望の画像サイズの拡大画像についての該関連情報を表したデータを取り出し、その関連情報を表したデータと前記基本成分を表したデータとに基づいて該高周波成分を表したデータを復号する対象周波数復号手段と、
前記基本成分と前記高周波成分とを結合したものを周波数成分として、その周波数成分に逆直交変換を施して所望のサイズの拡大画像を生成し、そしてその拡大画像を出力する対象画像出力手段とを
備えたことを特徴とする画像処理装置。
【請求項１４】
当該画像処理装置は、記憶媒体を有しており、前記多重簡易画像データを当該画像処理装置が該記憶媒体から前記基本成分復号手段又は前記対象周波数復号手段へ読み出すことを特徴とした、請求項１３に記載の画像処理装置。
【請求項１５】
当該画像処理装置は、前記記憶媒体から前記簡易画像データ又は前記原画像の周波数成分及び前記関連情報を読み出す処理を、ユーザからの指示により開始することを特徴とする請求項６、８、又は１４のいずれか一項に記載の画像処理装置。
【請求項１６】
画像データを入力してその画像を拡大した拡大画像を得る画像処理装置において、
入力された原画像に対し所望の拡大率に応じて原画像の画素間を新たな画素で補間する画素間補間手段と、
前記画素間補間手段にて補間された画像である補間拡大画像に、その画素強調を行う畳み込み計算を行う畳み込み手段と、
K回目の畳み込み処理で得られた拡大画像における画素値とK-1回目の畳み込み処理で得られた拡大画像における画素値と間の差をもとにした値が、予め設定された収束条件を満足するかどうかの判定を行う収束判定手段と、
前記収束判定手段にて収束した旨の判定がなされた場合には、その畳み込み処理で得られた画像を出力する拡大画像出力手段とを
さらに備えたことを特徴とする請求項１、９又は１３のいずれか一項に記載の画像処理装置。
【請求項１７】
入力された原画像の周波数成分からその低周波成分を抽出するとともに、抽出した残りであるその高周波成分を該低周波成分と関連づけて、その情報である関連情報を求め、そして、該低周波成分を表したデータと該関連情報を表したデータとを合成して前記原画像の画像データよりデータサイズの小さい画像データである簡易画像データを生成する画像処理方法。
【請求項１８】
画像の周波数成分からその低周波成分を抽出した残りであるその高周波成分を該低周波成分と関連づけた情報である関連情報を表したデータと、該低周波成分を表したデータとが合成されている画像データであり、原画像の画像データよりデータサイズの小さい画像データである簡易画像データから、前記低周波成分を表したデータ及び前記関連情報を表したデータを取り出し、その関連情報を表したデータと前記低周波成分を表したデータとに基づいて該高周波成分を表したデータを復号して前記低周波成分を表したデータと結合し、そして、その結合したものを周波数成分として、その周波数成分に逆直交変換を施すことで前記原画像を出力する画像処理方法。
【請求項１９】
原画像を所望の画像サイズの画像に拡大する際に、その原画像の周波数成分に補うべき高周波成分を、前記原画像の周波数成分、及び該原画像の周波数成分と補うべき該高周波成分との関連を示した情報である関連情報を基に推定し、そして、前記原画像の周波数成分と推定された前記高周波成分とを結合したものを拡大した画像の周波数成分として、その周波数成分に逆直交変換を施すことで、前記原画像を所望の画像サイズに拡大した画像を出力する画像処理方法。
【請求項２０】
所定の画像サイズの原画像の周波数成分と該画像サイズの原画像を複数の画像サイズについて拡大した複数の拡大画像の周波数成分とから、それら複数の画像サイズの画像の周波数成分に共通と見做せるその低周波成分を基本成分として抽出するとともに、各周波数成分について抽出した残りであるその高周波成分を該基本成分と関連づけて、その情を表したデータと報である関連情報を求め、そして、該基本成分該関連情報を表したデータとを合成して前記原画像の画像データよりデータサイズの小さい多重簡易画像データを生成する画像処理方法。
【請求項２１】
所定の画像サイズの原画像の周波数成分と該画像サイズの原画像を複数の画像サイズについて拡大した複数の拡大画像の周波数成分とにおいて、各拡大画像について、それら複数の画像サイズの画像の周波数成分に共通と見做せるその低周波成分を基本成分として抽出した残りであるその高周波成分を該低周波成分と関連づけた情報である関連情報を表したデータと、該基本成分を表したデータとが合成されている画像データであり、原画像の画像データよりデータサイズの小さい画像データである多重簡易画像データから、前記基本成分を表したデータ及び前記関連情報を表したデータを取り出し、その関連情報を表したデータと前記低周波成分を表したデータとに基づいて該高周波成分を表したデータを復号して前記低周波成分を表したデータと結合し、そして、その結合したものを周波数成分として、その周波数成分に逆直交変換を施すことで前記原画像を所望の画像サイズに拡大して出力する画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スキャナや電子スチルカメラ等で入力された画像データの記憶サイズを低減するとともに、そのデータを鮮明に出力するための画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、技術の革新に伴い、銀塩フィルムに代わって磁気媒体やメモリ等の記憶媒体に画像を記憶する電子撮像装置が実用に供されるようになった。特に、CCD(Charge Coupled Devices) 撮像素子を利用して光の濃淡や色彩を読み取り半導体メモリ等に記憶する電子スチルカメラではその手軽さや低価格が引き金となって一般家庭における普及が進み、合わせてCCD 素子の解像度も１００万画素から２００万画素へと高解像化が進みつつある状況である。この場合、CCD における実効画素数によるが、大体１２８０画素×９８０画素程度の解像度能力は持っており、CCD 撮像素子により読み取られた画像データ容量は非常に大きなものとなるため、画像データの圧縮処理は必要であり、この圧縮処理としては、通常、カラー静止画像符号化標準方式（ＪＰＥＧ；Joint Photographic Coding Experts Group ）が採用されている。このＪＰＥＧによる圧縮を行う従来の画像処理装置は図１２のようなブロック図で表すことができる。
【０００３】
CCD 撮像素子等で構成される画像入力手段１０で原画像が読み取られる。この原画像に対してＪＰＥＧによる非可逆圧縮が圧縮手段１３００で実行される。すなわち、まずＤＣＴ（Discrete Cosine Transform ）変換手段１３０６で画像に離散コサイン変換を行い周波数領域の信号に変換され、得られた変換係数は量子化手段１３０７で量子化テーブル１３０１を用いて量子化される。この量子化された結果は、エントロピー符号化手段１３０８においてエントロピー符号化テーブル１３０２をもとに記号列に変換され、これが記憶媒体１５に記憶される。この処理は原画像全ての圧縮処理が終わるまで行われる。なお、前記ＪＰＥＧ圧縮された画像は、量子化処理による影響とＤＣＴによる丸め誤差の影響で、ＪＰＥＧ圧縮された画像は、伸張しても元の原画像には正確に戻らない非可逆圧縮であり、この非可逆性に関しては前記２つの要因の内、特に量子化処理の影響が大きい。
【０００４】
ところで、電子スチルカメラ等の画像処理装置では、撮影した画像をその場でレビューしたりデータ編集するための検索等のために、液晶ディスプレイ等の表示装置を備えていることが一般的である。その際、レビュー用の表示装置の解像度に比べて、前述のようにCCD の解像度は高く、記憶メディア１５に記憶された圧縮画像データをこれらの表示装置に表示する場合には、この圧縮画像データを伸張した後、解像度変換のために画素の間引き処理が行われる。
【０００５】
まず、図１２における伸張手段１３０３が記憶媒体１５に記憶された圧縮画像データの伸張作業を行う。この過程はエントロピー復号化手段１３１１で量子化された変換係数に戻し、逆量子化手段１３１０でＤＣＴ係数に戻される。
そして、このＤＣＴ係数にＩＤＣＴ（Inverse Discrete Cosine Transform ）変換手段１３０９において逆離散コサイン変換が実行され、元の画像データ空間の値に伸張される。この伸張された画像データは、ユーザからの指示信号に応じて原画像出力手段１３１２よりプリンタやCRT 等に出力される。
【０００６】
一方、画素間間引き手段１３０４では、伸長手段１３０３で伸張された全画像データから、レビュー表示する縮小表示手段での解像度に応じて画素の間引きが行われ、この間引き画像が縮小画像表示手段１３０５でレビュー表示されるのである。
【０００７】
ところで２００万画素のCCD 素子を持つ電子スチルカメラを使ってA4程度の原稿を読むことを考えた場合、その焦点距離等により一該には言えないが、CCD 撮像素子の画素数のみから見積もると、前記電子スチルカメラは１００（dot/inch) 程度の解像度能力しかないことがわかる。この解像度は、銀塩カメラより得られる画像に比して遙に粗く、自然画像におけるエッジ情報や細部の鮮明度の描写に関してはまだ不十分である。そのため、電子スチルカメラで入力された画像を、レーザープリンタ、インクジェットプリンタ等の高解像度のプリンタに出力する際や、コンピュータに接続する高解像度ディスプレイに表示しデータ編集を行うためには、その低い解像度の画像データを高解像度のデータに変換してやる必要が生じる。高解像度変換と画像の拡大は同意義であるため、以下では精度良い画像拡大を行う従来方法について説明する。
【０００８】
従来の画像の拡大方法として大きく分けると、
（１）特開平２−７６４７２あるいは特開平５−１６７９２０に記載されるように、ＦＦＴ（高速フーリエ変換）やＤＣＴ等の直交変換を用いて、実空間の画像信号を、周波数空間の画像信号に変換した後に拡大する方法
（２）単純に画素間を補間する方法
の２つを挙げることができる。
【０００９】
（１）の方法の従来例について、図１３はその構成を表すブロック図であり、図１４は処理工程を模式的に表した図である。まず、図１４（ａ）に示すような実空間の原画像（n ×n 画素）を図１３の原画像直交変換手段１１により、図１４（ｂ）に示すような周波数空間の画像（n ×n 画素）に直交変換する。この際、この周波数空間の画像信号はn ×n の行列で表され、この周波数変換後の行列は、図面上左上部に行くほど低周波成分となり、また、矢印に沿って右方向及び下方向に行くに従い、高周波成分となる。次に”０”成分埋め込み手段１４００において、このように周波数空間の画像に変換された領域をs 倍した領域（図１４（ｃ）に示すsn×snの領域）が用意され、sn×snの領域における低周波成分の領域部分には、前記直交変換により得られた図１４（ｂ）で示されるn ×n の周波数領域をコピーし、残りの高周波成分の領域部分には”０”が補間される。最後に逆直交変換手段１４０１においてこのsn×snの周波数領域を逆直交変換することにより、図１４（ｄ）に示すようにs 倍された実空間の画像信号が得られ、図１３の推定拡大画像出力手段１４０２で推定された拡大画像が出力されるのである。
【００１０】
一方、（２）の画素間を補間する方法の従来例としては図１５のようなブロック図を挙げることができる。画像入力手段１０で得られた原画像に対して、各画素間に次の（数１）に従い補間画素を埋めるのである。（数１）において、Daは図１６のA 点の画素データを、DbはB 点の画素データを、DcはC 点の画素データを、DdはD 点の画素データを表す。E が求める補間点である。
【００１１】
【数１】
0004129097.tif 000002
この場合、補間画像は平均化されたものとなりやすくエッジ等が不鮮明になりやすいので、元の原画像より抽出されたエッジ情報を使った補間画素位置や補間データの調整処理が行われることがある。図１５においては、エッジ抽出手段１６００でエッジ情報を抽出された後、エッジ補間手段１６０１で所望の拡大率に合わせて拡大エッジを求める。そして、この拡大エッジ情報と画素間補間手段１１００による原画像の補間拡大画像の結果を掛け合わせることで、所望の拡大画像を生成し推定拡大画像出力手段１４０２で出力するようになっている。
【００１２】
【発明が解決しようとする課題】
しかし、従来の電子スチルカメラ等の画像処理装置では、１度圧縮され記憶された画像データをもう１度伸張してやる必要があり、しかも圧縮方法として量子化処理を伴う非可逆圧縮方法を用いるため、一般に元の原画像には戻ることがなく、ノイズや色ずれを多少生じることがあった。
【００１３】
また、レビュー用に表示される縮小画像（以下、サムネイル画像と呼ぶ）生成に必要な解像度変換時における間引き処理により色ずれやモアレを生じてしまうという欠点があり、そのためにメジアンフィルタや平均値フィルタによる平滑化処理が不可欠であった。そのため、サムネイル画像の鮮明さが失われたり、これらの平滑化処理に非常に時間がかかってしまうというような問題点が指摘されていた。
【００１４】
さらにスチルカメラのCCD の低解像度をプリントしたりディスプレイに表示したりする際に必要とされる従来の画像拡大においては、次のような問題点があった。
【００１５】
まず、（１）の周波数変換した空間での補間による方法の場合、一般に画像のサイズは任意であり、そしてＤＣＴにかかるサイズが大きくなればなるほど処理時間が長くなるという問題があった。このような処理速度等の問題を解決するために、一般には画像サイズ全体を１度に直交変換を掛けることはせず、４画素から１６画素程度のブロックサイズ単位で行う方法が取られたが、このような方法によって拡大処理をすると、出来上がった拡大画像のブロック間の不連続性（ブロック歪み）が境界部分に生じることがあった。
【００１６】
また、（２）の単純に画素間を補間する場合には、このような低解像度のデバイスで自然画像を取った場合、その被写体の持つカラーバランスによっては、得られた原画像からの図１５におけるエッジ抽出が精度良く行われないことが多く、その結果、画素補間された位置やその補間データの調整がうまくできないという問題があった。これを避けるために、できた拡大画像にエッジ強調フィルタによる処理を複数繰り返すことが行われたが、従来のエッジ強調フィルタ処理の場合、適正なフィルタを選ばないと、その繰り返し回数は非常に大きくなったり、全くエッジ強調がされない等の欠点があった。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、以下の手段を採用している。すなわち、本発明はディジタルカメラ等より得られる画像データを加工する画像処理装置において、まず図１に示すように、画像入力手段１０より得られる画像データに対して、それを原画像直交変換手段１１にて周波数空間のデータとする直交変換を施して原画像の周波数成分である原画像周波数成分を生成し、そして低成分抽出手段１００で、該原画像周波数成分からその低周波成分を抽出する。次いで、高成分符号化手段１３で、前記低成分抽出手段１００にて抽出された残りである前記原画像周波数成分の高周波成分を前記低周波成分と関連づけて、その情報である関連情報を符号化するとともに、符号合成手段１４で前記低周波成分を表したデータと前記関連情報を表したデータとを合成して、前記原画像の画像データよりデータサイズの小さい画像データである簡易画像データを生成するようになっている。
【００１８】
上記のように生成された簡易画像データは、そのデータから、低成分復号手段１６によって低周波成分を表したデータが抽出されるとともに、高成分復号手段１７によって、前記関連情報を表したデータが取り出されて、その関連情報を表したデータと前記低周波成分を表したデータとに基づいて該高周波成分を表したデータが復号され、そして、原画像出力手段１８によって、前記低周波成分を表したデータと高周波成分を表したデータとが結合されたものが周波数成分とされて、その周波数成分に逆直交変換が施されて、原画像が復元されるものである。
【００１９】
これによって、原画像の画像データよりデータサイズの小さい簡易画像データを扱うことができるとともに、原画像に近い画質の復元画像を得ることができることになる。
【００２０】
前記簡易画像データは直接、パソコン等の画像を復元できる手段に入力して処理をすることも可能であるが、一旦記憶媒体１５に記憶させることも可能である。また、前記簡易画像データにおいて、前記低周波成分のデータ量を図３に示すように低成分圧縮手段３００で更に圧縮することも可能であるが、この場合可逆性を持った圧縮方法を用いるのが好ましい。
【００２１】
前記低周波成分として抽出する基準の周波数には、縮小画像生成手段１０１で規定される、画像サイズが原画像より縮小されたサイズである縮小サイズ（例えばプレビューのサイズ）に対応した周波数を用いてもよく、該低周波成分を表したデータに逆直交変換を施すことで該縮小サイズの縮小画像を生成することができる。
【００２２】
また、本発明は、原画像を所望の画像サイズに拡大する際に、図５に示すように不足成分推定手段５００が、原画像の周波数成分に補うべき高周波成分を前記原画像の周波数成分、及び該原画像の周波数成分と補うべき該高周波成分との関連を示した情報である関連情報を基に推定し、拡大画像出力手段５０１によって、前記原画像の周波数成分と、前記不足成分推定手段にて推定された前記高周波成分とを結合したものを拡大した画像の周波数成分として、その周波数成分に逆直交変換を施すことで所望の画像サイズに拡大した画像を出力するように構成してもよい。
【００２３】
更に、本発明は図７に示すように、画像入力手段１０から入力された画像データを加工する画像処理装置において、原画像直交変換手段１１で、原画像として入力された画像データに直交変換を施して原画像周波数成分を生成するとともに、該原画像周波数成分を、拡大周波数推定手段８００により、該原画像を所望の拡大率で拡大した拡大画像の周波数成分である拡大周波数成分における低周波成分とみなして、その拡大周波数成分を、前記原画像周波数成分及び該拡大周波数成分における低周波成分と残りの高周波成分との関連を示した情報である関連情報を基に推定する。上述のようにして得られた原画像周波数成分と複数の拡大率についての拡大周波数成分とから、基本成分抽出手段８０７が予め画像サイズが指定された基本画像を生成するのに必要となる周波数成分を基本成分として抽出し、多重画像符号化手段８０２で、推定された前記拡大周波数成分を前記基本成分と関連づけて、その情報である関連情報を符号化する。そして、このようにして得られた基本成分を表したデータと前記関連情報を表したデータとを多重符号合成手段８０３で合成して、前記原画像の画像データよりデータサイズの小さい多重簡易画像データを生成するように構成してもよい。ここで、基本画像とは、一の原画像から拡大率の異なるすなわち画像サイズの異なる複数の画像に拡大するためにその拡大する元として共通した画像サイズの画像のことである。
【００２４】
これによって、画像データを符号化する側で複数のサイズに対応する多重簡易画像データを生成することが可能となる。
【００２５】
このようにして生成された多重簡易画像データからは、前記基本成分を表したデータと前記関連情報を表したデータとが抽出されて、この両者に基づいて拡大画像を生成できることになる。
【００２６】
前記多重簡易画像データにおいても、前記基本成分のデータ量を圧縮することによって、更に、データサイズを小さくすることができることになる。
【００２７】
また、本発明は、図１０に示すように、画像入力手段１０から入力された画像データを画素間補間手段１１００が所望の拡大率に応じて原画像の画素間を新たな画素で補間するものとしてもよい。これにより得られた補間拡大画像はエッジ部分が不鮮明になるが、該補間拡大画像に対して畳み込み手段１１０１がエッジ部分を強調する畳み込み計算を行うことで、処理時間のかかる周波数変換を経ずに鮮明なエッジを持つ拡大画像を生成する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、これ以降で、座標値の単位には全て画素単位が用いられることとする。
【００２９】
（第１の実施の形態）
まず、本発明の第１の実施の形態である画像処理装置について説明する。
【００３０】
図１において、CCD 撮像素子などの画像入力手段１０で得られたN 画素×N 画素のサイズを持つ原画像は、原画像直交変換手段１１で周波数空間における成分データ（周波数成分データ）に変換される。この際、直交変換が使用され、その変換方式としては、アダマール変換や高速フーリエ変換(FFT; Fast Fourier Transform) 、離散コサイン変換(DCT; Discrete Cosine Transform)、スラント変換、ハール変換等が挙げられるが、ここでは、ＤＣＴを使用することとする。しかし、本発明はこの変換方式に限ったものではなく、他の直交変換を使用した場合にも成立するものである。
【００３１】
ＤＣＴの内、特に画像を扱うため２次元ＤＣＴになるが、その変換式は（数２）のようになる。
【００３２】
【数２】
0004129097.tif 000003
ここで、F[u,v]が成分位置(u,v) におけるＤＣＴ成分であり、D[x,y]は画素位置(x,y) における画像データを表す。また、はK ＿x はx 方向の画素数を、K ＿y はy 方向の画素数を表すが、ここではN ×N の正方形画像を対象としているので、K ＿x = K ＿y = N となる。
【００３３】
低成分抽出手段１００では、図２（ｂ）が示すように原画像の周波数成分データの低周波成分を抽出する。
【００３４】
高成分符号化手段１３では、図２（ｂ）の原画像の周波数成分から低周波成分（ｃ）の分を除いたときに残る、高周波成分領域（ｅ）の符号化を行う。ここでは、図２（ｅ）に示すように例えば、前記高周波成分の領域をH1からH5の小ブロックに分割する。同様に図２（ｆ）に示すように、低周波成分（ｃ）の領域もL1からL4のブロックに分割する。そして、前記高周波成分（ｅ）のブロックH1からH5の各ブロック内の周波数成分と低周波成分（ｆ）の各ブロックL1からL4とを相互に関連づけるようにする。例えば、（数３）のようにある定数係数を乗算した１次式の形でも良いし、各ブロックL1からL4の周波数成分を変数に持つある多次元関数Ψ(L1,L2,L3,L4)で各ブロックH1からH5内の周波数成分を近似しても良い。
【００３５】
【数３】
0004129097.tif 000004
また、各ブロック内においても一律の係数を持たせる必要はなく、各ブロックH1からH5に対し係数マトリックスM ＿C1からM ＿C5を用意し、それとL1からL4のブロック内の周波数データより構成され低周波成分マトリックスM ＿L1からM ＿L4を使ってH1からH5のブロック内の周波数データより構成され高周波成分マトリックスM ＿H1からM ＿H5を表現することも考えられる。いずれの手段でも、図２（ｃ）の低周波成分データを使って、画像の鮮明さやエッジ情報を表す残りの図２（ｅ）の高周波成分を精度良くかつルール化することで、高周波成分のデータ容量を削減できる。
【００３６】
符号化記憶手段１４は、高成分符号化手段１３で得られたルール記述、もしくは該高成分符号化手段１３で用いた近似式の係数等のデータより得られる、前記低周波成分と高周波成分の関連情報の符号列と、元の原画像の低周波成分データとを合成し、簡易画像データとして記憶媒体１５に記憶する処理を行う。なお、次に読み出して復元する処理のために、記憶媒体内のヘッダー情報に、記憶した画像データ数、各画像データのサイズ、記憶された各データにおける低周波成分データの占める割合や高周波成分を表す符号の占める割合等の情報を記述することで、各データの抽出が効率的になる。
【００３７】
（第２の実施の形態）
次に、本発明の第２の実施の形態である画像処理装置について説明する。
【００３８】
図１において、画像入力手段１０及び原画像直交変換手段１１の行う処理は第１の実施の形態の画像処理装置と同様なので説明を省略する。低成分抽出手段１００は、サムネイル画像を表示する縮小画像表示手段１０２の画素数に応じた低周波成分を抽出し、縮小画像生成手段１０１で該低周波成分に逆直交変換を施し、サムネイル画像を前記縮小画像表示手段に表示する。
【００３９】
（第３の実施の形態）
次に、本発明の第３の実施の形態である画像処理装置について説明する。
【００４０】
図１において、ユーザは本発明の第１の実施の形態である画像処理装置により記憶媒体１５に記憶された簡易画像データの中から、高解像度のレーザプリンタやインクジェットプリンタへ出力したり、CRT上で編集を行う所望の画像を取り出すために、指示信号を与える。この指示信号をもとに、まず低成分復号手段１６が記憶媒体１５より、中心となる低周波成分を取り出す。そして、高成分復号手段１７が該低成分復号手段１６で得られた低周波成分と、記憶媒体１５内の該低周波成分と高周波成分との関連情報とより高周波成分を復号する。そして、原画像出力手段１８が、この低周波成分データと高周波成分データを結合し、対応する画像サイズの逆直交変換を行うことで、CRTへの表示やプリンタへの出力等、他の画像処理装置で扱われるデータとして出力する。
【００４１】
記憶媒体１５に符号化され、記憶されている画像データは、量子化処理を受けていないために、この方法により従来より鮮明な原画像を得ることができる。
【００４２】
（第４の実施の形態）
次に、本発明の第４の実施の形態である画像処理装置について説明する。
【００４３】
図３において、原画像直交変換１１、低成分抽出手段１００、高成分符号化手段１３、符号合成手段１４及び記憶媒体１５の行う処理は第１の実施の形態の画像処理装置と同様なので説明を省略する。低成分抽出手段１００で得られた原画像の低周波数成分データの容量がそれ自身大きなサイズを占めることや、記憶媒体の容量サイズによる制限等を考慮して該低周波成分データを低成分圧縮手段３００により圧縮する。
【００４４】
図４に示す低成分圧縮手段３００の処理方式は、ＪＰＥＧにおける空間的予測(Spatial)方式と呼ばれ、通常のＤＣＴと量子化、エントロピー符号化とを用いた圧縮処理（ベースライン方式とも呼ぶ）に代わって、差分符号化（DifferentialPCM；DPCM)とエントロピー符号化とを使用したものであり、圧縮、伸張によってひずみが生じない可逆方式である。
【００４５】
この方式では、隣接する画素値を用いて予測器によって予測値を計算し、符号化する画素値からその予測値を減ずるものであり、この予測器には（数４）に示すように、例えば７種類の関係式が用意されている。
【００４６】
【数４】
0004129097.tif 000005
図４（ａ）に示すように、符号化すべき画素値をDxとし、それに隣接する３つの画素値をD1, D2, D3とする。このとき、これら３つの画素値より計算される予測値dDx は、（数４）で定義され、いずれの式を使ったかはヘッダー情報に記載される。符号化処理では図４（ｃ）に示すように、１つの予測式が選択され、Exが計算され、このExをエントロピー符号化する。このような予測誤差の符号化により、前記低周波成分を可逆的に圧縮することが可能となる。
【００４７】
低成分圧縮手段３００により圧縮された前記低周波成分データを基に、高成分符号化手段１３は残りの高周波成分を第一の実施の形態と同様に（数３）に示すような方法などでルール化する。
【００４８】
符号合成手段１４は圧縮された前記低周波成分データと、高成分符号化手段１３で得られたルール記述、もしくは該高成分符号化手段１３で用いた近似式の係数等のデータから得られる、前記低周波成分と高周波成分との関連情報の符号列とを合成し、簡易画像データとして記憶媒体１５に記憶する処理を行う。
【００４９】
このような本実施例の形態にすることで、第１の装置のデータ容量で最も大きな部分を占めると思われる低周波成分を１／２から１／４のデータ量に圧縮することが可能となる。また、この圧縮に可逆な方法を用いることで原画像の持つ周波数成分を損なうことなく記憶することが可能となる。
【００５０】
なお、ここでは前記低周波成分データは画像の細部の鮮明さを表す高周波成分を復元するための基準画像であることから、できるだけ鮮明でエッジの明瞭な画像出力を実現するために原画像の低周波数成分に可逆な圧縮方法を適用したが、ここに通常のＪＰＥＧのベースライン方式を適用することも可能である。この場合は非可逆圧縮であるので画像の鮮明さは失われるが、データ量はおよそ１／１０から１／２０に圧縮されるので、記憶メディアにおいて保持される読み取り画像容量をできるだけ小さくして多くの画像データを記憶したりするような場合に取り得る方法である。
【００５１】
（第５の実施の形態）
次に本発明の第５の実施の形態である画像処理装置について説明する。
【００５２】
図５において、記憶媒体１５、低成分復号手段１６及び高成分復号手段１７までの処理は、本発明の第３の実施形態と同様なので説明を省略する。
【００５３】
不足成分推定手段５００は、読み取られた原画像を高解像度のCRT等に表示する場合において、所望の画素サイズ（画像サイズ）に拡大した際に不足する高周波成分データを推定する手段であり、拡大画像出力手段５０１は、不足成分推定手段５００で推定された前記不足高周波成分と、低成分復号手段１６及び高成分復号手段１７で記憶媒体１５より復号された原画像の周波数成分とを結合し、拡大サイズに対応する逆直交変換手段を行うことで、読み取られた原画像の拡大画像を生成する手段である。
【００５４】
不足成分推定手段５００及び拡大画像出力手段５０１では、図６に示すように処理が行われる。まず図６（ａ）に示すN画素×N画素のサイズを持つ原画像を直交変換して得られる図６（ｂ）に示すような周波数成分データを、所望の拡大サイズ(sN画素×sN画素）に対応する係数サイズを持つ拡大画像の周波数成分の低域に埋め込む（図６（ｃ））。そして、この際に生じる不足成分FH1からFH3を図６（ｂ）に示す原画像の周波数成分より推定するのである。その推定方法には、例えば、
（１）特願平１１−６８１５１のようにラジアル基底関数ネットワーク（RadialBaseFunctionNetwork;RBFN）の非線形近似能力を適用する方法
（２）同じく特願平１１−６８１５１のように原画像のエッジ画像の周波数成分より、その拡大エッジ画像の持つ周波数成分を線形近似もしくはラジアル基底関数ネットワークを使って精度良く推定することで、原画像で削除されていた拡大画像の高周波成分を推定する方法
（３）特開平８−２９４００１のように、原画像の直交変換成分を低周波領域に埋め込み、高周波領域は予め準備された予測ルールに基づいて得られる周波数情報を埋める方法
（４）特開平６−５４１７２のように画像信号を直交変換を用いて正変換とその逆変換を繰り返す過程（Gerchberg-Papoulis反復による方法）で、高周波成分の復元を行う方法
等が挙げられる。
【００５５】
これ以外にも多くの周波数領域を使った画像拡大手法があるが、この不足成分推定手段５００では、拡大時に細部が鮮明でエッジが明瞭な画像の生成に必要な高周波成分を精度良く推定する手法が求められるのであり、その要望を満たす手法であれば同様に成立するものである。
【００５６】
そして、拡大画像出力手段５０１では図６（ｄ）に示すようにsN×sNの係数サイズに対応する逆直交変換手段を行うことで、不足成分推定手段５００で推定された拡大画像の周波数成分を実空間データに戻し、CRT 等に表示したり、プリンタ等の出力装置に渡したり、他の画像処理装置で扱われるデータとして出力する。
【００５７】
以上のような構成により、原画像の周波数成分を使って拡大画像出力時に必要とされる高周波成分データを推定し、補うことで、従来の画素補間による拡大時に発生するエッジのボケや細部の不鮮明さを解消することができる。
【００５８】
（第６の実施の形態）
次に本発明の第６の実施の形態である画像処理装置について、図７及び図８を参照しながら説明する。
【００５９】
図７において、画像入力手段９及び原画像直交変換手段１１の行う処理は、本発明の第１の実施形態と同様なので説明を省略する。まず原画像直交変換手段１１で得られた原画像の周波数成分を使い、拡大周波数推定手段８００では複数の画像サイズに拡大した際の周波数成分データが推定される。この推定方式は、本発明の第５の実施の形態である画像処理装置の構成要素の１つである図５の不足成分推定手段５００と同様の手法を取ることができる。
【００６０】
次に基本成分の抽出処理が基本成分抽出手段８０７で行われる。この処理を模式的に表したものが図８である。図８（ａ）は原画像の周波数成分、図８（ｂ）は原画像サイズを縦に２倍、横に２倍に拡大した画像の周波数成分、図８（ｃ）は原画像サイズを縦に３倍、横に３倍に拡大した画像の周波数成分を示している。なお、さらに多くの画像サイズを用意しても良いし、その際に用意される画像サイズも整数倍である必要はない。図８（ａ），（ｂ），（ｃ）において、低域の周波数成分は画像の全体的特徴を表すものであり、各倍率に共通な定性的な傾向にある。そこでこの似た傾向のある低域の周波数成分L00を図８（ｄ）に示すように基本成分と考える。このように、基本成分とは、周波数成分であって、一の原画像から拡大などされた画像サイズの異なる複数の画像について、それらの周波数成分における似た（定性的な共通性を有する）傾向にある低周波領域のことであり、言い換えれば一の原画像から画像サイズの異なる複数の画像に拡大などするためにその拡大する元として共通した画像サイズの画像（基本画像）の周波数成分のことである。なお、処理の簡単化のために図８（ａ）に示す原画像の周波数データを基本成分と見なしても構わない。
【００６１】
図７における多重符号化手段８０２は、本発明の第１及び第４の実施の形態の画像処理装置における高成分符号化手段１３と同様に、該基本成分と図８（ｂ）に示す各ブロックH11からH13とを関連付け、ルール化する。図８（ｃ）に示す各ブロックH21からH25についても、同様に該基本成分と直接関連付けることも可能であるが、ここでは図８（ｅ）に示すように、図８（ｂ）の各ブロックH11からH13と図８（ｃ）の各ブロックH21からH25を関連付けることで、該基本成分と図８（ｃ）の各ブロックH21からH25を関連付け、ルール化する。これは周波数領域の近いブロック同士の方が定性的な相違が少ないため、関連付けの精度やその手間を減少させることができるからである。
【００６２】
多重符号合成手段８０３は本発明の第１及び第４の実施の形態における符号合成手段１４と同様に、抽出された前記基本成分と、多重符号化手段８０２で得られた該基本成分と各拡大周波数成分との関連情報を合成し、多重簡易画像データとして記憶媒体１５への記憶処理を行う。この際、多重に用意した拡大画像の個数や各サイズのデータの始まりのフラグ信号等を明確にヘッダー等で記述する必要がある。
【００６３】
以上のように、予め出力装置の解像度に合わせて複数の画像サイズに応じた拡大周波数成分を用意しておくことで、記憶媒体から読み出されたデータを基に所望の拡大サイズの画像を出力する際に不足する、高周波数成分の推定にかかる時間を短縮することができ、ユーザインターフェースの改善になる。
【００６４】
（第７の実施の形態）
次に本発明の第７の実施の形態である画像処理装置について説明する。
【００６５】
図７において、画像入力手段１０、原画像直交変換手段１１、拡大周波数推定手段８００及び基本成分抽出手段８０７の行う処理は、本発明の第６の実施の形態の画像処理装置と同様なので説明を省略する。
【００６６】
基本画像生成手段８０８は、基本成分抽出手段８０７にて抽出された基本成分に逆直交変換を施し、サムネイル画像を基本画像表示手段８０９に表示するが、ここで、基本成分抽出手段８０７にて抽出された周波数の係数サイズがレビュー用のディスプレイの画像サイズより大きい場合には、その基本成分の低域からその解像度に合う周波数成分をさらに抽出させてその周波数成分で表示用の基本画像を生成する。逆に基本成分抽出手段で抽出された周波数の係数サイズがレビュー用のディスプレイより画像サイズより小さい場合には、基本成分の係数で不足する部分に図１６に示すものと同様な”０”成分埋め込みを行ってサムネイル画像を生成することとする。しかし、このような場合には、拡大周波数推定手段８００のようにその画像サイズに応じて、不足分を推定してレビュー用画像サイズに拡大する処理を、該基本画像生成手段８０８に加えることも可能である。
【００６７】
（第８の実施の形態）
次に本発明の第８の実施の形態である画像処理装置について説明する。
【００６８】
図７において、ユーザは本発明の第６の実施の形態の画像処理装置により記憶媒体１５に記憶された画像データの中から、出力・編集対象の画像を選択するとともに、対象とする画像サイズを指定することができる。この際、記憶媒体１５に記憶された画像サイズに応じた選択情報が提示されるか、もしくはユーザにより、原画像サイズを基準とした拡大率が入力されるか、また出力される機器の持つ解像度に合わせて自動的に選択する等の手法が考えられる。
【００６９】
先ず、記憶媒体１５に記憶された画像サイズに応じた選択情報が提示される場合の処理を説明する。ユーザは記憶媒体１５から、所望の画像と所望の画像サイズを選択指示し、基本成分復号手段８０４はこの指示に対応した多重周波数データから該画像の基本成分を取り出す。次に対象周波数復号手段８０５が選択された該画像サイズに相当する高周波成分データの表現符号列を取り出し、該符号列と該基本成分から、対象とする拡大画像サイズの該基本成分以外の高周波成分を復号する。対象画像出力手段８０６では該高周波成分と該基本成分を結合し、逆直交変換を施して、所望の拡大画像を出力する。
【００７０】
次に、原画像サイズを基準とした拡大率が入力されるか、また出力される機器の持つ解像度に合わせて自動的に選択する場合の処理を説明する。記憶メディア１５に多重的に保持されていない画像サイズの場合には最も近いサイズの画像データが選択され、基本成分復号手段８０４、対象周波数復号手段８０５及び対象画像出力手段８０６への処理へ移る。この際、対象画像出力手段８０６における逆直交変換時には、前記の最も近い画像サイズに対応した逆直交変換処理が取られるものとする。
【００７１】
しかし、この段階で、選択される画像サイズを所望の画像サイズより小さめに選び、不足した分を第５の実施の形態における不足成分推定手段５００を加えることも可能である。
【００７２】
以上のように、複数の拡大サイズの周波数成分の共通と見なせる低周波成分を基本成分として抽出し、この基本成分を中心として各拡大サイズの残りの高周波成分を符号化することで、複数の拡大サイズに関する画像の周波数データを用意することができる。そのため、ユーザの指示により目的とした画像サイズの拡大画像の再生時には、指示のたびに所望の拡大サイズに不足する高周波成分を推定することなく高速に拡大画像を再現することができる。
【００７３】
（第９の実施の形態）
次に本発明の第９の実施の形態である画像処理装置について説明する。
【００７４】
図９において、画像入力手段１０、原画像直交変換手段１１、拡大周波数推定手段８００及び基本成分抽出手段８０７までの処理は、本発明の第６の実施の形態である画像処理装置のものと同様であるので、説明を省略する。
【００７５】
基本成分圧縮手段１０００では、基本成分抽出手段８０７により抽出された基本成分を圧縮処理するが、該圧縮処理の工程は本発明の第４の実施の形態の画像処理装置における低成分圧縮手段３００と同様であるので、説明を省略する。
【００７６】
また、基本成分圧縮手段１０００に続く多重符号化手段８０２、多重符号合成手段８０３及び記憶媒体１５における処理は、本発明の第６の実施の形態である画像処理装置のものと同様であるので、説明を省略する。
【００７７】
以上のような構成により、複数の画像サイズを保持する際の問題点である画像データ容量の低減化を図ることができる。
【００７８】
（第１０の実施の形態）
最後に本発明の第１０の実施の形態である画像処理装置について説明する。図１０はその構成を表すものである。
【００７９】
まず画像入力手段１０で読み取られた原画像に図１６に示すような補間方式で画素間を補間することで、画素間補間手段１１００が拡大画像を生成する。次に該拡大画像に対して畳み込み手段１１０１が畳み込み処理を繰り返すことにより画素強調を行う。
【００８０】
図１１は前記畳み込み処理の工程を表す。図１１（ｂ）に示すようにエッジが不明瞭な画像の場合、エッジについての画像データが抽出できず、図１５に示すような処理工程で画像の拡大処理を行うことは困難である。しかし、本発明のようにすることで平均化された画素値を簡単に強調することができる。なお、畳み込み手段１１０１の処理は、拡大画像にエッジ強調フィルタによる処理を複数回繰り返すことと同じような効果を持つものである。従来のエッジ強調フィルタ処理の場合、適正なフィルタを選ばないと、その繰り返し回数は非常に大きくなったり、全くエッジ強調がされない等の問題があるが、畳み込み手段１１０１では画素値自身による畳み込みを行うため、その心配もない。図１１（ｃ）のＰ点におけるK回目の畳み込み処理をする際の画素値をDp[K]とすると、そのK+1回目の畳み込み処理によるＰ点の画素値Dp[K+1]は（数５）のように定義する。これは、この画素近傍における畳み込み値の平均値を求めるものである。ここで、Ωは畳み込み対象画素の範囲を、U＿GasoはそのΩ内の総画素数を、ｑはΩ内の任意画素を表す。
【００８１】
【数５】
0004129097.tif 000006
この処理を拡大補間画像に含まれる画素の集合をΛとした場合、このΛ内の画素全部に処理が行われる。
【００８２】
次に収束判定手段１１０２では、この畳み込みによる処理の収束判定が行われる。それは（数６）のように(K-1) 回目で得られた画素値Dp[K-1] とK 回目の画素値Dp[K] の２乗誤差のΛ内の平均値をもとにそれが、予め用意された収束判定値Thred より小さい場合に、収束したとして畳み込み処理を終え、推定拡大画像出力手段１３１２で推定拡大画像として出力されるのである。
【００８３】
【数６】
0004129097.tif 000007
（数４）でT ＿GasoはΛ内の総画素数を表す。
【００８４】
以上のように本発明の第１０における画像処理装置は、補間画像データの畳み込み演算処理により拡大画像の強調をするものであり、処理時間のかかる周波数変換を行う必要がなく、手軽に拡大画像を実現できる。また、補間画像のボケ解消に元の画像のエッジ情報が使用する際に問題となるエッジが不明瞭な原画像に対しても、簡単にエッジ情報を持つ拡大画像を得ることができる。
【００８５】
なお最後に、以上において、原画像がスキャナーや電子スチルカメラ等により取り込まれた画像である場合について説明したが、必ずしもその必要はなく、磁気ディスク等に保持されている特定の画像等であってもよい。
【００８６】
また本発明の第１及び第４の実施の形態の画像処理装置における高成分符号化手段１３により得られる低周波成分と高周波成分の関連情報、並びに、第６及び第９の実施の形態である画像処理装置における多重符号化手段８０２により得られる基本成分と各拡大画像の高周波成分の関連情報についても、Spatial 方式等の可逆の圧縮方式で圧縮することが可能であることを付け加えておく。
【００８７】
【発明の効果】
以上のように、本発明における第１から第５までの画像処理装置によれば、原画像の周波数成分から低周波成分を抽出、圧縮して、残りの高周波成分は該低周波成分との関連情報に基づいて表現するため、記憶媒体に保持される画像データ容量が低減され、且つ、前記圧縮方法が可逆的であるために画像復元時に鮮明さが失われない。また抽出された前記低周波成分によりサムネイル画像を生成するため、従来のような画素間引きによるノイズを低減することが可能となる。更に記憶媒体に保持された画像データを拡大して出力する際にも、従来のような画素補間によるエッジのボケや細部の不鮮明さを解消することができる。
【００８８】
次に、本発明における第６から第９までの画像処理装置によれば、原画像に対して予め複数の拡大率の画像を用意し、これらの中から共通と見なせる低周波成分を基本成分として抽出、圧縮した後、残りの各拡大画像の高周波成分は該基本成分との関連情報に基づいて表現するため、記憶媒体に保持される画像データ容量が低減され、且つ、前記圧縮方法が可逆的であるために画像復元時に鮮明さが失われない。また所望のサイズの拡大画像を出力する際には、予め用意されている複数の拡大率の画像の中から、同一または最も近いサイズの画像を選択するために、画像復元の高速化が図られる。
【００８９】
最後に、本発明の第１０における画像処理装置によれば、入力された画像に画素間補間を行い、得られた補間画像データを複数回畳み込み演算する処理を適用したものであり、処理時間のかかる周波数変換を行う必要がなく、手軽に拡大画像を実現できる。また、補間画像のボケ解消として元の画像のエッジ情報等が使用されるが、エッジ情報の抽出が困難な原画像に対しても、鮮明なエッジを持つ拡大画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１、第２及び第３の実施の形態の構成を示すブロック図。
【図２】本発明の第１の実施の形態の処理工程を表す模式図。
【図３】本発明の第４の実施の形態である画像処理装置を含む概略構成図。
【図４】本発明の第４の実施の形態に使用する空間予測圧縮の手順を示す模式図。
【図５】本発明の第５の実施の形態である画像処理装置を含む概略構成図。
【図６】本発明の第５の実施の形態に使用する不足成分推定手段の手順の模式図
【図７】本発明の第６、第７及び第８の実施の形態の構成を表すブロック図。
【図８】本発明の第６の実施の形態に使用する基本成分抽出手段と多重符号化手段の処理工程を表す模式図。
【図９】本発明の第９の実施の形態である画像処理装置を含む概略構成図。
【図１０】本発明の第１０の実施の形態の構成を表すブロック図。
【図１１】本発明の第１０の実施の形態である画像処理装置の処理工程を表す模式図。
【図１２】従来の電子スチルカメラの構成を表すブロック図。
【図１３】従来の周波数領域に変換して拡大する画像拡大装置の構成を表すブロック図。
【図１４】従来の周波数領域に変換して拡大する例を示す説明図。
【図１５】従来の画素補間により拡大する画像拡大装置の構成を表すブロック図。
【図１６】従来の画素間補間を表す模式図。
【符号の説明】
１０        画像入力手段
１１        原画像直交変換手段
１３        高成分符号化手段
１４        符号合成手段
１５        記憶媒体
１６        低成分復号手段
１７        高成分復号手段
１８        原画像出力手段
１００      低成分抽出手段
１０１      縮小画像生成手段
１０２      縮小画像表示手段
３００      低成分圧縮手段
５００      不足成分推定手段
５０１      拡大画像出力手段
８００      拡大周波数推定手段
８０２      多重符号化手段
８０３      多重符号合成手段
８０４      基本成分復号手段
８０５      対象周波数復号手段
８０６      対象画像出力手段
８０７      基本成分抽出手段
８０８      基本画像生成手段
８０９      基本画像表示手段
１０００    基本成分圧縮手段
１１００    画素間補間手段
１１０１    畳み込み手段
１１０２    収束判定手段
１３００    圧縮手段
１３０１    量子化テーブル
１３０２    エントロピー符号化テーブル
１３０３    伸張手段
１３０４    画素間引き手段
１３０５    縮小画像表示手段
１３０６    ＤＣＴ変換手段
１３０７    量子化手段
１３０８    エントロピー符号化手段
１３０９    ＩＤＣＴ変換手段
１３１０    逆量子化手段
１３１１    エントロピー復号化手段
１３１２    画像出力手段
１４００    ”０”成分埋め込み手段
１４０１    逆直交変換手段
１４０２    推定拡大画像出力手段
【図１】
0004129097.tif 000008
【図２】
0004129097.tif 000009
【図３】
0004129097.tif 000010
【図４】
0004129097.tif 000011
【図５】
0004129097.tif 000012
【図６】
0004129097.tif 000013
【図７】
0004129097.tif 000014
【図８】
0004129097.tif 000015
【図９】
0004129097.tif 000016
【図１０】
0004129097.tif 000017
【図１１】
0004129097.tif 000018
【図１２】
0004129097.tif 000019
【図１３】
0004129097.tif 000020
【図１４】
0004129097.tif 000021
【図１５】
0004129097.tif 000022
【図１６】
0004129097.tif 000023