(57)【要約】【課題】画質の劣化を招くことなく、ＤＣＴ変換された周波数空間画像を実空間画像に変換する逆ＤＣＴ変換と、解像度変換を組合せて同時に行なうことができる符号化画像の解像度変換方法を提供する。【解決手段】正整数Ｄ，Ｕ（Ｄ≠Ｕ）に対して、ＤＣＴ変換されたＤ個のブロックでなる周波数空間画像を実空間画像に変換する逆ＤＣＴ変換行列を生成する第一の変換行列生成処理と、共３次内挿法によりＵ／Ｄ倍に解像度変換する解像度変換行列を生成する第二の変換行列生成処理と、前記逆ＤＣＴ変換行列と解像度変換行列に基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する解像度変換処理とを含み、Ｄ＜Ｕのとき、位相回復法を用いて高周波成分を回復させる符号化画像の解像度変換方法。【選択図】図４
2009182744.tif 000002
【特許請求の範囲】
【請求項１】
正整数Ｄ，Ｕ（Ｄ≠Ｕ）に対して、ＤＣＴ変換されたＤ個のブロックでなる周波数空間画像を実空間画像に変換する逆ＤＣＴ変換行列を生成する第一の変換行列生成処理と、
共３次内挿法によりＵ／Ｄ倍に解像度変換する解像度変換行列を生成する第二の変換行列生成処理と、
前記逆ＤＣＴ変換行列と解像度変換行列に基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する解像度変換処理とを含む符号化画像の解像度変換方法。
【請求項２】
Ｄ＜Ｕのとき、請求項１記載の符号化画像の解像度変換方法により解像度変換された実空間画像の外側の所定領域を所定値に設定する範囲制限処理と、
解像度変換された実空間画像に基づいて低周波数成分画像を既知画素データとして抽出する既知画素データ抽出処理と、
前記実空間画像を前記範囲制限処理で設定された所定値を含めてＤＦＴ変換するＤＦＴ変換処理と、
前記ＤＦＴ変換処理で変換された周波数空間画像の低周波成分画像を前記既知画素データ抽出処理により抽出された低周波数成分画像に置換する低周波成分置換処理と、
前記低周波成分置換処理で置換された周波数空間画像を逆ＤＦＴ変換する逆ＤＦＴ変換処理と、
前記逆ＤＦＴ変換処理で変換された実空間画像のうち、前記所定領域の画素データを前記所定値に置換する補正処理を含み、
前記補正処理された実空間画像に対して前記ＤＦＴ変換処理から前記補正処理を所定回数繰り返して、解像度変換された実空間画像を得る符号化画像の解像度変換方法。
【請求項３】
前記既知画素データ抽出処理は、解像度変換された実空間画像の外側の所定領域を所定値に設定した実空間画像をＤＦＴ変換して得られる周波数空間画像から低周波数成分画像を既知画素データとして抽出するとともに、解像度変換された実空間画像から原画像と同一の画素データを抽出するように構成され、
前記補正処理で、当該同一の画素データが前記逆ＤＦＴ変換処理で変換された実空間画像から置換される請求項２記載の符号化画像の解像度変換方法。
【請求項４】
前記ＤＦＴ変換処理から前記補正処理の繰り返し回数が、元の周波数空間画像の圧縮率に基づいて決定される請求項２または３記載の符号化画像の解像度変換方法。
【請求項５】
正整数Ｄ，Ｕ（Ｄ≠Ｕ）に対して、ＤＣＴ変換されたＤ個のブロックでなる周波数空間画像を実空間画像に変換する逆ＤＣＴ変換行列を生成する第一の変換行列生成処理部と、
共３次内挿法によりＵ／Ｄ倍に解像度変換する解像度変換行列を生成する第二の変換行列生成処理部と、
前記逆ＤＣＴ変換行列と解像度変換行列に基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する解像度変換処理部とを含む符号化画像の解像度変換装置。
【請求項６】
Ｄ＜Ｕのとき、請求項１記載の符号化画像の解像度変換処理部により解像度変換された実空間画像の外側の所定領域を所定値に設定する範囲制限処理部と、
解像度変換された実空間画像に基づいて低周波数成分画像を既知画素データとして抽出する既知画素データ抽出処理部と、
前記実空間画像を前記範囲制限処理部で設定された所定値を含めてＤＦＴ変換するＤＦＴ変換処理部と、
前記ＤＦＴ変換処理部で変換された周波数空間画像の低周波成分画像を前記既知画素データ抽出処理部により抽出された低周波数成分画像に置換する低周波成分置換処理部と、
前記低周波成分置換処理部で置換された周波数空間画像を逆ＤＦＴ変換する逆ＤＦＴ変換処理部と、
前記逆ＤＦＴ変換処理部で変換された実空間画像のうち、前記所定領域の画素データを前記所定値に置換する補正処理部を含み、
前記補正処理された実空間画像に対して前記ＤＦＴ変換処理部から前記補正処理部で所定回数繰り返して、解像度変換された実空間画像を得る符号化画像の解像度変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化画像の解像度変換方法及びその装置に関する。
【背景技術】
【０００２】
現在デジタル画像の情報圧縮に関する研究が盛んに行われている。代表的な方法として離散コサイン変換(Discrete Cosine Transform:DCT)を用いて周波数成分に変換し、高周波成分を削減する方法が知られており、静止画像と動画像圧縮の国際標準規格であるJPEG(Joint Photographic Experts Group)，MPEG(Moving Picture Experts Group)等に用いられている。
【０００３】
これらのデジタル画像に対して、表示や印刷、ネットワークを介した送受信を行う際、画像の解像度変換が必然的とも言える頻度で行われている。この様な状況から、符号化（圧縮）画像の解像度変換法が各種提案されている。
【０００４】
例えば、非特許文献１，２では、ＤＣＴブロック単位（８×８）でＤＣＴ係数の高周波成分の一部を削除・補間する方法が提案され、ＪＰＥＧ展開後に解像度を変換する場合に比べ、高速な変換を実現しているが、ブロックサイズが変わっている為、解像度変換後は通常のＪＰＥＧ画像とはならない。
【０００５】
この問題を解消した方法が非特許文献３に提案されており、これによれば、解像度変換後にブロックサイズが変わることは無いが、理論上の理想的な変換を行うと、縮小時にエッジ付近でリンギングが生じるという問題がある。
【０００６】
非特許文献４には、これを抑えるための画質制御パラメータを導入した方法が提案されているが、画像毎に適切なパラメータを算出しなければならないという欠点がある。
【０００７】
これらの手法は、何れも符号化画像（周波数空間の画像）から符号化画像への変換方法であって、解像度変換された画像は圧縮された状態であるため、例えば表示や印刷の場合には、実空間画像に伸張処理することが更に必要となる。
【０００８】
さらに、特許文献１には、直交変換された領域の入力デジタル信号に対して直交変換された領域で解像度変換等の変換処理を行うことにより、計算量を低減し、計算誤差を小さくし、高速かつ高品質の変換を実現することを目的として、以下の方法が開示されている。
【０００９】
即ち、逆直交変換のための逆直交変換行列Ｔｓ−１及び直交変換のための直交変換行列Ｔｄを生成する工程と、生成された上記逆直交変換行列Ｔｓ−１及び直交変換行列Ｔｄを用いて変換行列Ｄを生成する工程と、直交変換された領域の入力デジタル信号に対して上記変換行列Ｄを用いて直交変換された領域で信号処理を行い出力デジタル信号を得る工程とを有するデジタル信号変換方法である。
【００１０】
【非特許文献１】花村剛，“スケーラブルビデオ符号化”，テレビ技報，vol.17-57，pp.25-30，Oct 1993．
【非特許文献２】岩橋政宏，上林紀嘉，貴家仁志，“スケーラブル符号化におけるドリフト誤差低減のための動き補償”，信学論(A)，vol.J79-A，no.1，pp.125-134，Jan 1996．
【非特許文献３】宮本義弘，“ＤＣＴ係数上での符号化画像のサイズ変換”，PCSJ97，P-1.2，pp.11-12，1997．
【非特許文献４】小島一浩，貴家仁志，“８点逆ＤＣＴを用いる画像解像度変換法の一般化”，信学論，vol.J82-A，no.5，pp.599-608，May，1999．
【特許文献１】特開平１１−７３４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ＪＰＥＧ圧縮された画像から目的の解像度の非圧縮画像を得る場合に、先に伸張してから解像度変換を行なうと、特に縮小方向に解像度変換する場合に、伸張処理に要する時間、伸張された画像を保持するメモリ容量、解像度変換処理に要する時間の全てに無駄が多く、効率が悪くなる。
【００１２】
最近のデジタルカメラは高画素化が進み、Ｌ版等の利用頻度が高いプリントサイズに必要とされる一般的な画素数（１５００×１０００程度）を超えて撮影された画像も少なくない。
【００１３】
このようなデジタルカメラ等で撮影された高解像度の写真画像をプリントする際に、計算機で、ＪＰＥＧによる圧縮画像を伸張した後に解像度変換処理を行ない、プリントデータを生成する処理が必要となるが、メモリ量、計算時間共に無駄が生じてプリント処理能力が低下するため、高速で高機能な計算機が必要となるという問題があった。
【００１４】
一方、圧縮状態で解像度変換した後に伸張すると、解像度変換処理及び伸張処理に夫々時間を要すること、及び、画質に対する問題が生じる。具体的には、縮小時にエッジ付近で発生するリンギングを抑制するために煩雑な画質制御パラメータの設定処理が不可欠になる。
【００１５】
上述した特許文献１に記載された方法も、本質的に縮小時にはリンギングが生じ、拡大時にはボケが生じてメリハリの無い画像になるという問題が内在している。
【００１６】
本発明は、上述した従来の問題点に鑑み、画質の劣化を招くことなく、ＤＣＴ変換された周波数空間画像を実空間画像に変換する逆ＤＣＴ変換と、解像度変換を組合せて同時に行なうことができる符号化画像の解像度変換方法及びその装置を提供する点にある。
【課題を解決するための手段】
【００１７】
上述の目的を達成するため、本発明による符号化画像の解像度変換方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、正整数Ｄ，Ｕ（Ｄ≠Ｕ）に対して、ＤＣＴ変換されたＤ個のブロックでなる周波数空間画像を実空間画像に変換する逆ＤＣＴ変換行列を生成する第一の変換行列生成処理と、共３次内挿法によりＵ／Ｄ倍に解像度変換する解像度変換行列を生成する第二の変換行列生成処理と、前記逆ＤＣＴ変換行列と解像度変換行列に基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する解像度変換処理とを含む点にある。
【００１８】
上述の構成によれば、第一の変換行列生成処理により生成された逆ＤＣＴ変換行列と、第二の変換行列生成処理により生成された解像度変換行列が、解像度変換処理により、結合法則に基づいて事前に演算され、一体化された変換行列に基づいて周波数空間画像から実空間画像が生成されるようになる。このとき、解像度変換が、空間周波数領域ではなく実空間領域で補間法により行なわれるため、縮小時であっても、エッジ付近でリンギングが発生するようなことが無くなる。
【００１９】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、Ｄ＜Ｕのとき、第一特徴構成による符号化画像の解像度変換方法により解像度変換された実空間画像の外側の所定領域を所定値に設定する範囲制限処理と、解像度変換された実空間画像に基づいて低周波数成分画像を既知画素データとして抽出する既知画素データ抽出処理と、前記実空間画像を前記範囲制限処理で設定された所定値を含めてＤＦＴ変換するＤＦＴ変換処理と、前記ＤＦＴ変換処理で変換された周波数空間画像の低周波成分画像を前記既知画素データ抽出処理により抽出された低周波数成分画像に置換する低周波成分置換処理と、前記低周波成分置換処理で置換された周波数空間画像を逆ＤＦＴ変換する逆ＤＦＴ変換処理と、前記逆ＤＦＴ変換処理で変換された実空間画像のうち、前記所定領域の画素データを前記所定値に置換する補正処理を含み、前記補正処理された実空間画像に対して前記ＤＦＴ変換処理から前記補正処理を所定回数繰り返して、解像度変換された実空間画像を得る点にある。
【００２０】
第一の特徴構成によれば、Ｄ＜Ｕとなる拡大処理時に、単純な共３次内挿法での拡大となるため、画質に関してボケが生じ、細かな描写ができないという問題が生じる。そこで、第二の特徴構成では、より高画質の画像を得るべく、位相回復法が適用される。位相回復法とは、低周波数成分、画像成分共に既知成分が存在するという前提条件で、反復処理を行なうことにより失われた高周波成分を復元する手法である。
【００２１】
具体的に、位相回復法では、前提条件として、先ず、画像上で範囲制限されていること、次に、低周波数成分が既知であることが要求される。後者について、ＤＣＴ変換を用いることにより１画素あたりのエネルギーを保存することで解決できるが、ＤＣＴ変換を用いるこの手法ではブロックの周辺で誤差が大きくなり、非常に強いブロックノイズが発生するため、例えば、８×８のブロック毎の変換を行う符号化画像に適用するのは困難である。
【００２２】
そこで、上述の構成では、ＤＦＴ変換が用いられる。ＤＦＴ変換では１画素あたりのエネルギーが変化するため、解像度変換前からでは計算できないが、画像の低周波数成分は解像度変換後も保存されると考えることができるため、拡大後の低周波数成分をそのまま既知成分として用いることができる。
【００２３】
その結果、良好に高周波成分を復元することができるようになり、それほどボケが目立たず、細かな描写が可能な画像を得ることができるようになる。
【００２４】
同第三の特徴構成は、同請求項３に記載した通り、上述の第二特徴構成に加えて、前記既知画素データ抽出処理は、解像度変換された実空間画像の外側の所定領域を所定値に設定した実空間画像をＤＦＴ変換して得られる周波数空間画像から低周波数成分画像を既知画素データとして抽出するとともに、解像度変換された実空間画像から原画像と同一の画素データを抽出するように構成され、前記補正処理で、当該同一の画素データが前記逆ＤＦＴ変換処理で変換された実空間画像から置換される点にある。
【００２５】
同第四の特徴構成は、同請求項４に記載した通り、上述の第二または第三特徴構成に加えて、前記ＤＦＴ変換処理から前記補正処理の繰り返し回数が、元の周波数空間画像の圧縮率に基づいて決定される点にある。
【００２６】
本発明による符号化画像の解像度変換装置の第一の特徴構成は、同請求項５に記載した通り、正整数Ｄ，Ｕ（Ｄ≠Ｕ）に対して、ＤＣＴ変換されたＤ個のブロックでなる周波数空間画像を実空間画像に変換する逆ＤＣＴ変換行列を生成する第一の変換行列生成処理部と、共３次内挿法によりＵ／Ｄ倍に解像度変換する解像度変換行列を生成する第二の変換行列生成処理部と、前記逆ＤＣＴ変換行列と解像度変換行列に基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する解像度変換処理部とを含む点にある。
【００２７】
同第二の特徴構成は、同請求項６に記載した通り、上述の第一特徴構成に加えて、Ｄ＜Ｕのとき、第一特徴構成による符号化画像の解像度変換処理部により解像度変換された実空間画像の外側の所定領域を所定値に設定する範囲制限処理部と、解像度変換された実空間画像に基づいて低周波数成分画像を既知画素データとして抽出する既知画素データ抽出処理部と、前記実空間画像を前記範囲制限処理部で設定された所定値を含めてＤＦＴ変換するＤＦＴ変換処理部と、前記ＤＦＴ変換処理部で変換された周波数空間画像の低周波成分画像を前記既知画素データ抽出処理部により抽出された低周波数成分画像に置換する低周波成分置換処理部と、前記低周波成分置換処理部で置換された周波数空間画像を逆ＤＦＴ変換する逆ＤＦＴ変換処理部と、前記逆ＤＦＴ変換処理部で変換された実空間画像のうち、前記所定領域の画素データを前記所定値に置換する補正処理部を含み、前記補正処理された実空間画像に対して前記ＤＦＴ変換処理部から前記補正処理部で所定回数繰り返して、解像度変換された実空間画像を得る点にある。
【発明の効果】
【００２８】
以上説明した通り、本発明によれば、画質の劣化を招くことなく、ＤＣＴ変換された周波数空間画像を実空間画像に変換する逆ＤＣＴ変換と、解像度変換を組合せて同時に行なうことができる符号化画像の解像度変換方法及びその装置を提供することができるようになった。
【発明を実施するための最良の形態】
【００２９】
以下に本発明による符号化画像の解像度変換装置が組み込まれた写真画像処理装置を説明する。
【００３０】
図１に示すように、図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理する写真プリンタ２と、操作ステーション３を備えている。
【００３１】
操作ステーション３は、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３ａや、デジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３ｂや、コントローラ３ｃとしての汎用コンピュータ等を備えている。
【００３２】
操作ステーション３は、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行ない、元画像から編集処理されたプリントデータが写真プリンタ２に出力されて所望の写真プリントが生成される。
【００３３】
コントローラ３ｃには、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御を実行するアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３ｄ、キーボード３ｅ、マウス３ｆ等が接続されている。
【００３４】
コントローラ３ｃに備えたハードウェア及びソフトウェアが協働して写真プリントのための各種の画像処理が実行されて、最終のプリント画像が生成されて写真プリンタ２に出力される。
【００３５】
詳述すると、図２に示すように、コントローラ３ｃは、フィルムスキャナ３ａやメディアドライバ３ｂを介して読み取られた写真画像データを受け取り、所定の前処理を行なってメモリ５１に転送する画像入力部５０と、グラフィックユーザーインターフェース部５２と、画像処理のためのワーキングエリアとして使用されるメモリ５１と、プリントオーダ情報を生成するオーダー処理部５３と、メモリ５１に格納された各写真画像データに対して解像度変換処理や濃度補正処理やコントラスト補正処理等を行なう画像処理部５７と、表示制御部５６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部５４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部５５等を備えている。
【００３６】
グラフィックユーザーインターフェース部５２は、モニタ３ｄの画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３ｅやマウス３ｆからの入力操作に基づいて各種の制御コマンドを生成する。
【００３７】
表示制御部５６は、グラフィックユーザーインターフェース部５２からの表示コマンドに基づいてメモリ５１に展開された画像データや各種の入出力用グラフィックデータ等を、ビデオＲＡＭを介してモニタ３ｄに表示処理する。
【００３８】
メモリ５１には、画像入力部５０から転送される写真画像データ及び画像処理部５７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納される。
【００３９】
上述した画像処理部５７に、本発明による解像度変換装置４が組み込まれている。画像データ記憶メディアＭに格納されているＪＰＥＧ圧縮画像ファイルが、メディアドライバ３ｂで読み出され、画像入力部５０を介してメモリ５１に書き込まれると、解像度変換装置４により伸張処理及び解像度変換処理が行なわれて、モニタ３ｄに表示される。
【００４０】
モニタ３ｄに表示された写真画像に対して、オペレータが、グラフィックユーザーインターフェース部５２を介して操作入力すると、対応するオーダー処理や画像処理が施されてプリント画像が生成される。
【００４１】
図３に示すように、解像度変換装置４には、第一の変換行列生成処理部４０と、第二の変換行列生成処理部４１と、解像度変換処理部４２が設けられ、解像度変換処理部４２には、範囲制限処理部４３と、既知画素データ抽出処理部４４と、ＤＦＴ変換処理部４５と、低周波成分置換処理部４６と、逆ＤＦＴ変換処理部４７と、補正処理部４８の各機能ブロックが設けられている。
【００４２】
第一の変換行列生成処理部４０は、正整数Ｄ，Ｕ（Ｄ≠Ｕ）に対して、ＤＣＴ変換されたＤ個のブロックでなる周波数空間画像を実空間画像に変換する逆ＤＣＴ変換行列を生成し、第二の変換行列生成処理部４１は、共３次内挿法によりＵ／Ｄ倍に解像度変換する解像度変換行列を生成し、解像度変換処理部４２は、生成された逆ＤＣＴ変換行列と解像度変換行列に基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する。
【００４３】
また、範囲制限処理部４３は、Ｄ＜Ｕのとき、解像度変換処理部４２により解像度変換された実空間画像の外側の所定領域を所定値に設定し、既知画素データ抽出処理部４４は、解像度変換された実空間画像に基づいて低周波数成分画像を既知画素データとして抽出する。
【００４４】
ＤＦＴ変換処理部４５は、実空間画像を範囲制限処理部４３で設定された所定値を含めてＤＦＴ変換し、低周波成分置換処理部４６は、ＤＦＴ変換処理部４５で変換された周波数空間画像の低周波成分画像を既知画素データ抽出処理部４４により抽出された低周波数成分画像に置換し、逆ＤＦＴ変換処理部４７は、低周波成分置換処理部４６で置換された後の周波数空間画像を逆ＤＦＴ変換し、補正処理部４８は、逆ＤＦＴ変換処理部４７で変換された実空間画像のうち、上述した所定領域の画素データを前記所定値に置換する。
【００４５】
解像度変換処理部４１では、補正処理部４８で補正処理された実空間画像に対して、ＤＦＴ変換処理部４５から補正処理部４８の各ブロックを介して同様の処理が所定回数繰り返され、その結果、解像度変換された実空間画像が生成される。
【００４６】
コントローラ３ｃは、上述した解像度変換装置４により生成された実空間画像に対して、カラー補正等の必要な処理を実行して最終のプリント画像を生成し、写真プリンタ２に出力する。
【００４７】
以下、上述した解像度変換装置４の各機能ブロックで実行される画像処理について詳述する。
【００４８】
ＪＰＥＧ等符号化画像では、通常８×８の画素ブロック毎に〔数１〕に示すＤＣＴIIの変換が行なわれている。
【数１】
2009182744.tif 000003
【００４９】
ここで、Ｓｙｘは変換前のｙ行ｘ列目の画素値であり、Ｓｖｕは変換後のｖ行ｕ列目の値を表す。これにより実空間の画像を構成する画素値が周波数空間の画像に変換される。ＪＰＥＧではこの変換により得られた値を量子化し、符号化を行っている。
【００５０】
変換前の画素値のブロックをＸ（８，８）、変換後のブロックをＸII（８，８）、変換行列をＣII（８，８）とすると〔数１〕は以下のように表すことができる。
【数２】
2009182744.tif 000004
【００５１】
ＤＣＴ行列ＣII（８，８）は正規直交であるため、逆ＤＣＴは〔数３〕のように表される。尚、ＣIIＴ（８，８）は、ＣII（８，８）の転置行列を表す。
【数３】
2009182744.tif 000005
【００５２】
有理数倍の変換を行うため、Ｕ/Ｄ倍の場合はＤ個のブロックからＵ個のブロックへの変換を考え、逆ＤＣＴも複数ブロックに対応するように拡張する。このとき、Ｄ個のブロックを持つ１次元の入力ベクトルに対する逆ＤＣＴは〔数４〕で表される。
【数４】
2009182744.tif 000006
【００５３】
第一の変換行列生成処理部４０では、〔数４〕で表される逆ＤＣＴ変換行列が生成される。
【００５４】
次に、逆ＤＣＴが行列で表現が可能であることから、解像度変換処理も行列で表現できれば、結合法則により順次画像への処理を行う必要はなく、事前の計算が可能となる。また〔数３〕より、逆ＤＣＴはｘ方向、ｙ方向の変換に分けられる。
【００５５】
よって、１次元での解像度変換を考え、逆ＤＣＴ行列ＢＴ（８Ｄ，８Ｄ）との乗算を事前に行うことで、変換行列を生成することが可能となる。
【００５６】
解像度変換でよく使われる共３次内挿法の行列表示形を考える。通常共３次内挿法は２次元上での補間であるが、原理的には１次元での変換をｘ，ｙ方向に対して行なっているので、１次元のベクトルに対する変換の行列表示でも問題はない。
【００５７】
共３次内挿法によってＵ／Ｄ倍の解像度変換を行う場合、これを一次元で表現すると〔数５〕、〔数６〕となる。
【数５】
2009182744.tif 000007
【数６】
2009182744.tif 000008
【００５８】
〔数５〕を変形し、行列表示すると〔数７〕となる。
【数７】
2009182744.tif 000009
【００５９】
〔数７〕は、例えばｍ＝０，ｎ＝−１やｍ＝８Ｕ−１，ｎ＝８Ｄ＋１(Ｕ＞Ｄ)の場合でも成立する。そのため、入力行列である周波数行列を前後に２つ拡張する必要がある。拡張行列を〔数８〕に示す。
【数８】
2009182744.tif 000010
【００６０】
第二の変換行列生成処理部４１は、〔数８〕に示す解像度変換行列を生成する。
これにより、解像度変換＋逆ＤＣＴを行う行列Ｇｂ（８Ｕ，８Ｄ）が〔数９〕で求められ、周波数行列ＸII（８Ｄ，８Ｄ）は、これを用いて〔数１０〕の画素列Ｙ（８Ｕ，８Ｕ）へと変換できる。
【数９】
2009182744.tif 000011
【数１０】
2009182744.tif 000012
【００６１】
解像度変換処理部４２は、〔数９〕で示される行列Ｇｂ（８Ｕ，８Ｄ）を生成し、〔数１０〕基づいて、周波数空間画像から解像度変換された実空間画像に一括して変換する。Ｄ＞Ｕとなる縮小処理では、以上の処理によりリンギングが発生することの無い滑らかな画像が得られる。
【００６２】
以下、Ｄ＜Ｕとなる拡大処理の際に、位相回復法を適用した高画質な高解像度画像を得る方法を説明する。
【００６３】
拡大処理を行なう場合に、上述した手順では単純な共３次内挿法での拡大となるため、画質に関してボケの発生等の不満が残る。そこで本発明では、位相回復法を適用することで、より高画質の画像を得る解像度変換法を採用している。
【００６４】
位相回復法とは、周波数成分、画像成分共に既知成分が存在するという前提条件で、反復処理を行なうことにより失われた高周波成分を復元する手法である。代表的な手法として、GerchbergらによるError-Reductionアルゴリズム（ＥＲアルゴリズム）が知られており、そのほかにＥＲアルゴリズムを改良したFienupによるHybrid Input-Outputアルゴリズム（ＨＩＯアルゴリズム）等が存在する。
【００６５】
ＥＲアルゴリズムはGerchbergらによって提案された最初の位相回復法である。オブジェクト領域である範囲の外側において値が既知であるといった範囲制限がされており、低周波数成分が既知であるという前提条件の下、フーリエ変換と逆フーリエ変換を繰り返し行い、その課程で前提条件を用いて誤差を減少させていくことで、未知の高周波成分を復元していく手法である。
【００６６】
第一処理
先ず、次式に示すように入力ｇｔ(ｘ)をフーリエ変換し、Ｇｔ(ｕ)を得る。
Ｇｔ(ｕ)＝Ｆ[ｇｔ(ｘ)]＝｜Ｇｔ(ｕ)｜ｅｘｐ[ｉθｔ(ｕ)]
ここで、θｔ(ｕ)(１≦ｕ≦Ｘ)はｔ回目の位相を表す。
第二処理
次に、上式で得られたフーリエ振幅｜Ｇｔ(ｕ)｜の一部を、既知フーリエ振幅｜Ｆ(ｕ)｜で置換する。
Ｇ´ｔ(ｕ)＝｜Ｆ(ｕ)｜ｅｘｐ[ｉθｔ(ｕ)]
第三処理
さらに、上式で得られたＧ´ｔ(ｕ)に対し、逆フーリエ変換を行ない、ｇ´ｔ(ｘ)を得る。
ｇ´ｔ(ｘ)＝Ｆ-１[Ｇ´ｔ(ｕ)]
第四処理
上式により得られたｇ´ｔ(ｘ)に対し、既知成分で修正し、ｔ＋１回目の入力であるｇｔ＋１(ｘ)を算出する。
ｇｔ＋１(ｘ)＝ｇ´ｔ(ｘ)(ｘ∈γ)、ｆ(ｘ)(ｘnot∈γ)
ここでｆ(x)はオブジェクト上の既知成分を表し、γは制限範囲内の集合である。
上述の処理を繰り返し行なうことで、初期入力ｇ０(ｘ)から高周波成分の復元が可能となる。
【００６７】
また、ＨＩＯアルゴリズムはFienupにより提案された手法であり、ＥＲアルゴリズムを改良し、より収束性を高めた手法である。前提条件はＥＲアルゴリズムと同様にオブジェクト領域での範囲制限、低周波数成分が既知であることである。
【００６８】
上述のＥＲアルゴリズムの第一処理から第三処理と、以下の第五処理を繰り返し行なうことにより、初期入力ｇ０(ｘ)から高周波成分の復元が可能となる。
第五処理
第三処理で得られたｇ´ｔ(ｘ)に対し範囲制限を満たす集合をγとすると、ｔ回目の処理結果ｇｔ＋１(ｘ)は以下の式で与えられる。
ｇｔ＋１(ｘ)＝ｇ´ｔ(ｘ)(ｘ∈γ)，ｇｔ(ｘ)−βｇ´ｔ(ｘ)(ｘnot∈γ)
ここで、βは任意の定数である。
【００６９】
本発明では、画像上で範囲制限されており、低周波数成分が既知であることを前提条件とする。従来の位相回復法を用いた拡大手法[新堀英二，高木幹雄：「ＤＣＴを用いたGerchberg-Papoulisの反復法を適用した高画質画像拡大」，信学論，Vol.J76-D-II，No.9，pp.1932-1940 (1993)]では、後者の前提条件に対して、１画素あたりのエネルギーを保存することで解決している。
【００７０】
しかし、ＤＣＴを用いるこの手法ではブロックの周辺で誤差が大きくなり、非常に強いブロックノイズが発生するため、８×８のブロック毎の変換を行う符号化画像に適用するのは困難である。そのため、本発明ではフーリエ変換を用いる。
【００７１】
フーリエ変換では１画素あたりのエネルギーが変化するため、上述した従来の拡大手法のように解像度変換前からでは計算できない。しかし、画像の低周波数成分は解像度変換後も保存されると考えられるため、拡大後の低周波数成分はそのまま既知成分として採用することができる。
【００７２】
そのときに用いる解像度変換法として、本発明では共３次内挿法を用いる。また本発明では前ブロックのデータを用いるため、共３次内挿法の基準点として最も右端の点を用いる。これは〔数７〕のｄを〔数１１〕のように変形することで得られる。
【数１１】
2009182744.tif 000013
【００７３】
画像上の前提条件を満たすため、入力データ列を拡大後、その後部に値０の画素を付加する。これにより、拡大データ部分と付加画素部分との間で範囲制限されていると考える。また、拡大手法に共３次内挿法を用いるため、拡大結果にはデータを補間して導かれる点と、拡大前の点をそのまま用いる点が存在する。
【００７４】
拡大前の点をそのまま用いる場合、この点は正しいと考えられるため、既知情報として用いることが可能であると考えられる。ＥＲアルゴリズムにおけるオブジェクト上での処理は、既知成分で置き換えることでその範囲の誤差を減少させている。そのことから、補間しない点を既知情報として用いることによりＥＲアルゴリズムの原理を活用することができる。
【００７５】
以下、図４及び図５に基づいて、解像度変換装置４でＵ/Ｄ倍を行う場合の具体的な処理手順とその処理を行う行列を説明する。
【００７６】
処理（１）：
図４及び図５（ａ）に示すように、先ず、範囲制限処理部４３は、〔数４〕を用いて、８点のＤＣＴにより変換されたＤ個のブロックで構成される周波数空間の画素を実空間の画素の列に変換する（Ｓ１）。
【００７７】
処理（２）：
次に、既知の低周波成分を得るために、変換された実空間の画素の列を共３次内挿法により拡大する（Ｓ２）。そして、範囲制限条件を実現するため、所定値として０を入力データの拡大結果と同数だけ付加し、これらを入力データの後部に付加する形で処理を行なう（Ｓ３）。この処理を行う行列Ｍ２は〔数７〕を用いて、〔数１２〕で表される。
【数１２】
2009182744.tif 000014
【００７８】
処理（３）：
ＤＦＴ変換処理部４５は、処理（２）で拡大した部分に対しＤＦＴ変換する（Ｓ４）。既知画像データ抽出処理部４４は、画像上の前提条件で用いる既知情報として、共３次内挿法で得られた画素から補間により新たに生成された画素以外の元の画素を教師データとして抽出して、データ列の下部に付加して保存する（Ｓ５）。
【００７９】
この画素は、基準点を右端とした共３次内挿法により８Ｄ個の点を８Ｕ個へと拡大した場合、常に８個得られる。尚、既知低周波成分の数は直流成分と正負の値の組からなるため奇数となり、この数をｎとする。この処理は〔数１３〕で示す行列Ｍ３で実行される。
【数１３】
2009182744.tif 000015
【数１４】
2009182744.tif 000016
【数１５】
2009182744.tif 000017
【００８０】
処理（４）：
さらに、既知画像データ抽出処理部４４は、フーリエ変換されたデータに対し、周波数領域上で既知成分として用いる低周波数成分を教師データとして抽出して保存する（図５の保存部）（Ｓ６）。
【００８１】
また、範囲制限処理部４３は、処理（１）で得られた実空間の画素の列入力データを、処理（２）で用いたものとは内挿点の異なる共３次内挿法で拡大し、拡大した入力データと同数の０をその後部に付加することで範囲制限を実現する（図５のデータ部）。この時、用いる共３次内挿法Ｇｂ´は、〔数７〕における挿入点ｄを〔数１６〕に変更したものである。
【数１６】
2009182744.tif 000018
【００８２】
処理（４）は〔数１７〕、〔数１８〕で表現できる。
【数１７】
2009182744.tif 000019
【数１８】
2009182744.tif 000020
【００８３】
次に、解像度変換処理部４２は、上述の手順（１）から（４）で得られたデータ部の実空間画像及び保存部の教師データに基づいて、ＥＲアルゴリズムを改良したＨＩＯアルゴリズムを活用して、以下の手順で拡大画像を生成する。
【００８４】
処理（５）：
先ず、ＤＦＴ変換処理部４５は、処理（４）で得られたデータ部から虚数部を０としてフーリエ変換を行ない、周波数空間画像に変換し、その後部に保存部を続ける。さらに、後述の反復処理前の範囲制限外の値を用いて更新を行なうため、データ部の範囲制限外の値を保存部に付加する（Ｓ７）。
【００８５】
これらの処理を行う行列Ｍ５は〔数１９〕で表される。尚、フーリエ変換の式Ｆは〔数１４〕と同一のものを用いる。
【数１９】
2009182744.tif 000021
【００８６】
処理（６）：
次に、低周波成分置換処理部４６は、周波数空間の画像のうち周波数成分を、処理（４）で計算され、保存部に保存された既知周波数データで置き換える（Ｓ８）。これらの処理は〔数２０〕で表される行列Ｍ６により実現される。
【数２０】
2009182744.tif 000022
【００８７】
処理（７）：
逆ＤＦＴ変換処理部４７は、データ部に対し、逆フーリエ変換を行なう（Ｓ９）。このとき虚数部は０であると考えられることから、行列演算の短縮のため計算を行わない。この処理を行なう行列は〔数２１〕のＭ７で表され、このうち逆フーリエ変換を施す行列はＪである。
【数２１】
2009182744.tif 000023
【００８８】
処理（８）：
補正処理部４８は、処理（７）で逆ＤＣＴ変換された実空間画像に対して、処理（３）で保存された画素を用いて置換し、処理（５）で保存した範囲制限外の値を用いて置換する（Ｓ１０）。〔数２２〕で表される行列Ｍ８でこの処理が実行される。
【数２２】
2009182744.tif 000024
【００８９】
処理（９）：
以上の処理（４）から（８）を所定回数繰り返し、最終の拡大画像を得る（Ｓ１１，Ｓ１２）。ステップＳ１２では、最終結果を得る計算を行う。これまでの処理結果の行列のうち、入力データの拡大に対応する部分は、行列の先頭から８Ｕ個のデータである。これを取り出すことで最終の拡大画像が得られる。
【数２３】
2009182744.tif 000025
【００９０】
以上、解像度変換処理部４２を構成する各機能ブロックで実行される処理（１）〜（９）を行うことで解像度変換が実現される。このうち処理（５）〜（８）がＨＩＯアルゴリズムの反復計算部に相当する。
【００９１】
解像度変換処理部４２では、〔数２４〕に示すように、これらの行列〔数１９〕〜〔数２２〕の積を初めに計算しておくことで、ＨＩＯアルゴリズムの反復処理が行列の積１回で実現されるようになる。
【数２４】
2009182744.tif 000026
【００９２】
このことから、反復をｍ回行ったときの解像度変換行列Ｇｈは〔数２５〕となり、これを入力ブロックＸに対し解像度変換処理を行う場合、〔数２６〕と表現できる。
【数２５】
2009182744.tif 000027
【数２６】
2009182744.tif 000028
【００９３】
つまり、解像度変換処理部４２では、各機能ブロックで夫々対応する行列演算式が生成され、それらから解像度変換処理のための演算式が合成されて、一括演算処理が行なわれる。一回の反復に要する処理時間はＦＦＴを用いてＨＩＯアルゴリズムを適用した場合に比べ、さほど変わらない。しかし、符号化画像に適用することを考えた場合、事前に反復処理の全てを計算できるため各ブロックの処理については大幅に削減できるようになる。
【００９４】
ＨＩＯアルゴリズムは、ＪＰＥＧ画像の圧縮率が高いときには、ブロックノイズが強調される傾向があるため、ＤＦＴ変換処理から補正処理の繰り返し回数は、元の周波数空間画像の圧縮率に基づいて決定されることが好ましい。
【００９５】
例えば、画像入力部５０から入力されたＪＰＥＧ画像ファイルに含まれる圧縮率情報または非圧縮画像のサイズ情報と圧縮画像のサイズ情報から圧縮率を判定する圧縮率判定部と、圧縮率判定部により原画像の圧縮率が所定の値以上であると判定される場合に、ＨＩＯアルゴリズムの反復回数を制限し、或はＨＩＯアルゴリズムを採用することなく解像度変換処理を行なうように各処理を調整する反復回数制御部を備えるものであってもよい。
【００９６】
次に、解像度変換された実空間画像を周波数空間画像に符号化する場合を説明する。本実施形態では、上述の方法を拡張して、符号化状態のまま変換する行列を示す。上述の方法による演算結果が画素値であるため、ブロックごとにＤＣＴを行う行列を〔数９〕、〔数２５〕に追加すればよい。その式を〔数２７〕〜〔数３０〕に示す。
【００９７】
共３次内挿法に対応する式を以下に示す。
【数２７】
2009182744.tif 000029
【数２８】
2009182744.tif 000030
【００９８】
位相回復法による拡大に対応する式を以下に示す。
【数２９】
2009182744.tif 000031
【数３０】
2009182744.tif 000032
【実施例】
【００９９】
シミュレーションを行ない、本発明（手法１）の有効性を、小島らによる手法[小島一浩，貴家仁志，“８点逆ＤＣＴを用いる画像解像度変換法の一般化”，信学論，vol.J82-A，no.5，pp.599-608，May，1999．]（手法２）、一般的に行われているＪＰＥＧを展開後に共３次内挿法により解像度変換する手法（手法３）と比較した。
【０１００】
尚、逆ＤＣＴには多数の高速化手法が提案されており、今回はChenの高速算法[W.H.Chen，C.H.Smith，S.C.Fralick：「A fast computation algorithm for the discrete cosine transform」，IEEE Trans．COM．，Vol.25，No.9 pp.1004-1009 (1977).]を用いた。また、シミュレーション環境は以下の通りである。
WindowsXP（Ｗｉｎｄｏｗｓはマイクロソフト社登録商標）、Athlon64 X2 3800+ 2.01[GHz]、DDR SDRAM 1.93[GB]、gcc3.4.4でコンパイル
【０１０１】
＜処理時間＞
写真を一般的な大きさであるＬ版（８９ｍｍ×１２７ｍｍ）で印刷する際、どのような解像度の画像に対しても２００万画素(約３５０ｄｐｉ時)へと解像度変換を行う。そのため、縮小に関しては３００万〜１３００万画素のＪＰＥＧ画像を、拡大の場合は３０万〜１３０万画素のＪＰＥＧ画像を入力画像として用い解像度変換処理を行なった。（既知低周波数の数を２１、β＝１．０、反復回数を６４回とした。）
【０１０２】
各手法の拡大、縮小時の処理時間を図６（ａ）、拡大時の処理時間を図６（ｂ）に、このときの手法１、２のフィルタ作成時間を図６（ｃ）及び図６（ｄ）に示す。
【０１０３】
本発明は従来用いられてきた展開後に解像度変換を行なう手法に比べ、明らかに高速であると言える。また、本発明と手法２を比較すると、縮小時、拡大時ともにほぼ等しかった。これは、両手法は共に解像度変換を行列化し、ブロックごとに適用していく手法であり、解像度変換フィルタの作成部以外は同様の処理を行うためである。
【０１０４】
フィルタ作成に関しては、拡大時の本発明方法が最も時間がかかっていた。これは、位相回復法による影響が考えられるが、その差異は小さく、また実際に適用する際には、同じ解像度の画像を複数枚同時に変換するため、解像度変換フィルタの作成は最初の１度のみであり、提案手法のフィルタ作成による処理時間の影響は極めて少ない。
【０１０５】
＜画質：縮小時＞
小島らの手法の問題点として縮小時のリンギングがあげられる。これは、この手法が周波数上での変換であり、帯域フィルタの通過特性がシャープ過ぎるためであると考えられる。本発明の場合、画素上で補間法により変換を行っているため、リンギングの抑制が可能であると考えられる。手法１、２を用いて図７（ａ）に示す入力画像を縮小した結果を、図７（ｂ），（ｃ），（ｄ），（ｅ）に示す。
これらの図から提案手法では、画質的に問題がなく、小島らの手法の問題点であるリンギングが解消されるようになった。
【０１０６】
＜画質：拡大時＞
提案手法では共３次内挿法で拡大したのち、ＨＩＯアルゴリズムを適用し、前ブロックの考慮によりブロックノイズの低減を行っている。先ず、サンプル画像として２００枚の画像を用意し、手法１〜３でこれらを拡大した。拡大倍率は４／３倍、２倍で行われ、反復回数は６４回、β＝１．０、既知低周波成分はそれぞれ４１、１１とした。その結果を図８（ａ），（ｂ）に示す。
【０１０７】
評価方法として、ＰＳＮＲと色のバランスを評価する方法を用いた。後者の評価値Ｅは〔数３１〕で表される。
【数３１】
2009182744.tif 000033
【０１０８】
ここでＮは総画素数を表し、Ｋ［・］は各画素において、原画像の画素値が引数の値を取るとき、評価画像の画素値の平均値を表す。これにより、全体時に色のバランスが評価でき、このＥが小さいほど高画質であると言える。
【０１０９】
この結果から各倍率、各評価手法で提案手法が明らかに最もよい結果が得られているのが分かる。特に２倍時のＰＳＮＲによる評価結果では１００％の確率で提案手法が最も良い結果となった。また、２００枚のサンプル画像には多様な解像度の画像があり、入力画像を得るための縮小方法も複数使用している。そのため、解像度や符号化での圧縮率に関係なく提案手法が最も優れていると考えられ、これにより本手法の有効性が示される。図９及び図１０に拡大結果を示す。
【０１１０】
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【０１１１】
【図１】写真画像処理装置の外観構成の説明図
【図２】コントローラの機能ブロック構成図
【図３】解像度変換装置の機能ブロック構成図
【図４】解像度変換処理を示すフローチャート
【図５】（ａ）は改良されたＨＩＯアルゴリズムの前処理の説明図、（ｂ）は改良されたＨＩＯアルゴリズムの説明図
【図６】シミュレーション結果を示す特性図
【図７】縮小時のシミュレーション結果を示す写真画像の説明図
【図８】拡大時のシミュレーション結果の説明図
【図９】拡大時のシミュレーション結果を示す写真画像の説明図
【図１０】拡大時のシミュレーション結果を示す写真画像の説明図
【符号の説明】
【０１１２】
１：写真画像処理装置
２：写真プリンタ
３：操作ステーション
３ｃ：コントローラ
４：解像度変換装置
４０：第一の変換行列生成処理部
４１：第二の変換行列生成処理部
４２：解像度変換処理部
４３：波に制限処理部
４４：既知画像データ抽出処理部
４５：ＤＦＴ変換処理部
４６：低周波成分置換処理部
４７：逆ＤＣＴ変換処理部
４８：補正処理部
５７：画像処理部
【図１】
2009182744.tif 000034
【図２】
2009182744.tif 000035
【図３】
2009182744.tif 000036
【図４】
2009182744.tif 000037
【図５】
2009182744.tif 000038
【図６】
2009182744.tif 000039
【図８】
2009182744.tif 000040
【図７】
2009182744.tif 000041
【図９】
2009182744.tif 000042
【図１０】
2009182744.tif 000043