(57)【特許請求の範囲】
【請求項１】
原画像を表す原画像データを多重解像度空間に変換することにより、該原画像データを帯域が重ならない複数の周波数帯域毎の画像を表す画像データに分解し、
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較し、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出し、
該比に基づいて前記原画像の鮮鋭度の高低を推定することを特徴とする画像の鮮鋭度推定方法。
【請求項２】
前記多重解像度空間への変換を、該原画像の縦方向および横方向にそれぞれフィルタリング処理を施して縦方向高周波横方向低周波画像、縦方向低周波横方向高周波画像および縦横方向低周波画像を得、
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得、
前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行い、
前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出することを特徴とする請求項１記載の画像の鮮鋭度推定方法。
【請求項３】
前記多重解像度空間への変換、前記所定の閾値との比較および前記比の算出を、前記原画像において選択された領域についてのみ行うことを特徴とする請求項１または２記載の画像の鮮鋭度推定方法。
【請求項４】
前記多重解像度空間への変換を、ウェーブレット変換により行うことを特徴とする請求項１から３のいずれか１項記載の画像の鮮鋭度推定方法。
【請求項５】
前記多重解像度空間への変換を、前記複数の周波数帯域毎の画像の画素を間引くことなく行うことを特徴とする請求項１から４のいずれか１項記載の画像の鮮鋭度推定方法。
【請求項６】
原画像を表す原画像データを多重解像度空間に変換することにより、該原画像データを帯域が重ならない複数の周波数帯域毎の画像を表す画像データに分解する多重解像度変換手段と、
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較する比較手段と、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出する比算出手段と、
該比に基づいて前記原画像の鮮鋭度の高低を推定する推定手段とを備えたことを特徴とする画像の鮮鋭度推定装置。
【請求項７】
前記多重解像度変換手段は、前記多重解像度空間への変換を、該原画像の縦方向および横方向にそれぞれフィルタリング処理を施して縦方向高周波横方向低周波画像、縦方向低周波横方向高周波画像および縦横方向低周波画像を得、
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得る手段であり、
前記比較手段は、前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行う手段であり、
前記比算出手段は、前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出する手段であることを特徴とする請求項６記載の画像の鮮鋭度推定装置。
【請求項８】
前記多重解像度変換手段、前記比較手段および前記比算出手段は、前記多重解像度空間への変換、前記所定の閾値との比較および前記比の算出を、前記原画像において選択された領域についてのみ行う手段であることを特徴とする請求項６または７記載の画像の鮮鋭度推定装置。
【請求項９】
前記多重解像度変換手段は、前記多重解像度空間への変換を、ウェーブレット変換により行う手段であることを特徴とする請求項６から８のいずれか１項記載の画像の鮮鋭度推定装置。
【請求項１０】
前記多重解像度変換手段は、前記多重解像度空間への変換を、前記複数の周波数帯域毎の画像の画素を間引くことなく行う手段であることを特徴とする請求項６から９のいずれか１項記載の画像の鮮鋭度推定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の鮮鋭度を推定する鮮鋭度推定方法および装置に関するものである。
【０００２】
【従来の技術】
画像を表す画像データを得、この画像データに適切な画像処理を施した後、画像を再生することが種々の分野で行われている。このような画像を再生する出力装置は、システムとして接続された入力装置の特性と出力装置の特性とに応じて、画像データを補正するなどの画像処理を施して画像を再生している。ここで、出力装置に入力装置が１台のみしか接続されていない場合は、出力装置において行われる画像処理はその入力装置の特性に対応したもののみを行えばよく、出力装置に複数の入力装置が接続されている場合は、各入力装置の特性に応じた画像処理を画像データに対して施せばよい。
【０００３】
しかしながら、複数の入力装置と出力装置とを接続した場合、入力装置は種々変更される場合があり、また、出力装置に入力される画像データはいずれの入力装置において得られたものであるかが特定できないため、入力装置の特性と画像処理の内容とを対応させて最適な画像処理を行うことは困難である。このため、例えば特許第2660170号においては、入力装置から入力された画像データについては全て汎用的な階調となるように画像データを変換し、出力装置においては自らの出力特性のみを補正して適正な再生画像を得るようにした画像処理装置が提案されている。
【０００４】
また、入力装置において得られる画像は、その装置に応じて鮮鋭度も種々異なるものとなっている。このため、得られた画像データに対して入力装置の鮮鋭度特性に応じて鮮鋭度強調処理を施して、より高画質の画像を再生することが行われている。また、画像データを補間することにより画像を拡大、縮小して再生する場合もあり、この場合も入力装置の鮮鋭度に応じて、鮮鋭度を重視した補間演算（例えばCubic スプライン補間演算）、滑らかさを重視した補間演算（例えばＢスプライン補間演算）を施している。
【０００５】
一方、上述した画像データを処理するための方法として、画像を複数の周波数帯域毎の多重解像度画像に変換し、各周波数帯域の画像に対して所定の処理を行って、再度これを逆多重解像度変換することにより、最終的な処理済み画像を得るための多重解像度変換なる方法が提案されている。この場合の所定の処理としては、具体的には、ノイズ除去のための高周波の分離、さらにはノイズの多い周波数帯域のデータを削減することによる圧縮処理などが挙げられる。この多重解像度変換の方法としてはウェーブレット変換、ラプラシアンピラミッドあるいはフーリエ変換等の方法が知られている。とくに、ウェーブレット変換は、信号の周波数解析方法の１つであるが、同じく周波数解析方法として広く用いられているフーリエ変換に比べ、信号の局所的な変化情報を検出しやすいという点で優れていることから、近年あらゆる信号処理の分野で脚光を浴びている（OLIVIER RIOUL and MARTIN VETTERLI;Wavelets and Signal Processing,IEEE SP MAGAZINE,P.14-38,OCTOBER 1991、Stephane Mallat;Zero-Crossings of a   Wavelet Transform,IEEE TRANSACTIONS ON INFORMATION THEORY,VOL.37,NO.4,P.1019-1033,JULY 1991 、特開平6-350989号、同6-350990号、同7-23228号、同7-23229号、同7-79350号、特願平8-14510号など）。
【０００６】
【発明が解決しようとする課題】
ところで、近年のコンピュータネットワークの進歩により、画像の出力装置には種々の入力装置が接続され、さらにネットワーク上を様々な処理が施された画像データが転送されている。このため、出力装置に入力される画像データはいずれの入力装置において得られたものであるか、さらにその画像データの鮮鋭度や階調について画像処理が施されているのか否かが全く分からない状態でデータがやり取りされている。このような場合、上記特許第2660170号に記載された画像処理装置を用いれば、入力装置の種類に拘わらず汎用的な階調となるように画像データに対して画像処理を施すことができる。
【０００７】
しかしながら、画像データにより表される画像の鮮鋭度については、画像データがいずれの入力装置により得られたものであるかが不明であると、その入力装置の特性に最適な鮮鋭度強調処理、補間演算などの画像処理を行うことができない。この場合、適当に定めた１つの手法により全ての画像データに対して同一の鮮鋭度に関する画像処理を施すことが考えられる。しかしながら、画像によってはその画像処理が最適ではなく、例えば鮮鋭度強調の程度が不足したぼけた画像となったり、元々鮮鋭度が高いにも拘わらずさらに鮮鋭度が強調されてオーバーシュート、アンダーシュートなどのアーチファクトが発生した画像となるおそれがある。とくに、複数の画像を合成して再生する場合にこの手法を用いると、合成に用いる画像データがそれぞれ異なる鮮鋭度を有するものであっても同一の画像処理が施されてしまうため、合成された画像は、部分毎に鮮鋭度のバランスが異なって見た目に違和感のあるものとなってしまう。また、一旦画像を再生し、オペレータがその画像を観察しながら人為的に画像データを修正することも考えられるが、非常に手間がかかり、オペレータの負担が大きい。
【０００８】
本発明は上記事情に鑑みなされたものであり、画像データから画像の鮮鋭度を推定することができる画像の鮮鋭度推定方法および装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明による画像の鮮鋭度推定方法は、原画像を表す原画像データを多重解像度空間に変換することにより、該原画像データを帯域が重ならない複数の周波数帯域毎の画像を表す画像データに分解し、
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較し、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出し、
該比に基づいて前記原画像の鮮鋭度の高低を推定することを特徴とするものである。
【００１０】
ここで、「低周波数帯域画像」とは、最高周波数帯域画像よりも１段階周波数帯域が低い画像のみならず、２段階あるいはそれよりも周波数帯域が低い画像をも含むものである。
【００１１】
また、「比に基づいて」とは、比の大小に基づいての意である。
【００１２】
なお、本発明による画像の鮮鋭度推定方法においては、前記多重解像度空間への変換を、該原画像の縦方向および横方向にそれぞれフィルタリング処理を施して縦方向高周波横方向低周波画像、縦方向低周波横方向高周波画像および縦横方向低周波画像を得、
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得、
前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行い、
前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出することが好ましい。
【００１３】
ここで、「フィルタリング処理により得られる縦横方向低周波画像に対してフィルタリング処理を順次繰り返し行う」とは、フィルタリング処理毎に得られる縦横方向低周波画像に対してフィルタリング処理を行うことをいう。
【００１４】
さらに、本発明の画像の鮮鋭度推定方法においては、前記多重解像度空間への変換、前記所定の閾値との比較および前記比の算出を、前記低周波数帯域画像および前記最高周波数帯域画像において選択された領域についてのみ行うことが好ましい。
【００１５】
ここで、「選択された領域」とは、主要被写体が含まれる可能性が高い画像の中央領域の他、画像中の任意の領域を含むものである。
【００１６】
また、本発明においては、前記多重解像度空間への変換を、ウェーブレット変換により行うことが好ましいが、上述したラプラシアンピラミッド、フーリエ変換など種々の多重解像度変換を適用することができる。
【００１７】
さらに、上述したウェーブレット変換などの多重解像度変換においては、変換を施す毎に画素を間引いているため、周波数帯域が低くなるほど原画像を縮小したような画像となるが、本発明においては、多重解像度空間への変換を、前記複数の周波数帯域毎の画像の画素を間引くことなく行うことが好ましい。
【００１８】
本発明による画像の鮮鋭度推定装置は、原画像を表す原画像データを多重解像度空間に変換することにより、該原画像データを帯域が重ならない複数の周波数帯域毎の画像を表す画像データに分解する多重解像度変換手段と、
前記複数の周波数帯域毎の画像のうち、最も周波数が高い最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較する比較手段と、
該所定の閾値よりも値が大きい画素の画素値と、該画素に対応する前記最高周波数帯域画像の画素の画素値との比を算出する比算出手段と、
該比に基づいて前記原画像の鮮鋭度の高低を推定する推定手段とを備えたことを特徴とするものである。
【００１９】
なお、本発明の画像の鮮鋭度推定装置においては、前記多重解像度変換手段は、前記多重解像度空間への変換を、該原画像の縦方向および横方向にそれぞれフィルタリング処理を施して縦方向高周波横方向低周波画像、縦方向低周波横方向高周波画像および縦横方向低周波画像を得、
該縦横方向低周波画像に対してさらに前記フィルタリング処理を施し、
該フィルタリング処理により得られる縦横方向低周波画像に対して前記フィルタリング処理を順次繰り返し行うことにより、前記複数の周波数帯域毎の縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像を得る手段であり、
前記比較手段は、前記閾値との比較を、前記低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像について行う手段であり、
前記比算出手段は、前記比を、前記縦方向高周波横方向低周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比、および前記縦方向低周波横方向高周波画像における前記所定の閾値よりも値が大きい画素の画素値と該画素に対応する前記最高周波数帯域画像の画素の画素値との比のいずれか大きい方の値として算出する手段であることが好ましい。
【００２０】
また、本発明による画像の鮮鋭度推定装置においては、前記多重解像度変換手段、前記比較手段および前記比算出手段は、前記多重解像度空間への変換、前記所定の閾値との比較および前記比の算出を、前記原画像において選択された領域についてのみ行う手段であることが好ましい。
【００２１】
さらに、前記多重解像度変換手段は、前記多重解像度空間への変換を、ウェーブレット変換により行う手段であることが好ましい。
【００２２】
また、前記多重解像度変換手段は、前記多重解像度空間への変換を、前記複数の周波数帯域毎の画像の画素を間引くことなく行う手段であることが好ましい。
【００２３】
【発明の効果】
本発明による画像の鮮鋭度推定方法および装置は、まず、ウェーブレット変換などにより原画像データを多重解像度空間に変換して、複数の周波数帯域毎の画像データを得る。次いで、これらの周波数帯域毎の画像のうち最高周波数帯域画像よりも低い周波数帯域の低周波数帯域画像において、各画素の画素値を所定の閾値と比較する。ここで、原画像に含まれるエッジなど、原画像の鮮鋭度推定の基準となる部分は画素値として比較的高い値を有し、低周波数帯域画像においても高い値を有する。逆に低周波数帯域画像において画素値の値が低ければそこにエッジなどの鮮鋭度推定の基準となるものが存在しないと考えることができる。したがって、低周波数帯域画像における画素値と所定の閾値との比較の結果により、所定の閾値よりも値が大きい画素を鮮鋭度推定の基準となる画素と見なし、この画素の画素値とこの画素に対応する最高周波数帯域画像の画素の画素値との比を求める。
【００２４】
ここで、最高周波数帯域画像は、原画像における最高周波成分を担持することから比較的狭い範囲の信号の変化量を表し、低周波数帯域画像は低周波成分を担持することから最高周波数帯域画像よりも広い範囲の信号の変化量を表すものとなる。例えば、図４（ａ）に示すように、非常に急峻なエッジにおいては、狭い範囲Ａにおいても広い範囲Ｂにおいても、その信号の変化量ΔＡ，ΔＢは同一となる。これに対し、図４（ｂ）に示すように、なだらかに信号が変化している部分においては、周波数成分としては急峻なエッジよりも低い周波数帯域のものとなるため、狭い範囲Ａにおける信号の変化量ΔＡよりも広い範囲Ｂにおける信号の変化量ΔＢの方が大きくなる。したがって、図４（ａ）に示す急峻なエッジにおいては、エッジ部分に対応する画素の画素値は最高周波数帯域画像と低周波数帯域画像とにおいて略同一の値となり、図４（ｂ）に示すなだらかに信号が変化している部分においては、信号変化位置に対応する画素の画素値は、最高周波数帯域画像よりも低周波数帯域画像の方が大きな値となる。
【００２５】
このため、低周波数帯域画像の画素の画素値と最高周波数帯域画像の画素の画素値との比は、急峻なエッジすなわち鮮鋭度が高い部分ほどその値は１に近くなり、信号の変化が滑らかな部分すなわち鮮鋭度が低い部分ほどその値は１から外れることとなる。したがって、求めた比の値に応じて、原画像の鮮鋭度の高低を推定することができる。
【００２６】
このように、本発明の画像の鮮鋭度推定方法および装置によれば、原画像を表す画像データから原画像の鮮鋭度の高低を推定できるため、この推定結果を用いて画像処理装置においてその鮮鋭度の高低に応じたシャープネス強調処理、補間演算などを原画像データに対して施すことができる。例えば、原画像における鮮鋭度が高いと推定された部分にはそれほど鮮鋭度を強調せず、鮮鋭度が低いと推定された部分には鮮鋭度をより強調するようにシャープネス強調処理を施すことができる。また、画像全体として鮮鋭度が高いときに原画像を拡大、縮小する場合は滑らかさを重視したＢスプライン補間演算を行い、鮮鋭度が低いときには鮮鋭度を重視したCubic スプライン補間演算を行うことができる。そしてこれにより、その原画像がいずれの入力装置から入力されたものであるか、すでに画像処理が施されものであるかが不明な場合であっても、その原画像に最適な鮮鋭度に関する画像処理を施すことができる。
【００２７】
また、原画像の縦横両方向にそれぞれフィルタリング処理を繰り返し施して多重解像度変換を行い、低周波数帯域における縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像の双方について各画素の画素値を所定の閾値と比較し、縦方向高周波横方向低周波画像および縦方向低周波横方向高周波画像における対応する画素の比のうちいずれか大きい方を鮮鋭度を推定するための比として求めることにより、原画像に含まれるエッジなどの方向性に依存することなく鮮鋭度の高低を推定することができる。
【００２８】
さらに、多重解像度空間への変換、所定の閾値との比較および比の算出を、選択された領域についてのみ行うことにより、演算量を低減して鮮鋭度の高低の推定を高速に行うことができる。
【００２９】
さらに、多重解像度空間への変換を複数の周波数帯域毎の画像の画素を間引くことなく行うことにより、低周波数帯域画像の画素と最高周波数帯域画像の画素との対応付けを正確に行うことができる。
【００３０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００３１】
図１は本発明の実施形態による鮮鋭度推定装置を内包する画像処理装置の構成を示す概略ブロック図である。図１に示すように本実施形態による画像処理装置１は、画像入力手段２から入力された原画像データＳにより表される画像の鮮鋭度の高低を推定する鮮鋭度推定手段７と、鮮鋭度推定手段７において推定された鮮鋭度の高低に基づいて、画像処理手段５における画像処理方法の選択および／または画像処理のパラメータの設定を行う画像処理方法選択および／またはパラメータ設定手段４と、画像処理方法選択および／またはパラメータ設定手段４において設定された画像処理方法および／またはパラメータにしたがって、原画像データＳに対して画像処理を施して処理済み画像データＳ′を得る画像処理手段５と、処理済み画像データＳ′をプリンタ、ＣＲＴあるいはネットワーク上に出力する画像出力手段６とを備えてなる。
【００３２】
図２は鮮鋭度推定手段７の構成を示す概略ブロック図である。図２に示すように鮮鋭度推定手段７は、原画像データＳに対してウェーブレット変換を施して、原画像データＳにより表される原画像を多重解像度変換し、複数の周波数帯域毎の画像を表す画像データを得るウェーブレット変換手段３０と、ウェーブレット変換手段３０において得られた画像データＨＬ１，ＬＨ１（詳細は後述する）をそれぞれ所定の閾値と比較する比較手段３１と、比較手段３１による比較結果に基づいて、画像データＨＬ１，ＬＨ１と画像データＨＬ０，ＬＨ０における画素の画素値の比Ｃを算出する比算出手段３２と、算出された比Ｃに基づいて原画像データＳにより表される画像の鮮鋭度の高低を推定する推定手段３３とを備える。
【００３３】
ウェーブレット変換手段３０においては、以下のようにして原画像データＳに対してウェーブレット変換が施される。図３は原画像データＳをウェーブレット変換する状態を模式的に示す図である。なお、本実施形態においては、図３に示すように紙面に対する横方向をｘ方向、縦方向をｙ方向として説明する。本実施形態のウェーブレット変換においては、下記に示すHaar-Wavelet基底を使用するとともに、ウェーブレット変換において通常行われている画素の間引き（サブサンプリング）を実施せず、ウェーブレット変換により得られる多重解像度画像の解像度を原画像と同一とする。
【００３４】
Haar-Wavelet：h(x)=-1,1
g(x)=1/2,1/2
ここで、h(x)はｘ方向について高周波成分を抽出するウェーブレット基底であり、g(x)はｘ方向について低周波成分を抽出するウェーブレット基底である。
【００３５】
まず、原画像データＳに対してｘ方向にh(x)を畳み込み演算し、画像データＨ０を得る。
【００３６】
Ｈ０(x,y)＝h(x)＊Ｓ(x,y)（(x,y)は画素の位置）
なお、通常のウェーブレット変換においては、ここで画像データＨ０のｘ方向について画素数を１／２に間引くが、本実施形態においては間引かないものとする。
【００３７】
次に画像データＨ０に対してｙ方向にh(y)を畳み込み演算してｘ方向ｙ方向ともに最高周波数帯域の画像を表す画像データＨＨ０を得る。
【００３８】
ＨＨ０(x,y)＝h(y)＊Ｈ０(x,y)
以下、同様にして下記の演算により、画像データＨ０にg(y)を畳み込み演算した画像データＨＬ０、原画像データＳにg(x)を畳み込み演算した画像データＬ０にh(y)を畳み込み演算した画像データＬＨ０、および画像データＬ０にg(y)を畳み込み演算した画像データＬＬ１を求める。
【００３９】
ＨＬ０(x,y)＝g(y)＊Ｈ０(x,y)
Ｌ０(x,y)＝g(x)＊Ｓ(x,y)
ＬＨ０(x,y)＝h(y)＊Ｌ０(x,y)
ＬＬ１(x,y)＝g(y)＊Ｌ０(x,y)
ここで、画像データＨＬ０、画像データＬＨ０および画像データＬＬ１は、それぞれ原画像の最高周波数帯域におけるｘ方向高周波ｙ方向低周波画像、ｘ方向低周波ｙ方向高周波画像およびｘ方向ｙ方向ともに低周波画像を表すものとなる。
【００４０】
さらに、次の階層のHaar-Wavelet基底であるh(x)′=-1,0,1およびg(x)′＝1/2,0,1/2を使用し、画像データＬＬ１にh(x)′およびh(y)′を畳み込み演算した画像データＨＨ１、画像データＬＬ１にh(x)′およびg(y)′を畳み込み演算した画像データＨＬ１、画像データＬＬ１にg(x)′およびh(y)′を畳み込み演算した画像データＬＨ１を求める。ここで、画像データＬＬ１を求める際に画素を間引いていれば、ウェーブレット基底として上述したh(x)=-1,1およびg(x)=1/2,1/2を用いればよいが、本実施形態においては画素を間引いていないため、間引きに相当する数の値０を挿入したものである。
【００４１】
ＨＨ１(x,y)＝h(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
ＨＬ１(x,y)＝g(y)′＊｛h(x)′＊ＬＬ１(x,y)｝
ＬＨ１(x,y)＝h(y)′＊｛g(x)′＊ＬＬ１(x,y)｝
ここで、画像データＨＨ１、画像データＨＬ１および画像データＬＨ１は、それぞれ原画像の最高周波数帯域の次の周波数帯域におけるｘ方向ｙ方向ともに高周波画像、ｘ方向高周波ｙ方向低周波画像およびｘ方向低周波ｙ方向高周波画像を表すものとなる。
【００４２】
なお、この後ウェーブレット変換を繰り返すことにより、さらに低周波数帯域の画像データを求めることができるが、本実施形態においては画像データＨＬ０，ＬＨ０，ＨＬ１，ＬＨ１のみを用いるため、ここで演算を終了する。また、本実施形態においては、ウェーブレット変換を行う際に画素を間引いていないため、画像データＨＨ０，ＨＬ０，ＬＨ０，ＬＬ０，ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ２により表される画像は図３に示すように原画像と同一の解像度を有するものとなる。ここで、ＬＬ２は画像データＬＬ１にg(x)′およびg(y)′を畳み込み演算した画像データである。
【００４３】
比較手段３１においては、画像データＨＬ１，ＬＨ１の画素値が閾値Ｔｈ１，Ｔｈ２と比較され、ＨＬ１(x,y)＞Ｔｈ１かつＬＨ１(x,y)＞Ｔｈ２の２条件を満たす画素(x,y)が抽出される。
【００４４】
比算出手段３２は、比較手段３１において抽出された画素(x,y)の画素値と、この画素(x,y)に対応する画像データＨＬ０，ＬＨ０の画素値との比のうちいずれか大きい方の比Ｃを下記の式（１）により算出する。なお、本実施形態においては、図３に示すように各画像データＨＬ０，ＬＨ０，ＨＬ１，ＬＨ１の解像度は同一であるため、画素(x,y)の対応付けを正確かつ簡易に行うことができる。
【００４５】
Ｃ(x,y)＝ｍａｘ（ＨＬ０／ＨＬ１，ＬＨ０／ＬＨ１）    （１）
ここで、原画像に含まれるエッジなど、原画像の鮮鋭度推定の基準となる部分は画素値として比較的高い値を有し、低周波数帯域画像を表す画像データＨＬ１，ＬＨ１においても高い値を有する。逆に低周波数帯域画像を表す画像データＨＬ１，ＬＨ１において画素値の値が低ければそこにエッジなどの鮮鋭度推定の基準となるものが存在しないと考えることができる。したがって、低周波数帯域画像における画素値と閾値Ｔｈ１，Ｔｈ２との比較の結果により、閾値Ｔｈ１，Ｔｈ２よりも値が大きい画素を鮮鋭度推定の基準となる画素と見なし、この画素の画素値とこの画素に対応する最高周波数帯域画像を表す画像データＨＬ０，ＬＨ０の画素の画素値との比を求める。
【００４６】
ここで、最高周波数帯域画像は、原画像における最高周波成分を担持することから比較的狭い範囲の信号の変化量を表し、低周波数帯域画像は最高周波数帯域画像よりも低周波成分を担持することから広い範囲の信号の変化量を表すものとなる。例えば、図４（ａ）に示すように、非常に急峻なエッジにおいては、狭い範囲Ａにおいても広い範囲Ｂにおいても、その信号の変化量ΔＡ，ΔＢは同一となる。これに対し、図４（ｂ）に示すように、なだらかに信号が変化している部分においては、周波数成分としては急峻なエッジよりも低い周波数帯域のものとなるため、狭い範囲Ａにおける信号の変化量ΔＡよりも広い範囲Ｂにおける信号の変化量ΔＢの方が大きくなる。したがって、図４（ａ）に示す急峻なエッジにおいては、エッジ部分に対応する画素の画素値は最高周波数帯域画像と低周波数帯域画像とにおいて略同一の値となり、図４（ｂ）に示すなだらかに信号が変化している部分においては、信号変化位置に対応する画素の画素値は、最高周波数帯域画像よりも低周波数帯域画像の方が大きな値となる。
【００４７】
このため、上記式（１）により求められる低周波数帯域画像の画素の画素値に対する最高周波数帯域画像の画素の画素値の比Ｃは、急峻なエッジすなわち鮮鋭度が高い部分ほどその値は１に近くなり、信号の変化が滑らかな部分すなわち鮮鋭度が低い部分ほどその値は１よりも小さくなる。
【００４８】
したがって、推定手段３３は比算出手段３２において算出された比Ｃを１と比較し、Ｃ＝１のとき（または１に近いとき）その部分は鮮鋭度が高いと推定し、Ｃ＜＜１のときその部分は鮮鋭度が低いと推定する。そして、この推定結果を画像処理方法選択および／またはパラメータ設定手段４に出力する。
【００４９】
画像処理方法選択および／またはパラメータ設定手段４は、推定手段３３による原画像の鮮鋭度の高低の推定結果に基づいて、原画像を拡大、縮小するために、鮮鋭度が高いと推定された場合には、滑らかさを重視したＢスプライン補間演算を選択するとともにこれのパラメータを決定する。一方、鮮鋭度が低いと推定された場合には、鮮鋭度重視のCubic スプライン補間演算を選択する。
【００５０】
ここで、Cubic スプライン補間演算およびＢスプライン補間演算について説明する。本実施形態において使用される原画像データＳは、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘk-2，Ｘk-1，Ｘk，Ｘk+1，Ｘk-2…に対応したデジタル画像データ（Ｓk-2，Ｓk-1，Ｓk，Ｓk+1 ，Ｓk+2…）であるとする。
【００５１】
Cubic スプライン補間演算は、オリジナルのサンプリング点（画素）Ｘk〜Ｘk+1間に設けられた補間点Ｘpの補間データＹ′を表す３次のCubic スプライン補間演算式（２）における補間データＹk-1，Ｙk，Ｙk+1，Ｙk+2にそれぞれ対応する補間係数ｃk-1，ｃk，ｃk+1，ｃk+2を、下記にそれぞれ示す演算により求めるものである。
【００５２】
Ｙ′＝ｃk-1Ｙk-1＋ｃkＹk＋ｃk+1Ｙk+1＋ｃk+2Ｙk+2  （２）
ｃk-1＝（−ｔ3＋２ｔ2−ｔ）／２
ｃk＝（３ｔ3−５ｔ2＋２）／２
ｃk+1＝（−３ｔ3＋４ｔ2＋ｔ）／２
ｃk+2＝（ｔ3−ｔ2）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘkを基準としたときの補間点Ｘpの画素Ｘk+1方向への位置を示す。）
Ｂスプライン補間演算は、オリジナルのサンプリング点Ｘk〜Ｘk+1間に設けられた補間点Ｘpの補間データＹ′を表す３次のＢスプライン補間演算式（３）における補間データＹk-1、Ｙk、Ｙk+1、Ｙk+2にそれぞれ対応する補間係数ｂk-1，ｂk，ｂk+1，ｂk+2を、下記にそれぞれ示す演算により求めるものである。
【００５３】
Ｙ′＝ｂk-1Ｙk-1＋ｂkＹk＋ｂk+1Ｙk+1＋ｂk+2Ｙk+2  （３）
ｂk-1＝（−ｔ3＋３ｔ2−３ｔ＋１）／６
ｂk＝（３ｔ3−６ｔ2＋４）／６
ｂk+1＝（−３ｔ3＋３ｔ2＋３ｔ＋１）／６
ｂk+2＝ｔ3／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘkを基準としたときの補間点Ｘpの画素Ｘk+1方向への位置を示す。）そして、画像処理選択および／またはパラメータ設定手段４においては、ｃk-1，ｃk，ｃk+1，ｃk+2あるいはｂk-1，ｂk，ｂk+1，ｂk+2がパラメータとして設定される。
【００５４】
画像処理手段５は、画像処理方法選択および／またはパラメータ設定手段４において設定された補間演算のパラメータに基づいて、補間演算を原画像データＳに対して施して処理済み画像データＳ′を得る。
【００５５】
次いで、本実施形態の動作について説明する。画像入力手段２から入力された原画像データＳは、鮮鋭度推定手段７に入力され、ウェーブレット変換により原画像データＳが複数の周波数帯域毎の画像を表す画像データに分解され、上述した式（１）により比Ｃが算出され、原画像の鮮鋭度の高低が推定される。画像処理方法選択および／またはパラメータ設定手段４は、鮮鋭度の推定結果に基づいて画像処理手段５において原画像を拡大、縮小するための補間演算の種類を選択するとともに補間演算のパラメータを設定する。画像処理手段５は画像処理方法選択および／またはパラメータ設定手段４において設定された補間演算のパラメータにより、補間演算を原画像データＳに対して施して処理済み画像データＳ′を得る。処理済み画像データＳ′は画像出力手段６よりプリンタ、ＣＲＴに出力されて可視像として再生されるか、またはネットワーク上に転送される。
【００５６】
このように、本実施形態においては、原画像を表す原画像データＳから原画像の鮮鋭度の高低を推定できるため、この推定結果を用いて画像処理手段５においてその鮮鋭度に応じた補間演算などの画像処理を原画像データＳに対して施すことができる。これにより、その原画像がいずれの入力装置から入力されたものであるか、すでに画像処理が施されものであるかが不明な場合であっても、その原画像に最適な鮮鋭度に関する画像処理を施すことができる。
【００５７】
また、原画像のｘｙ両方向にそれぞれウェーブレット基底h(x),g(x)により畳み込み演算を繰り返し施して多重解像度変換を行い、低周波数帯域におけるｘ方向高周波ｙ方向低周波画像（画像データＨＬ１）およびｘ方向低周波ｙ方向高周波画像（画像データＬＨ１）の双方について各画素の画素値を閾値Ｔｈ１，Ｔｈ２と比較し、ｘ方向高周波ｙ方向低周波画像（画像データＨＬ０）およびｘ方向低周波ｙ方向高周波画像（画像データＬＨ０）のそれぞれについて上記比を求め、いずれか大きい方を鮮鋭度の高低を推定するための比Ｃとして求めることにより、原画像に含まれるエッジなどの方向性に依存することなく鮮鋭度の高低を推定することができる。
【００５８】
次いで、本発明の他の実施形態について説明する。
【００５９】
図６は図１に示す画像処理装置１の他の実施形態を適用した画像合成装置の構成を示す概略ブロック図である。図６に示す画像合成装置は、複数の原画像データＳを画像処理装置１に入力し、原画像データＳのそれぞれについて画像処理を施し、編集指示入力手段２１から入力された指示に基づいて、画像合成手段２０において処理が施された原画像データＳ′を合成して合成画像データＧを得、この合成画像データＧを画像出力手段６からプリンタなどに出力するものである。
【００６０】
ここで、複数の原画像を合成する場合に、本実施形態による鮮鋭度推定装置により各原画像データＳの鮮鋭度の高低を推定し、推定された鮮鋭度の高低に基づいて各原画像データＳに対してアンシャープマスキング処理を施すことにより、それぞれ鮮鋭度に関する最適な画像処理が施された処理済み画像データＳ′を得ることができる。例えば、画像処理装置１に入力される各原画像データＳにより表される原画像の鮮鋭度が高いと推定された部分にはその鮮鋭度をそれほど強調しないような処理が施され、鮮鋭度が低いと推定された部分には鮮鋭度が強調される処理が施される。また、画像全体として鮮鋭度が高いときに原画像を拡大、縮小する場合は滑らかさを重視したＢスプライン補間演算を行い、鮮鋭度が低いときには鮮鋭度を重視したCubic スプライン補間演算を行うことができる。したがって、処理済み画像データＳ′により表される各画像は、いずれの画像においても鮮鋭度が最適に補正されたものとなる。このため、画像合成手段２０において処理済み画像データＳ′を合成して得られる合成画像データＧを再生することにより、全ての原画像データに対して同一の鮮鋭度強調処理を施した場合に生じる、部分毎の鮮鋭度バランスの崩れをなくすことができ、これにより見た目に違和感のない画像を得ることができる。
【００６１】
なお、上記他の実施形態においては、編集指示入力手段２１からの指示を画像合成手段２０に入力しているが、画像処理装置１にも入力し、指示された領域についてのみ画像処理を施すようにしてもよい。
【００６２】
また、上記各実施形態においては、原画像データＳの全画素についてウェーブレット変換を施しているが、主要な被写体が含まれる可能性の高い原画像の中央部分のみ、あるいは任意に選択された領域についてのみウェーブレット変換を施して、演算時間を短縮するようにしてもよい。
【００６３】
また、上記各実施形態においては、ウェーブレット変換を施す際に画素を間引いていないが、画素を間引いて低周波数帯域ほど縮小された画像となるようにウェーブレット変換を施すようにしてもよい。
【００６４】
さらに、上記各実施形態においては、ウェーブレット変換を用いて原画像を多重解像度空間に変換しているが、ラプラシアンピラミッドあるいはフーリエ変換を用いてもよい。
【００６５】
さらにまた、上記各実施形態においては、比較手段３１において、最高周波数帯域画像を表す画像データＨＬ０，ＬＨ０よりも１段階低周波数帯域の画像データＨＬ１，ＬＨ１と閾値Ｔｈ１，Ｔｈ２とを比較しているが、ウェーブレット変換手段３０においてさらに低周波数帯域の画像を表す画像データを求め、この画像データと閾値Ｔｈ１，Ｔｈ２とを比較するようにしてもよい。
【図面の簡単な説明】
【図１】  本発明の実施形態による鮮鋭度推定装置を適用した画像処理装置の構成を示す概略ブロック図
【図２】  本発明の実施形態による鮮鋭度推定装置の構成を示す概略ブロック図
【図３】  ウェーブレット変換の状態を示す図
【図４】  高周波数帯域画像と低周波数帯域画像とにおける信号値の大小を説明するための図
【図５】  強調係数Skを設定するための関数を示すグラフ
【図６】  本発明の他の実施形態による画像処理装置の構成を示す概略ブロック図
【符号の説明】
１    画像処理装置
２    画像入力手段
４    画像処理方法選択および／またはパラメータ設定手段
５    画像処理手段
６    画像出力手段
７    鮮鋭度推定手段
２０    画像合成手段
２１    編集指示入力手段
３０    ウェーブレット変換手段
３１    比較手段
３２    比算出手段
３３    推定手段
【図１】
0003750776.tif 000002
【図２】
0003750776.tif 000003
【図３】
0003750776.tif 000004
【図４】
0003750776.tif 000005
【図５】
0003750776.tif 000006
【図６】
0003750776.tif 000007