(57)【特許請求の範囲】
【請求項１】
画像を所定のサンプリング配置により捕捉することにより取得された、該所定のサンプリング配置に関するサンプリング情報が付与された画像データに対してシャープネス強調処理を施す画像処理方法であって、
前記サンプリング情報に応じて前記画像データに対して異なるシャープネス強調処理を施して処理済み画像データを得ることを特徴とする画像処理方法。
【請求項２】
前記異なるシャープネス強調処理が、前記画像データの前記サンプリング配置に起因する周波数特性に応じた処理であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記サンプリング情報が、市松サンプリングおよび正方サンプリングを区別する情報であることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
画像を所定のサンプリング配置により捕捉することにより取得された、該所定のサンプリング配置に関するサンプリング情報が付与された画像データに対してシャープネス強調処理を施す処理手段を備えた画像処理装置であって、
前記処理手段は、前記サンプリング情報に応じて前記画像データに対して異なるシャープネス強調処理を施して処理済み画像データを得る手段であることを特徴とする画像処理装置。
【請求項５】
前記処理手段は、前記異なるシャープネス強調処理を、前記画像データの前記サンプリング配置に起因する周波数特性に応じた処理とする手段であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記サンプリング情報が、市松サンプリングおよび正方サンプリングを区別する情報であることを特徴とする請求項４または５記載の画像処理装置。
【請求項７】
画像を所定のサンプリング配置により捕捉することにより取得された、該所定のサンプリング配置に関するサンプリング情報が付与された画像データに対してシャープネス強調処理を施す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって、
前記プログラムは、前記サンプリング情報に応じて前記画像データに対して異なるシャープネス強調処理を施して処理済み画像データを得る手順を有することを特徴とするコンピュータ読取り可能な記録媒体。
【請求項８】
前記処理済み画像データを得る手順は、前記異なるシャープネス強調処理を、前記画像データの前記サンプリング配置に起因する周波数特性に応じた処理とする手順であることを特徴とする請求項７記載のコンピュータ読取り可能な記録媒体。
【請求項９】
前記サンプリング情報が、市松サンプリングおよび正方サンプリングを区別する情報であることを特徴とする請求項７または８記載のコンピュータ読取り可能な記録媒体。
【請求項１０】
請求項４から６のいずれか１項記載の画像処理装置を備えたことを特徴とする撮像装置。
【請求項１１】
請求項４から６のいずれか１項記載の画像処理装置を備えたことを特徴とする出力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、市松サンプリングや正方サンプリングにより画像を捕捉することにより画像データを取得する画像取得方法および装置、この画像データに対してシャープネス強調処理を施す画像処理方法および装置、並びにこれらの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタル電子スチルカメラ（以下デジタルカメラとする）においては、撮影により取得した画像をデジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカード等の記録媒体に記憶し、記憶されたデジタル画像データに対して、階調処理やシャープネス強調処理等の画像処理を施した後に、プリント等のハードコピーとしてあるいはディスプレイ上にソフトコピーとして撮影により取得した画像を再現することができる。このように、デジタルカメラにより取得した画像を再現する場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。このため、デジタルカメラにおいて得られた画像データに、画像を取得した際のストロボの有無、照明の種類等の撮像情報を付与して出力し、画像処理を行う際には画像データに付与されている撮影情報を参照して、画像データに対してより適切な画像処理を施すようにした画像再生方法が提案されている（特開平１０−１９１２４６号）。
【０００３】
一方、デジタルカメラやスキャナにおいて画像データを得るためには、所定のサンプリング配置により画像を捕捉する必要がある。このような画像を捕捉するためのサンプリング配置としては、図３に示すような画素配列において、○印の位置に信号値を有し×印の位置には信号値を有さないように画像を捕捉する市松サンプリングが知られている。この市松サンプリングは実際には図１８（ａ）に示すように画素が配列されてなるものであり、図１８（ｂ）に示すような画素配列（正方サンプリングと称する）と比較すると、画素が密となるため同一の面積であれば得られる情報が多くなる。なお、市松サンプリングの画像データは、市松状に光電変換素子が配置されたＣＣＤを有するデジタルカメラにより撮影を行う等により得られるが、デジタルカメラにおいて正方状に光電変換素子が配置されたＣＣＤを使用し、１回の撮影において一度画像データを取り込んだ後、ＣＣＤを斜め４５度方向にずらして２回目の画像データを取り込むことによっても得ることができる。また、正方状に光電変換素子が配置されたＣＣＤにより得られた画像データのサンプリングを市松状にすることによっても得ることができる。
【０００４】
しかしながら、ＣＲＴモニタやプリント用紙等の画像出力媒体に出力する画像出力装置や上述したように画像データに対してシャープネス強調処理等を施す画像処理装置においては、○印および×印の全ての位置において信号値を有する正方サンプリングがなされた画像データを表示対象あるいは処理対象としている。とくに、上述した画像処理におけるシャープネス強調処理においては、正方サンプリングの画像データに適した、画像の縦方向および横方向に分離可能な処理を施している。このため、市松サンプリングがなされた画像データについては、○印の位置における信号値に対して補間演算を施すことにより×印の位置における信号値を算出し、画像データを市松サンプリングから正方サンプリングに変換した後に表示や画像処理を行っている。
【０００５】
【発明が解決しようとする課題】
上述した市松サンプリングされた画像データの周波数特性を２次元で表すと図１９（ａ）に示すような菱形状のレスポンスとなり、正方サンプリングされた画像データの周波数特性は図１９（ｂ）に示すような矩形状のレスポンスとなる。なお、図１９においてはｆｓ／２が正方サンプリングされた画像データのナイキスト周波数であり、図１９（ａ）および（ｂ）においては、画像が再現可能な周波数帯域を実線にて示している。ここで、市松サンプリングされた画像データを正方サンプリングに変換したとしても、元の画像情報を表現している周波数特性は図１９（ａ）のまま変更されないものである。このため、市松サンプリングされた画像データに対して、正方サンプリングと同様に画像の縦横方向に分離可能なシャープネス強調処理を施すと、図１９（ｂ）の斜線に対応する、元々画像情報を有さない周波数帯域が強調されるためにノイズが発生し、その結果、処理を施すことにより得られた画像の画質が劣化してしまうこととなる。
【０００６】
本発明は上記事情に鑑みなされたものであり、ノイズを発生させることなくシャープネス強調処理を施すことができるような画像データを取得できる画像取得方法および装置、この画像取得方法および装置により取得された画像データに対してシャープネス強調処理を施す画像処理方法および装置、並びに画像取得方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明による画像取得方法は、画像を所定のサンプリング配置により捕捉して、該画像を表す画像データを取得する画像取得方法において、
前記画像データに、前記所定のサンプリング配置に関するサンプリング情報を付与することを特徴とするものである。
【０００８】
ここで、「サンプリング情報を付与する」方法としては、画像データのファイルヘッダにサンプリング情報を記述する、画像データを記録する記録メディアに画像データとは別のファイルを作成してここにサンプリング情報を記述する、複数の画像データを１つの記録メディアに記録する際に、画像データに関する情報を記述するファイルを作成し、このファイルにサンプリング情報を記述する等種々の方法を採用することができる。
【０００９】
また、「サンプリング情報」としては、市松サンプリングや正方サンプリングを区別することができる情報であることが好ましく、市松サンプリングおよび正方サンプリングをそれぞれ表す記号、この記号に加えて画像捕捉時の画素数、あるいは各サンプリング配置の周波数特性を表す情報等を採用することができる。
【００１０】
本発明による画像処理方法は、本発明による画像取得方法により取得された画像データに対してシャープネス強調処理を施す画像処理方法であって、
前記サンプリング情報に応じて前記画像データに対して異なるシャープネス強調処理を施して処理済み画像データを得ることを特徴とするものである。
【００１１】
ここで、「異なるシャープネス強調処理」とは、サンプリング配置に応じてシャープネス強調処理を縦横に分離可能な処理あるいは対角方向に分離可能な処理というように、画像データにより表される画像上において処理を施す方向を異なるものとすること、１次元シャープネス強調処理フィルタによりフィルタリング処理を行う場合にはサンプリング配置に応じてフィルタリング処理を施す方向を異なるものとすること等をいうものである。
【００１２】
なお、本発明による画像処理方法においては、前記異なるシャープネス強調処理が、前記画像データの前記サンプリング配置に起因する周波数特性に応じた処理であることが好ましい。
【００１３】
本発明による画像取得装置は、画像を所定のサンプリング配置により捕捉して、該画像を表す画像データを取得する画像取得装置において、
前記画像データに、前記所定のサンプリング配置に関するサンプリング情報を付与する付与手段を備えたことを特徴とするものである。
【００１４】
なお、本発明による画像取得装置においては、前記サンプリング情報が、市松サンプリングおよび正方サンプリングを区別する情報であることが好ましい。
【００１５】
本発明による画像処理装置は、本発明による画像取得装置により取得された画像データに対してシャープネス強調処理を施す処理手段を備えた画像処理装置であって、
前記処理手段は、前記サンプリング情報に応じて前記画像データに対して異なるシャープネス強調処理を施して処理済み画像データを得る手段であることを特徴とするものである。
【００１６】
なお、本発明による画像処理装置においては、前記処理手段は、前記異なるシャープネス強調処理を、前記画像データの前記サンプリング配置に起因する周波数特性に応じた処理とする手段であることが好ましい。
【００１７】
また、画像を所定のサンプリング配置により捕捉した際の、該所定のサンプリング配置に関するサンプリング情報を付帯させたフォーマットの画像データを、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１８】
なお、本発明による画像取得方法および画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１９】
また、本発明による画像処理装置をデジタルカメラ等の撮像装置に設けてもよく、プリンタ等の出力装置に設けてもよい。
【００２０】
【発明の効果】
本発明による画像取得方法および装置によれば、画像捕捉時のサンプリング配置に関するサンプリング情報を画像データに付与するようにしたため、サンプリング情報を参照することにより、本発明による画像取得方法および装置により得られた画像データに対して画像捕捉時のサンプリング配置に応じて適切なシャープネス強調処理等の画像処理を施すことができる。
【００２１】
また、本発明による画像処理方法および装置によれば、画像を捕捉する際の所定のサンプリング配置に関するサンプリング情報に応じて、画像データに対して異なるシャープネス強調処理を施すようにしたため、サンプリング配置に拘わらずノイズを発生させないようにシャープネス強調処理を施すことができ、これによりノイズのない高画質の画像を再現可能な処理済み画像データを得ることができる。
【００２２】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２３】
図１は本発明の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像出力システムは、所定のサンプリング配置により画像を捕捉することにより画像データＳ１を取得するとともに、サンプリング配置に関するサンプリング情報Ｊを画像データＳ１に付与して出力する画像取得手段６から出力された画像データＳ１に対して処理を施すものであり、画像データＳ１を読出すための画像読出手段１と、画像データＳ１に付与されたサンプリング情報Ｊに基づいて、画像取得手段６において画像データＳ１を捕捉した際のサンプリング配置が市松サンプリングか正方サンプリングであるかを判別する判別手段２と、判別手段２における判別結果に基づいて、画像データＳ１に対して異なるシャープネス強調処理を施して処理済み画像データＳ２を得るシャープネス強調処理手段３と、処理済み画像データＳ２を再生する再生手段４とを備える。
【００２４】
図２は画像取得手段６の一例を示すブロック図である。図２に示すように画像取得手段６は例えばデジタルカメラであり、シーンの画像を市松サンプリングにより捕捉して画像を表す画像データＳ０を得るＣＣＤ７と、市松サンプリングの画像データＳ０に対して補間演算を施して、画像データＳ０のサンプリング配置を市松サンプリングから正方サンプリングに変換して正方サンプリングの画像データＳ１を得る市松正方変換手段８と、画像を捕捉した際のサンプリング配置に関する情報をサンプリング情報Ｊとして、これを画像データＳ１に付与してメモリカード等のメディア１０に記録する記録手段９とを備える。なお、ＣＣＤ７が元々正方サンプリングである場合には、画像取得手段６には市松正方変換手段８は設けられず、ＣＣＤ７において得られた画像データＳ０が、サンプリング情報Ｊとともにそのまま画像データＳ１としてメディア１０に記録される。
【００２５】
一方、画像取得手段６が画像を光電的に読み取るスキャナである場合に、画像を市松サンプリングにより捕捉するには、１ラインの走査毎にサンプルホールドする位置を半画素ずらすことにより、得られる画像データＳ０は市松サンプリングされたものとなる。この場合、スキャナには図２に示す市松正方変換手段８が設けられ、これにより画像データＳ０のサンプリング配置が市松サンプリングから正方サンプリングに変換されて、正方サンプリングの画像データＳ１が得られる。
【００２６】
なお、画像データＳ０が市松サンプリングされたものである場合、図３に示すように○の画素位置には信号値を有するが、×の画素位置には信号値を有さないものとなる。したがって、市松正方変換手段８においては○画素位置の信号値を用いて補間演算を行って、×画素位置の信号値が求められる。
【００２７】
ここで、画像データＳ０が市松サンプリングされた場合の周波数特性を２次元で表すと図４に示すような菱形のレスポンスを有する特性となる。図４においては市松サンプリングされた画像データＳ０が表現可能な周波数帯域を実線で示しており、画像データＳ０を正方サンプリングに変換しても、元の画像を表現している周波数帯域は変更されないため、この周波数特性も変更されないこととなる。
【００２８】
記録手段９は、画像データＳ１にサンプリング情報Ｊを付与してメディア１０に記録するものである。この付与方法としては、画像データＳ１のファイルヘッダにサンプリング情報Ｊを記述する、メディア１０内の別々のファイルに画像データＳ１およびサンプリング情報Ｊを記述する、メディア１０に複数の画像データＳ１を記録する際に、画像データＳ１に関する情報を記述するファイルを作成し、このファイルにサンプリング情報Ｊを記述する等種々の方法を採用することができる。
【００２９】
ここで、サンプリング情報Ｊとしては、市松サンプリングおよび正方サンプリングの区別を表す記号、市松サンプリングおよび正方サンプリングの区別を表す記号と画像捕捉時の画素数、画像データＳ０の周波数特性を示す情報等が挙げられる。なお、画像捕捉時の画素数が分かれば画像データＳ０により表される画像のナイキスト周波数を求めることができ、かつ画像データＳ０のサンプリング配置が分かれば、ナイキスト周波数に基づいて例えば図４に示すような周波数特性を求めることができる。また、周波数特性を示す情報としては例えば図４に示す周波数特性において、その特性の頂点となる４点の座標値を用いることができ、この座標値が分かれば図４に示すような周波数特性を求めることができる。
【００３０】
なお、サンプリング情報Ｊとしてはこれらに限定されるものではなく、画像データＳ０が正方サンプリングである場合には、何ら情報を付与しないものであってもよく、画像取得手段６の機種に応じてサンプリング配置が特定できる場合には、その機種に関する情報であってもよい。
【００３１】
図１に戻り、判別手段２は、サンプリング情報Ｊに基づいて、画像の捕捉時におけるサンプリング配置を判別する。ここで、サンプリング情報Ｊが市松サンプリングおよび正方サンプリングを表す記号であればその記号を判別し、サンプリング情報Ｊにこの記号に加えて画像捕捉時の画素数が含まれている場合には、記号を判別するとともに画像データＳ１の周波数特性も判別する。また、サンプリング情報Ｊが画像データＳ１の周波数特性を示す情報である場合には、その周波数特性により表されるレスポンスの形状からサンプリング配置を判別する。
【００３２】
シャープネス強調処理手段３は、判別手段２における判別結果に応じて画像データＳ１に対して異なるシャープネス強調処理を施して処理済み画像データＳ２を得るものである。まず、画像を捕捉した際のサンプリング配置が正方サンプリングであると判別された場合には、通常のシャープネス強調処理（以下第１のシャープネス強調処理とする）を行う。ここで、第１のシャープネス強調処理とは、画像データＳ１により表される画像の画素配置（図５参照）において、Ｘ方向およびＹ方向に分離可能な処理のことをいう。具体的には、まずＸ方向に対して下記の式（１）によりシャープネス強調処理を施した後に、Ｙ方向に対して同様にシャープネス強調処理を施す処理であってもよく、さらにこの処理においてボケ画像データＳusを算出する際に、Ｍ×Ｍの矩形のマスクを用いる処理であってもよい。さらに、図６に示すような周波数特性を有する１次元フィルタによって、画像データＳ１のＸ方向およびＹ方向に順にフィルタリング処理を施すことにより、シャープネスを強調する処理であってもよい。
【００３３】
Ｓ２＝Ｓ１＋β（Ｓ１−Ｓus）                    （１）
但し、β：強調係数
Ｓus：Ｓ１のボケ画像データであり、例えばＳus＝ΣＳ１／Ｍ×Ｍ（Ｍはマスクサイズ）
なお、サンプリング情報Ｊから画像データＳ１の周波数特性が認識できる場合には、その周波数特性に応じてマスクサイズや１次元フィルタのレスポンスを変更することができ、これにより画像データＳ１の周波数特性に応じたシャープネス強調処理を行うことができる。
【００３４】
ここで、正方サンプリングの周波数特性を図７（ａ）に示す。図７（ａ）に示すように正方サンプリングの場合の周波数特性はレスポンスが矩形状となるが、第１のシャープネス強調処理により、図７（ｂ）の斜線部分に示す周波数帯域が強調されて、画像データＳ１のシャープネスが強調され、処理済み画像データＳ２が得られることとなる。
【００３５】
一方、画像を捕捉した際のサンプリング配置が市松サンプリングであると判別された場合には、正方サンプリングの場合とは異なり、画像データＳ１により表される画像の画素配置（図５参照）において、対角方向に分離可能なシャープネス強調処理（以下第２のシャープネス強調処理とする）を行う。例えば、まずＸ＝Ｙ方向（図５の矢印Ａ方向）に対して上記の式（１）によりシャープネス強調処理を施した後に、Ｘ＝−Ｙ方向（図５の矢印Ｂ方向）に対して同様にシャープネス強調処理を施す処理であってもよく、さらにこの処理においてボケ画像データＳusを算出する際に、図８に示すように菱形のマスクを用いる処理であってもよい。さらに、図６に示すような周波数特性を有する１次元フィルタにより、矢印Ａ方向および矢印Ｂ方向に順にフィルタリング処理を施すことにより、シャープネスを強調する処理であってもよい。
【００３６】
ここで、市松サンプリングの周波数特性は図４に示すものであり、第２のシャープネス強調処理により、図９に示すように斜線部分の周波数帯域が強調されて、画像データＳ１のシャープネスが強調され、処理済み画像データＳ２が得られることとなる。
【００３７】
ここで、図７と図９とを比較すると、市松サンプリングにおいては、正方サンプリングの特性における４角部分の情報が欠落しているため、正方サンプリングと同様のシャープネス強調処理を施すと、欠落した部分の情報が強調されて、処理済み画像データＳ２により表される画像上に、強調された情報がノイズとして現れることとなるが、上記第２のシャープネス強調処理を施すことにより、市松サンプリングの周波数帯域の特性に応じたシャープネス強調処理が施されるため、処理済み画像データＳ２を再生することにより得られる画像において、ノイズの発生を防止することができる。
【００３８】
再生手段４は、デジタル写真銀塩プリンタ、インクジェットプリンタ等のハードコピーデバイス、ＣＲＴ、液晶ディスプレイ等のソフトコピーデバイス等、処理済み画像データＳ２を可視像として再生可能なものである。
【００３９】
次いで、本実施形態の動作について説明する。図１０は本実施形態の動作を示すフローチャートである。図１０に示すように、まず画像取得手段６において取得された画像データＳ１およびサンプリング情報Ｊが画像読出手段１において読み出されて、シャープネス強調処理手段３および判別手段２に入力される（ステップＳ１）。判別手段２においては、サンプリング情報Ｊに基づいて画像データＳ０を捕捉した際のサンプリング配置が市松サンプリングであるか正方サンプリングであるかが判別される（ステップＳ２）。そして、判別結果が正方サンプリングであった場合には（ステップＳ３）、シャープネス強調処理手段３において、画像データＳ０に対して第１のシャープネス強調処理が施されて処理済み画像データＳ２が得られる（ステップＳ４）。処理済み画像データＳ２は再生手段４において再生され（ステップＳ５）、処理を終了する。
【００４０】
一方、判別結果が市松サンプリングであった場合にはステップＳ３が否定され、画像データＳ１に対して第２のシャープネス強調処理が施されて処理済み画像データＳ２が得られる（ステップＳ６）。処理済み画像データＳ２は再生手段４において再生され（ステップＳ５）、処理を終了する。
【００４１】
このように、本実施形態においては、画像を捕捉する際のサンプリング情報Ｊに応じて、画像データＳ１に対して異なるシャープネス強調処理を施すようにしたため、画像データＳ１が市松サンプリングによりサンプリングされたものであっても、ノイズを発生させないようにシャープネス強調処理を施すことができ、これによりノイズのない高画質の画像を再現可能な処理済み画像データＳ２を得ることができる。
【００４２】
なお、上記実施形態においては、画像データＳ０が市松サンプリングである場合、画像取得手段６において正方サンプリングに変換していたが、画像取得手段６において正方サンプリングに変換することなく、市松サンプリングのまま画像データＳ０をメディア１０に記録するようにしてもよい。この場合、画像処理装置においては、シャープネス強調処理手段３の前段に市松サンプリングを正方サンプリングに変換するための補間手段を設け、ここで正方サンプリングの画像データＳ１を得ることができる。そして、補間手段において市松サンプリングを正方サンプリングに変換したか否かを判別手段２において判別することにより、画像を捕捉した際のサンプリング配置が市松サンプリングであるか正方サンプリングであるかを判別して、シャープネス強調処理手段３におけるシャープネス強調処理を切り替えることができる。
【００４３】
また、上記実施形態においては画像取得手段６において取得した画像データＳ１をサンプリング情報Ｊとともにメディア１０に記録して、画像読出手段１においてデータを読み出しているが、画像データＳ１をサンプリング情報Ｊとともにネットワークを介して画像読出手段１に転送してもよい。この場合、画像取得手段６の記録手段９に代えて、画像取得手段６と画像読出手段１とを接続するためのインターフェイスが用いられる。
【００４４】
次いで、本発明による画像取得装置において得られたサンプリング情報を用いて画像データに対して処理を行う画像処理装置の他の実施形態について説明する。図１１は本発明の他の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図１１に示すように、この画像出力システムは、画像取得手段６から出力された画像データＳ１に対して処理を施すものであり、上記図１に示す実施形態と同様の画像読出手段１、判別手段２、および再生手段４と、判別手段２における判別結果に基づいて、画像データＳ１に対して後述する変換処理を含む画像処理を施して処理済み画像データＳ３を得る画像処理手段２３とを備える。なお、他の実施形態の画像取得手段６の市松正方変換手段８においては、例えば上記特開平５−１４５８５７に記載されたように○画素位置の信号値を用いて図１２に示すような線形補間フィルタにより補間演算が行われて、×画素位置の信号値が求められ、正方サンプリングの画像データＳ１が得られるものとする。
【００４５】
画像処理手段２３は、判別手段２における判別結果に応じて画像データＳ１に対して下記のようにして画像処理を施して処理済み画像データＳ３を得るものである。図１３は画像処理手段２３の構成を示す概略ブロック図である。図１３に示すように、画像処理手段２３は、画像取得手段６において画像を捕捉した際のサンプリング配置が市松サンプリングであると判別された場合に、画像データＳ１の○画素位置の信号値のみを用いて、画像データＳ１に対して後述する補間フィルタＦ０による補間演算を施して、新たな正方サンプリングの画像データＳ１′を得る変換処理手段１２と、画像データＳ１′に対して階調処理、シャープネス強調処理等の画像処理を施して処理済み画像データＳ３を得る処理手段１３とを備える。なお、変換処理手段１２は画像を捕捉した際のサンプリング配置が正方サンプリングであると判別された場合には、何ら処理を行うことなく画像データＳ１をそのまま出力するものである。
【００４６】
変換処理手段１２においては、以下のようにして画像データＳ１に対して補間演算が施される。図３に示すように、市松サンプリングされた画像データＳ０は、○画素位置においては信号値を有するが、×画素位置においては信号値を有さないものである。一方、正方サンプリングの画像データＳ１は×画素位置の信号値を有するが、これは画像取得手段６において図１２に示す特性を有する線形の補間フィルタを用いた補間演算により求められたものであることから、画像データＳ１により表される画像はボケが大きいものとなっている。このため、変換処理手段１２は、図１３に示す係数を有する補間フィルタＦ０により、画像取得手段６において取得された○画素位置の信号値のみを用いて画像データＳ１に対してフィルタリング処理を施して×画素位置の信号値を求め、これを画像データＳ１における×画素位置の信号値と置き換えることにより、新たな正方サンプリングされた画像データＳ１′を得るものである。なお、このフィルタリング処理とは、補間フィルタＦ０のフィルタ係数を、○画素位置における信号値に畳み込むことをいう。
【００４７】
補間フィルタＦ０は以下のようにして作成される。まず、４画素の中点における信号値を求めるための１次元のCubicスプライン補間演算の補間係数は、−１／１６，９／１６，９／１６，−１／１６であるため、これを２次元に展開すると図１４に示すように４×４の係数行列からなる補間フィルタとなる。そして、この補間フィルタのフィルタ係数の配置を４５度回転させることにより、図１３に示すフィルタ係数の配置を有する補間フィルタＦ０が得られる。
【００４８】
ここで、Cubicスプライン補間演算のように高次の補間演算は、画像をぼかすことなく、かつ元の画像の再現範囲を損なうことなく、画像を補間することができるものである。図３に示す市松サンプリングは、×印の位置にも信号値を有する正方サンプリングと比較すると、画像の周波数特性は４５度回転した方向に傾斜しているものとなる。このため、図１４に示すCubicスプライン補間演算を行う補間フィルタのフィルタ係数の配置を４５度回転させた図１３に示す補間フィルタＦ０により、画像データＳ１の○画素位置の信号値のみを用いて補間演算を行えば、得られた画像データＳ１′により表される画像は、正方サンプリングされた画像データに対して図１４に示す補間フィルタによるフィルタリング処理を施した場合と同様に、画像のボケおよび元の画像の再現範囲の欠落のないものとなる。
【００４９】
次いで、他の実施形態の動作について説明する。図１５は他の実施形態の動作を示すフローチャートである。図１５に示すように、まず画像取得手段６において取得された画像データＳ１およびサンプリング情報Ｊが画像読出手段１において読み出されて、画像処理手段２３および判別手段２に入力される（ステップＳ１１）。判別手段２においては、サンプリング情報Ｊに基づいて、画像取得手段６において画像を捕捉した際のサンプリング配置が市松サンプリングであるか正方サンプリングであるかが判別される（ステップＳ１２）。そして、判別結果が正方サンプリングであった場合には（ステップＳ１３）、画像処理手段２３において、画像データＳ１に対して処理手段１３における画像処理のみが施されて処理済み画像データＳ３が得られる（ステップＳ１４）。処理済み画像データＳ３は再生手段４において再生され（ステップＳ１５）、処理を終了する。
【００５０】
一方、判別結果が市松サンプリングであった場合にはステップＳ１３が否定され、変換処理手段１２において画像データＳ１に対して補間フィルタＦ０による補間演算が施されて新たな正方サンプリングの画像データＳ１′が得られる（ステップＳ１６）。そして、新たな正方サンプリングの画像データＳ１′に対して処理手段１３において画像処理が施されて処理済み画像データＳ３が得られる（ステップＳ１４）。処理済み画像データＳ３は再生手段４において再生され（ステップＳ１５）、処理を終了する。
【００５１】
このように、他の実施形態においては、画像を捕捉する際のサンプリング情報Ｊに基づいて、市松サンプリングにより画像が捕捉されたものであると判別された場合には、画像取得手段６において行われた補間演算とは異なる補間フィルタＦ０を用いた補間演算により、×画素位置の信号値を生成して新たな正方サンプリングの画像データＳ１′を得るようにしたため、新たな正方サンプリングの画像データＳ１′は、画像データＳ１と比較して、画像のボケが少ないものとなる。したがって、この新たな画像データＳ１′に対して画像処理を施すことにより、ボケが少ない高画質の画像を得ることができる。
【００５２】
なお、上記他の実施形態においては、変換処理手段１２においては、図１３に示すような補間フィルタＦ０により補間演算を行っているが、図１６に示すように０を用いてフィルタ係数が市松状に配置された補間フィルタとしてもよい。また、図１７に示すように補間フィルタＦ０のフィルタ係数の間に０を補間した正方状の補間フィルタとしてもよい。ここで、図１６，１７に示す補間フィルタを使用すると、０を乗じるための計算量が多くなるが、例えば装置にＤＳＰ（Digital Signal Processor)のような積和演算専用の演算素子を実装する場合には、単純な積和演算のみにより計算を行った方が、より高速に処理を行うことができる。したがって、このような積和演算専用の演算素子を用いることにより、演算量が増えても演算時間を増加させることなく補間フィルタＦ０によりフィルタリング処理を行って、正方サンプリングの画像データＳ１を得ることができる。
【００５３】
また、上記他の実施形態においては、Cubicスプライン補間演算を行うための補間フィルタを使用しているが、Ｂスプライン補間演算、ラグランジェ補間演算等の高次の補間演算を行うための補間フィルタであれば、いかなるものをも適用することができる。また、４×４の補間フィルタを使用しているが、これに限定されるものではなく、Ｎ，Ｍのいずれか一方が３以上となる補間フィルタであれば、いかなるフィルタをも適用することができる。
【００５４】
さらにまた、上記各実施形態においては、本発明による画像処理装置を画像出力システムに設けているが、デジタルカメラやフイルムから画像を読み取るスキャナ等の撮像装置に設けてもよく、これらの撮像装置において得られた画像データを再生するモニタやプリンタ等の出力装置に設けてもよい。また、画像処理装置単体として用いてもよいことはもちろんである。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図２】画像取得手段の構成を示す概略ブロック図
【図３】市松サンプリングされた画像データの画素配置を示す図
【図４】市松サンプリングの周波数特性を示す図
【図５】正方サンプリングの画像データの画素配置を示す図
【図６】シャープネス強調処理を行う１次元フィルタの周波数特性を示す図
【図７】正方サンプリングの周波数特性および第１のシャープネス強調処理における強調周波数範囲を示す図
【図８】第２のシャープネス強調処理におけるボケ画像データの算出方法を説明するための図
【図９】第２のシャープネス強調処理における強調周波数範囲を示す図
【図１０】本実施形態の動作を示すフローチャート
【図１１】本発明の他の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図１２】線形補間フィルタを示す図
【図１３】画像処理手段の構成を示す概略ブロック図
【図１４】２次元Cubicスプライン補間演算を行う補間フィルタを示す図
【図１５】他の実施形態の動作を示すフローチャート
【図１６】補間フィルタの他の例を示す図
【図１７】補間フィルタの他の例を示す図
【図１８】市松サンプリングおよび正方サンプリングの画素配置を示す図
【図１９】市松サンプリングおよび正方サンプリングの周波数特性を示す図
【符号の説明】
１    画像読出手段
２    判別手段
３    シャープネス強調処理手段
４    再生手段
６    画像取得手段
７    ＣＣＤ
８    市松正方変換手段
９    記録手段
１０  メディア
１２  変換処理手段
１３  処理手段
２３  画像処理手段
【図１】
0003874994.tif 000002
【図２】
0003874994.tif 000003
【図３】
0003874994.tif 000004
【図４】
0003874994.tif 000005
【図５】
0003874994.tif 000006
【図６】
0003874994.tif 000007
【図７】
0003874994.tif 000008
【図８】
0003874994.tif 000009
【図９】
0003874994.tif 000010
【図１０】
0003874994.tif 000011
【図１１】
0003874994.tif 000012
【図１２】
0003874994.tif 000013
【図１３】
0003874994.tif 000014
【図１４】
0003874994.tif 000015
【図１５】
0003874994.tif 000016
【図１６】
0003874994.tif 000017
【図１７】
0003874994.tif 000018
【図１８】
0003874994.tif 000019
【図１９】
0003874994.tif 000020