(57)【特許請求の範囲】
【請求項１】
市松サンプリングの画像データの空孔画素位置における信号値を、所定の補間演算により生成することにより得られた正方サンプリングの画像データに対して変換処理を施す画像変換方法において、
前記変換処理は、前記所定の補間演算により生成された信号値に代えて、前記所定の補間演算とは異なる補間演算により前記空孔画素位置における信号値を生成して新たな正方サンプリングの画像データを得る処理であることを特徴とする画像変換方法。
【請求項２】
前記異なる補間演算は、前記画像データにおける前記所定の補間演算により生成された信号値以外の信号値に対して、Ｎ×Ｍ（Ｎ，Ｍの少なくとも一方は３以上）の高次の補間フィルタにおけるフィルタ係数の配置を、４５度回転させたフィルタ係数の配置を有する補間フィルタによってフィルタリング処理を施す補間演算であることを特徴とする請求項１記載の画像変換方法。
【請求項３】
前記フィルタ係数が、４×４のCubicスプライン補間演算を行う補間フィルタのフィルタ係数であることを特徴とする請求項２記載の画像変換方法。
【請求項４】
前記画像データにより表される画像を、市松サンプリングにより捕捉したか正方サンプリングにより捕捉したかを表すサンプリング情報が前記正方サンプリングの画像データに付与されてなり、
該サンプリング情報により前記画像が市松サンプリングにより捕捉されたと判別された場合にのみ、前記新たな正方サンプリングの画像データを得る処理を行うことを特徴とする請求項１から３のいずれか１項記載の画像変換方法。
【請求項５】
市松サンプリングの画像データの空孔画素位置における信号値を、所定の補間演算により生成することにより得られた正方サンプリングの画像データに対して変換処理を施す変換処理手段を備えた画像変換装置において、
前記変換処理手段は、前記所定の補間演算により生成された信号値に代えて、前記所定の補間演算とは異なる補間演算により前記空孔画素位置における信号値を生成して新たな正方サンプリングの画像データを得る変換処理を行う手段であることを特徴とする画像変換装置。
【請求項６】
前記変換処理手段における前記異なる補間演算は、前記画像データにおける前記所定の補間演算により生成された信号値以外の信号値に対して、Ｎ×Ｍ（Ｎ，Ｍの少なくとも一方は３以上）の高次の補間フィルタにおけるフィルタ係数の配置を、４５度回転させたフィルタ係数の配置を有する補間フィルタによってフィルタリング処理を施す補間演算であることを特徴とする請求項５記載の画像変換装置。
【請求項７】
前記フィルタ係数が、４×４のCubicスプライン補間演算を行う補間フィルタのフィルタ係数であることを特徴とする請求項６記載の画像変換装置。
【請求項８】
前記画像データにより表される画像を、市松サンプリングにより捕捉したか正方サンプリングにより捕捉したかを表すサンプリング情報が前記正方サンプリングの画像データに付与されてなり、
該サンプリング情報により前記画像が市松サンプリングにより捕捉されたか否かを判別する判別手段をさらに備え、
前記変換処理手段は、前記判別手段により前記画像が市松サンプリングにより捕捉されされたと判別された場合にのみ、前記新たな正方サンプリングの画像データを得る処理を行う手段であることを特徴とする請求項５から７のいずれか１項記載の画像変換装置。
【請求項９】
市松サンプリングの画像データの空孔画素位置における信号値を、所定の補間演算により生成することにより得られた正方サンプリングの画像データに対して変換処理を施す手順を有する画像変換方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記変換処理を施す手順は、前記所定の補間演算により生成された信号値に代えて、前記所定の補間演算とは異なる補間演算により前記空孔画素位置における信号値を生成して新たな正方サンプリングの画像データを得る処理を行う手順であることを特徴とするコンピュータ読取り可能な記録媒体。
【請求項１０】
前記異なる補間演算は、前記画像データにおける前記所定の補間演算により生成された信号値以外の信号値に対して、Ｎ×Ｍ（Ｎ，Ｍの少なくとも一方は３以上）の高次の補間フィルタにおけるフィルタ係数の配置を、４５度回転させたフィルタ係数の配置を有する補間フィルタによってフィルタリング処理を施す補間演算であることを特徴とする請求項９記載のコンピュータ読取り可能な記録媒体。
【請求項１１】
前記フィルタ係数が、４×４のCubicスプライン補間演算を行う補間フィルタのフィルタ係数であることを特徴とする請求項１０記載のコンピュータ読取り可能な記録媒体。
【請求項１２】
前記画像データにより表される画像を、市松サンプリングにより捕捉したか正方サンプリングにより捕捉したかを表すサンプリング情報が前記正方サンプリングの画像データに付与されてなり、
該サンプリング情報により前記画像が市松サンプリングにより捕捉されたか否かを判別する手順をさらに有し、
前記変換処理を行う手順は、前記判別する手順により前記画像が市松サンプリングにより捕捉されされたと判別された場合にのみ、前記新たな正方サンプリングの画像データを得る処理を行う手順であることを特徴とする請求項９から１１のいずれか１項記載のコンピュータ読取り可能な記録媒体。
【請求項１３】
請求項５から８のいずれか１項記載の画像変換装置を備えたことを特徴とする撮像装置。
【請求項１４】
請求項５から８のいずれか１項記載の画像変換装置を備えたことを特徴とする出力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、市松サンプリングを正方サンプリングに変換することにより得られた画像データに対して変換処理を施す画像変換方法および装置、並びに画像変換方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタル電子スチルカメラ（以下デジタルカメラとする）においては、撮影により取得した画像をデジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカード等の記録媒体に記憶し、記憶されたデジタル画像データに対して、階調処理やシャープネス強調処理等の画像処理を施した後に、プリント等のハードコピーとしてあるいはディスプレイ上にソフトコピーとして撮影により取得した画像を再現することができる。このように、デジタルカメラにより取得した画像を再現する場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。このため、デジタルカメラにおいて得られた画像データに、画像を取得した際のストロボの有無、照明の種類等の撮像情報を付与して出力し、画像処理を行う際には画像データに付与されている撮影情報を参照して、画像データに対してより適切な画像処理を施すようにした画像再生方法が提案されている（特開平１０−１９１２４６号）。
【０００３】
一方、デジタルカメラやスキャナにおいて画像データを得るためには、所定のサンプリング配置により画像を捕捉する必要がある。このような画像を捕捉するためのサンプリング配置としては、図３に示すような画素配列において、○印の位置に信号値を有し×印の位置（以下空孔画素位置とする）には信号値を有さないように画像を捕捉する市松サンプリングが知られている。この市松サンプリングは実際には図１１（ａ）に示すように画素が配列されてなるものであり、図１１（ｂ）に示すような画素配列（正方サンプリングと称する）と比較すると、画素が密となるため同一の面積であれば得られる情報が多くなる。なお、市松サンプリングの画像データは、市松状に光電変換素子が配置されたＣＣＤを有するデジタルカメラにより撮影を行う等により得られるが、デジタルカメラにおいて正方状に光電変換素子が配置されたＣＣＤを使用し、１回の撮影において一度画像データを取り込んだ後、ＣＣＤを斜め４５度方向にずらして２回目の画像データを取り込むことによっても得ることができる。また、正方状に光電変換素子が配置されたＣＣＤにより得られた画像データのサンプリングを市松状にすることによっても得ることができる。
【０００４】
しかしながら、ＣＲＴモニタやプリント用紙等の画像出力媒体に出力する画像出力装置や画像処理装置においては、○印および×印の全ての位置において信号値を有する正方サンプリングがなされた画像データを表示対象あるいは処理対象としているため、市松サンプリングがなされた画像データを表示等するためには、○印の位置における信号値に対して補間演算を施すことにより×印の位置における信号値を算出し、画像データを市松サンプリングから正方サンプリングに変換する必要がある。
【０００５】
このため、カメラにおいてマイクロレンズをＣＣＤの前段に市松状に配置し、ＣＣＤにおいて得られた市松状の信号値に対して、図４に示すような線形補間フィルタによって、上下左右の信号値の平均値を求めるようなフィルタリング処理を施して、図３の×位置における信号値を算出することにより、市松サンプリングされた画像データを正方サンプリングされた画像データに変換する方法が提案されている（特開平５−１４５８５７号）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特開平５−１４５８５７号に記載された方法は、図４に示す概略菱形の特性を有する補間フィルタを用いて、図３の×印の空孔画素位置における上下左右の信号値の単純な平均値を算出することにより空孔画素位置の信号値を求めているため、市松サンプリングされた画像データのナイキスト周波数内の情報を保持することはできるものの、得られた画像データにより表される画像がボケてしまうという問題がある。したがって、このようにして得られた画像データに対して画像処理を施したり、画像データを再生したりしても、高画質の画像を得ることは困難である。
【０００７】
本発明は上記事情に鑑みなされたものであり、市松サンプリングの画像データを正方サンプリングの画像データに変換した場合にも、高画質の画像を得ることができるように画像データを変換できる画像変換方法および装置、並びに画像変換方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による画像変換方法は、市松サンプリングの画像データの空孔画素位置における信号値を、所定の補間演算により生成することにより得られた正方サンプリングの画像データに対して変換処理を施す画像変換方法において、
前記変換処理は、前記所定の補間演算により生成された信号値に代えて、前記所定の補間演算とは異なる補間演算により前記空孔画素位置における信号値を生成して新たな正方サンプリングの画像データを得る処理であることを特徴とするものである。
【０００９】
「所定の補間演算」とは、例えば上記特開平５−１４５８５７号に記載されたように、比較的簡易な演算により空孔画素位置の信号値を算出する補間演算のことをいう。
【００１０】
「異なる補間演算」とは、例えば、Ｎ×Ｍ（Ｎ，Ｍの少なくとも一方は３以上）の高次の補間フィルタにおけるフィルタ係数の配置を、４５度回転させたフィルタ係数の配置を有する補間フィルタによってフィルタリング処理を施す補間演算、画像の横方向にフィルタリング処理を施して空孔画素位置における信号値を算出した後、縦方向にも同様にフィルタリング処理を施すことにより、全ての空孔画素位置における信号値を求める補間演算等、画像のボケが少なくなるように空孔画素位置の信号値を算出する補間演算のことをいう。
【００１１】
ここで、「Ｎ，Ｍの少なくとも一方が３以上である」としたのは、Ｎ＝２，Ｍ＝２の場合は、高次の補間フィルタとはならず、線形補間フィルタとなるからである。また、Ｎ，Ｍは正の整数であることはもちろんである。
【００１２】
この場合、前記フィルタ係数が、４×４のCubicスプライン補間演算を行う補間フィルタのフィルタ係数であることが好ましい。
【００１３】
なお、本発明においては、画像データが元々正方サンプリングされたものである場合には、何ら処理が行われないものである。
【００１４】
なお、本発明による画像変換方法においては、前記画像データにより表される画像を、市松サンプリングにより捕捉したか正方サンプリングにより捕捉したかを表すサンプリング情報が前記正方サンプリングの画像データに付与されてなる場合は、該サンプリング情報により前記画像が市松サンプリングにより捕捉されたと判別された場合にのみ、前記新たな正方サンプリングの画像データを得る処理を行うことが好ましい。
【００１５】
ここで、「サンプリング情報を付与する」方法としては、画像データのファイルヘッダにサンプリング情報を記述する、画像データを記録する記録メディアに画像データとは別のファイルを作成してここにサンプリング情報を記述する、複数の画像データを１つの記録メディアに記録する際に、画像データに関する情報を記述するファイルを作成し、このファイルにサンプリング情報を記述する等種々の方法を採用することができる。
【００１６】
また、「サンプリング情報」としては、市松サンプリングや正方サンプリングを区別することができる情報であることが好ましく、市松サンプリングおよび正方サンプリングをそれぞれ表す記号、この記号に加えて画像捕捉時の画素数、あるいは各サンプリング配置の周波数特性を表す情報等を採用することができる。
【００１７】
本発明による画像変換装置は、市松サンプリングの画像データの空孔画素位置における信号値を、所定の補間演算により生成することにより得られた正方サンプリングの画像データに対して変換処理を施す変換処理手段を備えた画像変換装置において、
前記変換処理手段は、前記所定の補間演算により生成された信号値に代えて、前記所定の補間演算とは異なる補間演算により前記空孔画素位置における信号値を生成して新たな正方サンプリングの画像データを得る変換処理を行う手段であることを特徴とするものである。
【００１８】
なお、本発明による画像変換装置においては、前記変換処理手段における前記異なる補間演算は、前記画像データにおける前記所定の補間演算により生成された信号値以外の信号値に対して、Ｎ×Ｍ（Ｎ，Ｍの少なくとも一方は３以上）の高次の補間フィルタにおけるフィルタ係数の配置を、４５度回転させたフィルタ係数の配置を有する補間フィルタによってフィルタリング処理を施す補間演算であることが好ましい。
【００１９】
この場合、前記フィルタ係数が、４×４のCubicスプライン補間演算を行う補間フィルタのフィルタ係数であることが好ましい。
【００２０】
まあ、本発明による画像変換装置においては、前記画像データにより表される画像を、市松サンプリングにより捕捉したか正方サンプリングにより捕捉したかを表すサンプリング情報が前記正方サンプリングの画像データに付与されてなる場合り、
該サンプリング情報により前記画像が市松サンプリングにより捕捉されたか否かを判別する判別手段をさらに備え、
前記変換処理手段は、前記判別手段により前記画像が市松サンプリングにより捕捉されされたと判別された場合にのみ、前記新たな正方サンプリングの画像データを得る処理を行う手段であることが好ましい。
【００２１】
なお、本発明による画像変換方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００２２】
また、本発明による画像変換装置をデジタルカメラ等の撮像装置に設けてもよく、プリンタ等の出力装置に設けてもよい。
【００２３】
【発明の効果】
本発明によれば、所定の補間演算により生成された信号値に代えて、所定の補間演算とは異なる補間演算により空孔画素位置における信号値を生成して新たな正方サンプリングの画像データを得るようにしたため、新たな正方サンプリングの画像データは、所定の補間演算が施された画像データと比較して、画像のボケが少ないものとなる。したがって、この新たな画像データにより画像を再生したり、画像処理を行ったりすることにより、ボケが少ない高画質の画像を得ることができる。
【００２４】
ここで、正方サンプリングされた画像データに対して補間演算を施す場合、Ｎ×Ｍの高次の補間フィルタを使用すれば、画像をぼかすことなく、かつ元の画像の再現範囲を損なうことなく、画像を補間することができる。一方、画像データにおける所定の補間演算により生成された信号値以外の信号値は、所定の補間演算を施す前の市松サンプリングの画像データそのものである。したがって、異なる補間演算を、このような高次の補間フィルタのフィルタ係数の配置を４５度回転させたフィルタ係数の配置を有する補間フィルタによる補間演算とすることにより、画像の周波数特性が正方サンプリングと比較して４５度回転した方向に傾斜している市松サンプリングの画像データに対して、画像をぼかすことなく、かつ元の画像の再現範囲を損なうことなく補間演算を施して、新たな正方サンプリングの画像データを得ることができる。
【００２５】
また、画像捕捉時のサンプリング配置に関するサンプリング情報を画像データに付与することにより、サンプリング情報を参照すれば、その画像データが市松サンプリングにより捕捉されたものか、正方サンプリングにより捕捉されたものかを直ちに知ることができ、新たな正方サンプリングの画像データを得るための演算の可否を容易に判断することができる。
【００２６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像変換装置を適用した画像出力システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像出力システムは、所定のサンプリング配置により画像を捕捉することにより画像データＳ１を取得するとともに、サンプリング配置に関するサンプリング情報Ｊを画像データＳ１に付与して出力する画像取得手段６から出力された画像データＳ１に対して処理を施すものであり、画像データＳ１を読み出すための画像読出手段１と、画像データＳ１に付与されたサンプリング情報Ｊに基づいて、画像取得手段６において画像を捕捉した際のサンプリング配置が市松サンプリングか正方サンプリングであるかを判別する判別手段２と、判別手段２における判別結果に基づいて、画像データＳ１に対して後述する変換処理を含む画像処理を施して処理済み画像データＳ２を得る画像処理手段３と、処理済み画像データＳ２を再生する再生手段４とを備える。
【００２７】
図２は画像取得手段６の一例を示すブロック図である。図２に示すように画像取得手段６は例えばデジタルカメラであり、シーンの画像を市松サンプリングにより捕捉して画像を表す画像データＳ０を得るＣＣＤ７と、市松サンプリングの画像データＳ０に対して補間演算を施して、画像データＳ０のサンプリング配置を市松サンプリングから正方サンプリングに変換して正方サンプリングの画像データＳ１を得る市松正方変換手段８と、画像を捕捉した際のサンプリング配置に関する情報をサンプリング情報Ｊとして、これを画像データＳ１に付与してメモリカード等のメディア１０に記録する記録手段９とを備える。なお、ＣＣＤ７が元々正方サンプリングである場合には、画像取得手段６には市松正方変換手段８は設けられず、ＣＣＤ７において得られた画像データＳ０が、サンプリング情報Ｊとともにそのまま画像データＳ１としてメディア１０に記録される。
【００２８】
一方、画像取得手段６が画像を光電的に読み取るスキャナである場合に、画像を市松サンプリングにより捕捉するには、１ラインの走査毎にサンプルホールドする位置を半画素ずらすことにより、得られる画像データＳ０は市松サンプリングされたものとなる。この場合、スキャナには図２に示す市松正方変換手段８が設けられ、これにより画像データＳ０のサンプリング配置が市松サンプリングから正方サンプリングに変換されて、正方サンプリングの画像データＳ１が得られる。
【００２９】
なお、画像データＳ０が市松サンプリングされたものである場合、図３に示すように○の画素位置には信号値を有するが、×の画素位置には信号値を有さないものとなる。したがって、市松正方変換手段８においては、例えば上記特開平５−１４５８５７に記載されたように○画素位置の信号値を用いて図４に示すような線形補間フィルタにより補間演算が行われて、×画素位置の信号値が求められ、正方サンプリングの画像データＳ１が得られる。
【００３０】
記録手段９は、画像データＳ１にサンプリング情報Ｊを付与してメディア１０に記録するものである。この付与方法としては、画像データＳ１のファイルヘッダにサンプリング情報Ｊを記述する、メディア１０内の別々のファイルに画像データＳ１およびサンプリング情報Ｊを記述する、メディア１０に複数の画像データＳ１を記録する際に、画像データＳ１に関する情報を記述するファイルを作成し、このファイルにサンプリング情報Ｊを記述する等種々の方法を採用することができる。
【００３１】
ここで、サンプリング情報Ｊとしては、市松サンプリングおよび正方サンプリングの区別を表す記号、市松サンプリングおよび正方サンプリングの区別を表す記号と画像捕捉時の画素数、画像データＳ０の周波数特性を示す情報等が挙げられる。
【００３２】
なお、サンプリング情報Ｊとしてはこれらに限定されるものではなく、画像データＳ０が正方サンプリングである場合には、何ら情報を付与しないものであってもよく、画像取得手段６の機種に応じてサンプリング配置が特定できる場合には、その機種に関する情報であってもよい。
【００３３】
図１に戻り、判別手段２は、サンプリング情報Ｊに基づいて、画像の捕捉時におけるサンプリング配置を判別する。ここで、サンプリング情報Ｊが市松サンプリングおよび正方サンプリングを表す記号であればその記号を判別し、サンプリング情報Ｊにこの記号に加えて画像捕捉時の画素数が含まれている場合には、記号を判別するとともに画像データＳ１の周波数特性も判別する。また、サンプリング情報Ｊが画像データＳ１の周波数特性を示す情報である場合には、その周波数特性により表されるレスポンスの形状からサンプリング配置を判別する。
【００３４】
画像処理手段３は、判別手段２における判別結果に応じて画像データＳ１に対して下記のようにして画像処理を施して処理済み画像データＳ２を得るものである。図５は画像処理手段３の構成を示す概略ブロック図である。図５に示すように、画像処理手段３は、画像取得手段６において画像を捕捉した際のサンプリング配置が市松サンプリングであると判別された場合に、画像データＳ１の○画素位置の信号値のみを用いて、画像データＳ１に対して後述する補間フィルタＦ０による補間演算を施して、新たな正方サンプリングの画像データＳ１′を得る変換処理手段１２と、画像データＳ１′に対して階調処理、シャープネス強調処理等の画像処理を施して処理済み画像データＳ２を得る処理手段１３とを備える。なお、変換処理手段１２は画像を捕捉した際のサンプリング配置が正方サンプリングであると判別された場合には、何ら処理を行うことなく画像データＳ１をそのまま出力するものである。
【００３５】
変換処理手段１２においては、以下のようにして画像データＳ１に対して補間演算が施される。図３に示すように、市松サンプリングされた画像データＳ０は、○画素位置においては信号値を有するが、×画素位置においては信号値を有さないものである。一方、正方サンプリングの画像データＳ１は×画素位置の信号値を有するが、これは画像取得手段６において図４に示す特性を有する線形の補間フィルタを用いた補間演算により求められたものであることから、画像データＳ１により表される画像はボケが大きいものとなっている。このため、変換処理手段１２は、図５に示す係数を有する補間フィルタＦ０により、画像取得手段６において取得された○画素位置の信号値のみを用いて画像データＳ１に対してフィルタリング処理を施して×画素位置の信号値を求め、これを画像データＳ１における×画素位置の信号値と置き換えることにより、新たな正方サンプリングされた画像データＳ１′を得るものである。なお、このフィルタリング処理とは、補間フィルタＦ０のフィルタ係数を、○画素位置における信号値に畳み込むことをいう。
【００３６】
補間フィルタＦ０は以下のようにして作成される。まず、４画素の中点における信号値を求めるための１次元のCubicスプライン補間演算の補間係数は、−１／１６，９／１６，９／１６，−１／１６であるため、これを２次元に展開すると図６に示すように４×４の係数行列からなる補間フィルタとなる。そして、この補間フィルタのフィルタ係数の配置を４５度回転させることにより、図５に示すフィルタ係数の配置を有する補間フィルタＦ０が得られる。
【００３７】
ここで、Cubicスプライン補間演算のように高次の補間演算は、画像をぼかすことなく、かつ元の画像の再現範囲を損なうことなく、画像を補間することができるものである。図３に示す市松サンプリングは、×印の位置にも信号値を有する正方サンプリングと比較すると、画像の周波数特性は４５度回転した方向に傾斜しているものとなる。このため、図６に示すCubicスプライン補間演算を行う補間フィルタのフィルタ係数の配置を４５度回転させた図５に示す補間フィルタＦ０により、画像データＳ１の○画素位置の信号値のみを用いて補間演算を行えば、得られた画像データＳ１′により表される画像は、正方サンプリングされた画像データに対して図６に示す補間フィルタによるフィルタリング処理を施した場合と同様に、画像のボケおよび元の画像の再現範囲の欠落のないものとなる。
【００３８】
再生手段４は、デジタル写真銀塩プリンタ、インクジェットプリンタ等のハードコピーデバイス、ＣＲＴ、液晶ディスプレイ等のソフトコピーデバイス等、処理済み画像データＳ２を可視像として再生可能なものである。
【００３９】
次いで、本実施形態の動作について説明する。図７は本実施形態の動作を示すフローチャートである。図７に示すように、まず画像取得手段６において取得された画像データＳ１およびサンプリング情報Ｊが画像読出手段１において読み出されて、画像処理手段３および判別手段２に入力される（ステップＳ１）。判別手段２においては、サンプリング情報Ｊに基づいて、画像取得手段６において画像を捕捉した際のサンプリング配置が市松サンプリングであるか正方サンプリングであるかが判別される（ステップＳ２）。そして、判別結果が正方サンプリングであった場合には（ステップＳ３）、画像処理手段３において、画像データＳ１に対して処理手段１３における画像処理のみが施されて処理済み画像データＳ２が得られる（ステップＳ４）。処理済み画像データＳ２は再生手段４において再生され（ステップＳ５）、処理を終了する。
【００４０】
一方、判別結果が市松サンプリングであった場合にはステップＳ３が否定され、変換処理手段１２において画像データＳ１に対して補間フィルタＦ０による補間演算が施されて新たな正方サンプリングの画像データＳ１′が得られる（ステップＳ６）。そして、新たな正方サンプリングの画像データＳ１′に対して処理手段１３において画像処理が施されて処理済み画像データＳ２が得られる（ステップＳ４）。処理済み画像データＳ２は再生手段４において再生され（ステップＳ５）、処理を終了する。
【００４１】
このように、本実施形態においては、画像を捕捉する際のサンプリング情報Ｊに基づいて、市松サンプリングにより画像が捕捉されたものであると判別された場合には、画像取得手段６において行われた補間演算とは異なる補間フィルタＦ０を用いた補間演算により、×画素位置の信号値を生成して新たな正方サンプリングの画像データＳ１′を得るようにしたため、新たな正方サンプリングの画像データＳ１′は、画像データＳ１と比較して、画像のボケが少ないものとなる。したがって、この新たな画像データＳ１′に対して画像処理を施すことにより、ボケが少ない高画質の画像を得ることができる。
【００４２】
また、画像捕捉時のサンプリング配置に関するサンプリング情報Ｊを画像データＳ１に付与することにより、サンプリング情報Ｊを参照すれば画像データＳ１により表される画像が市松サンプリングにより捕捉されたものか、正方サンプリングにより捕捉されたものかを直ちに知ることができ、新たな正方サンプリングの画像データＳ１′を得るための演算の可否を容易に判断することができる。
【００４３】
なお、上記実施形態においては、変換処理手段１２においては、図５に示すような補間フィルタＦ０により補間演算を行っているが、図８に示すように０を用いてフィルタ係数が市松状に配置された補間フィルタとしてもよい。また、図９に示すように補間フィルタＦ０のフィルタ係数の間に０を補間した正方状の補間フィルタとしてもよい。ここで、図８，９に示す補間フィルタを使用すると、０を乗じるための計算量が多くなるが、例えば装置にＤＳＰ（Digital Signal Processor)のような積和演算専用の演算素子を実装する場合には、単純な積和演算のみにより計算を行った方が、より高速に処理を行うことができる。したがって、このような積和演算専用の演算素子を用いることにより、演算量が増えても演算時間を増加させることなく補間フィルタＦ０によりフィルタリング処理を行って、正方サンプリングの画像データＳ１を得ることができる。
【００４４】
また、上記実施形態においては、Cubicスプライン補間演算を行うための補間フィルタを使用しているが、Ｂスプライン補間演算、ラグランジェ補間演算等の高次の補間演算を行うための補間フィルタであれば、いかなるものをも適用することができる。また、４×４の補間フィルタを使用しているが、これに限定されるものではなく、Ｎ，Ｍのいずれか一方が３以上となる補間フィルタであれば、いかなるフィルタをも適用することができる。
【００４５】
なお、上記実施形態においては、変換処理手段１２において、補間フィルタＦ０により補間演算を行っているが、○画素位置の信号値のみを用いて画像の横方向にフィルタリング処理を施して×画素位置における信号値を算出した後、縦方向にも同様にフィルタリング処理を施すことにより、全ての×画素位置における信号値を求める補間演算を行うようにしてもよい。
【００４６】
ここで、市松サンプリングされた画像データのナイキスト周波数を２次元で表すと図１０（ａ）に示すような菱形状のレスポンスとなるのに対して、上述した画像の横方向にフィルタリング処理を施した後、縦方向にフィルタリング処理を施した場合のフィルタ特性は、図１０（ｂ）に示すような矩形状のレスポンスとなる。なお、図１０においてｆｓ／２は正方サンプリングされた画像データのナイキスト周波数であり、図１０（ａ）においては市松サンプリングの画像が再現可能な周波数帯域を実線で示し、図１０（ｂ）においてはフィルタのレスポンスが１／２となる位置を実線にて示している。したがって、市松サンプリングされた画像データに対して上述した画像の縦横方向についてのフィルタリング処理を施した場合、図１０（ａ）の周波数特性に図１０（ｂ）の周波数特性を乗じた範囲がフィルタリング処理後の画像が再現可能な周波数帯域となる。しかしながら、この場合図１０（ｃ）の斜線で示す部分がフィルタリング処理により失われてしまうため、元の画像の再現範囲を損なってしまう。このため、フィルタ特性を変更して図１０（ｄ）に示すようにフィルタのレスポンスが１／２となる位置を変更することが考えられるが、これによると図１０（ｅ）に示す斜線部分が図１０（ａ）に示す特性からはみ出して折り返し歪みが起こりエリアジングが発生するため、得られる画像の画質が劣化してしまう。したがって、上記補間フィルタＦ０を用いて補間演算を行うことにより、画像をぼかすことなく、かつ元の画像の再現範囲を損なうことなく補間演算を行うことができるため、より好ましい。
【００４７】
また、上記実施形態においては、画像取得手段６において取得した画像データＳ１をサンプリング情報Ｊとともにメディア１０に記録して、画像読出手段１においてデータを読み出しているが、画像データＳ１をサンプリング情報Ｊとともにネットワークを介して画像読出手段１に転送してもよい。この場合、画像取得手段６の記録手段９に代えて、画像取得手段６と画像読出手段１とを接続するためのインターフェイスが用いられる。
【００４８】
さらに、上記実施形態においては、画像取得手段６において画像データＳ１にサンプリング情報Ｊを付与し、判別手段２において市松サンプリングであるか正方サンプリングであるかを判別しているが、画像データＳ１が全て市松サンプリングにより得られたものであることが分かっているような場合には、とくに画像データＳ１にサンプリング情報Ｊを付与することなく、かつ判別手段２により市松サンプリングであるか正方サンプリングであるかの判別を行うことなく、画像処理手段３において処理を行うようにしてもよい。
【００４９】
さらにまた、上記実施形態においては、本発明による画像変換装置を画像出力システムに設けているが、デジタルカメラやフイルムから画像を読み取るスキャナ等の撮像装置に設けてもよく、これらの撮像装置において得られた画像データを再生するモニタやプリンタ等の出力装置に設けてもよい。また、画像変換装置単体として用いてもよいことはもちろんである。
【図面の簡単な説明】
【図１】本発明の実施形態による画像変換装置を適用した画像出力システムの構成を示す概略ブロック図
【図２】画像取得手段の構成を示す概略ブロック図
【図３】市松サンプリングされた画像データの画素配置を示す図
【図４】線形補間フィルタを示す図
【図５】画像処理手段の構成を示す概略ブロック図
【図６】２次元Cubicスプライン補間演算を行う補間フィルタを示す図
【図７】本実施形態の動作を示すフローチャート
【図８】補間フィルタの他の例を示す図
【図９】補間フィルタの他の例を示す図
【図１０】市松サンプリングおよび正方サンプリングの周波数特性を示す図
【図１１】市松サンプリングおよび正方サンプリングの画素配置を示す図
【符号の説明】
１    画像読出手段
２    判別手段
３    画像処理手段
４    再生手段
６    画像取得手段
７    ＣＣＤ
８    市松正方変換手段
９    記録手段
１０  メディア
１２  変換処理手段
１３  処理手段
【図１】
0004202582.tif 000002
【図２】
0004202582.tif 000003
【図３】
0004202582.tif 000004
【図４】
0004202582.tif 000005
【図５】
0004202582.tif 000006
【図６】
0004202582.tif 000007
【図７】
0004202582.tif 000008
【図８】
0004202582.tif 000009
【図９】
0004202582.tif 000010
【図１０】
0004202582.tif 000011
【図１１】
0004202582.tif 000012