(57)【要約】【課題】ノイズのムラを発生させることなく、従来よりも補間演算処理時間を短縮する。【解決手段】デジタル画像データに対して、補間演算処理を行うことによって補間画素および補間演算済画像データを生成する画像処理方法において、補間演算済画像を生成するために必要な格子点画素に平滑化処理を施してから、上記格子点画素から補間画素を生成することにより、上記補間演算済画像データの鮮鋭度のばらつきを小さくするステップを備え、上記平滑化処理は、上記格子点画素およびその周囲の画素に対し、所定の係数をかけるフィルタ処理であり、上記所定の係数は、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数であることを特徴とする。【選択図】　図１
2004078357.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データに対して、補間演算処理を行うことによって補間画素および補間演算済画像データを生成する画像処理方法において、
補間画素を生成するために必要な格子点画素に平滑化処理を施してから、上記格子点画素から補間画素を生成することにより、上記補間演算済画像データの鮮鋭度のばらつきを小さくするステップを備え、
上記平滑化処理は、上記格子点画素およびその周囲の画素に対し、所定の係数をかけるフィルタ処理であり、
上記所定の係数は、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数であることを特徴とする画像処理方法。
【請求項２】
上記重み関数は、補間演算済画像データの分散が一定となるように設定されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
上記補間画素を算出する演算式を、
【数１】
2004078357.tif 000021
として表す場合、
【数２】
2004078357.tif 000022
となるように、上記重み関数を設定することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
請求項１ないし３に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項５】
請求項４に記載の画像処理プログラムをコンピュータに読み取り可能に記録してなることを特徴とする画像処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像データに対して、補間演算処理を行うことによって補間画素を生成する画像処理方法に関するものである。
【０００２】
【従来の技術】
昨今、写真処理の分野では、写真フィルムに記録された画像から取り込んだデジタル画像データに基づいて、写真画像のプリントを行う、いわゆるデジタル露光が普及されている。ここで、デジタル画像データから構成される画像のサイズを拡大縮小する場合、線形内挿法により補間画素の画素値を求めることによって、画素数を変化させる手法が広く行われている。線形内挿法は、補間対象の画素のデータを、周囲の４個の画素のデータに基づいて線形補間によって算出する手法である。この線形内挿法は、エッジのシャープネスについてやや難があるものの、計算が簡単なわりには画質が良好で、最もよく用いられている。
【０００３】
ここで、この線形内挿法について説明する。元画像の画素値がＰ（ｉ，ｊ）（ｉ，ｊは座標値）で表されており、この元画像をｒ倍した拡大（縮小）画像の画素値Ｑ（ｘ，ｙ）を計算する。なお、ｒ＞１のときには拡大処理、０＜ｒ＜１のときには縮小処理となる。このとき、Ｑ（ｘ，ｙ）は次に示す式によって求められる。
Ｑ（ｘ，ｙ）＝（１−ｔ）｛（１−ｓ）Ｐ（ｉ，ｊ）＋ｓＰ（ｉ＋１，ｊ）　｝＋ｔ｛（１−ｓ）Ｐ（ｉ，ｊ＋１）＋ｓＰ（ｉ＋１，ｊ＋１）　｝
なお、上式において、ｉ＝［ｘ／ｒ］，ｊ＝［ｙ／ｒ］（［ａ］は、ａ以下で最大の整数を表す），ｓ＝ｘ／ｒ−ｉ，ｔ＝ｙ／ｒ−ｊである。
【０００４】
上式の関係を示したものが図１４である。上記の線形内挿法において、Ｑ（ｘ，ｙ）に相当する画素の位置が、元画像における点Ｐ（ｉ，ｊ）に一致するような場合（ｓ＝ｔ＝０）、Ｐ（ｉ，ｊ）の画素値がそのままＱ（ｘ，ｙ）の画素値に用いられる。一方、Ｑ（ｘ，ｙ）に相当する画素の位置が、元画像における４点Ｐ（ｉ，ｊ），Ｐ（ｉ＋１，ｊ），Ｐ（ｉ，ｊ＋１），Ｐ（ｉ＋１，ｊ＋１）を結ぶ四角形の内部領域における中心点に位置する場合（ｓ＝ｔ＝０．５）、これら４点の画素値を２５％ずつ足し合わせた値がＱ（ｘ，ｙ）の画素値となる。
【０００５】
ここで、Ｑ（ｘ，ｙ）に相当する補間画素の位置が、元画像における格子点座標Ｐ（ｉ，ｊ），Ｐ（ｉ＋１，ｊ），Ｐ（ｉ，ｊ＋１），Ｐ（ｉ＋１，ｊ＋１）のいずれかに近ければ近いほど、Ｑ（ｘ，ｙ）の画素値が、その近い点の画素値の割合が高い値となるので、鮮鋭度の変化は少ないことになる。一方、Ｑ（ｘ，ｙ）に相当する補間画素の位置が、元画像における上記格子点座標を結ぶ四角形の内部領域の中心位置に近ければ近いほど、Ｑ（ｘ，ｙ）の画素値が、元画像におけるより多くの画素の画素値の影響を受けた値となるので、このような処理は、画像を平滑化する処理に相当することになり、鮮鋭度が若干落ちた画像となる。
【０００６】
以上のように、線形内挿法によって拡大（縮小）処理された画像は、各画素の位置に応じて鮮鋭度が異なっていることになる。特にノイズや細かい模様などを含む画像に対しては、鮮鋭度が低くなった部分において画像が平滑化されてしまうので、残ったノイズや細かい模様などがムラとして画像中に現れ、画質が著しく低下することになる。
【０００７】
【発明が解決しようとする課題】
ところで、このようなムラを解消する手段として、線形内挿法により作成される拡大（縮小）画像に対し、図１５に示すような平滑化フィルタによって、画素ごとの鮮鋭度を変化させる方法が提案されている。ここで、平滑化フィルタに用いられる関数ｕ（ｓ，ｒ）およびｖ（ｔ，ｒ）は、補間画素の位置および、上記拡大（縮小）処理における拡大（縮小）率に応じて変化する関数である。つまり、拡大（縮小）画像に上記関数を挿入した平滑化フィルタをかけることによって、補間処理により鮮鋭度の変化の少ない補間画素（いずれかの格子点座標に近い補間画素）に対しては鮮鋭度を下げ、補間処理により鮮鋭度の変化の大きい補間画素（各格子点座標の中間位置に近い補間画素）に対しては鮮鋭度を維持する処理を行うことが可能となる。これによって拡大（縮小）画像の鮮鋭度のばらつきを小さくできるので画像中のノイズムラを解消することができる。
【０００８】
しかしながら、線形内挿法により作成された拡大（縮小）画像に対して、平滑化フィルタ用いて平滑化処理を行えば、補間処理の後に平滑化処理を行う必要がある。すなわち、補間画素を生成する処理と、各補間画素の画像データの鮮鋭度のばらつきを小さくする処理を別々に行わなければならず、処理に時間がかかってしまうという問題が生じていた。
【０００９】
本発明は、上記問題点を解決するためになされたものであり、補間演算によって生じる補間演算済画像データから構成される画像の鮮鋭度のばらつきを小さくして、ノイズのムラを発生させることなく、従来よりも処理時間を短縮できる画像処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の画像処理方法は、上記課題を解決するために、デジタル画像データに対して、補間演算処理を行うことによって補間画素および補間演算済画像データを生成する画像処理方法において、補間画素を生成するために必要な格子点画素に平滑化処理を施してから、上記格子点画素から補間画素を生成することにより、上記補間演算済画像データの鮮鋭度のばらつきを小さくするステップを備え、上記平滑化処理は、上記格子点画素およびその周囲の画素に対し、所定の係数をかけるフィルタ処理であり、上記所定の係数は、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数であることを特徴とする。
【００１１】
補間画素を生成する処理は、複数の格子点画素から画像データを生成する処理であり、このような処理は画像の平滑化処理（鮮鋭度を低下させる）に該当する。また、補間演算処理で生じる補間画素の鮮鋭度の低下量は、格子点画素からの補間画素の位置によって変化する。したがって、補間演算処理により生成される補間演算済画像データの鮮鋭度にはばらつきがあり、画像にノイズのムラが生じることがある。
【００１２】
この点、上記手順では、補間画素を生成するために必要な格子点画素に平滑化処理を施してから、上記格子点画素から補間画素を生成することとしている。また、上記平滑化処理は、上記格子点画素およびその周囲の画素に対し、所定の係数をかけるフィルタ処理であって、上記所定の係数は、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数である。
【００１３】
つまり、上記平滑化処理によれば、上記格子点画素から生成される補間画素の位置に応じて、上記格子点画素に対しての平滑化の強度を調整することが可能となる。このような平滑化処理により鮮鋭度を変化させた格子点画素から補間画素を生成することにより、補間演算済画像データの鮮鋭度のばらつきを小さくでき、補間演算済画像データから構成される画像にノイズのムラを発生させることもない。
【００１４】
さらに、上記手順は、まず、格子点画素とその周囲の画素から、格子点画素の画像データを生成し、さらに、各格子点画素の画像データから補間画素の画像データを生成する処理である。つまり、この処理は、補間画素の画素値を生成するために、格子点画素のみならず、格子点画素の周囲の画素をも参照しているので、全体で３次内挿計算に該当する。したがって、上記手順によれば、補間画素の画像データを生成する処理と、上記重み関数を用いた補間画素の画像データの鮮鋭度のばらつきを小さくする処理とを一連の計算で同時に行うことができるので、補間演算済画像データから構成される画像にノイズのムラを発生させることなく、従来よりも処理時間の短縮化を図ることができる。
【００１５】
本発明の画像処理方法は、上記手順に加えて、上記重み関数が、補間演算済画像データの分散が一定となるように設定されることを特徴としてもよい。
【００１６】
上記重み関数を設定するには、サンプルとしての複数の補間処理対象画像に対して上記重み関数を変化させて補間演算処理を行い、最も画像の状態が好ましいと判断される上記重み関数をプロットすることにより、上記重み関数を設定する手段が考えられる。ところが、このような手段を実行するには、手間のかかる実験を行わなければならない。
【００１７】
そこで、画像全体で画像データの鮮鋭度のばらつきが小さい場合、各画素の高周波成分の大きさはほぼ等しく、各画素の高周波成分の散らばり具合は同一となり、画像データの分散が一定となることに着目する。そして、補間演算済の画像データの分散が一定になるように上記重み関数を設定すれば、補間演算済画像データの鮮鋭度のばらつきを小さくすることができ、結果として、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数を設定することが可能となる。すなわち、理論的に上記重み関数を与えることができるので、上述した手間を省くことができる。
【００１８】
本発明の画像処理方法は、上記手順に加えて、上記補間画素を算出する演算式を、
【００１９】
【数３】
2004078357.tif 000003
【００２０】
として表す場合、
【００２１】
【数４】
2004078357.tif 000004
【００２２】
となるように、上記重み関数を設定することを特徴としてもよい。
【００２３】
上記平滑化処理を含めた補間画素を生成する処理は、全体として３次内挿法による補間演算処理であるといえるので、補間画素の画像データを算出する処理は、数３に示した式で表すことができる。
【００２４】
ここで、説明の便宜のために、１次元の画像データＤ（ｉ＋ｋ）のみに着目することとする。まず、１次元データに対して３次内挿法による補間演算を行う場合、補間画素の周囲の４画素が参照されることになるので、１次元データ上の４画素の画像データの分布Ｄ〔ｉ−１〕，Ｄ〔ｉ〕，Ｄ〔ｉ＋１〕，Ｄ〔ｉ＋２〕に着目する。そして、それぞれの画素値の分散および、隣り合う画素間の画素値の共分散から、上記４個の画像データの和の分散は、
【００２５】
【数５】
2004078357.tif 000005
【００２６】
で表すことができる。
【００２７】
一方、１次元のデータに対し３次内挿法による補間計算を行うと、補間画素の画像データＯ〔ｘ〕は、
【００２８】
【数６】
2004078357.tif 000006
【００２９】
になるので、Ｏ〔ｘ〕の分散を求めると、
【００３０】
【数７】
2004078357.tif 000007
【００３１】
を得ることができる。
【００３２】
さらに、上記元画像の画像データにノイズが付加されているものと仮定すると、Ｄ〔ｉ−１〕，Ｄ〔ｉ〕，Ｄ〔ｉ＋１〕，Ｄ〔ｉ＋２〕の間には相関がないと考えられるので、数７の共分散項を無視することができ、
【００３３】
【数８】
2004078357.tif 000008
【００３４】
を得ることができる。
【００３５】
ここで、元画像の画像データの分散をＶとすると、
【００３６】
【数９】
2004078357.tif 000009
【００３７】
であるので、数８および数９から、数１０を得ることができる。
【００３８】
【数１０】
2004078357.tif 000010
【００３９】
なお、Ｖｏｕｔは、補間演算済画像データの分散である。
【００４０】
さらに、補間演算済画像データの分散（Ｖｏｕｔとする）を一定にできれば、補間演算済画像データの鮮鋭度のばらつきを小さくすることができるので、
【００４１】
【数１１】
2004078357.tif 000011
【００４２】
となるようにする。これにより、
【００４３】
【数１２】
2004078357.tif 000012
【００４４】
を得ることができる。そして、これを２次元の画像データＤ（ｉ＋ｋ，ｊ＋ｌ）に拡張すると、数４の関係を得ることができる。したがって、数４の関係になるように、上記重み関数を設定すれば、補間演算済画像データの鮮鋭度のばらつきを小さくすることができる。
【００４５】
また、上記画像処理方法をコンピュータに実行させるための画像処理プログラムとしても構わない。さらに、上記画像処理プログラムをコンピュータに読み取り可能に記録してなることを特徴とする画像処理プログラムを記録した記録媒体としても構わない。
【００４６】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図１３に基づいて説明すれば、以下のとおりである。本発明の実施形態は、写真処理の分野において、３次内挿法（補間演算処理）による画像の拡大（縮小）処理を行う場合に、拡大（縮小）画像の画像データ（補間演算済画像データ）の鮮鋭度のばらつきを小さくするための重み関数を導入している点と、この重み関数を設定する手順に特徴がある。したがって、以下では、▲１▼上記拡大（縮小）処理が実行される写真処理システムの構成、▲２▼重み関数を導入した３次内挿法、▲３▼重み関数の設定手順を順に説明する。＜写真処理システムの構成＞
図２は、本発明の実施の形態に係る写真処理システムの概略を示すブロック図である。同図に示すように、該写真処理システムは、画像処理装置１と、画像処理装置１にデジタル画像データを入力するデジタルカメラ２、およびスキャナ３と、画像処理装置１において処理された画像データに基づいて、各種用紙に画像をプリントするプリンタ４とを備えた構成となっている。
【００４７】
デジタルカメラ２は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて写真撮影を行い、これをデジタル画像データとして記録するものである。このデジタルカメラ２によって撮影された画像データは、フラッシュメモリーなどの各種記憶手段に記録される。
【００４８】
スキャナ３は、元画像としての各種アナログ画像をＣＣＤなどによって読み取り、これをデジタル画像データに変換するものである。このスキャナ３としては、ネガフィルムなどの写真フィルムに記録されている画像を読み取るフィルムスキャナでもよいし、例えばプリント済の銀塩写真や、その他紙状媒体に記録された画像などを読み取るスキャナでもよい。
【００４９】
プリンタ４は、画像処理装置１から送られてくる画像データをプリントすることが可能なものであれば、どのようなものを用いてもよい。このプリンタ４としては、例えば、インクジェット方式のプリンタやレーザプリンタ、あるいは、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）、ＰＬＺＴなどの光変調素子を用い、印画紙などの感光材料を感光させることによって焼付を行うデジタルプリンタなどが挙げられる。
【００５０】
画像処理装置１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）ベースの装置によって構成され、図示はしないが、ＰＣ本体、モニターなどの表示手段、キーボード、マウスなどの入力手段などによって構成されている。そして、この画像処理装置１は、デジタルカメラ２およびスキャナ３からデジタル画像データを取り込む画像入力部５と、画像入力部５において取り込まれたデジタル画像データに対して種々の画像処理を行う画像処理部６と、画像処理部６において画像処理されたデジタル画像データをプリンタ４に対して出力する画像出力処理部７とを備えている。
【００５１】
画像入力部５は、上記のように、デジタルカメラ２およびスキャナ３と、画像処理装置１とのインターフェースとなる部分である。接続形態は特に限定されるものではないが、例えばデジタルカメラ２との接続は、ＲＳ−２３２Ｃ　などによるシリアル接続、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）接続、などが挙げられ、スキャナ３との接続は、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）接続、パラレル接続、ＵＳＢ接続などが挙げられる。なお、図２に示す例では、画像データの入力手段として、デジタルカメラ２とスキャナ３とを挙げているが、これに限定されるものではなく、例えば、画像データが記録されたハードディスクドライブや各種リムーバブルメディアドライブなどから画像データを入力するシステムとすることも可能である。
【００５２】
画像処理部６は、例えば、ＰＣにおいて動作する画像処理プログラムによって動作するものである。この画像処理部６における処理の詳細については後述する。
【００５３】
画像出力処理部７は、画像処理部６において画像処理がなされた画像データを、プリンタ４で出力するのに最適なデータ形式に変換し、これをプリンタ４に送信するものである。データ形式の変換は、例えばプリンタドライバと呼ばれるプログラムによって行われることになる。また、プリンタ４との接続形態は特に限定されるものではないが、例えば、パラレル接続、ＵＳＢ接続などが挙げられる。
【００５４】
次に、画像処理部６の構成について説明する。図３は、該画像処理部６の概念的な構成を示すブロック図である。同図に示すように、画像処理部６は、変更倍率設定手段８、補間演算部９、およびメモリ部１０を備えている。また、メモリ部１０には、入力画像用メモリ１０Ａ、および出力画像用メモリ１０Ｂが設けられている。
【００５５】
変更倍率設定手段８は、各種入力手段、例えばマウスやキーボードなどによるオペレータからの指示に従って、入力された画像データのサイズ（画素数）の変更倍率、すなわち拡大率あるいは縮小率を設定するブロックである。
【００５６】
補間演算部９は、画像入力部５によって入力された画像データをバッファする入力画像用メモリ１０Ａのデータを参照しながら、変更倍率設定手段８において設定されている変更倍率に基づいて、補間演算を行うブロックである。この補間演算部９によって演算が行われた画像データは、出力画像用メモリ１０Ｂにバッファされ、上記した画像出力処理部７に出力される。
【００５７】
次に、画像処理部６における処理の流れについて、図８に示すフローチャートを参照しながら説明する。まず、ステップ１（以下、Ｓ１のように称する）において、元画像の画像データが入力され、入力画像用メモリ１０Ａにバッファされる。ここで、この入力された元画像を、モニターなどの表示手段に表示するようにしてもよい。
【００５８】
次に、入力された元画像をどのようなサイズに変更するかが、オペレータによって指示され、変更倍率設定手段８において設定される（Ｓ２）。ここで、オペレータによるサイズの変更の指示は、拡大（縮小）倍率を直接指定してもよいし、サイズ変更後の画像の大きさあるいは画素数を指定してもよい。後者の場合には、指定された画像の大きさあるいは画素数と、元画像の大きさあるいは画素数との比較を行って、変更倍率（拡大（縮小）倍率）が算出される。
【００５９】
変更倍率が設定されると、この変更倍率に応じた画像サイズとなるように画素数を変更するために、補間演算部９によって補間演算が行われ、各補間画素の画素値（画像データ）が算出される（Ｓ３）。ここでの補間演算は、（１）式に示すような３次内挿法による補間演算が行われる。
【００６０】
【数１３】
2004078357.tif 000013
【００６１】
このようにして補間演算された補間演算済画像が、拡大（縮小）画像として表示手段によって表示され（Ｓ４）、拡大（縮小）処理が終了する。
＜３次内挿法＞
つぎに、画像処理部６において実行される、３次内挿法による補間演算について説明する。まず、元画像の格子点画素の画素値はＤ〔ｉ，ｊ〕（ｉ，ｊは座標値）で表されており、この元画像をｒ倍した拡大（縮小）画像の画素値Ｏ〔ｘ，ｙ〕を計算するものとする。なお、ｒ＞１のときには拡大処理、０＜ｒ＜１のときには縮小処理となる。このとき、Ｏ〔ｘ，ｙ〕は（１）式で求めることができる。
【００６２】
ここで、（１）式の導出方法について説明する。なお、（１）式は、２次元のデータ（行および列からなる画像データ）に対して、３次内挿法による補間演算を行うことにより、補間画素の画素値を算出する式であるが、以下では説明の便宜のために、１次元のデータ（行のみの画像データ）を用いて（１）の導出方法を説明する。
【００６３】
まず、補間画素の座標を〔ｘ〕とすると、元画像の一方の格子点画素の座標は、〔ｉ〕＝［ｘ／ｒ］となる（［ａ］は、ａ以下で最大の整数を表す）。なお、格子点画素とは、補間画素の周囲に存在し、補間画素を生成するために参照される画素をいう。そして、線形内挿法により座標ｘの画素値を算出すると、
Ｏ〔ｘ〕＝（１−ｓ）Ｄ〔ｉ〕＋ｓＤ〔ｉ＋１〕…（２）
なお、ｓ＝（ｘ／ｒ）−ｉとなる。また、（２）式の関係を示したものが図４である。
【００６４】
ここで、図５に示すように、〔ｘ〕が、〔ｉ〕または〔ｉ＋１〕に近ければ近いほど（ｓが０または１に近い場合）、その近い格子点画素の画素値の割合が高くなるので、補間画素の鮮鋭度の変化（低下量）は少なくなる。一方で、〔ｘ〕が、〔ｉ〕と〔ｉ＋１〕との中間点に近ければ近いほど（ｓが０．５に近い場合）、両方の格子点画素の画素値の影響を受けるので、補間画素の鮮鋭度の低下量は大きくなる。したがって、格子点画素〔ｉ〕および〔ｉ＋１〕に対して、格子点画素およびその周囲の２画素を参照し（図７参照）、図６に示すような重み関数ｕ（ｓ）を係数とした平滑化処理を行うと、上記線形内挿法による補間処理のみでは鮮鋭度の変化が少ない補間画素（いずれかの格子点座標に近い補間画素）に対しては平滑化が行われ、上記補間処理のみで鮮鋭度の変化の大きい補間画素（いずれかの格子点座標に近い補間画素）に対しては鮮鋭度を維持できる。これにより、上記線形補間処理により得られる画像の鮮鋭度のばらつきを小さくすることができる。すなわち、ｕ（ｓ）は、格子点画素から生成される補間画素の位置に応じて変化する重み関数であると共に、拡大（縮小）画像の鮮鋭度のばらつきを小さくするための重み関数である。
【００６５】
そこで、上記平滑化処理の演算を数１４に示すと、
【００６６】
【数１４】
2004078357.tif 000014
【００６７】
ここで、上記演算において、ｕ（ｓ）＝０の場合、Ｄ´〔ｉ〕＝Ｄ〔ｉ〕となる。また、ｕ（ｓ）＝１／３の場合、Ｄ´〔ｉ〕は、Ｄ〔ｉ−１〕，Ｄ〔ｉ〕，Ｄ〔ｉ＋１〕の平均となる。このように、ｕ（ｓ）の値が大きいほど平滑化の度合いが大きくなるので、上記補間処理のみでは鮮鋭度の変化が少ない補間画素（ｓが０または１に近い）に対しては平滑化が行われ、上記補間処理のみで鮮鋭度の変化の大きい補間画素（ｓが０．５に近い）に対しては鮮鋭度を維持できる。ここで、上記平滑化処理は、数１４からも明らかであるが、格子点画素およびその周囲の画素に対し、係数をかけることにより、格子点画素の画素値を算出する処理であり、このような処理はフィルタ演算処理に相当するものである。
【００６８】
そして、Ｄ´〔ｉ〕，Ｄ´〔ｉ＋１〕を用いて、（２）式の線形内挿法による補間演算を行うと、（３）式が得られる。
【００６９】
【数１５】
2004078357.tif 000015
【００７０】
ここで、２つの格子点画素の画素値は、それぞれの格子点画素と、その周囲の２画素を参照して得られるので、２つの格子点座標から求められる補間画素の画素値は、結果として周囲の４つの画素の画素値から算出されることになる。このように、１次元のデータにおいて、４つの画素を参照して、補間画素を生成する処理は３次内挿計算に該当する。
【００７１】
したがって、（３）式は１次元のデータに対して３次内挿法による補間演算を行っているものであるから、これを２次元のデータ（行および列からなる画像データ）に対する式に拡張すると、（１）式を得ることができる。なお、ｖ（ｔ）は列方向のデータにおける重み関数である。すなわち、（１）式は、２次元のデータに対して３次内挿法による補間演算を行っているものであり、４×４＝１６画素を参照した補間演算である。
【００７２】
また、（１）式により元画像を拡大（縮小）したイメージを図１に示す。ここで、Ｏ〔ｘ，ｙ〕は、補間演算により生成される補間画素であり、Ｄ〔ｉ，ｊ〕，Ｄ〔ｉ，ｊ＋１〕，Ｄ〔ｉ＋１，ｊ〕，Ｄ〔ｉ＋１，ｊ＋１〕は格子点画素を示す。
＜重み関数を設定する手順＞
上述した重み関数ｕ（ｓ），ｖ（ｔ）は、サンプルとしての複数の補間処理対象画像に対してｕ（ｓ）およびｖ（ｔ）を変化させて３次内挿法による補間演算により拡大（縮小）処理を行い、最も画像の状態が好ましいと判断されるｕ（ｓ）およびｖ（ｔ）の値をプロットすることにより得ることができる。しかし、この方法では重み関数ｕ（ｓ）およびｖ（ｔ）を実験により与えなければならず手間が生じることになる。
【００７３】
ところが、上記重み関数を理論的に与えることも可能であり、上述した実験による手間を省くことができる。ここで、以下では、理論的に与えることができる重み関数をｗ（α），ｚ（β）として、これらを設定する手順について説明する。
【００７４】
通常、デジタル画像において画像全体の鮮鋭度のバラツキが大きい場合、図９（ａ）に示すように、各画素の高周波成分（画像データ）にはばらつきがある。従って、各画素の画像データは周辺画素の画像データと相関関係がなく、この画像の画像データの分散は一定でないと考えることができる。
【００７５】
一方、デジタル画像において画像全体の鮮鋭度のばらつきが小さい場合、図９（ｂ）に示すように、各画素の高周波成分は、ほぼ一定である。従って、この画像の画像データの分散は一定であると考えることができる。
【００７６】
そこで、拡大（縮小）処理の対象となる元画像を、画素値の分散をＶと仮定する。そして、式（１）に示す３次内挿法において、ｓ，ｔの値に関わらず拡大（縮小）画像の画素値の分散Ｖｏｕｔが一定になるように、上記重み関数を設定すれば、鮮鋭度が均一な拡大（縮小）画像を得ることができる。
【００７７】
以下、重み関数ｗ（α），ｚ（β）を導く演算を説明するが、説明の便宜のために、１次元のデータ（行のみの画像データ）を用いることにする。これは、１次元のデータ（行のみの画像データ）に対して鮮鋭度のばらつきを小さくできれば、同じ処理を別方向の１次元のデータ（列のみの画像データ）に対して行うことにより、２次元の画像データ（行および列からなる画像データ）に対しても鮮鋭度のばらつきを小さくできるからである。
【００７８】
まず、元画像において、１次元のデータ上の４個の画素の画素値の分布Ｄ〔ｉ−１〕，Ｄ〔ｉ〕，Ｄ〔ｉ＋１〕，Ｄ〔ｉ＋２〕に着目する。そして、それぞれの画素値の分散および、隣り合う画素間の画素値の共分散から、上記４個の画素値の和の分散は、（４）式で表すことができる。ここで、４個の画素に着目しているのは、１次元データにおける３次内挿法では、元画像の４個の画素を参照して、補間画素の画素値を算出するからである。
【００７９】
一方、１次元のデータに対し３次内挿法による補間計算を行うと、補間画素の画素値Ｏ〔ｘ〕は（３）式により求めることができる。従って、（４）式を用いて、Ｏ〔ｘ〕の分散を求めると、（５）式を得ることができる。
【００８０】
さらに、元画像は鮮鋭度が均一でないものと仮定すると、Ｄ〔ｉ−１〕，Ｄ〔ｉ〕，Ｄ〔ｉ＋１〕，Ｄ〔ｉ＋２〕はノイズデータと考えられるので、（５）式の共分散項を無視することができ、（６）式を得ることができる。なお、ノイズデータとは、周辺画素のデータ（画素値）とは相関関係を持たない画素のデータ（画素値）をいう。
【００８１】
ここで、元画像の画素値の分散Ｖは、（７）式で表すことができる。そして、（６）式および（７）式から、（８）式を得ることができる。なお、Ｖｏｕｔは、拡大（縮小）画像の画素値の分散である。
【００８２】
さらに、拡大（縮小）画像の画素値の分散Ｖｏｕｔを一定にできれば、拡大（縮小）画像の鮮鋭度のばらつきを小さくすることができるので、（９）式のように設定する。
【００８３】
ここで、（３）式に示すｐ−１，ｐ０，ｐ１，ｐ２について、α＝ｓ−１／２，ｗ（α）＝ｕ（ｓ）と置き換えると、（１０）式および（１０ａ）〜（１０ｄ）式を得ることができる。
【００８４】
【数１６】
2004078357.tif 000016
【００８５】
ｐ−１，ｐ０，ｐ１，ｐ２をこのように変形したのは、後の計算を簡単にするためである。つぎに、（１０ａ）〜（１０ｄ）式を（９）式に代入して、ｗ（α）について計算すると、式（１１）が得られる。
【００８６】
【数１７】
2004078357.tif 000017
【００８７】
このようにして得られたｗ（α）をプロットすると、図１０に示す関数が得られることになる。ここで、根号部が正の関数は無視して、根号部が負の関数（式（１１´））に着目すると、ｓが０または１に近づくにつれて（補間画素がいずれかの格子点画素に近づくにつれて）、ｗ（α）が大きくなっている。一方、ｓが０．５に近づくにつれて（補間画素が格子点画素間の中間点に近づくにつれて）、ｗ（α）が小さくなっている。
【００８８】
したがって、１次元データにおいて、式（１１´）に示す関数を重み関数として、式（１０ａ）〜（１０ｄ）に示すｐ−１，ｐ０，ｐ１，ｐ２を求めて、（１０）式に示す３次内挿法の補間演算により拡大（縮小）処理を行えば、拡大（縮小）画像の画像データの鮮鋭度のばらつきを小さくすることができる。これは、式（１１´）に示す重み関数により、いずれかの格子点画素に近い補間画素に対しては、平滑化の重みを与えることができ、各格子点画素の中間点に近い補間画素に対しては、平滑化の重みを与えることなく鮮鋭度を維持できるからである。
【００８９】
さらに、（１０）式および（１１´）式を、２次元の平面画像データ（行および列からなる画像データ）に適用すると、
【００９０】
【数１８】
2004078357.tif 000018
【００９１】
となる。すなわち数１８は、ｐ−１２＋ｐ０２＋ｐ１２＋ｐ２２＝一定、ｑ−１２＋ｑ０２＋ｑ１２＋ｑ２２＝一定となるように、重み関数ｗ（α），ｚ（β）を設定したものである。
【００９２】
このようにして、重み関数ｗ（α），ｚ（β）を３次内挿法による補間演算に導入することで、拡大（縮小）画像の画像データの鮮鋭度のばらつきを小さくすることができるので、ノイズのムラの発生を抑制することができる。
【００９３】
ここで、ある元画像を拡大した場合の拡大画像を図１１ないし図１３に示す。図１１（ａ）は、従来の線形内挿法により拡大した画像を示し、図１１（ｂ）は図１１（ａ）のある部分におけるビットマップを示す。図１２（ａ）は、実験により設定した重み関数ｕ（ｓ），ｖ（ｔ）を導入した３次内挿法により拡大した画像を示し、図１２（ｂ）は図１２（ａ）のある部分におけるビットマップを示す。図１３（ａ）は、重み関数ｗ（α），ｚ（β）を導入した３次内挿法により拡大した画像を示し、図１３（ｂ）は図１３（ａ）のある部分におけるビットマップを示す。各ビットマップを対比すれば、重み関数ｕ（ｓ），ｖ（ｔ）を導入した３次内挿法、あるいは重み関数ｗ（α），ｚ（β）を導入した３次内挿法により拡大した画像のほうが、従来の線形内挿法により拡大した画像よりもノイズが少ないことがわかる。
【００９４】
通常、補間画素を生成する処理は、複数の格子点画素から画素値を生成する処理であり、このような処理は画像の平滑化処理（鮮鋭度を低下させる）に該当する。また、補間演算処理で生じる補間画素の鮮鋭度の低下量は、格子点画素からの補間画素の位置によって変化する。したがって、補間演算処理により生成される拡大（縮小）画像の画像データの鮮鋭度のばらつきは大きく、画像にノイズのムラが生じることがある。
【００９５】
この点、本実施形態では、補間画素を生成するために必要な格子点画素に平滑化処理を施してから、上記格子点画素から補間画素を生成することとしている。また、上記平滑化処理は、上記格子点画素およびその周囲の画素に対し、所定の係数をかけるフィルタ処理であって、上記所定の係数は、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数である。
【００９６】
つまり、上記平滑化処理によれば、上記格子点画素から生成される補間画素の位置に応じて、上記格子点画素に対しての平滑化の強度を調整することが可能となる。このような平滑化処理により鮮鋭度を変化させた格子点画素から補間画素を生成することにより、拡大（縮小）画像データの鮮鋭度のばらつきを小さくすることができ、補間演算済画像データから構成される画像にノイズのムラを発生させることもない。
【００９７】
さらに、上記手順は、まず、格子点画素とその周囲の画素から、格子点画素の画素値を生成し、さらに、各格子点画素の画素値から補間画素の画素値を生成する処理である。つまり、この処理は、補間画素の画素値を生成するために、格子点画素のみならず、格子点画素の周囲の画素をも参照しているので、全体で３次内挿計算に該当する。したがって、上記手順によれば、補間画素の画像データを生成する処理と、上記重み関数を用いた補間画素の画像データの鮮鋭度を小さくする処理とを一連の計算で同時に行うことができるので、拡大（縮小）画像にノイズのムラを発生させることなく、従来よりも拡大（縮小）処理時間の短縮化を図ることができる。
【００９８】
また、上記重み関数を設定するには、サンプルとしての複数の補間処理対象画像に対して上記重み関数を変化させて補間演算処理を行い、最も画像の状態が好ましいと判断される上記重み関数をプロットすることにより、上記重み関数を設定する手段が考えられる。ところが、このような手段を実行するには、手間のかかる実験を行わなければならない。
【００９９】
そこで、本実施の形態では、画像全体で画像データの鮮鋭度のばらつきが小さい場合、各画素の高周波成分の大きさはほぼ等しく、各画素の高周波成分の散らばり具合は同一となり、画像データの分散が一定となることに着目する。そして、補間演算済の画像データの分散が一定になるように上記重み関数を設定すれば、補間演算済画像データの鮮鋭度のばらつきを小さくすることができ、結果として、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数を設定することが可能となる。
【０１００】
また、本実施の形態では、上記重み関数を導入した３次内挿法による補間演算を、画像の拡大（縮小）処理に適用しているが、これに限定されるものではなく、回転処理，平行移動処理等にも適用可能である。
【０１０１】
ところで、以上の実施の形態で説明した処理は、プログラムで実現することが可能である。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、画像処理部２で処理が行われるために必要な図示していないメモリー（例えばＲＯＭそのもの）であってもよいし、また図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても構わない。
【０１０２】
上記いずれの場合においても、格納されているプログラムはマイクロプロセッサ（図示せず）のアクセスにより実行される構成であってもよいし、格納されているプログラムを読み出し、読み出したプログラムを図示されていないプログラム記憶エリアにダウンロードすることにより、そのプログラムが実行される構成であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１０３】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリーカードを含む）／光カードのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリーを含めた固定的にプログラムを担持する媒体であってもよい。
【０１０４】
最後に、上述した各実施の形態は、本発明の範囲を限定するものではなく、本発明の範囲内で種々の変更が可能である。
【０１０５】
【発明の効果】
本発明の画像処理方法は、以上のように、デジタル画像データに対して、補間演算処理を行うことによって補間画素および補間演算済画像データを生成する画像処理方法において、補間画素を生成するために必要な格子点画素に平滑化処理を施してから、上記格子点画素から補間画素を生成することにより、上記補間演算済画像データの鮮鋭度のばらつきを小さくするステップを備え、上記平滑化処理は、上記格子点画素およびその周囲の画素に対し、所定の係数をかけるフィルタ処理であり、上記所定の係数は、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数であることを特徴とする。
【０１０６】
これにより、補間画素の画像データを生成する処理と、上記重み関数を用いた補間画素の画像データの鮮鋭度のばらつきを小さくする処理とを一連の計算で同時に行うことができるので、補間演算済画像データから構成される画像にノイズのムラを発生させることなく、従来よりも処理時間の短縮化を図ることができるという効果を奏する。
【０１０７】
本発明の画像処理方法は、上記手順に加えて、上記重み関数が、補間演算済画像データの分散が一定となるように設定されることを特徴としてもよい。
【０１０８】
これにより、補間演算済画像データの鮮鋭度のばらつきを小さくすることができ、結果として、上記格子点画素から生成される補間画素の位置に応じて変化する重み関数を設定することが可能となるという効果を奏する。すなわち、理論的に上記重み関数を与えることができるので、上述した手間を省くことができる。
【０１０９】
本発明の画像処理方法は、上記手順に加えて、上記補間画素を算出する演算式を、
【０１１０】
【数１９】
2004078357.tif 000019
【０１１１】
として表す場合、
【０１１２】
【数２０】
2004078357.tif 000020
【０１１３】
となるように、上記重み関数を設定してもよい。
【０１１４】
これにより、補間演算済画像データの鮮鋭度のばらつきを小さくできるという効果を奏する。
【０１１５】
また、上記画像処理方法をコンピュータに実行させるための画像処理プログラムとしても構わない。さらに、上記画像処理プログラムをコンピュータに読み取り可能に記録してなることを特徴とする画像処理プログラムを記録した記録媒体としても構わない。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る補間演算による画像の拡大（縮小）処理のイメージを示した説明図である。
【図２】上記実施の一形態に係る写真処理システムの概略構成を示すブロック図である。
【図３】上記写真処理システムの構成要素の画像処理部の構成を示したブロック図である。
【図４】１次元のデータに対して線形内挿法による補間を行う場合における、補間画素と格子点画素との位置関係を示した説明図である。
【図５】補間画素の位置を示すパラメータｓと、該補間画素の鮮鋭度の低下量との関係を示したグラフである。
【図６】上記実施の一形態に係る補間演算に導入される重み関数ｕ（ｓ），ｖ（ｔ）を示したグラフである。
【図７】１次元のデータに対しての補間に用いられる格子点画素において、該格子点画素とその周囲の２画素とを参照した平滑化処理を示した説明図である。
【図８】上記画像処理部における処理の流れを示したフローチャートである。
【図９】デジタル画像における高周波成分を示した説明図であって、（ａ）は鮮鋭度のばらつきが大きい場合を示し、（ｂ）は鮮鋭度のばらつきが小さい場合を示したものである。
【図１０】上記実施の一形態において、理論的に設定される重み関数ｗ（α）を示したグラフである。
【図１１】ある元画像を拡大した場合の拡大画像を示したイメージ図であって、（ａ）は線形内挿法により拡大した画像を示し、（ｂ）は、（ａ）の画像におけるある部分のビットマップを示す。
【図１２】ある元画像を拡大した場合の拡大画像を示したイメージ図であって、（ａ）は重み関数ｕ（ｓ），ｖ（ｔ）を導入した３次内挿法により拡大した画像を示し、（ｂ）は、（ａ）の画像におけるある部分のビットマップを示す。
【図１３】ある元画像を拡大した場合の拡大画像を示したイメージ図であって、（ａ）は重み関数ｗ（α），ｚ（β）を導入した３次内挿法により拡大した画像を示し、（ｂ）は、（ａ）の画像におけるある部分のビットマップを示す。
【図１４】２次元の画像データに対しての線形内挿法における、補間画素と格子点画素との位置関係を示した説明図である。
【図１５】平滑化フィルタの一例を示した説明図である。
【符号の説明】
１　画像処理装置
２　デジタルカメラ
３　スキャナ
４　プリンタ
５　画像入力部
６　画像処理部
７　画像出力処理部
８　変更倍率設定手段
９　補間演算部
１０　メモリ
【図１】
2004078357.tif 000023
【図２】
2004078357.tif 000024
【図３】
2004078357.tif 000025
【図４】
2004078357.tif 000026
【図５】
2004078357.tif 000027
【図６】
2004078357.tif 000028
【図７】
2004078357.tif 000029
【図８】
2004078357.tif 000030
【図９】
2004078357.tif 000031
【図１０】
2004078357.tif 000032
【図１１】
2004078357.tif 000033
【図１２】
2004078357.tif 000034
【図１３】
2004078357.tif 000035
【図１４】
2004078357.tif 000036
【図１５】
2004078357.tif 000037