(57)【要約】【課題】１／整数倍でない縮小率で画像データの縮小処理を行う場合でも、画像サイズが小さくなるほどノイズ量を低減することができる画像処理装置及び画像処理方法等を提供する。【解決手段】縮小率決定部３０１は縮小率を決定する。サンプリング位相決定部３０２は、縮小率決定部３０１により決定された縮小率に応じて、縮小処理後のサンプリング位相を決定する。ＬＰＦ部３０３は、縮小率決定部３０１により決定された縮小率に応じてプレフィルタを選択し、このプレフィルタを用いて、画像変換部２０１から出力された画像データのプレフィルタ処理を行う。間引き・補間処理部３０４は、サンプリング位相決定部３０２により決定されたサンプリング位相に応じて、間引き処理又は補間処理によって、ＬＰＦ部３０３から出力された画像データを縮小する。【選択図】図３
2015035775.tif 000002
【特許請求の範囲】
【請求項１】
画像データの縮小処理を行う縮小手段と、
前記縮小処理における画素サンプリングの位相を決定するサンプリング位相決定手段と、
を有し、
前記縮小手段は、前記縮小処理前の画像の画素の間引き処理及び補間処理の少なくともいずれかを行うことにより前記縮小処理後の画像の画素値を決定し、
前記サンプリング位相決定手段は、前記縮小手段により行われる縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理後のノイズ量が、縮小率が大きい縮小処理後のノイズ量以下となるように前記画素サンプリングの位相を決定することを特徴とする画像処理装置。
【請求項２】
前記サンプリング位相決定手段は、前記縮小処理の前後のノイズ量の関係を表すノイズ評価値に基づいて、前記画素サンプリングの位相を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サンプリング位相決定手段は、前記ノイズ評価値が縮小率の順に並ぶように前記画素サンプリングの位相を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記サンプリング位相決定手段は、縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理におけるノイズ評価値が、縮小率が大きい縮小処理におけるノイズ評価値以下となるように前記画素サンプリングの位相を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記ノイズ評価値は、前記縮小処理前の画像の１画素あたりの平均ノイズ量を分母に、前記縮小処理後の画像の１画素あたりの平均ノイズ量を分子とした値であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ノイズ評価値は、前記縮小手段による補間処理における補間係数又は縮小率に関連していることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記縮小処理の前に前記画像データの帯域制限処理を行う低域フィルタ処理手段を有し、
前記ノイズ評価値は、前記帯域制限処理によるノイズ量の変化に関連していることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記縮小処理の前に前記画像データの帯域制限処理を行う低域フィルタ処理手段を有し、
前記ノイズ評価値は、前記帯域制限処理に用いられるフィルタの係数又は周波数特性に関連していることを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記縮小処理の前に前記画像データの帯域制限処理を行う低域フィルタ処理手段を有し、
前記ノイズ評価値は、前記帯域制限処理に用いられるフィルタの周波数特性、及び当該フィルタの周波数ごとに異なる重みを与える重み関数に関連していることを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像データの取得時の感度情報を取得する感度情報取得手段を有し、
前記ノイズ評価値は、前記感度情報に関連していることを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
画像データの縮小処理を行う縮小ステップと、
前記縮小処理における画素サンプリングの位相を決定するサンプリング位相決定ステップと、
を有し、
前記縮小ステップは、前記縮小処理前の画像の画素の間引き処理及び補間処理の少なくともいずれかを行うことにより前記縮小処理後の画像の画素値を決定するステップを有し、
前記サンプリング位相決定ステップは、前記縮小ステップにおいて行う縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理後のノイズ量が、縮小率が大きい縮小処理後のノイズ量以下となるように前記画素サンプリングの位相を決定するステップを有することを特徴とする画像処理方法。
【請求項１２】
コンピュータに、
画像データの縮小処理を行う縮小ステップと、
前記縮小処理における画素サンプリングの位相を決定するサンプリング位相決定ステップと、
を実行させ、
前記縮小ステップは、前記縮小処理前の画像の画素の間引き処理及び補間処理の少なくともいずれかを行うことにより前記縮小処理後の画像の画素値を決定するステップを有し、
前記サンプリング位相決定ステップは、前記縮小ステップにおいて行う縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理後のノイズ量が、縮小率が大きい縮小処理後のノイズ量以下となるように前記画素サンプリングの位相を決定するステップを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの縮小処理等を行う画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
従来、画像データの縮小処理を行う際には、画像信号の折返りを防ぐために、帯域制限のためのプレフィルタをかけた後に画素サンプリング数を減らしている。縮小率に応じたプレフィルタをかけることにより、縮小処理後の画像の折返り及び解像感をコントロールすることができる。縮小率は、縮小処理後の画像データのサイズが縮小処理前の画像データのサイズのどの程度の割合となっているかを示す。
【０００３】
例えば、１／２（５０％）、１／３（３３％）、１／４（２５％）のように１／整数倍で画像を縮小する場合、縮小率が小さいときほど強い帯域制限フィルタをかけ、縮小処理前の画像のサンプリング点上から画素を間引いている。強い帯域制限フィルタほど、加重平均において周辺画素値の重みが大きくなるため、縮小率が小さい場合ほど、ノイズ量が低減された画像が得られる。従って、１／整数倍で画像を縮小する場合、画像サイズが小さくなるほど、解像度及びノイズ量が低減される。
【０００４】
しかし、１／整数倍でない縮小率で画像を縮小する場合、縮小処理後の画像の画素サンプリング位置が、縮小処理前の画像の画素サンプリング位置と一致する画素、及び一致しない画素が存在する。画素サンプリング位置が縮小処理前の位置と一致しない画素については、補間処理で画素値が決定される。従って、画素によりノイズ量が異なる。
【０００５】
このようなノイズ量のばらつきを抑制することを目的とした方法が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−４３３５６号公報
【特許文献２】特開２００９−１７７２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、１／整数倍でない縮小率で画像データの縮小処理を行う場合に、画像サイズが小さくなってもノイズ量が低減されないことがある。特許文献１に記載された方法でも同様である。
【０００８】
本発明は、１／整数倍でない縮小率で画像データの縮小処理を行う場合でも、画像サイズが小さくなるほどノイズ量を低減することができる画像処理装置及び画像処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、画像データの縮小処理を行う縮小手段と、前記縮小処理における画素サンプリングの位相を決定するサンプリング位相決定手段と、を有し、前記縮小手段は、前記縮小処理前の画像の画素の間引き処理及び補間処理の少なくともいずれかを行うことにより前記縮小処理後の画像の画素値を決定し、前記サンプリング位相決定手段は、前記縮小手段により行われる縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理後のノイズ量が、縮小率が大きい縮小処理後のノイズ量以下となるように前記画素サンプリングの位相を決定することを特徴とする。
【００１０】
本発明に係る画像処理方法は、画像データの縮小処理を行う縮小ステップと、前記縮小処理における画素サンプリングの位相を決定するサンプリング位相決定ステップと、を有し、前記縮小ステップは、前記縮小処理前の画像の画素の間引き処理及び補間処理の少なくともいずれかを行うことにより前記縮小処理後の画像の画素値を決定するステップを有し、前記サンプリング位相決定ステップは、前記縮小ステップにおいて行う縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理後のノイズ量が、縮小率が大きい縮小処理後のノイズ量以下となるように前記画素サンプリングの位相を決定するステップを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、１／整数倍でない縮小率で画像データの縮小処理を行う場合でも、画像サイズが小さくなるほどノイズ量を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置を示すブロック図である。
【図２】画像処理部１０４の構成を示すブロック図である。
【図３】第１の実施形態における縮小処理部２０２の構成を示すブロック図である。
【図４】第１の実施形態における縮小処理部２０２の動作を示すフローチャートである。
【図５】縮小処理時の画素サンプリングの位相を表す図である。
【図６】第１の実施形態における画素サンプリングの位相の変化を示す図である。
【図７】第２の実施形態における縮小処理部２０２の構成を示すブロック図である。
【図８】第２の実施形態における縮小処理部２０２の動作を示すフローチャートである。
【図９】ノイズ評価値算出部７０５及びサンプリング位相決定部７０２の動作を示すフローチャートである。
【図１０】第２の実施形態における画素サンプリングの位相の変化を示す図である。
【図１１】フィルタの周波数特性及び周波数の重み関数を示す図である。
【図１２】第４の実施形態における縮小処理部２０２の構成を示すブロック図である。
【図１３】第４の実施形態における縮小処理部２０２の動作を示すフローチャートである。
【図１４】第４の実施形態における縮小処理部２０２の動作の他の例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１４】
（第１の実施形態）
先ず、第１の実施形態について説明する。第１の実施形態に係る画像処理装置は、例えば、撮影した画像の縮小処理を行うデジタルカメラである。図１は、本発明の第１の実施形態に係る画像処理装置を示すブロック図である。図１に示すように、第１の実施形態に係る画像処理装置には、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、操作部１０７及び表示部１０８が含まれている。
【００１５】
光学系１０１には、フォーカスレンズ、絞り及びシャッターが含まれる。光学系１０１は、撮影時に、フォーカスレンズを駆動して被写体のピント合わせを行い、絞り及びシャッターを制御して露光量を調節する。撮像素子１０２は、例えばＣＣＤ（charge-coupled device）イメージセンサ又はＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサ等の光電変換素子である。撮像素子１０２は、光電変換によって、光学系１０１において結像された被写体の光量からアナログの電気信号を生成する。Ａ／Ｄ（analog/digital）変換部１０３は、入力されたアナログの電気信号をデジタル化する。画像処理部１０４はＡ／Ｄ変換部１０３によりデジタル化された信号の処理を行い、ＪＰＥＧ（joint photographic experts group）等の所定の画像形式の画像データを生成する。この処理には、例えば縮小処理及びノイズ低減処理等が含まれる。記録部１０５は、画像処理部１０４による処理後の画像データを記録する。
【００１６】
制御部１０６は、本実施形態の画像処理装置の全体の動作を制御する。操作部１０７は、ユーザが画像処理装置に対して操作の指示を行う部分である。表示部１０８は、例えばカメラ背面に設置された液晶ディスプレイ等である。表示部１０８は、撮像素子１０２で撮影され画像処理部１０４で処理された画像、及び記録部１０５に保存されている画像等を表示する。
【００１７】
次に、画像処理部１０４について更に詳細に説明する。図２は、画像処理部１０４の構成を示すブロック図である。図２に示すように、画像処理部１０４には、画像変換部２０１、縮小処理部２０２、ノイズ低減部２０３、エッジ強調部２０４及び画像変換部２０５が含まれている。
【００１８】
画像変換部２０１は、Ａ／Ｄ変換部１０３から入力された画像データの変換処理を行う。この変換処理には、例えば各画素にＲＧＢいずれかの信号値を持つベイヤー信号に対し、補間処理により各画素にＲＧＢ値を持たせるような処理が含まれる。縮小処理部２０２は、画像変換部２０１から出力された画像データの縮小処理を行う。ノイズ低減部２０３は、縮小処理部２０２から出力された画像データのノイズ低減処理を行う。エッジ強調部２０４は、ノイズ低減部２０３から出力された画像データのエッジ強調処理を行う。画像変換部２０５は、エッジ強調部２０４から出力された画像データをＪＰＥＧ等の所定の画像形式に変換する。
【００１９】
次に、縮小処理部２０２について更に詳細に説明する。図３は、第１の実施形態における縮小処理部２０２の構成を示すブロック図である。図３に示すように、縮小処理部２０２には、縮小率決定部３０１、サンプリング位相決定部３０２、ＬＰＦ部３０３及び間引き・補間処理部３０４が含まれている。
【００２０】
縮小率決定部３０１は縮小率を決定する。縮小率決定部３０１は、例えばユーザの入力に基づいて縮小率を決定してもよく、何らかの方法でユーザの入力を考慮せずに自動的に決定してもよい。サンプリング位相決定部３０２は、縮小率決定部３０１により決定された縮小率に応じて、縮小処理後のサンプリング位相を決定する。ＬＰＦ（low pass filter）部３０３は、縮小率決定部３０１により決定された縮小率に応じてプレフィルタを選択し、このプレフィルタを用いて、画像変換部２０１から出力された画像データのプレフィルタ処理を行う。このプレフィルタ処理は、例えば低域フィルタ処理であり、画像データの縮小処理前の帯域制限処理の一例である。間引き・補間処理部３０４は、サンプリング位相決定部３０２により決定されたサンプリング位相に応じて、間引き処理又は補間処理によって、ＬＰＦ部３０３から出力された画像データを縮小する。
【００２１】
次に、縮小処理部２０２の動作の概要について説明する。図４は、第１の実施形態における縮小処理部２０２の動作を示すフローチャートである。
【００２２】
先ず、ステップＳ４０１において、縮小率決定部３０１が縮小率を決定する。前述のように、縮小率決定部３０１は、ユーザの入力に基づいて縮小率を決定してもよく、何らかの方法でユーザの入力を考慮せずに自動的に決定してもよい。次いで、ステップＳ４０２において、ＬＰＦ部３０３が、ステップＳ４０１において決定された縮小率に応じたプレフィルタを選択する。更に、ステップＳ４０３において、サンプリング位相決定部３０２が、ステップＳ４０１において決定された縮小率に応じた画素サンプリング位相を決定する。その後、ステップＳ４０４において、ＬＰＦ部３０３が、ステップＳ４０２で選択したプレフィルタを用いて、画像変換部２０１から出力された画像データ、つまり縮小処理部２０２への入力画像データのプレフィルタ処理を行う。続いて、ステップＳ４０５において、間引き・補間処理部３０４が、ステップＳ４０１において決定された縮小率及びステップＳ４０３において決定された画素サンプリング位相に基づき画像データを縮小する。ステップＳ４０３の処理は、ステップＳ４０１からステップＳ４０５までの間であれば、ステップＳ４０２とステップＳ４０４との間以外のタイミングで行われてもよい。
【００２３】
ここで、ＬＰＦ部３０３によるプレフィルタ処理について説明する。ここでは、全画素にＲＧＢ値を持つ画像データを３／５倍に縮小する場合の動作、及び全画素にＲＧＢ値を持つ画像データを１／２倍に縮小する場合の動作を例に挙げる。また、折返り及び解像度を考慮した上で、ＬＰＦ部３０３が持つプレフィルタのうちで、３／５倍の縮小率に最も適切なプレフィルタのプレフィルタ係数が［１ ２ １］であるとする。同様に、折返り及び解像度を考慮した上で、ＬＰＦ部３０３が持つプレフィルタのうちで、１／２倍の縮小率に最も適切なプレフィルタのプレフィルタ係数が［１ ４ ６ ４ １］であるとする。なお、水平方向におけるプレフィルタ処理について、プレフィルタ係数が［１ ２ １］であれば、着目画素の左に隣接する画素値、着目画素の画素値、着目画素の右に隣接する画素値のそれぞれを、１対２対１の比率で加算平均することを示す。同様に、水平方向におけるプレフィルタ処理について、プレフィルタ係数が［１ ４ ６ ４ １］であれば、着目画素を中心とする水平方向に並んだ５つの画素に対して、それぞれの画素値を、１対４対６対４対１の比率で加算平均することを示す。
【００２４】
プレフィルタ係数をａi、そのプレフィルタ係数がかかる画素のノイズの分散をσiとし、各画素のノイズの分散が独立であるとき、各画素にプレフィルタ係数をかけて足した後のノイズの分散は、誤差伝搬の法則より（１）式のように表される。なお、ノイズの分布はガウス分布に従うという仮定である。
【００２５】
【数１】
2015035775.tif 000003
【００２６】
また、プレフィルタ処理後のノイズの標準偏差σpは、プレフィルタ係数の正規化も考慮すると、（２）式のようになる。
【００２７】
【数２】
2015035775.tif 000004
【００２８】
更に、各画素のノイズの標準偏差が（３）式の関係のとき、プレフィルタ処理前後のノイズ量の比α1は式（４）のよう表すことができる。つまり、
【００２９】
【数３】
2015035775.tif 000005
【００３０】
【数４】
2015035775.tif 000006
【００３１】
この比α1は、プレフィルタ処理によるノイズの低減率を表している。つまり、比α1は、ノイズが何倍まで低減されたかを示している。縮小率が３／５倍でプレフィルタ係数が［１ ２ １］のプレフィルタ処理を行うとき、比α1は約０．６１２となり、縮小率が１／２倍でプレフィルタ係数が［１ ４ ６ ４ １］のプレフィルタ処理を行うとき、比α1は約０．５２３となる。つまり、（４）式でノイズ量を評価する場合、プレフィルタ係数が［１ ４ ６ ４ １］のプレフィルタ処理を行ったときの方が、ノイズが低減される。なお、（４）式は画像全体のノイズの低減率を統計的に表したものであり、局所的に見たときには画像の場所によりこのノイズの低減率は異なる。
【００３２】
このように、ＬＰＦ部３０３は、ＬＰＦ部３０３自身が持つプレフィルタのうちで、縮小率決定部３０１により決定された縮小率に最も適切なプレフィルタを用いたプレフィルタ処理を実行する。そして、このプレフィルタ処理におけるノイズ低減率は画像サイズの順に並ぶ。
【００３３】
ここで、参考のために、単純な間引き・補間処理について説明する。図５は、画像を３／５倍、１／２倍に縮小する際のサンプリングの位相を示す図である。
【００３４】
画像を１／２倍に縮小する場合、縮小処理後の画像の全ての画素サンプリング位置は、縮小処理前の画像の画素サンプリング位置と一致する。このため、間引き処理のみによって、画像を縮小することが可能である。
【００３５】
一方、画像を３／５倍に縮小する場合、縮小処理後の画像の画素サンプリング位置が、縮小処理前の画像の画素サンプリング位置と一致する画素、及び一致しない画素が混在する。このため、縮小処理後の画像の画素サンプリング位置が縮小処理前の画像の画素サンプリング位置と一致しない画素についての、縮小処理前の画像の近傍画素からの補間処理が行われる。従って、３／５倍の縮小では、３画素周期で間引く画素及び補間処理により決定される画素が混在する。縮小処理後の画像の画素の重心が等間隔になるように画素値を決定する方法としては、例えば、近傍画素値を距離の比で重みづけをして平均値をとる方法が挙げられる。この方法では、３／５倍縮小の場合、補間処理で決定される画素のサンプリング位置は、図５に示すように、縮小処理前の画像のサンプリング間隔を１：２に内分した点となる。このため、例えばバイリニア補間を１：２の重みづけで行うことにより、画素値が決定される。このような重みづけは補間係数の一例である。この補間処理により、フィルタ係数が［１ ２］のフィルタ処理を行った場合と同様にノイズが低減される。フィルタ係数が［１ ２］のフィルタ処理では、（４）式により求められる比α1（ノイズ低減率）は約０．７４５である。１周期３画素の内、１画素が間引き、２画素が補間処理によって画素値が決定されるため、画像全体としてのノイズ低減率を平均値として求めると、約０．８３０となる。なお、間引き処理のみにより縮小を行う場合、ノイズ低減率は１となる。
【００３６】
そして、ＬＰＦ部３０３によるプレフィルタ処理におけるノイズ低減率ｋ1として比α1を用い、その後の間引き処理におけるノイズ低減率をｋ2とすると、これら両処理によるノイズ低減率αは、（５）式のように表される。従って、ノイズ低減率αは、縮小処理前の画像の１画素あたりの平均ノイズ量を分母に、縮小処理後の画像の１画素あたりの平均ノイズ量を分子とした値に関連している。
【００３７】
【数５】
2015035775.tif 000007
【００３８】
従って、単純な間引き・補間処理が行われた場合には、３／５倍縮小でのノイズ低減率αは約０．５０８（＝０．６１２×０．８３０）となり、１／２倍縮小でのノイズ低減率αは約０．５２３となる。このように、プレフィルタ処理後の時点ではノイズ低減率が画像サイズの順に並んでいたにも拘わらず、その後に単純な間引き・補間処理による縮小が行われると、ノイズ低減率αの逆転が生じることがある。
【００３９】
そこで、本実施形態では、間引き・補間処理部３０４が、上記のような単純な間引き・補間処理ではなく、サンプリング位相決定部３０２により決定されたサンプリング位相に応じた間引き・補間処理を行う。
【００４０】
例えば１／２倍の縮小を行う場合には、サンプリング位相決定部３０２が、間引き・補間処理部３０４に対して画素サンプリング位相を縮小処理前の画素サンプリングに対して１／２画素だけ位相をずらすよう指示する。この場合の縮小処理後の画像の画素サンプリング位置を図６に示す。縮小処理後の画像の全ての画素が、縮小処理前の画像の画素サンプリング位置の中間に存在するため、間引き・補間処理部３０４は１：１の重みづけで補間処理を行う。このとき、間引き・補間処理部３０４による処理におけるノイズ低減率ｋ2は約０．７０７となり、縮小処理部２０２全体でのノイズ低減率αは約０．３７０（＝０．５２３×０．７０７）となる。従って、３／５倍の縮小を行ったときよりもノイズが低減される。
【００４１】
上述のように、当該画像処理装置が備える縮小率及びＬＰＦ部３０３のプレフィルタ係数から、単純な間引き・補間処理が行われた場合の縮小率毎のノイズ低減率αが求められる。このため、間引き・補間処理部３０４におけるサンプリング位相のずれをどの程度とすればノイズ低減率αが画像サイズ順に並ぶかは、このノイズ低減率αに基づいて予め求めておくことができる。つまり、サンプリング位相のずれをどの程度とすれば、縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理後のノイズ量が、縮小率が大きい縮小処理後のノイズ量以下となるかは、このノイズ低減率αに基づいて予め求めておくことができる。このノイズ低減率αはノイズ評価値の一例である。サンプリング位相決定部３０２は、このようなずれ量が生じるようなサンプリング位相を決定する。つまり、サンプリング位相決定部３０２は、予め決定しておいた縮小率とサンプリング位相との関係に基づいて、サンプリング位相を決定するのである。また、このノイズ評価値は間引き・補間処理部３０４における補間係数及び縮小率に関連している。このノイズ評価値は、更にＬＰＦ部３０３における帯域制限処理によるノイズ量の変化にも関連している。そして、本実施形態では、縮小率が異なる任意の２つの縮小処理の間で、縮小率が小さい縮小処理におけるノイズ評価値が、縮小率が大きい縮小処理におけるノイズ評価値以下となる。
【００４２】
そして、本実施形態によれば、１／整数倍以外の縮小率で縮小処理を行う場合であっても、縮小処理の際のサンプリング位相をずらすことにより、画像サイズ順にノイズ量が並ぶようにすることができる。
【００４３】
なお、本実施形態では、プレフィルタ処理によるノイズ低減率を（４）式のように表しているが、別のノイズ評価法を用いてノイズ低減率を表してもよい。また、本実施形態では補間処理をバイリニア補間としているが、他の補間処理法を用いてもよい。
【００４４】
更に、本実施形態ではノイズ量が画像サイズ順になるよう画素のサンプリング位相をずらしているが、ノイズ量が同等、又は画像サイズとノイズ量と関係の逆転が目立たない程度になるよう画素サンプリングの位相をずらしてもよい。
【００４５】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、縮小処理部２０２の構成が第１の実施形態と相違している。他の構成は第１の実施形態と同様である。図７は、第２の実施形態における縮小処理部２０２の構成を示すブロック図である。図７に示すように、縮小処理部２０２には、縮小率決定部７０１、サンプリング位相決定部７０２、ＬＰＦ部７０３、間引き・補間処理部７０４及びノイズ評価値算出部７０５が含まれている。
【００４６】
縮小率決定部７０１、ＬＰＦ部７０３及び間引き・補間処理部７０４は、第１の実施形態の縮小率決定部３０１、ＬＰＦ部３０３及び間引き・補間処理部３０４と同様の動作を行う。ノイズ評価値算出部７０５は、縮小処理における所定のノイズ評価値、例えばノイズ低減率を算出する。サンプリング位相決定部７０２は、縮小率決定部７０１により決定された縮小率及びノイズ評価値算出部７０５により算出されたノイズ評価値、例えばノイズ低減率に応じて、縮小処理後のサンプリング位相を決定する。
【００４７】
次に、縮小処理部２０２の動作の概要について説明する。図８は、第２の実施形態における縮小処理部２０２の動作を示すフローチャートである。
【００４８】
先ず、ステップＳ８０１において、縮小率決定部７０１が縮小率を決定する。縮小率決定部７０１は、縮小率決定部３０１と同様に、ユーザの入力に基づいて縮小率を決定してもよく、何らかの方法でユーザの入力を考慮せずに自動的に決定してもよい。次いで、ステップＳ８０２において、ＬＰＦ部７０３が、ステップＳ８０１において決定された縮小率に応じたプレフィルタを選択する。その後、ステップＳ８０３において、ノイズ評価値算出部７０５が、ステップＳ８０１において決定された縮小率に応じたノイズ評価値を算出する。更に、サンプリング位相決定部７０２が、このノイズ評価値及びステップＳ８０１において決定された縮小率に応じた画素サンプリング位相を決定する。続いて、ステップＳ８０４において、ＬＰＦ部７０３が、ステップＳ８０２で選択したプレフィルタを用いて、画像変換部２０１から出力された画像データ、つまり縮小処理部２０２への入力画像データのプレフィルタ処理を行う。そして、ステップＳ８０５において、間引き・補間処理部７０４が、ステップＳ８０１において決定された縮小率及びステップＳ８０３において決定された画素サンプリング位相に基づき画像データを縮小する。ステップＳ８０３の処理は、ステップＳ８０１からステップＳ８０５までの間であれば、ステップＳ８０２とステップＳ８０４との間以外のタイミングで行われてもよい。
【００４９】
次に、ステップＳ８０３におけるノイズ評価値算出部７０５及びサンプリング位相決定部７０２の動作について説明する。図９は、ステップＳ８０３におけるノイズ評価値算出部７０５及びサンプリング位相決定部７０２の動作を示すフローチャートである。
【００５０】
先ず、ステップＳ９０１において、ノイズ評価値算出部７０５が位相ステップ値βを決定する。次いで、ステップＳ９０２において、ノイズ評価値算出部７０５が、「０」を位相ずらし量の初期値と設定し、ステップＳ９０３において、ノイズ評価値算出部７０５がノイズ評価値、例えば第１の実施形態におけるノイズ低減率αを算出する。その後、ステップＳ９０４において、ノイズ評価値算出部７０５が、画像サイズとノイズ評価値との関係がある所定の条件を満たすか否かを判定する。ある所定の条件とは、例えば縮小率が小さいほど縮小処理後のノイズ低減率αが同等になるか、又は低減されるという条件である。そして、この条件が満たされていない場合には、ノイズ評価値算出部７０５が、ステップＳ９０５において、位相ずらし量を位相ステップ値βだけ増やし、ステップＳ９０３に戻って、再度、ノイズ評価値を算出する。一方、上記の条件が満たされていれば、サンプリング位相決定部７０２が、ステップＳ９０６において、そのときの位相ずらし量を、縮小の際のサンプリング位相と決定する。つまり、ステップＳ９０３〜Ｓ９０５までの処理が、上記の条件が満たされるまで行われ、条件が満たされたときの位相ずらし量が縮小の際のサンプリング位相として決定される。
【００５１】
このように、本実施形態では、ノイズ評価値算出部７０５が、縮小処理時の位相をあるステップ値毎にずらしていき、それぞれの位相ずらし量におけるノイズ評価値を算出し、所定の条件を満たすものを求める。なお、ノイズ評価値としては、例えば第１の実施形態におけるノイズ低減率αを用いてもよく、特許文献２（特開２００９−１７７２４４号公報）にノイズ評価値として挙げられているＳ／Ｎ等の他の変数を用いてもよい。
【００５２】
ここで、ノイズ評価値算出部７０５及びサンプリング位相決定部７０２の動作の具体例について説明する。ここでも、画像データを３／５倍に縮小する場合の動作、及び１／２倍に縮小する場合の動作を例に挙げる。また、位相ステップ値βが１／８画素であり、ノイズ評価値として第１の実施形態のノイズ低減率αが用いられるとする。
【００５３】
先ず、ステップＳ９０１において、位相ステップ値βの値が１／８と決定される。次いで、ステップＳ９０２において、位相ずらし量が初期値「０」に設定され、ステップＳ９０３において、位相ずらし量が０の場合のノイズ評価値が算出される。第１の実施形態において説明したように、位相ずらし量が０の場合のノイズ低減率αは、縮小率が３／５倍のとき約０．５０８、縮小率が１／２倍のとき約０．５２３である。つまり、画像サイズ順にノイズ低減率αが並んでいない。このため、ステップＳ９０４での判断は「Ｎｏ」となり、ステップＳ９０５において、縮小率が１／２倍のときのサンプリング位相について位相ステップ値が、図１０に示すように、１／８画素だけずらされる。そして、再びステップＳ９０３においてノイズ評価値の算出が行われる。このときのノイズ低減率は（４）式及び（５）式より約０．４６２となる。つまり、画像サイズ順にノイズ低減率αが並ぶ。このため、ステップＳ９０４での判断は「Ｙｅｓ」となり、ステップＳ９０６において、１／８画素の位相ずらし量を伴うサンプリング位相が、縮小処理時のサンプリング位相に決定される。
【００５４】
このように、第２の実施形態では、ノイズ評価値算出部７０５が行う計算により、自動的に縮小処理時のサンプリング位相を決定することができる。
【００５５】
この第２の実施形態では、画像サイズ順にノイズ評価値が並んだ時点でサンプリング位相を決定している。しかしながら、これに限られず、位相ずらし量が１画素となるまでノイズ評価値を算出し、ノイズ評価値が最小値となるときの位相ずらし量を縮小処理時のサンプリング位相と決定してもよい。例えば縮小率が１／２倍の場合、図１０に示すように、ノイズ低減率が最も低くなるのは、１／２画素だけサンプリングの位相をずらしたときである。
【００５６】
（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、上記の比α1とは異なる値をプレフィルタ処理のノイズ低減率ｋ1として用いる。他の構成は第１の実施形態と同様である。第３の実施形態では、プレフィルタ処理によるノイズ低減率として、フィルタの周波数特性を用いて表したものを用いる。図１１は、フィルタの周波数特性及び周波数の重み関数を示す図である。例えば、プレフィルタ処理によるノイズ低減率ｋ1は、フィルタの周波数特性をｇ（ｘ）、縮小処理後の画像のナイキスト周波数をｆnとしたとき、（６）式のように表すことができる。
【００５７】
【数６】
2015035775.tif 000008
【００５８】
（６）式により得られるノイズ低減率ｋ1は、図１１（ａ）における領域Ａの面積を、領域Ａの面積及び領域Ｂの面積の和で除して得られた値に相当する。即ち、このノイズ低減率ｋ1は、ナイキスト周波数までのすべての周波数のゲインの平均値である。
【００５９】
また、特定の周波数のゲインのみを考慮し、ノイズ低減率ｋ1を（７）式のように表すこともできる。
【００６０】
【数７】
2015035775.tif 000009
【００６１】
（７）式により得られるノイズ低減率ｋ1は、図１１（ｂ）における領域Ａ´の面積を、領域Ａ´の面積及び領域Ｂ´の面積の和で除して得られた値に相当する。
【００６２】
また、周波数ごとに重みを決め、フィルタの周波数特性との乗算値の平均値をノイズ低減率ｋ1として用いてもよい。この場合、周波数の重み関数をｗ（ｘ）とすると、ノイズ低減率ｋ1は（８）式のように表すことができる。
【００６３】
【数８】
2015035775.tif 000010
【００６４】
以上のように、プレフィルタの特性からノイズ低減率ｋ1を表すことが可能であり、縮小処理部２０２のノイズ低減率の計算にこれを用いてもよい。周波数の重み関数ｗ（ｘ）は、例えば人間の目につきやすいノイズの周波数に大きい重み与えればよい。
【００６５】
（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態では、縮小処理部２０２の構成が第１の実施形態と相違している。他の構成は第１の実施形態と同様である。図１２は、第４の実施形態における縮小処理部２０２の構成を示すブロック図である。図１２に示すように、縮小処理部２０２には、縮小率決定部１２０１、サンプリング位相決定部１２０２、ＬＰＦ部１２０３、間引き・補間処理部１２０４及び感度情報取得部１２０５が含まれている。
【００６６】
縮小率決定部１２０１、ＬＰＦ部１２０３及び間引き・補間処理部１２０４は、第１の実施形態の縮小率決定部１２０１、ＬＰＦ部１２０３及び間引き・補間処理部１２０４と同様の動作を行う。感度情報取得部１２０５は、撮像素子１０２から制御部１０６を通じて撮影時の感度情報、つまり画像データの取得時の感度情報を取得し、サンプリング位相決定部１２０２に感度情報を入力する。サンプリング位相決定部１２０２は、縮小率決定部７０１により決定された縮小率及び感度情報取得部１２０５から入力された感度情報に応じて、縮小処理後のサンプリング位相を決定する。
【００６７】
低感度で撮影を行う場合、縮小処理部２０２に入力される画像に含まれるノイズ量は少量であり、画像サイズ順にノイズ量が並んでいないという問題が画像に現れにくい。一方で、撮影が高感度で行われるほど、縮小処理部２０２に入力される画像に含まれるノイズ量は多くなり、画像サイズ順にノイズ量が並んでいないという問題が顕著になる。このため、例えば、ノイズが少量の画像に対しても第１、第２の実施形態のように位相ずらしの処理を行うと、解像感が落ちただけのように見えることもある。従って、位相ずらしの処理を行わない方がよい場合もある。そこで、本実施形態では、取得した感度に応じて、サンプリング位相決定部１２０２の動作を変更する。
【００６８】
ここで、縮小処理部２０２の動作の概要について説明する。図１３は、第４の実施形態における縮小処理部２０２の動作を示すフローチャートである。
【００６９】
先ず、ステップＳ１３０１において、縮小率決定部１２０１が縮小率を決定する。縮小率決定部１２０１は、縮小率決定部３０１と同様に、ユーザの入力に基づいて縮小率を決定してもよく、何らかの方法でユーザの入力を考慮せずに自動的に決定してもよい。次いで、ステップＳ１３０２において、ＬＰＦ部１２０３が、ステップＳ１３０１において決定された縮小率に応じたプレフィルタを選択する。その後、感度情報取得部１２０５が、ステップＳ１３０３において感度情報を取得し、ステップＳ１３０４において感度がしきい値以上かどうかを判断する。このしきい値はユーザの操作部１０７からの入力により決定してもよく、シーンに応じて画像処理装置が自動的に決定してもよい。
【００７０】
そして、感度がしきい値以上の場合、ステップＳ１３０５へと進み、サンプリング位相決定部１２０２が第１の実施形態と同様にして画素サンプリング位相を決定する。次いで、ステップＳ１３０６において、ＬＰＦ部１２０３が、ステップＳ１３０２で選択したプレフィルタを用いて、画像変換部２０１から出力された画像データ、つまり縮小処理部２０２への入力画像データのプレフィルタ処理を行う。そして、ステップＳ１３０７において、間引き・補間処理部１２０４が、ステップＳ１３０１において決定された縮小率及びステップＳ１３０５において決定された画素サンプリング位相に基づき画像データを縮小する。
【００７１】
一方、感度がしきい値未満の場合には、ステップＳ１３０８へと進み、ステップＳ１３０８において、ＬＰＦ部１２０３が、ステップＳ１３０２で選択したプレフィルタを用いて、画像変換部２０１から出力された画像データのプレフィルタ処理を行う。そして、ステップＳ１３０９において、間引き・補間処理部１２０４が、ステップＳ１３０１において決定された縮小率に基づき画像データを縮小する。つまり、間引き・補間処理部１２０４は画素サンプリング位相を変更することなく、画像データを縮小する。
【００７２】
このような第４の実施形態によれば、撮影時の感度情報に応じて、サンプリング位相決定部１２０２の動作が変更され、適切に画素サンプリング位相の変更の有無を切り替えることができる。
【００７３】
なお、第４の実施形態では、感度のしきい値に応じてサンプリング位相決定部１２０２の動作の有無が切り替えられるが、感度に応じてサンプリング位相のずらし量を変更してもよい。この場合の縮小処理部２０２の動作を図１４に示す。
【００７４】
この場合、先ず、ステップＳ１４０１において、縮小率決定部１２０１が縮小率を決定する。次いで、ステップＳ１４０２において、ＬＰＦ部１２０３が、ステップＳ１３０１において決定された縮小率に応じたプレフィルタを選択する。その後、ステップＳ１４０３において、感度情報取得部１２０５が感度情報を取得し、サンプリング位相決定部１２０２に入力する。続いて、ステップＳ１４０４において、サンプリング位相決定部１２０２が、ステップＳ１４０３において入力された感度情報及びステップＳ１４０１において決定された縮小率に応じた画素サンプリング位相を決定する。サンプリング位相決定部１２０２は、例えば、高感度で撮影が行われている場合は１／２倍縮小において最もノイズ量が最も低減される１／２画素位相ずらしを行い、低感度での撮影ほど、位相ずらし量を減少させるように画素サンプリング位相を決定する。縮小率、感度、ずらすサンプリング位相の関係は、例えば（４）式及び（５）式を用いて算出したノイズ低減率に基づき、前もって決めておけばよい。そして、ステップＳ１４０５において、ＬＰＦ部１２０３が縮小処理部２０２への入力画像データのプレフィルタ処理を行い、ステップＳ１３０７において、間引き・補間処理部１２０４が画像データを縮小する。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７６】
本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００７７】
３０１、７０１、１２０１：縮小率決定部  ３０２、７０２、１２０２：サンプリング位相決定部  ３０３、７０３、１２０３：ＬＰＦ部  ３０４、７０４、１２０４：間引き・補間処理部  ７０５：ノイズ評価値算出部  １２０５：感度情報取得部
【図１】
2015035775.tif 000011
【図２】
2015035775.tif 000012
【図３】
2015035775.tif 000013
【図４】
2015035775.tif 000014
【図５】
2015035775.tif 000015
【図６】
2015035775.tif 000016
【図７】
2015035775.tif 000017
【図８】
2015035775.tif 000018
【図９】
2015035775.tif 000019
【図１０】
2015035775.tif 000020
【図１１】
2015035775.tif 000021
【図１２】
2015035775.tif 000022
【図１３】
2015035775.tif 000023
【図１４】
2015035775.tif 000024