(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を生成する撮像手段と、
前記撮像手段によって生成された画像信号から、互いに解像度の異なる複数の画像信号を生成する生成手段と、
前記生成手段によって生成された複数の画像信号からそれぞれエッジを検出するエッジ検出手段と、
前記被写体を撮像したときの前記撮像手段の制御情報および前記画像信号から得られる動きベクトルの少なくともいずれかに応じて、前記エッジ検出手段によって検出された前記複数の画像信号に係るエッジの重み付けを変えて合成することで、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出する算出手段とを有し、
前記算出手段は、前記画像信号の鮮鋭度が低くなるように、前記撮像手段の制御情報および前記被写体の動き情報の少なくともいずれかが変化したと判断した場合には、前記複数の画像信号のうちの最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させて、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出することを特徴とする撮像装置。
【請求項２】
前記撮像手段の制御情報は、撮像素子のシャッタスピードの情報を含み、前記シャッタスピードが遅くなるように変化すると、前記最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段の制御情報は、光学ズーム情報を含み、前記光学ズームの速度が速くなるように変化すると、前記最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像手段の制御情報は、レンズの位置情報を含み、前記レンズの焦点距離が長くなるように変化すると、前記最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像手段の制御情報は、フォーカスの合焦状態の情報を含むことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
被写体を撮像して画像信号を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段によって生成された画像信号から、互いに解像度の異なる複数の画像信号を生成する生成工程と、
前記生成工程において生成された複数の画像信号からそれぞれエッジを検出するエッジ検出工程と、
前記被写体を撮像したときの前記撮像手段の制御情報および前記画像信号から得られる動きベクトルの少なくともいずれかに応じて、前記エッジ検出工程において検出された前記複数の画像信号に係るエッジの重み付けを変えて合成することで、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出する算出工程とを有し、
前記算出工程においては、前記画像信号の鮮鋭度が低くなるように、前記撮像手段の制御情報及び前記被写体の動き情報の少なくともいずれかが変化したと判断した場合には、前記複数の画像信号のうちの最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させて、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出することを特徴とする撮像装置の制御方法。
【請求項７】
被写体を撮像して画像信号を生成する撮像手段を有する撮像装置を制御するためのプログラムであって、
前記撮像手段によって生成された画像信号から、互いに解像度の異なる複数の画像信号を生成する生成工程と、
前記生成工程において生成された複数の画像信号からそれぞれエッジを検出するエッジ検出工程と、
前記被写体を撮像したときの前記撮像手段の制御情報および前記画像信号から得られる動きベクトルの少なくともいずれかに応じて、前記エッジ検出工程において検出された前記複数の画像信号に係るエッジの重み付けを変えて合成することで、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出する算出工程とをコンピュータに実行させ、
前記算出工程においては、前記画像信号の鮮鋭度が低くなるように、前記撮像手段の制御情報および前記被写体の動き情報の少なくともいずれかが変化したと判断した場合には、前記複数の画像信号のうちの最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させて、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、エッジなどの特徴量を強調するために用いて好適な撮像装置、撮像装置の制御方法及びそのプログラムに関する。
【背景技術】
【０００２】
従来、画像信号からエッジ情報を検出する方法として、例えば、特許文献１に記載されているような手法が提案されている。特許文献１に記載の手法では、異なるスケールのエッジ検出フィルタを使用してエッジを検出し、その結果を合成することによってエッジ情報を出力している。このように、異なるスケールのエッジ検出フィルタを使用した結果を合成することにより、小さなスケールサイズでの局所的なエッジ情報と、大きなスケールサイズの大域的なエッジ情報とを含む割合を調整することができる。これにより、細かいエッジ情報を強調したり、画像の局所的なエッジ情報を強調したりできることが記載されている。
【０００３】
また、非特許文献１には、多重解像度処理によって各階層の画像からエッジを検出し、検出結果を合成する手法が開示されている。非特許文献１に記載されている手法では、エッジ検出処理時に多重解像度処理を行うことによって、解像度の違いによるエッジ検出結果の差を利用する。これにより、単独の階層でエッジ検出を行うよりも、ノイズやかすれに強いエッジ検出処理を実現できることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２９０２６８号公報
【非特許文献】
【０００５】
【非特許文献１】高畑知也、熊澤逸夫「画像の多重解像度表現におけるエッジの階層間関連付けと分類」画像の認識・理解シンポジウム（MIRU2004）、2004年7月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のエッジ検出処理では、撮影された画像のエッジが、手ぶれや動きぶれなどのカメラの撮影状態によって、出力レベルが低下したり広がってしまったりした場合に、各スケールで所望のエッジ検出結果が得られない。このため、合成したエッジ検出結果の信頼性が低下してしまう。同様に、非特許文献１に記載のエッジ検出処理では、撮影された画像のエッジが、手ぶれや動きぶれなどのカメラの撮影状態によって、出力レベルが低下したり広がってしまったりした場合に、上位階層に出力されるエッジはさらに鈍ってしまう。このため、所望のエッジ検出結果が得られず、合成したエッジ検出結果の信頼性が低下してしまう。
【０００７】
本発明は前述の問題点に鑑み、手ぶれや動きぶれなどのカメラの撮影状態によらず、エッジ検出の精度を向上できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、被写体を撮像して画像信号を生成する撮像手段と、前記撮像手段によって生成された画像信号から、互いに解像度の異なる複数の画像信号を生成する生成手段と、前記生成手段によって生成された複数の画像信号からそれぞれエッジを検出するエッジ検出手段と、前記被写体を撮像したときの前記撮像手段の制御情報および前記画像信号から得られる動きベクトルの少なくともいずれかに応じて、前記エッジ検出手段によって検出された前記複数の画像信号に係るエッジの重み付けを変えて合成することで、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出する算出手段とを有し、前記算出手段は、前記画像信号の鮮鋭度が低くなるように、前記撮像手段の制御情報および前記被写体の動き情報の少なくともいずれかが変化したと判断した場合には、前記複数の画像信号のうちの最も解像度の低い画像信号に係るエッジの評価値の重み付けを増加させて、前記撮像手段によって生成された画像信号に係るエッジの評価値を算出することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、多重解像度処理によるエッジ検出の精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】撮像部の制御情報と評価値との関係を示す図である。
【図３】拡大処理前のエッジ評価値の画像と拡大処理後のエッジ評価値の画像とを模式的に示した図である。
【図４】第１の実施形態におけるエッジ状態評価値に対する重み付け係数の取り方を説明する図である。
【図５】実施形態における多重解像度処理部の詳細な構成例を示すブロック図である。
【図６】イプシロン関数を説明する図である。
【図７】エッジ評価値とε値との関係を示す図である。
【図８】第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図９】第２の実施形態における動きベクトル値と動きベクトル評価値との関係を示す図である。
【図１０】第２の実施形態における動きベクトル評価値に対する重み付け係数の取り方を説明する図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、光学系駆動部２は、ズームレンズ、フォーカスレンズ、及び絞りを含む光学系１を駆動するものである。撮像素子駆動部４は、撮像素子３を駆動するためのものである。アナログフロントエンド部（ＡＦＥ）５は、ＣＤＳ手段及びＡ／Ｄ変換器を含むものである。
【００１２】
システム制御部６は、撮像装置１００全体を制御するためのものである。重み付け部７は、システム制御部６から出力されるレンズ駆動制御情報、シャッタスピード制御情報、及び合焦情報に基づいて、合成処理で使用する重み付け制御情報を生成し、後述する多重解像度処理部８に出力する。多重解像度処理部８は、ＡＦＥ５から出力される画像信号に対して多重解像度処理によってエッジ評価値を出力する。カメラ信号処理部９は、ＡＦＥ５から出力される画像信号に対して所定の画像処理を施す。ノイズ抑圧部１０は、ノイズ抑圧処理を行う。
【００１３】
次に、本実施形態に係る撮像装置１００における処理手順について説明する。
まず、光学系１を通して撮像素子３に被写体像が結像され、撮像素子３は、被写体像を光電変換により電気信号に変換してアナログ画像信号をＡＦＥ５に出力する。撮像素子３から出力されたアナログ画像信号はＡＦＥ５内部のＡ／Ｄ変換器によりデジタル画像信号に変換され、画像信号が出力される。
【００１４】
重み付け部７は、システム制御部６から出力されるカメラ制御情報である、レンズ駆動制御情報、シャッタスピード制御情報、及び合焦情報に応じて、多重解像度処理部８で使用する重み付け制御情報を出力する。重み付け部７では、レンズ駆動制御情報から光学ズーム速度評価値Ｚ及びレンズ位置評価値Ｌを算出し、シャッタスピード制御情報からシャッタスピード評価値Ｓを算出する。さらに、合焦情報から合焦評価値Ｆを算出し、以下の式（１）により、エッジ状態評価値Ｅを算出する。
Ｅ＝ＷZ・Ｚ＊ＷL・Ｌ＊ＷS・Ｓ＊ＷF・Ｆ    ・・・（１）
【００１５】
ここで、光学ズーム速度評価値Ｚ、レンズ位置評価値Ｌ、シャッタスピード評価値Ｓ及び合焦評価値Ｆはそれぞれ、エッジがぼやける状態に近づくほど小さな値となる。これら全ての評価値を乗算することにより、１つでも値が小さくなった場合にはエッジ状態評価値Ｅが小さくなるようにする。また、光学ズーム評価値Ｚの重み付け係数ＷZ、レンズ位置評価値Ｌの重み付け係数ＷL、シャッタスピード評価値Ｓの重み付け係数ＷS、合焦評価値Ｆの重み付け係数ＷFの値をそれぞれ調整し、特定のカメラ制御情報に対しての優先度を設定してもよい。なお、この式は一例であり、特定の評価値のみを使用してもよい。
【００１６】
また、本実施形態においては、前述の重み付け係数とは別に、算出したエッジ状態評価値Ｅに基づいて階層ごとのエッジ評価値の重み付け係数を算出する。この重み付け係数の詳細については後述する。そして、重み付け制御情報として、この重み付け係数の情報を多重解像度処理部８に出力する。
【００１７】
図２（ａ）は、レンズ駆動制御情報の中の光学ズーム情報と光学ズーム速度評価値Ｚとの関係を示す図である。光学ズーム動作中は、撮影される画像のエッジはぼやけて広がる傾向にあり、その広がりは光学ズームの速度が速くなるに従って大きくなる。したがって、光学ズームの速度が大きくなるに従い、光学ズーム速度評価値Ｚが小さくなるようにする。
【００１８】
図２（ｂ）は、レンズ駆動制御情報の中のレンズ位置情報とレンズ位置評価値Ｌとの関係を示す図である。レンズ位置は、焦点距離が長くなるほど、カメラのぶれに対する画像のぶれが大きくなる。したがって、レンズ位置がテレ側に行くに従い、レンズ位置評価値Ｌが小さくなるようにする。
【００１９】
図２（ｃ）は、シャッタスピード制御情報とシャッタスピード評価値Ｓとの関係を示す図である。シャッタスピードが遅くなるほど、撮影される画像には手ぶれおよび被写体の動きぶれが大きくなり、このようなぶれが発生するとエッジはぼやけて広がる。したがって、シャッタスピードが遅くなるに従い、シャッタスピード評価値Ｓが小さくなるようにする。
【００２０】
図２（ｄ）は、合焦情報と合焦評価値Ｆとの関係を示す図である。合焦の状態が非合焦に近づくほど、撮影される画像はぼやけているため、エッジもぼやけて広がっている。したがって、合焦状態が非合焦になるに従い、合焦評価値Ｆが小さくなるようにする。
【００２１】
多重解像度処理部８では、ＡＦＥ５の出力信号である画像信号より多重解像度処理を行い、それぞれの階層から得られたエッジ情報を合成したエッジ評価値を出力する。図５は、多重解像度処理部８の詳細な構成例を示すブロック図である。
【００２２】
図５において、第１の帯域制限フィルタ処理部８０１及び第２の帯域制限フィルタ処理部８０２は、入力された画像信号に対して帯域制限フィルタ処理を行う。具体的には、ローパスフィルタ処理を行う。第２の帯域制限フィルタ処理部８０２から出力される画像信号の帯域のほうが、第１の帯域制限フィルタ処理部８０１から出力される画像信号の帯域よりも低い。第１の間引き処理部８０３及び第２の間引き処理部８０４は、帯域制限された画像信号に対して水平方向及び垂直方向に半分の画像サイズに縮小する。第１のエッジ判定部８０５、第２のエッジ判定部８０６及び第３のエッジ判定部８０７は、入力された画像信号から画素ごとのエッジ評価値を算出する。第１の拡大処理部８０８及び第２の拡大処理部８０９は、エッジ評価値が算出された画像信号をＡＦＥ５から出力される画像信号のサイズの分解能になるよう、すなわち同じ画素数になるように拡大処理を行う。合成処理部８１０は、各階層で算出されたエッジ評価値を合成して出力する。
【００２３】
ここで、第１の間引き処理部８０３には、ＡＦＥ５から出力された画像信号にローパスフィルタ処理された画像信号が入力される。そのため、第１の間引き処理部８０３はＡＦＥ５から出力される画像信号のサイズに対して垂直方向と水平方向のそれぞれにおいて１／２の大きさの画像信号を出力する。一方、第２の間引き処理部８０４には、第１の間引き処理部８０３から出力された画像信号にローパスフィルタ処理された画像が入力される。そのため、第２の間引き処理部８０４はＡＦＥ５から出力される画像信号のサイズに対して垂直方向と水平方向のそれぞれにおいて１／４の大きさの画像信号を出力する。なお、本実施形態では、縮小処理を２段階まで行っているが、この数に限ったことではなく、同様の機構で階層数を変更してもよい。
【００２４】
第１のエッジ判定部８０５、第２のエッジ判定部８０６及び第３のエッジ判定部８０７では、入力された画像信号に対して例えばソーベルフィルタのような一次微分フィルタを使用してフィルタ演算を行い、その結果をエッジ評価値として出力する。第１の拡大処理部８０８及び第２の拡大処理部８０９では、エッジ評価値が算出された画像信号に対し、ＡＦＥ５から出力された画像のサイズの大きさになるように、例えば０挿入補間処理のあとにローパスフィルタ処理を行うような手法で拡大処理を行う。第１の拡大処理部８０８では、ＡＦＥ５から出力された画像信号に対して水平方向と垂直方向のそれぞれにおいて１／２の大きさになっているので、２倍の拡大処理を行う。一方、第２の拡大処理部８０９では、ＡＦＥ５から出力された画像信号に対して水平方向と垂直方向のそれぞれにおいて１／４の大きさになっているので、４倍の拡大処理を行う。
【００２５】
次に、合成処理部８１０における複数のエッジ評価値の合成方法について説明する。図３は、拡大処理前の画像と拡大処理後の画像とを模式的に示した図である。
図３において、画像３０１は第３のエッジ判定部８０７から出力される画像であり、画像３０２は第２のエッジ判定部８０６から出力される画像である。また、画像３０３は第１のエッジ判定部８０５から出力される画像である。一方、画像３０４は第２の拡大処理部８０９から出力される画像であり、画像３０５は第１の拡大処理部８０８から出力される画像である。また、画像３０６は、拡大処理が行われていないため画像３０３と等価である。
【００２６】
このとき、拡大処理後のある画素位置における各階層のエッジ評価値を帯域の低い下位層から順にそれぞれａ1、ｂ1、ｃ1とした場合に、撮影画像のエッジ評価値として１画素につき１つにまとめる必要がある。そこで、以下の式（２）により平均値を算出し、ある画素位置のエッジ評価値とすることが考えられる。
エッジ評価値＝ａ1／３＋ｂ1／３＋ｃ1／３    ・・・（２）
【００２７】
そして、すべての画素について同様にエッジ評価値を算出することにより、多重解像度処理の各階層のエッジ評価値から、入力画像の画素位置に応じたエッジ評価値を算出することができる。ところが、この場合では、光学ズーム速度評価値Ｚ、レンズ位置評価値Ｌ、シャッタスピード評価値Ｓ及び合焦評価値Ｆが反映されていない。
【００２８】
そこで本実施形態では、エッジ評価値を算出する際に各階層の平均値ではなく、以下に説明する重み付け係数ＫXを用いて比重を設け、エッジ評価値を算出する。以下、重み付け係数ＫXについて、図４を参照しながら説明する。
【００２９】
図４は、式（１）で算出したエッジ状態評価値Ｅに対する重み付け係数ＫXの取り方を説明する図である。重み付け係数ＫXは、各階層のエッジ評価値を重み付けして合成するための係数であり、各階層のそれぞれの重み付け係数をＫa、Ｋb、Ｋcとする。この場合、撮影画像におけるある画素のエッジ評価値は、以下の式（３）により算出される。
エッジ評価値＝Ｋa・ａ1＋Ｋb・ｂ1＋Ｋc・ｃ1    ・・・（３）
【００３０】
ここで、式（２）と異なる点は、各階層のエッジ評価値ａ1、ｂ1、ｃ1に対して決められた係数ではなく、可変にしているところである。そして、この重み付け係数ＫXを前述したエッジ状態評価値Ｅに応じて変化させる。図４に示す例では、Ｅ＝１、すなわち動きが小さい場合は３つの係数の値を等しくとっており、Ｅが０に遷移するにつれて、下位の階層に対する重み付けを大きくするように３つの重み付け係数Ｋa、Ｋb、Ｋcを制御する。つまり、画像信号の鮮鋭度が低くなると判断すると、帯域の低い画像信号から得られたエッジ評価値の重み付けを増加させ、画像信号の鮮鋭度が高くなると判断すると、帯域の高い画像信号から得られたエッジ評価値の重み付けを増加させている。
【００３１】
エッジのぶれやボケが発生している場合は、上位の階層の画像信号にはボケが現れているためエッジ評価値は低くなってしまうが、下位の階層の画像信号はローパスフィルタ処理によって帯域制限されているため、エッジ評価値は上位の階層ほど悪化しない。したがって、重み付け部７は、合成処理部８１０において下位の階層に重み付けるような合成処理を行うために、重み付け係数ＫXを決定する。
【００３２】
なお、図４に示す例では、エッジ状態評価値Ｅが１の時にＫa＝Ｋb＝Ｋcとなるようにしているが、必ずしも等しい値にする必要はない。例えば、エッジ状態評価値Ｅが１の時にＫc＞Ｋb＞Ｋaとなるようにすることにより、静止しているときに細かいエッジ評価値に重きを置くことも可能である。
【００３３】
カメラ信号処理部９は、ＡＦＥ５の出力信号である画像信号に、アパーチャ補正、ガンマ補正、ホワイトバランス処理などの撮像系の信号処理を行う。ノイズ抑圧部１０は、カメラ信号処理部９の出力信号である画像信号に対し、多重解像度処理部８の出力信号であるエッジ評価値に応じたノイズ抑圧処理を行う。
【００３４】
ノイズ抑圧部１０では、イプシロンフィルタのようなノイズ抑圧処理を行う。イプシロンフィルタ処理の３タップでの処理の例を以下に示す。フィルタ処理の着目画素をａ１とし、隣接する画素をそれぞれａ０，ａ２とする。イプシロン関数をｅｐｓ（ｘ）と表すと、イプシロン関数の出力ａ１'は以下の式（４）により算出される。
ａ１'＝ａ１＋｛ｅｐｓ（ａ０−ａ１）＋ｅｐｓ（ａ２−ａ１）｝／４  ・・（４）
【００３５】
イプシロン関数は、図６に表されるような特性を持つ。図６に示している値ε（以下ε値と表す）は、着目画素ごとに調整することが可能な定数である。イプシロン関数の入力値、すなわち着目画素ａ１と隣接画素ａ０またはａ２との差分値の絶対値が２＊εよりも大きい場合は、イプシロン関数の出力が０となるので、その画素値はフィルタ処理により無効化される。したがって、隣接画素との差分値が大きい場合は、イプシロン関数の出力が０となるので、式（４）よりフィルタ処理されない画素値がそのまま出力される。
【００３６】
一方、イプシロン関数の入力値、すなわち着目画素ａ１と隣接画素ａ０またはａ２との差分値の絶対値がε値よりも小さい場合は、イプシロン関数の出力は入力と同じ値となる。したがって、隣接画素との差分値が小さい場合は、イプシロン関数によって値の変化が発生しないため、式（４）より通常のローパスフィルタ処理された画素値が出力される。
【００３７】
ノイズ抑圧部１０では、多重解像度処理部８から出力されるエッジ評価値に応じて、イプシロンフィルタのε値の制御を行う。エッジ評価値とε値との関係を図７に示す。エッジ評価値が一定値以上となった時、出力されるε値を小さくすることにより、着目画素との差分が小さい場合でも、イプシロン関数の出力を０にすることができるため、ノイズ抑圧効果を弱めることができる。なお、図７に示す関係は一例であり、エッジ評価値に応じてε値の出力が小さくなるような特性であればよい。
【００３８】
以上のように本実施形態によれば、システム制御部６から出力されるレンズ駆動制御情報、シャッタスピード制御情報、合焦情報に応じて、多重解像度処理部８内の合成処理部８１０を制御するようにした。これにより、多重解像度処理から出力されるエッジ評価値の精度を高めることができ、入力画像に対するエッジ検出の精度が向上し、ノイズ抑圧部１０によるエッジのボケを低減することができる。
【００３９】
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。
図８は、本実施形態に係る撮像装置８００の構成例を示すブロック図である。なお、第１の実施形態で説明した図１と同様の構成について同一番号を付しており、その部分の説明は省略する。以下、第１の実施形態と異なる部分について説明する。
【００４０】
動きベクトル検出部１１は、入力された画像信号に対してブロックマッチングなどの手法によって画像内の動き情報である動きベクトル値を処理ブロックごとに算出する。そして、動きベクトル値を処理ブロックごとに算出した後に、画面全体での動きベクトル値を算出し、動きベクトル情報として重み付け部７１に出力する。重み付け部７１は、動きベクトル検出部１１で算出された動きベクトル値に応じて重み付け係数ＫXを算出し、重み付け制御情報として多重解像度処理部８に出力する。
【００４１】
図９は、動きベクトル値と動きベクトル評価値Ｖとの関係を示す図である。ここで、動きベクトル値が大きい場合は、画面内で動きが大きいということなので、画像のエッジはぼやけて広がる傾向にあり、その広がりは動きベクトル値が大きくなるに従って大きくなる。したがって、動きベクトル値が大きくなるに従い、動きベクトル評価値Ｖが小さくなるようにする。
【００４２】
次に、動きベクトル評価値Ｖに応じて、重み付け係数ＫXを算出する。図１０には、動きベクトル評価値Ｖと重み付け係数ＫXとの関係を示しており、動きベクトル評価値Ｖに対する重み付け係数ＫXの取り方の一例を示している。ここで、重み付け係数ＫXは、第１の実施形態と同様に各階層のエッジ評価値を重み付けして合成するための係数であり、下位の階層から順にそれぞれＫa、Ｋb、Ｋcとしている。この場合、撮影画像におけるある画素のエッジ評価値は、前述した式（３）により算出される。本実施形態では、この重み付け係数ＫXを動きベクトル評価値Ｖに応じて変化させる。
【００４３】
図１０に示す例では、Ｖ＝１、すなわち動きが小さい場合は３つの係数の値を等しくしているが、Ｖが０に遷移するにつれて、下位の階層に対する重み付けを大きくするように３つの係数を制御している。エッジのぶれやボケが発生している場合、上位の階層の画像信号にはボケが現れているためエッジ評価値は低くなってしまうが、下位の階層の画像信号はローパスフィルタ処理によって帯域制限されているため、エッジ評価値は上位の階層ほど悪化しない。したがって、重み付け部７１は、合成処理部８１０において下位の階層に重み付けるような合成処理を行うために、重み付け係数ＫXを決定する。
【００４４】
なお、図１０に示す例では動きベクトル評価値Ｖが１の時にＫa＝Ｋb＝Ｋcとなるようにしているが、必ずしも等しい値にする必要はない。例えば、動きベクトル評価値Ｖが１の時にＫc＞Ｋb＞Ｋaとなるようにすることにより、静止しているときに細かいエッジ評価値に重きを置くことも可能である。
【００４５】
以上のように本実施形態によれば、動きベクトル検出部１１によって検出された動きベクトル値に応じて、多重解像度処理部８内の合成処理部８１０を制御するようにした。これにより、多重解像度処理から出力されるエッジ評価値の精度を高めることができ、入力画像に対するエッジ検出の精度が向上し、ノイズ抑圧部１０でのエッジのボケを低減することができる。さらに、この動きベクトル検出部１１によって検出された動きベクトル値と、第１の実施形態で説明したカメラの制御情報を組み合わせて、多重解像度処理部８内の合成処理部８１０を制御するようにしても構わない。
【００４６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１  光学系
３  撮像素子
７  重み付け部
８  多重解像度処理部
【図１】
0005893426.tif 000002
【図２】
0005893426.tif 000003
【図３】
0005893426.tif 000004
【図４】
0005893426.tif 000005
【図５】
0005893426.tif 000006
【図６】
0005893426.tif 000007
【図７】
0005893426.tif 000008
【図８】
0005893426.tif 000009
【図９】
0005893426.tif 000010
【図１０】
0005893426.tif 000011