(57)【要約】【課題】映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置において、被写体は動いているのに画素間の差分が小さい部分があると動きが小さいと判定されてしまい、画質が低下するという問題を解決する。【解決手段】現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、前記動き量算出手段からの複数の動き量より、動き量を生成する動き量生成手段を有し、前記動き量生成手段は、画素ごとに複数の動き量より選択することを特徴とする。【選択図】  図１
2012100065.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置であって、
現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、
過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、
前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、
前記動き量算出手段からの複数の動き量より、動き量を生成する動き量生成手段を有し、
前記動き量生成手段は、画素ごとに複数の動き量より選択することを特徴とする画像処理装置。
【請求項２】
前記選択方法は、前記複数の動き量の最大値、最頻値、中央値のいずれかを選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置であって、
現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、
過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、
前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、
前記動き量算出手段からの複数の動き量より、動き量を生成する動き量生成手段を有し、
前記動き量生成手段は、前記複数の動き量より画素ごとに選択方法をかえることを特徴とする画像処理装置。
【請求項４】
前記選択方法は、前記複数の動き量の最大値、最頻値、中央値、最小値のいずれか２つ以上の方法であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記動き量生成手段は、画素ごとに前記複数の動き量と所定の値とを比較し、前記複数の動き量がすべて所定の値より小さければ、前記複数の動き量のうちの最小値を選択し、
前記複数の動き量のうち、低解像度画像からの動き量が所定の値より小さく、高解像度画像からの動き量が所定の値より大きい場合には、前記複数の動き量のうちの最頻値または中央値を選択し、そうでない場合には前記複数の動き量のうちの最大値を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置であって、
現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、
過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、
前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、
前記複数の動き量をそれぞれ所定の値と比較し、所定の値より大きい領域を動き領域として判定する領域判定手段と、
前記動き量算出手段からの複数の動き量と前記領域判定手段からの領域判定結果より、動き量を合成する動き量合成手段を有し、
前記動き量合成手段は、複数の動き量を前記領域判定結果に応じて重み付け合成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に映像信号の時間的に異なるフレーム間における、被写体の動き量に基づく処理を行う機能に関するものである。
【背景技術】
【０００２】
従来より巡回型フィルタを用いたノイズ抑圧処理（以下、巡回ＮＲと呼ぶ）では、動いている被写体に対し、巡回ＮＲを強くかけると残像してしまうため、画素ごとに現フレームと過去フレームの動き量を求め、これに応じた比率で、現フレームと過去フレームを混合することで、動き部分では残像を抑えながらも、動きが小さい部分では抑圧効果を高めることが行われている。この技術は特許文献１に記載されている。
【０００３】
また、インターレース信号をプログレッシブ信号に変換する処理（以下、ＩＰ変換と呼ぶ）においては、動き部分、動きが小さい部分のどちらにも適した変換を行うため、例えば、画素毎の動き係数を求め、これに応じた比率でフィールド内補間による信号とフィールド間補間による信号を混合してプログレッシブ信号への変換を行う技術が開示されている。この技術は特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７４０６７号公報
【特許文献２】特開昭５８−０７７３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来の技術では、被写体は動いているのに画素間の差分が小さい部分があると動きが小さいと判定されてしまい、特許文献１においては、動き領域内で巡回ＮＲの効果が均一とならず、画質が低下するという問題があった。また、特許文献２でも同様に、被写体は動いているのに画素間の差分が小さく、動きが小さいと判定されてしまうと、フィールド間補間となってしまい、動き領域内で補間結果が均一とならず、画質が低下するという問題があった。
【０００６】
これを説明する図を図１１に示す。
【０００７】
図１１において、（ａ）は被写体が左（黒丸位置）から右（斜線丸位置）に動いた時のフレーム間差分を示す図で、真ん中の白丸部分は被写体が重なっている部分であり、画素間の差分が小さい領域を示している。（ｂ）は、縦軸に絶対値化された差分をとり、（ａ）のＡＡ’間の動き量算出結果を示している。
【０００８】
このように、真ん中の白丸部分は被写体が動いている領域であるにもかかわらず、画素間の差分が小さいため動きが小さいと判定されてしまう。
【０００９】
巡回ＮＲの場合は、動きが小さい部分では抑圧効果を高めるため、強く巡回ＮＲがかかることとなり、動いている被写体の中で真ん中の白丸部分だけが残像してしまい、画質の低下を引き起こしていた。
【００１０】
ＩＰ変換の場合は、動きが小さい部分では高解像度を保つためにフィールド間補間を行っているため、動いている被写体の中で真ん中の白丸部分だけがフィールド間補間となってしまい、動き領域内で補間結果が均一とならず、画質が低下するという問題があった。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、
映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置であって、
現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、
過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、
前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、
前記動き量算出手段からの複数の動き量より、動き量を生成する動き量生成手段を有し、
前記動き量生成手段は、画素ごとに複数の動き量より選択することを特徴とする画像処理装置。
【００１２】
また、本発明の他の特徴とするところは、
前記選択方法は、前記複数の動き量の最大値、最頻値、中央値のいずれかを選択することを特徴としている。
【００１３】
また、本発明の他の特徴とするところは、
映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置であって、
現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、
過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、
前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、
前記動き量算出手段からの複数の動き量より、動き量を生成する動き量生成手段を有し、
前記動き量生成手段は、前記複数の動き量より画素ごとに選択方法をかえることを特徴としている。
【００１４】
また、本発明の他の特徴とするところは、
前記選択方法は、前記複数の動き量の最大値、最頻値、中央値、最小値のいずれか２つ以上の方法であることを特徴としている。
【００１５】
また、本発明の他の特徴とするところは、
前記動き量生成手段は、画素ごとに前記複数の動き量と所定の値とを比較し、前記複数の動き量がすべて所定の値より小さければ、前記複数の動き量のうちの最小値を選択し、
前記複数の動き量のうち、低解像度画像からの動き量が所定の値より小さく、高解像度画像からの動き量が所定の値より大きい場合には、前記複数の動き量のうちの最頻値または中央値を選択し、そうでない場合には前記複数の動き量のうちの最大値を選択することを特徴としている。
【００１６】
また、本発明の他の特徴とするところは、
映像信号の時間的に異なるフレーム間における画像の動き量に基づく処理を行う画像処理装置であって、
現フレームから、複数の解像度の画像を生成する第１の多重解像度生成手段と、
過去フレームから、複数の解像度の画像を生成する第２の多重解像度生成手段と、
前記第１、第２の多重解像度生成手段からの複数の解像度画像から、それぞれのフレーム間差分を動き量として算出する動き量算出手段と、
前記複数の動き量をそれぞれ所定の値と比較し、所定の値より大きい領域を動き領域として判定する領域判定手段と、
前記動き量算出手段からの複数の動き量と前記領域判定手段からの領域判定結果より、動き量を合成する動き量合成手段を有し、
前記動き量合成手段は、複数の動き量を前記領域判定結果に応じて重み付け合成することを特徴としている。
【発明の効果】
【００１７】
以上説明したように、本発明に係る第１の発明によれば、多重解像度変換された画像のうち、同じ周波数帯域を持つ画像同士から動き量を算出し、算出された動き量のうちの大きい方を選択していくことで、動き領域内の動き量を大きくすることができる。
【００１８】
また、本発明に係る第２の発明によれば、動き領域内の動き量を大きくでき、かつ、完全静止部分の動き量を小さくできる。
【００１９】
また、本発明に係る第３の発明によれば、動き領域内では高い動き量を生成でき、一方、動き領域と静止領域の境界部での動き誤算出を軽減することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に関わる撮像装置の構成を示すブロック図
【図２】本発明の第１の実施形態に関わる第１の多重解像度部５の構成を示すブロック図
【図３】本実施例の特徴である動き量生成部１０の構成を示すブロック図
【図４】本実施例の特徴である拡大処理部２０３と動き量選択部２０４の制御を示すフローチャート
【図５】動き量選択部２０４の制御を説明する図
【図６】本発明の第２の実施形態に関わる動き量生成部１０の構成を示すブロック図
【図７】本発明の第２の実施形態に関わる動き量生成部１０の動作を示すフローチャート
【図８】本発明の第２の実施形態に関わる動き量生成部１０の動作を説明する図
【図９】本発明の第３の実施形態に関わる動き量生成部１０の構成を示すブロック図
【図１０】本発明の第３の実施形態に関わる動き量生成部１０の動作を説明する図
【図１１】課題を説明する図
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
【００２２】
［実施例１］
図１は、本発明の第１の実施形態に関わる撮像装置の構成を示すブロック図である。
【００２３】
図１において、１はズームレンズ、フォーカスレンズ、絞りを含む光学系、２は光学系１を駆動する光学系駆動部、３は撮像素子、４は撮像素子３を駆動する撮像素子駆動部、５は撮像素子３からの画像を互いに異なる周波数帯域を持つ複数の画像に変換する第１の多重解像度変換部、６はメモリ１２からの画像を互いに異なる周波数帯域を持つ複数の画像に変換する第２の多重解像度変換部である。ここで、第１の多重解像度変換部５より出力される複数の画像と第２の多重解像度変換部６より出力される複数の画像は、同じように互いに異なる周波数帯域を持つ複数の画像に変換されて出力される。そのため、第１の多重解像度変換部５からの出力と第２の多重解像度変換部６からの出力は、同じ周波数帯域を持つ画像のペアが存在する。
【００２４】
７は、多重解像度変換部５および多重解像度変換部６から出力される、同じ周波数帯域を持つ画像のペア間の差分を動き量として算出する第１の動き量算出部、
８は、多重解像度変換部５および多重解像度変換部６から出力される、同じ周波数帯域を持つ画像のペア間の差分を動き量として算出する第２の動き量算出部、９は、多重解像度変換部５および多重解像度変換部６から出力される、同じ周波数帯域を持つ画像のペア間の差分を動き量として算出する第３の動き量算出部である。
【００２５】
１０は、第１の動き量算出部７、第２の動き量算出部８、第１の動き量算出部９からの動き量から、巡回ＮＲ部１１への動き量を生成する動き量生成部、１１は、動き量生成部１０からの動き量に応じてノイズ抑圧の強弱を制御する、巡回型フィルタを用いた巡回ＮＲ部、１２は、巡回ＮＲ部１１から出力される画像を、１フレーム期間保持して巡回ＮＲ部１１と多重解像度変換部６へ出力するメモリ、１３は、光学系駆動部２と撮像素子駆動部４を制御するシステム制御部である。
【００２６】
次に、図２に本発明の第１の実施形態に関わる第１の多重解像度部５の構成を示すブロック図を示す。
【００２７】
図２において、１０１は撮像素子３からの画像に対しＬＰＦをかけた後にダウンサンプリングを行って画像を縮小する縮小処理部、１０２は縮小処理部１０１からの画像に対しＬＰＦをかけた後にダウンサンプリングを行って画像を縮小する縮小処理部である。
【００２８】
なお、本例ではダウンサンプリングを行って画像を縮小することにより、互いに異なる周波数帯域を持つ複数の画像に変換する方法を用いて説明するが、入力画像に対し帯域の異なるＬＰＦやＢＰＦをかけたり、ウェーブレット変換などの方法で、入力画像を互いに異なる周波数帯域を持つ複数の画像に変換しても良い。
【００２９】
また、第２の多重解像度変換部６は第１の多重解像度変換部５と同じ構成とすることで、同じ周波数帯域を持つ画像のペアを存在させることができる。
【００３０】
次に、図３に本実施例の特徴である動き量生成部１０の構成を示すブロック図を示す。
【００３１】
図３において、２０１は動き量算出部９からの動き量を拡大する拡大処理部、２０２は動き量算出部８からの動き量と拡大処理部２０１からの拡大された動き量のいずれかを、画素ごとに選択する動き量選択部、２０３は動き量選択部２０２からの動き量を拡大する拡大処理部、２０４は動き量算出部７からの動き量と拡大処理部２０２からの拡大された動き量のいずれかを、画素ごとに選択する動き量選択部である。
【００３２】
次に、図４に本実施例の特徴である拡大処理部２０３と動き量選択部２０４の制御を示すフローチャートを示す。
【００３３】
なお、拡大処理部２０１と動き量選択部２０２も同様の制御を行うことから説明を省略する。
【００３４】
図４において、Ｓ１０１では動き量算出部８からの動き量を補間によって動き量算出画像のサイズを拡大し、Ｓ１０２へ進む。Ｓ１０２では、動き量算出部７からの動き量と拡大された動き量を画素ごとに比較し、Ｓ１０３へ進む。
【００３５】
ここで、動き量選択部２０４の制御を説明する図を図５に示す。
【００３６】
図５において、（ａ）は被写体が左（黒丸位置）から右（斜線丸位置）に動いた時のフレーム間差分を示す図で、真ん中の白丸部分は被写体が重なっている部分であり、画素間の差分が小さい領域を示している。（ｂ）は、動き量算出部７からの動き量を示しており、縦軸に絶対値化された差分をとって、（ａ）のＡＡ’間の動き量算出結果を示している。（ｃ）は動き量算出部８からの動き量を示しており、また、縮小された画像同士からの動き量であるため、水平方向に縮小されたものとなっている。（ｃ）のＢおよびＣは、縮小した時のＡおよびＡ’に対応している。（ｄ）は、動き量算出部８からの動き量を拡大したもので、拡大処理部２０３からはこのような動き量が出力される。
【００３７】
また、動き量選択部２０４では（ｂ）のような動き量と（ｄ）のような動き量から、いずれかの動き量を選択して出力する。ここで、（ｂ）に対し、（ｄ）では縮小処理によるＬＰＦの影響と拡大時の補間の影響から動き量がなまっており、特に着目される（ｂ）における中央の差分が小さくなっている領域（（ａ）における白丸領域）においても、（ｄ）では差分を持たせることができる。一方で、（ａ）における黒丸および斜線丸領域の動きとして差分を大きくしたい領域においては、（ｂ）と（ｄ）を比較すると（ｂ）の方がより大きく差分が出ている。
【００３８】
そこで、Ｓ１０３では、Ｓ１０２における比較の結果、拡大された動き量の方が大きければＳ１０４へ進み、拡大された動き量を選択する。一方Ｓ１０３において、動き量算出部７からの動き量の方が大きければＳ１０５へ進み、動き量算出部７からの動き量を選択することで、図５（ｅ）のように動き領域内の差分を大きくすることができ、その結果、動き領域内で強い巡回ＮＲがかかることを防ぐことができる。
【００３９】
以上、説明したように、撮像素子３からの画像とメモリ１２からの画像のそれぞれに多重解像度変換を行い、多重解像度変換された画像のうち、同じ周波数帯域を持つ画像同士から動き量を算出し、算出された動き量のうちの大きい方を選択していくことで、動き領域内の動き量を大きくできるため、動き領域内で強い巡回ＮＲがかかることを防ぐことができるようになる。
【００４０】
なお、本例では巡回ＮＲを用いて説明したが、動き量算出結果をＩＰ変換にそのまま適用しても、動き領域内で補間結果を均一にできる。
【００４１】
また、本例では図４に示したように２つの動き量間の選択であるため、最大値を選択するようにしたが、後述する図６のように３つ以上の動き量間より選択するように構成しても良く、また、３つ以上の動き量間の最頻値や中央値を選択するようにすることでノイズによる誤選択を減らすことができる。
【００４２】
［実施例２］
次に第２の実施例について説明する。
【００４３】
この第２の実施例は、第１の実施例と略同様であって、同一部材には同一番号を付しており、その部分の説明は省略する。異なっているのは、動き量生成部１０において動き量の最大値を選択していくのではなく、それぞれの動き量に応じて動き量の選択方法を変える点である。
【００４４】
図６に、本実施例の特徴である動き量生成部１０の構成を示すブロック図を示す。
【００４５】
図６において、３０１は動き量算出部９からの動き量を、動き量算出部７からの動き量と同じサイズに拡大する拡大処理部、３０２は、動き量算出部９からの動き量を、動き量算出部７からの動き量と同じサイズに拡大する拡大処理部、３０３は、拡大処理部３０１、拡大処理部３０２からの動き量と動き量算出部７からの動き量より、画素ごとに１つの動き量を選択する動き量選択部である。
【００４６】
次に、図７に本実施例の特徴である動き量生成部１０の制御を示すフローチャートを示す。
【００４７】
図７において、Ｓ２０１では、拡大処理部３０１、拡大処理部３０２において、動き量算出部８および動き量算出部９からの動き量を、動き量算出部９からの動き量と同じサイズに拡大してＳ２０２へ進む。Ｓ２０２では、拡大処理部３０１、拡大処理部３０２より、拡大された動き量と動き量算出部９からの動き量を取得し、Ｓ２０３へ進む。
【００４８】
ここで、拡大処理部３０１からの動き量を下位階層で生成された動き量と呼び、拡大処理部３０２からの動き量を中位階層で生成された動き量と呼ぶ。また、動き量算出部９からの動き量を上位階層で生成された動き量と呼ぶと、下位階層で生成される動き量は、２回ダウンサンプリングされることでサンプリングが１／４となっており、被写体の小さな動きは反映されていないものとなっている。一方、上位階層はダウンサンプリングされていないため、被写体の小さな動きを反映することができる。
【００４９】
そこで、Ｓ２０３では、拡大処理部３０１、拡大処理部３０２より、拡大された動き量と動き量算出部９からの動き量を、画素ごとに閾値Ｔｈ１と比較し、Ｓ２０４へ進む。
【００５０】
Ｓ２０４においては、図８のように各階層の比較結果に基づいて動き量を選択する。
【００５１】
図８に、各階層の比較結果と動き量の選択方法の関係を表す図を示す。
【００５２】
図８において、下位階層の動き量が閾値Ｔｈ１よりも大きく、中位階層の動き量が閾値Ｔｈ１よりも大きく、上位階層の動き量が閾値Ｔｈ１よりも大きい場合には、被写体が大きく動いていると判断できるため、選択される動き量が大きくなるように、各階層の動き量の中の最大値を選択するようにする。
【００５３】
また、下位階層の動き量が閾値Ｔｈ１よりも大きく、中位階層の動き量が閾値Ｔｈ１よりも大きく、上位階層の動き量が閾値Ｔｈ１よりも小さい場合、または、下位階層の動き量が閾値Ｔｈ１よりも大きく、中位階層の動き量が閾値Ｔｈ１よりも小さい、上位階層の動き量が閾値Ｔｈ１よりも小さい場合には、図５における（ｂ）と（ｄ）のような関係となり、動きの中の誤判定部と判断できるため、選択される動き量が大きくなるように、各階層の動き量の中の最大値を選択するようにする。
【００５４】
また、下位階層の動き量が閾値Ｔｈ１よりも大きく、中位階層の動き量が閾値Ｔｈ１よりも小さく、上位階層の動き量が閾値Ｔｈ１よりも大きい場合には、被写体の小さな動きが、周辺の大きな動きに埋もれてしまっている場合である。その部分は動きであるため、選択される動き量が大きくなるように、各階層の動き量の中の最大値を選択するようにする。
【００５５】
また、下位階層の動き量が閾値Ｔｈ１よりも小さく、中位階層の動き量が閾値Ｔｈ１よりも大きく、上位階層の動き量が閾値Ｔｈ１よりも大きい場合、または、下位階層の動き量が閾値Ｔｈ１よりも小さく、中位階層の動き量が閾値Ｔｈ１よりも大きく、上位階層の動き量が閾値Ｔｈ１よりも小さい場合、または、下位階層の動き量が閾値Ｔｈ１よりも小さく、中位階層の動き量が閾値Ｔｈ１よりも小さく、上位階層の動き量が閾値Ｔｈ１よりも大きい場合には、被写体の小さな動きである一方で、ノイズの影響を受けてしまっている可能性があるので、誤選択を防ぐために各階層の動き量の中の最頻値または中央値を選択する。ここでは、中央値を選択するようにした。
【００５６】
また、下位階層の動き量が閾値Ｔｈ１よりも小さく、中位階層の動き量が閾値Ｔｈ１よりも小さく、上位階層の動き量が閾値Ｔｈ１よりも小さい場合には、被写体が静止していると判断できるので、選択される動き量が小さくなるように、各階層の動き量の中の最小値を選択するようにする。
【００５７】
以上、説明したように各階層からの動き量を閾値と比較し、比較結果に応じて動き量の選択方法を変えることで、動き領域内の動き量を大きくでき、かつ、完全静止部分の動き量を小さくできるので、動き領域内で強い巡回ＮＲがかかることを防ぐことができるようになる。
【００５８】
なお、本例では巡回ＮＲを用いて説明したが、動き量算出結果をＩＰ変換にそのまま適用しても、動き領域内の動き量を大きくでき、かつ、完全静止部分の動き量を小さくできるので、動き領域、完全静止領域で適切な補間をすることができる。
【００５９】
また、本例ではダウンサンプリングを行って画像を縮小することにより、互いに異なる周波数帯域を持つ複数の画像に変換する方法を用いて説明したが、入力画像に対し帯域の異なるＬＰＦやＢＰＦをかけたりする方法を用いる場合には、低周波数帯域を持つ画像においては高周波部がつぶされてしまい、被写体の小さな動きを反映することができない、と言い換えることで同様のことが言える。
【００６０】
［実施例３］
次に第３の実施例について説明する。
【００６１】
この第３の実施例は、第１の実施例と略同様であって、同一部材には同一番号を付しており、その部分の説明は省略する。異なっているのは、最大値選択を行っていくと動き領域と静止領域の境界においても大きいものが選択されてしまい、結果静止領域が動きがあると判定されてしまう。そこで動き領域を判定し、判定結果に基づく重み付け合成を行うことで、簡単に、かつ、滑らかに動きの誤算出を軽減しようとするものである。
【００６２】
本実施例の特徴である動き量生成部１０について、図９の構成を示すブロック図および図１０の制御を示す説明図を参照しながら説明する。
【００６３】
図９において、４０１は動き量算出部９からの動き量を拡大する拡大処理部、４０２は、動き量算出部９からの動き量より領域を判定する領域判定部、４０３は領域判定部４０２からの領域判定結果を拡大する拡大処理部、４０４は拡大処理部４０１からの動き量と動き量算出部８からの動き量を、拡大処理部４０３からの領域判定結果を用いて合成する動き量合成部、４０５は動き量合成部４０４からの動き量を拡大する拡大処理部、４０６は、動き量合成部４０４からの動き量より領域を判定する領域判定部、４０７は領域判定部４０６からの領域判定結果を拡大する拡大処理部、４０８は拡大処理部４０５からの動き量と動き量算出部７からの動き量を、拡大処理部４０７からの領域判定結果を用いて合成する動き量合成部である。
【００６４】
次に、図１０を参照しながら、動き量生成部１０の動作について説明する。
【００６５】
図１０において、（ａ）は被写体が左（黒丸位置）から右（斜線丸位置）に動いた時のフレーム間差分を示す図で、真ん中の白丸部分は被写体が重なっている部分であり、画素間の差分が小さい領域を示している。（ｂ）は、動き量算出部７からの動き量を示しており、縦軸に絶対値化された差分をとって、（ａ）のＡＡ’間の動き量算出結果を示している。（ｃ）は動き量算出部８からの動き量を示しており、また、縮小された画像同士からの動き量であるため、水平方向に縮小されたものとなっている。（ｃ）のＢおよびＣは、拡大した時のＡおよびＡ’に対応している。
【００６６】
（ｄ）は動き量算出部９からの動き量を示しており、また、さらに縮小された画像同士からの動き量であるため、水平方向に縮小されたものとなっている。（ｄ）のＤおよびＥは、拡大した時のＡおよびＡ’に対応している。
【００６７】
ここで、領域判定部４０２においては、（ｄ）のような動き量算出部９からの動き量と閾値Ｔｈ２を比較して、（ｅ）のように、閾値Ｔｈ２よりも大きい場合には判定値１．０を、閾値Ｔｈ２よりも大きい場合には判定値０．０を割り当てた領域判定結果を生成する。次に、拡大処理部４０３においては、（ｅ）のような領域判定部４０２からの領域判定結果を拡大し、（ｆ）のように拡大時の補間フィルタの影響によりなまった領域判定結果を生成する。次に、（ｇ）のような拡大処理部４０１からの動き量と（ｃ）の動き量算出部８からの動き量を、（ｆ）の領域判定結果の値を重みとして、例えば［数１］の式を用いて、重み付け合成を行う。
【００６８】
【数１】
2012100065.tif 000003
【００６９】
ここで、ＵｐＤａｔａは上階層からの動き量を示し、ＤｏｗｎＤａｔａは下階層からの動き量を示す。また、ｋは拡大された領域判定結果である。
【００７０】
このように動き量を重み付け合成すると、動き領域内では高い動き量を生成でき、一方、動き領域と静止領域の境界を明確にすることができるので、静止領域に対し、より強い巡回ＮＲをかけることができる。
【００７１】
なお、拡大処理部４０５、領域判定部４０６、拡大処理部４０７、動き量合成部４０８の動作は、それぞれに入力される画像のサイズが異なるだけで、同じ動作を行うことから、説明を省略する。
【００７２】
以上、説明したように、動き量算出手段からの動き量より、動き領域を判定し、判定結果を拡大したものを重みとして合成することで、動き領域内では高い動き量を生成でき、一方、動き領域と静止領域の境界部での動き誤算出を軽減することができる。
る。
【００７３】
なお、本例では巡回ＮＲを用いて説明したが、動き量算出結果をＩＰ変換にそのまま適用しても、動き領域内では高い動き量を生成でき、一方、動き領域と静止領域の境界部での動き誤算出を軽減できるので、動き領域、完全静止領域で適切な補間をすることができる。
【符号の説明】
【００７４】
１‥‥光学系
２‥‥光学系駆動部
３‥‥撮像素子
４‥‥撮像素子駆動部
５‥‥多重解像度変換部
６‥‥多重解像度変換部
７‥‥動き量算出部
８‥‥動き量算出部
９‥‥動き量算出部
１０‥‥動き量生成部
１１‥‥巡回ＮＲ部
１２‥‥メモリ
１３‥‥システム制御部
１０１‥‥縮小処理部
１０２‥‥縮小処理部
２０１‥‥拡大処理部
２０２‥‥動き量選択部
２０３‥‥拡大処理部
２０４‥‥動き量選択部
３０１‥‥拡大処理部
３０２‥‥拡大処理部
３０３‥‥動き量選択部
４０１‥‥拡大処理部
４０２‥‥領域判定部
４０３‥‥拡大処理部
４０４‥‥動き量合成部
４０５‥‥拡大処理部
４０６‥‥領域判定部
４０７‥‥拡大処理部
４０８‥‥動き量合成部
【図１】
2012100065.tif 000004
【図２】
2012100065.tif 000005
【図３】
2012100065.tif 000006
【図４】
2012100065.tif 000007
【図５】
2012100065.tif 000008
【図６】
2012100065.tif 000009
【図７】
2012100065.tif 000010
【図８】
2012100065.tif 000011
【図９】
2012100065.tif 000012
【図１０】
2012100065.tif 000013
【図１１】
2012100065.tif 000014