(57)【要約】【課題】残像や尾引き等の発生を抑制しつつ良好なノイズ低減効果を得る。【解決手段】フレーム間の動きベクトルに基づきフレーム間の位置合わせを成すことで第１の動き補償を成す。その後、現フレーム画像ＩＭＡの注目画素に対して前フレーム画像ＩＭＢ内に複数の対象画素を設定し、対象画素ごとに注目画素の画素信号と対象画素の画素信号との差分に応じた類似係数を設定する。動き補償部５２は、対応する差分が小さいほど混合の割合が大きくなるように類似係数に応じて複数の対象画素を混合することで動き補償画素を生成する。現フレーム画像ＩＭＡの各画素を順次注目画素に設定して動き補償画素を生成することで動き補償画像ＩＭＣを生成する。画像ＩＭＡ及びＩＭＢ間の差分に応じた帰還係数ｋを用いて画像ＩＭＡ及びＩＭＣを混合することで出力画像（ノイズ低減済みの現フレーム画像）ＩＭＯを得る。【選択図】図６
2012129913.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる第１及び第２時刻での撮影結果に基づく第１及び第２画像を用いて、前記第１画像のノイズを低減するノイズ低減装置において、
互いに異なる時刻にて撮影された画像間の動きベクトルを導出する動きベクトル導出部と、
前記動きベクトル導出部の導出結果を用いて前記第１及び第２画像間の位置合わせを行う第１の動き補償部と、
前記位置合わせの後、前記第１画像内の注目画素を基準とする複数の対象画素から前記注目画素に対応する動き補償画素を生成し、これによって前記動き補償画素から成る動き補償画像を生成する第２の動き補償部と、を備えて、
前記第１画像及び前記動き補償画像を用いて前記第１画像のノイズを低減し、
前記複数の対象画素は、前記注目画素を基準とした前記第２画像内の複数の画素を含む
ことを特徴とするノイズ低減装置。
【請求項２】
前記第２の動き補償部は、前記注目画素の画素信号と各対象画素の画素信号との差分に応じて前記複数の対象画素を混合することにより、前記動き補償画素を生成する
ことを特徴とする請求項１に記載のノイズ低減装置。
【請求項３】
前記第２の動き補償部は、前記対象画素ごとに前記注目画素の画素信号と前記対象画素の画素信号との差分に応じた類似係数を設定する類似係数設定部を備え、前記類似係数に応じた混合比率にて前記複数の対象画素を混合することにより前記動き補償画素を生成する
ことを特徴とする請求項２に記載のノイズ低減装置。
【請求項４】
前記複数の対象画素は、前記注目画素を基準とした前記第１画像内の画素を更に含む
ことを特徴とする請求項１〜請求項３の何れかに記載のノイズ低減装置。
【請求項５】
前記動き補償画像及び前記第２画像を前記動きベクトル導出部の導出結果に応じた混合比率にて混合することで、補正動き補償画像を生成する動き補正部を更に備え、
前記第１画像及び前記補正動き補償画像を用いて、前記第１画像のノイズを低減する
ことを特徴とする請求項１〜請求項４の何れかに記載のノイズ低減装置。
【請求項６】
前記位置合わせの後、前記第１画像及び第２画像間の差分に応じた動き量を導出する動き量導出部と、
前記動き補償画像及び前記第２画像を前記動き量導出部の導出結果に応じた混合比率にて混合することで、補正動き補償画像を生成する動き補正部と、を更に備え、
前記第１画像及び前記補正動き補償画像を用いて、前記第１画像のノイズを低減する
ことを特徴とする請求項１〜請求項４の何れかに記載のノイズ低減装置。
【請求項７】
前記類似係数は、前記注目画素のエッジ強度、又は、前記注目画素を基準とする前記第２画像内の画素のエッジ強度、又は、それらの双方のエッジ強度に応じて補正される
ことを特徴とする請求項３に記載のノイズ低減装置。
【請求項８】
前記第２画像を平滑化する平滑化処理部を更に備え、
前記注目画素の画素信号と各対象画素の画素信号との前記差分は、前記平滑化の後に求められる
ことを特徴とする請求項２、請求項３又は請求項７に記載のノイズ低減装置。
【請求項９】
前記第２画像の画像データを記憶するメモリ部を更に備え、
前記第１の動き補償部は、前記メモリ部に記憶された画像データの読み出しアドレスを前記動きベクトル導出部の導出結果に応じて決定することで、前記位置合わせを実現する
ことを特徴とする請求項１〜請求項８の何れかに記載のノイズ低減装置。
【請求項１０】
前記第２時刻は、前記第１時刻よりも前の時刻であり、
前記第２画像は、当該ノイズ低減装置によってノイズが低減された後の画像である
ことを特徴とする請求項１〜請求項９の何れかに記載のノイズ低減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるノイズを低減するノイズ低減装置に関する。
【背景技術】
【０００２】
画像に含まれるノイズを低減する処理として三次元ノイズ低減処理が知られている。図２４に、三次元ノイズ低減処理を成す、第１従来方法に係るノイズ低減装置９００のブロック図を示す。フレームメモリ９０６には、加重加算部９０５から出力された、ノイズ低減済みの前フレーム画像の画像データが保存される。フレーム間動きベクトル算出部９０１は、時間的に隣接するフレーム間の動きベクトルを算出する。動き補償部９０２は、動きベクトルに基づき、フレームメモリ９０６に保存された前フレーム画像と、現フレーム画像との位置合わせを成す。このような位置合わせは、一般に動き補償と呼ばれ、該位置合わせによって前フレーム画像と現フレーム画像との間における全体的な動きが補償される。動き補償の後、動き量算出部９０３は、現フレーム画像と前フレーム画像との差分に応じて動き量を算出し、帰還係数設定部９０４は、動き量に応じて帰還係数を設定する。加重加算部９０５は、帰還係数に応じた混合比率にて現フレーム画像の各画素と前フレーム画像の各画素とを混合することによりノイズ低減画像（ノイズ低減が成された現フレーム画像）を得る。
【０００３】
図２４の構成のように、フレーム間の動き補償を行いながらノイズ低減を行うことにより、フレーム間に大きな差が現われる場合（例えば、パンニングなどのカメラワークが行われる場合）においても、残像や尾引き等の弊害を抑えつつ、効果的にノイズ低減を成すことができる。
【０００４】
しかしながら、ノイズ等の影響によりフレーム間の動きベクトルの検出精度が悪くなることもあり、このような場合、残像や尾引き等が発生した不自然な映像がノイズ低減装置９００から得られることになる。
【０００５】
尚、未来の画像をも用いて動きベクトルが正確であるか否かを確認し、正確性が確認された動きベクトルを動き補償に利用することで、動きベクトルの検出精度を高めようとする方法（以下、第２従来方法という）も存在する（例えば下記特許文献１参照）。但し、第２従来方法では、未来の画像分のワーキングメモリが必要になるためコスト面において不利である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５-１６００７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したようにフレーム間の動きベクトルの検出精度が悪い場合も存在するが、そのような場合でも、残像や尾引き等の発生を抑制できる技術が求められる。また、第１従来方法も第２従来方法も、パンニング等による画像全体の動き補償は可能であるが、動物体（動く被写体）には対応できない。動物体は、画像内に局所的な動きをもたらし、画像全体の動きを表す動きベクトル（図２４の算出部９０１の出力）では、局所的な動きを補償することができないからである。
【０００８】
そこで本発明は、残像等の弊害発生の抑制に寄与するノイズ低減装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るノイズ低減装置は、互いに異なる第１及び第２時刻での撮影結果に基づく第１及び第２画像を用いて、前記第１画像のノイズを低減するノイズ低減装置において、互いに異なる時刻にて撮影された画像間の動きベクトルを導出する動きベクトル導出部と、前記動きベクトル導出部の導出結果を用いて、前記第１及び第２画像間の位置合わせを行う第１の動き補償部と、前記位置合わせの後、前記第１画像内の注目画素を基準とする複数の対象画素から前記注目画素に対応する動き補償画素を生成し、これによって前記動き補償画素から成る動き補償画像を生成する第２の動き補償部と、を備えて、前記第１画像及び前記動き補償画像を用いて前記第１画像のノイズを低減し、前記複数の対象画素は、前記注目画素を基準とした前記第２画像内の複数の画素を含むことを特徴とする。
【００１０】
第２画像内の複数の画素を含む複数の対象画素を用いて、第１画像内の注目画素に対する動き補償画素を生成することで、注目画素における映像情報を動き補償画素に精度良く反映させることができる。この動き補償画素から成る動き補償画像をノイズ低減に用いることで、残像や尾引き等の発生を抑制しつつ、高いノイズ低減効果を得ることが可能となる。また、局所的な動きに対する補償も可能となる。
【００１１】
具体的には例えば、前記第２の動き補償部は、前記注目画素の画素信号と各対象画素の画素信号との差分に応じて前記複数の対象画素を混合することにより、前記動き補償画素を生成する。
【００１２】
これにより例えば、注目画素に類似する画素を主として用いて動き補償画素を生成することが可能となる。つまり、注目画素における映像情報を動き補償画素に精度良く反映させることが可能となり、結果、残像や尾引き等の発生を抑制することが可能となる。
【００１３】
より具体的には例えば、前記第２の動き補償部は、前記対象画素ごとに前記注目画素の画素信号と前記対象画素の画素信号との差分に応じた類似係数を設定する類似係数設定部を備え、前記類似係数に応じた混合比率にて前記複数の対象画素を混合することにより前記動き補償画素を生成する。
【００１４】
また例えば、前記複数の対象画素は、前記注目画素を基準とした前記第１画像内の画素を更に含む。
【００１５】
これにより、残像や尾引き等の発生をより強く抑制することが可能となる。
【００１６】
また例えば、前記動き補償画像及び前記第２画像を前記動きベクトル導出部の導出結果に応じた混合比率にて混合することで補正動き補償画像を生成する動き補正部を当該ノイズ低減装置に更に設け、前記第１画像及び前記補正動き補償画像を用いて前記第１画像のノイズを低減するようにしても良い。
【００１７】
これにより、残像及び尾引き等の発生の抑制効果とノイズ低減効果をバランス良く得ることが可能となる。
【００１８】
また例えば、前記位置合わせの後、前記第１画像及び第２画像間の差分に応じた動き量を導出する動き量導出部と、前記動き補償画像及び前記第２画像を前記動き量導出部の導出結果に応じた混合比率にて混合することで、補正動き補償画像を生成する動き補正部と、を当該ノイズ低減装置に更に設け、前記第１画像及び前記補正動き補償画像を用いて、前記第１画像のノイズを低減するようにしても良い。
【００１９】
これにより、残像及び尾引き等の発生の抑制効果とノイズ低減効果をバランス良く得ることが可能となる。
【００２０】
また例えば、前記類似係数は、前記注目画素のエッジ強度、又は、前記注目画素を基準とする前記第２画像内の画素のエッジ強度、又は、それらの双方のエッジ強度に応じて補正されてもよい。
【００２１】
これにより、小振幅の信号領域で発生しうるぼけを抑制することが可能となる。
【００２２】
また例えば、前記第２画像を平滑化する平滑化処理部を当該ノイズ低減装置に更に設け、前記注目画素の画素信号と各対象画素の画素信号との前記差分を、前記平滑化の後に求めるようにしても良い。
【００２３】
これにより、強いノイズに対しても対応することが可能となる。
【００２４】
また例えば、前記第２画像の画像データを記憶するメモリ部を当該ノイズ低減装置に更に設け、前記第１の動き補償部は、前記メモリ部に記憶された画像データの読み出しアドレスを前記動きベクトル導出部の導出結果に応じて決定することで、前記位置合わせを実現しても良い。
【００２５】
これにより、低コストにて上記位置合わせを実現することができる。
【００２６】
また具体的には例えば、前記第２時刻は、前記第１時刻よりも前の時刻であり、前記第２画像は、当該ノイズ低減装置によってノイズが低減された後の画像である。
【発明の効果】
【００２７】
本発明によれば、残像等の弊害発生の抑制に寄与するノイズ低減装置を提供することが可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】画像空間と二次元画像との関係を示す図である。
【図４】図１の撮像装置に設けられるノイズ低減処理部を示す図である。
【図５】ノイズ低減処理部の入力フレーム画像列及び出力フレーム画像列を示す図である。
【図６】本発明の第１実施例に係るノイズ低減処理部の内部ブロック図である。
【図７】第１の動き補償を説明するための図である。
【図８】本発明の第１実施例に係る第２の動き補償部の内部ブロックである。
【図９】本発明の第１実施例に係り、画素信号間の差分と類似係数との関係を示す図である。
【図１０】図６の動き量算出部の内部ブロック図を含む、動き量算出部の動作を説明するための図である。
【図１１】図６の帰還係数設定部にて利用される、動き量と帰還係数との関係を示す図である。
【図１２】本発明の第１実施例に係り、前フレーム画像に設定される対象領域を示す図である。
【図１３】本発明の第２実施例に係り、現フレーム画像に設定される対象領域を示す図である。
【図１４】本発明の第３実施例に係るノイズ低減処理部の内部ブロック図である。
【図１５】図１４の動き補正部の内部ブロック図である。
【図１６】図１５の係数設定部の入出力関係を示す図である。
【図１７】本発明の第４実施例に係るノイズ低減処理部の内部ブロック図である。
【図１８】図１７の動き補正部の内部ブロック図である。
【図１９】図１８の係数設定部の入出力関係を示す図である。
【図２０】本発明の第５実施例に係る第２の動き補償部の内部ブロックである。
【図２１】本発明の第５実施例に係る類似係数の導出方法を説明するための図である。
【図２２】本発明の第６実施例に係る第２の動き補償部の内部ブロックである。
【図２３】図２２に示される第２の動き補償部の変形内部ブロックである。
【図２４】従来のイズ低減装置の内部ブロック図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３０】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈しても良い。
【００３１】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、ＣＰＵ（Central Processing Unit）２３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００３２】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ（Analog Front End）１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各画像の撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００３３】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、ＣＰＵ２３によって制御される。
【００３４】
映像信号処理部１３は、ＲＡＷデータにて表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００３５】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
【００３６】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００３７】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００３８】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００３９】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が次々と行われ、被写体の撮影画像が順次取得される。各フレーム周期にて取得される撮影画像をフレーム画像（又は単にフレーム）と呼ぶ。１枚のフレーム画像は、１フレーム周期分のＲＡＷデータによって表現される二次元画像、又は、１フレーム周期分のＲＡＷデータに対して所定の画像処理（デモザイキング処理など）を施して得られる二次元画像である。また、任意の画像を表すデジタルの映像信号を画像データとも呼ぶ。上記ＲＡＷデータも画像データの一種である。
【００４０】
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。また、本明細書では、記述の簡略化上、情報、物理量又は部材等を参照する記号又は符号を示すことによって該記号又は符号に対応する情報、物理量又は部材等の名称を省略又は略記することがある。例えば、現フレーム画像を記号ＩＭＡによって表す場合、現フレーム画像ＩＭＡを、例えばフレーム画像ＩＭＡ又は画像ＩＭＡと表記する場合もある。
【００４１】
図３に、二次元の画像空間である空間ＸＹを示す。空間ＸＹは、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）上の二次元座標系である。任意の二次元画像３００は、空間ＸＹ上に配置された画像であると考えることができる。二次元画像３００の画像データがメモリ内に格納されたとき、空間ＸＹをメモリ空間として考えることもできる。Ｘ軸及びＹ軸は二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。また、画素位置（ｘ，ｙ）に配置された画素をＰ（ｘ，ｙ）にて表す。また、或る画素（画素位置）における画像データを特に画素信号とも呼ぶ。画素信号は、例えば、輝度信号及び色差信号を含む。ｘ及びｙは、夫々、画素Ｐ（ｘ，ｙ）のＸ軸及びＹ軸方向の座標値である。空間ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素Ｐ（ｘ，ｙ）の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００４２】
撮像装置１は、撮影によって得られた各フレーム画像のノイズを低減するノイズ低減処理を実行可能である。このノイズ低減処理は、ノイズ低減装置としての図４に示すノイズ低減処理部５０を用いて実行される。図１の映像信号処理部１３内にノイズ低減処理部５０を設けておくことができる。ノイズ低減処理部５０にて実行されるノイズ低減処理は、一般に、三次元ノイズ低減処理とも呼ばれる。ノイズ低減処理部５０によるノイズ低減処理前のフレーム画像を特に入力フレーム画像とも呼び、ノイズ低減処理部５０によるノイズ低減処理後のフレーム画像を特に出力フレーム画像とも呼ぶ。また、離散化された時刻を表す記号としてｔｉを導入する（ｉは整数）。時刻ｔｉ＋１は時刻ｔｉよりも後の時刻であり、時刻ｔｉ及びｔｉ＋１間の時間差はフレーム周期と一致する。但し、時刻ｔｉ及びｔｉ＋１間の時間差はフレーム周期の整数倍であっても良い。
【００４３】
更に、時刻ｔｉにおける撮影によって得られた入力フレーム画像を記号ＦＩｉにて表す。そうすると、図５に示す如く、被写体の順次撮影によって、入力フレーム画像ＦＩｎ−１、ＦＩｎ及びＦＩｎ＋１を含む入力フレーム画像列が得られる（ｎは整数）。入力フレーム画像列に代表される画像列とは、時系列に並ぶ複数の静止画像の集まりを意味し、動画像とも読みかえられる。入力フレーム画像ＦＩｉに含まれるノイズを上記ノイズ低減処理によって低減して得られる出力フレーム画像を、記号ＦＯｉによって表す。各入力フレーム画像に対してノイズ低減処理を施すことにより、出力フレーム画像ＦＯｎ−１、ＦＯｎ及びＦＯｎ＋１を含む出力フレーム画像列が得られる。入力フレーム画像列又は出力フレーム画像列の画像データを外部メモリ１８に記録することもできるし、入力フレーム画像列又は出力フレーム画像列を表示部２７に表示することもできる。
【００４４】
以下、ノイズ低減処理に特に注目した撮像装置１の構成及び動作の実施例として、第
１〜第６実施例を説明する。矛盾なき限り、或る実施例で記載した事項を他の実施例に適用することもでき、複数の実施例を組み合わせることも可能である。
【００４５】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例に係るノイズ低減処理部５０を特にノイズ低減処理部５０Ａと呼ぶ。図６は、ノイズ低減処理部５０Ａの内部ブロック図である。ノイズ低減処理部５０Ａは、少なくとも符号５１〜５５によって参照される各部位を備える。フレーム間動きベクトル算出部５６（以下、動きベクトル算出部５６と略記する）及びフレームメモリ（メモリ部）４０は、ノイズ低減処理部５０Ａの構成要素であると考えても良いし、ノイズ低減処理部５０Ａの外に設けられていると考えても良い（後述の他の実施例のノイズ低減処理部５０においても同様）。フレームメモリ４０は、図１の内部メモリ１７内に設けられていてもよい。
【００４６】
第１実施例及び後述の各実施例では、出力フレーム画像ＦＯｎ−１が得られている状態を基準にして、入力フレーム画像ＦＩｎのノイズを低減する方法を説明する。入力フレーム画像ＦＩｎそのもの又は入力フレーム画像ＦＩｎに内包される画像を現フレーム画像ＩＭＡと呼ぶ。出力フレーム画像ＦＯｎ−１は、現フレーム画像ＩＭＡのノイズ低減に利用される前フレーム画像に相当する。
【００４７】
動きベクトル算出部（動きベクトル導出部）５６は、時間的に隣接して得られた任意の２枚のフレーム画像間の動きベクトルを次々と算出して出力する。現フレーム画像ＩＭＡのノイズ低減には、フレーム画像ＦＩｎ−１及びＦＩｎ間の動きベクトルである動きベクトルＶＥＣが利用される。動きベクトルＶＥＣは、入力フレーム画像列上における時刻ｔｎ−１及びｔｎ間の被写体の動きの向き及び大きさを表す二次元ベクトルである。動きベクトル算出部５６は、フレーム画像ＦＩｎ−１及びＦＩｎの画像データに基づいてフレーム画像ＦＩｎ−１及びＦＩｎ間のオプティカルフローを求め、そのオプティカルフローに含まれる各被写体の移動ベクトル（displacement vector）を平均化することで動きベクトルＶＥＣを求めることができる。或いは、撮像装置１の動きを検出するセンサ（ジャイロセンサなど）が撮像装置１に設けられている場合には、そのセンサの検出結果に基づいて動きベクトルＶＥＣを求めることもできる。
【００４８】
第１の動き補償部である動き補償部５１は、動きベクトルＶＥＣに基づき、第１の動き補償を成す。第１の動き補償は、入力フレーム画像ＦＩｎ及び出力フレーム画像ＦＯｎ−１間の位置合わせである。第１の動き補償後の出力フレーム画像ＦＯｎ−１、即ち、位置合わせ後の出力フレーム画像ＦＯｎ−１を前フレーム画像ＩＭＢと呼ぶ。
【００４９】
位置合わせを、図７に示すような、フレームメモリ４０からの読み出しアドレス制御によって実現することができる。ここでは、入力フレーム画像ＦＩｎの全体の画像データが第１メモリ空間に配置されている一方で、出力フレーム画像ＦＯｎ−１の全体の画像データが第２メモリ空間に配置されていると考える。第２メモリ空間はフレームメモリ４０に配置され、第１メモリ空間もフレームメモリ４０に配置されうる。
【００５０】
第１メモリ空間における特定の画素位置（ｘＯ，ｙＯ）が現フレーム画像ＩＭＡの左上隅の画素位置に設定される。画素位置（ｘＯ，ｙＯ）を基準とした幅Ｗ及び高さＨの画像領域内の画像が、現フレーム画像ＩＭＡである。第２メモリ空間に対しては、動きベクトルＶＥＣの向きに動きベクトルＶＥＣの大きさだけ画素位置（ｘＯ，ｙＯ）を移動させた画素位置（ｘＯ’，ｙＯ’）が設定され、画素位置（ｘＯ’，ｙＯ’）が前フレーム画像ＩＭＢの左上隅の画素位置に設定される。画素位置（ｘＯ’，ｙＯ’）を基準とした幅Ｗ及び高さＨの画像領域内の画像が、前フレーム画像ＩＭＢである。
【００５１】
画素位置（ｘＯ，ｙＯ）を開始位置として第１メモリ空間から画像データをラスタ走査順で読み出すと同時に、画素位置（ｘＯ’，ｙＯ’）を開始位置として第２メモリ空間から画像データをラスタ走査順で読み出す。これにより、フレーム画像ＩＭＡ及びＩＭＢの画像データの入力を受ける部位（第２の動き補償部５２など）に対して、現フレーム画像ＩＭＡにおける或る被写体の画像データが入力されるとき、前フレーム画像ＩＭＢにおける同一の被写体の画像データが同時に入力される。即ち、入力フレーム画像列上における時刻ｔｎ−１及びｔｎ間の被写体の動きが補償される。
【００５２】
上述の如く、動き補償部５１は、第２メモリ空間から画像データを読み出すときの読み出し開始アドレスを動きベクトルＶＥＣに応じて決定することで、位置合わせの成されたフレーム画像ＩＭＢを得ることができる。但し、このような読み出し開始アドレスの制御を行うのではなく、動きベクトルＶＥＣに基づく幾何学的変換を出力フレーム画像ＦＯｎ−１に施すことで、位置合わせの成されたフレーム画像ＩＭＢを得るようにしても良い。
【００５３】
動き補償部５１によって、画像の全体的な動きの補償（第１の動き補償）が成される。これに対し、第２の動き補償部である動き補償部５２では、画像の局所的な動きの補償（第２の動き補償）を成し、これによって動き補償画像ＩＭＣを生成する。
【００５４】
図８に、動き補償部５２として利用可能な動き補償部５２Ａの内部ブロック図を示す。画像ＩＭＡ、ＩＭＢ及びＩＭＣの画素Ｐ（ｘ，ｙ）における画素信号を、それぞれＶＡ（ｘ，ｙ）、ＶＢ（ｘ，ｙ）及びＶＣ（ｘ，ｙ）にて表す。ここでは、現フレーム画像ＩＭＡの画素Ｐ（ｘ，ｙ）を注目画素として捉え、注目画素に対する動き補償画素の生成方法を説明する。動き補償画素は、動き補償画像ＩＭＣを形成する画素である。画素Ｐ（ｘ，ｙ）が注目画素であるとき、画素位置（ｘ，ｙ）は注目画素位置である。
【００５５】
動き補償部５２Ａは、遅延回路７１及び７２と、入力端子７３及び７４と、出力端子７５と、類似係数設定部８０と、平滑化フィルタ部９０と、から成る。類似係数設定部８０は、遅延器８１［１］〜８１［４］から成る遅延ブロック８１と、減算器８２［１］〜８２［５］から成る減算ブロック８２と、係数算出器８３［１］〜８３［５］から成る係数算出ブロック８３と、加算器８４［１］〜８４［４］から成る加算ブロック８４とを有する。平滑化フィルタ部９０は、乗算器９１［１］〜９１［５］から成る乗算ブロック９１と、加算器９２［１］〜９２［４］から成る加算ブロック９２と、除算器９３と、を有する。
【００５６】
現フレーム画像ＩＭＡの画素信号が入力端子７３に入力される一方で、前フレーム画像ＩＭＢの画素信号が入力端子７４に入力される。入力端子７３に入力される現フレーム画像ＩＭＡの画素信号は所定のクロック周期にて順次ラスタ走査順にて切り替わり、入力端子７４に入力される前フレーム画像ＩＭＢの画素信号は所定のクロック周期にて順次ラスタ走査順にて切り替わる。
【００５７】
遅延器７１は、入力端子７３に入力された画素信号を１クロック周期分だけ遅延させて出力し、遅延器７２は、遅延器７１の出力信号を１クロック周期分だけ遅延させて出力する。遅延器８１［１］は、入力端子７４に入力された画素信号を１クロック周期分だけ遅延させて出力し、遅延器８１［ｉ＋１］は、遅延器８１［ｉ］の出力信号を１クロック周期分だけ遅延させて出力する（ｉは自然数）。このため、遅延器７２から画素信号ＶＡ（ｘ，ｙ）が出力される注目タイミングにおいては、入力端子７４に画素信号ＶＢ（ｘ＋２，ｙ）が入力されると共に、遅延器８１［１］、８１［２］、８１［３］及び８１［４］からそれぞれ画素信号ＶＢ（ｘ＋１，ｙ）、ＶＢ（ｘ，ｙ）、ＶＢ（ｘ−１，ｙ）及びＶＢ（ｘ−２，ｙ）が出力される。入力端子７４への入力信号は減算器８２［１］にも入力され、遅延器８１［ｉ］の出力信号は減算器８２［ｉ＋１］に入力される（ｉは自然数）。減算器８２［１］〜８２［５］には遅延器７２の出力信号も更に入力される。
【００５８】
減算器８２［１］〜８２［５］の夫々は、自身に入力された２つの画素信号の差分の絶対値を算出する。減算器８２［ｉ］にて算出された差分の絶対値をＤＩＦｉにて表す。
ＤＩＦ１＝｜ＶＢ（ｘ＋２，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ２＝｜ＶＢ（ｘ＋１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ３＝｜ＶＢ（ｘ，ｙ）    −ＶＡ（ｘ，ｙ）｜、
ＤＩＦ４＝｜ＶＢ（ｘ−１，ｙ）−ＶＡ（ｘ，ｙ）｜、及び、
ＤＩＦ５＝｜ＶＢ（ｘ−２，ｙ）−ＶＡ（ｘ，ｙ）｜、である。
【００５９】
係数算出部８３［ｉ］は、減算器８２［ｉ］からの差分絶対値ＤＩＦｉを所定の変換関数によって類似係数ｆｉに変換する。図９に、この変換関数が指し示す、ＤＩＦｉ及びｆｉ間の関係を表す。値ＤＩＦｉがゼロであるとき、類似係数ｆｉには所定の正の値ｆＨが代入され、値ＤＩＦｉがゼロから増大するにつれて、類似係数ｆｉが値ｆＨからゼロに向かって徐々に減少せしめされる。加算ブロック８４は、類似係数ｆ１〜ｆ５の総和を求めて除算器９３に出力する。
【００６０】
入力端子７４への入力信号は乗算器９１［１］にも入力され、遅延器８１［ｉ］の出力信号は乗算器９１［ｉ＋１］にも入力される（ｉは自然数）。乗算器９１［ｉ］は、自身に入力された信号に類似係数ｆｉを乗じ、乗算結果を出力する。加算ブロック９２は、乗算器９１［１］〜９１［５］の加算結果の総和を算出する。除算器９３は、加算ブロック９２にて算出された総和を、加算ブロック８４にて求められた類似係数ｆ１〜ｆ５の総和にて割ることにより動き補償画素の画素信号を得る。
【００６１】
つまり、平滑化フィルタ部９０は、下記式（１）に従って、画素位置（ｘ，ｙ）における動き補償画素の画素信号ＶＣ（ｘ，ｙ）を生成する。画素信号ＶＣ（ｘ，ｙ）は出力端子７５から出力される。図８の構成例において、式（１）のＶＢ１、ＶＢ２、ＶＢ３、ＶＢ４及びＶＢ５は、夫々、画素信号ＶＢ（ｘ＋２，ｙ）、ＶＢ（ｘ＋１，ｙ）、ＶＢ（ｘ，ｙ）、ＶＢ（ｘ−１，ｙ）及びＶＢ（ｘ−２，ｙ）である。
【００６２】
【数１】
2012129913.tif 000003
【００６３】
このように、図８の動き補償部５２Ａでは、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）を基準とする複数の対象画素から注目画素Ｐ（ｘ，ｙ）に対応する動き補償画素（即ち、動き補償画像ＩＭＣの画素位置（ｘ，ｙ）における画素）を生成する。画素を生成するという表現と、画素の画素信号を生成するという表現は同義である。図８の構成例において、注目画素Ｐ（ｘ，ｙ）を基準とする複数の対象画素は、前フレーム画像ＩＭＢの画素Ｐ（ｘ−２，ｙ）、Ｐ（ｘ−１，ｙ）、Ｐ（ｘ，ｙ）、Ｐ（ｘ＋１，ｙ）及びＰ（ｘ＋２，ｙ）である。
【００６４】
類似係数設定部８０は、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）の画素信号と対象画素の画素信号との差分（より具体的には差分絶対値ＤＩＦｉ）を対象画素ごとに求め、差分に応じた類似係数ｆｉを対象画素ごとに設定する。平滑化フィルタ部９０は、類似係数ｆ１〜ｆ５に応じた混合比率にて複数の対象画素の画素信号を混合することにより、注目画素Ｐ（ｘ，ｙ）に対応する動き補償画素（即ち、動き補償画像ＩＭＣの画素位置（ｘ，ｙ）における画素）を生成する。図８の構成例では、類似係数ｆ１〜ｆ５に応じた混合比率ｆ１：ｆ２：ｆ３：ｆ４：ｆ５にて画素信号ＶＢ１、ＶＢ２、ＶＢ３、ＶＢ４及びＶＢ５を混合することで動き補償画素が生成されている。
【００６５】
複数の対象画素には、注目画素Ｐ（ｘ，ｙ）との間の類似度が比較的高い画素（以下、類似画素という）と、注目画素Ｐ（ｘ，ｙ）との間の類似度が比較的低い画素（以下、非類似画素という）と、が混在する。類似画素に対する類似係数ｆｉは比較的大きく、非類似画素に対する類似係数ｆｉは比較的小さい（図９参照）。このため、式（１）から理解されるように、動き補償画素に対する、類似画素の寄与度は比較的大きく、非類似画素の寄与度は比較的小さい。このため、注目画素Ｐ（ｘ，ｙ）についての動き補償画素は、主として、注目画素Ｐ（ｘ，ｙ）の類似画素を用いて生成されているとも言える。
【００６６】
動き補償部５２Ａでは、現フレーム画像ＩＭＡの各画素が順次注目画素に設定され、上述と同様の処理の繰り返しによって、現フレーム画像ＩＭＡの各画素に対して動き補償画素が生成される。結果、二次元配列された複数の動き補償画素より成る動き補償画像ＩＭＣが生成される。
【００６７】
図６を再び参照する。動き量算出部（動き量導出部）５３は、画像ＩＭＡ及びＩＭＢの画像データに基づき、画像ＩＭＡ及びＩＭＢ間の差分に応じた動き量ＡＭを算出する。動き量ＡＭは、現フレーム画像ＩＭＡに対して求められた動き量と捉えることができる。動き量算出部５３は、画素ごとに動き量ＡＭを算出することができる。
【００６８】
図１０に、動き量算出部５３の内部構成例を示す。図１０の動き量算出部５３は、差分演算部１１１及び平滑化フィルタ部１１２を有する。現フレーム画像ＩＭＡの画素Ｐ（ｘ，ｙ）に対して求められた動き量ＡＭを特に記号ＡＭ（ｘ，ｙ）によって表す。現フレーム画像ＩＭＡの画素Ｐ（ｘ，ｙ）を注目画素として捉え、注目画素Ｐ（ｘ，ｙ）に対する動き量ＡＭ（ｘ，ｙ）の算出方法を説明する。動き量ＡＭ（ｘ，ｙ）を算出する際、画像ＩＭＡ及びＩＭＢの夫々に対して、注目画素画素（ｘ，ｙ）を中心とする所定形状の評価領域が設定される。ここでは例として、注目画素位置（ｘ，ｙ）を中心とする（５×３）画素の画像領域が評価領域に設定されている。
【００６９】
差分演算部１１１は、画像ＩＭＡに設定された評価領域内の画像と画像ＩＭＢに設定された評価領域内の画像との差分画像１２１を生成し、差分画像１２１の各画素信号の値を絶対値化することで差分画像１２１を差分画像１２２に変形する。ここで生成された（５×３）画素から成る差分画像１２２に対し、平滑化フィルタ部１１２は、（５×３）画素分のフィルタサイズを有する平滑化フィルタを用いて空間フィルタリングを行う。この空間フィルタリングの結果として得られる平滑化フィルタの出力値（スカラー量）が動き量ＡＭ（ｘ，ｙ)である。図１０では、平滑化フィルタ部１１２の平滑化フィルタとして単純な平均化フィルタが示されているが、単純な平均化フィルタ以外の平滑化フィルタ（加重平均化フィルタなど）を用いて動き量を算出しても良い。
【００７０】
動き量ＡＭ（ｘ，ｙ）は、注目画素Ｐ（ｘ，ｙ）及びその周辺における被写体の動きに応じた値を持つ。ここにおける被写体の動きとは、画像ＩＭＡ及びＩＭＢにおける被写体の動きである。例えば、注目画素Ｐ（ｘ，ｙ）及びその周辺における被写体が時刻ｔｎ−１及びｔｎ間で動いていた場合、差分画像１２２の各画素信号は比較的大きな値を持ち、結果、動き量ＡＭ（ｘ，ｙ）は比較的大きな値を持つ。逆に例えば、注目画素Ｐ（ｘ，ｙ）及びその周辺における被写体が時刻ｔｎ−１及びｔｎ間で静止していた場合、差分画像１２２の各画素信号は比較的小さな値を持ち、結果、動き量ＡＭ（ｘ，ｙ）は比較的小さな値を持つ。
【００７１】
動き量算出部５３では、現フレーム画像ＩＭＡの各画素が順次注目画素に設定され、上述と同様の処理の繰り返しによって、現フレーム画像ＩＭＡの各画素に対して動き量ＡＭが算出される。
【００７２】
図６の帰還係数設定部５４は、動き量算出部５３にて求められた動き量ＡＭに基づき、帰還係数ｋを設定する。帰還係数ｋは画素位置ごとに設定される（換言すれば、現フレーム画像ＩＭＡの画素ごとに設定される）。画素位置（ｘ，ｙ）に対して設定された帰還係数ｋを、特にｋ（ｘ，ｙ）と表記する。
【００７３】
帰還係数設定部５４は、動き量ＡＭと帰還係数ｋとの関係を表す所定の帰還関数を用いて、動き量ＡＭを帰還係数ｋに変換する。帰還関数は、演算式又はルックアップテーブルによって与えられる。図１１に、帰還関数に従う動き量ＡＭ（ｘ，ｙ）と帰還係数ｋ（ｘ，ｙ）との関係を示す。動き量ＡＭ（ｘ，ｙ）が閾値ＡＭＴＨ１以下であるとき帰還係数ｋ（ｘ，ｙ）には上限値ｋＨが代入され、動き量ＡＭ（ｘ，ｙ）が閾値ＡＭＴＨ２以上であるとき帰還係数ｋ（ｘ，ｙ）には下限値ｋＬが代入される。不等式“ＡＭＴＨ１＜ＡＭ（ｘ，ｙ）＜ＡＭＴＨ２”の成立時には、動き量ＡＭ（ｘ，ｙ）が閾値ＡＭＴＨ１から閾値ＡＭＴＨ２に向けて増大するにつれて帰還係数ｋ（ｘ，ｙ）を上限値ｋＨから下限値ｋＬに向けて線形的に又は非線形的に減少させる。ここで、０≦ｋＬ＜ｋＨ≦１、且つ、０≦ＡＭＴＨ１＜ＡＭＴＨ２、が成立する。典型的には例えば、ｋＬ＝０、ｋＨ＝１且つＡＭＴＨ１＝０、とすることができる。
【００７４】
図６の加重加算部（画像混合部）５５は、第１入力画像と第２入力画像を帰還係数ｋに応じた混合比率にて混合することにより出力画像ＩＭＯを生成する。第１実施例において、第１及び第２入力画像は、夫々、現フレーム画像ＩＭＡ及び動き補償画像ＩＭＣである。第１入力画像が入力フレーム画像ＦＩｎに相当する現フレーム画像ＩＭＡであるとき、出力画像ＩＭＯは、入力フレーム画像ＦＩｎのノイズが低減された画像、即ち出力フレーム画像ＦＯｎである。
【００７５】
出力画像ＩＭＯの画素Ｐ（ｘ，ｙ）における画素信号をＶＯ（ｘ，ｙ）によって表す。そうすると、加重加算部５５は、下記式（２）に従って画素信号ＶＯ（ｘ，ｙ）を生成する。即ち、現フレーム画像ＩＭＡの画素と動き補償画像ＩＭＣの画素を“１−ｋ：ｋ”の混合比率にて混合することで出力画像ＩＭＯの画素を生成する。第１画素と第２画素を混合するという表現と、第１画素の画素信号と第２画素の画素信号を混合するという表現は同義である。出力画像ＩＭＯの画素Ｐ（ｘ，ｙ）は、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）におけるノイズを低減することで得た画素に相当する。加重加算部５５は、現フレーム画像ＩＭＡの各画素に対して（換言すれば各画素位置に対して）上記の混合を行うことで出力画像ＩＭＯの全画素を生成する。
【００７６】
【数２】
2012129913.tif 000004
【００７７】
動きベクトル算出部５６にて求められる動きベクトルに比較的大きな誤差が含まれている場合、又は、入力フレーム画像列上に局所的な動きが存在している場合、現フレーム画像ＩＭＡ及び前フレーム画像ＩＭＢ間には全体的な又は局所的な位置ずれが発生し、この場合において、画像ＩＭＡ及びＩＭＢを単純に帰還係数ｋを用いて混合すると、結果画像に残像及び尾引き等が現われる。このような残像等は、混合される画素の対応が、上記の全体的な又は局所的な位置ずれによってずれることで発生する。
【００７８】
動き補償部５２は、上記の全体的な又は局所的な位置ずれを補償する。上述したように、動き補償画像ＩＭＣは、現フレーム画像ＩＭＡの注目画素の類似画素を主として用いて生成される。従って、動きベクトル算出部５６にて求められる動きベクトルに比較的大きな誤差が含まれている場合、又は、入力フレーム画像列上に局所的な動きが存在している場合であっても、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）と動き補償画像ＩＭＣの画素Ｐ（ｘ，ｙ）との対応度合いは高くなる。即ち、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）における被写体の映像情報（時刻ｔｎ−１の映像情報）を良く反映した信号が、動き補償画像ＩＭＣの画素Ｐ（ｘ，ｙ）に存在する。換言すれば、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）における被写体の映像情報（時刻ｔｎ−１の映像情報）が、正確に動き補償画像ＩＭＣの画素Ｐ（ｘ，ｙ）に存在するようになる。故に、加重加算部５５の出力画像では、混合される画素の対応がずれることによる、残像及び尾引き等が抑制される。また、動き補償部５２によって局所的な位置ずれを補償することができるため、動物体（動く被写体）に対しても高いノイズ低減効果を得ることができる。
【００７９】
また、例えば、撮像装置１に電子式手振れ補正部を搭載しておくことができる。この場合、動き補償部５１は、電子式手振れ補正部で算出されたフレーム間の動きベクトルＶＥＣを利用して第１の動き補償を成すことができ、動きベクトルＶＥＣに応じて前フレーム画像の読み出しアドレスを決定するようにすることで、低コストにて第１の動き補償を実現することができる。
【００８０】
尚、図８の動き補償部５２Ａでは、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）に対し、前フレーム画像ＩＭＢ内に５つの対象画素が設定されることになる。前フレーム画像ＩＭＢに設定される全対象画素から成る画像領域を対象領域３２０Ｂと呼ぶ（図１２参照）。対象領域３２０Ｂは、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）に対する対象領域である。図８の例において、対象領域３２０Ｂは、前フレーム画像ＩＭＢの画素Ｐ（ｘ−２，ｙ）、Ｐ（ｘ−１，ｙ）、Ｐ（ｘ，ｙ）、Ｐ（ｘ＋１，ｙ）及びＰ（ｘ＋２，ｙ）から成る。前フレーム画像ＩＭＢにおいて、注目画素位置（ｘ，ｙ）を中心とする所定形状の画像領域を対象領域３２０Ｂに設定することができる。
【００８１】
対象領域３２０Ｂは、様々に変更可能である。但し、対象領域３２０Ｂに、画素Ｐ（ｘ，ｙ）と、画素Ｐ（ｘ，ｙ）に隣接する１以上の画素（即ち、画素Ｐ（ｘ−１，ｙ）、Ｐ（ｘ＋１，ｙ）、Ｐ（ｘ，ｙ−１）及びＰ（ｘ，ｙ＋１）の内の何れか１以上）と、を少なくとも含めておくとよい。
【００８２】
例えば、前フレーム画像ＩＭＢにおいて、画素Ｐ（ｘ，ｙ）と画素Ｐ（ｘ，ｙ）の４近傍画素とで対象領域３２０Ｂを形成しても良い。この場合、
ＤＩＦ１＝｜ＶＢ（ｘ−１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ２＝｜ＶＢ（ｘ＋１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ３＝｜ＶＢ（ｘ，ｙ）    −ＶＡ（ｘ，ｙ）｜、
ＤＩＦ４＝｜ＶＢ（ｘ，ｙ−１）−ＶＡ（ｘ，ｙ）｜、及び、
ＤＩＦ５＝｜ＶＢ（ｘ，ｙ＋１）−ＶＡ（ｘ，ｙ）｜、に従って求めたＤＩＦ１〜ＤＩＦ５を類似係数ｆ１〜ｆ５に変換すればよい。そして、この場合、式（１）におけるＶＢ１、ＶＢ２、ＶＢ３、ＶＢ４及びＶＢ５として、夫々、画素信号ＶＢ（ｘ−１，ｙ）、ＶＢ（ｘ＋１，ｙ）、ＶＢ（ｘ，ｙ）、ＶＢ（ｘ，ｙ−１）及びＶＢ（ｘ，ｙ＋１）が用いられる。
【００８３】
また、対象領域３２０Ｂを形成する画素の数は５以外であっても良い。例えば、前フレーム画像ＩＭＢにおいて、画素Ｐ（ｘ，ｙ）と画素Ｐ（ｘ，ｙ）の８近傍画素とで対象領域３２０Ｂを形成しても良いし、或いは、画素Ｐ（ｘ，ｙ）と画素Ｐ（ｘ，ｙ）の２４近傍画素とで対象領域３２０Ｂを形成しても良い。
【００８４】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例及び後述の他の実施例は、第１実施例を基礎とする実施例であり、第２実施例及び後述の他の実施例において特に述べられない事項に関しては、矛盾なき限り、第１実施例の記載が第２実施例及び後述の他の実施例にも適用される。
【００８５】
現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）に対する動き補償画素は、複数の対象画素の混合によって生成されることを第１実施例で述べた。この複数の対象画素に、前フレーム画像ＩＭＢの画素に加えて、現フレーム画像ＩＭＡの画素を更に含めるようにしてもよい。現フレーム画像ＩＭＡに設定される全対象画素から成る画像領域を対象領域３２０Ａと呼ぶ（図１３参照）。対象領域３２０Ａは、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）に対する対象領域であり、注目画素Ｐ（ｘ，ｙ）を基準とした複数の画素から成る。現フレーム画像ＩＭＡにおいて、注目画素位置（ｘ，ｙ）を中心とする所定形状の画像領域を対象領域３２０Ａに設定することができる。但し、対象領域３２０Ａには、注目画素Ｐ（ｘ，ｙ）は含まれていないものとする。対象領域３２０Ａに、画素Ｐ（ｘ，ｙ）に隣接する１以上の画素（即ち、画素Ｐ（ｘ−１，ｙ）、Ｐ（ｘ＋１，ｙ）、Ｐ（ｘ，ｙ−１）及びＰ（ｘ，ｙ＋１）の内の何れか１以上）を、少なくとも含めておくとよい。
【００８６】
具体的な例として、対象領域３２０Ｂが前フレーム画像ＩＭＢの画素Ｐ（ｘ＋２，ｙ）、Ｐ（ｘ＋１，ｙ）、Ｐ（ｘ，ｙ）、Ｐ（ｘ−１，ｙ）及びＰ（ｘ−２，ｙ）から形成され、且つ、対象領域３２０Ａが現フレーム画像ＩＭＡの画素Ｐ（ｘ＋２，ｙ）、Ｐ（ｘ＋１，ｙ）、Ｐ（ｘ−１，ｙ）及びＰ（ｘ−２，ｙ）から形成される場合を考える。この場合、動き補償部５２において、
ＤＩＦ１＝｜ＶＢ（ｘ＋２，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ２＝｜ＶＢ（ｘ＋１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ３＝｜ＶＢ（ｘ，ｙ）    −ＶＡ（ｘ，ｙ）｜、
ＤＩＦ４＝｜ＶＢ（ｘ−１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ５＝｜ＶＢ（ｘ−２，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ６＝｜ＶＡ（ｘ＋２，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ７＝｜ＶＡ（ｘ＋１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ８＝｜ＶＡ（ｘ−１，ｙ）−ＶＡ（ｘ，ｙ）｜、及び
ＤＩＦ９＝｜ＶＡ（ｘ−２，ｙ）−ＶＡ（ｘ，ｙ）｜、に従って差分絶対値ＤＩＦ１〜ＤＩＦ９を求め、得られた各差分絶対値ＤＩＦｉを第１実施例で述べた方法に従って類似係数ｆｉに変換する。そして得られた類似係数ｆ１〜ｆ９を下記式（３）に代入することで、動き補償画素の画素信号ＶＣ（ｘ，ｙ）を求めればよい。式（３）のＶＢ１、ＶＢ２、ＶＢ３、ＶＢ４及びＶＢ５は、夫々、画素信号ＶＢ（ｘ＋２，ｙ）、ＶＢ（ｘ＋１，ｙ）、ＶＢ（ｘ，ｙ）、ＶＢ（ｘ−１，ｙ）及びＶＢ（ｘ−２，ｙ）であり、式（３）のＶＡ６、ＶＡ７、ＶＡ８及びＶＡ９は、夫々、画素信号ＶＡ（ｘ＋２，ｙ）、ＶＡ（ｘ＋１，ｙ）、ＶＡ（ｘ−１，ｙ）及びＶＡ（ｘ−２，ｙ）である。
【００８７】
【数３】
2012129913.tif 000005
【００８８】
前フレーム画像ＩＭＢの画素（主として類似画素）だけでなく現フレーム画像ＩＭＡの画素（主として類似画素）をも用いて動き補償画素を生成することにより、出力フレーム画像において残像及び尾引き等の発生をより強く抑制することが可能となる。
【００８９】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例に係るノイズ低減処理部５０を特にノイズ低減処理部５０Ｂと呼ぶ。図１４は、ノイズ低減処理部５０Ｂの内部ブロック図である。ノイズ低減処理部５０Ｂは、図６のノイズ低減処理部５０Ａに対して動き補正部５７を追加した構成を有している。
【００９０】
動き補正部５７は、動き補償部５２にて生成された動き補償画像ＩＭＣと前フレーム画像ＩＭＢとを動きベクトルＶＥＣに応じた混合比率にて混合することで補正動き補償画像ＩＭＤを生成する。より具体的には、画像ＩＭＣの画素信号と画像ＩＭＢの画素信号を画素ごとに“１−ｍ：ｍ”の混合比率にて混合することで画像ＩＭＤを生成する。ｍは、混合比率を定める係数であり、動きベクトルＶＥＣの大きさに基づいて決定される。図１５に示す如く、動き補正部５７には、係数設定部１４１及び加重加算部１４２が備えられる。
【００９１】
係数設定部１４１は、動きベクトルＶＥＣの大きさ｜ＶＥＣ｜と係数ｍとの関係を表す所定の変換関数を用いて、大きさ｜ＶＥＣ｜を係数ｍに変換する。この変換関数は、演算式又はルックアップテーブルによって与えられる。図１６に、この変換関数に従う大きさ｜ＶＥＣ｜を係数ｍとの関係を示す。大きさ｜ＶＥＣ｜が閾値ＶＥＣＴＨ１以下であるとき係数ｍには上限値ｍＨが代入され、大きさ｜ＶＥＣ｜が閾値ＶＥＣＴＨ２以上であるとき係数ｍには下限値ｍＬが代入される。不等式“ＶＥＣＴＨ１＜｜ＶＥＣ｜＜ＶＥＣＴＨ２”の成立時には、大きさ｜ＶＥＣ｜が閾値ＶＥＣＴＨ１から閾値ＶＥＣＴＨ２に向けて増大するにつれて係数ｍを上限値ｍＨから下限値ｍＬに向けて線形的に又は非線形的に減少させる。ここで、０≦ｍＬ＜ｍＨ≦１、且つ、０≦ＶＥＣＴＨ１＜ＶＥＣＴＨ２、が成立する。典型的には例えば、ｍＬ＝０、ｍＨ＝１且つＶＥＣＴＨ１＝０、とすることができる。
【００９２】
補正動き補償画像ＩＭＤの画素Ｐ（ｘ，ｙ）における画素信号をＶＤ（ｘ，ｙ）によって表す。係数ｍの値の決定後、加重加算部１４２は、下記式（４）に従って画素信号ＶＤ（ｘ，ｙ）を生成する。即ち、画像ＩＭＣの画素と画像ＩＭＢの画素を“１−ｍ：ｍ”の混合比率にて混合することで画像ＩＭＤの画素を生成する。加重加算部１４２は、画像ＩＭＣの各画素に対して（換言すれば各画素位置に対して）上記の混合を行うことで、画像ＩＭＤの全画素を生成する。全ての画素位置に対して、ｍの値は共通である。
【００９３】
【数４】
2012129913.tif 000006
【００９４】
図１４の加重加算部５５は、図６の加重加算部５５と同様、第１入力画像と第２入力画像を帰還係数ｋに応じた混合比率にて混合することにより出力画像ＩＭＯを生成する。但し、図１４の加重加算部５５において、第１及び第２入力画像は、夫々、現フレーム画像ＩＭＡ及び補正動き補償画像ＩＭＤである。故に、図１４の加重加算部５５は、下記式（５）に従って出力画像ＩＭＯの画素信号ＶＯ（ｘ，ｙ）を生成する。
【００９５】
【数５】
2012129913.tif 000007
【００９６】
フレーム間の動きベクトルの大きさが大きい場合、フレーム間で比較的大きな動きが発生していると判断され、前フレーム画像を用いたノイズ低減効果が小さいと予測される。従って、動きベクトルの大きさが大きい場合には係数ｍを小さく設定することにより、出力画像ＩＭＯに対する動き補償画像ＩＭＣの寄与度を上げる（上記式（４）及び（５）参照）。これにより、出力フレーム画像において残像及び尾引き等の発生を比較的強く抑制することが可能となる。
逆に、フレーム間の動きベクトルの大きさが小さい場合、フレーム間で動きが殆ど無いと判断され、前フレーム画像を用いたノイズ低減効果が大きいと予測される。従って、動きベクトルの大きさが小さい場合には係数ｍを大きく設定することにより、出力画像ＩＭＯに対する動き補償画像ＩＭＣの寄与度を下げる一方で前フレーム画像ＩＭＢの寄与度を上げる。これにより、より強いノイズ低減効果を得ることができる。
【００９７】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例に係るノイズ低減処理部５０を特にノイズ低減処理部５０Ｃと呼ぶ。図１７は、ノイズ低減処理部５０Ｃの内部ブロック図である。ノイズ低減処理部５０Ｃは、図６のノイズ低減処理部５０Ａに対して動き補正部５８を追加した構成を有している。
【００９８】
動き補正部５８は、動き補償部５２にて生成された動き補償画像ＩＭＣと前フレーム画像ＩＭＢとを動き量ＡＭに応じた混合比率にて混合することで補正動き補償画像ＩＭＤを生成する。図１８に示す如く、動き補正部５８には、係数設定部１５１及び加重加算部１５２が備えられる。
【００９９】
係数設定部１５１は、動き量算出部５３にて求められた動き量ＡＭに基づき、係数ｍを設定する。図１５の係数設定部１４１では全画素位置に対して共通の値が係数ｍに設定されていたが、図１８の係数設定部１５１では、係数ｍの値を画素位置ごとに設定する。即ち、係数設定部１５１において、画素Ｐ（ｘ，ｙ）に対して設定される係数ｍの値と、画素Ｐ（ｘ＋Δｘ，ｙ）に対して設定される係数ｍの値とは、互いに異なりうる（Δｘはゼロ以外の整数）。画素位置（ｘ，ｙ）に対して設定された係数ｍを、特にｍ（ｘ，ｙ）と表記する。
【０１００】
係数設定部１５１は、動き量ＡＭと係数ｍとの関係を表す所定の変換関数を用いて、動き量ＡＭを係数ｍに変換する。変換関数は、演算式又はルックアップテーブルによって与えられる。図１９に、この変換関数に従う動き量ＡＭ（ｘ，ｙ）と係数ｍ（ｘ，ｙ）との関係を示す。動き量ＡＭ（ｘ，ｙ）が閾値ＡＭＴＨ３以下であるとき係数ｍ（ｘ，ｙ）には上限値ｍＨが代入され、動き量ＡＭ（ｘ，ｙ）が閾値ＡＭＴＨ４以上であるとき係数ｍ（ｘ，ｙ）には下限値ｍＬが代入される。不等式“ＡＭＴＨ３＜ＡＭ（ｘ，ｙ）＜ＡＭＴＨ４”の成立時には、動き量ＡＭ（ｘ，ｙ）が閾値ＡＭＴＨ３から閾値ＡＭＴＨ４に向けて増大するにつれて係数ｍ（ｘ，ｙ）を上限値ｍＨから下限値ｍＬに向けて線形的に又は非線形的に減少させる。ここで、０≦ｍＬ＜ｍＨ≦１、且つ、０≦ＡＭＴＨ３＜ＡＭＴＨ４、が成立する。典型的には例えば、ｍＬ＝０、ｍＨ＝１且つＡＭＴＨ３＝０、とすることができる。
【０１０１】
係数ｍ（ｘ，ｙ）の値の決定後、加重加算部１５２は、下記式（６）に従って画素信号ＶＤ（ｘ，ｙ）を生成する。即ち、画像ＩＭＣの画素と画像ＩＭＢの画素を“１−ｍ：ｍ”の混合比率にて混合することで画像ＩＭＤの画素を生成する。加重加算部１５２は、画像ＩＭＣの各画素に対して（換言すれば各画素位置に対して）上記の混合を行うことで、画像ＩＭＤの全画素を生成する。
【０１０２】
【数６】
2012129913.tif 000008
【０１０３】
図１７の加重加算部５５は、図１４の加重加算部５５と同じものであり、上記式（５）に従って出力画像ＩＭＯの画素信号ＶＯ（ｘ，ｙ）を生成する。
【０１０４】
動き量が大きい場合、フレーム間で比較的大きな動きが発生していると判断され、前フレーム画像を用いたノイズ低減効果が小さいと予測される。従って、動き量が大きい場合には係数ｍを小さく設定することにより、出力画像ＩＭＯに対する動き補償画像ＩＭＣの寄与度を上げる。これにより、出力フレーム画像において残像及び尾引き等の発生を比較的強く抑制することが可能となる。
逆に、動き量が小さい場合、フレーム間で動きが殆ど無いと判断され、前フレーム画像を用いたノイズ低減効果が大きいと予測される。従って、動き量が小さい場合には係数ｍを大きく設定することにより、出力画像ＩＭＯに対する動き補償画像ＩＭＣの寄与度を下げる一方で前フレーム画像ＩＭＢの寄与度を上げる。これにより、より強いノイズ低減効果を得ることができる。
【０１０５】
尚、第３及び第４実施例を組み合わせることも可能である。即ち、第３又は第４実施例において、動きベクトルＶＥＣ及び動き量ＡＭ（ｘ，ｙ）に応じた混合比率で画像ＩＭＣ及びＩＭＢを混合することで、画像ＩＭＤを生成するようにしても良い。
【０１０６】
＜＜第５実施例＞＞
第５実施例を説明する。第５実施例では、動き補償部５２の変形構成を説明する。第５実施例に係る動き補償部５２を特に動き補償部５２Ｂと呼ぶ。図２０は、動き補償部５２Ｂの内部ブロック図である。動き補償部５２Ｂは、図８の動き補償部５２Ａにエッジ強度算出部（エッジ強度導出部）７６及び係数変換部（係数設定部）７７を追加したものである。
【０１０７】
エッジ強度算出部７６は、画像ＩＭＡ又はＩＭＢのエッジ強度ＥＤＧＥ、又は、画像ＩＭＡ及びＩＭＢのエッジ強度ＥＤＧＥを算出する。係数変換部７７は、算出されたエッジ強度ＥＤＧＥをエッジ強度係数ｅに変換し、得られたエッジ強度係数ｅを係数算出器８３［１］〜８３［５］に入力する。動き補償部５２Ｂにおける係数算出器８３［ｉ］は、差分絶対値ＤＩＦｉと入力されたエッジ強度係数ｅに応じて類似係数ｆｉを算出する。
【０１０８】
説明の具体化のため、現フレーム画像ＩＭＡの画素Ｐ（ｘ，ｙ）を注目画素として捉え、注目画素Ｐ（ｘ，ｙ）に対する類似係数ｆｉの算出方法を説明する。注目画素Ｐ（ｘ，ｙ）に対する類似係数ｆｉの算出時に係数算出器８３［１］〜８３［５］に入力されるエッジ強度係数ｅを記号ｅ（ｘ，ｙ）にて表し、エッジ強度係数ｅ（ｘ，ｙ）の元になるエッジ強度ＥＤＧＥを記号ＥＤＧＥ（ｘ，ｙ）にて表す。
【０１０９】
エッジ強度算出部７６は、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）におけるエッジ強度ＥＡ（ｘ，ｙ）、又は、前フレーム画像ＩＭＢの画素Ｐ（ｘ，ｙ）におけるエッジ強度ＥＢ（ｘ，ｙ）、又は、エッジ強度ＥＡ（ｘ，ｙ）及びＥＢ（ｘ，ｙ）の平均をエッジ強度ＥＤＧＥ（ｘ，ｙ）として求めることできる。前フレーム画像ＩＭＢの画素Ｐ（ｘ，ｙ）は、現フレーム画像ＩＭＡの注目画素Ｐ（ｘ，ｙ）を基準とする、前フレーム画像ＩＭＢ内の対応画素である。
【０１１０】
例えば、現フレーム画像ＩＭＡの画素位置（ｘ，ｙ）に対してエッジ抽出フィルタを用いた空間フィルタリングを実行し、そのエッジ抽出フィルタの出力信号の絶対値をエッジ強度ＥＡ（ｘ，ｙ）として求めることができる。同様に例えば、現フレーム画像ＩＭＢの画素位置（ｘ，ｙ）に対してエッジ抽出フィルタを用いた空間フィルタリングを実行し、そのエッジ抽出フィルタの出力信号の絶対値をエッジ強度ＥＢ（ｘ，ｙ）として求めることができる。エッジ抽出フィルタとして、微分フィルタ、プリューウィットフィルタ、ソーベルフィルタ、ラプラシアンフィルタなどを用いることができる。エッジ抽出フィルタによって求められたエッジ強度ＥＡ（ｘ，ｙ）は、現フレーム画像ＩＭＡの画素位置（ｘ，ｙ）での画素信号の勾配の大きさを表している。エッジ強度ＥＢ（ｘ，ｙ）についても同様である。
【０１１１】
或いは例えば、現フレーム画像ＩＭＡ内に画素Ｐ（ｘ，ｙ）を中心とする小ブロックを設定し、小ブロック内に属する画素信号の平均偏差をエッジ強度ＥＡ（ｘ，ｙ）として求めても良い（小ブロック内には複数の画素が属するものとする）。同様に、前フレーム画像ＩＭＢ内に画素Ｐ（ｘ，ｙ）を中心とする小ブロックを設定し、小ブロック内に属する画素信号の平均偏差をエッジ強度ＥＢ（ｘ，ｙ）として求めても良い（小ブロック内には複数の画素が属するものとする）。
【０１１２】
係数変換部７７は、エッジ強度ＥＤＧＥ（ｘ，ｙ）を所定の変換関数によってエッジ強度係数ｅ（ｘ，ｙ）に変換する。図２１（ａ）に、この変換関数が指し示す、エッジ強度ＥＤＧＥ（ｘ，ｙ）とエッジ強度係数ｅ（ｘ，ｙ）との関係を示す。エッジ強度ＥＤＧＥ（ｘ，ｙ）が所定の閾値ＥＤＧＥＴＨ以上であるときエッジ強度係数ｅ（ｘ，ｙ）には所定の下限値ｅＬが代入される。エッジ強度ＥＤＧＥ（ｘ，ｙ）が閾値ＥＤＧＥＴＨ未満であるとき、エッジ強度ＥＤＧＥ（ｘ，ｙ）が閾値ＥＤＧＥＴＨからゼロに向かって減少するにつれて、エッジ強度係数ｅ（ｘ，ｙ）を所定の下限値ｅＬから所定の上限値ｅＨに向けて線形的に又は非線形的に増加させる。ここで、１≦ｅＬ＜ｅＨ、且つ、０＜ＥＤＧＥＴＨ、が成立する。典型的には例えば、ｅＬ＝１、とすることができる。
【０１１３】
図２０の係数算出部８３［ｉ］は、画素信号ＶＡ（ｘ，ｙ）に基づく差分絶対値ＤＩＦｉとエッジ強度係数ｅ（ｘ，ｙ）とに基づいて、注目画素Ｐ（ｘ，ｙ）に対する類似係数ｆｉを算出する。エッジ強度係数ｅ（ｘ，ｙ）はエッジ強度ＥＤＧＥ（ｘ，ｙ）に応じて求められるのであるから、差分絶対値ＤＩＦｉに応じた類似係数ｆｉがエッジ強度ＥＤＧＥ（ｘ，ｙ）に基づいて補正されている、とも言える。具体的には例えば、式“ＤＩＦｉ’＝ＤＩＦｉ×ｅ（ｘ，ｙ）”に従ってＤＩＦｉをＤＩＦｉ’に変換する。そして、図２１（ｂ）に示す如く、値ＤＩＦｉ’がゼロであるとき、類似係数ｆｉに所定の正の値ｆＨを代入し、値ＤＩＦｉ’がゼロから増大するにつれて、類似係数ｆｉを値ｆＨからゼロに向かって徐々に減少せしめる。
【０１１４】
これにより、エッジ強度ＥＤＧＥ（ｘ，ｙ）が小さいほど、差分の値が大きくなるような調整が成される。結果、小振幅の信号領域で発生しうるぼけを抑制することが可能となる。
【０１１５】
このぼけ抑制効果について説明を補足する。小振幅の信号領域とは、空間方向における信号変化の乏しい画像領域を指す。濃淡変化の少ない模様部又は平坦部は、小振幅の信号領域の代表例である。小振幅の信号領域では、減算ブロック８２から出力される差分絶対値ＤＩＦｉが全て相当に小さくなる。従って、エッジ強度ＥＤＧＥ（ｘ，ｙ）による補正を行わなければ、全ての類似係数ｆｉが上限値ｆＨに近い値を持ち、結果、平滑化フィルタ部９０における平滑化の度合いが相当に強くなる（究極的には、複数の対象画素の画素信号を単純平均することで動き補償画素が生成されるようになる）。強い平滑化は過度のぼけを動き補償画像にもたらし、ひいては過度のぼけを出力フレーム画像にもたらすことがある。図２０の動き補償部５２Ｂは、このようなぼけの抑制に適している。図２０の構成では、小振幅の信号領域に対する類似係数ｆｉの算出に当たり、エッジ強度ＥＤＧＥ（ｘ，ｙ）が差分絶対値ＤＩＦｉを増大させるかのように機能するからであり（図９及び図２１（ａ）及び（ｂ）参照）、結果、小振幅の信号領域において類似係数ｆｉが減少補正（図８の構成との比較における減少補正）されることになるからである。
【０１１６】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、動き補償部５２の他の変形構成を説明する。第６実施例に係る動き補償部５２を特に動き補償部５２Ｃと呼ぶ。図２２は、動き補償部５２Ｃの内部ブロック図である。動き補償部５２Ｃは、図８の動き補償部５２Ａに平滑化処理部７８を追加することで形成される。
【０１１７】
平滑化処理部７８は、前フレーム画像ＩＭＢの全体を平滑化する平滑化処理を実行する。この平滑化処理の成された前フレーム画像ＩＭＢの画素位置（ｘ，ｙ）における画素信号をＶＢ’（ｘ，ｙ）によって表す。
【０１１８】
平滑化処理部７８の導入に伴って、各部位の入出力信号の一部は第１実施例で説明したものから、以下のように変更される。注目画素の画素信号ＶＡ（ｘ，ｙ）が減算器８２［１］〜８２［５］に入力されるとき、平滑化処理部７８の後段に直列接続された遅延器を用いて、画素信号ＶＢ’（ｘ＋２，ｙ）、ＶＢ’（ｘ＋１，ｙ）、ＶＢ’（ｘ，ｙ）、ＶＢ’（ｘ−１，ｙ）及びＶＢ’（ｘ−２，ｙ）が、それぞれ減算器８２［１］〜８２［５］に入力される。結果、減算ブロック８２は、
ＤＩＦ１＝｜ＶＢ’（ｘ＋２，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ２＝｜ＶＢ’（ｘ＋１，ｙ）−ＶＡ（ｘ，ｙ）｜、
ＤＩＦ３＝｜ＶＢ’（ｘ，ｙ）    −ＶＡ（ｘ，ｙ）｜、
ＤＩＦ４＝｜ＶＢ’（ｘ−１，ｙ）−ＶＡ（ｘ，ｙ）｜、及び、
ＤＩＦ５＝｜ＶＢ’（ｘ−２，ｙ）−ＶＡ（ｘ，ｙ）｜、に従って、差分絶対値ＤＩＦ１〜ＤＩＦ５を求める。即ち、類似係数ｆｉは、平滑化処理部７８の出力信号と注目画素の画素信号ＶＡ（ｘ，ｙ）から求められることとなる。第５実施例で述べた技術を適用し、エッジ強度ＥＤＧＥ（ｘ，ｙ）に応じて類似係数ｆｉを補正するようにしても良い。一方、乗算ブロック９１に対する入力信号は、図８の動き補償部５２Ａにおけるそれと同じである。
【０１１９】
平滑化処理後の前フレーム画像を用いて差分算出及び類似係数算出を行うことにより、比較的大きなノイズが画像ＩＭＢに残存している場合においても、適切な動き補償画像ＩＭＣを生成することが可能となる。尚、図２３に示す如く、動き補償部５２Ｃに平滑化処理部７８と同等の平滑化処理部７９を追加し、平滑化処理部７９において現フレーム画像ＩＭＡの全体を平滑化する平滑化処理を実行させてもよい（平滑化処理部７８を平滑化処理部７９として流用し、平滑化処理部７８にて画像ＩＭＡ及びＩＭＢの双方を平滑化しても構わない）。そして、平滑化処理部７９及び７８による平滑化処理後のフレーム画像ＩＭＡ及びＩＭＢの画素信号から、係数算出ブロック８３に供給すべき複数の差分絶対値ＤＩＦｉを導出するようにしてもよい。
【０１２０】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１２１】
［注釈１］
上述の実施形態では、ノイズ低減処理の成された前フレーム画像である出力フレームＦＯｎ−１を用いて入力フレーム画像ＦＩｎのノイズを低減させているが、出力フレームＦＯｎ−１の代わりに入力フレーム画像ＦＩｎ−１を用いて入力フレーム画像ＦＩｎのノイズを低減させても良い。この場合、動き補償部５１は、出力フレーム画像ＦＯｎ−１の代わりに入力フレーム画像ＦＩｎ−１に対して第１の動き補償を成すことで画像ＩＭＢを生成する。
【０１２２】
［注釈２］
図４のノイズ低減処理部５０は、撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、テレビ受信機、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１２３】
［注釈３］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、ノイズ低減処理部５０で実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１２４】
１  撮像装置
１１  撮像部
１３  映像信号処理部
４０  フレームメモリ
５０  ノイズ低減処理部
５１  第１の動き補償部
５２、５２Ａ、５２Ｂ、５２Ｃ  第２の動き補償部
５３  動き量算出部
５４  帰還係数設定部
５５  加重加算部
５６  フレーム間動きベクトル算出部
５７、５８  動き補正部
８０  類似係数設定部
９０  平滑化フィルタ部
ＩＭＡ  現フレーム画像
ＩＭＢ  前フレーム画像
ＩＭＣ  動き補償画像
ＩＭＤ  補正動き補償画像
ＩＭＯ  出力画像
【図１】
2012129913.tif 000009
【図２】
2012129913.tif 000010
【図３】
2012129913.tif 000011
【図４】
2012129913.tif 000012
【図５】
2012129913.tif 000013
【図６】
2012129913.tif 000014
【図７】
2012129913.tif 000015
【図８】
2012129913.tif 000016
【図９】
2012129913.tif 000017
【図１０】
2012129913.tif 000018
【図１１】
2012129913.tif 000019
【図１２】
2012129913.tif 000020
【図１３】
2012129913.tif 000021
【図１４】
2012129913.tif 000022
【図１５】
2012129913.tif 000023
【図１６】
2012129913.tif 000024
【図１７】
2012129913.tif 000025
【図１８】
2012129913.tif 000026
【図１９】
2012129913.tif 000027
【図２０】
2012129913.tif 000028
【図２１】
2012129913.tif 000029
【図２２】
2012129913.tif 000030
【図２３】
2012129913.tif 000031
【図２４】
2012129913.tif 000032