(57)【要約】【課題】画像のノイズ低減処理を実行する装置および方法を提供する。【解決手段】基準画像と動き補償画像の画素差分情報に基づいて算出する第１動き領域検出情報と、領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出情報の２つの動き領域判定情報を適用して最終的な動き領域判定情報を生成する。この最終的な動き領域判定情報によりノイズ推定を行い基準画像に対する動き補償画像の加算重みを決定し、決定した加算重みを適用して基準画像と動き補償画像を加算してノイズ低減画像を生成する。【選択図】図９
2011199716.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と参照画像との画像間の動きを検出する動き予測処理部と、
前記動き予測処理部の検出した画像間の動き情報を利用して、前記参照画像の画素位置を前記基準画像に一致させるように移動させた動き補償画像を生成する動き補償処理部と、
前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部と、
前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定部を有し、
前記加算判定部は、
前記基準画像を構成する領域単位で動く被写体を含む領域であるかを示す動き領域判定値を、前記基準画像と前記動き補償画像の画素差分情報に基づいて算出する第１動き領域検出部と、
前記領域単位の動き領域判定値を、該領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出部と、
前記第１動き領域検出情報と、前記第２動き領域検出情報の出力する２つの動き領域判定値を、各判定値の組み合わせに応じて一方の判定値を選択して出力する制御マップ生成部と、
前記制御マップ生成部の出力する領域単位の動き領域判定情報に応じて画素値対応の推定ノイズ量を規定したノイズ判定テーブルの生成または補正を行うノイズ判定テーブル生成部と、
前記ノイズ判定テーブル生成部の生成したノイズ判定テーブルによって推定される画素単位のノイズ量に応じて前記加算重みを決定する加算判定処理実行部を有する画像処理装置。
【請求項２】
前記制御マップ生成部は、
前記第１動き領域検出部、または前記第２動き領域検出部の出力する２つの動き領域判定値の少なくともいずれかが、動き領域である可能性が高いと判定した領域については、前記第１動き領域検出部の判定値を最終判定値として出力し、
前記第１動き領域検出部、および前記第２動き領域検出部の出力する２つの動き領域判定値のいずれもが、動き領域である可能性が高くないと判定した領域については、前記第２動き領域検出部の判定値を最終判定値として出力する請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ判定テーブル生成部は、
前記制御マップ生成部の出力する領域単位の動き領域判定情報が、動き領域である可能性が低いことを示す判定値を設定した領域については、画素値に対応する推定ノイズ量を増加させたノイズ判定テーブルの生成または補正を行い、
前記制御マップ生成部の出力する領域単位の動き領域判定情報が、動き領域である可能性が高いことを示す判定値を設定した領域については、画素値に対応する推定ノイズ量を減少させたノイズ判定テーブルの生成または補正を行う請求項１または２に記載の画像処理装置。
【請求項４】
前記加算判定処理実行部は、
前記ノイズ判定テーブル生成部の生成したノイズ判定テーブルによって推定される画素単位のノイズ量が多い領域には加算重みを大きく設定し、画素単位のノイズ量が少ない領域には加算重みを小さく設定する加算重み決定処理を行なう請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記第１動き領域検出部は、
前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した領域の各々が、
（ａ）動き推定（ＭＥ）成功領域、
（ｂ）動き推定（ＭＥ）失敗領域、
（ｃ）上記（ａ），（ｂ）いずれでもない境界領域、
上記の（ａ）〜（ｃ）のいずれに対応する領域であるかを判定し、判定結果に応じて各小領域の動き領域判定値を算出する請求項１〜４いずれかに記載の画像処理装置。
【請求項６】
画像処理装置においてノイズ低減画像の生成処理を行う画像処理方法であり、
動き予測処理部が、基準画像と参照画像との画像間の動きを検出する動き予測処理ステップと、
動き補償処理部が、前記動き予測処理部の検出した画像間の動き情報を利用して、前記参照画像の画素位置を前記基準画像に一致させるように移動させた動き補償画像を生成する動き補償処理ステップと、
加算処理部が、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理ステップと、
加算判定部が、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定ステップを実行し、
前記加算判定ステップは、
前記基準画像を構成する領域単位で動く被写体を含む領域であるかを示す動き領域判定値を、前記基準画像と前記動き補償画像の画素差分情報に基づいて算出する第１動き領域検出ステップと、
前記領域単位の動き領域判定値を、該領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出ステップと、
前記第１動き領域検出情報と、前記第２動き領域検出情報の出力する２つの動き領域判定値を、各判定値の組み合わせに応じて一方の判定値を選択して出力する制御マップ生成ステップと、
前記制御マップ生成ステップにおいて出力する領域単位の動き領域判定情報に応じて画素値対応の推定ノイズ量を規定したノイズ判定テーブルの生成または補正を行うノイズ判定テーブル生成ステップと、
前記ノイズ判定テーブル生成ステップにおいて生成したノイズ判定テーブルによって推定される画素単位のノイズ量に応じて前記加算重みを決定する加算判定処理実行ステップを実行する画像処理方法。
【請求項７】
画像処理装置においてノイズ低減画像の生成処理を行わせるプログラムであり、
動き予測処理部に、基準画像と参照画像との画像間の動きを検出させる動き予測処理ステップと、
動き補償処理部に、前記動き予測処理部の検出した画像間の動き情報を利用して、前記参照画像の画素位置を前記基準画像に一致させるように移動させた動き補償画像を生成させる動き補償処理ステップと、
加算処理部に、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成させる加算処理ステップと、
加算判定部に、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出させる加算判定ステップを実行し、
前記加算判定ステップは、
前記基準画像を構成する領域単位で動く被写体を含む領域であるかを示す動き領域判定値を、前記基準画像と前記動き補償画像の画素差分情報に基づいて算出する第１動き領域検出ステップと、
前記領域単位の動き領域判定値を、該領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出ステップと、
前記第１動き領域検出情報と、前記第２動き領域検出情報の出力する２つの動き領域判定値を、各判定値の組み合わせに応じて一方の判定値を選択して出力する制御マップ生成ステップと、
前記制御マップ生成ステップにおいて出力する領域単位の動き領域判定情報に応じて画素値対応の推定ノイズ量を規定したノイズ判定テーブルの生成または補正を行うノイズ判定テーブル生成ステップと、
前記ノイズ判定テーブル生成ステップにおいて生成したノイズ判定テーブルによって推定される画素単位のノイズ量に応じて前記加算重みを決定する加算判定処理実行ステップを実行させるステップであるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、動き補償画像の生成処理や画像のノイズ低減を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えばカメラやビデオなどの撮像装置によって撮影された画像には少なからずノイズが含まれる。特に低照度下での撮影や、短い露光時間での撮影画像には多くのノイズが含まれる場合が多い。これは低照度下での撮影や短い露光時間での撮影が行われた場合、入射光量が少なく撮像素子の電荷蓄積量が減少することが１つの原因である。このような撮像データに基づいて明るい像を得るためには信号の増幅が必要となる。この増幅処理の際に撮像素子やアナログ回路において生じるノイズが増幅され、結果として得られる画像がノイズの多い画像になる。
【０００３】
ノイズを減少させるためには、長時間露光が有効であるが、長時間露光を行うと露光中の手ぶれによる画像のにじみが発生する可能性がある。他の方法として、露光にじみが殆ど生じない高速のシャッター速度で撮影を繰り返す連写を行い、連写により得られた異なる撮影時間の複数画像を加算平均することによって、時間方向に無相関なノイズを低減（リダクション）する方法がある。しかし、この複数の画像の加算処理は計算量が多く処理効率を低下させるという問題がある。
【０００４】
なお、連写により得られた異なる撮影時間の複数画像を加算平均することによるノイズ低減手法である時間方向ノイズ低減（リダクション）手法を開示した従来技術として例えば特許文献１（特開２００９−２９０８２７号公報）がある。
【０００５】
特許文献１（特開２００９−２９０８２７号公報）は、異なる撮影時間の複数画像の位置合わせを行って同一の被写体を撮影した判断される複数の画像の対応画素の画素値を加算平均する処理を基本としている。例えばノイズ低減対象となる基準画像と、基準画像の１フレーム前の参照画像を用い、参照画像を基準画像と同じ位置に被写体を移動させた動き補償画像（ＭＣ画）を生成して、基準画像と動き補償画像（ＭＣ画）の対応画素の加算平均を行ってノイズ低減画像を生成するものである。
【０００６】
しかし、この処理に際して画像全体の動きと異なる動きを持つ動被写体の領域、例えば車や人のような動被写体領域については、動き補償画像（ＭＣ画）の画素が、基準画像の対応画素と異なる被写体画素となってしまう場合がある。このような動き領域については、基準画像に対する動き補償画像（ＭＣ画）の画素の加算重みを低下させて、基準画像の画素値の重みを大きくするという制御を行う構成としている。
【０００７】
すなわち、動被写体領域ではなく静止領域と判断される画像領域に対しては、基準画像と動き補償画像（ＭＣ画）の対応画素の加算平均する処理を積極的に行い、動被写体領域についてはこの加算平均処理の影響を少なくして基準画像の画素値がより大きく反映される設定としたノイズ低減処理を行う構成である。
【０００８】
この特許文献１では、動き領域の検出処理として、画像全体の動き相当するグローバル動きベクトル（ＧＭＶ）と画像内の区分領域であるブロック領域の動きベクトルであるローカル動きベクトル（ＬＭＶ）とを比較して、その差分の大きいブロックを動き領域であると判定している。
【０００９】
しかし、グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）の比較処理による動き判定精度は、生成したベクトルの精度に依存し、ベクトル精度が低下すると動き判定の精度が大きく低下することになる。例えばローカル動きベクトル算出のために設定したブロック領域より小さな局所領域の動き領域を含むブロックが動き領域ブロックと判定されない場合が発生する。この場合、局所的な動き領域に対して、静止領域と同様の複数画像の対応点加算平均処理が実行され、ノイズがさらに大きくなってしまうといった問題が発生する場合がある。
【００１０】
また、動きベクトルの検出処理に際しては、連続撮影された複数画像の画素値比較等によるマッチング処理を行って対応点を探索する処理が行われるが、例えば画像の撮影期間に照明条件が変更されたような場合には画像の対応点探索が困難となり、動きベクトルを正しく求めることができなくなる。このような場合、グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）との比較処理による動き領域のり検出精度が低下し、結果として効果的にノイズを低減させた画像を生成できなくなるという問題がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−２９０８２７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、例えば、上記問題点に鑑みてなされたものであり、複数画像の合成によってノイズ低減画像を生成する構成において、動き領域の判定処理を改善し、精度の高い加算重みの算出により高品質なノイズ低減画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１３】
本発明の一実施例構成においては、グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）との比較処理による動き領域の判定のみならず、基準画像と動き補償画像の画素差分情報に基づいて算出する動き推定（ＭＥ）の成功判定情報も利用した動き領域の判定処理を実行し、これらの２つの異なるアウプローチによる動き領域の検出情報を用いて精度の高い加算重みの算出を実行して高品質なノイズ低減画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の第１の側面は、
基準画像と参照画像との画像間の動きを検出する動き予測処理部と、
前記動き予測処理部の検出した画像間の動き情報を利用して、前記参照画像の画素位置を前記基準画像に一致させるように移動させた動き補償画像を生成する動き補償処理部と、
前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理部と、
前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定部を有し、
前記加算判定部は、
前記基準画像を構成する領域単位で動く被写体を含む領域であるかを示す動き領域判定値を、前記基準画像と前記動き補償画像の画素差分情報に基づいて算出する第１動き領域検出部と、
前記領域単位の動き領域判定値を、該領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出部と、
前記第１動き領域検出情報と、前記第２動き領域検出情報の出力する２つの動き領域判定値を、各判定値の組み合わせに応じて一方の判定値を選択して出力する制御マップ生成部と、
前記制御マップ生成部の出力する領域単位の動き領域判定情報に応じて画素値対応の推定ノイズ量を規定したノイズ判定テーブルの生成または補正を行うノイズ判定テーブル生成部と、
前記ノイズ判定テーブル生成部の生成したノイズ判定テーブルによって推定される画素単位のノイズ量に応じて前記加算重みを決定する加算判定処理実行部を有する画像処理装置にある。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記制御マップ生成部は、前記第１動き領域検出部、または前記第２動き領域検出部の出力する２つの動き領域判定値の少なくともいずれかが、動き領域である可能性が高いと判定した領域については、前記第１動き領域検出部の判定値を最終判定値として出力し、前記第１動き領域検出部、および前記第２動き領域検出部の出力する２つの動き領域判定値のいずれもが、動き領域である可能性が高くないと判定した領域については、前記第２動き領域検出部の判定値を最終判定値として出力する。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記ノイズ判定テーブル生成部は、前記制御マップ生成部の出力する領域単位の動き領域判定情報が、動き領域である可能性が低いことを示す判定値を設定した領域については、画素値に対応する推定ノイズ量を増加させたノイズ判定テーブルの生成または補正を行い、前記制御マップ生成部の出力する領域単位の動き領域判定情報が、動き領域である可能性が高いことを示す判定値を設定した領域については、画素値に対応する推定ノイズ量を減少させたノイズ判定テーブルの生成または補正を行う。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記加算判定処理実行部は、前記ノイズ判定テーブル生成部の生成したノイズ判定テーブルによって推定される画素単位のノイズ量が多い領域には加算重みを大きく設定し、画素単位のノイズ量が少ない領域には加算重みを小さく設定する加算重み決定処理を行なう。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記第１動き領域検出部は、前記基準画像と前記動き補償画像の解析を実行し、前記動き補償画像を区分した領域の各々が、
（ａ）動き推定（ＭＥ）成功領域、
（ｂ）動き推定（ＭＥ）失敗領域、
（ｃ）上記（ａ），（ｂ）いずれでもない境界領域、
上記の（ａ）〜（ｃ）のいずれに対応する領域であるかを判定し、判定結果に応じて各小領域の動き領域判定値を算出する。
【００１９】
さらに、本発明の第２の側面は、
画像処理装置においてノイズ低減画像の生成処理を行う画像処理方法であり、
動き予測処理部が、基準画像と参照画像との画像間の動きを検出する動き予測処理ステップと、
動き補償処理部が、前記動き予測処理部の検出した画像間の動き情報を利用して、前記参照画像の画素位置を前記基準画像に一致させるように移動させた動き補償画像を生成する動き補償処理ステップと、
加算処理部が、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成する加算処理ステップと、
加算判定部が、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出する加算判定ステップを実行し、
前記加算判定ステップは、
前記基準画像を構成する領域単位で動く被写体を含む領域であるかを示す動き領域判定値を、前記基準画像と前記動き補償画像の画素差分情報に基づいて算出する第１動き領域検出ステップと、
前記領域単位の動き領域判定値を、該領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出ステップと、
前記第１動き領域検出情報と、前記第２動き領域検出情報の出力する２つの動き領域判定値を、各判定値の組み合わせに応じて一方の判定値を選択して出力する制御マップ生成ステップと、
前記制御マップ生成ステップにおいて出力する領域単位の動き領域判定情報に応じて画素値対応の推定ノイズ量を規定したノイズ判定テーブルの生成または補正を行うノイズ判定テーブル生成ステップと、
前記ノイズ判定テーブル生成ステップにおいて生成したノイズ判定テーブルによって推定される画素単位のノイズ量に応じて前記加算重みを決定する加算判定処理実行ステップを実行する画像処理方法にある。
【００２０】
さらに、本発明の第３の側面は、
画像処理装置においてノイズ低減画像の生成処理を行わせるプログラムであり、
動き予測処理部に、基準画像と参照画像との画像間の動きを検出させる動き予測処理ステップと、
動き補償処理部に、前記動き予測処理部の検出した画像間の動き情報を利用して、前記参照画像の画素位置を前記基準画像に一致させるように移動させた動き補償画像を生成させる動き補償処理ステップと、
加算処理部に、前記基準画像と前記動き補償画像との加算処理により、前記基準画像のノイズを低減したノイズ低減画像を生成させる加算処理ステップと、
加算判定部に、前記加算処理部において実行する前記基準画像と前記動き補償画像との加算処理に適用する動き補償画像の画素単位の加算重みを算出させる加算判定ステップを実行し、
前記加算判定ステップは、
前記基準画像を構成する領域単位で動く被写体を含む領域であるかを示す動き領域判定値を、前記基準画像と前記動き補償画像の画素差分情報に基づいて算出する第１動き領域検出ステップと、
前記領域単位の動き領域判定値を、該領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出ステップと、
前記第１動き領域検出情報と、前記第２動き領域検出情報の出力する２つの動き領域判定値を、各判定値の組み合わせに応じて一方の判定値を選択して出力する制御マップ生成ステップと、
前記制御マップ生成ステップにおいて出力する領域単位の動き領域判定情報に応じて画素値対応の推定ノイズ量を規定したノイズ判定テーブルの生成または補正を行うノイズ判定テーブル生成ステップと、
前記ノイズ判定テーブル生成ステップにおいて生成したノイズ判定テーブルによって推定される画素単位のノイズ量に応じて前記加算重みを決定する加算判定処理実行ステップを実行させるステップであるプログラムにある。
【００２１】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２３】
本発明の一実施例の構成によれば、基準画像と参照画像の動き補正を行った動き補償画像の合成処理によってノイズ低減画像を生成する構成において、基準画像と動き補償画像の画素差分情報に基づいて算出する第１動き領域検出情報と、領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出情報の２つの動き領域判定情報を適用して最終的な動き領域判定情報を生成する。この最終的な動き領域判定情報によりノイズ推定を行い基準画像に対する動き補償画像の加算重みを決定する。さらに、決定した加算重みを適用して基準画像と動き補償画像とを加算してノイズ低減画像を生成する。この構成により、動き領域判定精度が向上し、動き補償画像の信頼度に応じた加算重みを設定することが可能となり品質の高いノイズ低減画像生成処理が実現される。
【図面の簡単な説明】
【００２４】
【図１】ノイズ低減画像の生成処理を行う画像処理装置の構成例について説明する図である。
【図２】ノイズ低減画像の生成処理例について説明する図である。
【図３】ノイズ低減画像の生成処理のシーケンスについて説明するフローチャートを示す図である。
【図４】加算判定部の詳細構成例について説明する図である。
【図５】加算判定部のノイズ推定部が保持している画素値対ノイズ量のテーブルであるノイズ判定テーブルの例について説明する図である。
【図６】画素加算判定部の詳細構成例について説明する図である。
【図７】加算処理部の構成例について説明する図である。
【図８】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図９】本発明の一実施例に係る画像処理装置の加算判定部の構成例について説明する図である。
【図１０】加算判定部内に設定される第１動き領域検出部３１１の構成例および処理例について説明する図である。
【図１１】画素値（輝度値）差分の分散に基づく判定処理について説明する図である。
【図１２】加算判定部内に設定される第１動き領域検出部３１１における領域判定処理の一シーケンス例について説明するフローチャートを示す図である。
【図１３】加算判定部内に設定される第１動き領域検出部３１１における領域判定処理の一シーケンス例について説明するフローチャートを示す図である。
【図１４】加算判定部内に設定される第２動き領域検出部３１２の構成例および処理例について説明する図である。
【図１５】第２動き領域検出部内の３１２の背景／動被写体判定部５０９の実行する処理の概要について説明する図である。
【図１６】第２動き領域検出部内の３１２の背景／動被写体判定部５０９の実行する処理について説明する図である。
【図１７】第２動き領域検出部内の３１２の背景／動被写体判定部５０９の詳細構成と処理について説明する図である。
【図１８】加算判定部３０４の制御マップ生成部３１３の実行する処理について説明する図である。
【図１９】加算判定部３０４の制御マップ生成部３１３の実行する処理について説明するフローチャートを示す図である。
【図２０】ノイズ判定テーブルの具体例について説明する図である。
【図２１】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下、下記の項目に従って、順次説明する。
（１）ノイズ低減画像を生成する画像処理装置の基本構成
（１ａ）ノイズ低減画像を生成する画像処理装置の構成および処理について
（１ｂ）加算判定部および加算処理部の構成および処理について
（２）高精度な動き領域の検出情報を適用してノイズ低減画像を生成する本発明の画像処理装置の実施例について
（２ａ）画像処理装置の全体構成について
（２ｂ）加算判定部の構成について
（２ｂ−１）第１動き領域検出部（フラットマップ生成部）の構成と処理について
（２ｂ−２）第２動き領域検出部（ヒットマップ生成部）の構成と処理について
（２ｂ−３）制御マップ生成部の構成と処理について
（２ｂ−４）ノイズ判定テーブル生成部の構成と処理について
（２ｂ−５）加算判定処理実行部の構成と処理について
（２ｃ）加算処理部の処理について
（３）本発明の画像処理装置のノイズ低減効果について
（４）画像処理装置のハードウェア構成例
【００２６】
＜（１）ノイズ低減画像を生成する画像処理装置の基本構成＞
［（１ａ）ノイズ低減画像を生成する画像処理装置の構成および処理について］
まず、複数の画像を適用した画像合成処理によりノイズ低減画像を生成する画像処理装置の基本的な構成例について図１以下を参照して説明する。
【００２７】
図１は、複数の画像を適用した画像合成処理によるノイズ低減画像生成処理を行う画像処理装置の構成を示す図である。なお、この図１に示す画像処理装置は、本出願人と同一出願人の先の特許出願（特願２００７−１３６１８４号）に記載された画像処理装置とほぼ同様の構成である。本発明は、この先の特許出願（特願２００７−１３６１８４号）に記載された画像処理装置の構成をベースとして改良を行い、高品質名ノイズ低減画像の生成を実現するものである。本発明の画像処理装置の実施例については項目（２）以下において説明するが、まず、そのベースとなる画像処理装置の構成および処理について項目（１）において説明する。
【００２８】
図１に示す画像処理装置１０は、単独の画像処理装置として設定可能であるが、例えばカメラやＰＣや画像表示装置の内部の一構成要素としても設定可能である。
【００２９】
以下においては、図１に示す画像処理装置１０がカメラ内部に備えられ、連続撮影される画像がフレームメモリ１１に対する入力画像として順次格納されるものとして説明する。画像処理装置１０は、フレームメモリ１１、動き予測処理部１２、動き補償処理部１３、加算判定部１４、加算処理部１５を有する。フレームメモリ１１には、撮影画像が入力画像として順次格納される。
【００３０】
入力画像はノイズを含む画像であり、図１に示す画像処理装置１０は、この入力画像からのノイズ低減を行い、最終的に図１に示す加算処理部１５の出力としてノイズ低減画像（ＮＲ画像）を出力する。
【００３１】
動き予測処理部１２には、フレームメモリ１１から基準画像および参照画像が入力される。なお、基準画像はノイズ低減処理の対象とする画像であり、参照画像は、基準画像のノイズ低減処理に適用するための画像である。例えば基準画像と参照画像とから動きベクトルが求められる。なお、基準画像に対するノイズ低減処理は、複数の連続撮影された参照画像を適用して行われる。
【００３２】
例えば１つの基準画像と１つの参照画像を適用して生成されたノイズ低減画像がフレームメモリ１１に再格納され、このノイズ低減画像が新たな基準画像として、次の第２の参照画像を適用してさらなるノイズ低減処理がなされる。なお、具体的処理例については、図２を参照して後段で説明する。
【００３３】
動き予測処理部１２は、フレームメモリ１１から基準画像および参照画像を適用して動きベクトルを算出する。例えば１つの画像フレームを区分した小領域（ブロック）単位で、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを出力する。動きベクトルＭＶは基準画像と参照画像間の画像の動きを示すベクトルである。なお動きベクトルは平行移動のみならず拡縮、回転等の情報を含むベクトルとして設定可能である。
【００３４】
動きベクトルＭＶの検出においては、例えばブロックマッチング法を適用することができる。ブロックマッチング法は、前記の小領域（ブロック）内の画素値の絶対差分値（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出して、絶対差分値（ＳＡＤ）の小さいブロックの組を対応ブロックであると推定する処理である。２つの画像の対応ブロック間を結ぶベクトルを動きベクトルとして決定することができる。
【００３５】
動き補償処理部１３は、動き予測処理部１２の生成した動きベクトルＭＶを適用して基準画像または参照画像の動き補償を行い、動き補償画像（ＭＣ画）を生成する。すなわち、基準画像の被写体位置と参照画像の被写体位置を合わせるように基準画像または参照画像を移動させた動き補償画像（ＭＣ画）を生成する。動き補償処理部１３の生成した動き補償画像（ＭＣ画）は、加算判定部１４および加算処理部１５に供給される。
【００３６】
加算判定部１４は、動き補償処理部１３の生成した動き補償画像（ＭＣ画）と基準画像、およびノイズ量推定に用いる撮影条件情報を入力する。撮影条件情報は例えばカメラ内部のマイコンから供給され、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。
【００３７】
加算判定部１４は、加算処理部１５で使用される加算重みを画素単位で生成する。例えば参照画像を移動させて基準画像の位置に併せた動き補償画像（ＭＣ画）を生成して合成処理を行う場合、加算重みは、基準画像の各画素に対して加算平均する動き補償画像（ＭＣ画）の各画素の加算重みとなる。正しい位置合わせが行われ、動き補償画像（ＭＣ画）の画素位置と基準画像の対応画素が同一被写体の同一領域であれば、加算重みを大きく設定することが可能となる。しかし、例えば撮影画像に人や車などの動く被写体が含まれる場合、それらの領域では、動き補償画像（ＭＣ画）の画素位置と基準画像の対応画素が同一被写体の同一領域とならず、このような画素領域では、加算重みを小さくすることが好ましい。このように、加算重みは、動き補償画像（ＭＣ画）の各画素の信頼度に対応した値として設定されることが好ましい。
【００３８】
すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、基準画像の特定画素に対応する同一被写体部分であると判断される動き補償画像（ＭＣ画）の画素の加算重みを大きくした画像合成処理により、ノイズを低減させた画像を生成することができる。
【００３９】
加算判定部１４は基準画像と動き補償画像（ＭＣ画）の間で行われた動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定として動き補償画像（ＭＣ画）の加算比率を高めた加算重みを算出する。加算判定部１４は動き補償画像（ＭＣ画）の画素単位での加算重みを決定する。
【００４０】
例えば、異なる時間で撮影した２つの画像の同一物体の同一部分を撮影した画素同士の加算処理が行われれば、加算により時間に無相関なノイズを低減できる。このように２つの画像の同一物体の同一部分の対応の確信度が高いほど信頼度が高いと言える。信頼度は、言い換えると、同一の画像に対してノイズが重畳されているのか、または異なる画像に対してノイズが重畳されているのかを表しており、可能な限りノイズ量のみに対応して加算重みが形成されることが高精度のノイズ軽減処理にとって必要とされる。加算判定部１４の生成する加算重みは、例えば信頼度が低いと０、信頼度が高いと１の値を持つ設定とされる。
【００４１】
加算処理部１５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算した加算重みを適用して加算する処理を行う。加算処理部１５は、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。
【００４２】
加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果は、フレームメモリ１１に格納される。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行われる。例えば、予め規定された回数の処理が繰り返された後、加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果がノイズ低減画像（ＮＲ画像）として出力される。
【００４３】
図１に示す画像処理装置を適用した具体的処理例について図２を参照して説明する。図２の最上段に示す４つの画像、基準画像ａ、参照画像Ａ〜Ｃは、カメラの連続撮影画像である。時間的には、基準画像ａが先行し、その後に参照画像Ａ〜Ｃが続けて撮影されている。なお、図２に示す例は、基準画像が先行撮影画像であり、参照画像が後続撮影画像であるが、この逆の設定、すなわち、基準画像を時間的に後で撮影された画像とし、参照画像を先行して撮影された複数の画像とする設定としてもよい。
【００４４】
図２に示す例において、まず、基準画像ａ１１と次の撮影画像である参照画像Ａを適用して処理が行われる。
ステップＳ１１において、基準画像ａ１１と参照画像Ａ２１を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して動き補償画像（ＭＣ画）を生成する。
【００４５】
例えば参照画像Ａ２１のブロックと基準画像ａ１１の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルＭＶを生成する。この処理は、図１に示す動き予測処理部１２の処理である。動き予測処理部１２はフレームメモリ１１から基準画像ａ１１および参照画像Ａ２１を取得して実行する。さらに、動き補償処理部１３が動きベクトルＭＶを適用して参照画像に対する動き補償を行い、動き補償画像（ＭＣ画）２２を生成する。
【００４６】
次に、ステップＳ１２において、基準画像ａ１１と、動き補償画像（ＭＣ画）２２とを比較して、画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行う。すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、動き補償の正しい画素の信頼度を高い設定として動き補償画像（ＭＣ画）２２の加算比率を高めた加算重みを算出する。この重みの値を画素単位で示したマップが図２に示す加算判定マップ２３である。このステップＳ１２の処理は、図１に示す加算判定部１４の実行する処理である。
【００４７】
その後、ステップＳ１３において、基準画像ａ１１と動き補償画像（ＭＣ画）２２とを対応画素ごとに計算された加算重み（加算判定マップ２３）を適用して加算する処理を行う。この処理は、図１に示す加算処理部１５の処理として実行される。この加算処理によって生成される画像（基準画＋ＭＣ画）が図２の最下段に示す基準画像ｂ２４である。
【００４８】
この基準画像ｂ２４は、フレームメモリ１１に格納され、さらに、参照画像Ａ２１の次のタイミングで撮影された画像である参照画像Ｂ３１と組み合わせて、ステップＳ１４〜Ｓ１６の処理が行われる。ステップＳ１４〜Ｓ１６の処理はステップＳ１１〜Ｓ１３の処理と同様の処理である。
【００４９】
すなわち、ステップＳ１４において、基準画像ｂ２４と参照画像Ｂ３１を適用して動き補償画像（ＭＣ画）３２を生成する。
ステップ１５において、基準画像ｂ２４と、動き補償画像（ＭＣ画）３２を適用して加算判定マップ３３を生成する。
ステップＳ１６において、基準画像ｂ２４と動き補償画像（ＭＣ画）３２とを加算判定マップ３３を適用して加算して基準画＋ＭＣ画である基準画像ｃ３４を生成する。
【００５０】
この基準画像ｃ３４は、フレームメモリ１１に格納され、さらに、参照画像Ｂ３１の次のタイミングで撮影された画像である参照画像Ｃ４１と組み合わせて、ステップＳ１７〜Ｓ１９の処理が行われる。ステップＳ１７〜Ｓ１９の処理もステップＳ１１〜Ｓ１３の処理と同様の処理である。
【００５１】
すなわち、ステップＳ１７において、基準画像ｃ３４と参照画像Ｃ４１を適用して動き補償画像（ＭＣ画）４２を生成する。
ステップ１８において、基準画像ｃ３４と、動き補償画像（ＭＣ画）４２を適用して加算判定マップ４３を生成する。
ステップＳ１９において、基準画像ｃ３４と動き補償画像（ＭＣ画）４２とを加算判定マップ４３を適用して加算して基準画＋ＭＣ画であるノイズ低減画像（ＮＲ画像）４４を生成する。
【００５２】
図２に示す処理例は、３枚の参照画像Ａ〜Ｃを適用してノイズ低減画像（ＮＲ画像）４４を生成する構成であるが、これは一例であり、さらに多くの参照画像を繰り返し適用してステップＳ１１〜Ｓ１３と同じ処理を繰り返してもよい。
【００５３】
図１に示す画像処理装置の実行するノイズ低減画像（ＮＲ画）の生成シーケンスについて図３に示すフローチャートを参照して説明する。図３に示すフローのステップＳ５１〜Ｓ５３の処理の各々は、図２に示すステップＳ１１〜Ｓ１３に対応する処理である。
【００５４】
まず、ステップＳ５１において、基準画像と参照画像を適用して動きベクトルＭＶを算出し、算出した動きベクトルＭＶを適用して参照画像の動き補償処理により動き補償画像（ＭＣ画）を生成する。
【００５５】
次に、ステップＳ５２において、基準画像と、動き補償画像（ＭＣ画）とを比較して、画素単位の加算の信頼度を表す加算重みを算出する加算判定処理を行い、加算判定マップを生成する。
【００５６】
その後、ステップＳ５３において、加算判定マップに従って基準画像と動き補償画像（ＭＣ画）を対応画素ごとに加算する処理を行う。この加算処理によって、図２に示す基準画＋ＭＣ画に相当する基準画像またはノイズ低減画像（ＮＲ画像）が生成される。
【００５７】
ステップＳ５３の処理の後、ステップＳ５４に進む。ステップＳ５４では、さらに処理可能な参照画像が存在するか否かを判定する。処理可能な参照画像とは、例えば基準画像と同じ被写体を含み異なるタイミングで撮影した画像である。具体的には例えば連続撮影された画像である。処理可能な参照画像が存在する場合は、ステップＳ５１に戻り、その参照画像と、ステップＳ５３において生成した基準画＋ＭＣ画に相当する基準画像を適用してステップＳ５１〜Ｓ５３の処理を繰り返す。
【００５８】
ステップＳ５４において、処理可能な参照画像が存在しないと判定した場合は、最終的にステップＳ５３において生成した加算画像をノイズ低減画像（ＮＲ画像）として出力する。
【００５９】
［（１ｂ）加算判定部および加算処理部の構成および処理について］
次に、図１に示す画像処理装置１０内の加算判定部１４と加算処理部１５の詳細構成および処理について図４以下を参照して説明する。
【００６０】
まず、図１に示す画像処理装置１０内の加算判定部１４の詳細構成および処理について図４を参照して説明する。図４は、加算判定部１４の一構成例を示す図である。加算判定部１４は、図４に示すように輝度信号Ｙと、二つの色差信号Ｃｂ，Ｃｒとのそれぞれに対応するほぼ同様の判定処理構成を有する。図４に示す（ａ）輝度信号Ｙ判定部、（ｂ）色差信号Ｃｂ判定部、（ｃ）色差信号Ｃｒ判定部である。
【００６１】
まず、図４（ａ）に示す輝度信号Ｙに関する判定部の構成について最初に説明する。基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データがフィルタ１１１および１１２を介して画素値差分算出部１１３に供給され、画素値の差が演算され、差分絶対値が算出される。フィルタ１１１および１１２は、画像中の高周波成分をカットし加算判定の効果を向上させる。画素値差分算出部１１３は基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データの差分絶対値を算出して画素加算判定部１１６に供給する。
【００６２】
画素加算判定部１１６には、ノイズ推定部１１０の出力信号が供給される。ノイズ推定部１１０には、基準画像の輝度信号Ｙがフィルタ１１１を介して入力され、画素値に対応したノイズ量を推定する。さらに、ノイズ推定部１１０は画像中のノイズ量に影響を与える撮影モードや露光時間、ゲイン情報といった撮影条件情報を外部から入力する。ノイズ推定部１１０は予め各条件で測定した輝度値とノイズ量の関係のデータをテーブルとして有する。ノイズ推定部１１０はこのテーブルから、該当条件の輝度値とノイズ量の関係を求め、入力した輝度値に対応するノイズ量を画素加算判定部１１６、移動平均加算判定部１１７、移動分散加算判定部１１８に出力する。
【００６３】
例えば露光時間が長くなると、ランダムノイズが増加する傾向がある。また、撮像信号を増幅するゲインが大きくなると、ランダムノイズが増加する傾向がある。したがって、撮影条件としてシャッター速度および／またはゲインの情報を使用し、予めシャッター速度および／またはゲインのそれぞれに対応して画素値とノイズ量とのテーブルを作成して用意しておく。さらに、撮像装置が備えている撮影モードを撮影条件として使用しても良い。なお、撮影条件は、例えばフレームごとに設定される。
【００６４】
図５は、ノイズ推定部１１０が保持している画素値対ノイズ量の対応関係を示すテーブルであるノイズ判定テーブルの例を示す図である。異なる撮影条件１〜撮影条件Ｎまで、複数の異なる撮影条件に応じた画素値とノイズ量の関係を規定している。ノイズ推定部１１０は、画像中のノイズ量に影響を与える撮影モード、シャッター速度（露光時間）、ゲイン等を撮影条件情報としてカメラ制御部から入力し、予め各撮影条件で測定した輝度値とノイズ量の関係のデータから、該当条件の輝度値とノイズ量の関係を求め、該当撮影条件での入力輝度値に対応するノイズ量を出力する。
【００６５】
ノイズ推定部１１０からのノイズ量と画素値差分算出部１１３からの画素値（輝度）の差分絶対値とが画素加算判定部１１６に供給される。差分絶対値が画素加算判定部１１６に対する入力指標値である。画素加算判定部１１６が指標値に対応する加算の信頼度である加算重みを出力する。
【００６６】
図６（ａ）に画素加算判定部の一例を示す。輝度Ｙに対応する画素加算判定部１１６は、ノイズ推定部１１０から入力するノイズ量を判定閾値へ変換するノイズ量／判定閾値変換部２０１と判定曲線生成部２０２と加算判定部２０３からなる。ノイズ量／判定閾値変換部２０１は、視覚特性に基づき決定されたテーブルを用いてノイズ量を判定閾値に変換し、判定閾値を出力する。判定閾値に応じて判定曲線の形状が決定される。判定曲線は、誤差量を表す入力指標値と、誤差に対する信頼度を表す加算重みとの対応を表す判定曲線の形状を現す。
【００６７】
図６（ｂ）に使用可能な判定曲線のいくつかの例を示す。各曲線を示すグラフの横軸が入力指標値であり、縦軸が指標値に対する加算重みを示す。各曲線において、加算重みが１から変化する指標値の値と、加算重みが０なる指標値の値とが判定閾値である。判定閾値の大きさがノイズ量に応じた値とされる。ノイズ量が多いと、判定閾値がより大きな指標値とされる。
【００６８】
判定曲線生成部２０２は、ノイズ量／判定閾値変換部２０１の出力である判定閾値を用いて、判定曲線を決定し出力する。判定曲線は、例えばテーブルとして構成されてメモリに格納される。この判定曲線を用いて加算判定部２０３が指標値を入力し、その指標値に対応する加算重みを出力する。この加算重みが画素加算判定部１１６から乗算器１１９に供給される。画素加算判定部１１６の一連の変換、計算および判定は、画素単位に画素値に応じたノイズ量を用いて生成する判定曲線を用いるので、画素単位で行われる。
【００６９】
図６（ｂ）に示す判定曲線の一例は、判定閾値１までの指標値に対しては出力（指標値に対する加算重み）が１であり、判定閾値１から判定閾値２までの間では、指標値に対して加算重みが徐々に０に向かって減少する。判定閾値１および判定閾値２によって、判定曲線の形状が規定される。ノイズ量が多いと、判定閾値１および判定閾値２に対応する指標値が大きな値とされる。図６（ｂ）に示す判定曲線によって、入力指標値が対応する加算重みに変換されて出力される。
【００７０】
画素加算判定部１１６から出力される加算重みが乗算器１１９に供給され、輝度信号の移動平均に関して、上述した画素差分絶対値と同様に求めた加算重みと乗算される。乗算器１１９の出力が乗算器１２０に供給され、輝度信号の移動分散に関して、上述した画素差分絶対値と同様に求めた加算重みと乗算される。さらに、乗算器１２０の出力が乗算器１７２に供給され、色信号の画素、移動平均および移動分散に関して求めた加算重みと乗算される。乗算器１７２の出力に加算判定部１４の生成した加算重みが取り出される。この加算重みが加算処理部１５に供給される。
【００７１】
次に、指標値が輝度信号の移動平均差分絶対値および移動分散差分絶対値の場合について説明する。図４に示すように、基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データがフィルタ１１１および１１２を介して移動平均差分算出部１１４、移動分散差分算出部１１５に供給される。
【００７２】
移動平均差分算出部１１４は、計算する画素（中心画素）を中心とする矩形領域例えば（５×５）画素の領域内の画素値の移動平均の差分を計算する。まず、基準画像および動き補償画像（ＭＣ画）各々について中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動平均の演算を行う。その後、各画像の対応画素毎に移動平均の差分を算出する。
【００７３】
移動分散差分算出部１１５は、計算する画素（中心画素）を中心とする矩形領域の領域内の画素値の分散を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動分散の演算を行う。その後、各画像の対応画素毎に移動分散の差分を算出する。
【００７４】
移動平均および移動分散に関して加算重みを求めるのは、ノイズ量の減少をより正確に行うためである。例えば複数画素の領域の移動平均または移動分散が異なっている時には、画素値の差分絶対値をノイズと判定するよりも、画像が相違しているものと判定する方がより正しい場合が多いからである。
【００７５】
移動平均差分算出部１１４は移動平均の差信号の絶対値を出力し、移動分散差分算出部１１５は移動分散の差信号の絶対値を出力する。それぞれの差の絶対値が移動平均加算判定部１１７、および移動分散加算判定部１１８に供給される。
【００７６】
移動平均加算判定部１１７および移動分散加算判定部１１８には、ノイズ推定部１１０の出力信号が供給される。移動平均加算判定部１１７および移動分散加算判定部１１８は、それぞれ画素加算判定部１１６（図６（ａ）参照）と同様の構成とされ、ノイズ量を変換した判定閾値により判定曲線（テーブル）を生成する。この判定曲線の指標値として、移動平均差分絶対値および移動分散差分絶対値を与えることによって、加算重みが求められる。輝度信号の移動平均加算判定部１１７からの加算重みが乗算器１１９に供給され、画素加算判定部１１６の出力と乗算される。乗算結果は、さらに輝度信号の移動分散加算判定部１１８からの加算重みと乗算器１２０において乗算される。
【００７７】
以上が輝度信号の画素差分絶対値、移動平均差分絶対値、および移動分散差分絶対値をそれぞれ指標値として加算重みを求める処理である。色信号に関しても同様に、加算重みが求められる。コンポーネントカラービデオ信号の場合、（４：２：０）、（４：２：２）、（４：１：１）のように、輝度信号Ｙに関するサンプリング周波数と、色差信号Ｃｂに関するサンプリング周波数と、色差信号Ｃｒに関するサンプリング周波数との比が表される。色差信号ＣｂおよびＣｒのそれぞれに関して、上述した輝度信号Ｙと同様に、加算重みが求められる。
【００７８】
輝度信号と色差信号Ｃｂ，Ｃｒとは、画像上の同一の領域に関して加算重みの生成処理が行われる。上述したサンプリング周波数の比から分かるように、輝度信号Ｙに関して求められた加算重みに比して色差信号Ｃｒ，Ｃｂに関して求められた加算重みの数が不足する。この問題を解決するために、補間を行うアップサンプリング処理部１７１が設けられ、アップサンプリング処理部１７１からの色差信号に関する加算重みが乗算器１７２に供給され、輝度信号に関する加算重みと乗算される。
【００７９】
色差信号Ｃｂに関する処理について説明する。基準画像の色差信号Ｃｂがフィルタ１３１を介してノイズ推定部１３０に供給される。ノイズ推定部１３０に撮影条件情報が供給される。ノイズ推定部１３０は、輝度信号に関するノイズ推定部１１０と同様に各撮影条件に応じた画素値とノイズ量との関係を示すテーブルによって基準画像の色差信号Ｃｂに対応するノイズ量の推定値を算出する。ノイズ推定部１３０はノイズ量の推定値を画素加算判定部１３６、移動平均加算判定部１３７、移動分散加算判定部１３８に対して出力する。
【００８０】
基準画像の色差信号Ｃｂおよび動き補償画像（ＭＣ画）の色差信号Ｃｂがそれぞれフィルタ１３１および１３２を介して画素値差分算出部１３３に供給され、画素値の差が演算され、差分絶対値が算出される。画素値差分算出部１３３は基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データの差分絶対値を算出して画素加算判定部１３６に供給する。
【００８１】
画素加算判定部１３６は、輝度Ｙに対応する画素加算判定部１１６の構成として説明した図６と同様の構成である。ノイズ推定部１３０から入力するノイズ量を判定閾値へ変換するノイズ量／判定閾値変換部２０１と判定曲線生成部２０２と加算判定部２０３からなる。例えば図６（ｂ）に示す判定曲線によって、入力指標値が対応する加算重みに変換されて出力される。画素加算判定部１３６は、指標値（画素差分絶対値）に対応する加算の信頼度である加算重みを出力する。
【００８２】
次に、指標値が色差信号Ｃｂの移動平均差分絶対値および移動分散差分絶対値の場合について説明する。基準画像および動き補償画像（ＭＣ画）の空間的に同一位置の画素データがフィルタ１３１および１３２を介して移動平均差分算出部１３４、移動分散差分算出部１３５に供給される。
【００８３】
移動平均差分算出部１３４は、計算する画素（中心画素）を中心とする矩形領域例えば（５×５）画素の領域内の画素値の移動平均の差分を計算する。まず、基準画像および動き補償画像（ＭＣ画）各々について中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動平均の演算を行う。その後、各画像の対応画素毎に移動平均の差分を算出する。
【００８４】
移動分散差分算出部１３５は、計算する画素（中心画素）を中心とする矩形領域の領域内の画素値の分散を計算する。中心画素の移動に応じ、矩形領域を前画素の計算領域とオーバーラップさせながらずらして移動分散の演算を行う。その後、各画像の対応画素毎に移動分散の差分を算出する。
【００８５】
移動平均および移動分散に関して加算重みを求めるのは、ノイズ量の減少をより正確に行うためである。移動平均差分算出部１３４は移動平均の差信号の絶対値を出力し、移動分散差分算出部１３５は移動分散の差信号の絶対値を出力する。それぞれの差の絶対値が移動平均加算判定部１３７、および移動分散加算判定部１３８に供給される。
【００８６】
移動平均加算判定部１３７および移動分散加算判定部１３８には、ノイズ推定部１３０の出力信号が供給される。移動平均加算判定部１３７および移動分散加算判定部１３８は、それぞれ画素加算判定部１３６（図６（ａ）参照）と同様の構成とされ、ノイズ量を変換した判定閾値により判定曲線（テーブル）を生成する。この判定曲線の指標値として、移動平均差分絶対値および移動分散差分絶対値を与えることによって、加算重みが求められる。色差信号Ｃｂの移動平均加算判定部１３７からの加算重みが乗算器１３９に供給され、色差信号Ｃｂの画素加算判定部１１６の出力と乗算される。乗算結果は、さらに色差信号Ｃｂの移動分散加算判定部１３８からの加算重みと乗算器１４０において乗算される。
【００８７】
他の色差信号Ｃｒに関しても上述した色差信号Ｃｂと同様の構成が設けられている。すなわち、フィルタ１５１，１５２、ノイズ推定部１５０、画素値差分算出部１５３、画素加算判定部１５６によって、色差信号Ｃｒの画素差分絶対値を指標値とする加算重みが求められる。色差信号Ｃｒの移動平均差分絶対値を指標値とする加算重みは、フィルタ１５１，１５２、ノイズ推定部１５０、移動平均差分算出部１５４、移動平均加算判定部１５７によって求められる。色差信号Ｃｒの移動分散差分絶対値を指標値とする加算重みは、フィルタ１５１，１５２、ノイズ推定部１５０、移動分散差分算出部１５５、移動平均加算判定部１５８によって求められる。
【００８８】
画素差分絶対値を指標値とする加算重みと、移動平均差分絶対値を指標値とする加算重みとが乗算器１５９にて乗算され、乗算器１５９の出力と、移動分散差分絶対値を指標値とする加算重みとが乗算器１６０にて乗算される。乗算器１６０から出力される色差信号Ｃｒに関する加算重みと、上述した色差信号Ｃｂに関する加算重みとが乗算器１４１にて乗算される。乗算器１４１の出力がアップサンプリング処理部１７１に供給される。アップサンプリング処理部１７１は、色差フォーマットに応じて色差の加算重みを補間し、点数を輝度加算重みに揃える。アップサンプリング処理部１７１の出力と乗算器１２０の出力が乗算器１７２にて乗算される。乗算器１７２の出力が注目する画素の最終的な信頼度を示す加算重みである。加算重みは、輝度画素、輝度移動平均、輝度移動分散、色差画素、色差移動平均、色差移動分散のそれぞれの信頼度を表し、それぞれ０から１の連続値で表される。
【００８９】
次に、図１に示す画像処理装置１０内の加算処理部１５の詳細構成および処理について図７を参照して説明する。加算処理部１５には、動き補償画像（ＭＣ画）、基準画像、さらに、加算判定部１４から加算重み情報が入力される。
【００９０】
乗算器２５１によって加算処理部１５の出力である加算重みに対して帰還係数（ｗ）を乗じる。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均での動き補償画像（ＭＣ画）に対する重みが０〜１／３で変化することになる。
【００９１】
乗算器２５１から出力される係数（αで表す）が乗算器２５２に供給され、動き補償画像（ＭＣ画）に乗じられる。
さらに、係数αは、減算器２５３に供給され、（１−α）が生成され、（１−α）が乗算器２５４に供給され、基準画像（Ｃｕｒ画）に乗じられる。
乗算器２５２および乗算器２５４の出力が加算器２５５によって加算され、加算器２５５からノイズ低減画像（ＮＲ画）が出力される。
【００９２】
加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果としてのノイズ低減画像（ＮＲ画）は、さらにフレームメモリ１１に格納してもよい。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行うことが可能である。
【００９３】
例えば、予め規定された回数の処理を繰り返した後、加算処理部１５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果を最終的なノイズ低減画像（ＮＲ画像）として出力することが可能である。
【００９４】
しかし、例えば画像内に背景とは異なる動きを示す移動体としての車や人などの移動オブジェクトが存在する場合、これらの移動オブジェクトは、動き予測処理部１２において算出した動きベクトルとは異なる動きを示す場合がある。すなわち、動き予測処理部１２において生成した動きベクトルに一致しない動きを示す画像領域が発生する。このような領域を動き推定（ＭＥ）失敗領域と呼ぶ。一方、動き予測処理部１２において生成した動きベクトルに一致した動きを示す画像領域を動き推定（ＭＥ）成功領域と呼ぶ。動き推定（ＭＥ）失敗領域が含まれると、正確な動き補償画像（ＭＣ画）が生成されない。
【００９５】
加算判定部は、基準画像と動き補償画像（ＭＣ画）との対応画素の比較処理、たとえば画素値差分を算出するが、動き推定（ＭＥ）失敗領域ではこの画素差分が大きな値となる。しかし、上記の項目（１ａ），（１ｂ）において説明した加算判定部１４の処理では、この差分が動き推定（ＭＥ）失敗による不正確な（劣化した）動き補償画像（ＭＣ画）に起因して発生した差分であるのか、強いノイズのよる差分か判別できない。このような場合、誤った加算重みを出力してしまい結果として十分にノイズの低減されないノイズ低減画像が生成されてしまう場合がある。
【００９６】
＜（２）高精度な動き領域の検出情報を適用してノイズ低減画像を生成する本発明の画像処理装置の実施例について＞
以下、このような問題を解決し、動き領域を検出して基準画像と動き補償画像（ＭＣ画）の誤った対応画素の加算処理を防止して高品質なノイズ低減画像を生成する本発明の一実施例に従った画像処理装置の構成について説明する。
【００９７】
［（２ａ）画像処理装置の全体構成について］
本発明の一実施例に従った画像処理装置の全体構成例を図８に示す。図８に示すように、本発明の一実施例に従った画像処理装置３００の全体構成は、先に説明した図１に示す構成とほぼ同様の構成を有する。すなわち、画像処理装置３００は、図８に示すように、フレームメモリ３０１、動き予測処理部３０２、動き補償処理部３０３、加算判定部３０４、加算処理部３０５を有する。フレームメモリ３０１には、撮影画像が入力画像として順次格納される。
【００９８】
入力画像はノイズを含む画像であり、図８に示す画像処理装置３００は、この入力画像からのノイズ低減を行い、最終的に図８に示す加算処理部３０５の出力としてノイズ低減画像（ＮＲ画像）を出力する。
【００９９】
本発明の画像処理装置３００のフレームメモリ３０１、動き予測処理部３０２、動き補償処理部３０３、および、加算処理部３０５の構成および処理は、先に図１〜図７を参照して説明した同様の構成を有し、同様の処理を行う。ただし、加算判定部３０４は、先に図１〜図７を参照して説明した構成および処理とは異なるものとなる。
【０１００】
動き予測処理部３０２には、フレームメモリ３０１から基準画像および参照画像が入力される。なお、基準画像はノイズ低減処理の対象とする画像であり、参照画像は、基準画像のノイズ低減処理に適用するための画像である。例えば基準画像と参照画像とから動きベクトルが求められる。なお、基準画像に対するノイズ低減処理は、複数の連続撮影された参照画像を適用して行われる。
【０１０１】
例えば１つの基準画像と１つの参照画像を適用して生成されたノイズ低減画像がフレームメモリ１１に再格納され、このノイズ低減画像が新たな基準画像として、次の第２の参照画像を適用してさらなるノイズ低減処理がなされる。
【０１０２】
動き補償処理部３０３は、動き予測処理部３０２の生成した動きベクトルＭＶを適用して基準画像または参照画像の動き補償を行い、動き補償画像（ＭＣ画）を生成する。すなわち、基準画像の被写体位置と参照画像の被写体位置を合わせるように基準画像または参照画像を移動させた動き補償画像（ＭＣ画）を生成する。動き補償処理部３０３の生成した動き補償画像（ＭＣ画）は、加算判定部３０４および加算処理部３０５に供給される。なお、動き補償画像（ＭＣ画）は基準画像を移動させて生成しても、参照画像を移動させて生成してもよいが、以下の実施例では、参照画像を移動させて動き補償画像（ＭＣ画）を生成する処理例について説明する。
【０１０３】
加算判定部３０４は、動き補償処理部３０３の生成した動き補償画像（ＭＣ画）と基準画像、およびノイズ量推定に用いる撮影条件情報を入力する。これは、例えばカメラ内部のマイコンから供給され、入力画像（撮影画像）に対応する撮影モード、露光時間、ゲイン等の情報が含まれる。
【０１０４】
加算判定部３０４は、加算処理部３０５で使用される加算重みを画素単位で生成する。加算重みは、基準画像に対する動き補償画像（ＭＣ画）の加算重みであり、動き補償画像（ＭＣ画）の各画素の信頼度を表す。すなわち、基準画像と動き補償画像（ＭＣ画）の間で、動き補償の正しさを判定し、基準画像と動き補償画像（ＭＣ画）とを加算した際に劣化を生じさせずに、ノイズを低減させるような画素を信頼度が高いとする。
【０１０５】
本発明の画像処理装置における加算判定部３０４は、動き領域についての検出処理を厳格に実行し、その結果得られる動き領域検出結果を用いて基準画像に加算される動き補償画像（ＭＣ）の対応画素の信頼度をより厳格に検証する。
【０１０６】
具体的には、加算判定部３０４は、動き領域検出情報として、
（ａ）基準画像と動き補償画像の画素差分情報に基づいて算出する動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報［フラットマップ（Ｆｌａｔ−ｍａｐ）］、
（ｂ）グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）の比較処理による動き領域検出情報［ヒットマップ（Ｈｉｔ−ｍａｐ）］、
これらの２つの異なるアプローチによる動き領域の検出情報を統合した動き領域検出情報を生成する。
【０１０７】
上記の２つの異なるアプローチに基づいて得られる動き領域判定情報、すなわち画面全体の動き（グローバル動き）と異なる動きを持つ動被写体領域の検出情報を用いて、動き補償画像（ＭＣ）の画素の対応画素としての信頼度を求め、信頼度の高い動き補償画像（ＭＣ）の画素の加算重みを高くし、信頼度の低い動き補償画像（ＭＣ）の画素の加算重みを低く設定した加算重みを決定する。
【０１０８】
前述したように、異なる時間で撮影した２つの画像の同一物体の同一部分を撮影した画素同士の加算処理が行われれば、加算により時間に無相関なノイズを低減できる。しかし、動く被写体が含まれる場合、基準画像の画素に対応して選択された動き補償画像（ＭＣ）の画素は、基準画像とは異なる部分の画素となってしまう場合があり、このような画素同士の加算を行うとノイズの低減は実現されないことになる。
【０１０９】
本発明の画像処理装置では、このような誤った処理を防止するため、上記（ａ），（ｂ）の２つのと異なるアプローチによる動き領域判別処理を実行して、その結果に基づいて動き補償画像（ＭＣ）の画素の加算重みを決定する。
加算判定部３０４の生成する加算重みは、例えば信頼度が低いと０、信頼度が高いと１の値を持つ設定とされる。
【０１１０】
加算処理部３０５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。加算処理部３０５は、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。
【０１１１】
加算処理部３０５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果は、フレームメモリ３０１に格納される。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行われる。例えば、予め規定された回数の処理が繰り返された後、加算処理部３０５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果がノイズ低減画像（ＮＲ画像）として出力される。
【０１１２】
［（２ｂ）加算判定部の構成について］
本発明の画像処理装置３００における加算判定部３０４の具体的な一構成例を図９に示す。
図９に示すように、本発明の画像処理装置３００における加算判定部３０４は、
第１動き領域検出部（フラットマップ生成部）３１１、
第２動き領域検出部（ヒットマップ生成部）３１２、
制御マップ生成部３１３、
ノイズ判定テーブル生成部３１４、
加算判定処理実行部３１５、
これらの各処理部を有する。
【０１１３】
なお、加算判定部３０４の加算判定処理実行部３１５は、先に図４を参照して説明したと同様の構成を有し、図８に示す画像処理装置３００の加算処理部３０５で使用される加算重みを画素単位で生成して加算処理部３０５に出力する。加算重みは、前述したように基準画像に対する動き補償画像（ＭＣ画）の加算重みであり、動き補償画像（ＭＣ画）の各画素の信頼度を表す。
【０１１４】
第１動き領域検出部（フラットマップ生成部）３１１は、動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報［フラットマップ（Ｆｌａｔ−ｍａｐ）］を生成する。
第２動き領域検出部（ヒットマップ生成部）３１２は、グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）の比較処理による動き領域検出情報［ヒットマップ（Ｈｉｔ−ｍａｐ）］を生成する。
【０１１５】
制御マップ生成部３１３は、フラットマップとヒットマップ、これらの２つの異なるアプローチによる動き領域の検出情報を統合した動き領域検出情報を生成する。
ノイズ判定テーブル生成部３１４は、制御マップ生成部３１３の生成した動き領域情報に基づいて、ノイズ判定テーブルの補正を行う。なお、補正対象とするノイズ判定テーブルは、加算判定処理実行部３１４のノイズ推定部１１０（図４参照）の保持するノイズ判定テーブルである。
加算判定処理実行部３１５は、先に図４を参照して説明したと同様の構成を有し、ノイズ判定テーブル生成部３１４の生成したノイズ判定テーブルを利用して画素単位の加算重み（基準画像に対するＭＣ画像の加算重み）を算出する。すなわち、図８に示す画像処理装置３００の加算処理部３０５で使用される加算重みを画素単位で生成して加算処理部３０５に出力する。
【０１１６】
以下、図９に示す加算判定部３０４の各処理部の詳細構成および実行する処理について、順次説明する。
【０１１７】
［（２ｂ−１）第１動き領域検出部（フラットマップ生成部）の構成と処理について］
まず、第１動き領域検出部（フラットマップ生成部）３１１の詳細構成および実行する処理について説明する。
第１動き領域検出部（フラットマップ生成部）３１１は、動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報［フラットマップ（Ｆｌａｔ−ｍａｐ）］を生成する。
【０１１８】
第１動き領域検出部３１１の構成例および処理例について、図１０以下を参照して説明する。図１０は、第１動き領域検出部３１１の一構成例を示している。図１０に示す第１動き領域検出部３１１は、差分算出部３８０、分散値算出部３８１、平均値算出部３８２、中間値（ｍｅｄｉａｎ）算出部３８３、最頻値算出部３８４、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６、判定部３８７を有する。
【０１１９】
差分算出部３８０は、基準画像と動き補償画像（ＭＣ画）各々の対応する位置にある対応小領域（ブロック）の画素値情報を入力する。なお、基準画像と動き補償画像（ＭＣ画）各々の縮小画像を生成した後、その縮小画像に対して処理を行う構成としてもよい。また、実施例では各画像の輝度値（Ｙ）を入力する設定であるが、輝度値ではなく画素値を入力してもよい。
【０１２０】
ここでは、基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）を入力したものとして説明する。差分算出部３８０は、基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分を算出して、分散値算出部３８１、平均値算出部３８２、中間値（ｍｅｄｉａｎ）算出部３８３、最頻値算出部３８４、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６に出力する。
【０１２１】
分散値算出部３８１〜最小値（ｍｉｎ）算出部３８６の各々は、基準画像と動き補償画像（ＭＣ画）各々の対応する位置にある対応小領域（ブロック）が、（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する指標値、すなわち動き領域判定情報を出力する。
【０１２２】
従って、第１動き領域検出部３１１は、これら分散値算出部３８１〜最小値（ｍｉｎ）算出部３８６のいずれか１つのみを持つ構成としてもよく、また複数の処理部を持つ構成として、判定部３８７が複数の指標値を取得して総合的に判定を行う構成としてもよい。あるいは領域に応じて異なる処理部の指標値を選択的に適用して判定を行う構成としてもよい。
【０１２３】
判定部３８７の出力は、動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報［フラットマップ（Ｆｌａｔ−ｍａｐ）］となる。
フラットマップは、例えば複数画素からなる小領域（ブロック）単位で、各小領域（ブロック）が動き領域であるか否かを示す指標値（フラット値［Ｆｌａｔ］）を出力する。
例えばフラット値の範囲をＦｌａｔ＝０〜３とする。
Ｆｌａｔの値が小さいほど（０に近いほど）動き領域である可能性が高い、すなわち動き保証画像（ＭＣ画）の動き推定（ＭＥ）が失敗した領域であることを示し、
Ｆｌａｔの値が大きいほど（３に近いほど）動き領域でない可能性が高い、すなわち動き保証画像（ＭＣ画）の動き推定（ＭＥ）が成功した領域であることを示すものとする。
【０１２４】
まず、分散値算出部３８１の処理について説明する。分散値算出部３８１は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の分散を算出する。
【０１２５】
判定部３８７は、分散値算出部３８１の生成する差分の分散に基づいて、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する。
【０１２６】
図１１を参照して画素値（輝度値）差分の分散に基づく判定処理について説明する。図１１には、基準画像４０１、動き補償画像（ＭＣ画）４０２、およびこれらの各画像の輝度値差分からなる差分画像４０３を示している。
【０１２７】
差分画像４０３には、動き推定（ＭＥ）成功領域４１１、動き推定（ＭＥ）失敗領域４１２、これらの中間にある境界領域４１３を示している。さらに図１１には、これら各領域に対応する差分絶対値の分布データを示している。
【０１２８】
図に示す差分絶対値分布データから理解されるように、
動き推定（ＭＥ）成功領域４１１の差分絶対値分布データは、
平均がゼロ付近、
分散が小、
となり、分布が０付近に集中する。
このような動き推定（ＭＥ）成功領域４１１では、基準画像に対する動き補償画像（ＭＣ画）の加算重みを高くしてよいという結果が出力される。
具体的には、動き補償画像（ＭＣ画）の加算重みを高くしてよいというフラット値（Ｆｌａｔ＝３）を出力する。
【０１２９】
また、動き推定（ＭＥ）失敗領域４１２の差分絶対値分布データは、
平均がゼロ以外、
分散が小〜大、
となり、分布が０以外となる。
このような動き推定（ＭＥ）失敗領域４１２では、基準画像に対する動き補償画像（ＭＣ画）の加算重みを高くすべきでないという結果が出力される。
具体的には、動き補償画像（ＭＣ画）の加算重みを低くするというフラット値（Ｆｌａｔ＝０）を出力する。
【０１３０】
また、境界領域４１３の差分絶対値分布データは、
平均がゼロ付近、
分散が大、
となる。
このような動き推定（ＭＥ）境界領域４１３では、基準画像に対する動き補償画像（ＭＣ画）の加算重みを中程度にすべきであるという結果が出力される。
具体的には、動き補償画像（ＭＣ画）の加算重みを中程度とするというフラット値（Ｆｌａｔ＝１〜２）を出力する。
【０１３１】
判定部３８７では、これら３つの領域判定処理を予め設定した閾値との比較によって実行してブロック単位のフラット値を算出することができる。なお、その他の処理部からの指標値がある場合は、それらの値も考慮して最終的なブロック単位のフラット値を算出する。
【０１３２】
平均値算出部３８２は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域（ブロック）の構成画素の輝度値（Ｙ）差分の平均値を算出する。差分平均値の値は、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）境界領域ではその中間の値となる。
【０１３３】
判定部３８７は、平均値算出部３８２の算出した差分平均値と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、ブロック単位のフラット値を算出する。なお、その他の処理部からの指標値がある場合は、それらの値も考慮して最終的なブロック単位のフラット値を算出する。
【０１３４】
中間値（ｍｅｄｉａｎ）算出部３８３は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の中間値を算出する。差分中間値の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）境界領域ではその中間の値となる。
【０１３５】
判定部３８７は、中間値（ｍｅｄｉａｎ）算出部３８３の算出した差分中間値と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、ブロック単位のフラット値を算出する。なお、その他の処理部からの指標値がある場合は、それらの値も考慮して最終的なブロック単位のフラット値を算出する。
【０１３６】
最頻値算出部３８４は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の最頻値を算出する。最頻値の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）境界領域ではその中間の値となる。
【０１３７】
判定部３８７は、最頻値算出部３８４の算出した差分最頻値と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、ブロック単位のフラット値を算出する。なお、その他の処理部からの指標値がある場合は、それらの値も考慮して最終的なブロック単位のフラット値を算出する。
【０１３８】
最大値（ｍａｘ）算出部３８５は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の最大値（ｍａｘ）を算出する。最大値（ｍａｘ）の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）境界領域ではその中間の値となる。
【０１３９】
判定部３８７は、最大値（ｍａｘ）算出部３８５の算出した差分最大値（ｍａｘ）と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、ブロック単位のフラット値を算出する。なお、その他の処理部からの指標値がある場合は、それらの値も考慮して最終的なブロック単位のフラット値を算出する。
【０１４０】
最小値（ｍｉｎ）算出部３８６は、差分算出部３８０から入力する基準画像と動き補償画像（ＭＣ画）の対応小領域の構成画素の輝度値（Ｙ）差分の最小値（ｍｉｎ）を算出する。最小値（ｍｉｎ）の値も、（ｂ）動き推定（ＭＥ）失敗領域において最も大きな値となり、（ａ）動き推定（ＭＥ）成功領域では最も小さな値になり、（ｃ）境界領域ではその中間の値となる。
【０１４１】
判定部３８７は、最小値（ｍｉｎ）算出部３８６の算出した差分最小値（ｍｉｎ）と予め設定した閾値との比較によって、各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定し、ブロック単位のフラット値を算出する。なお、その他の処理部からの指標値がある場合は、それらの値も考慮して最終的なブロック単位のフラット値を算出する。
【０１４２】
なお、先に説明したように判定部３８７は、分散値算出部３８１〜最小値（ｍｉｎ）算出部３８６の出力する指標値を個別に適用して領域判定を行ってもよいし、複数組み合わせて領域判定を行ってもよい。
【０１４３】
図１２に示すフローは、第１動き領域検出部３１１における領域判定処理の一例を示すフローチャートである。このフローは、判定部３８７において、分散値算出部３８１の生成する差分分散値と、平均値算出部３８２の生成する差分平均値を用いて各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する処理シーケンスを示している。
【０１４４】
図１２に示すフローチャートの各ステップの処理について説明する。ステップＳ２１１において、基準画像と動き補償画像（ＭＣ画）との対応画素の差分値を算出し、さらに領域毎に差分の平均と分散値を算出する。この処理は、差分算出部３８０、分散値算出部３８１、平均値算出部３８２において実行される。
【０１４５】
ステップＳ２１２以下は判定部３８７の処理である。ステップＳ２１２において、判定部３８７は、予め設定されている閾値Ｔ２と、平均値算出部３８２の生成した差分平均値を比較する。
差分平均値＞Ｔ２
上記式が成立する場合は、ステップＳ２１６に進み、この領域を「動き推定（ＭＥ）失敗領域（Ｆｌａｔ＝０）」であると判定する。
【０１４６】
ステップＳ２１２において、
差分平均値＞Ｔ２
上記式が成立しない場合は、ステップＳ２１３に進む。ステップＳ２１３では、予め設定されている閾値Ｔ１と、平均値算出部３８２の生成した差分平均値との比較処理と、分散値算出部３８１の生成した差分分散値と、予め設定した閾値または画像に基づいて算出したノイズ分散値との比較処理を行う。すなわち、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式に従った判定処理を行う。これらの２つの式が成立する場合は、ステップＳ２１５に進み、この領域を「動き推定（ＭＥ）成功領域（Ｆｌａｔ＝３）」であると判定する。
【０１４７】
ステップＳ２１３において、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式が成立しない場合は、ステップＳ２１４に進み、この領域を「境界領域（Ｆｌａｔ＝１〜２）」であると判定する。
【０１４８】
図１３に示すフローは、第１動き領域検出部３１１における領域判定処理の異なる処理例を示すフローチャートである。このフローは、判定部３８７において、分散値算出部３８１の生成する差分分散値と、平均値算出部３８２の生成する差分平均値と、最大値（ｍａｘ）算出部３８５の生成する差分最大値と、最小値（ｍｉｎ）算出部３８６の算出する差分最小値を用いて各領域が（ａ）動き推定（ＭＥ）成功領域、（ｂ）動き推定（ＭＥ）失敗領域、（ｃ）境界領域、これらの（ａ），（ｂ），（ｃ）のいずれに属するかを判定する処理シーケンスを示している。
【０１４９】
図１３に示すフローチャートの各ステップの処理について説明する。ステップＳ２２１において、基準画像と動き補償画像（ＭＣ画）との対応画素の差分値を算出し、さらに領域毎に差分の平均値、分散値、最大値、最小値を算出する。この処理は、差分算出部３８０、分散値算出部３８１、平均値算出部３８２、最大値（ｍａｘ）算出部３８５、最小値（ｍｉｎ）算出部３８６において実行される。
【０１５０】
ステップＳ２２２以下は判定部３８７の処理である。ステップＳ２２２において、判定部３８７は、予め設定されている閾値Ｔ２と、平均値算出部３８２の生成した差分平均値を比較する。
差分平均値＞Ｔ２
上記式が成立する場合は、ステップＳ２２８に進み、この領域を「動き推定（ＭＥ）失敗領域（Ｆｌａｔ＝０）」であると判定する。
【０１５１】
ステップＳ２２２において、
差分平均値＞Ｔ２
上記式が成立しない場合は、ステップＳ２２３に進む。ステップＳ２２３では、予め設定されている閾値Ｔ１と、平均値算出部３８２の生成した差分平均値との比較処理と、分散値算出部３８１の生成した差分分散値と、予め設定した閾値または画像に基づいて算出したノイズ分散値との比較処理を行う。すなわち、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式に従った判定処理を行う。これらの２つの式が成立する場合は、ステップＳ２２７に進み、この領域を「動き推定（ＭＥ）成功領域（Ｆｌａｔ＝３）」であると判定する。
【０１５２】
ステップＳ２２３において、
Ｔ１＜差分平均値
差分分散値＜ノイズ分散値
上記２つの式が成立しない場合は、ステップＳ２２４に進む。
【０１５３】
ステップＳ２２４において、判定部３８７は、予め設定されている閾値Ｔ３と、最小値（ｍｉｎ）算出部３８６の生成した差分最小値を比較する。
差分最小値＞Ｔ３
上記式が成立する場合は、ステップＳ２２８に進み、この領域を「動き推定（ＭＥ）失敗領域（Ｆｌａｔ＝０）」であると判定する。
【０１５４】
ステップＳ２２４において、
差分最小値＞Ｔ３
上記式が成立しない場合は、ステップＳ２２５に進む。
【０１５５】
ステップＳ２２５において、判定部３８７は、予め設定されている閾値Ｔ４と、最大値（ｍａｘ）算出部３８５の生成した差分最大値を比較する。
差分最大値＜Ｔ４
上記式が成立する場合は、ステップＳ２２７に進み、この領域を「動き推定（ＭＥ）成功領域（Ｆｌａｔ＝３）」であると判定する。
【０１５６】
ステップＳ２２５において、
差分最大値＜Ｔ４
上記式が成立しない場合は、ステップＳ２２６に進み、この領域を「境界領域（Ｆｌａｔ＝１〜２）」であると判定する。
【０１５７】
図９に示す第１動き領域検出部３１１は、このように、基準画像と、参照画像の動き補償画像（ＭＣ画）との対応ブロックの画素情報を利用して、動き補償画像（ＭＣ画）の動き推定（ＭＥ）処理のブロック単位の成功判定情報を利用して、各ブロック単位の動き領域検出情報［フラットマップ（Ｆｌａｔ−ｍａｐ）］を生成する。フラットマップは、ブロック単位で、そのブロックが動き領域であるか手中を示す指標値としてのフラット値（Ｆｌａｔ＝０〜３）を対応付けたマップとなる。なお、上記処理例はブロック単位の処理として説明したが、画素単位の処理として実行する構成としてもよい。
【０１５８】
フラットマップは、基準画像の各ブロックが動き領域である可能性の高差を示す動き領域判定指標値であり、
例えば、Ｆｌａｔ＝０〜３の値のいずれかが各ブロックに設定されたマップである。
フラット値が低い（Ｆｌａｔ＝０に近い）ほど、動き領域であり、フラット値が高い（Ｆｌａｔ＝３に近い）ほど、動き領域ではないことを示す。
【０１５９】
［（２ｂ−２）第２動き領域検出部（ヒットマップ生成部）の構成と処理について］
次に、第２動き領域検出部（ヒットマップ生成部）３１２の詳細構成および実行する処理について説明する。
第２動き領域検出部（ヒットマップ生成部）３１２は、グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）の比較処理による動き領域検出情報［ヒットマップ（Ｈｉｔ−ｍａｐ）］を生成する。なお、このヒットマップの生成処理は、本出願人が先に出願した特願２００８−１４４１５７（特開２００９−２９０８２７）に記載した処理と同様の処理によって実行可能である。
【０１６０】
この第２動き領域検出部（ヒットマップ生成部）３１２の構成例を図１４に示す。この例では、第２動き領域検出部（ヒットマップ生成部）３１２は、基準画像の小領域（ブロック）と参照画像の小領域（ブロック）とで対応する画素についてのＳＡＤ値を計算するマッチング処理部５０４を備える。ＳＡＤ値は前述したように、基準画像および参照画像の各ブロックの画素値の絶対差分値（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）である。
【０１６１】
また、第２動き領域検出部（ヒットマップ生成部）３１２は、マッチング処理部５０４から出力されるＳＡＤ値情報からローカル動きベクトルを算出するローカル動きベクトル算出部５０５、さらに動きベクトル信頼性指標値算出部５０６と、グローバル動き算出部５０７と、グローバル動きベクトル算出部５０８と、コントラスト算出部５００と、背景／動被写体判定部５０９と、を備える。      
【０１６２】
コントラスト算出部５００は、ローパスフィルタ５０１と、最大輝度値検出部５０２と、最小輝度値検出部５０３とからなる。
【０１６３】
マッチング処理部５０４は、基準画像の小領域（ブロック）と参照画像の小領域（ブロック）の画像データを入力し、参照ベクトル（参照画像の小領域（ブロック）の位置情報）と、ブロックマッチング処理結果のＳＡＤ値とを、ローカル動きベクトル算出部５０５に供給する。
【０１６４】
ローカル動きベクトル算出部５０５は、基準画像の小領域（ブロック）と参照画像の小領域（ブロック）の画像データを入力し、参照ベクトル（参照画像の小領域（ブロック）の位置情報）と、ブロックマッチング処理を行い、参照画像のブロックと基準画像の対応ブロックとの位置合わせを行い、ブロック単位の動きベクトルであるローカル動きベクトル（ＬＭＶ）を算出する。算出したローカル動きベクトル（ＬＭＶ）は、背景／動被写体判定部５０９とグローバル動き算出部５０７に入力する。
【０１６５】
グローバル動き算出部５０７では、ローカル動きベクトル算出部５０５から入力する複数のローカル動きベクトル（ＬＭＶ）に基づいて基準画像と参照画像の画像全体の動きとしてのグローバル動きを算出する。なお、この処理は、例えばローカル動きベクトルの平均値の算出処理などによって行うことができる。あるいは予め規定したローカル動きベクトルの信頼度判定アルゴリズムによって選択したローカル動きベクトルの平均値を求める処理を行ってもよい。グローバル動き算出部５０７は、算出したグローバル動き（ＧＭ）をグローバル動きベクトル算出部５０８に供給する。
【０１６６】
グローバル動きベクトル算出部５０８は、グローバル動き（ＧＭ）を、基準画像の小領域（ブロック）の座標位置（例えば中心位置）に適用することにより、その基準画像の小領域（ブロック）のグローバル動きベクトル（ＧＭＶ）を算出する。
【０１６７】
グローバル動きベクトル算出部５０８は、算出したグローバル動きベクトル（ＧＭＶ）を背景／動被写体判定部５０９に供給する。背景／動被写体判定部５０９には、ローカル動きベクトル算出部５０５からのローカル動きベクトル（ＬＭＶ）も供給される。
【０１６８】
背景／動被写体判定部５０９では、基準画像の小領域（ブロック）毎のローカル動きベクトル（ＬＭＶ）と、グローバル動きベクトル（ＧＭＶ）とを比較して、基準画像の小領域（ブロック）についての両者の一致度、つまり、背景一致度合いを判定する。この場合に、背景／動被写体判定部５０９では、ローカル動きベクトル（ＬＭＶ）およびグローバル動きベクトル（ＧＭＶ）のそれぞれが対応する参照画像の小領域（ブロック）についての相関値（ＳＡＤ値）を比較して、背景と動被写体との判定を行う。
【０１６９】
背景／動被写体判定部５０９の処理と詳細構成について、図１５〜図１７を参照して説明する。
まず、背景／動被写体判定部５０９の実行する処理の概要について、図１５および図１６を参照して説明する。
図１５には、基準画像５２１と参照画像５２２を示している。基準画像５２１と参照画像は連続的に撮影された画像である。これらの画像には、人物などの動被写体が撮影されているものとする、
２つの画像５２１，５２２は、例えばユーザの手ぶれなどにより、画像全体が移動して撮影されている。この画像全体の動きがグローバル動きベクトル（ＧＭＶ）に対応する。
【０１７０】
人物などの動き領域５２５以外の例えば背景部分の小領域（ブロック）では、ブロック対応のローカル動きベクトル（ＬＭＶ）は、グローバル動きベクトル（ＧＭＶ）とほぼ等しくなる。
しかし、人物などの動き領域５２５を含むブロックのローカル動きベクトル（ＬＭＶ）は、グローバル動きベクトル（ＧＭＶ）と異なるものとなる。
【０１７１】
背景／動被写体判定部５０９では、このように、小領域単位で、ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）の比較を実行して、その差分が大きい場合は動き領域であると判定し、差分が小さい部分は、動き領域ではないと判定する。
【０１７２】
背景／動被写体判定部５０９は、動き領域であるか否かを示す判定値としてヒット値（例えばＨｉｔ＝０〜３）を各小領域（ブロック）に対応付けたヒットマップを生成して出力する。
ヒット値は、値が小さいほど（０に近い）動き領域であることを示し、値が大きいほど（３に近い）動き領域でないことを示す値である。
【０１７３】
ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）の差分が小さいブロックに対するヒット値設定例が図１５（ａ）に示す例であり、動き領域ではないと判定された小領域については、ヒット値（Ｈｉｔ＝２〜３）が設定される。このような領域では参照画像に基づく動き補償画像（ＭＣ画）の加算率を高くしてノイズ低減効果が発揮されることになる。
【０１７４】
一方、ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）の差分が大きいブロックに対するヒット値設定例が図１５（ｂ）に示す例であり、動き領域であると判定された小領域については、ヒット値（Ｈｉｔ＝０〜１）が設定される。このような領域では参照画像に基づく動き補償画像（ＭＣ画）の加算率を高くしてもノイズ低減効果は発揮できないことになる。
【０１７５】
さらに、図１６を参照して、背景／動被写体判定部５０９の実行する具体的な処理例について説明する。
図１６には、ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）を検出したブロック５３１を示している。
ローカル動きベクトル（ＬＭＶ）は、基準画像のブロックに対して参照画像から選択されたブロックとのＳＡＤの最小値を持つブロック間を結ぶベクトルとして算出される。
一方、グローバル動きベクトル（ＧＭＶ）は基準画像と参照画像間の複数のローカル動きベクトル（ＬＭＶ）に基づいて算出される画像全体の動き情報を示すベクトルである。
これらはブロック間の画素値の絶対差分値（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を適用して算出することができる。
【０１７６】
例えば、図１６に示すブロック５３１に対応するＬＭＶはＬＭＶ５４２であり、ＧＭＶはＧＭＶ５４１である。
背景／動被写体判定部５０９は、ブロック５３１が動き領域であるか否かを判定する処理として、例えば図１６（ａ）に示すように、以下の判定式を用いる。
ｉｆ（ＬＭＶ＿ＳＡＤ＜ｔｈ
＆＆
（ＧＭＶ＿ＳＡＤ−ＳＡＤ＿ｏｆｆｓｅｔ）＜ＬＭＶ＿ＳＡＤ）
【０１７７】
上記式において、
ＬＭＶ＿ＳＡＤは、ローカル動きベクトル（ＬＭＶ）が規定されたブロック間のＳＡＤ値である。
ＧＭＶ＿ＳＡＤは、グローバル動きベクトル（ＧＭＶ）が規定されたブロック間のＳＡＤ値である。
ｔｈは予め定められた閾値である。
ＳＡＤ＿ｏｆｆｓｅｔは予め規定したオフセット値である。
【０１７８】
ＬＭＶ＿ＳＡＤ＜ｔｈ
この式が成立する場合は、ローカル動きベクトル（ＬＭＶ）の信頼度が高いと判定することができる。
また、
ＧＭＶ＿ＳＡＤ−ＳＡＤ＿ｏｆｆｓｅｔ）＜ＬＭＶ＿ＳＡＤ
上記式が成立する場合は、ＧＭＶについての信頼度も高いと判定することができる。
従って、上記のｉｆ分が成立する場合は、図１６（ｂ１）に示すように、
ＬＭＶ≒ＧＭＶ
であると判断することができ、動き領域ではないと判定できる。
この場合、そのブロックに対しては動き領域でないことを示すヒット値（Ｈｉｔ＝２〜３）が対応付けられる。
【０１７９】
一方、上記のｉｆ分が成立しない場合は、図１６（ｂ２）に示すように、
ＬＭＶ≠ＧＭＶ
であると判断することができ、動き領域であると判定できる。
この場合、そのブロックに対しては動き領域であることを示すヒット値（Ｈｉｔ＝０〜１）が対応付けられる。
【０１８０】
図１７を参照して、背景／動被写体判定部５０９の詳細構成例について説明する。オフセット生成部５６１は、図１６を参照して説明したオフセット値（ＯＦＳ＝ＳＡＤ＿ｏｆｆｓｅｔ）を算出する。オフセット生成部５６１は、画像のノイズに応じたオフセット値ＯＦＳを生成して、オフセット減算部５６３に供給する。画像のノイズは、画像の輝度値に応じたものとなることにかんがみ、この例では、種々の輝度値とオフセット値ＯＦＳとの対応テーブルの情報がオフセット生成部５６１に記憶されている。
【０１８１】
オフセット生成部５６１は、最大輝度値検出部５０２からの最大輝度値ＭａｘＴＡＲと最小輝度値検出部５０３からの最小輝度値ＭｉｎＴＡＲとの差として基準画像のブロック輝度値を算出する。そして、オフセット生成部５６１は、算出した基準画像ブロックの輝度値を引数として、予め保持している対応テーブルを検索し、引数の輝度値に対応するオフセット値ＯＦＳを取得する。
【０１８２】
オフセット減算部５６３は、オフセット生成部５６１からのオフセット値ＯＦＳを、ＧＭＶ＿ＳＡＤ検出部５６２からのＳＡＤ値ＧＭＶ＿ＳＡＤから減算して、補正後ＳＡＤ値、すなわち、
ＧＭＶ＿ＳＡＤ−ＯＦＳ
を生成する。なお、（ＯＦＳ）は、図１６（ａ）に示すＳＡＤ＿ｏｆｆｓｅｔに対応する。
オフセット減算部５６３は、生成した補正後ＳＡＤ値を比較判定部５６４に供給する。
【０１８３】
比較判定部５６４は、先に図１６（ａ）を参照して説明した判定式を適用して
各ブロック対応のヒット値（Ｈｉｔ＝０〜３）を算出する。すなわち、
ｉｆ（ＬＭＶ＿ＳＡＤ＜ｔｈ
＆＆
（ＧＭＶ＿ＳＡＤ−ＳＡＤ＿ｏｆｆｓｅｔ）＜ＬＭＶ＿ＳＡＤ）
上記式が成立するか否かを判定する。
【０１８４】
従って、上記のｉｆ分が成立する場合は、図１６（ｂ１）に示すように、
ＬＭＶ≒ＧＭＶ
であると判断することができ、動き領域ではないと判定できる。
この場合、そのブロックに対しては動き領域でないことを示すヒット値（Ｈｉｔ＝２〜３）が対応付けられる。
【０１８５】
一方、上記のｉｆ分が成立しない場合は、図１６（ｂ２）に示すように、
ＬＭＶ≠ＧＭＶ
であると判断することができ、動き領域であると判定できる。
この場合、そのブロックに対しては動き領域であることを示すヒット値（Ｈｉｔ＝０〜１）が対応付けられる。
【０１８６】
なお、比較判定部５６４は、図１６（ａ）に示す式が成立するか否かの２つのパターン区分ではなく、例えば、
（ＧＭＶ＿ＳＡＤ−ＳＡＤ＿ｏｆｆｓｅｔ）と、（ＬＭＶ＿ＳＡＤ）との差の値に応じて２以上の任意の区分、例えば動き領域の可能性を示すう区分としてのヒット値（Ｈｉｔ＝０〜３）を各ブロックに設定して出力する。この出力データがヒットマップである。
【０１８７】
ヒットマップは、基準画像の各ブロックが動き領域である可能性の高差を示す動き領域判定指標値であり、
Ｈｉｔ＝０〜３の値のいずれかが各ブロックに設定されたマップである。
例えば、ヒット値が低い（Ｈｉｔ＝０に近い）ほど、動き領域であり、ヒット値が高い（Ｈｉｔ＝３に近い）ほど、動き領域ではないことを示す。
【０１８８】
なお、本実施例では、図１４を参照して説明したように、第２動き領域検出部（ヒットマップ生成部）３１２に基準画像と参照画像を入力して、第２動き領域検出部（ヒットマップ生成部）３１２内で、ローカル動きベクトル（ＬＭＶ）とグローバル動きベクトル（ＧＭＶ）を算出する構成として説明した。これらの各ベクトル（ＬＭＶ／ＧＭＶ）は、例えば図８に示す画像処理装置３００の動き予測処理部３０２において算出することが可能である。従って、動き予測処理部３０２において算出したこれらのベクトル（ＬＭＶ／ＧＭＶ）を第２動き領域検出部（ヒットマップ生成部）３１２に入力して利用する構成としてもよい。このような構成とした場合は、図１４に示すローカル動きベクトル算出部５０５や、グローバル動きベクトル算出部５０８は省略した構成とすることが可能である。
【０１８９】
［（２ｂ−３）制御マップ生成部の構成と処理について］
次に、図９に示す加算判定部３０４の制御マップ生成部３１３の実行する処理について、図１８、図１９を参照して説明する。
制御マップ生成部３１３は、
第１動き領域検出部（フラットマップ生成部）３１１からフラットマップ（Ｆｌａｔ＝０〜３）を入力し、
第２動き領域検出部（ヒットマップ生成部）３１２からヒットマップ（Ｈｉｔ＝０〜３）を入力する。
【０１９０】
フラットマップ、ヒットマップのいずれも、基準画像のブロックが動き領域であるか否かを示す判定情報である。
制御マップ生成部３１３は基準画像の各ブロックに対して、フラット値とヒット値が個別に対応付けられたデータを得る。
【０１９１】
制御マップ生成部３１３は、これらの２つのデータを用いて、基準画像の各ブロック対応の最終的な動き判定情報を設定した制御マップを生成して出力する。
図１８を参照して、制御マップ生成部３１３が生成する制御マップの生成例、すなわち、基準画像の各ブロックに対応する最終的な動き判定情報の一例を示す。
【０１９２】
図１８に示す表は、縦方向に第１動き領域検出部（フラットマップ生成部）３１１から入力するフラット値（Ｆｌａｔ＝０〜３）を設定し、
横方向が、第２動き領域検出部（ヒットマップ生成部）３１２から入力するヒット値（Ｈｉｔ＝０〜３）を設定した表である。
それぞれの交差位置の値（０〜３）が最終的なブロック対応の動き判定情報として、制御マップ生成部３１３が決定して出力する値である。
【０１９３】
具体的には、
ヒット値（Ｈｉｔ）またはフラット値（Ｆｌａｔ）の値のいずれかが０、すなわち、
Ｈｉｔ＝０、または、
Ｆｌａｔ＝０、
この場合は、
そのブロックの最終的な動き判定情報は、フラット値（Ｆｌａｔ＝０〜３）を出力する。図１８に示す点線枠の領域である。
【０１９４】
一方、ヒット値（Ｈｉｔ）およびフラット値（Ｆｌａｔ）の値のいずれもが０でない場合、すなわち、
Ｈｉｔ≠０、かつ、
Ｆｌａｔ≠０、
この場合は、
そのブロックの最終的な動き判定情報は、ヒット値（Ｈｉｔ＝０〜３）を出力する。図１８に示す実線枠の領域である。
【０１９５】
なお。最終的な動き判定情報（０〜３）もフラット値や、ヒット値と同様、
値が小さい（０に近い）場合が、動き領域である可能性が高い。
値が大きい（３に近い）場合が、動き領域でない可能性が高い。
このような設定の情報である。
【０１９６】
制御マップ生成部３１３は、第１動き領域検出部３１１、または第２動き領域検出部３１２の出力する２つの動き領域判定値の少なくともいずれかが、動き領域である可能性が高いと判定した領域については、第１動き領域検出部３１１の判定値を最終判定値として出力し、第１動き領域検出部３１１、および第２動き領域検出部３１２の出力する２つの動き領域判定値のいずれもが、動き領域である可能性が高くないと判定した領域については、第２動き領域検出部３１２の判定値を最終判定値として出力する。
【０１９７】
制御マップ生成部３１３の実行する処理シーケンスについて、図１９に示すフローチャートを参照して説明する。
制御マップ生成部３１３は、まず、ステップＳ３０１において、ノイズ低減処理対象となる基準画像から選択されたブロックのフラットマップの値（Ｆｌａｔ＝０〜３）を取得する。
次に、ステップＳ３０２において、同一ブロックのヒットマップの値（Ｈｉｔ＝０〜３）を取得する。
【０１９８】
次に、制御マップ生成部３１３は、ステップＳ３０３において、選択ブロックについてステップＳ３０１で取得したフラット値（Ｆｌａｔ＝０〜３）とヒット値（Ｈｉｔ＝０〜３）を検証し、ヒット値またはフラット値のいずれかが０であるか否かを判定する。すなわち、
Ｈｉｔ＝０、または、
Ｆｌａｔ＝０、
であるか否かを判定する。
判定結果がＹｅｓの場合は、ステップＳ３０５に進み、そのブロックの最終的な動き判定情報として、そのブロックに対して設定されたフラット値（Ｆｌａｔ＝０〜３）を選択して出力する。この処理は、図１８に示す点線枠の領域の処理に対応する。
【０１９９】
一方、ステップＳ３０３の判定がＮｏの場合、すなわち、ヒット値（Ｈｉｔ）およびフラット値（Ｆｌａｔ）の値のいずれもが０でない場合、
Ｈｉｔ≠０、かつ、
Ｆｌａｔ≠０、
この場合は、ステップＳ３０４に進み、そのブロックの最終的な動き判定情報として、そのブロックに対して設定されたヒット値（Ｈｉｔ＝０〜３）を出力する。この処理は、図１８に示す実線枠の領域の処理に対応する。
【０２００】
最後にステップＳ３０６に進み、基準画像の全ブロックに対する動き領域情報の設定が完了したか否かを判定する。未処理のブロックがある場合は、ステップＳ３０１に戻り、未処理ブロックに対する処理を実行する。
ステップＳ３０６において、基準画像の全ブロックに対する動き領域情報の設定が完了したと判定した場合は処理を終了する。
【０２０１】
制御マップ生成部３１３は、このようにして、基準画像のブロックの全てに対して、ヒットマップまたはフラットマップの設定値のいずれかを選択して動き領域情報として設定した制御マップを生成する。生成した制御マップは、図９に示すノイズ判定テーブル生成部３１４に出力される。
【０２０２】
［（２ｂ−４）ノイズ判定テーブル生成部の構成と処理について］
次に、図９に示す加算判定部３０４内のノイズ判定テーブル生成部３１４の構成と処理について説明する。
制御マップ生成部３１３は、前述したように、基準画像のブロックの各々についての動き判定情報を設定した制御マップを生成する。制御マップは、例えば、動き判定情報＝０〜３のいずれかの値が基準画像のブロック単位で設定されたマップである。
なお。動き判定情報（０〜３）もフラット値や、ヒット値と同様、
値が小さい（０に近い）場合が、動き領域である可能性が高い。
値が大きい（３に近い）場合が、動き領域でない可能性が高い。
このような設定情報である。
【０２０３】
ノイズ判定テーブル生成部３１４は、基準画像のブロック単位の動き判定情報（０〜３）を設定した制御マップを入力して、図９に示す加算判定部３０４内の加算判定処理実行部３１５において利用するノイズ判定テーブルの補正処理を行う。
ノイズ判定テーブルは、基準画像と、動き補償画像（ＭＣ画）の対応画素の加算処理において、動き補償画像（ＭＣ画）の対応画素の加算重みを算出する際に適用するテーブルである。
【０２０４】
ノイズ判定テーブル生成部３１４は、制御マップ生成部３１３から各小領域（ブロック）単位の動き判定結果を入力して、その判定結果に応じて、小領域（ブロック）対応のノイズ判定テーブルを生成する。
【０２０５】
ノイズ判定テーブルは、画素値とノイズ量との関係データである。これは、加算判定処理実行部３１５に設定されるノイズ推定部で適用するテーブルである。なお、加算判定処理実行部３１５は、たとえば先に図４を参照して説明した加算判定部の構成と同様の構成を有する。
【０２０６】
先に図４を参照して説明したように、図４に示す加算判定部１４は、ノイズ推定部１１０，１３０，１５０を有する。ノイズ推定部１１０，１３０，１５０は予め各条件で測定した輝度値とノイズ量の関係のデータをテーブルとして有する構成としていた。図４を参照して説明した例では、ノイズ推定部１１０は保持しているテーブルから、該当条件の輝度値とノイズ量の関係を求め、入力した輝度値に対応するノイズ量を画素加算判定部１１６、移動平均加算判定部１１７、移動分散加算判定部１１８に出力する。
【０２０７】
例えば露光時間が長くなると、ランダムノイズが増加する傾向がある。また、撮像信号を増幅するゲインが大きくなると、ランダムノイズが増加する傾向がある。したがって、撮影条件としてシャッター速度および／またはゲインの情報を使用し、予めシャッター速度および／またはゲインのそれぞれに対応して画素値とノイズ量とのテーブルを作成して用意しておく。さらに、撮像装置が備えている撮影モードを撮影条件として使用しても良い。なお、撮影条件は、例えばフレームごとに設定される。
【０２０８】
ノイズ推定部１１０は、画像中のノイズ量に影響を与える撮影モード、シャッター速度（露光時間）、ゲイン等を撮影条件情報としてカメラ制御部から入力し、予め各撮影条件で測定した輝度値とノイズ量の関係のデータから、該当条件の輝度値とノイズ量の関係を求め、該当撮影条件での入力輝度値に対応するノイズ量を出力する。
【０２０９】
この入力輝度値に対応するノイズ量を示すのがノイズ判定テーブルである。本実施例では、このノイズ判定テーブルを、制御マップ生成部３１３から入力する基準画像のブロックの各々についての動き判定情報＝０〜３の値に応じて補正したテーブルとして生成する。
以下の実施例では、動き判定情報＝０〜３の値に応じて３種類の補正テーブルを生成する例について説明する。
動き判定情報＝０〜１
動き判定情報＝１〜２
動き判定情報＝２〜３
これらの３種類に応じた補正処理を行う例について説明する。
なお、テーブルの補正は上記３種類に限らず、動き判定情報＝０〜３の４種類（０，１，２，３の各々に応じた４種類のテーブルを生成する構成としてもよいし、さらに細かい区分として５種類以上の補正テーブルを生成する構成としてもよい。
【０２１０】
このように、ノイズ判定テーブル生成部３１４は、制御マップ生成部３１３から入力する基準画像のブロックの各々についての動き判定情報＝０〜３の値に応じて異なるノイズ判定テーブルを生成して、図９に示す加算判定処理実行部３１５（例えば図４と同様の構成を有する）内のノイズ推定部に提供する。
【０２１１】
加算判定処理実行部３１５内のノイズ推定部は、加算判定処理実行部３１５で処理対象として入力された画素、すなわち加算重み算出対象とする画素の含まれる領域に対応するテーブルを選択し、選択テーブルから画素値（または輝度値）とノイズ量の関係を求める。その後、画素値（または輝度値）とノイズ量の関係情報を加算判定処理実行部３１５内の画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）に出力する。
【０２１２】
これらの各処理部では、ノイズ推定部から供給されるノイズ量情報に従った処理を行うことになる。すなわち、画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）は、動き判定情報＝０〜３の値に応じて異なるノイズ推定量を適用した処理を実行する。
【０２１３】
ノイズ判定テーブルの具体例について、図２０を参照して説明する。図２０（Ａ）には、ノイズ判定テーブル生成部３１４の生成する３種類のノイズ判定テーブルを示している。すなわち、
（１）オリジナルノイズ判定テーブル（動き判定情報＝１〜２のブロックに適用）
（２）推定ノイズ量の増加補正を行った補正ノイズ判定テーブル（動き判定情報＝２〜３のブロックに適用）
（３）推定ノイズ量の減少補正を行った補正ノイズ判定テーブル（動き判定情報＝０〜１のブロックに適用）
これらの３種類のノイズ判定テーブルである。
【０２１４】
ノイズ判定テーブルは、画素値（または輝度値）に応じた推定ノイズ量を定めたテーブルである。図２０の（１）オリジナルノイズ判定テーブル（動き判定情報＝１〜２のブロックに適用）に示すノイズ判定テーブルの実線曲線が基本となる画素値（または輝度値）に応じた推定ノイズ量を定めたテーブルである。画素値が低いほどその画素値に含まれるノイズ成分は多く、画素値が高いほどその画素値に含まれるノイズ成分は少ないと推定される。
【０２１５】
図２０の最上段に示す「（１）オリジナルノイズ判定テーブル」は、制御マップ生成部３１３において「動き判定情報＝１〜２」に設定したブロック領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。
「（２）推定ノイズ量の増加補正を行った補正ノイズ判定テーブル」は、制御マップ生成部３１３において「動き判定情報＝２〜３（動き領域でない可能性の高い領域）」であると判断された領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。
「（３）推定ノイズ量の減少補正を行った補正ノイズ判定テーブル」は、制御マップ生成部３１３において「動き判定情報＝０〜１（動き領域である可能性の高い領域）」であると判断された領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。
【０２１６】
図２０から理解されるように、「（２）推定ノイズ量の増加補正を行った補正ノイズ判定テーブル」は、「（１）オリジナルノイズ判定テーブル」に比較して、推定ノイズ量が大きく設定される。また、「（３）推定ノイズ量の減少補正を行った補正ノイズ判定テーブル」は、「（１）オリジナルノイズ判定テーブル」に比較して、推定ノイズ量が小さく設定される。
【０２１７】
「（２）推定ノイズ量の増加補正を行った補正ノイズ判定テーブル」は、制御マップ生成部３１３において「動き判定情報＝２〜３（動き領域でない可能性の高い領域）」であると判断された領域に含まれる画素の加算重みを算出する際に適用されるテーブルとなる。
すなわち、基準画像の画素と動き補正画像（ＭＣ画）の対応画素が同一被写体の同一領域である可能性が高い場合には、この「（２）推定ノイズ量の増加補正を行った補正ノイズ判定テーブル」が適用される。
これは、この領域の画素から検出されるノイズは純粋なノイズであり、画素位置がずれていることによって発生しているノイズではないと判定され、大きなノイズ低減処理を実行することが可能であるという判断に基づく処理である。
【０２１８】
一方、「（３）推定ノイズ量の減少補正を行った補正ノイズ判定テーブル」は、制御マップ生成部３１３において「動き判定情報＝０〜１（動き領域である可能性の高い領域）」であると判断された領域に含まれる画素の加算重みを算出する際に適用される。
すなわち、基準画像の画素と動き補正画像（ＭＣ画）の対応画素が同一被写体の同一領域である可能性が低い場合には、この「（２）推定ノイズ量の減少補正を行った補正ノイズ判定テーブル」が適用される。
これは、この領域の画素から検出されるノイズは純粋なノイズでなく、画素位置がずれていることによって発生しているノイズである可能性が高いと判定し、大きなノイズ低減処理を実行することを避けるほうがよいという判断に基づく処理である。
【０２１９】
このように、ノイズ判定テーブル生成部３１４は、制御マップ生成部３１３において生成した動き判定情報＝０〜３に応じてノイズ判定テーブルを変更してノイズ推定を実行する。すなわち、ノイズ判定テーブル生成部３１４は、制御マップ生成部３１３の出力する領域単位の動き領域判定情報が、動き領域である可能性が低いことを示す判定値を設定した領域については、画素値に対応する推定ノイズ量を増加させたノイズ判定テーブルの生成または補正を行う。また、制御マップ生成部３１３の出力する領域単位の動き領域判定情報が、動き領域である可能性が高いことを示す判定値を設定した領域については、画素値に対応する推定ノイズ量を減少させたノイズ判定テーブルの生成または補正を行う。
【０２２０】
生成または補正したノイズ判定テーブルは、加算判定処理実行部３１５において利用される。加算判定処理実行部３１５内の画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）は、この動き判定情報＝０〜３に応じて穂変更されたノイズ判定テーブルに基づいて推定されるノイズ情報に応じて、各画素に対応する加算重み、すなわち基準画像の画素に対応する動き補償画像（ＭＣ画）の対応画素の加算重みを設定する。
【０２２１】
加算判定処理実行部３１５は、ノイズ判定テーブル生成部３１４の生成したノイズ判定テーブルによって推定される画素単位のノイズ量が多い領域には加算重みを大きく設定し、画素単位のノイズ量が少ない領域には加算重みを小さく設定する加算重み決定処理を行なう。図２０（Ｂ）には、基準画像と動き補償画像（ＭＣ画）の対応画素との差分値と、加算重みの対応関係を示している。σはノイズの分散を示している。
【０２２２】
加算判定処理実行部３１５内の画素加算判定部、移動平均加算判定部、移動分散加算判定部（図４参照）では、動き判定情報＝０〜３に応じて異なるノイズ推定量を適用するため、各領域に応じて加算重みを異ならせて算出することになる。具体的には、動き判定情報＝２〜３（動き領域でない可能性の高い領域）の設定されたブロックについては、動き補償画像（ＭＣ画）の画素値が多く加算され、ノイズ除去の効果が大きくさせる。一方、動き判定情報＝０〜１（動き領域である可能性の高い領域）の設定されたブロック領域では、基準画像の画素値が多く加算され、動体保護の効果が大きくするような処理を行う。
【０２２３】
［（２ｂ−５）加算判定処理実行部の構成と処理について］
次に、図９に示す加算判定部３０４の加算判定処理実行部３１５の処理について説明する。
図９に示す加算判定部３０４の加算判定処理実行部３１５は、先に図４を参照して説明したと同様の構成を有し、図８に示す画像処理装置３００の加算処理部３０５で使用される加算重みを画素単位で生成して加算処理部３０５に出力する。加算重みは、前述したように基準画像に対する動き補償画像（ＭＣ画）の加算重みであり、動き補償画像（ＭＣ画）の各画素の信頼度を表す。
【０２２４】
ただし、加算判定処理実行部３１５は、前述のノイズ判定テーブル生成部３１４の生成した補正されたノイズ判定テーブルをブロックの動き判定情報＝０〜３の値に応じて選択して利用することになる。具体的には、制御マップ生成部３１３がフラット値とヒット値に基づいて設定した基準画像のブロックの各々についての動き判定情報＝０〜３の値に応じて補正したノイズ判定テーブルを利用して画素単位の加算重み（基準画像に対するＭＣ画像の加算重み）を算出する。すなわち、図８に示す画像処理装置３００の加算処理部３０５で使用される加算重みを画素単位で生成して加算処理部３０５に出力する。
【０２２５】
加算判定処理実行部３１５は、ノイズ判定テーブル生成部３１４の生成したブロックの動き判定情報＝０〜３の値に応じて異なるノイズ判定テーブルを利用して画素単位の加算重み（基準画像に対するＭＣ画像の加算重み）を算出する。すなわち、図８に示す画像処理装置３００の加算処理部３０５で使用される加算重みを画素単位で生成して図８に示す加算処理部３０５に出力する。
【０２２６】
［（２ｃ）加算処理部の処理について］
図８に示す加算処理部３０５は、基準画像と動き補償画像（ＭＣ画）とを対応画素ごとに計算された加算重みを適用して加算する処理を行う。この加算処理部３０５の実行する処理は、先に図１、図７を参照して説明した処理と同様の処理である。
【０２２７】
加算処理部３０５は、基準画像と動き補償画像（ＭＣ画）との加重平均を計算して加算処理を行う。加重平均の重みは、加算重みに帰還率を乗じた値である。例えば帰還率を１／３に設定すれば、加算重みが０〜１に変化する際に、加重平均でのＭＣ画に対する重みが０〜１／３で変化することになる。
【０２２８】
加算処理部３０５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果は、フレームメモリ３０１に格納される。この画像を新たな基準画像として、新たな参照画像と組み合わせて、上述した処理と同様の処理が繰り返し行われる。例えば、予め規定された回数の処理が繰り返された後、加算処理部３０５において生成された基準画像と動き補償画像（ＭＣ画）との加算結果がノイズ低減画像（ＮＲ画像）として出力される。
【０２２９】
＜（３）本発明の画像処理装置のノイズ低減効果について＞
図８に示す本発明の画像処理装置３００は、上述した説明から理解されるように、動き領域の判定処理を、２つの異なる処理、すなわち、
（ａ）基準画像と動き補償画像の画素差分情報に基づいて算出する動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報［フラットマップ（Ｆｌａｔ−ｍａｐ）］、
（ｂ）グローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）の比較処理による動き領域検出情報［ヒットマップ（Ｈｉｔ−ｍａｐ）］、
これらの２つの異なるアプローチによる動き領域の検出情報を統合した動き領域検出処理として実行している。
【０２３０】
すなわち、図９に示す加算判定部３０４の制御マップ生成部３１３において、、基準画像のブロックの全てに対して、ヒットマップまたはフラットマップの設定値のいずれかを選択して動き領域情報として設定した制御マップを生成する。
【０２３１】
具体的には、ヒット値（Ｈｉｔ）またはフラット値（Ｆｌａｔ）の値のいずれかが０、すなわち、
Ｈｉｔ＝０、または、
Ｆｌａｔ＝０、
このようなブロックの最終的な動き判定情報は、フラット値（Ｆｌａｔ＝０〜３）を出力する。図１８に示す点線枠の領域である。
一方、ヒット値（Ｈｉｔ）およびフラット値（Ｆｌａｔ）の値のいずれもが０でない場合、すなわち、
Ｈｉｔ≠０、かつ、
Ｆｌａｔ≠０、
このようなブロックの最終的な動き判定情報は、ヒット値（Ｈｉｔ＝０〜３）を出力する。図１８に示す実線枠の領域である。
【０２３２】
ブロック単位の動き判定情報として、ヒットマップのみを利用した場合、例えば、
局所動体に対するノイズ低減効果が低下してしまう。
また照明変化などの撮影条件の変化がある場合、ノイズ低減効果が低下する。
このような問題点が発生する。
これは、ヒットマップがグローバル動きベクトル（ＧＭＶ）とローカル動きベクトル（ＬＭＶ）の比較処理による動き領域検出情報であり、ブロック単位のＬＭＶとＧＭＶの差分に依存してブロックが動き領域であるか否かを判定しているために発生する問題である。
【０２３３】
一方、フラットマップのみを利用した場合は、
低照度下などのノイズが強い環境で撮影された画像に対するノイズ低減効果が低下するという問題がある。
これは、フラットマップが、動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報であり、図１０を参照して説明したように、画素地の分散や平均値等に基づいて動きの有無を判断する構成であることに起因する。
【０２３４】
これに対して、本発明の動き判定処理は、上記のヒットマップとフラットマップを統合して、図１８に示すような設定の動き判定情報を生成する構成である。
この図１８に示す設定では、例えば、ヒットマップ情報に基づいて、
Ｈｉｔ＝０の領域は、動被写体の内部領域、
Ｈｉｔ＝１〜２の領域は、動被写体の境界部、
Ｈｉｔ＝３の領域は動被写体以外の例えば背景領域、
このような区分であると推定することができる。
【０２３５】
しかし、このヒットマップのヒット値（Ｈｉｔ＝０〜３）はＬＭＶとＧＭＶの比較に基づく動き判定処理であり、ＬＭＶとＧＭＶの精度に依存した判定結果である。すなわちベクトルの精度が十分でない場合、上記の判定結果には誤りが含まれることになる。
【０２３６】
本発明の構成では、このようなベクトル算出誤りによる加算重みの設定エラーを防止するため、フラット値（Ｆｌａｔ＝０〜３）を考慮する構成としている。
例えば、ＬＭＶとＧＭＶの比較によって動被写体領域と判定されるＨｉｔ＝０の領域であっても、フラット値（Ｆｌａｔ＝０〜３）が設定されている場合は、そのフラット値（Ｆｌａｔ＝０〜３）を、そのブロックの最終的な動き判定情報として設定してノイズ判定テーブル（図２０参照）を生成する。
すなわちＬＭＶとＧＭＶの比較によって動被写体と判断された領域（Ｈｉｔ＝０）では、Ｈｉｔ＝０の値を無視して、動き推定（ＭＥ）の成功判定情報を利用した動き領域検出情報であるフラット値（Ｆｌａｔ＝０〜３）を信頼できる動き判定情報として利用する。
【０２３７】
従って、ヒットマップのみに依存する処理を行うと、Ｈｉｔ＝０の設定されたブロックは、動き補正画像（ＭＣ画）の画素値の基準画像に対する加算重みが小さく設定されてしまい、ケースによってはノイズ低減効果が発揮されないが、本発明の処理では、Ｈｉｔ＝０のブロックであっても、フラットマップ（Ｆｌａｔ−ｍａｐ）のフラット値（Ｆｌａｔ＝０〜３）を参照して、フラット値に依存した加算重みの設定を行う。従って、動き推定（ＭＥ）の成功判定情報に従って、動きの少ないと判定されたブロック（フラット値が大きい（Ｆｌａｔ＝３に近い））ブロックでは、動き補正画像（ＭＣ画）の画素値の基準画像に対する加算重みが大きく設定され、このような動き推定（ＭＥ）の成功領域に対応するブロックではノイズ低減効果を大きくさせることが可能となる。
【０２３８】
また、フラット値が０（Ｆｌａｔ＝０）、すなわち動き推定（ＭＥ）の成功判定情報に従って、動きの大きいと判定されたブロックについても、ヒット値の値（Ｈｉｔ＝０〜３）を無視して、フラット値の値、すなわちＦｌａｔ＝０をそのブロックの最終的な動き判定情報とする。
この処理は、ＬＭＶとＧＭＶの比較処理において発生しがちなベクトル推定の誤りに基づく誤った動き判定結果の利用を防止して、フラット値（Ｆｌａｔ＝０）に依存して、動き補償画像（ＭＣ画）の加算重みの設定を行うものである。
このように、本発明の構成では、ヒットマップまたはフラットマップのいずれかにおいて動き領域である可能性の高い判定結果（Ｈｉｔ＝０またはＦｌａｔ＝０）が得られた領域では、ＬＭＶとＧＭＶの比較処理によって生成する動き判定情報であるヒットマップ（Ｈｉｔ＝０〜３）の判定結果ではなく、動き推定（ＭＥ）の成功判定情報に基づいて生成する動き判定情報であるフラットマップ（Ｆｌａｔ＝０〜３）、の結果を優先して利用する。
この処理によりベクトル推定の誤りによる誤った加算重みの設定を防止することを可能としている。
【０２３９】
本発明の処理をまとめると、以下のようになる。
ＬＭＶとＧＭＶの比較処理によって生成する動き判定情報であるヒットマップ（Ｈｉｔ＝０〜３）、
動き推定（ＭＥ）の成功判定情報に基づいて生成する動き判定情報であるフラットマップ（Ｆｌａｔ＝０〜３）、
これらの２種類の動き判定情報を生成し、
フラットマップ、またはヒットマップのいずれかのマップにおいて、フラット値＝０、またはヒット値＝０となり、動き領域である可能性が極めて高いと判定された領域（ブロック）については、フラット値（Ｆｌａｔ＝０〜３）、すなわち、動き推定（ＭＥ）の成功判定情報に基づいて生成する動き判定情報を優先して利用する。
【０２４０】
また、フラットマップ、およびヒットマップ、双方のマップにおいて、フラット値≠０、かつヒット値≠０となり、動き領域である可能性が高くないと判定された領域（ブロック）については、ヒット値（Ｈｉｔ＝０〜３）、すなわち、ＬＭＶとＧＭＶとの比較結果に基づいて生成する動き判定情報を優先して利用する。
このような処理を行うものである。
【０２４１】
このような異なるアプローチの動き判定情報（ヒットマップ／フラットマップ）を各マップの検出情報に応じて選択適用することで、各マップを単独に利用する場合に比較して、様々な条件で撮影された画像に対するノイズ低減効果を高めることが可能となる。
【０２４２】
＜（４）画像処理装置のハードウェア構成例＞
最後に、図２１を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明したノイズ低減画像（ＮＲ画像）の生成処理などの処理プログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【０２４３】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【０２４４】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２４５】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【０２４６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２４７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２４８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２４９】
以上、説明したように、本発明の一実施例の構成によれば、基準画像と参照画像の動き補正を行った動き補償画像の合成処理によってノイズ低減画像を生成する構成において、基準画像と動き補償画像の画素差分情報に基づいて算出する第１動き領域検出情報と、領域単位の動き情報であるローカル動きベクトル（ＬＭＶ）と画像全体の動き情報であるグローバル動きベクトル（ＧＭＶ）との差分情報を適用して算出する第２動き領域検出情報の２つの動き領域判定情報を適用して最終的な動き領域判定情報を生成する。この最終的な動き領域判定情報によりノイズ推定を行い基準画像に対する動き補償画像の加算重みを決定する。さらに、決定した加算重みを適用して基準画像と動き補償画像とを加算してノイズ低減画像を生成する。この構成により、動き領域判定精度が向上し、動き補償画像の信頼度に応じた加算重みを設定することが可能となり品質の高いノイズ低減画像生成処理が実現される。
【符号の説明】
【０２５０】
１０  画像処理装置
１１  フレームメモリ
１２  動き予測処理部
１３  動き補償処理部
１４  加算判定部
１５  加算処理部
１１０，１３０，１５０  ノイズ推定部
１１１，１１２，１３１，１３２，１５１，１５２  フィルタ
１１３，１３３，１５３  画素値差分算出部
１１４，１３４，１５４  移動平均差分算出部
１１５，１３５，１５５  移動分散差分算出部
１１６，１３６，１５６  画素加算判定部
１１７，１３７，１５７  移動平均加算判定部
１１８，１３８，１５８  移動分散加算判定部
１１９，１２０，１３９〜１４１，１５９，１６０，１７２  乗算器
１７１  アップサンプリング処理部
２０１  ノイズ量／判定閾値変換部
２０２  判定曲線生成部
２０３  加算判定部
２５１，２５２，２５４  乗算器
２５３  減算器
２５５  加算器
３００  画像処理装置
３０１  フレームメモリ
３０２  動き予測処理部
３０３  動き補償処理部
３０４  加算判定部
３０５  加算処理部
３１１  第１動き領域検出部（フラットマップ生成部）
３１２  第２動き領域検出部（ヒットマップ生成部）
３１３  制御マップ生成部
３１４  ノイズ判定テーブル生成部
３１５  加算判定処理実行部
３８０  差分算出部
３８１  分散値算出部
３８２  平均値算出部
３８３  中間値（ｍｅｄｉａｎ）算出部
３８４  最頻値算出部
３８５  最大値（ｍａｘ）算出部
３８６  最小値（ｍｉｎ）算出部
３８７  判定部
５００  コントラスト算出部
５０１  ローパスフィルタ（ＬＰＦ）
５０２  最大輝度値検出部
５０３  最小輝度値検出部
５０４  マッチング処理部
５０５  ローカル動きベクトル算出部
５０６  動きベクトル信頼性指標値算出部
５０７  グローバル動き算出部
５０８  グローバル動きベクトル算出部
５０９  背景／動被写体判定部
５６１  オフセット生成部
５６２  ＧＭＶ＿ＳＡＤ算出部
５６３  オフセット減算部
５６４  比較判定部
７０１  ＣＰＵ
７０２  ＲＯＭ
７０３  ＲＡＭ
７０４  バス
７０５  入出力インタフェース
７０６  入力部
７０７  出力部
７０８  記憶部
７０９  通信部
７１０  ドライブ
７１１  リムーバブルメディア
【図１】
2011199716.tif 000003
【図３】
2011199716.tif 000004
【図４】
2011199716.tif 000005
【図５】
2011199716.tif 000006
【図６】
2011199716.tif 000007
【図７】
2011199716.tif 000008
【図８】
2011199716.tif 000009
【図９】
2011199716.tif 000010
【図１０】
2011199716.tif 000011
【図１２】
2011199716.tif 000012
【図１３】
2011199716.tif 000013
【図１４】
2011199716.tif 000014
【図１７】
2011199716.tif 000015
【図１８】
2011199716.tif 000016
【図１９】
2011199716.tif 000017
【図２０】
2011199716.tif 000018
【図２１】
2011199716.tif 000019
【図２】
2011199716.tif 000020
【図１１】
2011199716.tif 000021
【図１５】
2011199716.tif 000022
【図１６】
2011199716.tif 000023