(57)【要約】【課題】  動画像を構成する各フレームに対して、時間方向に発生するランダムノイズを、巡回型ノイズ低減処理により適切に低減する。【解決手段】  複数のフレームからなる動画像のノイズ低減処理をする画像処理装置であって、注目フレームにおける画素の入力信号を取得する入力信号取得手段と、時間方向において１つ前のフレームの出力信号を保持する出力信号保持手段と、前記注目フレームの入力信号と、前記１つ前の出力信号との変化量を求める検出手段と、前記変化量に基づいて、前記注目フレームの入力信号が動体であるかどうかを判定する判定手段と、前記変化量と前記前のフレームにおける前記判定手段による判定の結果とに基づいて、巡回係数を決定する決定手段と、前記入力信号と前記出力信号とを前記巡回係数に応じて混合することにより、前記注目フレームにおける画素の出力信号を算出する算出手段を有することを特徴とする。【選択図】  図５
2017005529.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームからなる動画像のノイズ低減処理をする画像処理装置であって、
注目フレームにおける画素の入力信号を取得する入力信号取得手段と、
時間方向において１つ前のフレームの出力信号を保持する出力信号保持手段と、
前記注目フレームの入力信号と、前記１つ前のフレームの出力信号との変化量を求める検出手段と、
前記変化量検出手段から得られる前記変化量に基づいて、前記注目フレームの入力信号が動体であるかどうかを判定する判定手段と、
前記変化量と前記前のフレームにおける前記判定手段による判定の結果とに基づいて、巡回係数を決定する決定手段と、
前記入力信号と前記出力信号とを前記巡回係数に応じて混合することにより、前記注目フレームにおける画素の出力信号を算出する算出手段を有することを特徴とする画像処理装置。
【請求項２】
さらに、前記判定手段による判定の結果を保持する保持手段を有し、
前記保持手段は、前記決定手段が少なくとも次のフレームの巡回係数を決定するまで前記判定手段による判定の結果を保持し、
前記決定手段は、前記保持手段に保持された前のフレームにおける判定の結果を参照することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記前のフレームにおいて動体であると判定された画素の場合、前記注目フレームにおける巡回係数を動体用の巡回係数に決定し、前記前のフレームにおいて動体でないと判定された画素の場合、前記変化量に応じて前記巡回係数を決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
さらに前記保持手段は、ｋフレーム分の前記判定手段による判定の結果を保持し、
前記決定手段は、前記変化量と、前記ｋフレームにおける前記判定手段による判定の結果に基づいて、前記巡回係数を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記決定手段は、前記ｋフレームのうち同じ画素位置の画素について、動体と判定されたフレームをカウントし、該カウント数を参照して、前記巡回係数を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
複数のフレームからなる動画像のノイズ低減処理をする画像処理装置であって、
注目フレームにおける画素の入力信号を取得する入力信号取得手段と、
時間方向において１つ前のフレームの出力信号を保持する出力信号保持手段と、
前記注目フレームの入力信号と、前記１つ前の出力信号との変化量を求める検出手段と、
前記変化量検出手段から得られる前記変化量に基づいて、前記注目フレームの入力信号が動体であるかどうかを判定する判定手段と、
前記注目フレームにおける画素の巡回係数を決定する決定手段と、
前記入力信号と前記出力信号とを前記巡回係数に応じて混合することにより、前記注目フレームにおける画素の出力信号を算出する算出手段を有し、
前記決定手段は、前記変化量と、前記１つ前のフレームにおいて決定された巡回係数とに基づいて、前記巡回係数を決定することを特徴とする画像処理装置。
【請求項７】
さらに、前記決定手段により決定された巡回係数を保持する保持手段を有し、
前記保持手段は、前記決定手段が少なくとも次のフレームの巡回係数を決定するまで前記判定手段による判定の結果を保持し、
前記決定手段は、前記保持手段に保持された前のフレームにおける巡回係数を参照することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、前記前のフレームにおける巡回係数と第１の閾値とを比較することにより、前記前のフレームにおいて動体と判定された画素であるかどうかを判定し、前記巡回係数を決定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記判定手段は、前記変化量が第２の閾値より大きければ動体であると判定することを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
【請求項１０】
前記第２の閾値は、前記注目フレームにおけるノイズの分散に基づいて設定されていることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
複数のフレームからなる動画像のノイズ低減処理をする画像処理方法であって、
注目フレームにおける画素の入力信号を取得し、
時間方向において１つ前のフレームの出力信号を保持し、
前記注目フレームの入力信号と、前記１つ前の出力信号との変化量を求め、
前記変化量に基づいて、前記注目フレームの入力信号が動体であるかどうかを判定し、
前記変化量と前記前のフレームにおける動体であるかどうかの判定の結果とに基づいて、巡回係数を決定し、
前記入力信号と前記出力信号とを前記巡回係数に応じて混合することにより、前記注目フレームにおける画素の出力信号を算出することを特徴とする画像処理方法。
【請求項１２】
複数のフレームからなる動画像のノイズ低減処理をする画像処理方法であって、
注目フレームにおける画素の入力信号を取得し、
時間方向において１つ前のフレームの出力信号を保持し、
前記注目フレームの入力信号と、前記１つ前の出力信号との変化量を求め、
前記変化量に基づいて、前記注目フレームの入力信号が動体であるかどうかを判定し、
前記注目フレームにおける画素の巡回係数を決定し、
前記入力信号と前記出力信号とを前記巡回係数に応じて混合することにより、前記注目フレームにおける画素の出力信号を算出し、
前記巡回係数は、前記変化量と、前記１つ前のフレームにおいて決定された巡回係数とに基づいて決定されることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に対してノイズ低減処理を行う技術に関する。
【背景技術】
【０００２】
従来、動画像を構成する各フレームに対しノイズ低減処理を実行する方法として、巡回型ノイズ低減処理技術が知られている。巡回型ノイズ低減処理技術は、注目するフレームの入力信号と、時間方向において直前のフレームに対応するノイズ低減処理された出力信号とを混合することによって、注目するフレームにおけるノイズ低減処理された出力信号を算出する方法である。これにより、注目するフレームにおける時間方向に発生するランダムノイズを低減する。
【０００３】
ここで、注目するフレームの入力信号と直前のフレームの出力信号を混合する比率（以降、巡回係数と呼ぶ）は、前記入力信号が静止被写体を表すか動体被写体を表すかの判定処理（以降、この処理を動体判定処理と呼ぶ）に応じて決められる。特許文献１には、直前のフレームの出力信号と現像のフレームの入力信号の差分を算出し、差分の大きさに基づいて、その画素が動体の部分か静止被写体の部分であるかを判定し巡回係数を決定する方法を開示している。差分が小さい画素は、時間の経過とともには変化しない静止した部分とし、直前フレームの出力信号の混合比率を大きくする。一方、差分が大きい画素は、時間とともに動いている部分として、直フレームの出力信号の混合比率を小さくしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２２４４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動体を含む動画像を撮影した場合、動画像を構成する各フレームにおいて、動体にモーションブラーと呼ばれる被写体ぶれが発生している場合がある。特許文献１に記載された方法によれば、フレーム間における信号の差分に基づく動体判定処理結果を用いて巡回係数を算出する。そのため、直前のフレームまたは注目するフレームにおいて動体にモーションブラーが生じている場合には、実際には静止被写体の領域であるにも関わらずフレーム間の差分が大きくなり、動体周辺の判定結果に誤判定が生じてしまう。その結果、巡回型ノイズ低減処理されたフレームにおいて、動体周辺に前フレームに発生しているモーションブラーの残像や尾引きなどのアーチファクトが発生してしまう。
【０００６】
そこで本発明は、動画像を構成する各フレームに対して時間方向に発生するランダムノイズを、巡回型ノイズ低減処理により適切に低減することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため本発明は、複数のフレームからなる動画像のノイズ低減処理をする画像処理装置であって、注目フレームにおける画素の入力信号を取得する入力信号取得手段と、時間方向において１つ前のフレームの出力信号を保持する出力信号保持手段と、前記注目フレームの入力信号と、前記１つ前の出力信号との変化量を求める検出手段と、前記変化量に基づいて、前記注目フレームの入力信号が動体であるかどうかを判定する判定手段と、前記変化量と前記前のフレームにおける前記判定手段による判定の結果とに基づいて、巡回係数を決定する決定手段と、前記入力信号と前記出力信号とを前記巡回係数に応じて混合することにより、前記注目フレームにおける画素の出力信号を算出する算出手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画像を構成する各フレームに対して時間方向に発生するランダムノイズを適切に低減することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の外観を示す概念図。
【図２】撮像装置の内部構成を示すブロック図。
【図３】画像処理部の内部構成を示すブロック図。
【図４】巡回型ノイズ低減処理の入出力の関係の一例を示す図。
【図５】実巡回型ノイズ低減処理部の内部構成を示すブロック図。
【図６】巡回型ノイズ低減処理部３０４における処理の流れを示す図。
【図７】ノイズの分散を算出する一例を示す図。
【図８】入力信号と動体判定結果の関係を表した図。
【図９】フレーム間変化量と仮巡回係数の関係を表したグラフ。
【図１０】フレーム間変化量と仮巡回係数の関係を表したグラフ。
【図１１】動体にモーションブラーが発生しているフレームの一例を示した図。
【図１２】従来方式における入力信号から出力信号を得る過程を示す説明図。
【図１３】第１実施形態における入力信号から出力信号を得る過程を示す説明図。
【図１４】巡回型ノイズ低減処理部の内部構成を示すブロック図。
【図１５】巡回型ノイズ低減処理のフローチャート。
【図１６】巡回型ノイズ低減処理のフローチャート。
【図１７】巡回係数の決定方法の一例を示す図。
【図１８】連続する２フレームにおいて動体が手前と奥にある場合の一例を示した図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１１】
＜第１実施形態＞
第１実施形態では、巡回ノイズ低減処理を含む画像処理装置を内蔵した撮像装置を例に説明する。図１は、撮像装置の外観を示す概念図である。撮像装置１０１は、動画像を撮影できる装置である。以降、動画像を撮影する構成について説明する。ここで動画像とは、時間方向に連続した複数の画像データをフレームとするデータ群のことを意味する。
【００１２】
図１において、光学部１０２、撮影ボタン１０３、表示部１０４、操作ボタン１０５を表している。光学部１０２はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する。撮影ボタン１０３は、ユーザが撮影の開始を撮像装置１０１に指示するためのボタンである。表示部１０４は、液晶ディスプレイなどが用いられており、撮像装置１０１において処理された画像データや各種データなどが表示される。操作ボタン１０５は、ユーザが撮影条件のパラメータなどを撮像装置１０１に指示するためのボタンである。
【００１３】
図２は、第１実施形態における撮像装置１０１の内部構成を示すブロック図である。カラー撮像素子部２０１は、所定時間ごとに光学部１０２によって集光された光情報を電流値へと変換する素子である。カラー撮像素子２０１は、カラーフィルタなどと組み合わせられることにより、画像データを構成する各画素に対応する色毎の電流値を色情報として出力する。なおカラー撮像素子２０１は、すべての画素に対して、任意の露光時間を設定可能な撮像センサーであるとする。ＣＰＵ２０２は、各構成における処理すべてに関わる。ＣＰＵ２０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３や、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４に格納された命令を順次に読み込み、解釈し、その結果に従って各構成に処理を実行させる。
【００１４】
撮像系制御部２０５は、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ２０２から指示された制御を光学部１０２に対して行う。制御部２０６は、撮影ボタン１０３や操作ボタン１０５から入力されるユーザによる指示に基づいて、動画像の撮影の開始及び終了を制御する。
【００１５】
Ａ／Ｄ変換部２０８は、カラー撮像素子２０１を介して得られる画像データを構成する画素の色情報を、デジタル信号値に変換する。Ａ／Ｄ変換部２０８は、動画像を撮影している間、フレームである各画像データを連続して出力することになる。画像処理部２０９は、デジタル信号値からなる画像データに対して、画像処理を行う。詳細については後述する。
【００１６】
エンコーダ部２１０は、画像処理部２０９から得られる動画像をＭＰＥＧなどのファイルフォーマットに符号化する。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）に画像データを送受信するためのインタフェースである。システムバス２１２は、各構成間でデータを送受信するためのバスである。
【００１７】
図３は、第１実施形態における画像処理部２０９の内部構成を示すブロック図である。第１実施形態において画像処理部２０９は、画像処理専用のハードウェア回路により実現される。画像入力部３０１は、カラー撮像素子部２０１において撮像し、Ａ／Ｄ変換部２０１によりデジタル信号値に変換された画像データを、動画像を構成する１フレームずつ連続して入力する。現像処理部３０２は、画像入力部３０１により入力された画像データに対して、デモザイク、ホワイトバランス、ガンマ、シャープネスなどの現像処理を行う。空間ノイズ低減処理部３０４は、現像処理された画像データに対して、空間フィルタを用いてフィルタ処理する。空間ノイズ低減処理部３０３は、２次元的な空間方向に発生するランダムノイズを低減する処理を行う。巡回型ノイズ低減処理部３０４は、空間ノイズ低減処理から出力される画像データに対して、時間方向に発生するランダムノイズを低減する処理を行う。巡回型ノイズ低減処理部３０４は、直前のフレームに対応する画像データと注目するフレームの画像データとに基づいて、注目するフレームのノイズ低減処理をおこなう。巡回型ノイズ低減処理部３０４における処理の詳細については後述する。画像出力部３０５は、巡回型ノイズ低減処理部３０４から出力されるデータを現像済みのデータとして、ＣＰＵ２０２からの指示に応じて表示部１１３またはエンコーダ２０４に出力する。なおエンコード部２０４にて符号化されたデータは、メディアＩ／Ｆ２１１を介して外部装置であるＰＣやディスプレイ等に出力される。
【００１８】
ここで、巡回型ノイズ低減処理部３０４における巡回型ノイズ低減処理の原理について説明する。いま、時刻ｎ≧２のフレームにおけるある画素の入力信号をｘ［ｖ，ｈ，ｎ］と表し、巡回型ノイズ低減処理後の出力信号をｙ［ｖ，ｈ，ｎ］と表す。なお、ｖ、ｈはフレーム内の水平方向と垂直方向の座標位置を示す。同様に、画素位置の等しい時刻ｎ−１のフレームにおける巡回型ノイズ低減処理後の出力信号をｙ［ｖ，ｈ，ｎ−１］と表すとする。このとき、巡回型ノイズ低減処理された出力信号は、式（１）により算出される。
ｙ［ｖ，ｈ，ｎ］＝（１−α［ｖ，ｈ，ｎ］）・ｘ［ｖ，ｈ，ｎ］＋α［ｖ，ｈ，ｎ］・ｙ［ｖ，ｈ，ｎ−１］      （１）
α［ｖ，ｈ，ｎ］は、時刻ｎのフレームにおける画素［ｖ，ｈ］に対応する巡回係数（０≦α［ｖ，ｈ，ｎ］≦１）である。式（１）に示す通り、巡回型ノイズ低減処理後の出力信号ｙ［ｖ，ｈ，ｎ］は、フレームｎにおける入力信号と、直前のフレームｎ−１の出力信号との重みつけ加算によって算出される。ただし、ｎ＝１のフレームにおける出力信号は入力信号と同じ信号であるとする。
【００１９】
なお、現像処理部３０２から得られる入力信号ｘ［ｖ，ｈ，ｎ］のデータ形式に特に制限はない。モノクロの動画像を撮影するモードであれば、１フレームに対応する単色の画像データが出力される。カラーの動画像を撮影するモードである場合、１フレームについてレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）に対応する３つの画像データが出力される形式がある。また、カラーの動画像を撮影するモードにおいて、輝度信号（Ｙ）と２つの色差信号（Ｕ、Ｖ）からなるデータ形式を採用することも可能である。ＹＵＶ毎のデータ形式を採用する場合、図４に示すように、１フレームにつきＹ成分のデータ、Ｕ成分のデータ、Ｖ成分のデータそれぞれに処理を行う。
【００２０】
フレームｎにおける入力信号ｘ［ｖ，ｈ，ｎ］が静止被写体の部分を表す値であると判定される場合、巡回係数α［ｖ，ｈ，ｎ］の重みを大きく設定することで、直前フレーム（ｎ−１）における出力信号ｙ［ｖ，ｈ，ｎ−１］を多く混合する。これにより、フレームｎの画素［ｖ，ｈ］における時間方向に発生するノイズを強く低減する。一方、フレームｎにおける入力信号ｘ［ｖ，ｈ，ｎ］が動体の部分を表す値であると判定される場合、巡回係数α［ｖ，ｈ，ｎ］の重みを小さく設定することで、フレームｎにおける入力信号ｘ［ｖ，ｈ，ｎ］を多く混合する。これにより、フレームｎにおける動体を表す成分を保存する。
【００２１】
例えば、式（２）に示すように、画素が静止被写体であると判定された場合に用いる静止被写体用巡回係数αｓを０．８とし、画素が動体であると判定された場合に用いる動体用巡回係数αｍを０．２とする。
静止被写体用巡回係数      αｓ＝０．８
動体用巡回係数            αｍ＝０．２      （２）
式（２）のように予め決められた巡回係数を用いると、入力信号ｘ［ｖ，ｈ，ｎ］に対する動体判定結果に応じて、式（３）の通りに入力信号ｘ［ｖ，ｈ，ｎ］の巡回係数α［ｖ，ｈ，ｎ］が決定される。
ｘ［ｖ，ｈ，ｎ］の動体判定結果が“静止被写体”→α［ｖ，ｈ，ｎ］＝αｓ
ｘ［ｖ，ｈ，ｎ］の動体判定結果が“動体”      →α［ｖ，ｈ，ｎ］＝αｍ    （３）
このように動体判定処理の結果に応じた巡回係数を設定することで、巡回型ノイズ低減処理では、静止被写体と動体とを区別してノイズ低減処理を施すことができる。
【００２２】
図５は、第１実施形態における巡回型ノイズ低減処理部３０４の詳細な構成を示すブロック図である。巡回型ノイズ低減処理部３０４は、入力信号取得部４０１、出力信号保持部４０２、変化量検出部４０３、動体判定処理部４０４、仮巡回係数算出部４０５、動体判定結果保持部４０６、巡回係数決定部４０７、信号合成部４０８を有する。
【００２３】
入力信号取得部４０１は、時刻ｎのフレーム（以降、現フレームと呼ぶ）における各画素の入力信号を順に取得する。出力信号保持部４０２は、現フレームの１つ前のフレームである時刻（ｎ−１）に対応するフレーム（以降、前フレームと呼ぶ）の出力信号を保持する。
【００２４】
変化量検出部４０３は、現フレームにおける入力信号と、前フレームにおける同画素の出力信号との変化量を、フレーム間変化量として算出する。動体判定処理部４０４は、変化量検出部４０３から入力されるフレーム間変化量に基づいて、現フレームの入力信号が静止被写体を表すか動体を表すかを判定する。
【００２５】
仮巡回係数算出部４０５は、変化量検出部４０３が算出するフレーム間変化量に応じて、現フレームの入力信号に対して仮の巡回係数を決定する。動体判定結果保持部４０６は、動体判定処理部４０４から入力される動体判定結果を保持する。なお動体判定結果保持部４０６は、少なくとも１フレーム分の動体判定結果を保持できる。従って、動体判定結果保持部４０６は、前フレームにおける動体判定結果を保持するとともに、現フレームに対する動体判定処理部４０４による処理に従って、現フレームにおける動体判定結果が上書きされていくことになる。なお動体判定結果保持部４０６に保持された画素毎の動体判定結果は、注目画素について前フレームの動体判定結果を参照が完了すると、現フレームの動体判定結果による上書きが可能になる。
【００２６】
巡回係数決定部４０７は、動体判定結果保持部４０６が保持する前フレームにおける各画素の動体判定結果を参照する。巡回係数決定部４０７は、前フレームにおける動体判定結果と、仮巡回係数算出部４０５から入力される仮巡回係数に基づき、現フレームにおける巡回係数を画素毎に決定する。信号合成部４０８は、前記入力信号取得部４０１から入力される現フレームの入力信号と、出力信号保持部４０２から入力される前フレームの出力信号を、巡回係数決定部４０７から入力される巡回係数に基づいて混合し、現フレームの出力信号を得る。
【００２７】
図６は、巡回型ノイズ低減処理部３０４における処理の流れを示す図である。なお第１実施形態における巡回型ノイズ低減処理を、ソフトウェアによって実現してもよい。ソフトウェアにより実現する場合は、ＲＯＭ２０３に格納された、図６に示すフローチャートに従って動作するコンピュータプログラムをＣＰＵ２０２が読み出し実行することで、図５に示す各部の機能を実現できる。処理対象とする注目フレームを現フレームとし、現フレームより時間方向に１つ前のフレームを前フレームとする。
【００２８】
ステップＳ５０１において変化量検出部４０３は、入力信号取得部４０１から現フレームにおける画素［ｖ，ｈ］の入力信号ｘ［ｖ，ｈ，ｎ］を取得する。ステップＳ５０２において変化量検出部４０３は、出力信号保持部４０２が保持する前フレームにおける画素［ｖ，ｈ］の出力信号ｙ［ｖ，ｈ，ｎ−１］を取得する。
【００２９】
ステップＳ５０３において巡回係数決定部４０７は、動体判定結果保持部４０６が保持する前フレームにおける画素［ｖ，ｈ］の動体判定結果Ｒ［ｖ，ｈ，ｎ−１］を取得する。ステップＳ５０４において変化量検出部４０３は、現フレームの入力信号ｘ［ｖ，ｈ，ｎ］と前フレームの出力信号ｙ［ｖ，ｈ，ｎ−１］とに基づいて、式（４）の通りにフレーム間変化量を算出する。
│Δ［ｖ，ｈ，ｎ］│＝│ｘ［ｖ，ｈ，ｎ］−ｙ［ｖ，ｈ，ｎ−１］│      （４）
なおここでは、式（４）のように表わされる差分絶対値をフレーム間変化量として算出する。ただし、当然のことながらフレーム間変化量として、差分二乗値や入力信号ｘ［ｖ，ｈ，ｎ］と出力信号［ｖ，ｈ，ｎ−１］との低周波成分の差分絶対値などを用いてフレーム間変化量を算出してもよい。
【００３０】
ステップＳ５０５において仮巡回係数算出部４０５は、ステップＳ５０４において算出されたフレーム間変化量に基づき、式（５）に従って現フレームにおける画素［ｖ，ｈ］の仮巡回係数β［ｖ，ｈ，ｎ］を算出する。仮巡回係数算出部４０５は、所定の閾値とフレーム間変化量とを比較し、以下の通りに仮巡回係数を決定する。
【００３１】
【数１】
2017005529.tif 000003
図９に、式（５）を用いた場合のフレーム間変化量｜Δ［ｖ，ｈ，ｎ］｜と仮巡回係数β［ｖ，ｈ，ｎ］の関係を表したグラフを示す。図９にあるように静止被写体用仮巡回係数βｓの値を０．８、動体用仮巡回係数βｍの値を０．２と設定する。閾値Ｔｈ１は、静止被写体であると判定するための値を予め設定される。フレーム間変化量が閾値Ｔｈ１以下であれば、現フレームにおける画素［ｖ，ｈ］は、静止被写体を表す画素であると判定される。この場合、仮巡回係数は、静止被写体用の仮巡回係数として０．８が決定される。また、閾値Ｔｈ２は、動体であると判定するための値を予め設定される。フレーム間変化量が閾値Ｔｈ２以上であれば、現フレームにおける画素［ｖ，ｈ］は、動体を表す画素であると判定される。この場合、仮巡回係数は、動体用の仮巡回係数として０．２が決定される。仮巡回フレーム間変化量が閾値Ｔｈ１以上閾値Ｔｈ２未満である場合、現フレームにおける画素［ｖ，ｈ］は、静止被写体とも動体とも判別しがたい。そのため、仮巡回係数は、静止被写体用の仮巡回係数から動体用の仮巡回係数に段階的に変化するように決定される。なお、静止被写体用の仮巡回係数βｓ及び動体用の仮巡回係数βｍは、式（６）を満たすように設定されている。
【００３２】
【数２】
2017005529.tif 000004
画素が静止被写体の部分である場合、巡回型ノイズ低減処理された直前フレームの出力信号の重みを大きく、現フレームの入力信号の重みを小さくして加重平均を算出することで、現フレームにおけるノイズ低減効果を奏することができる。一方画素が動体の部分である場合、直前フレームの出力信号とは異なる部分を表す画素である可能性が高いため、現フレームの入力信号の重みを大きく、直前フレームの出力信号の重みを小さくして加重平均を算出することで動体を表す信号を保存する。従って、静止被写体用の仮巡回係数βｓ及び動体用の仮巡回係数βｍは、０．８および０．２の例に限るものではなく、撮像装置１０１の特性やノイズ低減処理の求められる効果に応じて設定することができる。
【００３３】
また、動体判定に応じて仮の巡回係数を決定するための閾値Ｔｈ１、Ｔｈ２は、現フレームの入力信号ｘ［ｖ，ｈ，ｎ］および前フレームの出力信号ｙ［ｖ，ｈ，ｎ−１］それぞれに重畳されているノイズ量を考慮して適宜決定されるパラメータである。例えば、式（７）、（８）のように設定される。
Ｔｈ１＝２σｄｉｆｆ      （７）
Ｔｈ２＝３σｄｉｆｆ      （８）
ここで式（７）、（８）の右辺にあるσｄｉｆｆは、現フレームの入力信号と前フレームの出力信号との差分信号に重畳されるノイズの分散σ２ｄｉｆｆに基づいて算出される。現フレームの入力信号ｘ［ｖ，ｈ，ｎ］に重畳されるノイズの分散をσ２ｉｎｐｕｔとする。また各画素が出力信号からなる前フレーム出力信号ｙ［ｖ，ｈ，ｎ−１］に重畳されるノイズの分散をσ２ｏｕｔｐｕｔとする。このとき、差分信号に重畳されるノイズの分散σ２ｄｉｆｆは、式（９）のように算出される。
σ２ｄｉｆｆ＝σ２ｉｎｐｕｔ＋σ２ｏｕｔｐｕｔ      （９）
また、現フレームに重畳されるノイズの分散をσ２ｉｎｐｕｔは式（１０）、各画素が出力信号からなる前フレームに重畳されるノイズの分散をσ２ｏｕｔｐｕｔは式（１１）によって算出される。
【００３４】
【数３】
2017005529.tif 000005
【００３５】
【数４】
2017005529.tif 000006
一般に、ノイズの分散とは、所定の領域において各画素に付加されたノイズ量のばらつき（各ノイズ量に対する頻度）を示す値である。そのため、ある注目画素の信号に重畳するノイズ量の分散を算出するには、注目画素を含む近傍領域における各信号が必要である。式（１０）（１１）においてｓ１およびｓ２は、注目画素の近傍領域を規定するものである。ｓ１およびｓ２を大きくするほど、より広い領域（より多い画素数）の信号に基づいて、ノイズの分散が算出されることを意味する。ノイズの分散は、画素数が多いほどより高精度に求めることができるので、式（１０）（１１）においてもｓ１およびｓ２を大きい値に設定するほど、ノイズの分散をより正確に算出できる。図７に、ｓ１＝２、ｓ２＝２と設定した場合におけるノイズ分散の算出例を示す。ｓ１＝２、ｓ２＝２である場合、画素［ｖ，ｈ］を中心として５画素×５画素の領域におけるノイズ量の分散を計算することになる。なお、ノイズの分散の算出方法は式（１０）、（１１）に限るものではなく、センサーのノイズ特性を用いて算出する方法等、様々な算出方法を採用することができる。
【００３６】
このように、ノイズの分散に基づいて閾値Ｔｈ１およびＴｈ２を設定することにより、静止被写体である画素にノイズが重畳したことにより前フレームの出力信号と現フレームの入力信号の間に差分が生じたのであるかどうかを判定することができる。画素が静止被写体の部分である場合、前フレームの出力信号と現フレームの入力信号はほぼ同じ値のはずである。ただし、ノイズが重畳することにより差分が生じる。差分信号に重畳するノイズの分散がσ２ｄｉｆｆである場合、９５％以上の差分信号は、２×σｄｉｆｆの間の値になる。そこで、差分信号が２×σｄｉｆｆ以下であれば静止被写体の可能性が高く、閾値Ｔｈ１を２×σｄｉｆｆとしている。また、差分信号のノイズの分散がσ２ｄｉｆｆである場合、差分信号として３×σｄｉｆｆを超えた値になることはほぼない。そこで、差分信号が３×σｄｉｆｆ以上の画素については、ノイズによる信号値の変化ではなく、動体であると判定する。以上の通り、仮巡回係数算出部４０５は現フレームの画素［ｖ，ｈ］について、動体判定処理をすると同時に動体判定結果に応じた仮巡回係数を出力する。
【００３７】
図５に戻り、ステップＳ５０６において動体判定処理部４０４は、ステップＳ５０５で算出されたフレーム間変化量｜Δ［ｖ，ｈ，ｎ］｜に基づいて、現フレームの入力信号ｘ［ｖ，ｈ，ｎ］が静止被写体か動体かを判定する。動体判定処理は、フレーム間変化量と所定の閾値との比較により、式（１２）の通りに、判定結果Ｒ［ｖ，ｈ，ｎ］が得られる。
【００３８】
【数５】
2017005529.tif 000007
ここで、閾値Ｔｈ３は、閾値Ｔｈ２と同様に、現フレームの入力信号ｘ［ｖ，ｈ，ｎ］と前フレームの出力信号ｙ［ｖ，ｈ，ｎ−１］との差分信号に重畳されるノイズ量に基づいて決定されるパラメータである。ここでは、閾値Ｔｈ３は、式（１３）のように閾値Ｔｈ２と同じ値が設定される。
Ｔｈ３＝３σｄｉｆｆ      （１３）
静止画被写体であるにも関わらずノイズ量が加算された影響により生じた、前フレームと現フレーム間の差分信号としては、ノイズの分散σ２ｄｉｆｆから得られる３×σｄｉｆｆ以上の値になることはほぼ起こり得ない。そのため式（１３）の閾値Ｔｈ３により動体判定できる。
【００３９】
ステップＳ５０７において、動体判定処理部４０４がステップＳ５０６において算出した画素毎の動体判定結果Ｒ［ｖ，ｈ，ｎ］を順に動体判定結果保持部４０６に出力し、動体判定結果保持部４０６が動体判定結果Ｒ［ｖ，ｈ，ｎ］を保持する。現フレームにおいて、入力信号ｘ［ｖ，ｈ，ｎ］と、動体判定結果Ｒ［ｖ，ｈ，ｎ］との対応関係を図８（ａ）に示す。なお、動体判定結果保持部４０６に保持される動体判定結果Ｒ［ｖ，ｈ，ｎ］は画素単位に限るものではなく、１画素以上の単位であれば特に制限されない。例えば、図８の下段に示すように入力画素ｘ［ｖ，ｈ，ｎ］において２画素×２画素のサイズを１単位として、動体判定結果を保持することも可能である。領域毎に４つの動体判定結果の平均値か４つのうちの何れかを代表値とし、動体判定結果を低解像度化してもよい。
【００４０】
ステップＳ５０８において巡回係数決定部４０７は、仮巡回係数算出部４０５から仮巡回係数β［ｖ，ｈ，ｎ］を、動体判定結果保持部４０６から前フレームにおける画素［ｖ，ｈ］の動体判定結果Ｒ［ｖ，ｈ，ｎ−１］を取得する。巡回係数決定部４０７は、仮巡回係数β［ｖ，ｈ，ｎ］と前フレームの動体判定結果Ｒ［ｖ，ｈ，ｎ−１］とに基づいて、現フレームにおける画素［ｖ，ｈ］の巡回係数α［ｖ，ｈ，ｎ］を決定する。巡回係数決定部４０７は、式（１４）の通りに現フレームの前記巡回係数α［ｖ，ｈ，ｎ］を決定する。
Ｒ［ｖ，ｈ，ｎ−１］＝動体      →  α［ｖ，ｈ，ｎ］＝αｍ
Ｒ［ｖ，ｈ，ｎ−１］＝静止被写体→  α［ｖ，ｈ，ｎ］＝β［ｖ，ｈ，ｎ］    （１４）
式（１４）に示すように、前フレームの動体判定結果Ｒ［ｖ，ｈ，ｎ−１］が動体と判定された結果を示す場合は、現フレームの画素ｘ［ｖ，ｈ］に対する巡回係数α［ｖ，ｈ，ｎ］として、動体用巡回係数αｍを決定する。一方、前フレームの動体判定結果Ｒ［ｖ，ｈ，ｎ−１］が静止被写体と判定された結果を示す場合、現フレームの画素［ｖ，ｈ］に対する巡回係数α［ｖ，ｈ，ｎ］として、仮巡回係数β［ｖ，ｈ，ｎ］の値を決定する。つまり、前フレームにおいて動体と判定された画素位置の画素については、現フレームの動体判定結果に関わらず、他フレームの出力信号をあまり混合しない動体用巡回係数を巡回係数とする。前フレームにおいて動体と判定されなかった画素位置の画素については、現フレームの動体判定結果に応じた巡回係数をそのまま巡回係数とする。
【００４１】
ステップＳ５０９において信号合成部４０６は、巡回係数α［ｖ，ｈ，ｎ］を用いて、現フレームの入力信号ｘ［ｖ，ｈ，ｎ］と前フレームの出力信号ｙ［ｖ，ｈ，ｎ−１］を合成し、現フレームの出力信号ｙ［ｖ，ｈ，ｎ］を得る。
【００４２】
ステップＳ５１０において信号合成部４０６は、ステップＳ５０９において算出した出力信号ｙ［ｖ，ｈ，ｎ］を出力信号保持部４０２に出力し、出力信号保持部が出力信号ｙ［ｖ，ｈ，ｎ］を保持する。以上、説明したステップを現フレームの全画素の入力信号に対して行うことで、巡回型ノイズ低減処理が完了する。
【００４３】
第１実施形態で説明した、前フレームの動体判定結果を利用して巡回係数を決定する方法の効果を説明する。図１１は、２つのフレームである。図１１（ａ）に時刻ｎ−１のフレームである画像データを、図１１（ｂ）は、時刻ｎのフレームである画像データを示している。図１１に示す２つのフレームには、同じ被写体Ａが撮像されているが、左から右へ等速に移動しているため、各フレームにおける被写体Ａの位置が異なっている。また、各フレームにおいて被写体の左側の境界には、モーションブラーが発生している。被写体Ａを除く背景画像には、いずれのフレームにおいても変化はない。時刻ｎ−１の破線で囲まれた領域における横方向のラインプロファイルを図１２（ａ）および図１３（ａ）に、時刻ｎの破線で囲まれた領域における横方向のラインプロファイルを図１２（ｂ）および図１３（ｂ）に示す。
【００４４】
図１２は、現フレームと前フレーム間の変化量のみに基づいて現フレームの巡回係数を決定した場合を説明するための図である。図１２（ｃ）に、対応する画素のフレーム間変化量を示す。破線は、動体と判定するための閾値Ｔｈ２（＝Ｔｈ３）である。なお前述のステップ５０５やステップＳ５０６では、画素毎に閾値を算出するため画素によって閾値が変動する可能性がある。ただし実際には、１つの画像データにおいて画素毎に大きくノイズの分散が変動することはあまり発生しないため、各画素の閾値は概ね同じの値が算出されたものとする。図１２（ｃ）においてフレーム間変化量が、破線が示す閾値以上である画素については、動体と判定される。その結果、各画素の巡回係数は、図１２（ｄ）に示すように算出される。静止被写体用巡回係数は、前フレームの入力信号に対する重みを大きくする係数である。従って、図１２（ｅ）に示すように、現フレームにおいては動体を表す画素ではないにも関わらず、前フレームのモーションブラーの影響により、アーチファクトが発生してしまう。
【００４５】
一方、図１３は、第１実施形態による方法により、現フレームの巡回係数を決定した場合を説明するための図である。図１３（ａ）〜（ｃ）については、図１２（ａ）〜（ｃ）と同じである。また、図１３（ｄ）は、図１２（ｄ）と同様の方法で巡回係数を決定した結果を示す。ここでは図１３（ｄ）は、仮の巡回係数であることに注意されたい。図１３（ｅ）に、前フレームにおける各画素の動体判定結果を示している。前フレームにおける各画素の動体判定結果は、前フレームとさらに前のフレームとに基づいて判定された結果である。第１実施形態では、前フレームにおいて動体と判定された画素については、現フレームにおいても動体用巡回係数を用いる。その結果、図１２（ｅ）においてアーチファクトが生じていた領域について、前フレームの動体判定結果を利用することで、図１３（ｇ）に示す通りアーチファクトの発生を防げることがわかる。
【００４６】
また、前記動体判定結果保持部４０６に保持される過去の判定結果は１フレーム分に限るものではなく、複数フレームにわたる判定結果を保持していてもよい。複数フレームにわたる判定結果を用いた補正処理方法についての詳細は、実施例３で詳しく説明する。
【００４７】
なお、前述の説明では、ステップＳ５０５やステップＳ５０６において用いる動体判定用の閾値を、画素毎に算出されるノイズの分散に基づいて設定した。ただし、閾値Ｔｈ１，Ｔｈ２，Ｔｈ３は予め設定した固定の値でもよい。撮像装置１０１のノイズ特性に応じて閾値を設定することが望ましい。あるいは、入力されたフレームの画像データ全体または部分領域を参照して、ノイズの分散を算出し、各画素の閾値を決定してもよい。この場合は、フレームにおける全ての画素に対して同じ閾値を用いることになる。
【００４８】
またステップＳ５０３において、３つ以上の閾値を設定し、図１０に示すようにフレーム間変化量｜Δ［ｖ，ｈ，ｎ］｜に応じて仮巡回係数β［ｖ，ｈ，ｎ］の値を滑らかに変化させるように設定することも可能である。
【００４９】
＜第２実施形態＞
第１実施形態では前フレームにおける動体判定結果を用いて現フレームの巡回係数を決定する方法について説明した。第２実施形態では、前フレームにおいて算出した各画素の仮巡回係数を用いて現フレームにおける巡回係数を決定する方法について説明する。なお、第１実施形態と同じ構成については同じ符号を付し、その説明を省略する。
【００５０】
図１４は、第２実施形態における巡回型ノイズ低減処理部３０４の詳細な構成の一例を示すブロック図である。巡回型ノイズ低減処理部３０４は、入力信号取得部４０１、出力信号保持部４０２、変化量検出部４０３、仮巡回係数算出部４０５、仮巡回係数保持部１４０１、巡回係数決定部１４０２、信号合成部４０８から構成される。第２実施形態では、仮巡回係数算出部４０５が算出した各画素の仮巡回係数を、仮巡回係数保持部１４０１にも出力する。仮巡回係数保持部１４０１は、巡回係数決定部１４０２が次のフレームの巡回係数を決定する処理を終えるまで、現フレームの仮巡回係数を保持しておく。巡回係数決定部１４０２は、仮巡回係数保持部４０５から前フレームの仮巡回係数を取得し、前フレームの仮巡回係数と仮巡回係数算出部４０５から得られる現フレームの仮巡回係数とに基づき、現フレームにおける巡回係数を決定する。
【００５１】
図１５は、第２実施形態における巡回型ノイズ低減処理部３０４が実行する処理のフローチャートである。以下では、第１実施形態と異なるステップＳ７０７について詳細を述べる。巡回係数決定部１４０２は、前フレームの画素［ｖ，ｈ］仮巡回係数β［ｖ，ｈ，ｎ−１］を用いて、式（１５）の通りに巡回係数α［ｖ，ｈ，ｎ］を決定する。
【００５２】
【数６】
2017005529.tif 000008
【００５３】
【数７】
2017005529.tif 000009
前フレームの仮巡回係数β［ｖ，ｈ，ｎ−１］が閾値Ｔｈ４未満の場合、前フレームにおける入力信号ｘ［ｖ，ｈ，ｎ−１］を静止被写体と解釈する。この場合、巡回係数α［ｖ，ｈ，ｎ］の値を現フレームにおける仮巡回係数β［ｖ，ｈ，ｎ］の値に設定する。一方、前フレームの仮巡回係数β［ｖ，ｈ，ｎ−１］が閾値Ｔｈ４以上の場合、前フレームにおける入力信号ｘ［ｖ，ｈ，ｎ−１］を動体と解釈する。このとき巡回係数決定部１４０２は、現フレームの巡回係数α［ｖ，ｈ，ｎ］を動体用仮巡回係数βｍの値に設定する。閾値Ｔｈ４は式（１６）に示すように、静止被写体用仮巡回係数の値以上かつ動体用仮巡回係数の値以下を満たす範囲で、適宜設定すればよい。
【００５４】
このように前フレームの仮巡回係数と現フレームの仮巡回係数とに基づいて、現フレームの巡回係数を決定する。これにより、現フレームにおいて静止被写体領域にはノイズ低減効果を保ちつつ、動体周辺に発生する前フレームからの残像によるボケや尾引きなどのアーファクトを抑制することができる。
【００５５】
＜第３実施形態＞
第１実施形態では、１つ前のフレームの動体判定結果と現フレームの仮巡回係数とに基づいて、現フレームの巡回係数α［ｖ，ｈ，ｎ］を決定する方法を例に説明した。第３実施形態では、１つ前のフレームだけではなく過去の複数フレームの動体判定結果に応じて、現フレームの巡回係数を決定する方法について説明する。なお第１実施形態と同様の構成については、同じ符号を付し、その説明を省略する。第３実施形態の巡回型ノイズ低減処理部３０４の基本的な構成は、第１実施形態の図５と同じである。ただし、動体判定結果保持部４０６は、ｋフレーム分の動体判定結果を保持できる。
【００５６】
図１６は、第３実施形態において巡回型ノイズ低減処理部３０４が実行する処理のフローチャートである。ステップＳ９０３にいて巡回係数決定部４０７は、動体判定結果保持部４０６から、画素［ｖ，ｎ］に対するｋフレーム分の動体判定結果を取得する。また、
次に、ステップＳ９０８について説明する。前述したように、現フレームにおいてアーチファクトが生じる領域は、過去のフレームにおいて動体と判定されている領域である確率が高い。従って、連続する複数枚のフレームにおいて動体と判定されている頻度が多い領域ほど、アーチファクトが生じやすいことが考えられる。そこで、ステップＳ９０８では、過去の複数フレームの動体判定結果Ｒ［ｖ，ｈ，ｎ−１］，．．．，Ｒ［ｖ，ｈ，ｎ−ｋ］（ｋ≧２）に基づいて、現フレームの巡回係数α［ｖ，ｈ，ｎ］を決定する。
【００５７】
まず、巡回係数決定部４０７は、入力信号ｘ［ｖ，ｈ，ｎ］に対応する複数フレームの動体判定結果Ｒ［ｖ，ｈ，ｎ−１］，．．．．．．，Ｒ［ｖ，ｈ，ｎ−ｋ］（ｋ≧２）のうち、動体と判定されているフレームの数をカウントする。カウントした結果得られるカウント値が、閾値Ｔｈ＿ｃｏｕｎｔより大きかった場合は、入力信号ｘ［ｖ，ｈ，ｎ］を動体として解釈し、巡回係数α［ｖ，ｈ，ｎ］を動体用巡回係数αｍに補正する。一方、カウント値が閾値Ｔｈ＿ｃｏｕｎｔ以下の場合は、仮巡回係数β［ｖ，ｈ，ｎ］の値を、巡回係数α［ｖ，ｈ，ｎ］として決定する。具体的なカウント処理は式（１７）と式（１８）として表すことができる。
【００５８】
【数８】
2017005529.tif 000010
【００５９】
【数９】
2017005529.tif 000011
巡回係数は、式（１９）のようにして決定される。
【００６０】
【数１０】
2017005529.tif 000012
閾値Ｔｈ＿ｃｏｕｎｔは、例えば、ｋ＝５、Ｔｈ＿ｃｏｕｎｔ＝３と設定する。これは過去５フレーム分の動体判定結果のうち多数決により、現フレームの巡回係数を決定することになる。図１８は、第３実施形態における巡回係数の決定方法を説明する図である。過去５フレームの動体判定結果において動体と判定されたフレームの合計が３フレーム以下の場合、仮巡回係数β［ｖ，ｈ，ｎ］を巡回係数α［ｖ，ｈ，ｎ］として決定する。一方、動体と判定されたフレームの合計が３フレームよりも多い場合は、巡回係数α［ｖ，ｈ，ｎ］を動体用巡回係数αｍに補正する。以下、複数枚の動体判定結果を用いて巡回係数を決定することにより、ノイズの影響によって１つ前のフレームの動体判定結果に誤判定が生じた場合であっても、更に過去のフレームを参照することができる。その結果、ノイズに対してよりロバストな処理が実現される。
【００６１】
なお、複数フレームの枚数ｋは固定されるものではなく、画像内における被写体の状況に応じて変更するようにしてもよい。例えば、距離マップなどを参照してフレーム枚数ｋを変更する。図１９（ａ）に示すように、動く被写体が手前にある場合、フレーム間変化が生じる領域が大きくなる。その結果、アーチファクトが生じる領域についても広い範囲で生じる確率が高くなる。従って、動く被写体が近くにある場合には、複数枚フレームの枚数ｋを多くすることで、アーチファクトの発生を抑制することができる。一方、図１９（ｂ）に示すように動く被写体が奥にある場合、フレーム間変化が生じる領域は小さくなる。そのため、アーチファクトが生じる領域も狭い領域になるので、保持しておく複数枚フレームの枚数ｋを少なくしてもアーチファクトの発生を十分に抑制することができる。このように、被写体の状況に応じて保持するフレーム枚数ｋを変更することで、複数フレーム動体判定結果を保持する際に、計算量を削減することが可能になる。
【００６２】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017005529.tif 000013
【図２】
2017005529.tif 000014
【図３】
2017005529.tif 000015
【図４】
2017005529.tif 000016
【図５】
2017005529.tif 000017
【図６】
2017005529.tif 000018
【図７】
2017005529.tif 000019
【図８】
2017005529.tif 000020
【図９】
2017005529.tif 000021
【図１０】
2017005529.tif 000022
【図１１】
2017005529.tif 000023
【図１２】
2017005529.tif 000024
【図１３】
2017005529.tif 000025
【図１４】
2017005529.tif 000026
【図１５】
2017005529.tif 000027
【図１６】
2017005529.tif 000028
【図１７】
2017005529.tif 000029
【図１８】
2017005529.tif 000030