(57)【要約】【課題】  複数フレームの画像信号を使ってノイズ除去効果を高める画像信号処理装置において、動き部の画素のノイズ除去の時間を短縮できる画像処理装置を提供する。【解決手段】  画像の動きを検出する動き検出部１４と、巡回係数を記憶するフレーム巡回係数記憶部１５と、前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定するフレーム巡回係数決定部１６と、入力された画像データと蓄積された画像データからフレーム巡回係数決定部に決定された巡回係数によりノイズ除去を行う３次元ノイズ除去部１７とを備え、フレーム巡回係数記憶部１５は、フレーム巡回係数決定部１６に決定された巡回係数を記憶することにより、前回巡回係数により今回巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。【特許請求の範囲】
【請求項１】
連続的に画像データを入力する画像入力手段と、
画像データを蓄積する画像蓄積手段と、
画像の動きを検出する動き検出手段と、
入力した画像データのノイズを除去するために蓄積している画像データを参照する際の係数である巡回係数を記憶する巡回係数記憶手段と、
前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する巡回係数決定手段と、
前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データから前記巡回係数決定手段に決定された巡回係数によりノイズ除去を行う３次元ノイズ除去手段とを備え、
前記画像蓄積手段は、前記３次元ノイズ除去手段によりノイズ除去された画像データを蓄積し、
前記巡回係数記憶手段は、前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とする画像処理装置。
【請求項２】
前記動き検出手段は、画面全体の動きを検出する画面全体動き検出手段と、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求める画素単位動き検出手段とを備え、
前記巡回係数決定手段は、前記画面全体の動き、前記画素単位の動き、前記記憶された巡回係数から、前記新たな巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動き検出手段は、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求め、
前記巡回係数記憶手段は、前記巡回係数決定手段に決定される画素単位の巡回係数を記憶し、
前記巡回係数決定手段は、前記画素単位の動き、前記記憶された画素単位の巡回係数から、画素単位の前記新たな巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像蓄積手段は、前記巡回係数記憶手段を兼ね、前記画像データの下位ビットに前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記３次元ノイズ除去手段は、前記画像入力手段に入力された画像データに前記画像蓄積手段に蓄積された画像データを前記巡回係数決定手段に決定された巡回係数に基づいて合成することによりノイズ除去を行い、
前記巡回係数決定手段は、前記３次元ノイズ除去手段により合成されてノイズ除去された画像データにおいて、前記画像蓄積手段に蓄積された前フレーム画像の画像データの合成比率と前記画像入力手段に入力された現フレーム画像の画像データの合成比率に基づき前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
連続的に画像データを入力する画像入力ステップと、
前記入力された画像データの画像の動きを検出する動き検出ステップと、
前記動き検出結果と記憶された巡回係数から新たな巡回係数を決定する巡回係数決定ステップと、
前記画像入力ステップで入力された画像データと蓄積された画像データから前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行う３次元ノイズ除去ステップと、
前記３次元ノイズ除去ステップによりノイズ除去された画像データを蓄積する画像蓄積ステップと、
前記巡回係数決定ステップに決定された巡回係数を記憶する巡回係数記憶ステップとを備え、
前記巡回係数決定ステップは、前記動き検出ステップによる動き検出結果と、前記巡回係数記憶ステップで記憶された巡回係数から、新たな巡回係数を決定し、
前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データと、
前記画像蓄積ステップで蓄積された画像データから、前記巡回係数決定ステップで決定された巡回家系数によりノイズ除去を行い、
前記画像入力ステップと、前記動き検出ステップと、前記巡回係数決定ステップと、前記３次元ノイズ除去ステップと、前記画像蓄積ステップと、前記巡回係数記憶ステップとを繰り返すことを特徴とする画像処理プログラム。
【請求項７】
前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データに前記画像蓄積ステップで蓄積された画像データを前記巡回係数決定ステップで決定された巡回係数に基づいて合成することによりノイズ除去を行い、
前記巡回係数決定ステップは、前記３次元ノイズ除去ステップで合成されてノイズ除去された画像データにおいて、前記画像蓄積ステップで蓄積された前フレーム画像の画像データの合成比率と前記画像入力ステップで入力された現フレーム画像の画像データの合成比率に基づき前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とする請求項６に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、複数フレームの画像信号を使ってノイズ除去効果を高める画像信号処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】  撮像した画像データからノイズを除去する方法として、撮像時間の異なる複数フレームの２次元位置の等しい画素同士を巡回係数と呼ばれる係数で掛け合わせて合成することにより、ノイズ成分を低減するノイズ除去方法が知られている。【０００３】  このようなノイズ除去方法は、静止した被写体に対しては、巡回係数０．８で除去されるノイズ成分が９ｄＢ超と、非常にノイズを除去する効果の高い方式であるが、被写体が移動物体の場合には、残像が発生する。【０００４】  残像対策としては、フレーム間の信号レベル差が大きいときには動きと判定して巡回係数を下げ、信号レベル差が小さい場合には静止と判定して巡回係数を上げるという動き適応型ノイズ除去方式が一般的である。【０００５】  従来の巡回型ノイズ低減装置のブロック図を図７に示し、説明する。【０００６】  図７に示す巡回型ノイズ低減装置では、従来の動き適応型ノイズ除去方式に加えて、入力映像信号のシーンチェンジを音声モードの変化で検出する音声モード検出回路９４を設け、該音声モード検出回路９４がシーンチェンジを検出した時、残像が発生しないように、遅延した映像信号を用いるための巡回係数Ｋを１フレーム期間０に設定している（例えば特許文献１参照）。
【特許文献１】特開２０００−２２４４４４号公報（要約、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】  しかしながら、従来の残像を抑圧した動き適応型の３次元巡回型ノイズ低減方式においては、ノイズと動きを判別し動きを正確にとらえることに成功したとしても、動き部の画素の巡回係数が低く設定されるため、ノイズの多い画像データが巡回フレームメモリに格納されることになり、ノイズが数フレームに及ぶという問題があった。【０００８】  特に、上記従来の巡回型ノイズ低減装置のように、シーンチェンジにおいて画面全体の巡回係数を下げるような方式においては、巡回フレーム全体にノイズ成分の高い画像データが格納されて、ノイズの影響が大きくなるという問題があった。【０００９】  本発明は、このような従来の問題を解決するためになされたもので、動き部の画素のノイズ除去の時間を短縮することのできる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】  本発明の画像処理装置は、連続的に画像データを入力する画像入力手段と、画像データを蓄積する画像蓄積手段と、画像の動きを検出する動き検出手段と、入力した画像データのノイズを除去するために蓄積している画像データを参照する際の係数である巡回係数を記憶する巡回係数記憶手段と、前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する巡回係数決定手段と、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データから前記巡回係数決定手段に決定された巡回係数によりノイズ除去を行う３次元ノイズ除去手段とを備え、前記画像蓄積手段は、前記３次元ノイズ除去手段によりノイズ除去された画像データを蓄積し、前記巡回係数記憶手段は、前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とした構成を有している。【００１１】  この構成により本発明の画像処理装置は、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。【００１２】  また、本発明の画像処理装置は、前記動き検出手段は、画面全体の動きを検出する画面全体動き検出手段と、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求める画素単位動き検出手段とを備え、前記巡回係数決定手段は、前記画面全体の動き、前記画素単位の動き、前記記憶された巡回係数から、前記新たな巡回係数を決定することを特徴とした構成を有してもよい。【００１３】  この構成により本発明の画像処理装置は、巡回係数の決定に画面全体の動きによる制御を加えることにより、各画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。【００１４】  さらに、本発明の画像処理装置は、前記動き検出手段は、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求め、前記巡回係数記憶手段は、前記巡回係数決定手段に決定される画素単位の巡回係数を記憶し、前記巡回係数決定手段は、前記画素単位の動き、前記記憶された画素単位の巡回係数から、画素単位の前記新たな巡回係数を決定することを特徴とした構成を有してもよい。【００１５】  この構成により本発明の画像処理装置は、画素単位の巡回係数を記憶し、巡回係数の決定に用いることにより、画素単位の巡回係数の急上昇を避け、例えば、シーンチェンジなどによる全体の動き以外の画面内の移動物体の動きに対しても、動き部の画素のノイズ除去の時間を短縮することができる。【００１６】  さらに、本発明の画像処理装置は、前記画像蓄積手段は、前記巡回係数記憶手段を兼ね、前記画像データの下位ビットに前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とした構成を有してもよい。【００１７】  この構成により本発明の画像処理装置は、ＳＮが悪く下位ビットから信号成分を検出することができないような状況においても、巡回係数用のフレームメモリを別に追加することなく、メモ��を増加せずに、画面内の移動物体の動きに対しても、画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。【００１８】  さらに、本発明の画像処理装置は、前記３次元ノイズ除去手段は、前記画像入力手段に入力された画像データに前記画像蓄積手段に蓄積された画像データを前記巡回係数決定手段に決定された巡回係数に基づいて合成することによりノイズ除去を行い、前記巡回係数決定手段は、前記３次元ノイズ除去手段により合成されてノイズ除去された画像データにおいて、前記画像蓄積手段に蓄積された前フレーム画像の画像データの合成比率と前記画像入力手段に入力された現フレーム画像の画像データの合成比率とに基づき前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とした構成を有してもよい。【００１９】  この構成により本発明の画像処理装置は、巡回係数の上限値を制御することで、巡回フレーム内のノイズを早期に除去することができる。ここで合成比率とは巡回係数を掛け合わせた後の画像データに含まれる各フレーム画像の画像データの割合を示すものとする。【００２０】  さらに、本発明の画像処理プログラムは、連続的に画像データを入力する画像入力ステップと、前記入力された画像データの画像の動きを検出する動き検出ステップと、前記動き検出結果と記憶された巡回係数から新たな巡回係数を決定する巡回係数決定ステップと、前記画像入力ステップで入力された画像データと蓄積された画像データから前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行う３次元ノイズ除去ステップと、前記３次元ノイズ除去ステップによりノイズ除去された画像データを蓄積する画像蓄積ステップと、前記巡回係数決定ステップに決定された巡回係数を記憶する巡回係数記憶ステップとを備え、前記巡回係数決定ステップは、前記動き検出ステップによる動き検出結果と、前記巡回係数記憶ステップで記憶された巡回係数から、新たな巡回係数を決定し、前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データと、前記画像蓄積ステップで蓄積された画像データから、前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行い、前記画像入力ステップと、前記動き検出ステップと、前記巡回係数決定ステップと、前記３次元ノイズ除去ステップと、前記画像蓄積ステップと、前記巡回係数記憶ステップとを繰り返すことを特徴とした構成を有している。【００２１】  この構成により本発明の画像処理プログラムは、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。【００２２】  さらに、本発明の画像処理プログラムは、前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データに前記画像蓄積ステップで蓄積された画像データを前記巡回係数決定ステップで決定された巡回係数に基づいて合成することによりノイズ除去を行い、前記巡回係数決定ステップは、前記３次元ノイズ除去ステップで合成されてノイズ���去された画像データにおいて、前記画像蓄積ステップで蓄積された前フレーム画像の画像データの合成比率と前記画像入力ステップで入力された現フレーム画像の画像データの合成比率とに基づいて前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とする構成を有してもよい。【００２３】  この構成により本発明の画像処理プログラムは、巡回係数の上限値を制御することで、巡回フレーム内のノイズを早期に除去することができる。
【発明の効果】
【００２４】  本発明は、巡回係数決定手段に決定された巡回係数を記憶する巡回係数記憶手段と、動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する巡回係数決定手段とを設けることにより、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができるという効果を有する画像処理装置を提供することができるものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図
【図２】巡回係数制御の違いによるフレームの中に残るノイズ量を比較した表
【図３】本発明の第２の実施の形態における画像処理装置のブロック図
【図４】本発明の第３の実施の形態における画像処理装置のブロック図
【図５】本発明の第４の実施の形態における画像処理装置のブロック図
【図６】本発明の第５の実施の形態における画像処理プログラムを実行した動作を説明するフロー図
【図７】従来の巡回型ノイズ低減装置のブロック図
【符号の説明】
【００２６】  １０、２０、３０、４０  画像処理装置
１１、２１、３１、４１  画像入力部（画像入力手段）
１２、２２、３２  フレーム蓄積部（画像蓄積手段）
１３、２３、３３、４３  画像同期部
１４  動き検出部（動き検出手段）
１５、２５、３５  フレーム巡回係数記憶部（巡回係数記憶手段）
１６、２６、３６、４６  フレーム巡回係数決定部（巡回係数決定手段）
１７、２７、３７、４７  ３次元ノイズ除去部（３次元ノイズ除去手段）
２４  全体動き検出部（画面全体動き検出手段）
２８  画素単位動き検出部（画素単位動き検出手段）
３８、４８  画素単位動き検出部（動き検出手段）
４２  フレーム蓄積部（画像蓄積手段、巡回係数記憶手段）
６１  フレーム番号
６２  動き適応型巡回係数
６３  動き適応型ノイズ量
６４  改善方式巡回係数
６５  改善方式ノイズ量
【発明を実施するための最良の形態】
【００２７】  以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。【００２８】  （第１の実施の形態）
まず、本発明の第１の実施の形態における画像処理装置のブロック図を図１に示し、説明する。ここで、図１は、１フレームの画像を格納可能なＲＡＭを持ち、画素単位で入力される画像データを順次画像処理し、画像処理結果を画素単位で出力するＬＳＩ回路を想定した画像処理装置のブロック図である。【００２９】  図１に示すように、画像処理装置１０は、連続的に画像データを入力する画像入力部１１（画像入力手段）と、画像データを蓄積するフレーム蓄積部１２（画像蓄積手段）と、画像入力部１１からの出力画像と同期してフレーム蓄積部１２の画像データも読み取る画像同期部１３と、画像の動きを検出する動き検出部１４（動き検出手段）と、フレーム巡回係数を記憶するフレーム巡回係数記憶部１５（巡回係数記憶手段）と、動き検出結果と記憶したフレーム巡回係数からフレーム巡回係数を決定するフレーム巡回係数決定部１６（巡回係数決定手段）と、画像入力部１１からの画像データとフレーム蓄積部１２からの画像データから前記巡回係数によりノイズ除去を行う３次元ノイズ除去部１７（３次元ノイズ除去手段）とを備えた構成である。【００３０】  また、フレーム蓄積部１２は、３次元ノイズ除去部１７によりノイズ除去された画像データを蓄積するものであり、フレーム巡回係数記憶部１５は、フレーム巡回係数決定部１６に決定された巡回係数を記憶するものである。【００３１】  以上のように構成された画像処理装置１０の動作について、以下に説明する。【００３２】  まず、画像入力部１１において、画素単位で外部から画像データ（以下、現フレーム画像）を入力する。次に、画像同期部１３で、画像入力部１１からの出力画像と同期を取るようにフレーム蓄積部１２から時間的に古い画像データ（以下、前フレーム画像）を読み取る。【００３３】  また、動き検出部１４では、画面を撮像する撮像装置に備えられた回転台の制御情報やジャイロによる方向検知などにより、画面全体の動きを検知する。また、画像信号のフレーム相関により画面の動きを求めることも可能である。フレーム巡回係数記憶部１５では、１フレーム前の巡回係数を記憶している。【００３４】  次に、フレーム巡回係数決定部１６で、動き検出部１４の動き判定結果とフレーム巡回係数記憶部１５に格納された一つ前の巡回係数を使って、巡回係数を決定する。巡回係数が高ければ高いほど、巡回フレームメモリ内の前フレーム画像の比率が高くなる。このため、前回の巡回係数が大幅に下がった場合には、前フレーム画像に動きが発生して巡回フレーム内のノイズが大きいということなので、次回以降に適用する巡回係数に上限を設けて、巡回フレームメモリ内に残存するノイズ除去が進むように巡回係数を決定する。さらに、決定した巡回係数をフレーム巡回係数記憶部１５に格納する。【００３５】  ３次元ノイズ除去部１７は、現フレーム画像の対象画素と前フレーム画像の対象画素との２次元位置の等しい画素を、フレーム巡回係数決定部１６で求めたフレーム巡回係数を使って３次元巡回型ノイズ除去を行うようになっている。計算方法は以下のようになる。
（現フレーム画像）−（現フレーム画像−前フレーム画像）×フレーム巡回係数
そして、求めたノイズ除去後の画像データをフレーム蓄積部１２に格納する。【００３６】  次に、図２を用いて、フレーム巡回係数決定部１６により実行される巡回係数の具体的な決定方法を示す。図２は、フレーム番号６１が１のときに、動きを検出し、その後、静止と判定された場合に、巡回フレームの中のノイズが正常に復帰するまでのノイズ量を単純な動き適応型方式と、本方式とで比較した表である。動きと判定された場合は巡回係数０、静止と判定された場合には０．８とする。【００３７】  従来方式では、巡回係数６２に示すように、１フレーム目は動きと判定するので０、２フレーム目からは静止と判定するので０．８となる。ノイズ量６３は、フレーム１のノイズ量を１とした場合の巡回フレームに残存するノイズ量の推移を示す。２フレーム目で１×０．８＝０．８、３フレーム目で０．８×０．８＝０．６４とフレームごとに、残存ノイズは減っていく。【００３８】  静止の巡回係数が０．８ということは、現画像フレームの係数は０．２ということで、フレーム１の残存ノイズ量が０．２になることが１つの目標となる。従来方式では、９フレーム目でノイズ量が０．２以下になる。このように、従来の巡回係数の算出方法では動きによるノイズ除去を目的としており、巡回フレーム内にノイズが入ることを考慮していない。このため、巡回フレーム内に残存するノイズ除去には時間を要してしまう。【００３９】  本発明に係る画像処理装置では、巡回係数の上限値を制御することで、巡回フレーム内のノイズを早期に除去することを目的とする。各フレームのノイズ量が同等と仮定すると、ノイズ量が平均化されるように、巡回係数を制御するとよい。３次元ノイズ除去部１７は現フレーム画像と前フレーム画像を巡回係数に基づいて合成することによりノイズを除去している。したがって、フレーム巡回係数決定部１６は、３次元ノイズ除去部１７により合成されてノイズ除去された画像データにおいて、例えば、前フレーム画像の画像データの合成比率が現フレーム画像の画像データの合成比率を大きく上回らないようになる巡回係数を求めることができる。具体的には、フレーム巡回係数記憶部１５に記憶された一つ前の巡回係数を前回巡回係数とした場合、巡回係数の上限値を式（１）のように、前回の巡回係数から求める。
巡回係数上限値＊（１−前回巡回係数）＝１−巡回係数上限値  （１）
式（１）から式（２）が導かれる。
巡回係数上限値＝１／（２−前回巡回係数）      （２）
この方式で巡回係数を制御した結果が、改善方式の巡回係数６４であり、１フレーム目のノイズ量の推移が改善方式のノイズ量６５である。５フレーム目でノイズ量の目標０．２以下に達している。【００４０】  なお、ここでは実数で巡回係数を求める方式を示したが、巡回係数を整数で正規化して整数処理をすることも可能である。また、割り算部は、予め計算しテーブル化し、テーブル引きにすることも可能である。【００４１】  また、ここでは、動き０、静止０．８と単純化して説明したが、画像処理により、動き−静止を正確に検出することは困難であり、多くのシステムでは、動きらしさ、あるいは静止らしさを２値ではなく、１６値、２５６値という多値で表現している。そして、動きらしさの写像である巡回係数もまた多値で表現される。本発明は２値の動き結果および巡回係数だけではなく、多値の動き結果および巡回係数にも適用可能である。【００４２】  本実施の形態で、巡回係数を求める際に、フレーム巡回係数決定部１６は、巡回係数の上限値を上述の式（１）または（２）により求め、この上限値を上回らないように巡回係数を決定するとしたが、上述の式（１）または（２）は一例であり、フレーム巡回係数決定部１６は、前フレーム画像の画像データの合成比率が現フレーム画像の画像データの合成比率を大きく上回らないようになる巡回係数を決定するのであれば、上述の式（１）または（２）による以外の如何なる手段を用いてもよいことは言うまでもない。発生するノイズの性質、装置の構成等を考慮して、フレーム巡回係数決定部１６は、前フレーム画像の画像データの合成比率が現フレーム画像の画像データの合成比率を若干上回る巡回係数を決定してもよい。【００４３】  以上のように、本発明の第１の実施の形態の画像処理装置によれば、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数の上限を設けて決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。【００４４】  （第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理装置のブロック図を図３に示し、説明する。【００４５】  図３に示すように、本実施の形態の画像処理装置２０は、第１の実施の形態と同様な画像入力部２１（画像入力手段）と、フレーム蓄積部２２（画像蓄積手段）と、画像同期部２３と、フレーム巡回係数記憶部２５（巡回係数記憶手段）と、フレーム巡回係数決定部２６（巡回係数決定手段）と、３次元ノイズ除去部２７（３次元ノイズ除去手段）とに加え、画面全体の動きを検出する全体動き検出部２４（画面全体動き検出手段）と、画像入力部２１の画像データとフレーム蓄積部２２の画像データの画素単位の比較により画像の動きを検出する画素単位動き検出部２８（画素単位動き検出手段）とを備えている。【００４６】  本実施の形態は、動き検出を、全体動き検出と、画像データを使ったフレーム間差分により求める画素単位の動き検出との２つに分けたところに特徴がある。【００４７】  以下、第１の実施の形態との相違点を中心に説明する。【００４８】  全体動き検出部２４は、図１に示した動き検出部１４と同様で、画面を撮像する撮像装置に備えられた回転台の制御情報やジャイロによる方向検知などにより、画面全体の動きを検知する。また、画像信号のフレーム相関により画面全体の巡回係数を求めることも可能である。【００４９】  画素単位動き検出部２８は、画像同期部２３で同期した現フレームと前フレームのフレーム間差分により動きかどうかを判定する。【００５０】  フレーム巡回係数決定部２６では、まず、全体動き検出部２４により検出された全体の動き判定結果から巡回係数を求め、フレーム巡回係数記憶部２５に格納する。さらに、画素単位の動きから巡回係数を求める。その際、全体の動きから求めた巡回係数は巡回係数の上限値として使われる。さらに、フレーム巡回係数記憶部２５の巡回係数を使って、第１の実施の形態で説明したのと同様の方法で、巡回係数の補正を行う。【００５１】  このような本発明の第２の実施の形態の画像処理装置によれば、巡回係数の決定に画面全体の動きによる制御を加えることにより、各画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。【００５２】  （第３の実施の形態）
次に、本発明の第３の実施の形態における画像処理装置のブロック図を図４に示し、説明する。【００５３】  図４に示すように、本実施の形態の画像処理装置３０は、第２の実施の形態と同様な画像入力部３１（画像入力手段）と、フレーム蓄積部３２（画像蓄積手段）と、画像同期部３３と、画素単位の巡回係数を格納するフレーム巡回係数記憶部３５（巡回係数記憶手段）と、フレーム巡回係数決定部３６（巡回係数決定手段）と、３次元ノイズ除去部３７（３次元ノイズ除去手段）と、画素単位動き検出部３８（動き検出手段）とを備えている。【００５４】  本実施の形態は、フレーム巡回係数記憶部３５で、画素単位の巡回係数を格納するところに特徴がある。【００５５】  以下、第２の実施の形態との相違点を中心に説明する。【００５６】  本実施の形態においては、画素単位の巡回係数を格納できるため、図３に示すような、全体動き検出部２４は、必須ではない。【００５７】  フレーム巡回係数決定部３６では、画素単位に、フレーム巡回係数記憶部３５に画素単位で記憶された前フレームの巡回係数により、第１の実施の形態で示した方法により巡回係数の上限値を求め巡回係数を補正する。求めた巡回係数を画素ごとに、フレーム巡回係数記憶部３５に格納する。【００５８】  このような本発明の第３の実施の形態の画像処理装置によれば、画素単位の巡回係数を記憶し、巡回係数の決定に用いることにより、画素単位の巡回係数の急上昇を避け、例えば、シーンチェンジなどによる全体の動き以外の画面内の移動物体の動きに対しても、動き部の画素のノイズ除去の時間を短縮することができる。【００５９】  上述したようにノイズ除去に使われる巡回係数は３次元ノイズ除去部３７により合成されてノイズ除去された画像データにおける前フレーム画像と現フレーム画像の合成比率を決定するため、３次元ノイズ除去部３７から出力される画像データの直接画質に影響を及ぼす。巡回係数のビット幅が狭いと、巡回係数の変わり目に疑似階調が発生してノイズの原因となる。しかしながら、フレーム巡回係数記憶部３５に記憶する巡回係数は新たな巡回係数を求める際に上限値を算出するためだけに使われるので、実際に３次元ノイズ除去部３７で使われる巡回係数よりも低いビット幅で保存するような工夫が可能である。例えば、巡回係数ならば画質に影響するので４ビット以上が必要なのに対し、上限値を算出するだめに使われるのならば、フレーム巡回係数記憶部３５に記憶する巡回係数は２、３ビット程度でもかまわない。これについては次の実施の形態で説明する。【００６０】  （第４の実施の形態）
次に、本発明の第４の実施の形態における画像処理装置のブロック図を図５に示し、説明する。【００６１】  図５に示すように、本実施の形態の画像処理装置４０は、第３の実施の形態と同様な画像入力部４１（画像入力手段）と、フレーム蓄積部４２（画像蓄積手段、巡回係数記憶手段）と、画像同期部４３と、フレーム巡回係数決定部４６（巡回係数決定手段）と、３次元ノイズ除去部４７（３次元ノイズ除去手段）と、画素単位動き検出部４８（動き検出手段）とを備えている。【００６２】  本実施の形態は、フレーム巡回係数記憶部３５を使わずに、フレーム蓄積部４２に巡回係数を格納するところに特徴がある。【００６３】  以下、第３の実施の形態との相違点を中心に説明する。【００６４】  本実施の形態においては、フレーム巡回係数記憶部３５が存在せずに、同様な処理をするための工夫であって、フレーム蓄積部４２に格納された巡回係数を使って、フレーム巡回係数決定部４６により補正を行い、補正した巡回係数をまたフレーム蓄積部４２に格納する。【００６５】  この方法は、低照度環境で画像データのゲイン量を上げた場合など、ＳＮが悪い場合に有効な方式で、ノイズ成分を含んで無効な画像下位ビットに巡回係数を格納することで巡回フレームメモリの有効利用を行うものである。【００６６】  なお、ＳＮが良い場合には、もともと巡回係数も低いので、巡回係数の補正は必要とならないため、ＳＮが良い場合には、画像データの下位ビットは本来の用法どおり画像データとして使用し、ＳＮが悪くなるに従って、ノイズにより無効になるビット幅分を巡回係数の記憶に使用する。【００６７】  このような本発明の第４の実施の形態の画像処理装置によれば、巡回係数用のフレームメモリを別に追加することなく、メモリを増加せずに、画面内の移動物体の動きに対しても、画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。【００６８】  なお、本発明の実施の形態の画像処理装置は、例えば、プロセッサやメモリ等を用いて構成されてもよく、また、それぞれ電気回路等によって構成されてもよく、または以下に説明するようにプロセッサ等によって実行されるプログラムのモジュールでもよい。これについては次の実施の形態で説明する。【００６９】  （第５の実施の形態）
次に、本発明の第５の実施の形態における画像処理プログラムについて説明する。【００７０】  本実施の形態の画像処理プログラムは、上記画像処理装置の処理をプログラムとして行うものである。【００７１】  画像処理プログラムは、連続的に画像データを入力する画像入力ステップと、前記入力された画像データの画像の動きを検出する動き検出ステップと、前記動き検出結果と記憶された巡回係数から新たな巡回係数を決定する巡回係数決定ステップと、前記画像入力ステップで入力された画像データと蓄積された画像データから前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行う３次元ノイズ除去ステップと、前記３次元ノイズ除去ステップによりノイズ除去された画像データを蓄積する画像蓄積ステップと、前記巡回係数決定ステップに決定された巡回係数を記憶する巡回係数記憶ステップとを備えている。前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データに前記画像蓄積ステップで蓄積された画像データを前記巡回係数決定ステップで決定された巡回係数に基づいて合成することによりノイズ除去を行い、前記巡回係数決定ステップは、前記３次元ノイズ除去ステップで合成されてノイズ除去された画像データにおいて、前記画像蓄積ステップで蓄積された前フレーム画像の画像データの合成比率が前記画像入力ステップで入力された現フレーム画像の画像データの合成比率を下回るように前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する。【００７２】  また、前記巡回係数決定ステップは、前記動き検出ステップによる動き検出結果と、前記巡回係数記憶ステップで記憶された巡回係数から、新たな巡回係数を決定し、前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データと、前記画像蓄積ステップで蓄積された画像データから、前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行うものであり、さらに、前記画像入力ステップと、前記動き検出ステップと、前記巡回係数決定ステップと、前記３次元ノイズ除去ステップと、前記画像蓄積ステップと、前記巡回係数記憶ステップとを繰り返す。【００７３】  以上のように構成された画像処理プログラムを例えばプロセッサ等が実行した場合の動作について図６を参照して説明する。【００７４】  まず、連続的に画像データを入力し（ステップＳ１）、前記入力された画像データの画像の動きを検出する（ステップＳ２）。次に前記動き検出の結果と記憶された巡回係数から新たな巡回係数を決定する（ステップＳ３）。前記ステップＳ１で入力された画像データと蓄積された画像データから前記ステップＳ３で決定された巡回係数により３次元ノイズ除去を行う（ステップＳ４）。こうしてノイズ除去された画像データを蓄積し（ステップＳ５）、前記巡回係数を決定するステップ（ステップＳ３）で決定された巡回係数を記憶する（ステップＳ６）。ノイズを除去するステップ（ステップＳ４）は、画像データを入力するステップ（ステップＳ１）で入力された画像データに画像データを蓄積するステップ（ステップＳ５）で蓄積された画像データを巡回係数を決定するステップ（ステップＳ３）で決定された巡回係数に基づい��合成することによりノイズ除去を行い、巡回係数を決定するステップ（ステップＳ３）は、ノイズを除去するステップ（ステップＳ４）で合成されてノイズ除去された画像データにおいて、画像データを蓄積するステップ（ステップＳ５）で蓄積された前フレーム画像の画像データの合成比率が画像データを入力するステップ（ステップＳ１）で入力された現フレーム画像の画像データの合成比率を下回るように前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する。【００７５】  また、巡回係数を決定するステップ（ステップＳ３）は、動きを検出するステップ（ステップＳ２）による動き検出結果と、巡回係数を記憶するステップ（ステップＳ６）で記憶された巡回係数から、新たな巡回係数を決定し、ノイズを除去するステップ（ステップＳ４）は、画像を入力するステップ（ステップＳ１）で入力された画像データと、画像データを蓄積するステップ（ステップＳ５）で蓄積された画像データから、巡回係数を決定するステップ（ステップＳ３）で決定された巡回係数によりノイズ除去を行うものであり、さらに、画像を入力するステップ（ステップＳ１）と、動きを検出するステップ（ステップＳ２）と、巡回係数を決定するステップ（ステップＳ３）と、ノイズを除去するステップ（ステップＳ４）と、画像データを蓄積するステップ（ステップＳ５）と、巡回係数を記憶するステップ（ステップＳ６）とを繰り返す。【００７６】  以上の処理により、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を制御するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。
【産業上の利用可能性】
【００７７】  以上のように、本発明にかかる画像処理装置は、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定することにより、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができるという効果を有し、複数フレームの画像信号を使ってノイズ除去効果を高める画像信号処理装置等として有用である。
【図１】
2006025396.tif 000002
【図２】
2006025396.tif 000003
【図３】
2006025396.tif 000004
【図４】
2006025396.tif 000005
【図５】
2006025396.tif 000006
【図６】
2006025396.tif 000007
【図７】
2006025396.tif 000008
【手続補正書】
【提出日】平成19年2月19日(2007.2.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
連続的に画像データを入力する画像入力手段と、
画像データを蓄積する画像蓄積手段と、
画像の動きを検出する動き検出手段と、
入力した画像データのノイズを除去するために蓄積している画像データを参照する際の係数である巡回係数を記憶する巡回係数記憶手段と、
前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する巡回係数決定手段と、
前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データから前記巡回係数決定手段に決定された巡回係数によりノイズ除去を行う３次元ノイズ除去手段とを備え、
前記画像蓄積手段は、前記３次元ノイズ除去手段によりノイズ除去された画像データを蓄積し、
前記巡回係数記憶手段は、前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とする画像処理装置。
【請求項２】
前記動き検出手段は、画面全体の動きを検出する画面全体動き検出手段と、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求める画素単位動き検出手段とを備え、
前記巡回係数決定手段は、前記画面全体の動き、前記画素単位の動き、前記記憶された巡回係数から、前記新たな巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動き検出手段は、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求め、
前記巡回係数記憶手段は、前記巡回係数決定手段に決定される画素単位の巡回係数を記憶し、
前記巡回係数決定手段は、前記画素単位の動き、前記記憶された画素単位の巡回係数から、画素単位の前記新たな巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像蓄積手段は、前記巡回係数記憶手段を兼ね、前記画像データの下位ビットに前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記３次元ノイズ除去手段は、前記画像入力手段に入力された画像データに前記画像蓄積手段に蓄積された画像データを前記巡回係数決定手段に決定された巡回係数に基づいて合成することによりノイズ除去を行い、
前記巡回係数決定手段は、前記３次元ノイズ除去手段により合成されてノイズ除去された画像データにおいて、前記画像蓄積手段に蓄積された前フレーム画像の画像データの合成比率と前記画像入力手段に入力された現フレーム画像の画像データの合成比率に基づき前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
連続的に画像データを入力する画像入力ステップと、
前記入力された画像データの画像の動きを検出する動き検出ステップと、
前記動き検出結果と記憶された巡回係数から新たな巡回係数を決定する巡回係数決定ステップと、
前記画像入力ステップで入力された画像データと蓄積された画像データから前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行う３次元ノイズ除去ステップと、
前記３次元ノイズ除去ステップによりノイズ除去された画像データを蓄積する画像蓄積ステップと、
前記巡回係数決定ステップに決定された巡回係数を記憶する巡回係数記憶ステップとを備え、
前記巡回係数決定ステップは、前記動き検出ステップによる動き検出結果と、前記巡回係数記憶ステップで記憶された巡回係数から、新たな巡回係数を決定し、
前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データと、
前記画像蓄積ステップで蓄積された画像データから、前記巡回係数決定ステップで決定された巡回家系数によりノイズ除去を行い、
前記画像入力ステップと、前記動き検出ステップと、前記巡回係数決定ステップと、前記３次元ノイズ除去ステップと、前記画像蓄積ステップと、前記巡回係数記憶ステップとを繰り返すことを特徴とする画像処理プログラム。
【請求項７】
前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データに前記画像蓄積ステップで蓄積された画像データを前記巡回係数決定ステップで決定された巡回係数に基づいて合成することによりノイズ除去を行い、
前記巡回係数決定ステップは、前記３次元ノイズ除去ステップで合成されてノイズ除去された画像データにおいて、前記画像蓄積ステップで蓄積された前フレーム画像の画像データの合成比率と前記画像入力ステップで入力された現フレーム画像の画像データの合成比率に基づき前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とする請求項６に記載の画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数フレームの画像信号を使ってノイズ除去効果を高める画像信号処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
撮像した画像データからノイズを除去する方法として、撮像時間の異なる複数フレームの２次元位置の等しい画素同士を巡回係数と呼ばれる係数で掛け合わせて合成することにより、ノイズ成分を低減するノイズ除去方法が知られている。
【０００３】
このようなノイズ除去方法は、静止した被写体に対しては、巡回係数０．８で除去されるノイズ成分が９ｄＢ超と、非常にノイズを除去する効果の高い方式であるが、被写体が移動物体の場合には、残像が発生する。
【０００４】
残像対策としては、フレーム間の信号レベル差が大きいときには動きと判定して巡回係数を下げ、信号レベル差が小さい場合には静止と判定して巡回係数を上げるという動き適応型ノイズ除去方式が一般的である。
【０００５】
従来の巡回型ノイズ低減装置のブロック図を図７に示し、説明する。
【０００６】
図７に示す巡回型ノイズ低減装置では、従来の動き適応型ノイズ除去方式に加えて、入力映像信号のシーンチェンジを音声モードの変化で検出する音声モード検出回路９４を設け、該音声モード検出回路９４がシーンチェンジを検出した時、残像が発生しないように、遅延した映像信号を用いるための巡回係数Ｋを１フレーム期間０に設定している（例えば特許文献１参照）。
【特許文献１】特開２０００−２２４４４４号公報（要約、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の残像を抑圧した動き適応型の３次元巡回型ノイズ低減方式においては、ノイズと動きを判別し動きを正確にとらえることに成功したとしても、動き部の画素の巡回係数が低く設定されるため、ノイズの多い画像データが巡回フレームメモリに格納されることになり、ノイズが数フレームに及ぶという問題があった。
【０００８】
特に、上記従来の巡回型ノイズ低減装置のように、シーンチェンジにおいて画面全体の巡回係数を下げるような方式においては、巡回フレーム全体にノイズ成分の高い画像データが格納されて、ノイズの影響が大きくなるという問題があった。
【０００９】
本発明は、このような従来の問題を解決するためになされたもので、動き部の画素のノイズ除去の時間を短縮することのできる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、連続的に画像データを入力する画像入力手段と、画像データを蓄積する画像蓄積手段と、画像の動きを検出する動き検出手段と、入力した画像データのノイズを除去するために蓄積している画像データを参照する際の係数である巡回係数を記憶する巡回係数記憶手段と、前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する巡回係数決定手段と、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データから前記巡回係数決定手段に決定された巡回係数によりノイズ除去を行う３次元ノイズ除去手段とを備え、前記画像蓄積手段は、前記３次元ノイズ除去手段によりノイズ除去された画像データを蓄積し、前記巡回係数記憶手段は、前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とした構成を有している。
【００１１】
この構成により本発明の画像処理装置は、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。
【００１２】
また、本発明の画像処理装置は、前記動き検出手段は、画面全体の動きを検出する画面全体動き検出手段と、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求める画素単位動き検出手段とを備え、前記巡回係数決定手段は、前記画面全体の動き、前記画素単位の動き、前記記憶された巡回係数から、前記新たな巡回係数を決定することを特徴とした構成を有してもよい。
【００１３】
この構成により本発明の画像処理装置は、巡回係数の決定に画面全体の動きによる制御を加えることにより、各画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。
【００１４】
さらに、本発明の画像処理装置は、前記動き検出手段は、前記画像入力手段に入力された画像データと前記画像蓄積手段に蓄積された画像データとの比較により画素単位の動きを求め、前記巡回係数記憶手段は、前記巡回係数決定手段に決定される画素単位の巡回係数を記憶し、前記巡回係数決定手段は、前記画素単位の動き、前記記憶された画素単位の巡回係数から、画素単位の前記新たな巡回係数を決定することを特徴とした構成を有してもよい。
【００１５】
この構成により本発明の画像処理装置は、画素単位の巡回係数を記憶し、巡回係数の決定に用いることにより、画素単位の巡回係数の急上昇を避け、例えば、シーンチェンジなどによる全体の動き以外の画面内の移動物体の動きに対しても、動き部の画素のノイズ除去の時間を短縮することができる。
【００１６】
さらに、本発明の画像処理装置は、前記画像蓄積手段は、前記巡回係数記憶手段を兼ね、前記画像データの下位ビットに前記巡回係数決定手段に決定された巡回係数を記憶することを特徴とした構成を有してもよい。
【００１７】
この構成により本発明の画像処理装置は、ＳＮが悪く下位ビットから信号成分を検出することができないような状況においても、巡回係数用のフレームメモリを別に追加することなく、メモリを増加せずに、画面内の移動物体の動きに対しても、画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。
【００１８】
さらに、本発明の画像処理装置は、前記３次元ノイズ除去手段は、前記画像入力手段に入力された画像データに前記画像蓄積手段に蓄積された画像データを前記巡回係数決定手段に決定された巡回係数に基づいて合成することによりノイズ除去を行い、前記巡回係数決定手段は、前記３次元ノイズ除去手段により合成されてノイズ除去された画像データにおいて、前記画像蓄積手段に蓄積された前フレーム画像の画像データの合成比率と前記画像入力手段に入力された現フレーム画像の画像データの合成比率とに基づき前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とした構成を有してもよい。
【００１９】
この構成により本発明の画像処理装置は、巡回係数の上限値を制御することで、巡回フレーム内のノイズを早期に除去することができる。ここで合成比率とは巡回係数を掛け合わせた後の画像データに含まれる各フレーム画像の画像データの割合を示すものとする。
【００２０】
さらに、本発明の画像処理プログラムは、連続的に画像データを入力する画像入力ステップと、前記入力された画像データの画像の動きを検出する動き検出ステップと、前記動き検出結果と記憶された巡回係数から新たな巡回係数を決定する巡回係数決定ステップと、前記画像入力ステップで入力された画像データと蓄積された画像データから前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行う３次元ノイズ除去ステップと、前記３次元ノイズ除去ステップによりノイズ除去された画像データを蓄積する画像蓄積ステップと、前記巡回係数決定ステップに決定された巡回係数を記憶する巡回係数記憶ステップとを備え、前記巡回係数決定ステップは、前記動き検出ステップによる動き検出結果と、前記巡回係数記憶ステップで記憶された巡回係数から、新たな巡回係数を決定し、前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データと、前記画像蓄積ステップで蓄積された画像データから、前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行い、前記画像入力ステップと、前記動き検出ステップと、前記巡回係数決定ステップと、前記３次元ノイズ除去ステップと、前記画像蓄積ステップと、前記巡回係数記憶ステップとを繰り返すことを特徴とした構成を有している。
【００２１】
この構成により本発明の画像処理プログラムは、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。
【００２２】
さらに、本発明の画像処理プログラムは、前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データに前記画像蓄積ステップで蓄積された画像データを前記巡回係数決定ステップで決定された巡回係数に基づいて合成することによりノイズ除去を行い、前記巡回係数決定ステップは、前記３次元ノイズ除去ステップで合成されてノイズ除去された画像データにおいて、前記画像蓄積ステップで蓄積された前フレーム画像の画像データの合成比率と前記画像入力ステップで入力された現フレーム画像の画像データの合成比率とに基づいて前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定することを特徴とする構成を有してもよい。
【００２３】
この構成により本発明の画像処理プログラムは、巡回係数の上限値を制御することで、巡回フレーム内のノイズを早期に除去することができる。
【発明の効果】
【００２４】
本発明は、巡回係数決定手段に決定された巡回係数を記憶する巡回係数記憶手段と、動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する巡回係数決定手段とを設けることにより、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができるという効果を有する画像処理装置を提供することができるものである。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。
【００２６】
（第１の実施の形態）
まず、本発明の第１の実施の形態における画像処理装置のブロック図を図１に示し、説明する。ここで、図１は、１フレームの画像を格納可能なＲＡＭを持ち、画素単位で入力される画像データを順次画像処理し、画像処理結果を画素単位で出力するＬＳＩ回路を想定した画像処理装置のブロック図である。
【００２７】
図１に示すように、画像処理装置１０は、連続的に画像データを入力する画像入力部１１（画像入力手段）と、画像データを蓄積するフレーム蓄積部１２（画像蓄積手段）と、画像入力部１１からの出力画像と同期してフレーム蓄積部１２の画像データも読み取る画像同期部１３と、画像の動きを検出する動き検出部１４（動き検出手段）と、フレーム巡回係数を記憶するフレーム巡回係数記憶部１５（巡回係数記憶手段）と、動き検出結果と記憶したフレーム巡回係数からフレーム巡回係数を決定するフレーム巡回係数決定部１６（巡回係数決定手段）と、画像入力部１１からの画像データとフレーム蓄積部１２からの画像データから前記巡回係数によりノイズ除去を行う３次元ノイズ除去部１７（３次元ノイズ除去手段）とを備えた構成である。
【００２８】
また、フレーム蓄積部１２は、３次元ノイズ除去部１７によりノイズ除去された画像データを蓄積するものであり、フレーム巡回係数記憶部１５は、フレーム巡回係数決定部１６に決定された巡回係数を記憶するものである。
【００２９】
以上のように構成された画像処理装置１０の動作について、以下に説明する。
【００３０】
まず、画像入力部１１において、画素単位で外部から画像データ（以下、現フレーム画像）を入力する。次に、画像同期部１３で、画像入力部１１からの出力画像と同期を取るようにフレーム蓄積部１２から時間的に古い画像データ（以下、前フレーム画像）を読み取る。
【００３１】
また、動き検出部１４では、画面を撮像する撮像装置に備えられた回転台の制御情報やジャイロによる方向検知などにより、画面全体の動きを検知する。また、画像信号のフレーム相関により画面の動きを求めることも可能である。フレーム巡回係数記憶部１５では、１フレーム前の巡回係数を記憶している。
【００３２】
次に、フレーム巡回係数決定部１６で、動き検出部１４の動き判定結果とフレーム巡回係数記憶部１５に格納された一つ前の巡回係数を使って、巡回係数を決定する。巡回係数が高ければ高いほど、巡回フレームメモリ内の前フレーム画像の比率が高くなる。このため、前回の巡回係数が大幅に下がった場合には、前フレーム画像に動きが発生して巡回フレーム内のノイズが大きいということなので、次回以降に適用する巡回係数に上限を設けて、巡回フレームメモリ内に残存するノイズ除去が進むように巡回係数を決定する。さらに、決定した巡回係数をフレーム巡回係数記憶部１５に格納する。
【００３３】
３次元ノイズ除去部１７は、現フレーム画像の対象画素と前フレーム画像の対象画素との２次元位置の等しい画素を、フレーム巡回係数決定部１６で求めたフレーム巡回係数を使って３次元巡回型ノイズ除去を行うようになっている。計算方法は以下のようになる。
（現フレーム画像）−（現フレーム画像−前フレーム画像）×フレーム巡回係数
そして、求めたノイズ除去後の画像データをフレーム蓄積部１２に格納する。
【００３４】
次に、図２を用いて、フレーム巡回係数決定部１６により実行される巡回係数の具体的な決定方法を示す。図２は、フレーム番号６１が１のときに、動きを検出し、その後、静止と判定された場合に、巡回フレームの中のノイズが正常に復帰するまでのノイズ量を単純な動き適応型方式と、本方式とで比較した表である。動きと判定された場合は巡回係数０、静止と判定された場合には０．８とする。
【００３５】
従来方式では、巡回係数６２に示すように、１フレーム目は動きと判定するので０、２フレーム目からは静止と判定するので０．８となる。ノイズ量６３は、フレーム１のノイズ量を１とした場合の巡回フレームに残存するノイズ量の推移を示す。２フレーム目で１×０．８＝０．８、３フレーム目で０．８×０．８＝０．６４とフレームごとに、残存ノイズは減っていく。
【００３６】
静止の巡回係数が０．８ということは、現画像フレームの係数は０．２ということで、フレーム１の残存ノイズ量が０．２になることが１つの目標となる。従来方式では、９フレーム目でノイズ量が０．２以下になる。このように、従来の巡回係数の算出方法では動きによるノイズ除去を目的としており、巡回フレーム内にノイズが入ることを考慮していない。このため、巡回フレーム内に残存するノイズ除去には時間を要してしまう。
【００３７】
本発明に係る画像処理装置では、巡回係数の上限値を制御することで、巡回フレーム内のノイズを早期に除去することを目的とする。各フレームのノイズ量が同等と仮定すると、ノイズ量が平均化されるように、巡回係数を制御するとよい。３次元ノイズ除去部１７は現フレーム画像と前フレーム画像を巡回係数に基づいて合成することによりノイズを除去している。したがって、フレーム巡回係数決定部１６は、３次元ノイズ除去部１７により合成されてノイズ除去された画像データにおいて、例えば、前フレーム画像の画像データの合成比率が現フレーム画像の画像データの合成比率を大きく上回らないようになる巡回係数を求めることができる。具体的には、フレーム巡回係数記憶部１５に記憶された一つ前の巡回係数を前回巡回係数とした場合、巡回係数の上限値を式（１）のように、前回の巡回係数から求める。
巡回係数上限値＊（１−前回巡回係数）＝１−巡回係数上限値  （１）
式（１）から式（２）が導かれる。
巡回係数上限値 ＝１／（２―前回巡回係数）       （２）
この方式で巡回係数を制御した結果が、改善方式の巡回係数６４であり、１フレーム目のノイズ量の推移が改善方式のノイズ量６５である。５フレーム目でノイズ量の目標０．２以下に達している。
【００３８】
なお、ここでは実数で巡回係数を求める方式を示したが、巡回係数を整数で正規化して整数処理をすることも可能である。また、割り算部は、予め計算しテーブル化し、テーブル引きにすることも可能である。
【００３９】
また、ここでは、動き０、静止０．８と単純化して説明したが、画像処理により、動き−静止を正確に検出することは困難であり、多くのシステムでは、動きらしさ、あるいは静止らしさを２値ではなく、１６値、２５６値という多値で表現している。そして、動きらしさの写像である巡回係数もまた多値で表現される。本発明は２値の動き結果および巡回係数だけではなく、多値の動き結果および巡回係数にも適用可能である。
【００４０】
本実施の形態で、巡回係数を求める際に、フレーム巡回係数決定部１６は、巡回係数の上限値を上述の式（１）または（２）により求め、この上限値を上回らないように巡回係数を決定するとしたが、上述の式（１）または（２）は一例であり、フレーム巡回係数決定部１６は、前フレーム画像の画像データの合成比率が現フレーム画像の画像データの合成比率を大きく上回らないようになる巡回係数を決定するのであれば、上述の式（１）または（２）による以外の如何なる手段を用いてもよいことは言うまでもない。発生するノイズの性質、装置の構成等を考慮して、フレーム巡回係数決定部１６は、前フレーム画像の画像データの合成比率が現フレーム画像の画像データの合成比率を若干上回る巡回係数を決定してもよい。
【００４１】
以上のように、本発明の第１の実施の形態の画像処理装置によれば、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数の上限を設けて決定するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。
【００４２】
（第２の実施の形態）
次に、本発明の第２の実施の形態における画像処理装置のブロック図を図３に示し、説明する。
【００４３】
図３に示すように、本実施の形態の画像処理装置２０は、第１の実施の形態と同様な画像入力部２１（画像入力手段）と、フレーム蓄積部２２（画像蓄積手段）と、画像同期部２３と、フレーム巡回係数記憶部２５（巡回係数記憶手段）と、フレーム巡回係数決定部２６（巡回係数決定手段）と、３次元ノイズ除去部２７（３次元ノイズ除去手段）とに加え、画面全体の動きを検出する全体動き検出部２４（画面全体動き検出手段）と、画像入力部２１の画像データとフレーム蓄積部２２の画像データの画素単位の比較により画像の動きを検出する画素単位動き検出部２８（画素単位動き検出手段）とを備えている。
【００４４】
本実施の形態は、動き検出を、全体動き検出と、画像データを使ったフレーム間差分により求める画素単位の動き検出との２つに分けたところに特徴がある。
【００４５】
以下、第１の実施の形態との相違点を中心に説明する。
【００４６】
全体動き検出部２４は、図１に示した動き検出部１４と同様で、画面を撮像する撮像装置に備えられた回転台の制御情報やジャイロによる方向検知などにより、画面全体の動きを検知する。また、画像信号のフレーム相関により画面全体の巡回係数を求めることも可能である。
【００４７】
画素単位動き検出部２８は、画像同期部２３で同期した現フレームと前フレームのフレーム間差分により動きかどうかを判定する。
【００４８】
フレーム巡回係数決定部２６では、まず、全体動き検出部２４により検出された全体の動き判定結果から巡回係数を求め、フレーム巡回係数記憶部２５に格納する。さらに、画素単位の動きから巡回係数を求める。その際、全体の動きから求めた巡回係数は巡回係数の上限値として使われる。さらに、フレーム巡回係数記憶部２５の巡回係数を使って、第１の実施の形態で説明したのと同様の方法で、巡回係数の補正を行う。
【００４９】
このような本発明の第２の実施の形態の画像処理装置によれば、巡回係数の決定に画面全体の動きによる制御を加えることにより、各画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。
【００５０】
（第３の実施の形態）
次に、本発明の第３の実施の形態における画像処理装置のブロック図を図４に示し、説明する。
【００５１】
図４に示すように、本実施の形態の画像処理装置３０は、第２の実施の形態と同様な画像入力部３１（画像入力手段）と、フレーム蓄積部３２（画像蓄積手段）と、画像同期部３３と、画素単位の巡回係数を格納するフレーム巡回係数記憶部３５（巡回係数記憶手段）と、フレーム巡回係数決定部３６（巡回係数決定手段）と、３次元ノイズ除去部３７（３次元ノイズ除去手段）と、画素単位動き検出部３８（動き検出手段）とを備えている。
【００５２】
本実施の形態は、フレーム巡回係数記憶部３５で、画素単位の巡回係数を格納するところに特徴がある。
【００５３】
以下、第２の実施の形態との相違点を中心に説明する。
【００５４】
本実施の形態においては、画素単位の巡回係数を格納できるため、図３に示すような、全体動き検出部２４は、必須ではない。
【００５５】
フレーム巡回係数決定部３６では、画素単位に、フレーム巡回係数記憶部３５に画素単位で記憶された前フレームの巡回係数により、第１の実施の形態で示した方法により巡回係数の上限値を求め巡回係数を補正する。求めた巡回係数を画素ごとに、フレーム巡回係数記憶部３５に格納する。
【００５６】
このような本発明の第３の実施の形態の画像処理装置によれば、画素単位の巡回係数を記憶し、巡回係数の決定に用いることにより、画素単位の巡回係数の急上昇を避け、例えば、シーンチェンジなどによる全体の動き以外の画面内の移動物体の動きに対しても、動き部の画素のノイズ除去の時間を短縮することができる。
【００５７】
上述したようにノイズ除去に使われる巡回係数は３次元ノイズ除去部３７により合成されてノイズ除去された画像データにおける前フレーム画像と現フレーム画像の合成比率を決定するため、３次元ノイズ除去部３７から出力される画像データの直接画質に影響を及ぼす。巡回係数のビット幅が狭いと、巡回係数の変わり目に疑似階調が発生してノイズの原因となる。しかしながら、フレーム巡回係数記憶部３５に記憶する巡回係数は新たな巡回係数を求める際に上限値を算出するためだけに使われるので、実際に３次元ノイズ除去部３７で使われる巡回係数よりも低いビット幅で保存するような工夫が可能である。例えば、巡回係数ならば画質に影響するので４ビット以上が必要なのに対し、上限値を算出するだめに使われるのならば、フレーム巡回係数記憶部３５に記憶する巡回係数は２、３ビット程度でもかまわない。これについては次の実施の形態で説明する。
【００５８】
（第４の実施の形態）
次に、本発明の第４の実施の形態における画像処理装置のブロック図を図５に示し、説明する。
【００５９】
図５に示すように、本実施の形態の画像処理装置４０は、第３の実施の形態と同様な画像入力部４１（画像入力手段）と、フレーム蓄積部４２（画像蓄積手段、巡回係数記憶手段）と、画像同期部４３と、フレーム巡回係数決定部４６（巡回係数決定手段）と、３次元ノイズ除去部４７（３次元ノイズ除去手段）と、画素単位動き検出部４８（動き検出手段）とを備えている。
【００６０】
本実施の形態は、フレーム巡回係数記憶部３５を使わずに、フレーム蓄積部４２に巡回係数を格納するところに特徴がある。
【００６１】
以下、第３の実施の形態との相違点を中心に説明する。
【００６２】
本実施の形態においては、フレーム巡回係数記憶部３５が存在せずに、同様な処理をするための工夫であって、フレーム蓄積部４２に格納された巡回係数を使って、フレーム巡回係数決定部４６により補正を行い、補正した巡回係数をまたフレーム蓄積部４２に格納する。
【００６３】
この方法は、低照度環境で画像データのゲイン量を上げた場合など、ＳＮが悪い場合に有効な方式で、ノイズ成分を含んで無効な画像下位ビットに巡回係数を格納することで巡回フレームメモリの有効利用を行うものである。
【００６４】
なお、ＳＮが良い場合には、もともと巡回係数も低いので、巡回係数の補正は必要とならないため、ＳＮが良い場合には、画像データの下位ビットは本来の用法どおり画像データとして使用し、ＳＮが悪くなるに従って、ノイズにより無効になるビット幅分を巡回係数の記憶に使用する。
【００６５】
このような本発明の第４の実施の形態の画像処理装置によれば、巡回係数用のフレームメモリを別に追加することなく、メモリを増加せずに、画面内の移動物体の動きに対しても、画素単位の巡回係数の急上昇を避け、動き部の画素のノイズ除去の時間を短縮することができる。
【００６６】
なお、本発明の実施の形態の画像処理装置は、例えば、プロセッサやメモリ等を用いて構成されてもよく、また、それぞれ電気回路等によって構成されてもよく、または以下に説明するようにプロセッサ等によって実行されるプログラムのモジュールでもよい。これについては次の実施の形態で説明する。
【００６７】
（第５の実施の形態）
次に、本発明の第５の実施の形態における画像処理プログラムについて説明する。
【００６８】
本実施の形態の画像処理プログラムは、上記画像処理装置の処理をプログラムとして行うものである。
【００６９】
画像処理プログラムは、連続的に画像データを入力する画像入力ステップと、前記入力された画像データの画像の動きを検出する動き検出ステップと、前記動き検出結果と記憶された巡回係数から新たな巡回係数を決定する巡回係数決定ステップと、前記画像入力ステップで入力された画像データと蓄積された画像データから前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行う３次元ノイズ除去ステップと、前記３次元ノイズ除去ステップによりノイズ除去された画像データを蓄積する画像蓄積ステップと、前記巡回係数決定ステップに決定された巡回係数を記憶する巡回係数記憶ステップとを備えている。前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データに前記画像蓄積ステップで蓄積された画像データを前記巡回係数決定ステップで決定された巡回係数に基づいて合成することによりノイズ除去を行い、前記巡回係数決定ステップは、前記３次元ノイズ除去ステップで合成されてノイズ除去された画像データにおいて、前記画像蓄積ステップで蓄積された前フレーム画像の画像データの合成比率が前記画像入力ステップで入力された現フレーム画像の画像データの合成比率を下回るように前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する。
【００７０】
また、前記巡回係数決定ステップは、前記動き検出ステップによる動き検出結果と、前記巡回係数記憶ステップで記憶された巡回係数から、新たな巡回係数を決定し、前記３次元ノイズ除去ステップは、前記画像入力ステップで入力された画像データと、前記画像蓄積ステップで蓄積された画像データから、前記巡回係数決定ステップで決定された巡回係数によりノイズ除去を行うものであり、さらに、前記画像入力ステップと、前記動き検出ステップと、前記巡回係数決定ステップと、前記３次元ノイズ除去ステップと、前記画像蓄積ステップと、前記巡回係数記憶ステップとを繰り返す。
【００７１】
以上のように構成された画像処理プログラムを例えばプロセッサ等が実行した場合の動作について図６を参照して説明する。
【００７２】
まず、連続的に画像データを入力し（ステップＳ１）、前記入力された画像データの画像の動きを検出する（ステップＳ２）。次に前記動き検出の結果と記憶された巡回係数から新たな巡回係数を決定する（ステップＳ３）。前記ステップＳ１で入力された画像データと蓄積された画像データから前記ステップＳ３で決定された巡回係数により３次元ノイズ除去を行う（ステップＳ４）。こうしてノイズ除去された画像データを蓄積し（ステップＳ５）、前記巡回係数を決定するステップ（ステップＳ３）で決定された巡回係数を記憶する（ステップＳ６）。ノイズを除去するステップ（ステップＳ４）は、画像データを入力するステップ（ステップＳ１）で入力された画像データに画像データを蓄積するステップ（ステップＳ５）で蓄積された画像データを巡回係数を決定するステップ（ステップＳ３）で決定された巡回係数に基づいて合成することによりノイズ除去を行い、巡回係数を決定するステップ（ステップＳ３）は、ノイズを除去するステップ（ステップＳ４）で合成されてノイズ除去された画像データにおいて、画像データを蓄積するステップ(ステップＳ５)で蓄積された前フレーム画像の画像データの合成比率が画像データを入力するステップ（ステップＳ１）で入力された現フレーム画像の画像データの合成比率を下回るように前記動き検出結果と前記記憶した巡回係数から新たな巡回係数を決定する。
【００７３】
また、巡回係数を決定するステップ（ステップＳ３）は、動きを検出するステップ（ステップＳ２）による動き検出結果と、巡回係数を記憶するステップ（ステップＳ６）で記憶された巡回係数から、新たな巡回係数を決定し、ノイズを除去するステップ（ステップＳ４）は、画像を入力するステップ（ステップＳ１）で入力された画像データと、画像データを蓄積するステップ（ステップＳ５）で蓄積された画像データから、巡回係数を決定するステップ（ステップＳ３）で決定された巡回係数によりノイズ除去を行うものであり、さらに、画像を入力するステップ（ステップＳ１）と、動きを検出するステップ（ステップＳ２）と、巡回係数を決定するステップ（ステップＳ３）と、ノイズを除去するステップ（ステップＳ４）と、画像データを蓄積するステップ（ステップＳ５）と、巡回係数を記憶するステップ（ステップＳ６）とを繰り返す。
【００７４】
以上の処理により、前回の巡回係数を記憶し、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を制御するので、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができる。
【産業上の利用可能性】
【００７５】
以上のように、本発明にかかる画像処理装置は、動き検出結果だけではなく、前回の巡回係数の情報を用いて今回の巡回係数を決定することにより、巡回係数が低い状態から高い状態に急変することを抑止し、巡回フレーム内に入った動き部の画素のノイズ除去の時間を短縮することができるという効果を有し、複数フレームの画像信号を使ってノイズ除去効果を高める画像信号処理装置等として有用である。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図
【図２】巡回係数制御の違いによるフレームの中に残るノイズ量を比較した表
【図３】本発明の第２の実施の形態における画像処理装置のブロック図
【図４】本発明の第３の実施の形態における画像処理装置のブロック図
【図５】本発明の第４の実施の形態における画像処理装置のブロック図
【図６】本発明の第５の実施の形態における画像処理プログラムを実行した動作を説明するフロー図
【図７】従来の巡回型ノイズ低減装置のブロック図
【符号の説明】
【００７７】
１０、２０、３０、４０  画像処理装置
１１、２１、３１、４１  画像入力部（画像入力手段）
１２、２２、３２  フレーム蓄積部（画像蓄積手段）
１３、２３、３３、４３  画像同期部
１４  動き検出部（動き検出手段）
１５、２５、３５  フレーム巡回係数記憶部（巡回係数記憶手段）
１６、２６、３６、４６  フレーム巡回係数決定部（巡回係数決定手段）
１７、２７、３７、４７  ３次元ノイズ除去部（３次元ノイズ除去手段）
２４  全体動き検出部（画面全体動き検出手段）
２８  画素単位動き検出部（画素単位動き検出手段）
３８、４８  画素単位動き検出部（動き検出手段）
４２  フレーム蓄積部（画像蓄積手段、巡回係数記憶手段）
６１  フレーム番号
６２  動き適応型巡回係数
６３  動き適応型ノイズ量
６４  改善方式巡回係数
６５  改善方式ノイズ量
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006025396.tif 000009
【図２】
2006025396.tif 000010
【図３】
2006025396.tif 000011
【図４】
2006025396.tif 000012
【図５】
2006025396.tif 000013
【図６】
2006025396.tif 000014
【図７】
2006025396.tif 000015
【国際調査報告】
2006025396.tif 000016
2006025396.tif 000017