(57)【要約】  本発明は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定する技術を提供する。  画像処理装置１は、フレーム内ノイズ分散推定部１１と、フレーム間ノイズ分散推定部１２と、ノイズ強度決定部１３とを備える。フレーム内ノイズ分散推定部１１は、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、フレーム内ノイズ分散を推定する。フレーム間ノイズ分散推定部１２は、フレーム画像および近接フレーム画像間の差分を表す差分画像において動きのない領域に属する画素値に基づいて、フレーム画像および近接フレーム画像間におけるフレーム間ノイズ分散を推定する。ノイズ強度決定部１３は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像におけるノイズの強度を決定する。
2016185708.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定手段と、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定手段と、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定手段と、
を備えた画像処理装置。
【請求項２】
前記フレーム間ノイズ分散推定手段は、前記差分画像の局所領域毎の画素値の分散が、前記フレーム内ノイズ分散に基づく動き判定閾値よりも小さい領域を前記動きのない領域として、前記フレーム間ノイズ分散を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレーム間ノイズ分散推定手段は、前記フレーム内ノイズ分散に基づく第１の閾値と、前記差分画像の局所領域毎の画素値の分散に基づく第２の閾値とに基づいて、前記動き判定閾値を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ強度決定手段によって決定されたノイズ強度に基づいて、前記フレーム画像に対するノイズ抑圧処理を実行するノイズ抑圧手段をさらに備えたことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
コンピュータ装置が、
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定し、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定し、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定する画像処理方法。
【請求項６】
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定ステップと、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定ステップと、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定ステップと、
をコンピュータ装置に実行させる画像処理プログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるノイズを低減する技術に関する。
【背景技術】
【０００２】
画像に含まれるノイズを低減する技術は、撮影した画像をより鮮明に再現するためだけでなく、様々な画像処理におけるノイズ強調を防ぐためにも、欠かせない技術である。なお、以下では、ノイズとは、加法性白色ガウシアンノイズを指すものとする。【０００３】
効果的なノイズ除去を実現するためには、ノイズ除去技術の高性能化に加えて、処理対象画像に含まれるノイズの強度（分散や標準偏差）の情報が必要である。処理対象画像に含まれるノイズの強度を小さく見積もると、ノイズ除去結果の画像にノイズが残存する。一方、ノイズ強度を大きく見積もると、ノイズ除去結果の画像にボケが生じ、テクスチャやエッジが不明瞭になる。つまり、処理対象画像に含まれるノイズの強度をより正確に推定する技術が求められている。【０００４】
画像に含まれるノイズの強度を見積もる技術として、一般的に以下の手法が考えられる。１つ目は、カメラのセンサが既知である場合に、カメラゲインのパラメータおよびセンサノイズの関係を事前に測定してテーブル化しておく手法である。この手法は、実際の運用時にテーブルを参照することにより、撮影画像におけるノイズの強度を推定する。また、２つ目は、画像からエッジやテクスチャが存在しない領域を抽出し、抽出した領域における画素値の揺らぎをノイズ由来とみなす手法である。この手法は、当該領域の画素値の分散を対象画像のノイズの強度とみなす。また、３つ目は、カメラが固定されている状況において、短い時間間隔で時間的に連続した２枚の画像を用いる手法である。この手法は、２枚の画像の差分画像の画素値の分散を２で割ったものをノイズの強度とみなす。【０００５】
また、画像に含まれるノイズの強度を見積もる関連技術が、特許文献１に記載されている。この関連技術は、第１の画像および第１の画像に連続する第２の画像の間で、対応する画素同士の差分を算出する。そして、この関連技術は、第１の画像における平坦領域を構成する各画素に対応する差分の分散に基づいて、第１の画像におけるノイズレベルを検出する。そして、この関連技術は、第１の画像を構成する全画素に対応する差分の分散と、検出したノイズレベルとに基づいて、第１の画像における動き領域を検出する。【０００６】
また、画像に含まれるノイズの強度を見積もる他の関連技術が、特許文献２に記載されている。この関連技術は、フレーム内でのノイズレベルと、フレーム間でのノイズレベルとを算出する。そして、この関連技術は、画像内の動き部に対しては、フレーム内でのノイズレベルを選択する。また、この関連技術は、画像内の静止部に対しては、フレーム間でのノイズレベルを選択する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２３１３８９号公報
【特許文献２】特開２０１３−２５８５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した一般的な技術および関連技術には、以下の課題がある。【０００９】
一般的な１つ目の手法は、ノイズ分散のテーブルをカメラごとに計測する必要がある。このため、この手法は、カメラセンサの情報が得られない場合には適用できないという問題がある。加えて、この手法は、センサの個体差を考慮してカメラのセンサごとにテーブルを生成すると、事前に膨大な作業コストが必要であるという問題がある。【００１０】
また、一般的な２つ目の手法は、対象画像の全面がテクスチャで覆われているような画像に対しては、テクスチャの画素値分散をノイズの分散に加算してしまう。このような場合、この手法は、分散値を真値より大きく見積もってしまい、正確なノイズの強度推定ができないという問題がある。【００１１】
また、一般的な３つ目の手法は、カメラが動く場合には適用できない。また、この手法は、カメラが固定されている場合であっても、画像中に動体が存在する場合や、シーンチェンジ、撮影環境の照明変動、カメラゲインの変動などにより映像が大きく変動する場合には、分散値を真値より大きく見積もってしまう。このような場合、この手法は、正確なノイズの強度推定ができないという問題がある。【００１２】
また、特許文献１に記載された関連技術は、テクスチャやエッジの影響を除外した平坦領域を用いてノイズレベルを算出しているが、動き領域を検出するためにノイズレベルを算出するので、ノイズレベルの算出の際には動きのある領域の影響を考慮していない。このため、この関連技術は、画像に動きのある領域が含まれる場合に、正確なノイズの強度推定ができないという問題がある。【００１３】
また、特許文献２に記載された関連技術は、静止部に適用するフレーム間ノイズレベルを算出する際に、動きのある領域の影響を考慮することについては記載されていない。このため、この関連技術は、画像に動きのある領域が含まれる場合に、静止部に対する正確なノイズレベルの推定ができないという問題がある。【００１４】
本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定する技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明の画像処理装置は、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定手段と、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定手段と、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定手段と、を備える。【００１６】
また、本発明の画像処理方法は、コンピュータ装置が、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定し、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定し、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定する。【００１７】
また、本発明の記憶媒体は、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定ステップと、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定ステップと、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定ステップと、をコンピュータ装置に実行させる画像処理プログラムを記憶している。
【発明の効果】
【００１８】
本発明は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定する技術を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態としての画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態としての画像処理装置のハードウェア構成の一例を示す図である。
【図３】本発明の第１の実施の形態としての画像処理装置の動作を説明するフローチャートである。
【図４】本発明の第２の実施の形態としての画像処理装置の構成を示すブロック図である。
【図５】本発明の第２の実施の形態におけるフレーム内ノイズ分散推定部の詳細な構成を示すブロック図である。
【図６】本発明の第２の実施の形態におけるフレーム間ノイズ分散推定部の詳細な構成を示すブロック図である。
【図７】本発明の第２の実施の形態としての画像処理装置がフレーム内ノイズ分散を推定する動作を説明するフローチャートである。
【図８】本発明の第２の実施の形態としての画像処理装置がフレーム間ノイズ分散を推定する動作を説明するフローチャートである。
【図９】本発明の第３の実施の形態としての画像処理装置の構成を示すブロック図である。
【図１０】本発明の第３の実施の形態におけるフレーム間ノイズ分散推定部の詳細な構成を示すブロック図である。
【図１１】本発明の第３の実施の形態としての画像処理装置がフレーム間ノイズ分散を推定する動作を説明するフローチャートである。
【図１２】本発明の第４の実施の形態としての画像処理装置の構成を示すブロック図である。
【図１３】本発明の第４の実施の形態としての画像処理装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２１】
（第１の実施の形態）
本発明の第１の実施の形態としての画像処理装置１の機能ブロック構成を図１に示す。図１において、画像処理装置１は、フレーム内ノイズ分散推定部１１と、フレーム間ノイズ分散推定部１２と、ノイズ強度決定部１３とを備える。画像処理装置１は、映像に含まれるフレーム番号ｔの画像（フレーム画像ｕｔ）と、フレーム番号ｔのフレームに近接するフレーム番号ｔ−１の画像（近接フレーム画像ｕｔ−１）とを入力として取得する。また、画像処理装置１は、これらの２枚の画像を用いて、フレーム画像ｕｔに含まれるノイズ強度σ２ｔの推定を行い出力する。
【００２２】
なお、フレーム画像ｕｔ−１は、映像においてフレーム画像ｕｔに対して時間的に前または後に連続していることが好ましいが、必ずしも連続していなくてもよい。近接フレーム画像ｕｔ−１は、フレーム画像ｕｔに対して所定の時間的近接条件を満たしていればよい。
【００２３】
ここで、画像処理装置１は、図２に示すようなハードウェア要素によって構成可能である。図２において、画像処理装置１は、ＣＰＵ（Central Processing Unit）１００１およびメモリ１００２を含むコンピュータ装置によって構成される。メモリ１００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）等によって構成される。ＣＰＵ１００１は、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行する。この場合、画像処理装置１の各機能ブロックは、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行するＣＰＵ１００１によって構成される。なお、画像処理装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００２４】
また、画像処理装置１は、画像入力装置９０１に接続される。例えば、画像入力装置９０１は、カメラやスキャナなどの撮像機器、または、それらにより撮影されて画像データが蓄積される画像データベース等によって構成される。画像処理装置１および画像入力装置９０１は、周辺機器接続インタフェースによって接続されていてもよいし、ネットワークを介して接続されていてもよい。画像処理装置１には、画像入力装置９０１から、上述のフレーム画像ｕｔおよび近接フレーム画像ｕｔ−１が入力される。
【００２５】
また、画像処理装置１は、出力装置９０２に接続される。例えば、出力装置９０２は、ディスプレイ、プリンタ、または、出力情報を格納するハードディスクやメモリカードなどの記憶媒体によって構成される。画像処理装置１および出力装置９０２は、周辺機器接続インタフェースによって接続されていてもよいし、ネットワークを介して接続されていてもよい。画像処理装置１は、出力装置９０２に対して、上述のノイズ強度σ２ｔを出力する。
【００２６】
フレーム内ノイズ分散推定部１１は、フレーム画像ｕｔから、画素値の変化が平坦な平坦領域を抽出する。そして、フレーム内ノイズ分散推定部１１は、抽出した平坦領域に属する画素値に基づいて、フレーム画像ｕｔにおけるノイズの分散（フレーム内ノイズ分散）を推定する。
【００２７】
フレーム間ノイズ分散推定部１２は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間の差分を表す差分画像に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間で動きのない領域を抽出する。そして、フレーム間ノイズ分散推定部１２は、抽出した動きのない領域に属する差分画像の画素値に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間におけるノイズの分散（フレーム間ノイズ分散）を推定する。
【００２８】
ノイズ強度決定部１３は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像ｕｔにおけるノイズ強度σ２ｔを決定する。そして、ノイズ強度決定部１３は、決定したノイズ強度σ２ｔを出力する。
【００２９】
以上のように構成された画像処理装置１の動作について、図３を参照して説明する。
【００３０】
まず、画像処理装置１は、映像に含まれるフレーム画像ｕｔおよび近接フレーム画像ｕｔ−１を取得する（ステップＳ１）。
【００３１】
次に、フレーム内ノイズ分散推定部１１は、フレーム画像ｕｔから、画素値の変化が平坦な平坦領域を抽出する。そして、フレーム内ノイズ分散推定部１１は、抽出した平坦領域に属する画素値に基づいて、フレーム画像ｕｔにおけるフレーム内ノイズ分散を推定する（ステップＳ２）。
【００３２】
次に、フレーム間ノイズ分散推定部１２は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間の差分を表す差分画像に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間で動きのない領域を抽出する。そして、フレーム間ノイズ分散推定部１２は、抽出した動きのない領域に属する差分画像の画素値に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間におけるフレーム間ノイズ分散を推定する（ステップＳ３）。
【００３３】
次に、ノイズ強度決定部１３は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像におけるノイズ強度σ２ｔを決定し、出力する（ステップＳ４）。
【００３４】
以上で、画像処理装置１は、動作を終了する。
【００３５】
次に、本発明の第１の実施の形態の効果について述べる。
【００３６】
本発明の第１の実施の形態としての画像処理装置は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定することができる。
【００３７】
その理由について説明する。本実施の形態では、フレーム内ノイズ分散推定部が、フレーム画像における平坦領域の画素値を用いて、フレーム内ノイズ分散を推定する。また、フレーム間ノイズ分散推定部が、フレーム画像および近接フレーム画像間の差分画像の動きのない領域における画素値を用いて、フレーム間ノイズ分散を推定する。そして、ノイズ強度決定部が、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像のノイズ強度を決定するからである。
【００３８】
ここで、テクスチャが多く含まれるフレーム画像の場合、フレーム内ノイズ分散は真値より大きくなる。この場合、本実施の形態は、映像中に動きのない領域が存在すれば、フレーム内ノイズ分散よりも小さく真値に近い値となるフレーム間ノイズ分散に基づくことで、フレーム画像のノイズ強度を高精度に推定可能となる。また、動体を含むフレーム画像間や、シーンチェンジ・照明変動・カメラゲイン変動など画面全体が大きく変動するフレーム画像間では、フレーム間ノイズ分散が真値より大きくなる。この場合、本実施の形態は、画像中に平坦な領域が存在すれば、フレーム間ノイズ分散よりも小さく真値に近い値となるフレーム内ノイズ分散に基づくことで、フレーム画像のノイズ強度を高精度に推定可能となる。
【００３９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００４０】
まず、本発明の第２の実施の形態としての画像処理装置２の構成を図４に示す。図４において、画像処理装置２は、フレーム内ノイズ分散推定部２１と、フレーム間ノイズ分散推定部２２と、ノイズ強度決定部２３とを備える。画像処理装置２は、本発明の第１の実施の形態と同様に、映像に含まれるフレーム画像ｕｔおよび近接フレーム画像ｕｔ−１を入力として取得する。また、画像処理装置２は、本発明の第１の実施の形態と同様に、これらの２枚の画像を用いて、フレーム画像ｕｔに含まれるノイズ強度σ２ｔの推定を行い出力するが、その詳細が異なる。
【００４１】
ここで、画像処理装置２およびその各機能ブロックは、図２を参照して説明した本発明の第１の実施の形態としての画像処理装置１と同様のハードウェア要素によって構成可能である。ただし、画像処理装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００４２】
次に、画像処理装置２の各機能ブロックの構成について説明する。
【００４３】
まず、フレーム内ノイズ分散推定部２１の構成の詳細について説明する。フレーム内ノイズ分散推定部２１は、図５に示すように、ブロック分割部２１１と、ブロック内分散算出部２１２と、分散ヒストグラム生成部２１３と、フレーム内ノイズ分散算出部２１４とを含む。フレーム内ノイズ分散推定部２１は、これらの機能ブロックを用いて、フレーム画像ｕｔのフレーム内ノイズ分散σ２ｔ，ｉｎｔｒａを推定する。
【００４４】
具体的には、ブロック分割部２１１は、フレーム画像ｕｔを所定のサイズのブロックに分割する。例えば、フレーム画像ｕｔの幅が６４０画素であり、高さが４８０画素であるとする。また、分割するブロックのサイズとして、高さ8画素および幅8画素が定められているとする。この場合、ブロック分割部２１１は、フレーム画像ｕｔを（６４０×４８０）／（８×８）＝４８００個のブロックに分割する。ここで、“／”は、除算を表す。
【００４５】
ブロック内分散算出部２１２は、フレーム画像ｕｔが分割されたブロック位置（ｉ，ｊ）の各ブロックについて、その画素値の分散ｖｉｎｔｒａ（ｉ，ｊ）を算出する。ここで、ｉは、１以上ｎ以下の整数であり、ｊは、１以上ｍ以下の整数である。なお、ｎは、フレーム画像ｕｔの幅方向に並ぶブロック数である。また、ｍは、フレーム画像ｕｔの高さ方向に並ぶブロック数である。
【００４６】
分散ヒストグラム生成部２１３は、各ブロックの分散ｖｉｎｔｒａ（ｉ，ｊ）から、ヒストグラムを生成する。
【００４７】
フレーム内ノイズ分散算出部２１４は、分散ヒストグラム生成部２１３によって生成されたヒストグラムの下位γｓｍｏｏｔｈパーセントが、画素値の変化が平坦な領域に属するブロックで算出された分散であるみなす。ここで、γｓｍｏｏｔｈは、あらかじめ定められた１００以下の正数である。そして、フレーム内ノイズ分散算出部２１４は、ヒストグラムの下位γｓｍｏｏｔｈパーセントのヒストグラムのビンの値を、平坦判定閾値τｓｍｏｏｔｈとする。例えば、フレーム内ノイズ分散算出部２１４は、ヒストグラムのビンの度数の下位からの合計が、γｓｍｏｏｔｈパーセントを超える最も小さいビンの幅に含まれる値を、平坦判定閾値τｓｍｏｏｔｈとしてもよい。あるいは、フレーム内ノイズ分散算出部２１４は、ヒストグラムのビンの度数の下位からの合計が、γｓｍｏｏｔｈパーセントを超えない最も大きいビンの幅に含まれる値を、平坦判定閾値τｓｍｏｏｔｈとしてもよい。なお、ビンの幅に含まれる値とは、そのビンの幅の中央値、最小値、または、最大値等であってもよい。そして、フレーム内ノイズ分散算出部２１４は、ｖｉｎｔｒａ（ｉ，ｊ）＜τｓｍｏｏｔｈである分散値ｖｉｎｔｒａ（ｉ，ｊ）の統計量（例えば、平均値や中央値等）に基づいて、フレーム画像ｕｔのフレーム内ノイズ分散σ２ｔ，ｉｎｔｒａを算出する。
【００４８】
次に、フレーム間ノイズ分散推定部２２の構成の詳細について説明する。フレーム間ノイズ分散推定部２２は、図６に示すように、差分画像生成部２２１と、差分画像ブロック分割部２２２と、差分画像ブロック内分散算出部２２３と、動き判定部２２４と、フレーム間ノイズ分散算出部２２５とを含む。フレーム間ノイズ分散推定部２２は、これらの機能ブロックを用いて、差分画像のブロック毎の画素値分散が、フレーム内ノイズ分散に基づく動き判定閾値τｎｏｍｖよりも小さい領域を動きのない領域として、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒを推定する。
【００４９】
具体的には、差分画像生成部２２１は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１から、差分画像ｄを生成する。例えば、差分画像生成部２２１は、フレーム画像ｕｔを構成する各画素（ｘ，ｙ）について、ｄ（ｘ，ｙ）＝ｕｔ（ｘ，ｙ）−ｕｔ−１（ｘ，ｙ）を算出すればよい。
【００５０】
差分画像ブロック分割部２２２は、差分画像ｄを、所定のサイズのブロックに分割する。分割処理は、フレーム内ノイズ分散推定部２１におけるブロック分割部２１１と同様である。なお、ブロックのサイズは、ブロック分割部２１１によって分割されるブロックと同じでも良いし、異なっていてもよい。
【００５１】
差分画像ブロック内分散算出部２２３は、差分画像ｄが分割されたブロック位置（ｉ，ｊ）の各ブロックについて、その画素値の分散ｖｉｎｔｅｒ（ｉ，ｊ）を算出する。ここで、ｉは、１以上ｎ’以下の整数であり、ｊは、１以上ｍ’以下の整数である。なお、ｎ’は、差分画像ｄの幅方向に並ぶブロック数である。また、ｍ’は、差分画像ｄの高さ方向に並ぶブロック数である。
【００５２】
動き判定部２２４は、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａに基づいて、動き判定閾値τｎｏｍｖを求める。例えば、動き判定部２２４は、次式（１）を用いて、動き判定閾値τｎｏｍｖを求めてもよい。
2016185708.tif 000003
【００５３】
ここで、αは、動き判定の厳密さを調整するパラメータである。原理的には、α＝１．０でよい。ただし、動き判定の厳密さを下げる（多少の動きを許容する）場合、αには、１．０より大きい値が設定される。また、動き判定の厳密さを上げる場合、αには、１．０より小さい値が設定される。
【００５４】
そして、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖであるブロックを、動きのない領域と判定する。また、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖでないブロックを、動きのある領域と判定する。例えば、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖであるブロックについて、動き判定結果ｍ（ｉ，ｊ）＝１としてもよい。また、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖでないブロックについて、動き判定結果ｍ（ｉ，ｊ）＝０としてもよい。この場合、動き判定結果が１であることは、動きがない領域であることを示す。また、動き判定結果が０であることは、動きがある領域であることを示す。
【００５５】
フレーム間ノイズ分散算出部２２５は、差分画像ｄの各ブロックのノイズ分散ｖｉｎｔｅｒ（ｉ，ｊ）および動き判定結果ｍ（ｉ，ｊ）に基づいて、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒを算出する。
【００５６】
具体的には、フレーム間ノイズ分散算出部２２５は、動きのないブロックの総数ｎｎｏｍｖを、次式（２）を用いて算出する。
2016185708.tif 000004
【００５７】
ここで、ｎｎｏｍｖ＝０である場合、フレーム間ノイズ分散算出部２２５は、画面全体が大きく変動したとみなし、σ２ｔ，ｉｎｔｅｒ＝σ２ｔ，ｉｎｔｒａとする。また、ｎｎｏｍｖ≠０である場合、フレーム間ノイズ分散算出部２２５は、次式（３）を用いてσ２ｔ，ｉｎｔｅｒを算出する。
2016185708.tif 000005
【００５８】
なお、フレーム間ノイズ分散推定部２２は、フレーム画像ｕｔに対する近接フレーム画像ｕｔ−１が存在しない場合には、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒを推定することができない。この場合、フレーム間ノイズ分散推定部２２は、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａを用いて、σ２ｔ，ｉｎｔｅｒ＝σ２ｔ，ｉｎｔｒａとしてもよい。
【００５９】
次に、ノイズ強度決定部２３の構成の詳細について説明する。
【００６０】
ノイズ強度決定部２３は、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａと、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒとのうち小さい方を、フレーム画像ｕｔのノイズ強度として決定する。すなわち、ノイズ強度決定部２３は、フレーム画像ｕｔのノイズ強度として、σ２ｔ＝ｍｉｎ（σ２ｔ，ｉｎｔｅｒ，σ２ｔ，ｉｎｔｒａ）を算出する。
【００６１】
以上のように構成された画像処理装置２の動作について説明する。ここで、画像処理装置２の動作の概略は、図３を参照して説明した本発明の第１の実施の形態としての画像処理装置１の動作と略同様である。ただし、ステップＳ２〜Ｓ４における動作の詳細が異なる。
【００６２】
まず、ステップＳ２におけるフレーム内ノイズ分散推定処理について、本実施の形態における詳細な動作を、図７を参照して説明する。
【００６３】
図７では、まず、ブロック分割部２１１は、フレーム画像ｕｔを、所定のサイズのブロックに分割する（ステップＳ２１）。
【００６４】
次に、ブロック内分散算出部２１２は、分割された各ブロックについて、画素値の分散ｖｉｎｔｒａ（ｉ，ｊ）を算出する（ステップＳ２２）。
【００６５】
次に、ヒストグラム生成部２１３は、ステップＳ１２で算出された各ブロックの分散ｖｉｎｔｒａ（ｉ，ｊ）からヒストグラムを生成する（ステップＳ２３）。
【００６６】
次に、フレーム内ノイズ分散算出部２１４は、ヒストグラムの下位γｓｍｏｏｔｈパーセントのビンの値に基づいて、平坦判定閾値τｓｍｏｏｔｈを算出する（ステップＳ２４）。
【００６７】
次に、フレーム内ノイズ分散算出部２１４は、分散ｖｉｎｔｒａ（ｉ，ｊ）が平坦判定閾値τｓｍｏｏｔｈより小さなブロックを平坦領域に属するとみなす。そして、フレーム内ノイズ分散算出部２１４は、それらのブロックの分散の統計量（例えば平均値や中央値など）を、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａとして算出する（ステップＳ２５）。
【００６８】
次に、ステップＳ３におけるフレーム間ノイズ分散推定処理について、本実施の形態における詳細な動作を、図８を参照して説明する。
【００６９】
図８では、まず、差分画像生成部２２１は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１から、差分画像ｄを生成する（ステップＳ３１）。
【００７０】
次に、差分画像ブロック分割部２２２は、差分画像ｄを、所定のサイズのブロックに分割する（ステップＳ３２）。
【００７１】
次に、差分画像ブロック内分散算出部２２３は、分割された各ブロックについて、その画素値の分散ｖｉｎｔｅｒ（ｉ，ｊ）を算出する（ステップＳ３３）。
【００７２】
次に、動き判定部２２４は、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａに基づいて、動き判定閾値τｎｏｍｖを算出する。そして、動き判定部２２４は、差分画像の各ブロックについて、その分散ｖｉｎｔｅｒ（ｉ，ｊ）が動き判定閾値τｎｏｍｖより小さいか否かに基づいて、動き判定結果ｍ（ｉ，ｊ）を求める（ステップＳ３４）。
【００７３】
例えば、前述のように、動き判定部２２４は、式（１）を用いて、動き判定閾値τｎｏｍｖを算出してもよい。
【００７４】
次に、フレーム間ノイズ分散算出部２２５は、動き判定結果ｍ（ｉ，ｊ）に基づいて、動きのない領域のブロックの分散ｖｉｎｔｅｒ（ｉ，ｊ）の統計量（平均値や中央値など）を、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒとして算出する（ステップＳ３５）。
【００７５】
例えば、前述のように、フレーム間ノイズ分散算出部２２５は、式（３）を用いて、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒを算出してもよい。
【００７６】
なお、前述のように、動きのない領域（ｍ（ｉ，ｊ）＝１）と判定されたブロックの個数ｎｎｏｍｖが０である場合、フレーム間ノイズ分散算出部２２５は、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａを、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒとしてもよい。
【００７７】
次に、ステップＳ４におけるノイズ強度決定部２３の処理について説明する。本実施の形態では、ノイズ強度決定部２３は、ステップＳ１およびＳ２で算出されたσ２ｔ，ｉｎｔｒａおよびσ２ｔ，ｉｎｔｅｒのうち小さい方を、フレーム画像ｕｔのノイズ強度σ２ｔとして決定し出力する。
【００７８】
以上で、画像処理装置２の動作の説明を終了する。
【００７９】
次に、本発明の第２の実施の形態の効果について述べる。
【００８０】
本発明の第２の実施の形態としての画像処理装置は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をさらに正確に推定することができる。
【００８１】
その理由について説明する。本実施の形態では、フレーム内ノイズ分散推定部が、フレーム画像を分割した各ブロックにおける画素値の分散についてヒストグラムを生成し、ヒストグラムに基づいて定めた平坦判定閾値を用いて、平坦領域を抽出する。そして、フレーム内ノイズ分散推定部が、平坦領域の画素値の分散の統計量を、フレーム内ノイズ分散として推定するからである。また、フレーム間ノイズ分散推定部が、フレーム画像および近接フレーム画像間の差分画像を分割した各ブロックにおける画素値の分散を算出し、算出した分散を、フレーム内ノイズ分散に基づく動き判定閾値と比較することにより、動きのない領域を抽出する。そして、フレーム間ノイズ分散推定部が、動きのない領域における画素値の分散の統計量を、フレーム間ノイズ分散として推定するからである。そして、ノイズ強度決定部が、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方を、フレーム画像のノイズ強度として決定するからである。
【００８２】
このように、本実施の形態は、テクスチャが多い画像の場合に真値より大きくなるフレーム内ノイズ分散と、動きが多い画像の場合に真値より大きくなるフレーム間ノイズ分散とのうち、小さいものを選択してフレーム画像のノイズ強度として決定する。これにより、本実施の形態は、動きが多いがテクスチャが少ない画像や、テクスチャが多いが動きが少ない画像に対して、より真値に近いノイズ強度を決定することができ、ノイズ強度推定の精度を向上させる。
【００８３】
また、本実施の形態は、フレーム間ノイズ分散を算出する際に、フレーム内ノイズ分散を用いて動き判定閾値を算出する。このため、画像ごとに動き判定閾値をユーザが調整する必要がない。また、本実施の形態は、フレーム間ノイズ分散を、ブロックごとのノイズ分散がフレーム内ノイズ分散より小さなブロックだけを用いて算出することになる。このため、本実施の形態は、動きのない領域があると判定できる場合には、フレーム内分散よりも真値に近いノイズ分散の推定結果を得ることができる。
【００８４】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００８５】
まず、本発明の第３の実施の形態としての画像処理装置３の構成を図９に示す。図９において、画像処理装置３は、本発明の第２の実施の形態としての画像処理装置２に対して、フレーム間ノイズ分散推定部２２に替えて、フレーム間ノイズ分散推定部３２を備える点が異なる。フレーム間ノイズ分散推定部３２は、図１０に示すように、本発明の第２の実施の形態におけるフレーム間ノイズ分散推定部２２に対して、動き判定部２２４に替えて動き判定部３２４を含み、さらに、分散ヒストグラム生成部３２６および動き判定閾値算出部３２７を含む点が異なる。フレーム間ノイズ分散推定部３２は、これらの機能ブロックを用いて、フレーム内ノイズ分散に基づく第１の閾値と、差分画像のブロック毎の画素値の分散に基づく第２の閾値とに基づいて、動き判定閾値を決定する。そして、フレーム間ノイズ分散推定部３２は、差分画像のブロック毎の画素値の分散が、動き判定閾値よりも小さい領域を動きのない領域として、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒを推定する。
【００８６】
具体的には、分散ヒストグラム生成部３２６は、差分画像ｄにおける各ブロックの分散値ｖｉｎｔｅｒ（ｉ，ｊ）のヒストグラムを生成する。
【００８７】
動き判定閾値算出部３２７は、差分画像ｄの各ブロックの分散値ｖｉｎｔｅｒ（ｉ，ｊ）のヒストグラムと、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａとに基づいて、動き判定閾値τｎｏｍｖを算出する。具体的には、動き判定閾値算出部３２７は、動き判定閾値τｎｏｍｖの１つ目の候補として、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａに基づく第１の閾値τｎｏｍｖ１を算出する。第１の閾値τｎｏｍｖ１の算出には、式（１）を用いればよい。
【００８８】
また、動き判定閾値算出部３２７は、動き判定閾値τｎｏｍｖの２つ目の候補として、差分画像ｄの各ブロックの分散値ｖｉｎｔｅｒ（ｉ，ｊ）に基づく第２の閾値τｎｏｍｖ２を算出する。具体的には、動き判定閾値算出部３２７は、分散値ｖｉｎｔｅｒ（ｉ，ｊ）のヒストグラムの下位γｎｏｍｖパーセントを、動きのない領域で算出された分散であるとみなし、そのビンの値を第２の閾値τｎｏｍｖ２としてもよい。ここで、γｎｏｍｖは、あらかじめ定められた１００以下の正数である。例えば、動き判定閾値算出部３２７は、ヒストグラムの度数の下位からの合計がγｎｏｍｖパーセントを超える最も小さいビンの幅に含まれる値を第２の閾値τｎｏｍｖ２としてもよい。また、動き判定閾値算出部３２７は、ヒストグラムの度数の下位からの合計がγｎｏｍｖパーセントを超えない最も大きいビンの幅に含まれる値を第２の閾値τｎｏｍｖ２としてもよい。なお、ビンの幅に含まれる値とは、そのビンの幅の中央値、最小値、または、最大値等であってもよい。そして、動き判定閾値算出部３２７は、第１の閾値τｎｏｍｖ１および第２の閾値τｎｏｍｖ２のうち小さい方を、動き判定閾値τｎｏｍｖとする。すなわち、動き判定閾値算出部３２７は、次式（４）を用いて動き判定閾値τｎｏｍｖを算出する。
2016185708.tif 000006
【００８９】
動き判定部３２４は、本発明の第２の実施の形態における動き判定部２２４と略同様に構成されるが、動き判定閾値τｎｏｍｖとして、動き判定閾値算出部３２７により算出された閾値を用いる点が異なる。具体的には、動き判定部３２４は、差分画像ｄのブロックのうち、その分散ｖｉｎｔｅｒ（ｉ，ｊ）が、動き判定閾値算出部３２７により算出された動き判定閾値τｎｏｍｖより小さいブロックを、動きのない領域と判定する。そして、動き判定部３２４は、本発明の第２の実施の形態と同様に、ブロック位置（ｉ，ｊ）における動き判定結果ｍ（ｉ，ｊ）として、１（動きがない）または０（動きがある）を設定する。
【００９０】
以上のように構成された画像処理装置３の動作について説明する。画像処理装置３の動作は、本発明の第２の実施の形態としての画像処理装置２の動作と略同様であるが、図８を参照して説明したフレーム間ノイズ分散推定処理の詳細が異なる。
【００９１】
本実施の形態におけるフレーム間ノイズ分散推定処理の動作を、図１１に示す。
【００９２】
図１１では、まず、フレーム間ノイズ分散推定部３２は、ステップＳ３１〜Ｓ３３まで、本発明の第２の実施の形態と同様に動作して、差分画像ｄの各ブロックについて分散ｖｉｎｔｅｒ（ｉ，ｊ）を算出する。
【００９３】
次に、動き判定閾値算出部３２７は、フレーム内ノイズ分散σ２ｔ，ｉｎｔｒａに基づいて、第１の閾値τｎｏｍｖ１を算出する（ステップＳ４４）。
【００９４】
前述のように、動き判定閾値算出部３２７は、式（１）を用いて第１の閾値τｎｏｍｖ１を算出してもよい。
【００９５】
次に、分散ヒストグラム生成部３２６は、各ブロックの分散ｖｉｎｔｅｒ（ｉ，ｊ）についてヒストグラムを生成する。そして、動き判定閾値算出部３２７は、ヒストグラムの下位γｎｏｍｖパーセントのビンの値に基づいて、第２の閾値τｎｏｍｖ２を算出する（ステップＳ４５）。
【００９６】
次に、動き判定閾値算出部３２７は、第１の閾値τｎｏｍｖ１および第２の閾値τｎｏｍｖ２を比較し、小さい方を動き判定閾値τｎｏｍｖとする（ステップＳ４６）。
【００９７】
次に、フレーム間ノイズ分散推定部３２は、本発明の第２の実施の形態と同様にステップＳ３５を実行し、フレーム間ノイズ分散σ２ｔ，ｉｎｔｅｒを推定する。
【００９８】
以上で、フレーム間ノイズ分散推定部３２は、フレーム間ノイズ分散推定処理の動作を終了する。
【００９９】
次に、本発明の第３の実施の形態の効果について述べる。
【０１００】
本発明の第３の実施の形態としての画像処理装置は、画像にテクスチャが多い画像に対して、ノイズの強度をさらに正確に推定することができる。
【０１０１】
その理由について説明する。本実施の形態では、本発明の第２の実施の形態と同様の構成に加えて、フレーム間ノイズ分散推定部が、次のように構成されるからである。すなわち、フレーム間ノイズ分散推定部が、フレーム内ノイズ分散に基づく第１の閾値と、差分画像のブロックごとの分散値に基づいて算出される第２の閾値との小さい方を動き判定閾値とする。そして、フレーム間ノイズ分散推定部が、この動き判定閾値を用いて、フレーム画像において動きのない領域を推定し、動きのない領域の画素値に基づいて、フレーム間ノイズ分散を算出するからである。
【０１０２】
このため、本実施の形態は、より厳密に動き判定を行うことが可能になり、フレーム間ノイズ分散をより正確に推定することになる。その結果、本実施の形態は、画像にテクスチャが多い場合でも、フレーム間ノイズ分散をより正確に推定可能となる。
【０１０３】
（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【０１０４】
まず、本発明の第４の実施の形態としての画像処理装置４の構成を図１２に示す。図１２において、画像処理装置４は、本発明の第３の実施の形態としての画像処理装置３と同様の構成に加えて、さらに、ノイズ抑圧部４４を備える。
【０１０５】
ノイズ抑圧部４４は、フレーム画像ｕｔに対して、ノイズ強度決定部２３によって決定されるノイズ強度σ２ｔを用いてノイズ抑圧処理を適用し、ノイズが抑圧された画像ｚｔを生成する。そして、ノイズ抑圧部４４は、画像ｚｔを出力する。
【０１０６】
ここで、ノイズ抑圧処理には、様々な公知の手法を適用可能である。一例として、適応ウィナーフィルタによるノイズ抑圧（ノイズ除去）の例を示す。
【０１０７】
適応ウィナーフィルタについて説明する。ここでは、ｕを入力画像とし、ｕに含まれるノイズの分散をσ２ｎとする。また、局所領域として画素位置（ｘ，ｙ）を中心とする５画素×５画素の領域を用いるものとする。この場合、この局所領域の画素値の局所平均値μ（ｘ，ｙ）は、次式（５）で表される。
2016185708.tif 000007
【０１０８】
また、この領域の画素値の局所分散σ２ｖ（ｘ，ｙ）は、次式（６）で表される。
2016185708.tif 000008
【０１０９】
このとき、適応ウィナーフィルタによる処理結果ｚ（ｘ，ｙ）は、次式（７）で表される。
2016185708.tif 000009
【０１１０】
適応ウィナーフィルタでは、注目画素における局所分散σ２ｖ（ｘ，ｙ）がノイズ分散σ２ｎと同程度である場合、すなわち注目画素が平坦領域にある場合は、ｚ（ｘ，ｙ）は、局所平均値μ（ｘ，ｙ）に近づく。一方、注目画素がエッジである場合のように、局所分散σ２ｖ（ｘ，ｙ）が大きな領域にある場合、ｚ（ｘ，ｙ）は、入力信号であるｕ（ｘ，ｙ）に近づく。
【０１１１】
ノイズ抑圧部４４は、このような適応ウィナーフィルタの入力画像ｕとしてフレーム画像ｕｔを適用し、ノイズの分散σ２ｎとして、ノイズ強度決定部２３で算出されたノイズ強度σ２ｔを適用することにより、ノイズが抑圧された画像ｚｔを生成する。なお、ノイズ抑圧部４４が適応ウィナーフィルタを採用する場合、上述の局所領域は５画素×５画素に限定されるものではない。
【０１１２】
以上のように構成された画像処理装置４の動作について、図１３を参照して説明する。
【０１１３】
図１３では、まず、フレーム内ノイズ分散推定部２１、フレーム間ノイズ分散推定部３２およびノイズ強度決定部２３は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１を入力として、フレーム画像ｕｔのノイズ強度σ２ｔを推定する（ステップＳ５１）。
【０１１４】
なお、ステップＳ５１のノイズ強度推定動作は、図３、図７、図１１を参照して説明した本発明の第３の実施の形態としての画像処理装置３の動作と同様である。
【０１１５】
次に、ノイズ抑圧部４４は、注目画素位置（ｘ，ｙ）においてフレーム画像ｕｔの局所平均μ（ｘ，ｙ）および局所分散σ２ｖ（ｘ，ｙ）を算出する（ステップＳ５２）。
【０１１６】
次に、ノイズ抑圧部４４は、例えば適応ウィナーフィルタを用いて、注目画素位置（ｘ，ｙ）におけるノイズ除去画像ｚ（ｘ，ｙ）を算出する（ステップＳ５３）。
【０１１７】
ここで、フレーム画像ｕｔの全画素うち処理の完了していない画素がある場合（ステップＳ５４でＮｏ）、ノイズ抑圧部４４は、ステップＳ５２に戻って処理を継続する。
【０１１８】
一方、フレーム画像ｕｔの全画素についてステップＳ５２〜Ｓ５３を完了したならば（ステップＳ５４でＹｅｓ）、ノイズ抑圧部４４は、動作を終了する。
【０１１９】
以上で、画像処理装置４は、動作を終了する。
【０１２０】
次に、本発明の第４の実施の形態の効果について述べる。
【０１２１】
本発明の第４の実施の形態としての画像処理装置は、テクスチャまたは動きの多い領域を含む映像に対して、フレーム画像ごとにより適切なノイズ強度を用いて、より適切なノイズ抑圧処理を実行することができる。
【０１２２】
その理由について説明する。本実施の形態では、ノイズ抑圧部が、フレーム画像毎に、本発明の第３の実施の形態と同様の構成により決定されたノイズ強度を用いて、ノイズ抑圧処理を施すからである。
【０１２３】
なお、本実施の形態として、本発明の第３の実施の形態の構成に、ノイズ抑圧部を加えた画像処理装置について説明した。これに限らず、本発明の第１または第２の実施の形態の構成に、本実施の形態のノイズ抑圧部を加えた画像処理装置も、本実施の形態と同様の効果を奏する。
【０１２４】
また、上述した本発明の第２から第４の実施の形態において、ノイズ強度決定部は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方を、フレーム画像におけるノイズ強度として決定するものとして説明した。ただし、各実施の形態のノイズ強度決定部は、必ずしも小さい方そのものをノイズ強度として適用しなくてもよい。例えば、ノイズ強度決定部は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方を用いて所定の演算を行うことにより、ノイズ強度を決定してもよい。
【０１２５】
また、上述した本発明の各実施の形態において、画像処理装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
【０１２６】
また、上述した本発明の各実施の形態において、画像処理装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
【０１２７】
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像処理装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておく。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
【０１２８】
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
【０１２９】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１３０】
この出願は、２０１５年５月１８日に出願された日本出願特願２０１５−１０１２７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１３１】
１、２、３、４    画像処理装置
１１、２１    フレーム内ノイズ分散推定部
１２、２２、３２    フレーム間ノイズ分散推定部
１３、２３    ノイズ強度決定部
４４    ノイズ抑圧部
２１１    ブロック分割部
２１２    ブロック内分散算出部
２１３    分散ヒストグラム生成部
２１４    フレーム内ノイズ分散算出部
２２１    差分画像生成部
２２２    差分画像ブロック分割部
２２３    差分画像ブロック内分散算出部
２２４、３２４    動き判定部
２２５    フレーム間ノイズ分散算出部
３２６    分散ヒストグラム生成部
３２７    動き判定閾値算出部
９０１    画像入力装置
９０２    出力装置
１００１    ＣＰＵ
１００２    メモリ
【図１】
2016185708.tif 000010
【図２】
2016185708.tif 000011
【図３】
2016185708.tif 000012
【図４】
2016185708.tif 000013
【図５】
2016185708.tif 000014
【図６】
2016185708.tif 000015
【図７】
2016185708.tif 000016
【図８】
2016185708.tif 000017
【図９】
2016185708.tif 000018
【図１０】
2016185708.tif 000019
【図１１】
2016185708.tif 000020
【図１２】
2016185708.tif 000021
【図１３】
2016185708.tif 000022
【手続補正書】
【提出日】平成29年11月1日(2017.11.1)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明の画像処理プログラムは、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定ステップと、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定ステップと、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定ステップと、をコンピュータ装置に実行させる。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定手段と、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定手段と、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定手段と、
を備えた画像処理装置。
【請求項２】
前記フレーム間ノイズ分散推定手段は、前記差分画像の局所領域毎の画素値の分散が、前記フレーム内ノイズ分散に基づく動き判定閾値よりも小さい領域を前記動きのない領域として、前記フレーム間ノイズ分散を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレーム間ノイズ分散推定手段は、前記フレーム内ノイズ分散に基づく第１の閾値と、前記差分画像の局所領域毎の画素値の分散に基づく第２の閾値とに基づいて、前記動き判定閾値を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ強度決定手段によって決定されたノイズ強度に基づいて、前記フレーム画像に対するノイズ抑圧処理を実行するノイズ抑圧手段をさらに備えたことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
コンピュータ装置が、
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定し、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定し、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定する画像処理方法。
【請求項６】
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定ステップと、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定ステップと、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定ステップと、
をコンピュータ装置に実行させる画像処理プログラム。
【国際調査報告】
2016185708.tif 000023
2016185708.tif 000024
2016185708.tif 000025