(57)【要約】【課題】画像のノイズ低減と動きのある領域の残像抑制とを実現可能にすることを課題とする。【解決手段】ノイズ量推定部（４０）は画像データのノイズ量を検出する。動き量検出部（５０）は、画像データから動き量を検出する。巡回ＮＲ強度制御部（６０）は、ノイズ量が所定の閾値未満の場合には動き量に基づいて巡回ＮＲ処理の強度を制御し、ノイズ量が所定の閾値以上の場合には、閾値以上でない場合に比べ、動き量に基づく巡回ＮＲ処理の強度の制御を抑制する。【選択図】図１
2018129603.tif 000002
【特許請求の範囲】
【請求項１】
画像データのノイズ量を検出するノイズ量検出手段と、
前記画像データから動き量を検出する動き量検出手段と、
前記ノイズ量と前記動き量とに基づいて、前記画像データに対する巡回ノイズリダクション処理の強度を制御する制御手段と、を有し、
前記制御手段は、前記ノイズ量が所定の閾値未満の場合には前記動き量に基づいて巡回ノイズリダクション処理の強度を制御し、前記ノイズ量が所定の閾値以上の場合には、前記閾値以上でない場合に比べ、前記動き量に基づく前記巡回ノイズリダクション処理の強度の制御を抑制することを特徴とする画像処理装置。
【請求項２】
前記ノイズ量検出手段は、前記画像データの無彩色領域の輝度ヒストグラムに基づいて前記ノイズ量を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ量検出手段は、前記輝度ヒストグラムに基づいて前記無彩色領域の輝度の平均値と分散値を算出し、前記輝度の平均値と前記分散値を基に前記ノイズ量を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ量検出手段は、前記画像データに対するホワイトバランス処理におけるホワイトバランス評価枠の単位で検出される白領域を、前記無彩色領域として検出することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記制御手段は、
前記ノイズ量が前記所定の閾値未満の場合には前記動き量に所定の値の重み係数を乗じて求めた値に基づいて、前記巡回ノイズリダクション処理の強度を制御し、
前記ノイズ量が前記所定の閾値以上の場合には前記動き量に所定の値未満の重み係数を乗じて求めた値に基づいて、前記巡回ノイズリダクション処理の強度を制御することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記重み係数を乗じて求めた値に更に前記ノイズ量を加算した値に基づいて、前記巡回ノイズリダクション処理の強度を制御することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ノイズ量検出手段は、前記画像データの無彩色領域の広さに基づいて、前記画像データから検出した前記ノイズ量に対して重みをつけることを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
【請求項８】
前記ノイズ量検出手段は、前記ノイズ量に対して前記重みをつける係数を、前記画像データの無彩色領域の広さが広くなるほど大きい値にすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記ノイズ量検出手段は、前記画像データから検出した第１のノイズ量と、前記画像データへのゲイン処理で用いられたゲイン値に基づいて検出した第２のノイズ量とを、前記画像データの無彩色領域の広さに応じた比率で加算した第３のノイズ量を、前記制御手段で用いられる前記ノイズ量として出力することを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
【請求項１０】
前記ノイズ量検出手段は、前記画像データの無彩色領域の広さが広くなるほど、前記第１のノイズ量に対する前記比率を大きくすることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記動き量検出手段は、前記画像データから被写体の動きベクトルを検出し、前記検出した動きベクトルを用いて、画像全体の動き量を算出することを特徴とする請求項１から１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記制御手段は、
前記ノイズ量が所定の閾値以上の場合には前記巡回ノイズリダクション処理の強度を前記画像データの画像全体に均一に設定する制御を行い、
前記ノイズ量が所定の閾値未満の場合には前記巡回ノイズリダクション処理の強度を、前記動きベクトルが検出される被写体の領域毎に設定する制御を行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像データに対して所定の画像処理を行う第１の処理手段と、
前記所定の画像処理がなされた後の前記画像データに対し、前記制御手段により制御される前記強度による前記巡回ノイズリダクション処理を行う第２の処理手段と、
を有することを特徴とする請求項１から１２の何れか１項に記載の画像処理装置。
【請求項１４】
画像データのノイズ量を検出するノイズ量検出工程と、
前記画像データから動き量を検出する動き量検出工程と、
前記ノイズ量と前記動き量とに基づいて、前記画像データに対する巡回ノイズリダクション処理の強度を制御する制御工程と、を有し、
前記制御工程では、前記ノイズ量が所定の閾値未満の場合には前記動き量に基づいて巡回ノイズリダクション処理の強度を制御し、前記ノイズ量が所定の閾値以上の場合には、前記閾値以上でない場合に比べ、前記動き量に基づく前記巡回ノイズリダクション処理の強度の制御を抑制することを特徴とする画像処理装置の画像処理方法。
【請求項１５】
コンピュータを、請求項１から１３の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置では、例えばノイズが多い画像に対して巡回ＮＲ（ノイズリダクション）を強くかけることにより、ノイズを低減することが行われている。
また、例えば特許文献１には、時間的に前後する画像から、フィルタ処理の対象領域の動きベクトルを検出し、その動きベクトルを基に、対象領域に対して適用するフィルタを構成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えばノイズが多い画像の中に動きのある被写体等の領域が存在している場合において、その画像のノイズを低減するために巡回ＮＲを強くかけると、動きのある領域に残像が発生してしまうことがある。これを解決するための手法として、画像の中で動きのある領域の動き量を検出し、その動き量が多い場合には、画像に対する巡回ＮＲ強度を弱めることにより、動きのある領域の残像抑制を図るような手法が考えられる。
【０００５】
しかしながら、例えば画像のノイズが多い場合、動き量の検出精度が低下してしまうことがある。このため、画像のノイズが多い場合には、実際には被写体等の動き量が少ないにも関わらず、ノイズの影響で動き量が大きいと誤判定され、巡回ＮＲ強度が弱く制御されてノイズの低減が図れないことが起こり得る。一方、画像のノイズが多い場合において、実際に被写体等の動き量も大きい場合には、巡回ＮＲ強度が弱く制御されるので動きのある領域の残像は抑えられるが、ノイズの多い画像に対して充分なノイズ低減が行えるとは言えない。
【０００６】
そこで、本発明は、画像のノイズ低減と動きのある領域の残像抑制とを実現可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、画像データのノイズ量を検出するノイズ量検出手段と、前記画像データから動き量を検出する動き量検出手段と、前記ノイズ量と前記動き量とに基づいて、前記画像データに対する巡回ノイズリダクション処理の強度を制御する制御手段と、を有し、前記制御手段は、前記ノイズ量が所定の閾値未満の場合には前記動き量に基づいて巡回ノイズリダクション処理の強度を制御し、前記ノイズ量が所定の閾値以上の場合には、前記閾値以上でない場合に比べ、前記動き量に基づく前記巡回ノイズリダクション処理の強度の制御を抑制することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像のノイズ低減と動きのある領域の残像抑制を実現可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置の概略構成例を示す図である。
【図２】本実施形態の巡回ＮＲ強度制御のフローチャートである。
【図３】動き量適応型の巡回ＮＲ処理の構成例を示す図である。
【図４】動き量適応型の巡回ＮＲ処理のフローチャートである。
【図５】ノイズ量が少ない場合の巡回ＮＲ強度制御の説明に用いる図である。
【図６】ノイズ量が多い場合の巡回ＮＲ強度制御の説明に用いる図である。
【図７】第１の実施形態におけるノイズ量推定部の構成例を示す図である。
【図８】動き量検出部の構成例を示す図である。
【図９】第１の実施形態における巡回ＮＲ強度制御部の構成例を示す図である。
【図１０】第２の実施形態におけるノイズ量推定部の構成例を示す図である。
【図１１】第３の実施形態における巡回ＮＲ強度制御部の構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種撮像装置に適用可能である。
＜第１の実施形態＞
図１は、第１の実施形態の画像処理装置の主要部の構成を示す図であり、画像のノイズ量に応じて動き量の影響度を変動させる巡回ノイズリダクション（巡回ＮＲ）強度制御を行う構成を示している。また、図２は、図１の構成における巡回ＮＲ強度制御の流れを示したフローチャートである。
【００１１】
ここで、第１の実施形態における図１及び図２の説明を行う前に、画像のノイズ量を考慮せずに動き量のみに応じて巡回ＮＲ強度制御を行う場合の構成、及び、巡回ＮＲ強度制御の流れについて、図３と図４を用いて説明する。
図３は、動き量に応じた巡回ＮＲ強度制御を行う場合の概略的な構成例を示した図である。図３において、画像入力部１１は画像データを取得する。画像入力部１１にて取得された入力画像データは、画像処理部２１と動き量検出部３１とに送られる。画像処理部２１は、入力画像データに対してシャープネス処理やカラー補正等の画像処理を行い、その画像処理後の画像データを巡回ＮＲ処理部５１に出力する。動き量検出部３１は、入力画像データから、被写体等の動きベクトルを検出し、その動きベクトルに基づいて動き量を算出する。動き量検出部３１にて検出された動き量の情報は、巡回ＮＲ強度制御部４１に送られる。巡回ＮＲ強度制御部４１は、動き量検出部３１にて算出された動き量に応じた巡回ＮＲ強度を求め、その巡回ＮＲ強度を示す情報を巡回ＮＲ処理部５１に送る。巡回ＮＲ処理部５１は、画像処理部２１による画像処理後の画像データに対し、巡回ＮＲ強度制御部４１で求められた巡回ＮＲ強度に応じた巡回ノイズリダクション処理（巡回ＮＲ処理）を行って、その巡回ＮＲ処理後の画像データを画像出力部６１に送る。画像出力部６１は、巡回ＮＲ処理後の画像データを図示しない後段の構成に出力する処理を行う。
【００１２】
図４は、図３の構成における巡回ＮＲ強度制御の流れを示したフローチャートである。図４のフローチャートでは、ステップＳ２０〜Ｓ２４をそれぞれＳ２０〜Ｓ２４と略記する。また図４のフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等がプログラムを実行することにより実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。図４のフローチャートの処理は、画像入力部１１に画像データが入力される毎に行われる処理である。先ず、画像入力部１１は、Ｓ２０において、画像データを取得する。Ｓ２０の処理後は、動き量検出部３１にて行われるＳ２１の処理に進む。動き量検出部３１は、Ｓ２１において、画像データから被写体等の動きベクトルを検出して動き量を算出する。Ｓ２１の処理後は、巡回ＮＲ強度制御部４１にて行われるＳ２２の処理に進む。巡回ＮＲ強度制御部４１は、Ｓ２２において、動き量検出部３１が算出した動き量から動き量評価値を求め、その動き量評価値から動き係数を決定する。さらに、巡回ＮＲ強度制御部４１は、Ｓ２３において、動き係数から巡回ＮＲ強度を決定する。具体的には、巡回ＮＲ強度制御部４１は、動き量が少ない場合には強い巡回ＮＲ強度を決定し、一方、動き量が多い場合には弱い巡回ＮＲ強度を決定する。Ｓ２３の処理後は、巡回ＮＲ処理部５１にて行われるＳ２４の処理に進む。巡回ＮＲ処理部５１は、Ｓ２４において、巡回ＮＲ強度を適用して、画像データに対する巡回ＮＲ処理を実行する。
【００１３】
これにより、図３及び図４のように動き量に応じた巡回ＮＲ強度制御が行われる場合、例えば図５（Ａ）に示すように、画像内で動き量が少ないときには、より強い巡回ＮＲ強度による巡回ＮＲ処理が行われることで、ノイズの低減を図ることができる。一方、図５（Ｂ）に示すように、画像内に動いている被写体（人物等の動き被写体）が存在していることで動き量が多い場合には、巡回ＮＲ強度が弱められることになり、動き被写体の残像抑制を図ることができる。
【００１４】
しかしながら、動き量のみに応じた巡回ＮＲ強度制御が行われる場合において、例えば図６（Ａ）に示すように、動き量は少ないがノイズが多い画像では、被写体等の動き量が少ないにも関わらず、ノイズの影響で動き量が多いと誤判定されることがある。このように、被写体等の動き量は少ないのに、ノイズの影響で動き量が多いと誤判定された場合、巡回ＮＲ強度は弱く制御されてしまい、ノイズの低減が図れないことが起こり得る。一方、図６（Ｂ）に示すように、ノイズが多く、人物等の動き被写体の動き量も多い場合、被写体の動き量が多いため巡回ＮＲ強度が弱く制御されることになり、動き被写体の残像は抑えられるが、画像のノイズ低減については充分とは言えない。
【００１５】
このようなことから、図１及び図２に示した第１の実施形態の画像処理装置では、入力画像データからノイズ量と被写体の動き量とを検出して、それらノイズ量と動き量を基に巡回ＮＲ強度を適切に制御する。すなわち、第１の実施形態の画像処理装置は、画像データから検出したノイズ量と被写体等の動き量を基に、ノイズ量が多いため動き量の検出精度が良くないと考えられる場合には、巡回ＮＲ強度制御に対する動き量の影響度を抑圧する。一方、第１の実施形態の画像処理装置は、ノイズが少ないため被写体等の動き量の検出精度が良いと考えられる場合には、動き量の検出結果に基づいた巡回ＮＲ強度制御を実行、つまり動き量の影響度を高めた巡回ＮＲ強度制御を実行する。このように、第１の実施形態の画像処理装置では、画像のノイズ量に応じて動き量の影響度を変動させた巡回ＮＲ強度制御を行う。
【００１６】
以下、図１を参照しながら、画像のノイズ量に応じて動き量の影響度を変動させる巡回ＮＲ強度制御を実行する第１の実施形態の画像処理装置の構成について説明する。
図１において、画像入力部１０は画像データを取得する。画像入力部１０にて取得された入力画像データは、ホワイトバランス（以下、ＷＢとする）部２０と動き量検出部５０とに送られる。ＷＢ部２０は、入力画像に対するホワイトバランス処理（ＷＢ処理）を行う。また、ＷＢ部２０は、ＷＢ処理におけるホワイトバランス評価枠（ＷＢ評価枠）の単位で、白色やグレー色のような無彩色領域を白領域として検出し、それら検出した白領域の座標位置やサイズの情報を、ノイズ量推定部４０に出力する。画像処理部３０は、入力画像データに対してシャープネス処理やカラー補正処理、例えば画像の輝度を調整するようなゲイン処理等の画像処理を行い、その画像処理後の画像データを、巡回ＮＲ処理部７０とノイズ量推定部４０に出力する。
【００１７】
ノイズ量推定部４０は、画像処理部３０から出力された画像データを用いてノイズ量を検出する。具体的には、ノイズ量推定部４０は、ノイズ量検出処理の一例として、画像処理部３０から出力された画像データのうち、ＷＢ部２０にて検出された白領域の輝度ヒストグラムを生成し、その輝度ヒストグラムからノイズ量を算出する。ノイズ量推定部４０の詳細な構成及びノイズ量検出処理の詳細は後述する。ノイズ量推定部４０により求められたノイズ量の情報は、ノイズ量評価値として巡回ＮＲ強度制御部６０に送られる。
【００１８】
動き量検出部５０は、画像入力部１０より供給された入力画像データから、被写体等の動きベクトルを検出し、その動きベクトルに基づいて動き量を算出する。動き量検出部５０の詳細な構成は後述する。動き量検出部５０にて検出された動き量の情報は、巡回ＮＲ強度制御部６０に送られる。
【００１９】
巡回ＮＲ強度制御部６０は、ノイズ量推定部４０にて求められたノイズ量からノイズ量評価値を算出し、そのノイズ量評価値からノイズ係数を決定する。また、巡回ＮＲ強度制御部６０は、動き量検出部５０にて求められた動き量から動き量評価値を算出し、その動き量評価値から動き係数を決定する。そして、巡回ＮＲ強度制御部６０は、それぞれ決定したノイズ係数と動き係数を基に、巡回ＮＲ強度を決定する。巡回ＮＲ強度制御部６０の詳細な構成は後述する。巡回ＮＲ強度制御部６０にて決定された巡回ＮＲ強度の情報は、巡回ＮＲ処理部７０に送られる。
【００２０】
巡回ＮＲ処理部７０は、画像処理部３０による画像処理後の画像データに対し、巡回ＮＲ強度制御部６０で求められた巡回ＮＲ強度に応じた巡回ＮＲ処理を行って、その巡回ＮＲ処理後の画像データを画像出力部８０に送る。
画像出力部８０は、巡回ＮＲ処理後の画像データを図示しない後段の構成に出力する処理を行う。
【００２１】
以下、図２のフローチャートを参照しながら、第１の実施形態の画像処理装置における、画像のノイズ量に応じて動き量の影響度を変動させる巡回ＮＲ強度制御の流れを説明する。図２のフローチャートの処理は、画像入力部１０に画像データが入力される毎に行われる処理である。
先ず、画像入力部１０は、Ｓ１０において、画像データを取得する。Ｓ１０の処理後は、ＷＢ部２０にて行われるＳ１１の処理に進む。ＷＢ部２０は、Ｓ１１において、入力画像データから白色若しくはグレー色のような無彩色領域（本実施形態では白領域）を判定する。次に、ＷＢ部２０は、Ｓ１２において、白領域の座標位置とサイズを検出する。Ｓ１２の処理後は、ノイズ量推定部４０にて行われるＳ１３の処理に進む。
【００２２】
ノイズ量推定部４０は、Ｓ１３において、白領域の座標位置とサイズの情報を基に、画像データの中の白領域の範囲を、ヒストグラム取得範囲として設定する。次に、ノイズ量推定部４０は、Ｓ１４において、ヒストグラム取得範囲内の画像データから輝度ヒストグラムを生成し、更に、後述するように輝度ヒストグラムからノイズ量を算出する。Ｓ１４の処理後は、巡回ＮＲ強度制御部６０にて行われるＳ１５の処理に進む。
【００２３】
巡回ＮＲ強度制御部６０は、Ｓ１５において、ノイズ量推定部４０にて求められたノイズ量からノイズ量評価値を算出し、そのノイズ量評価値からノイズ係数を決定する。Ｓ１５の処理後は、動き量検出部５０にて行われるＳ１６の処理に進む。
なお、図２のフローチャートでは、後述するＳ１６〜Ｓ１７の処理の前にＳ１３〜Ｓ１５の処理を行う流れになされているが、図２の構成ではＳ１６〜Ｓ１７の処理とＳ１３〜Ｓ１５の処理は並行して行われる。
【００２４】
動き量検出部３１は、Ｓ１６において、画像データから被写体等の動きベクトルを検出して動き量を算出する。Ｓ１６の処理後は、巡回ＮＲ強度制御部６０にて行われるＳ１７の処理に進む。
巡回ＮＲ強度制御部４１は、Ｓ１７において、動き量検出部５０にて算出された動き量から動き量評価値を求め、その動き量評価値から動き係数を決定する。
【００２５】
次に、巡回ＮＲ強度制御部６０は、Ｓ１８において、Ｓ１５で求めたノイズ係数と、Ｓ１７で求めた動き係数とを基に、巡回ＮＲ強度を決定する。Ｓ１８における巡回ＮＲ強度の決定処理の詳細は後述する。Ｓ１８の処理後は、巡回ＮＲ処理部７０にて行われるＳ１９の処理に進む。
巡回ＮＲ処理部７０は、Ｓ１９において、巡回ＮＲ強度を適用して、画像データに対する巡回ＮＲ処理を実行する。
【００２６】
図７は、図２のノイズ量推定部４０の詳細な構成を示す図である。ノイズ量推定部４０は、ヒストグラム取得範囲設定部４０１、ヒストグラム取得部４０２、平均値分散算出部４０３、ノイズ量算出部４０４を有して構成されている。
ヒストグラム取得範囲設定部４０１（以下、範囲設定部４０１とする。）は、図２のＷＢ部２０から取得した白領域の座標及びサイズを基に、ヒストグラム取得範囲を設定する。ヒストグラム取得部４０２は、範囲設定部４０１にて設定されたヒストグラム取得範囲内の画像データを基に輝度ヒストグラムを生成する。平均値分散算出部４０３は、ヒストグラム取得部４０２が生成した輝度ヒストグラムから、輝度の平均値と分散値とを算出する。ノイズ量算出部４０４は、平均値分散算出部４０３が算出した輝度の平均値と分散値から、式（１）を用いてＳＮ比を計算することでノイズ量を算出し、そのノイズ量の情報を巡回ＮＲ強度制御部６０へ送出する。なお、式（１）において、Ａｖｅは輝度平均値、Ｄｉｖは輝度分散値である。
【００２７】
ＳＮ＝２０ｌｏｇ（Ａｖｅ／Ｄｉｖ）          式（１）
【００２８】
図８は、図２の動き量検出部５０の詳細な構成を示す図である。動き量検出部５０は、動きベクトル取得部５０１、動き量算出部５０２を有して構成されている。
動きベクトル取得部５０１は、図２の画像入力部１０より供給された画像データを基に、被写体等の領域毎に動きベクトルを算出する。動き量算出部５０２は、領域毎に求められた複数の動きベクトルから画像全体の動き量を算出して、その動き量の情報を巡回ＮＲ強度制御部６０に送出する。
【００２９】
図９は、図２の巡回ＮＲ強度制御部６０の詳細な構成を示す図である。巡回ＮＲ強度制御部６０は、ノイズ量評価値算出部６０１、動き量評価値算出部６０２、巡回ＮＲ強度算出部６０３を有して構成されている。
ノイズ量評価値算出部６０１は、ノイズ量推定部４０にて求められたノイズ量から、ノイズ量に関する評価値（ノイズ量評価値）を算出する。動き量評価値算出部６０２は、動き量検出部５０にて求められた動き量から、動き量に関する評価値（動き量評価値）を算出する。巡回ＮＲ強度算出部６０３は、ノイズ量評価値と動き量評価値を基に、式（２）を用いて巡回ＮＲ強度を決定し、その巡回ＮＲ強度を図２の巡回ＮＲ処理部７０に送出する。なお、式（２）において、ＤｅｔＭは、動き量に基づく動き量評価値（０≦ＤｅｔＭ≦１．０、値が大きいほど動き量が多いことを表す。）であり、（１−ＤｅｔＭ）が動き量評価値から求められる動き係数である。ＤｅｔＳＮは、ノイズ量に基づくノイズ量評価値（０≦ＤｅｔＳＮ≦１．０、値が大きいほどノイズ量が多いことを表す。）であり、これがノイズ係数となる。ｃは予め定められた係数であり、ＮＲｉｖはＮＲ強度の初期設定値である。Ｎｃはノイズ量に応じて変動する重み係数であり、ノイズ量が所定の閾値未満である場合には動き量の検出精度が良いものとして所定の値（１）の重み係数（つまりＮｃ＝１）となされる。一方、Ｎｃは、ノイズ量が所定の閾値以上である場合には動き量の検出精度が良くないものとして所定の値未満（１未満）の重み係数（つまりＮｃ＜１）となされ、巡回ＮＲ強度制御における動き量の評価値（動き量評価値）による影響の度合いを小さくする。
【００３０】
ＮＲ強度＝｛ｃ＋Ｎｃ×（１−ＤｅｔＭ）＋ＤｅｔＳＮ｝×ＮＲｉｖ      式（２）
【００３１】
このため、例えば図５（Ａ）のように、入力画像のノイズ量が所定の閾値未満で少なく、画像内の動き量も少ない場合には、式（２）のＮｃは１となされ、ＤｅｔＭは０又は０に近い値となって動き係数の（１−ＤｅｔＭ）は大きい値となる。一方、ノイズ係数のＤｅｔＳＮは小さな値となる。したがって、式（２）では、［Ｎｃ×（１−ＤｅｔＭ）＋ＤｅｔＳＮ］の項が大きくなるので、巡回ＮＲ強度が強い方向に制御されることになり、ノイズの低減が図られることになる。
【００３２】
また、図５（Ｂ）のように、入力画像のノイズ量が所定の閾値未満で少ないが、画像内で被写体の動き量が多い場合には、式（２）のＮｃは１となされ、ＤｅｔＭは１又は１に近い値となって動き係数の（１−ＤｅｔＭ）は小さい値となる。一方、ノイズ係数のＤｅｔＳＮは小さな値となる。したがって、式（２）では、［Ｎｃ×（１−ＤｅｔＭ）＋ＤｅｔＳＮ］の項が小さくなるので、巡回ＮＲ強度が弱い方向に制御されることになり、動き被写体の残像を抑えた、適切な画質を得ることが可能となる。
【００３３】
これに対し、図６（Ａ）のように、画像内の動き量は少ないが、入力画像のノイズ量が所定の閾値以上で多い場合には、式（２）のＮｃは１未満になって、Ｎｃ×（１−ＤｅｔＭ）の値は小さくなる。つまり、巡回ＮＲ強度制御において、動き量評価値の影響度は小さくなされる。一方、図６（Ａ）のようにノイズ量が多い場合、ノイズ係数のＤｅｔＳＮが大きくなるので、［Ｎｃ×（１−ＤｅｔＭ）＋ＤｅｔＳＮ］の値は大きくなる。したがって、巡回ＮＲ強度は強い方向に制御され、ノイズの低減が図られることになる。
【００３４】
また、図６（Ｂ）のように、入力画像のノイズ量が所定の閾値以上で多く、画像内の動き量も多い場合、式（２）のＮｃは１未満となり、被写体の動き量も多いので、動き係数の（１−ＤｅｔＭ）の値は小さくなる。このため、Ｎｃ×（１−ＤｅｔＭ）の値は小さくなる。つまり、図６（Ｂ）の場合も、巡回ＮＲ強度制御における動き量評価値の影響度は小さくなされる。一方、図６（Ｂ）のようにノイズ量が多い場合、ノイズ係数のＤｅｔＳＮが大きくなるので、［Ｎｃ×（１−ＤｅｔＭ）＋ＤｅｔＳＮ］の値は大きくなり、巡回ＮＲ強度が強い方向に制御される。ただし、図６（Ｂ）の例において式（２）により算出される巡回ＮＲ強度は、図６（Ａ）の例の場合よりも低い巡回ＮＲ強度となる。このため、巡回ＮＲ処理により例えば動き領域に残像が生じたとしても、その残像は非常に少なく、ノイズの多い画像のノイズ低減による画質改善効果と比較して、その残像による画質への影響は極僅かである。したがって、図６（Ｂ）のように、ノイズが多く、画像内の動き量が多い場合であっても、ノイズが適切に低減され、また動き領域の残像も適切に抑制された画像が得られることになる。
【００３５】
＜第２の実施形態＞
以下、第２の実施形態の画像処理装置における巡回ＮＲ強度制御について説明する。第２の実施形態の画像処理装置は、白領域の広さに応じたノイズ量の算出精度を考慮してノイズ量を算出する。なお、第２の実施形態の画像処理装置の概略構成は前述した図１と同様であり、また、第２の実施形態の場合の巡回ＮＲ強度制御のフローチャートも前述した図２と同様であるため、以下の説明では異なる部分についてのみ説明する。
【００３６】
図１０は、第２の実施形態におけるノイズ量推定部４０の構成を示す図である。第２の実施形態のノイズ量推定部４０は、前述した図７の構成に加え、Ｇノイズ量推定部４０５、（１−α）演算部４０６、係数乗算部４０７，４０８、加算部４０９を有して構成されている。範囲設定部４０１からノイズ量算出部４０４までは、前述の図７と同様の構成である。但し、図１０の場合、範囲設定部４０１は、白領域の広さに応じた重み係数αを生成して、係数乗算部４０８と、（１−α）演算部４０６とに出力する。
【００３７】
図１０のノイズ量推定部４０において、ノイズ量算出部４０４にて求められたノイズ量は、係数乗算部４０８に送られる。係数乗算部４０８は、範囲設定部４０１が生成した重み係数αを、ノイズ量算出部４０４から供給されたノイズ量に乗算する。ここで、重み係数αは、０以上、１以下の値であり、ＷＢ部２０で求められた白領域の検出精度を表す値となっている。すなわち、白領域が広ければ広いほど、輝度ヒストグラムを用いたノイズ量の算出精度は良くなると考えられる。このため、重み係数αは、ＷＢ部２０で求められた白領域の広さが広くノイズ量の算出精度が良いと判定できる場合には大きな係数となされ、逆に、白領域の広さが狭くノイズ量の算出精度が良くないと判定される場合には小さな係数となされる。このように重み係数αは、白領域の広さが広くなるほど大きな値の係数となされる。
【００３８】
Ｇノイズ量推定部４０５は、図２の画像処理部３０における画像処理の際に用いられたゲイン値を基にノイズ量を推定する。ここで、画像処理部３０では、例えば暗い画像の輝度を上げるようなゲイン処理が行われることがあり、ゲイン処理により画像の輝度を上げることで目立つノイズが増加することも多い。このため、ゲイン処理のゲイン値と、画像処理部３０による画像処理後の画像のノイズ量とは、或る程度の相関関係を有していると考えられる。このため、Ｇノイズ量推定部４０５は、ゲイン処理のゲイン値を基にノイズ量を推定する。Ｇノイズ量推定部４０５にて求められたノイズ量は、係数乗算部４０７に送られる。また、（１−α）演算部４０６は、重み係数αを用いて（１−α）の演算を行い、その（１−α）の値を係数乗算部４０７に送る。したがって、係数乗算部４０７では、Ｇノイズ量推定部４０５にて得られたノイズ量に対し、（１−α）演算部４０６にて得られた（１−α）の値を乗算する。
【００３９】
そして、加算部４０９では、ノイズ量算出部４０４で得られたノイズ量に重み係数αが乗算された後のノイズ量と、Ｇノイズ量推定部４０５で得られたノイズ量に（１−α）の値が乗算された後のノイズ量との加算演算が行われる。第２の実施形態のノイズ量推定部４０では、この加算部４０９による加算演算後のノイズ量が、最終的なノイズ量として算出されて、巡回ＮＲ強度制御部６０に送出される。すなわち、第２の実施形態の場合、ノイズ量推定部４０では、前述した輝度ヒストグラムに基づくノイズ量と、ゲイン値に基づくノイズ量とが、白領域の広さに応じた比率（重み係数αと１−αで表される比率）で加算される。そして、その加算より算出されたノイズ量が、巡回ＮＲ強度制御部６０に送られるノイズ量となされる。
【００４０】
このように、第２の実施形態によれば、輝度ヒストグラムに基づくノイズ量と、ゲイン値に基づくノイズ量とを、白領域の広さに応じて変動させた比率で加算したノイズ量を、巡回ＮＲ強度制御部６０に送るようになされている。第２の実施形態の場合、白領域の範囲が狭く、輝度ヒストグラムから算出されるノイズ量の算出精度が低い場合には、輝度ヒストグラムに基づくノイズ量に対する重みが下げられ、一方、ゲイン値から推定したノイズ量に対する重みは上げられる。このため、ゲイン値から推定したノイズ量に重きをおいた巡回ＮＲ強度制御が実行されることになる。また第２の実施形態の場合、白領域の範囲が広く、輝度ヒストグラムに基づくノイズ量の算出精度が高い場合には、輝度ヒストグラムに基づくノイズ量に対する重みが上げられ、一方、ゲイン値から推定したノイズ量に対する重みは下げられる。このため、輝度ヒストグラムから算出されたノイズ量に重きをおいた巡回ＮＲ強度制御が実行されることになる。したがって、第２の実施形態によれば、白領域の範囲が小さく、白領域におけるノイズ量の算出精度が低い場合にも、ノイズ量を適切に推定することが可能となり、その結果、巡回ＮＲ強度を適切に制御することが可能となる。
【００４１】
なお、前述した図５（Ａ）、図５（Ｂ）、図６（Ａ）、図６（Ｂ）の例において、第２の実施形態の巡回ＮＲ強度制御が行われた場合にも、前述の第１の実施形態と同様な結果が得られる。これに加え、第２の実施形態の場合は、画像の白領域が狭く、輝度ヒストグラムを用いたノイズ量の算出精度が良くない場合でも、適切な巡回ＮＲ強度の制御が可能となる。
【００４２】
＜第３の実施形態＞
以下、第３の実施形態の画像処理装置における巡回ＮＲ強度制御について説明する。第３の実施形態の画像処理装置は、ノイズ量が多い場合には画像全体で均一な巡回ＮＲ強度を設定し、ノイズ量が少ない場合には動きベクトルを算出した領域（以下、動きベクトル取得領域とする。）毎に巡回ＮＲ強度を設定する。なお、第３の実施形態の画像処理装置の概略構成は前述した図１と同様であり、また、第３の実施形態の場合の巡回ＮＲ強度制御のフローチャートも前述した図２と同様であるため、以下の説明では異なる部分についてのみ説明する。
【００４３】
図１１は、第３の実施形態における巡回ＮＲ強度制御部６０の構成を示す図である。第３の実施形態の巡回ＮＲ強度制御部６０は、前述した図９の構成に加え、面内／領域別巡回ＮＲ制御判別部６０４（以下、判別部６０４とする。）を有して構成されている。ノイズ量評価値算出部６０１、動き量評価値算出部６０２は、前述の図９と同様の構成である。図１１の場合、ノイズ量評価値算出部６０１にて算出されたノイズ量評価値は、判別部６０４に送られる。
【００４４】
判別部６０４は、ノイズ量評価値算出部６０１にて求められたノイズ量評価値に基づいて、画像全体で均一な巡回ＮＲを設定するか、又は動きベクトル取得領域毎に巡回ＮＲ強度を設定するかどうかを判別する。前述したように、ノイズ量が多い場合には、動きベクトルの検出精度が低く、被写体等の動きも識別が難しい状況であると考えられる。このため、判別部６０４は、ノイズ量評価値におけるノイズ量が所定の閾値以上となっていて、ノイズ量が多い場合、画像全体で共通に適用される巡回ＮＲ強度を算出するように、巡回ＮＲ強度算出部６０５を制御する。一方、ノイズ量が少ない場合には、動きベクトルの検出精度が良く、被写体等の動きも識別できると考えられる。このため、判別部６０４は、ノイズ量評価値におけるノイズ量が所定の閾値未満となっていて、ノイズ量が少ない場合、動きベクトル取得領域毎に適用される巡回ＮＲ強度を算出するように、巡回ＮＲ強度算出部６０５を制御する。
【００４５】
巡回ＮＲ強度算出部６０５は、動き量評価値算出部６０２にて求められた動き量評価値と、ノイズ量評価値算出部６０１にて求められて判別部６０４を介したノイズ量評価値とを用いて、巡回ＮＲ強度を算出する。但し、第３の実施形態の場合、巡回ＮＲ強度算出部６０５は、巡回ＮＲ強度を算出する際、先ず、判別部６０４による制御の下で、画像全体で均一な巡回ＮＲ強度を算出するか、又は動きベクトル取得領域毎の巡回ＮＲ強度を算出するかを決定する。
【００４６】
ここで、画像全体で均一な巡回ＮＲ強度を算出する場合、巡回ＮＲ強度算出部６０５は、動き量評価値とノイズ量評価値とを用い、前述の式（２）を基に画像全体で均一に適用される巡回ＮＲ強度を算出し、その巡回ＮＲ強度の情報を巡回ＮＲ処理部７０に送る。これにより、この場合の巡回ＮＲ処理部７０では、画像全体に共通な巡回ＮＲ強度を適用した巡回ＮＲ処理が行われることになる。また、画像全体に均一に適用される巡回ＮＲ強度は、前述の第１や第２の実施形態と同様に算出することができる。したがって、第３の実施形態によれば、ノイズ量が多いため、動きベクトルの検出精度が低く、被写体の動きも識別が難しい状況では、画像全体で共通な巡回ＮＲ強度を適用した巡回ＮＲ処理によるノイズ低減が図られることになる。
【００４７】
また、巡回ＮＲ強度算出部６０５は、動きベクトル取得領域毎に巡回ＮＲ強度を算出する場合、動き量評価値とノイズ量評価値とを用い、前述の式（２）を基に、動きベクトル取得領域毎の巡回ＮＲ強度を算出する。具体的には、巡回ＮＲ強度算出部６０５は、動き量が多い領域では巡回ＮＲ強度が弱く、一方、動き量が小さい領域では巡回ＮＲ強度が強くなるように、動きベクトル取得領域毎に巡回ＮＲ強度を算出する。そして、巡回ＮＲ強度算出部６０５は、その動きベクトル取得領域毎の巡回ＮＲ強度の情報を、巡回ＮＲ処理部７０に送出する。したがって、この場合の巡回ＮＲ処理部７０では、動きベクトル取得領域毎の巡回ＮＲ強度を適用した巡回ＮＲ処理が行われることになる。すなわち、この場合の巡回ＮＲ処理部７０では、動き量の多い領域に対しては弱い巡回ＮＲ強度による巡回ＮＲ処理が行われ、動き量の少ない領域に対しては強い巡回ＮＲ強度による巡回ＮＲ処理が行われることになる。これにより、ノイズ量が少なく、動きベクトルの検出精度及び被写体等の動きの識別精度が良い場合、動き量の少ない領域では、巡回ＮＲ強度を強めた巡回ＮＲ処理によるノイズ低減が図れるようになる。一方、動き量の多い領域では、巡回ＮＲ強度を弱めた巡回ＮＲ処理により、動き領域の残像抑制が可能となる。
【００４８】
第３の実施形態による巡回ＮＲ強度制御が行われた場合の効果について、前述した図５（Ａ）、図５（Ｂ）、図６（Ａ）、図６（Ｂ）の画像例を用いて説明する。
第３の実施形態の巡回ＮＲ強度制御によれば、図５（Ａ）と図５（Ｂ）のように、入力画像のノイズ量が少ない場合、前述したように動きベクトル取得領域毎に算出された巡回ＮＲ強度を用いた巡回ＮＲ処理が行われる。したがって、被写体等の動きがある領域では弱い巡回ＮＲ強度による巡回ＮＲ処理が行われるため残像を抑えることができ、一方、被写体等の動きが無い領域では強い巡回ＮＲ強度による巡回ＮＲ処理が行われるためノイズの低減が図られる。
また、第３の実施形態の巡回ＮＲ強度制御によれば、図６（Ａ）と図６（Ｂ）のように、入力画像のノイズ量が多い場合、前述したように画像全体で均一な巡回ＮＲ強度を用いた巡回ＮＲ処理が行われるため、ノイズ低減が図られることになる。
【００４９】
以上説明したように、第１〜第３の実施形態の巡回ＮＲ強度制御によれば、ノイズが多く被写体の動き量の検出精度が良くない場合でも、動き量の誤検出による巡回ＮＲ制御を防ぐことができ、ノイズ量の低減に重きをおいた画質を得ることが可能となる。また、ノイズが少なく被写体等の動き量の検出精度が良い場合には、動き量に応じた巡回ＮＲ制御を実施でき、動いている被写体等の領域に残像を発生させることなく適切な画質を得ることが可能となる。
【００５０】
＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１０：画像入力部、２０：ＷＢ部、３０：画像処理部、４０：ノイズ量推定部、５０：動き量検出部、６０：巡回ＮＲ強度制御部、７０：巡回ＮＲ処理部、８０：画像出力部
【図１】
2018129603.tif 000003
【図２】
2018129603.tif 000004
【図３】
2018129603.tif 000005
【図４】
2018129603.tif 000006
【図５】
2018129603.tif 000007
【図６】
2018129603.tif 000008
【図７】
2018129603.tif 000009
【図８】
2018129603.tif 000010
【図９】
2018129603.tif 000011
【図１０】
2018129603.tif 000012
【図１１】
2018129603.tif 000013