(57)【要約】【課題】  明暗差が大きくかつ動き成分がある入力画像を鮮明な出力画像に変え得る画像信号処理技術を提供する。【解決手段】  画像信号処理装置を、複数フレームの入力画像信号から該複数フレーム間の画像の動き成分を算出するとともに、該複数フレームの入力画像信号に基づいて画像のエッジ成分を算出し、該算出した動き成分とエッジ成分とに応じて、現在入力中のフレームの入力画像信号を信号処理し、該フレームの出力画像信号による画像が、ノイズ除去されかつコントラスト補正されたものとなるようにした構成とする。【選択図】  図１
2012222740.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を信号処理し出力画像信号として出力する画像信号処理装置であって、
入力画像信号を保存する記憶手段と、
複数フレームの入力画像信号から該複数フレーム間の画像の動き成分を算出する動き成分算出手段と、
上記複数フレームの入力画像信号に基づいて画像のエッジ成分を算出するエッジ成分算出手段と、
現在入力中のフレームの入力画像信号を、上記算出した動き成分とエッジ成分とに応じて信号処理し、該信号処理に基づき形成される出力画像信号による画像が、上記入力画像信号による画像よりもノイズ除去されかつコントラスト補正されたものとなるようにするノイズ除去・コントラスト補正手段と、
を備えたことを特徴とする画像信号処理装置。
【請求項２】
入力画像信号を信号処理し出力画像信号として出力する画像信号処理装置であって、
入力画像信号を保存する記憶手段と、
入力中の現フレーム入力画像信号と上記記憶手段に保存された前フレーム入力画像信号を用いて、画像の局所領域から動きベクトルを算出し、当該現フレームと前フレームとの間の動きベクトル差分値を求め、該差分値から該両フレーム間の動き成分を算出する動き成分算出手段と、
現フレーム入力画像信号と上記記憶手段から出力された前フレーム入力画像信号を用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出するエッジ成分算出手段と、
現フレーム入力画像信号と、上記前フレーム入力画像信号と、上記算出された動き成分と、上記算出されたとエッジ成分とが入力され、上記現フレーム入力画像信号を、上記動き成分とエッジ成分とに応じて信号処理し、該信号処理に基づき形成される出力画像信号による画像が、上記現フレーム入力画像信号による画像よりもノイズ除去されかつコントラスト補正されたものとなるようにするノイズ除去・コントラスト補正手段と、
を備えたことを特徴とする画像信号処理装置。
【請求項３】
上記動き成分算出手段は、
上記現フレーム入力画像信号の輝度情報と、上記記憶手段から出力された上記前フレーム入力画像信号の輝度情報とを用い、画像の局所領域から輝度動きベクトルを算出し、上記両フレーム間の輝度動きベクトル差分値から該両フレーム間の輝度動き成分を算出する輝度動き成分算出部と、
上記現フレーム入力画像信号の色情報と、上記記憶手段から出力された前フレーム入力画像信号の色情報とを用い、画像の局所領域から色動きベクトルを算出し、上記両フレーム間の色動きベクトル差分値から該両フレーム間の色動き成分を算出する色動き成分算出部と、
を備えて成る構成である請求項１または請求項２に記載の画像信号処理装置。
【請求項４】
上記エッジ成分算出手段は、
上記現フレーム入力画像信号の輝度情報と、上記記憶手段から出力された上記前フレーム入力画像信号の輝度情報とを用い、画像の局所領域から画像信号の輝度振幅差分値を求め輝度エッジ成分を算出する輝度エッジ成分算出部と、
上記現フレーム入力画像信号の色情報と、上記記憶手段から出力された上記前フレーム入力画像信号の色情報とを用い、画像の局所領域から画像信号の色振幅差分値を求め色エッジ成分を算出する色エッジ成分算出部と、
を備えて成る構成である請求項１または請求項２に記載の画像信号処理装置。
【請求項５】
上記ノイズ除去・コントラスト補正手段は、
上記現フレーム入力画像信号と、上記記憶手段から出力された上記前フレーム入力画像信号と、上記動き成分算出手段で算出されたフレーム間の輝度動き成分と色動き成分と、上記エッジ成分算出手段で算出された輝度エッジ成分と色エッジ成分と、が入力され、上記輝度動き成分と上記色動き成分と上記輝度エッジ成分と上記色エッジ成分とに応じて現フレーム入力画像信号による画像からノイズの除去を行うノイズ除去部と、
上記ノイズ除去部から出力されたノイズ除去後の画像の画像信号と、上記現フレーム入力画像信号と、上記記憶手段から出力された上記前フレーム入力画像信号と、上記動き成分算出手段で算出されたフレーム間の輝度動き成分と色動き成分と、上記エッジ成分算出手段で算出された輝度エッジ成分と色エッジ成分と、が入力され、上記ノイズ除去後の画像に対して、上記輝度動き成分、上記色動き成分、上記輝度エッジ成分及び上記色エッジ成分に応じたコントラスト補正を行うコントラスト補正部と、
を備えて成る構成である請求項１または請求項２に記載の画像信号処理装置。
【請求項６】
上記ノイズ除去・コントラスト補正手段は、
上記動き成分算出手段が算出した動き成分が少なく、かつ、上記エッジ成分算出手段が算出したエッジ成分が少ない場合は、ゲインを上げてノイズ除去動作を行い、
上記動き成分算出手段が算出した動き成分が少なく、かつ、エッジ成分算出手段が算出したエッジ成分が多い場合は、ノイズ除去後、画像のコントラストを上げるコントラスト補正動作を行う
構成である請求項１または請求項２に記載の画像信号処理装置。
【請求項７】
入力画像信号を信号処理し出力画像信号として出力する画像信号処理方法であって、
複数フレームの入力画像信号に基づき複数フレーム間の画像の動き成分を算出するとともに、該複数フレームの入力画像信号に基づき画像のエッジ成分を算出するステップと、
現在入力中のフレームの入力画像信号を、上記算出した動き成分とエッジ成分とに応じて信号処理し、該信号処理に基づき形成される出力画像信号による画像が、上記入力画像信号による画像に対しノイズ除去されかつコントラスト補正されたものとなるようにするステップと、
を備えたことを特徴とする画像信号処理方法。
【請求項８】
入力画像信号を信号処理し出力画像信号として出力する画像信号処理方法であって、
入力画像信号を保存するステップと、
入力中の現フレーム入力画像信号と上記保存された前フレーム入力画像信号を用いて、画像の局所領域から動きベクトルを算出し、当該現フレームと前フレームとの間の動きベクトル差分値を求め、該差分値から該両フレーム間の動き成分を算出するとともに、現フレーム入力画像信号と上記保存された前フレーム入力画像信号を用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出するステップと、
現フレーム入力画像信号と、上記前フレーム入力画像信号と、上記算出された動き成分と、上記算出されたとエッジ成分とが入力され、上記現フレーム入力画像信号に対し、上記動き成分とエッジ成分とに応じて、ノイズ除去の信号処理を行った後、コントラスト補正の信号処理を行い、該信号処理に基づき形成される出力画像信号による画像が、上記現フレーム入力画像信号による画像よりも低ノイズかつ高コントラストとなるようにするステップと、
を備えたことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによる撮像等によって形成される画像信号の信号処理技術に係り、特に、入力画像に対するノイズ除去とコントラスト補正のための信号処理技術に関する。
【背景技術】
【０００２】
本発明の背景技術としては、例えば、特開２０１０−２７７６０７号公報（特許文献１）に記載された技術がある。特開２０１０−２７７６０７号公報には、デジタルカメラ等で得られたデジタル画像のコントラストを自動的に調整して、より鮮明な画像を高速に得るために、入力画像内の対象画素の周囲の周辺領域に属する比較対象画素の重み付き加重和の値を求める周囲平均手段と、入力画像内の対象画素におけるエッジ情報を求めるエッジ情報検出手段と、エッジ情報検出手段が求めたエッジ情報に基づいて、周囲平均手段が求めた加重和の値を補正する補正係数を求める補正係数算出手段と、補正係数算出手段が求めた補正係数に基づいて加重和の値を補正する比較量補正手段と、補正された加重和の値と、対象画素の画素値との比較によって、対象画素のコントラスト改善量を求める改善量算出手段とを備えるとした技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７７６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、コントラスト補正を行う場合、特開２０１０−２７７６０７号公報記載の技術では、同フレーム内での画像情報からフィルタ係数を生成し、処理対象画素の補正を行っているため、入力画像のエッジ成分とフレーム間に発生するノイズ成分との切り分けができず、ノイズをエッジと誤判断してしまう場合があると考えられ、その結果、例えば、白飛び成分が多い領域（明るくて画像の視認性が低い領域）や、黒潰れ成分が多い領域（暗くて画像の視認性が低い領域）や、エッジ成分を有する画像などに対してダイナミックレンジを広げた場合には、ノイズ成分をも強調してしまうこととなり、このために、コントラストの補正精度が低下してしまうおそれがある。
【０００５】
本発明の課題点は、上記背景技術の状況に鑑み、画像信号処理技術として、入力画像に、白飛び成分の多い画像領域や、黒潰れ成分の多い画像領域や、エッジ成分を有する画像領域などがある場合にも、視認性が確保された鮮明な出力画像を得ることができるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題点を解決するために、本発明では、画像信号処理技術として、複数フレームの入力画像信号から該複数フレーム間の画像の動き成分を算出するとともに、該複数フレームの入力画像信号に基づいて画像のエッジ成分を算出し、該算出した動き成分とエッジ成分とに応じて、現在入力中のフレームの入力画像信号を信号処理し、該フレームの出力画像信号による画像が、ノイズが除去されかつコントラストが補正されたものとなるようにした構成のものとする。例えば、画像信号処理装置を、入力された画像信号を保存する記憶手段と、現在入力中のフレーム（現フレーム）の入力画像信号（以下、現フレーム入力画像信号という）と上記記憶手段に保存された後該記憶手段から出力される直前フレームまたは該直前フレームよりも前のフレーム（１つまたは複数のフレーム）の入力画像信号または直前フレーム及び該直前フレームよりも前のフレーム（１つまたは複数のフレーム）の入力画像信号（以下、これら直前フレームの入力画像信号、直前フレームよりも前のフレームの入力画像信号、直前フレーム及び直前フレームよりも前のフレームの入力画像信号を総称して、前フレーム入力画像信号という）との間の画像の動き成分を算出する動き成分算出手段と、上記現フレーム入力画像信号と上記前フレーム入力画像信号とに基づき、画像のエッジ成分を算出するエッジ成分算出手段と、上記動き成分算出手段で算出した画像の動き成分と上記エッジ成分算出手段で算出した画像のエッジ成分とに応じて、現フレームの画像のノイズ除去とコントラスト補正とを行うＮＲ・コントラスト補正手段と、を備えた構成とする。
【発明の効果】
【０００７】
本発明の画像信号処理技術によれば、入力画像の白飛び成分の多い領域や、黒潰れ成分の多い領域や、エッジ成分を有する画素の領域など画像の局所領域に対し、ノイズ除去とコントラスト補正を、該各局所領域の状態に対応して行うことができ、その結果、視認性が確保された鮮明な出力画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態の一例としての画像信号処理装置の基本構成図である。
【図２】図１の画像信号処理装置における入力画像と出力画像の説明図である。
【図３】図１の画像信号処理装置のさらに具体的な構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態につき図面を用いて説明する。
【００１０】
図１は、本発明の実施形態の一例（以下、実施例という）としての画像信号処理装置の基本構成図である。
【００１１】
図１において、１は、入力画像信号を保存し出力する記憶手段である。２は、動き成分算出手段であって、現フレーム入力画像信号と、上記記憶手段１に保存された後出力される前フレーム入力画像信号（直前フレームの入力画像信号、直前フレームよりも前のフレームの入力画像信号、または、直前フレーム及び該直前フレームよりも前のフレームの入力画像信号）とを用いて、画像の局所領域から動きベクトルを算出し、フレーム間の動きベクトル差分値からフレーム間の動き成分を算出する。３は、エッジ成分算出手段であって、現フレーム入力画像信号と記憶手段１から出力された前フレーム入力画像信号を用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出する。４は、ＮＲ・コントラスト補正手段（ノイズ除去・コントラスト補正手段）であって、現フレーム入力画像信号と、記憶手段１から出力された前フレーム入力画像信号と、動き成分算出手段２で算出されたフレーム間の動き成分と、エッジ成分算出手段３で算出されたエッジ成分とが入力され、上記現フレーム入力画像信号を、上記算出した動き成分とエッジ成分とに応じて信号処理し、該信号処理に基づき形成される出力画像信号による画像が、上記入力画像信号による画像よりもノイズ除去されかつコントラスト補正されたものとなるようにする。
【００１２】
上記記憶手段１は、図１の画像信号処理装置において、現フレーム入力画像信号と、前フレーム入力画像信号とを保存し、また、該保存した入力画像信号を出力する。該記憶手段１としては、例えば、ＳＤＲＡＭ、ＤＤＲ、ＳＲＡＭ、フラッシュメモリ、ＨＤＤなどの記憶装置を用いる。
【００１３】
動き成分算出手段２に関し、上記画像の局所領域とは、補正対象画素と任意の周辺画素とを含む領域を指し、該局所領域は、動きを検出するターゲットの周波数成分によって変化するものとする。また、上記動きベクトルは、局所領域の画像の動きの方向と速さを示し、例えば、該局所領域の画素に対し、離散コサイン変換などを用いて画像の動きを周波数成分に変換することにより求める（算出する）。さらに、フレーム間の動きベクトル差分値は、現フレームの画像の動きベクトルと前フレームの画像の動きベクトルとの差分値として求める。
【００１４】
また、エッジ成分算出手段３に関し、上記画像の局所領域とは、画像内で補正対象画素と任意の周辺画素を含む領域を指す。該局所領域は、検出するエッジの周波数成分により変化するものとする。画像信号の振幅差分値とは、エッジ成分か否かを判断する指標値となるもので、例えば、補正対象画素における画像信号の振幅と上記局所領域の画素における画像信号の振幅の差分値の平均値等で示す。
【００１５】
また、ＮＲ・コントラスト補正手段４が行うノイズの除去とは、入力画像信号のフレーム内やフレーム間に存在するノイズ成分を除去することをいい、例えば、フレーム内における補正対象の画素とその周辺の画素との間や、前後フレーム間でノイズ成分を、ローパスフィルタやメディアンフィルタなどによって除去（ノイズリダクション）する。図１の画像信号処理装置において、例えば、動き成分算出手段２で算出したフレーム間動き成分が少なく、かつ、エッジ成分算出手段３で算出したエッジ成分が少ない場合には、画像の動きが少なく、エッジ成分も少ないため、ＮＲ・コントラスト補正手段４は、ノイズ成分除去の作用を強める（＝ゲインを上げてノイズ除去の動作を行う）。
【００１６】
また、ＮＲ・コントラスト補正手段４が行うコントラストの補正とは、入力画像信号の白飛び成分が多い領域、黒潰れ成分が多い領域、エッジ成分を有する画素のある領域等に対し、信号のゲインを増大させて視認性のある画像を形成することを意味する。図１の画像信号処理装置において、例えば、動き成分算出手段２が算出したフレーム間動き成分が少なく、かつ、エッジ成分算出手段３が算出したエッジ成分が多い場合には、ＮＲ・コントラスト補正手段４は、ノイズ除去を行った後、ゲインを上げてコントラストを上げるコントラスト補正動作を行う。
【００１７】
図２は、図１の画像信号処理装置における入力画像と出力画像の説明図である。
【００１８】
図２において、１０１は、図１の画像信号処理装置の入力画像を示す。該入力画像１０１には全体的にランダムノイズが分布しているものとする。１０２は、入力画像１０１内において白飛び成分が多い領域であって、例えば、カメラで写した雲や光の反射光が多い撮像シーン内の領域などであり、１０３は、入力画像１０１内で黒潰れ成分が多い領域であって、例えば、家の影や、夜間、明るい室内から暗い外窓をカメラで写した場合の撮像シーン内の領域などであり、１０４は、入力画像１０１内でフレーム間での動き成分が多い領域であって、例えば、移動する人や物などをカメラで写した場合の撮像シーン内の領域などであり、明暗差が大きく、動き成分がある画像領域である。
【００１９】
また、図２において、１０５は、画像信号処理装置の出力画像すなわち上記入力画像１０１に対して画像信号処理装置が信号処理を行うことで形成される画像を示す。出力画像１０５内において、１０６は、上記入力画像１０１内の領域１０２に相当する領域であり、１０７は、上記入力画像１０１内の領域１０３に相当する領域であり、１０８は、上記入力画像１０１内の領域１０４に相当する領域である。上記入力画像１０１において全域に存在していたランダムノイズが、出力画像１０５においては、ＮＲ・コントラスト補正手段４により、フレーム間での動き成分が多い領域１０４以外の領域で低減されている。また、出力画像１０５内の領域１０６に関しては、入力画像１０１内で白飛びが発生していた領域１０２が、動き成分が少なくエッジ成分が多いため、ＮＲ・コントラスト補正手段４が、該領域１０２に対してノイズ除去動作後にコントラスト補正動作を行うことにより、出力画像１０５では視認性が確保された画像の領域（領域１０６）に変わっている。出力画像１０５内の領域１０７についても同様に、入力画像１０１内で黒潰れが発生していた領域１０３に対し、ＮＲ・コントラスト補正手段４がノイズ除去動作後にコントラスト補正動作を行うことにより、出力画像１０５では視認性が確保された画像の領域（領域１０７）に変わっている。また、領域１０８については、入力画像１０１内の領域１０４が動き成分が多い領域であるため、ＮＲ・コントラスト補正手段４が該領域１０４に対して抑え気味のノイズ除去動作（＝ゲインを落としたノイズ除去動作）を行うことにより、出力画像１０５内では残像感の少ない画像の領域（領域１０８）にしている。
【００２０】
図１の画像信号処理装置は、以上のように、明暗差が大きくかつ動き成分がある入力画像に対しても、フレーム間ノイズをエッジと誤判断せず、画像内の領域における画像の動き成分やエッジ成分の量に応じたノイズの除去とコントラストの補正とを行うことができ、この結果、鮮明な出力画像を得ることができる。すなわち、図１の画像信号処理装置によれば、画像の白飛び成分の多い領域や、黒潰れ成分の多い領域や、エッジ成分を有する画素のある領域などに対し、ノイズ除去とコントラスト補正を、該各領域の状態に対応して行うことができ、その結果、視認性が確保された鮮明な画像を得ることができる。
【００２１】
なお、上記説明では、図１の画像信号処理装置を、動き成分算出手段２が、現フレーム入力画像信号と、記憶手段１に保存された前フレーム入力画像信号を用いて、画像の局所領域から動きベクトルを算出し、フレーム間の動きベクトル差分値からフレーム間の動き成分を算出する構成であり、かつ、エッジ成分算出手段３が、現フレーム入力画像信号と前フレーム入力画像信号とを用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出する構成であるとしたが、図１の画像信号処理装置は、動き成分算出手段２が、記憶手段１に保存された複数の前フレームの前フレーム入力画像信号を用いて、画像の局所領域から動きベクトルを算出し、フレーム間の動きベクトル差分値から前フレーム間の動き成分を算出する構成、かつ、エッジ成分算出手段３が、複数の前フレームの前フレーム入力画像信号を用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出する構成であってもよい。
【００２２】
図３は、図１の画像信号処理装置の具体的構成例を示す図である。
【００２３】
図３において、１は、入力画像信号を保存し出力する記憶手段、２は、現フレーム入力画像信号と、上記記憶手段１に保存された後出力される前フレーム入力画像信号とを用いて、画像の局所領域から動きベクトルを算出し、フレーム間の動きベクトル差分値からフレーム間の動き成分を算出する動き成分算出手段、３は、現フレーム入力画像信号と、前記記憶手段１から出力された前フレーム入力画像信号とを用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出するエッジ成分算出手段、４は、現フレーム入力画像信号と、記憶手段１から出力された前フレーム入力画像信号と、動き成分算出手段２で算出されたフレーム間の動き成分と、エッジ成分算出手段３で算出されたエッジ成分とが入力され、上記現フレーム入力画像信号を、上記算出した動き成分とエッジ成分とに応じて信号処理し、該信号処理に基づき形成される出力画像信号による画像が、上記入力画像信号による画像よりもノイズ除去されかつコントラスト補正されたものとなるようにするＮＲ・コントラスト補正手段（ノイズ除去・コントラスト補正手段）である。
【００２４】
また、図３において、２０１は、記憶手段１として入力画像信号を保存し出力する画像メモリ部、２０２は、動き成分算出手段２を構成する輝度動き成分算出部であって、現フレーム入力画像信号の輝度情報と、画像メモリ部２０１から出力された前フレーム入力画像信号の輝度情報とを用い、画像の局所領域から輝度動きベクトルを算出し、フレーム間の輝度動きベクトル差分値からフレーム間の輝度動き成分を算出する輝度動き成分算出部、２０３は、輝度動き成分算出部２０２とともに動き成分算出手段２を構成する色動き成分算出部であって、現フレーム入力画像信号の色情報と、画像メモリ部２０１から出力された前フレーム入力画像信号の色情報とを用い、画像の局所領域から色動きベクトルを算出し、フレーム間の色動きベクトル差分値からフレーム間の色動き成分を算出する色動き成分算出部、２０４は、現フレーム入力画像信号の輝度情報と、画像メモリ部２０１から出力された前フレーム入力画像信号の輝度情報とを用い、画像の局所領域から画像信号の輝度振幅差分値を求め、輝度エッジ成分を算出する輝度エッジ成分算出部、２０５は、現フレーム入力画像信号の色情報と、画像メモリ部２０１から出力された前フレーム入力画像信号の色情報とを用い、画像の局所領域から画像信号の色振幅差分値を求め、色エッジ成分を算出する色エッジ成分算出部である。
【００２５】
また、図３において、２０６は、ＮＲ部（ノイズ除去部）であって、現フレーム入力画像信号と、画像メモリ部２０１から出力された前フレーム入力画像信号と、輝度動き成分算出部２０２で算出されたフレーム間の輝度動き成分と、色動き成分算出部２０３で算出されたフレーム間の色動き成分と、輝度エッジ成分算出部２０４で算出された輝度エッジ成分と、色エッジ成分算出部２０５で算出された色エッジ成分とが入力され、上記輝度動き成分と上記色動き成分と上記輝度エッジ成分と上記色エッジ成分とに応じて現フレーム入力画像信号による画像からノイズの除去を行う。
【００２６】
また、図３において、２０７は、コントラスト補正部であって、ＮＲ部２０６から出力されたノイズ除去後の画像の画像信号と、現フレーム入力画像信号と、画像メモリ部２０１から出力された前フレーム入力画像信号と、輝度動き成分算出部２０２で算出されたフレーム間の輝度動き成分と、色動き成分算出部２０３で算出されたフレーム間の色動き成分と、輝度エッジ成分算出部２０４で算出された輝度エッジ成分と、色エッジ成分算出部２０５で算出された色エッジ成分とが入力され、ＮＲ部２０６でノイズを除去された画像に対して、上記輝度動き成分、上記色動き成分、上記輝度エッジ成分及び上記色エッジ成分に応じたコントラスト補正を行う。
【００２７】
上記画像メモリ部２０１は、現フレーム入力画像信号と前フレーム入力画像信号を保存し、また、該保存した入力画像信号を出力する。該画像メモリ部２０１としては、例えば、ＳＤＲＡＭ、ＤＤＲ、ＳＲＡＭ、フラッシュメモリ、ＨＤＤなどの記憶装置を用いる。
【００２８】
上記輝度動き成分算出部２０２に関し、上記画像の局所領域とは、補正対象画素と任意の周辺画素とを含む領域を指し、該局所領域は、輝度動き成分を検出するターゲットの周波数成分によって変化する。また、上記輝度動きベクトルは、局所領域の画像の輝度の動きの方向と速さを示し、例えば、該局所領域の画素に対し、離散コサイン変換などを用いて画像の輝度の動きを周波数成分に変換することにより求める。さらに、フレーム間の輝度動きベクトル差分値は、現フレームの画像の輝度動きベクトルと前フレームの画像の輝度動きベクトルとの差分値として求める。
【００２９】
上記色動き成分算出部２０３に関し、上記画像の局所領域とは、補正対象画素と任意の周辺画素とを含む領域を指し、該局所領域は、色動き成分を検出するターゲットの周波数成分によって変化する。また、上記色動きベクトルは、局所領域の画像の色の動きの方向と速さを示し、例えば、該局所領域の画素に対し、離散コサイン変換などを用いて画像の色の動きを周波数成分に変換することにより求める。さらに、フレーム間の色動きベクトル差分値は、現フレームの画像の色動きベクトルと前フレームの画像の色動きベクトルとの差分値として求める。
【００３０】
上記輝度エッジ成分算出部２０４に関し、上記画像の局所領域とは、画像内で補正対象画素と任意の周辺画素を含む領域を指す。該局所領域は、検出するエッジの周波数成分により変化する。画像信号の輝度振幅差分値とは、入力画像の輝度情報からエッジ成分か否かを判断する指標値となるもので、例えば、補正対象画素における画像信号の輝度振幅と上記局所領域の画素における画像信号の輝度振幅の差分値の平均値等を指す。
【００３１】
上記色エッジ成分算出部２０５に関し、上記画像の局所領域とは、画像内で補正対象画素と任意の周辺画素を含む領域を指す。該局所領域は、検出するエッジの周波数成分により変化する。画像信号の色振幅差分値とは、入力画像の色情報よりエッジ成分か否かを判断する指標値となるもので、例えば、補正対象画素における画像信号の色振幅と上記局所領域の画素における画像信号の色振幅の差分値の平均値等を指す。
【００３２】
上記ＮＲ部２０６に関し、ノイズの除去とは、入力画像信号のフレーム内やフレーム間に存在するノイズ成分を除去することをいい、例えば、フレーム内における補正対象画素と周辺画素との間や、前後フレーム間でノイズ成分を、ローパスフィルタやメディアンフィルタなどによって除去する（ノイズリダクション）。図３の画像信号処理装置において、例えば、輝度動き成分算出部２０２で算出したフレーム間輝度動き成分が少なく、かつ、輝度エッジ成分算出部２０４が算出した輝度エッジ成分が少ない場合には、画像の動きが少なく、エッジ成分も少ないため、ＮＲ部２０６は、ノイズの除去作用を強める（＝ゲインを上げてノイズ除去の動作を行う）。また、例えば、色動き成分算出部２０３で算出したフレーム間色動き成分が少なく、かつ、色エッジ成分算出部２０５が算出した色エッジ成分が少ない場合にも、画像の動きが少なく、エッジ成分も少ないため、ＮＲ部２０６は、ノイズの除去作用を強める（＝ゲインを上げてノイズ除去の動作を行う）。このように、図３の画像信号処理装置においては、輝度信号と色信号とで別々に、動き成分とエッジ成分を判断し、輝度信号と色信号とで別々にノイズ除去を行う。このため、図３の画像信号処理装置においては確実なノイズ除去を行うことができる。例えば、輝度の局所領域ではエッジ成分が少なく、動き成分が少なく、かつ、色の局所領域ではエッジ成分が多く、動き成分が多い場合には、輝度信号においてはノイズ除去作用を強める（＝ゲインを上げてノイズ除去の動作を行う）ことによりＳ／Ｎを改善し、色信号ではノイズ除去作用を弱める（＝ゲインを落としてノイズ除去の動作を行う）ことにより解像度を保つことが可能となる。すなわち、画像に対しＳ／Ｎの改善と解像度の確保とが可能となる。
【００３３】
上記コントラスト補正部２０７に関し、コントラストの補正とは、ＮＲ部２０６によるノイズ除去後の画像の白飛び成分が多い領域、黒潰れ成分が多い領域、エッジ成分を有する画素のある領域等に対し、信号のゲインを増大させて視認性が確保された画像を形成することを意味する。図３の画像信号処理装置において、例えば、輝度動き成分算出部２０２が算出したフレーム間輝度動き成分が少なく、かつ、輝度エッジ成分算出部２０４が算出した輝度エッジ成分が多い場合には、コントラスト補正部２０７は、輝度成分のコントラストを上げるようにコントラスト補正動作を行う。また、色動き成分算出部２０３が算出したフレーム間色動き成分が少なく、かつ、色エッジ成分算出部２０５が算出した色エッジ成分が多い場合には、コントラスト補正部２０７は、色成分のコントラストを上げるようにコントラスト補正動作を行う。このように、図３の画像信号処理装置においては、輝度信号と色信号とで別々に、動き成分とエッジ成分を判断し、輝度信号と色信号とで別々にコントラスト補正を行う。このため、図３の画像信号処理装置においては確実なコントラスト補正が可能となる。例えば、輝度の局所領域ではエッジ成分が多く、動き成分が少なく、かつ、色の局所領域ではエッジ成分が多く、動き成分が多い場合には、輝度信号においてはコントラスト補正作用を強める（＝ゲインを上げてコントラスト補正を実施する）ことにより視認性が確保された画像にすることができ、色信号ではコントラスト補正を行わないまたはコントラスト補正作用を弱める（＝ゲインを落としてコントラスト補正を実施する）ことによりノイズ成分の増幅を回避することができる。
【００３４】
図３の構成の画像信号処理装置においても、以上のように、明暗差が大きくかつ動き成分がある入力画像に対しても、フレーム間ノイズをエッジと誤判断せず、画像内の領域における画像の動き成分やエッジ成分の量に応じたノイズの除去とコントラストの補正とを行うことができ、この結果、鮮明な画像を得ることができる。すなわち、図３の画像信号処理装置によれば、画像の白飛び成分の多い領域や、黒潰れ成分の多い領域や、エッジ成分を有する画素のある領域などに対し、ノイズ除去とコントラスト補正を、該各領域の状態に対応したレベルで行うことができ、その結果、視認性が確保された鮮明な画像を得ることができる。
【００３５】
なお、上記説明では、図３の画像信号処理装置を、動き成分算出手段２が、現フレーム入力画像信号と、記憶手段１に保存された前フレーム入力画像信号を用いて、画像の局所領域から動きベクトルを算出し、フレーム間の動きベクトル差分値からフレーム間の動き成分を算出する構成であり、かつ、エッジ成分算出手段３が、現フレーム入力画像信号と前フレーム入力画像信号とを用い、画像の局所領域から画像信号の振幅差分値を求めエッジ成分を算出する構成であるとしたが、図３の画像信号処理装置は、動き成分算出手段２が、記憶手段１に保存された複数の前フレームの前フレーム入力画像信号を用いて、画像の局所領域から動きベクトルを算出し、フレーム間の動きベクトル差分値から前フレーム間の動き成分を算出する構成、かつ、エッジ成分算出手段３が、複数の前フレームの前フレーム入力画像信号を用い、画像の局所領域から画像信号の振幅差分値を求め、エッジ成分を算出する構成であってもよい。すなわち、図３の画像信号処理装置において、輝度動き成分算出部２０２が、画像メモリ部２０１から出力された複数の前フレームの前フレーム入力画像信号の輝度情報を用い、画像の局所領域から輝度動きベクトルを算出し、前フレーム間の輝度動きベクトル差分値から前フレーム間の輝度動き成分を算出する構成、色動き成分算出部２０３が、画像メモリ部２０１から出力された複数の前フレームの前フレーム入力画像信号の色情報を用い、画像の局所領域から色動きベクトルを算出し、前フレーム間の色動きベクトル差分値からフレーム間の色動き成分を算出する構成、輝度エッジ成分算出部２０４が、画像メモリ部２０１から出力された複数の前フレームの前フレーム入力画像信号の輝度情報を用い、画像の局所領域から画像信号の輝度振幅差分値を求め、輝度エッジ成分を算出する構成、色エッジ成分算出部２０５が、画像メモリ部２０１から出力された複数の前フレーム入力画像信号の色情報を用い、画像の局所領域から画像信号の色振幅差分値を求め、色エッジ成分を算出する構成であってもよい。
【００３６】
本発明は、上記説明した構成に限定されず、特許請求の範囲に記載した発明の技術的思想の範疇にある他の構成もすべて含むものとする。
【符号の説明】
【００３７】
１…記憶手段、
２…動き成分算出手段、
３…エッジ成分算出手段、
４…ＮＲ・コントラスト補正手段、
１０１…入力画像、
１０２…白飛び成分が多い領域、
１０３…黒潰れ成分が多い領域、
１０４…フレーム間での動き成分が多い領域、
１０５…出力画像、
１０６…白飛び成分が多い領域に対する補正部分、
１０７…黒潰れ成分が多い領域に対する補正部分、
１０８…フレーム間での動き成分が多い領域に対する補正部分、
２０１…画像メモリ部、
２０２…輝度動き成分算出部、
２０３…色動き成分算出部、
２０４…輝度エッジ成分算出部、
２０５…色エッジ成分算出部、
２０６…ＮＲ部、
２０７…コントラスト補正部。
【図１】
2012222740.tif 000003
【図２】
2012222740.tif 000004
【図３】
2012222740.tif 000005