(57)【要約】【課題】  撮像素子からの画像信号を処理する画像信号処理装置において、暗電流等の発生領域が広がりやすいノイズは好適に除去しにくい。【解決手段】  画素補正フィルタ回路５２が、撮像素子３０から得られる画像信号に対して、二次元フィルタ処理を施す。当該フィルタ処理の対象となる点での値は、当該対象点を中心として二次元配置された参照画素のうち、画素値の大きいいくつかを除去し、残る複数の画素の平均値で定義する。これにより、暗電流の影響を受けている可能性の高い値の大きい画素の影響が弱められる。【選択図】        図１ 
2006013948.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により生成された画像信号を処理する画像信号処理装置において、
画像内に配置される対象点に対して所定の位置関係にあるｎ個の参照画素（ｎは３以上の整数である）に基づき、当該対象点に対応付ける変換画素値を生成するフィルタ回路であって、前記ｎ個の参照画素の画素値のうち、上位α画素及び下位β画素（ここでα、βはα＋β≧１及びｎ−α−β≧２を満たす０以上の整数である）を除いた（ｎ−α−β）個の残余参照画素の前記画素値の平均値を前記変換画素値として算出する画素補正フィルタ回路を有することを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記撮像素子で発生する暗電流によって前記画素値が増加する場合に、
前記画素補正フィルタ回路は、除去される前記上位α画素及び前記下位β画素に関し、α＞βなる関係を有すること、
を特徴とする画像信号処理装置。
【請求項３】
請求項１又は請求項２に記載の画像信号処理装置において、
前記残余参照画素の数は、複数の前記残余参照画素それぞれの代表点の座標の重心が、前記対象点の近傍周囲に位置する複数の前記参照画素それぞれの前記代表点を結んで形成される多角形領域内に存在するように設定されること、
を特徴とする画像信号処理装置。
【請求項４】
請求項３に記載の画像信号処理装置において、
前記残余参照画素の数は、前記重心が前記多角形領域の周を除いた内側部分に位置するように設定されること、
を特徴とする画像信号処理装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の画像信号処理装置において、
前記画素補正フィルタ回路を備え、当該画素補正フィルタ回路による画素補正処理を伴う第１信号処理と、前記画素補正処理を伴わない第２信号処理とを選択的に行う処理部と、
前記画像信号を取得する際の前記撮像素子での露光制御に応じて、前記処理部での前記第１信号処理と前記第２信号処理との切り換えを制御する制御部と、
を有することを特徴とする画像信号処理装置。
【請求項６】
請求項１から請求項４のいずれか１つに記載の画像信号処理装置において、
前記画素補正フィルタ回路を備え、当該画素補正フィルタ回路による画素補正処理を伴う第１信号処理と、前記画素補正処理を伴わない第２信号処理とをそれぞれ行い、前記第１信号処理による出力と前記第２信号処理による出力とを、可変な合成比率で合成する処理部と、
前記画像信号を取得する際の前記撮像素子での露光制御に応じて、前記合成比率を制御する制御部と、
を有することを特徴とする画像信号処理装置。
【請求項７】
請求項５又は請求項６に記載の画像信号処理装置において、
前記処理部は、ノイズ抑制されたノイズ抑制画像信号を生成して出力し、
前記第１信号処理は、前記画素補正処理後の画像信号に対し、第１低域通過特性に基づく低域通過フィルタ処理を行って前記ノイズ抑制画像信号を生成し、
前記第２信号処理は、前記画素補正処理を施さない画像信号に対し、前記第１低域通過特性とは異なる第２低域通過特性に基づく低域通過フィルタ処理を行って前記ノイズ抑制画像信号を生成すること、
を特徴とする画像信号処理装置。
【請求項８】
請求項５から請求項７のいずれか１つに記載の画像信号処理装置において、
前記処理部は、前記画像信号に基づいて、画像の輪郭に応じた輪郭補正信号を生成して出力し、
前記第１信号処理は、前記画素補正処理後の画像信号を用いて、第１帯域通過特性に基づく前記輪郭補正信号を生成し、
前記第２信号処理は、前記画素補正処理を施さない画像信号を用いて、前記第１帯域通過特性とは異なる第２帯域通過特性に基づく前記輪郭補正信号を生成すること、
を特徴とする画像信号処理装置。
【請求項９】
請求項７に記載の画像信号処理装置において、
前記第１低域通過特性は前記第２低域通過特性よりもカットオフ周波数が低いことを特徴とする画像信号処理装置。
【請求項１０】
請求項８に記載の画像信号処理装置において、
前記第１帯域通過特性は前記第２帯域通過特性よりも通過帯周波数が低いことを特徴とする画像信号処理装置。
【請求項１１】
撮像素子により生成された画像信号を処理する画像信号処理方法において、
画像内に配置される対象点に対して所定の位置関係にあるｎ個の参照画素（ｎは３以上の整数である）の画素値のうち、上位α画素及び下位β画素（ここでα、βはα＋β≧１及びｎ−α−β≧２を満たす０以上の整数である）を除いた（ｎ−α−β）個の残余参照画素の前記画素値を取得するステップと、
（ｎ−α−β）個の前記残余参照画素の画素値の平均値を算出するステップと、
前記平均値を前記対象点に変換画素値として対応付けるステップと、
を有し、新たな画像信号を生成することを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により生成された画像信号に含まれる暗電流等のノイズを抑制する処理を行う画像信号処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置においては、被写体の明るさに応じて露光時間や増幅回路のゲインを調節することにより、好適な信号レベルの画像信号を得ることができる。しかし、露光時間を長くすると、画像信号に含まれる暗電流ノイズが増加し、また増幅ゲインを上げると、ノイズ成分までも増幅される。
【０００３】
そこで従来より、フィルタ回路を用いて画像信号からノイズを除去することが行われている。
【０００４】
図１１は、撮像素子により生成された画像信号を処理する従来の画像信号処理装置の構成を示すブロック図である。ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ等の撮像素子２から出力された画像信号は、アナログ信号処理回路４での処理後、Ａ／Ｄ変換回路６にてデジタルデータに変換され、デジタル信号処理回路８に入力される。デジタル信号処理回路８では、複数ライン分の画像データを保持するラインメモリ１０、及び画素補正フィルタ回路１２により二次元フィルタ処理が行われる。図１１では、ラインメモリ１０を３ライン分備える構成を示している。
【０００５】
画素補正フィルタ回路１２の出力は低域通過フィルタ（ＬＰＦ）１４に入力される。撮像素子２が一般的なベイヤー配列のカラーフィルタを備えるとき、ＬＰＦ１４は、カラーフィルタ毎の出力レベル段差を除去するために、垂直、水平各方向に関してサンプリング周波数の１／２の周波数成分をトラップする。ＬＰＦ１４の出力はガンマ補正回路１６にて階調補正処理を施される。
【０００６】
また、画素補正フィルタ回路１２の出力は、輪郭補正信号生成回路１８にも入力される。輪郭補正信号生成回路１８は、画像中のエッジ部にて大きく振れる画像信号の二次微分波形を求め、これに適当なゲインを乗じることにより輪郭補正信号を生成する。生成された輪郭補正信号は加算器２０で、画像信号に合成され、これにより画質調整の一つである輪郭強調処理が実現される。
【０００７】
従来、画素補正フィルタ回路１２は、メディアンフィルタ(median filter)やミーンフィルタ（mean filter）を構成し、ノイズ除去に供せられている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
画素補正フィルタ回路１２は、対象画素とその周囲の所定の位置の画素とからなる複数の参照画素の画素値を、ラインメモリ１０に保持された画像データから取得する。
【０００９】
ミーンフィルタは、複数の参照画素の画素値の平均値を求め、この平均値を対象画素の画素値として置き換える。ミーンフィルタは、フィルタサイズ内の画素値を平滑化する作用を有し、よって、フィルタサイズ内でまばらに発生するノイズの除去に効果が期待される。ここで、暗電流は、画素欠陥等から持続的に発生しやすく、露光時間が長くなるにつれて暗電流の影響を受ける画素範囲が広がる。また、暗電流は、正負両極性を持つものではなく、例えば画素値を増加させるといった一方向にしか作用しない。これらの性質から、ミーンフィルタは、暗電流ノイズを好適に除去しにくいという問題があった。例えば、暗電流成分の影響を受けている画素が、５画素の参照画素のうち１画素だけであれば、ミーンフィルタにより、暗電流ノイズはある程度、低減されるが、参照画素のうちの暗電流の影響を受ける画素の割合が増加するにつれて、ノイズ低減効果は低下する。
【００１０】
一方、メディアンフィルタは、複数の参照画素の画素値のうちの中央値を求め、この中央値を対象画素の画素値として置き換えるものである。メディアンフィルタは、ミーンフィルタよりは暗電流ノイズを除去しやすくはなるが、やはり参照画素のうちの暗電流の影響を受ける画素の割合が高くなると、中央値として選択される画素が暗電流の影響を受けたものである可能性が高くなる。また、フィルタを構成する参照画素数を増加すれば、暗電流の領域的な広がりの影響を受けにくくなるが、中央値を検出する回路の大規模化が顕著になるという問題があった。
【００１１】
本発明は上記問題点を解消するためになされたもので、撮像素子により生成された画像信号を処理する画像信号処理装置において、暗電流等の発生領域が広がりやすいノイズを抑制する構成を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る画像信号処理装置は、画像内に配置される対象点に対して所定の位置関係にあるｎ個の参照画素（ｎは３以上の整数である）に基づき、当該対象点に対応付ける変換画素値を生成するフィルタ回路であって、前記ｎ個の参照画素の画素値のうち、上位α画素及び下位β画素（ここでα、βはα＋β≧１及びｎ−α−β≧２を満たす０以上の整数である）を除いた（ｎ−α−β）個の残余参照画素の前記画素値の平均値を前記変換画素値として算出する画素補正フィルタ回路を有するものである。
【００１３】
本発明によれば、α≧１かつβ≧１の場合には、画素値の上位α画素及び下位β画素が除かれ、一方、β＝０の場合には上位α画素だけ、α＝０の場合には下位β画素だけが除かれ、残余参照画素が定められる。ノイズの影響を受けた画素値は上位、下位に位置することが期待され、それらを除くことで、複数の残余参照画素における、ノイズの影響を受けていない、又は影響が比較的小さい画素の割合が高まることが期待される。上位、下位のいずれを除くか、またそれらの画素数は、ノイズの性質に応じて設定される。さらに、複数の残余参照画素の画素値を平均処理することで、残余参照画素の一部にノイズの影響を受けたものが含まれている場合に、その影響を軽減することができる。
【００１４】
他の本発明に係る画像信号処理装置は、前記撮像素子で発生する暗電流によって前記画素値が増加する場合に、前記画素補正フィルタ回路が、除去される前記上位α画素及び前記下位β画素に関し、α＞βなる関係を有するものである。
【００１５】
暗電流の影響は画素値を一定の方向にシフトさせるように作用する。いずれの方向にシフトするかは画像信号や画素値の定義に依存するが、通常、画素に蓄積される信号電荷が増加すると画素値が増加するように定められ、一方、暗電流は信号電荷を増加させるので、この場合、暗電流の影響を受けると、画素値は上位側にシフトする。そこで、下位側より上位側に画素除去の重きを置くことで、残余参照画素における暗電流の影響を低減することができる。
【００１６】
別の本発明に係る画像信号処理装置においては、複数の前記残余参照画素それぞれの代表点の座標の重心が、前記対象点の近傍周囲に位置する複数の前記参照画素それぞれの前記代表点を結んで形成される多角形領域内に存在するように、前記残余参照画素の数が設定される。
【００１７】
代表点は、所定の広がりを有する画素内の所定座標であり、画像のサンプリング点に対応付けられる。参照画素は対象点を幾重にも取り囲むように配列され得るが、その場合には、対象点の近傍周囲の参照画素は、最も内側にて対象画素を取り囲む参照画素群を意味する。残余参照画素の数を増やすと、重心の平均的な位置は対象点に近づく。この重心は変換画素値のサンプリング点に相当する。本発明によれば、この重心と対象点とのずれを、例えば、対象点に近接する参照画素の代表点までの距離以下とすることが可能となり、ジャギーノイズ等が抑制され画質が向上する。本発明の好適な態様は、前記重心が前記多角形領域の周を除いた内側部分に位置するように、前記残余参照画素の数が設定される画像信号処理装置である。
【００１８】
また他の本発明に係る画像信号処理装置は、前記画素補正フィルタ回路を備え、当該画素補正フィルタ回路による画素補正処理を伴う第１信号処理と、前記画素補正処理を伴わない第２信号処理とを選択的に行う処理部と、画像信号を取得する際の前記撮像素子での露光制御に応じて、前記処理部での前記第１信号処理と前記第２信号処理との切り換えを制御する制御部と、を有するものである。
【００１９】
暗電流等のノイズ量は、露光時間や増幅ゲインによる露光制御に応じて変化する。本発明によれば、例えば、ノイズが多いことが期待される露光制御条件では第１信号処理を行って、画素補正フィルタ回路による画素補正処理でノイズ低減を図る一方、ノイズが少ないことが期待される露光制御条件では第２信号処理を行うこととして、画素補正処理の副作用である解像度低下を回避する。
【００２０】
さらに他の本発明に係る画像信号処理装置は、前記画素補正フィルタ回路を備え、当該画素補正フィルタ回路による画素補正処理を伴う第１信号処理と、前記画素補正処理を伴わない第２信号処理とをそれぞれ行い、前記第１信号処理による出力と前記第２信号処理による出力とを、可変な合成比率で合成する処理部と、画像信号を取得する際の前記撮像素子での露光制御に応じて、前記合成比率を制御する制御部と、を有するものである。
【００２１】
本発明によれば、例えば、露光制御条件に基づき、ノイズが多い場合には第１信号処理の出力の比率を連続的、又は段階的に高め、反対にノイズが少ない場合には第２信号処理の出力の比率を高めることとして、ノイズ抑制と解像度の確保とを図る。
【００２２】
別の本発明に係る画像信号処理装置においては、前記処理部が、ノイズ抑制されたノイズ抑制画像信号を生成して出力し、前記第１信号処理が、前記画素補正処理後の画像信号に対し、第１低域通過特性に基づく低域通過フィルタ処理を行って前記ノイズ抑制画像信号を生成し、前記第２信号処理が、前記画素補正処理を施さない画像信号に対し、前記第１低域通過特性とは異なる第２低域通過特性に基づく低域通過フィルタ処理を行って前記ノイズ抑制画像信号を生成する。本発明の好適な態様は、前記第１低域通過特性が前記第２低域通過特性よりもカットオフ周波数が低い画像信号処理装置である。
【００２３】
さらに別の本発明に係る画像信号処理装置においては、前記処理部が、前記画像信号に基づいて、画像の輪郭に応じた輪郭補正信号を生成して出力し、前記第１信号処理が、前記画素補正処理後の画像信号を用いて、第１帯域通過特性に基づく前記輪郭補正信号を生成し、前記第２信号処理が、前記画素補正処理を施さない画像信号を用いて、前記第１帯域通過特性とは異なる第２帯域通過特性に基づく前記輪郭補正信号を生成する。本発明の好適な態様は、前記第１帯域通過特性が前記第２帯域通過特性よりも通過帯周波数が低い画像信号処理装置である。
【００２４】
本発明に係る画像信号処理方法は、画像内に配置される対象点に対して所定の位置関係にあるｎ個の参照画素（ｎは３以上の整数である）の画素値のうち、上位α画素及び下位β画素（ここでα、βはα＋β≧１及びｎ−α−β≧２を満たす０以上の整数である）を除いた（ｎ−α−β）個の残余参照画素の前記画素値を取得するステップと、（ｎ−α−β）個の前記残余参照画素の画素値の平均値を算出するステップと、前記平均値を前記対象点に変換画素値として対応付けるステップとを有し、新たな画像信号を生成するものである。
【発明の効果】
【００２５】
本発明によれば、暗電流等の発生領域が広がりやすいノイズを好適に抑制することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００２７】
図１は、本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図であり、撮像素子３０から出力された画像信号に基づいて、階調補正、輪郭補正及びノイズ抑制された画像データを生成する。ここでは撮像素子３０はＣＣＤイメージセンサであり、撮像素子３０から出力される画像信号Ｙ０(t)は、アナログ信号処理回路３２に入力される。アナログ信号処理回路３２は、サンプルホールド、自動利得制御（ＡＧＣ：Auto Gain Control）等の処理を画像信号Ｙ０(t)に施し、所定のフォーマットに従う画像信号Ｙ１(t)を生成する。Ａ／Ｄ変換回路３４はアナログ信号処理回路３２から出力される画像信号Ｙ１(t)をデジタルデータに変換して、画像データＤ０(n)を出力する。デジタル信号処理回路３６はＡ／Ｄ変換回路３４から画像データＤ０(n)を取り込み、各種の処理を行う。
【００２８】
デジタル信号処理回路３６は、減算器４０、ラインメモリ群５０、画素補正フィルタ回路５２、第１信号生成部５４、第２信号生成部５６、乗算器５８，６０、加算器６２、ＹＣ処理部６４及び制御部６６を含んで構成される。
【００２９】
減算器４０は、画像データＤ０(n)からオプティカルブラック信号成分ＯＰＢを除去する。
【００３０】
ラインメモリ群５０は７ラインのラインメモリからなり、垂直方向に連続する７ライン分の画像データを保持し、画素補正フィルタ回路５２及び第２信号生成部５６での処理に画像データを供する。現在保持されている７ラインのデータに対する画素補正フィルタ回路５２及び第２信号生成部５６の処理が完了すると、最先に読み込まれた１ラインと入れ替えに後続の１ラインが新たにラインメモリ群５０に読み込まれる。
【００３１】
画素補正フィルタ回路５２は、ラインメモリ群５０に保持された画像データに基づいて後述する二次元フィルタ処理を行う。この二次元フィルタ処理では、対象画素とその周辺に配置された複数画素とからなる参照画素に基づいて、後述する処理を行い、得られた結果値が対象画素の変換画素値として出力される。画素補正フィルタ回路５２はラインメモリ群５０に保持された各ラインにそれぞれ対象画素を設定し、それら７個の対象画素に対して二次元フィルタ処理を並列に実行し、変換画素値で構成される７ラインの画像信号を並列に第１信号生成部５４へ出力する。
【００３２】
第１信号生成部５４は、画素補正フィルタ回路５２から並列に出力される７ラインの画像信号に基づいて、垂直、水平両方向にＬＰＦ処理を施した輝度信号Ｙと、輪郭補正信号Ａとを生成し出力する。第２信号生成部５６は、ラインメモリ群５０から並列に読み出される７ラインの画像信号に基づいて、同様にＬＰＦ処理を施した輝度信号Ｙ’と、輪郭補正信号Ａ’とを生成し出力する。
【００３３】
図２は、第１信号生成部５４、第２信号生成部５６の概略の構成を示すブロック図であり、ＬＰＦ８０と輪郭補正信号生成回路８２とを含んで構成される。ＬＰＦ８０は、垂直方向に関するＬＰＦ処理を行うＶＬＰＦ８４と水平方向に関するＬＰＦ処理を行うＨＬＰＦ８６とを備え、輝度信号Ｙ又はＹ’を生成する。ここで、ＶＬＰＦ８４は画素補正フィルタ回路５２又はラインメモリ群５０からの７ラインをそれぞれタップに入力され、ＬＰＦ処理結果として１ラインの画像信号を出力する。また、ＨＬＰＦ８６はこの画像信号に対し、設定されたタップ係数に基づくＬＰＦ処理を行う。
【００３４】
輪郭補正信号生成回路８２は、輪郭補正信号Ａとして垂直方向に関する輪郭補正信号Ａvと水平方向に関する輪郭補正信号Ａhとを生成する。信号Ａvは、画素補正フィルタ回路５２又はラインメモリ群５０から得た画像信号に対し、垂直方向に関する帯域通過フィルタ（ＢＰＦ）処理を行うＶＢＰＦ８８とＨＬＰＦ９０とで順次、処理を行って生成される。信号Ａhは、画素補正フィルタ回路５２又はラインメモリ群５０から得た画像信号に対し、ＶＬＰＦ９４と水平方向に関するＢＰＦ処理を行うＨＢＰＦ９６とで順次、処理を行って生成される。なお、ＢＰＦ処理により、画像中のエッジ部にて大きく振れる画像信号の二次微分波形が得られる。また、輪郭補正信号生成回路８２はＡ，Ａ’に適当なゲインを乗じて出力するように構成することができる。
【００３５】
第１信号生成部５４及び第２信号生成部５６は図２に示す共通のブロック構成を有するが、各ＬＰＦ８４，８６，９０，９４及びＶＢＰＦ８８、ＨＢＰＦ９６に設定されるタップ係数は後述するように相違させることができる。
【００３６】
乗算器５８は、第１信号生成部５４の出力信号に係数Ｒを乗じ、一方、乗算器６０は、第２信号生成部５６の出力信号に係数（１−Ｒ）を乗じる。ここでＲの値は、制御部６６が撮像素子３０に対する露光制御条件に基づいて制御する。
【００３７】
加算器６２は、乗算器５８，６０の出力を加算合成して、ＹＣ処理部６４へ出力する。具体的には、輝度信号Ｙ，Ｙ’に基づいて合成された輝度信号Ｙsと、輪郭補正信号Ａ、Ａ’に基づいて合成された輪郭補正信号Ａsが加算器６２からＹＣ処理部６４へ出力される。
【００３８】
ＹＣ処理部６４は、輝度信号Ｙs及び輪郭補正信号Ａsを用いて階調補正処理及び輪郭補正処理を行う。図３は、ＹＣ処理部６４の概略のブロック構成であり、ガンマ補正回路１００及び加算器１０２を含んで構成される。ガンマ補正回路１００は画像信号Ｙsに対して、非線形変換特性に基づいて信号レベルを変換する処理を行う。ガンマ補正回路１００から出力された輝度信号は、加算器１０２にて輪郭補正信号Ａsを加算合成され、これにより輪郭補正された輝度信号が生成される。なお、ＹＣ処理部６４はさらに、色分離等の他の信号処理を行い色信号を生成することができるが、ここでは説明を省略する。
【００３９】
次に画素補正フィルタ回路５２が行う二次元フィルタ処理について説明する。図４は、二次元フィルタの処理に用いられる画像領域（以下、窓と称する）での画像データの配置及び参照画素の位置の一例を示す模式図である。ここで、窓は垂直７画素×水平５画素である。ちなみにこの垂直方向の７画素はラインメモリ群５０に保持されるライン数に対応している。また、図中のＲ，Ｇ，Ｂは各画素に対応付けられる色を表しており、それぞれ赤、緑、青を意味する。記号Ｇを○で囲んだ画素は参照画素を示している。ちなみに、ここでは色の配列はベイヤー配列である。参照画素は窓内に５画素又は４画素、設定される。図４（ａ）には、フィルタ処理により値が定められる対象点が窓の中央の画素に対応する場合における参照画素の配置が示されている。この場合の参照画素は、対象点に対応する１画素とその上下左右方向に位置する４画素との合計５画素である。これら参照画素は同じ色の画素に設定される。例えば、図４に示す対象点に対応する中央の参照画素はＧ画素であり、その周囲の４つの参照画素は中央の参照画素からそれぞれ上下左右に２画素ずれた位置に設定される。この配置の５つの参照画素は、窓を構成する７ラインのうちの中央３ラインにおいて設定可能である。すなわち、図４の例では第３、第５ラインの水平中央画素であるＢ画素を対象点とする場合にも、上記第４ラインの水平中央画素のＧ画素を対象点とする場合と同様に、対象点とその上下左右とに位置する合計５つの参照画素が設定される。
【００４０】
一方、窓を構成する７ラインのうち上側、下側各２ラインについては、４つの参照画素が設定される。図４（ｂ）は、この場合の例であり、対象点が上から２番目のラインの水平中央画素のＧ画素である場合の参照画素の配置が示されている。この場合の参照画素は、対象点に対応する１画素、対象点の左右方向に位置する２画素、及び対象点の上又は下のいずれかに位置する１画素の合計４画素である。この場合も参照画素は同じ色の画素に設定される。
【００４１】
画素補正フィルタ回路５２は、各対象点に対して設定される５画素（又は４画素）の参照画素のうち画素値が大きい順序での上位３画素（又は２画素）を無視し、残り２つの参照画素の画素値の平均値を求めて、当該平均値を変換画素値として対象点に割り付ける。画素補正フィルタ回路５２での処理はプログラムを用いて実現することもできるが、ここではより高速処理が可能なハードウェア回路として実現する例を説明する。図５、図６はその概略の構成を示す回路図である。図５は上述の参照画素が５つの場合の処理を行う回路構成であり、図６は参照画素が４つの場合の処理を行う回路構成である。窓の中央３ライン上にそれぞれ設定される対象点に対する処理、及び窓の上側、下側の各２ライン上にそれぞれ設定される対象点に対する処理を並列して行うために、画素補正フィルタ回路５２は、図５に示す回路を３個、図６に示す回路を４個備える。
【００４２】
図５の回路は、５つの参照画素の画素値Ｖ１〜Ｖ５を入力される。ブロック１１０はＶ１〜Ｖ４を入力され、それらのうちの最小値Ｍ１を求めて加算平均回路１１２へ出力する。またブロック１１０は当該最小値を有する画素に応じてセレクタ信号Ｓを生成して、ブロック１１４に与える。ブロック１１４は、セレクタ信号Ｓに基づいて、Ｖ１〜Ｖ４から最小値画素を外して、代わりにＶ５を加えた４画素の値を取り込み、それらのうちの最小値Ｍ２を求めて加算平均回路１１２へ出力する。加算平均回路１１２はＭ１，Ｍ２の平均値を求め、これを対象点に対応する画素値Ｗとして出力する。
【００４３】
ブロック１１０は、３つの比較器１２０〜１２４、３つのセレクタ１２６〜１３０及びデコーダ１３２を含んで構成される。比較器１２０はＶ１，Ｖ２の大小を比較し、比較結果に応じた信号をセレクタ１２６及びデコーダ１３２に入力する。この比較結果に基づき、セレクタ１２６はＶ１，Ｖ２のうち小さい方を選択して、比較器１２４及びセレクタ１３０へ出力する。比較器１２２はＶ３，Ｖ４の大小を比較し、比較結果に応じた信号をセレクタ１２８及びデコーダ１３２に入力する。この比較結果に基づき、セレクタ１２８はＶ３，Ｖ４のうち小さい方を選択して、比較器１２４及びセレクタ１３０へ出力する。比較器１２４はセレクタ１２６，１２８から入力された２つの画素値の大小を比較し、比較結果に応じた信号をセレクタ１３０及びデコーダ１３２に入力する。この比較結果に基づき、セレクタ１３０は２つの入力データのうち小さい方を選択して出力する。この出力値がＭ１となる。デコーダ１３２は、各比較器１２０〜１２４から入力された比較結果に基づいて、ブロック１１４の入力に設けられた４つのセレクタ１４０〜１４６のいずれかを選択する信号Ｓを生成する。
【００４４】
ブロック１１４は、入力側に設けられた４つのセレクタ１４０〜１４６の他に、３つの比較器１５０〜１５４及び３つのセレクタ１５６〜１６０を含んで構成される。セレクタ１４０〜１４６は、一方の入力端にそれぞれＶ１〜Ｖ４を入力され、もう一方の入力端にはＶ５が共通に入力される。セレクタ信号Ｓは、セレクタ１４０〜１４６のうち、一方の入力データとしてＶ１〜Ｖ４の最小値が入力されるいずれか１つのセレクタに対して、他方の入力データＶ５を出力させ、残りの３つのセレクタに対して、Ｖ５ではない側の入力データを出力させる。すなわち、上述したようにセレクタ１４０〜１４６からは、Ｖ１〜Ｖ４のうちの最小値を除く３つの画素値とＶ５とが出力される。セレクタ１４０〜１４６から出力される４つの画素値に対する比較器１５０〜１５４及びセレクタ１５６〜１６０の処理は、上述したブロック１１０における比較器１２０〜１２４及びセレクタ１２６〜１３０の処理と同様であり、セレクタ１６０からは当該４つの画素値のうちの最小値、すなわちＭ２が出力される。
【００４５】
図６の回路は、４つの参照画素の画素値Ｖ６〜Ｖ９を入力される。Ｖ６〜Ｖ８を入力されるブロック２００は、処理対象の画素が１つ少ない分、ブロック１１０の構成を簡単にしたものと見れば、その構成及び動作は容易に理解される。ブロック２００はＶ６〜Ｖ８のうちの最小値Ｍ１を求めて加算平均回路２０２へ出力する。一方、ブロック２０４も、処理対象の画素が１つ少ない分、ブロック１１４の構成を簡単にしたものと見れば、その構成及び動作は容易に理解される。ブロック２０４は、ブロック２００が生成するセレクタ信号Ｓに基づいて、Ｖ６〜Ｖ８から最小値画素を外して、代わりにＶ９を加えた３画素の値を取り込み、それらのうちの最小値Ｍ２を求めて加算平均回路２０２へ出力する。加算平均回路２０２はＭ１，Ｍ２の平均値を求め、これを対象点に対応する画素値Ｗとして出力する。
【００４６】
画素補正フィルタ回路５２は、ラインメモリ群５０に保持された７ラインの画像データに対し、垂直７画素×水平５画素の窓を水平方向に１画素ずつ順次移動させながら処理を行う。画素補正フィルタ回路５２は、図５及び図６に示す回路を上述したように複数備え、窓の各位置にて、窓の水平方向の中央に垂直に並ぶ７画素を対象点とする処理を並列して行い、それら７画素に対応する変換画素値を生成する。
【００４７】
第１信号生成部５４は、画素補正フィルタ回路５２から出力される垂直方向に並ぶ７画素の変換画素値を垂直方向に関するフィルタであるＶＬＰＦ８４，９４及びＶＢＰＦ８８に取り込む。これら垂直方向に関するフィルタは次々と垂直７画素のセットを入力され、各フィルタは各セット毎に１つの画素データを生成する。そして、窓の水平方向の移動に伴って、垂直方向に関するフィルタから順次出力される画像データの連続する複数個を対象として、後段の水平方向に関するフィルタＨＬＰＦ８６，９０及びＨＢＰＦ９６が処理を行う。
【００４８】
第２信号生成部５６は、画素補正フィルタ回路５２が対象点とする垂直方向に並ぶ７画素の画像データをラインメモリ群５０から直接取り出して、ＶＬＰＦ８４，９４及びＶＢＰＦ８８での処理を行い、次いでＨＬＰＦ８６，９０及びＨＢＰＦ９６での処理を行う。この第２信号生成部５６の処理は、第１信号生成部５４での処理に連動して行われ、互いに同じ位置の画素に対する処理結果を同期して出力する。
【００４９】
さて、上述したように各ＬＰＦ８４，８６，９０，９４及びＶＢＰＦ８８、ＨＢＰＦ９６に設定されるタップ係数に応じて、第１信号生成部５４と第２信号生成部５６とでそれら各フィルタの通過特性を相違させることができる。図７に示す模式的な通過特性図は、その一例である。図７（ａ）及び（ｂ）はＬＰＦの特性例であり、例えば、第２信号生成部５６の各ＬＰＦの特性を図７（ａ）に示すような比較的カットオフ周波数が高いものとし、その一方で第１信号生成部５４の各ＬＰＦの特性を図７（ｂ）に示すような比較的カットオフ周波数が低いものとする。また、図７（ｃ）及び（ｄ）はＢＰＦの特性例であり、例えば、第２信号生成部５６の各ＢＰＦの特性を図７（ｃ）に示すような通過帯域幅が比較的広いものとし、その一方で第１信号生成部５４の各ＢＰＦの特性を図７（ｄ）に示すような比較的、通過帯周波数が低いものとすることができる。
【００５０】
このような特性差を設けることにより、暗電流に起因するショット雑音が露光時間に応じて変化することに好適に対応することが可能となる。すなわち、第１信号生成部５４には、図７（ｂ）及び（ｄ）に示すようなノイズ成分に対する減衰能力が比較的高い特性を設定することにより、露光時間が長くなった場合のノイズによる画質劣化が好適に抑制された画像信号が得られる。一方、第２信号生成部５６には、図７（ａ）及び（ｃ）に示すようなノイズ成分に対する減衰能力が比較的低い特性を設定することにより、ノイズ成分が許容される露光時間での撮影条件にて好適な解像度が維持された画像信号が得られる。
【００５１】
このように本装置では、画素補正フィルタ回路５２の有無、及び第１信号生成部５４と第２信号生成部５６との特性差により、第１信号生成部５４及び第２信号生成部５６からはノイズの抑制効果及び解像度の異なる画像信号が得られる。そして、それら画像信号を制御部６６が露光条件に連動して混合比率を制御して混合することで、露光条件に応じた好適な画質を実現可能となる。
【００５２】
撮像素子３０に対する露光制御は、画像を明るくするために、例えば、まず露光時間が伸張され、露光時間が上限に達すると次に自動利得制御（ＡＧＣ：Auto Gain Control）によるアナログ的なゲインを増加させる制御が行われ、そのゲインが上限に達すると、自動デジタルゲイン制御（ＡＤＧ：Auto Digital Gain control）のゲインを増加させる制御が行われる。制御部６６は、これら露光時間や各ゲインに基づき、露光制御が現在どの状態にあるかに応じて乗算器５８，６０にそれぞれ設定される乗算係数を定めるパラメータＲを変化させる。例えば、露光制御が画像を明るくする側にシフトするほど、暗電流は増加しやすいため、Ｒを連続的に、又は段階的に増加させる。これにより、ノイズ除去効果の高い第１信号生成部５４側の画像信号の比重が高まり、好適なノイズ抑制効果が期待できる。
【００５３】
また、露光制御条件の所定の基準点を境にして、第１信号生成部５４側の信号と第２信号生成部５６側の信号とが切り替えて出力されるように構成することもできる。さらに、露光制御条件の所定の基準点までは、第２信号生成部５６側の画像信号を１００％出力し、基準点を超えると上述の連続的又は段階的な混合比率の調整制御を開始するように構成することもできる。
【００５４】
上述の構成では、例えば、参照画素は対象点を中心として上下左右に配置される合計５画素であったが、参照画素の配置はこれに限られない。また上述の構成では、暗電流に応じて画素値が増加することに対応して、画素値の順位のうち上位の数画素を除去し、残り２画素での平均を取る例を示した。しかし、例えば、画素値を負の値で定義する場合には、暗電流の増加に応じて画素値が減少する場合もあり得、その場合には画素値の大小の順位のうち下位の画素を除去するように構成され得る。また、上位下位両方の画素を除去することとしてもよい。その際、例えば、暗電流の増加で画素値が増加する場合には、下位より上位の除去画素数を多くし、逆に暗電流の増加で画素値が減少する場合には、上位より下位の除去画素数を多くすることが、暗電流ノイズの除去に好適である。なお、上位下位の両方を除去することとすれば、一方側の除去で暗電流の影響の大きい画素を除去し、他方側の除去で例えば信号電荷を生じない欠陥画素を除去して、画質の向上を図ることが可能である。
【００５５】
ラインメモリ群５０では上述のように、参照画素のうち残す参照画素（残余参照画素）の平均値を求め、これを対象点に割り当てる。当該平均値は実質的に、残余参照画素の座標の重心でのサンプリング値に相当する。以下、当該重心を平均値サンプリング点と称する。なお、ここで各残余参照画素の座標として所定の代表点、例えば当該画素に対応するサンプリング点の位置を用いることができる。
【００５６】
残余参照画素の数は、平均値を求めるために２画素以上であることが前提となるが、さらに平均値サンプリング点が、対象点から所定距離内に位置するように配慮して定めることができる。このような配慮により、平均値サンプリング点でのサンプリング値を対象点のサンプリング値とみなすことによる解像度の低下を抑制することが可能となる。
【００５７】
図８〜図１０は参照画素及び平均値サンプリング点の配置のいくつかの例を示す模式図である。図において、○印は参照画素のサンプリング点の位置を示し、一方、平均値サンプリング点は×印で示す点、又は斜線を施した領域内に位置する。図８（ａ）は上述の図４（ａ）の配置及び図５の回路構成の場合に対応するもので、参照画素が５画素かつ残余参照画素が２画素の場合を示している。また、図８（ｂ）は上述の図４（ｂ）の配置及び図６の回路構成の場合に対応するもので、参照画素が４画素かつ残余参照画素が２画素の場合を示している。これらの場合、平均値サンプリング点は、対象点Ｔを取り囲む参照画素Ｐのサンプリング点を結ぶ四角形又は三角形の辺上又はこれら多角形の内側に位置する。ここで、撮像素子３０の垂直方向の画素間隔と水平方向の画素間隔とは基本的にほぼ同等に設定される。対象点Ｔから最も遠い平均値サンプリング点である点Ｈは、点Ｐ同士を結ぶ辺の中間点である。この平均値サンプリング点Ｈは、対象点の最寄りの参照画素Ｐより対象点Ｔに近くに位置する。ちなみに、上記の参照画素に対して、従来技術となるメディアンフィルタを適応する場合、対象画素Ｔを、参照画素のうちの信号レベルの順序が中央となる画素で置き換えることになる。つまり、対象画素Ｔが周りのいずれかの参照画素Ｐで置き換えられる場合がある。これに対して、本装置では上述したように対象画素Ｔに置き換わり得る最も遠い点は、参照画素Ｐよりも対象画素Ｔに近い平均値サンプリング点Ｈである。すなわち、本装置によれば、メディアンフィルタを用いる場合に比べ、対象画素Ｔをより対象画素Ｔに近い点で置き換えることができる。
【００５８】
図９は参照画素が４画素で、そのうちの２画素を残余参照画素とする場合を示している。この場合の対象点Ｔは４つの参照画素Ｐの重心点とされる。この場合も、平均値サンプリング点は対象点Ｔを取り囲む参照画素Ｐのサンプリング点を結ぶ四角形の辺上又は当該多角形の内側に位置する。
【００５９】
図１０（ａ）（ｂ）はそれぞれ参照画素が３行３列の画素群である場合である。そして、同図（ａ）は残余参照画素が３画素の場合であり、この場合、平均値サンプリング点の存在する領域は、対象点Ｔを取り囲む参照画素Ｐを結ぶ四角形に接する。一方、同図（ｂ）は残余参照画素が４画素の場合であり、この場合、平均値サンプリング点の存在する領域は、対象点Ｔを取り囲む参照画素Ｐを結ぶ四角形より内側に含まれる。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図である。
【図２】第１信号生成部、第２信号生成部の概略の構成を示すブロック図である。
【図３】ＹＣ処理部の概略のブロック構成である。
【図４】二次元フィルタの処理に用いられる画像領域での画像データの配置及び参照画素の位置の一例を示す模式図である。
【図５】画素補正フィルタ回路において５つの参照画素に対して二次元フィルタ処理を行う部分の概略の回路図である。
【図６】画素補正フィルタ回路において４つの参照画素に対して二次元フィルタ処理を行う部分の概略の回路図である。
【図７】第１信号生成部、第２信号生成部を構成するＬＰＦ，ＢＰＦの模式的な通過特性図である。
【図８】参照画素及び平均値サンプリング点の配置を示す模式図である。
【図９】参照画素及び平均値サンプリング点の他の配置の例を示す模式図である。
【図１０】参照画素及び平均値サンプリング点の他の配置の例を示す模式図である。
【図１１】撮像素子により生成された画像信号を処理する従来の画像信号処理装置の構成を示すブロック図である。
【符号の説明】
【００６１】
３０  撮像素子、３２  アナログ信号処理回路、３４  Ａ／Ｄ変換回路、３６  デジタル信号処理回路、４０  減算器、５０  ラインメモリ群、５２  画素補正フィルタ回路、５４  第１信号生成部、５６  第２信号生成部、５８，６０  乗算器、６２，１０２  加算器、６４  ＹＣ処理部、６６  制御部、８０  ＬＰＦ、８２  輪郭補正信号生成回路、８４，９４  ＶＬＰＦ、８６，９０  ＨＬＰＦ、８８  ＶＢＰＦ、９６  ＨＢＰＦ、１００  ガンマ補正回路、１１０，１１４，２００，２０４  ブロック、１１２  加算平均回路、１２０，１２２，１２４，１５０，１５２，１５４  比較器、１２６，１２８，１３０，１４０，１４２，１４４，１４６，１５６，１５８，１６０  セレクタ、１３２  デコーダ。
【図１】
2006013948.tif 000003
【図２】
2006013948.tif 000004
【図３】
2006013948.tif 000005
【図４】
2006013948.tif 000006
【図５】
2006013948.tif 000007
【図６】
2006013948.tif 000008
【図７】
2006013948.tif 000009
【図８】
2006013948.tif 000010
【図９】
2006013948.tif 000011
【図１０】
2006013948.tif 000012
【図１１】
2006013948.tif 000013