(57)【要約】【課題】画像のエッジを保持しつつ全体として有効にノイズ低減を行うために、エッジとノイズを的確に分別しノイズのみにノイズ低減処理を行うことで、エッジ保持とノイズ低減を両立したノイズ低減処理を行うことが問題となっていた。【解決手段】被写体像を撮像して画像デ−タを出力する撮像部と、撮像部に対し複数の撮像を連続して行わせる撮像制御部と、複数の撮像により撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出するエッジ検出部と、エッジ検出部が検出したエッジ情報に基づいて、撮像部から出力された複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タに対してノイズ低減処理を行うノイズ低減部とを備える撮像装置とする。【選択図】  図１
2008199164.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像デ−タを出力する撮像部と、
前記撮像部に対し複数の撮像を連続して行わせる撮像制御部と、
前記複数の撮像により前記撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出するエッジ検出部と、
前記エッジ検出部が検出したエッジ情報に基づいて、前記撮像部から出力された複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タに対してノイズ低減処理を行うノイズ低減部と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記エッジ検出部は、前記画像デ−タ中のエッジ位置を示すエッジ位置情報を生成し、
前記ノイズ低減部は、前記エッジ位置情報に基づいて、前記ノイズ低減処理を変更する
ことを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記ノイズ低減部は、前記ノイズ低減処理を実行する特定画素と前記エッジ位置との距離に応じて前記特定画素に対するノイズ低減処理を変更する
ことを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記ノイズ低減部は、
前記特定画素と前記エッジ位置との距離が閾値より大きい場合は第一ノイズ低減処理を行い、
前記特定画素と前記エッジ位置との距離が前記閾値より小さい場合は前記第一ノイズ低減処理よりもノイズ低減強度の小さい第二ノイズ低減処理を実行する、
ことを特徴とする撮像装置。
【請求項５】
請求項３に記載の撮像装置において、
前記ノイズ低減部は、
前記特定画素と前記エッジ位置との距離に応じて、前記特定画素ごとに第一のレベル差を設定する第一の特定画素と第二のレベル差を設定する第二の特定画素とを分別して設定し、
前記第一の特定画素を含む第一の特定領域の画素から、前記第一の特定画素の値との差分が第一のレベル差以内の画素を第一選択画素として選択し、選択された前記第一選択画素の値に基づいて前記第一の特定画素についての前記ノイズ低減処理を実行し、
前記第二の特定画素を含む第二の特定領域の画素から、前記第二の特定画素の値との差分が第二のレベル差以内の画素を第二選択画素として選択し、選択された前記第二選択画素の値に基づいて前記第二の特定画素についての前記ノイズ低減処理を実行する、
ことを特徴とする撮像装置。
【請求項６】
請求項２に記載の撮像装置において、
前記ノイズ低減部は、前記ノイズ低減処理を実行する特定画素を含む特定領域に前記エッジ位置が含まれるか否かに応じて、前記特定画素に対するノイズ低減処理を変更する
ことを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記ノイズ低減部は、
前記特定領域に前記エッジ位置が含まれない場合は第一ノイズ低減処理を行い、
前記特定領域に前記エッジ位置が含まれる場合は前記第一ノイズ低減処理よりもノイズ低減強度の小さい第二ノイズ低減処理を実行する
ことを特徴とする撮像装置。
【請求項８】
請求項６に記載の撮像装置において、
前記ノイズ低減部は、
前記ノイズ低減処理を実行する特定画素を含む特定領域に前記エッジ位置が含まれるか否かに応じて、前記特定画素ごとに第一のレベル差を設定する第一の特定画素と第二のレベル差を設定する第二の特定画素とを分別して設定し、
前記第一の特定画素を含む第一の特定領域の画素から、前記第一の特定画素の値との差分が第一のレベル差以内の画素を第一選択画素として選択し、選択された前記第一選択画素の値に基づいて前記第一の特定画素についての前記ノイズ低減処理を実行し、
前記第二の特定画素を含む第二の特定領域の画素から、前記第二の特定画素の値との差分が第二のレベル差以内の画素を第二選択画素として選択し、選択された前記第二選択画素の値に基づいて前記第二の特定画素についての前記ノイズ低減処理を実行する、
ことを特徴とする撮像装置。
【請求項９】
請求項１に記載の撮像装置において、
前記エッジ検出部は、
前記複数の撮像により前記撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タを画素毎に加算して加算画像デ−タを算出し、前記加算画像デ−タから所定値を超える画素をエッジとして検出する
ことを特徴とする撮像装置。
【請求項１０】
被写体像を撮像して画像デ−タを出力する撮像部と、
前記撮像部に対し複数の撮像を連続して行わせる撮像制御部と、
前記複数の撮像により前記撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出し、画像デ−タ中のエッジ位置を示すエッジ位置情報を出力するエッジ検出部と、
前記撮像部から出力された複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タと前記エッジ位置情報を示すエッジ位置デ−タとを関連付けて外部記録媒体に記録する記録部とを備える
ことを特徴とする撮像装置。
【請求項１１】
撮像部が被写体の静止画像を複数回連続して撮像したことにより得られた複数の画面の画像デ−タを取得する画像デ−タ取得工程と、
前記画像デ−タ取得工程により得られた複数の画面の画像デ−タのうち少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出するエッジ検出工程と、
前記エッジ検出工程により検出されたエッジ情報に基づいて前記画像デ−タ取得工程にて得られた複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タに対してノイズ低減処理を行うノイズ低減工程と
を有することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法において、
前記エッジ検出工程は、
前記画像デ−タ中のエッジ位置を示すエッジ位置情報を生成し、
前記ノイズ低減工程は、
前記エッジ位置情報に基づいて、前記ノイズ低減処理を変更する
ことを特徴とする画像処理方法。
【請求項１３】
請求項１に記載の撮像装置において、
前記撮像制御部は、前記撮像部に連続して複数の予備撮像を行わせる予備撮像制御と、
前記複数の予備撮像の直前又は直後に本撮像を行わせる本撮像制御とを実行し、
前記エッジ検出部は、前記複数の予備撮像により前記撮像部から出力された複数の画面に対応する画像デ−タに基づいて画像デ−タの画像のエッジを検出し、
前記ノイズ低減部は、前記エッジ情報に基づいて、前記本撮像により前記撮像部から出力された画像デ−タに対してノイズ低減処理を行うことを特徴とする撮像装置。
【請求項１４】
請求項２に記載の撮像装置において、
前記エッジ検出部は、前記エッジ位置に対応するエッジ強度を示すエッジ強度情報を生成し、
前記ノイズ低減部は、前記エッジ位置情報及び前記エッジ強度情報に基づいて、前記ノイズ低減処理を変更することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
ディジタル一眼レフカメラやディジタルコンパクトカメラに代表される電子スチルカメラや画像処理装置等において、撮像画像のエッジを損なうことなくノイズ低減を行う方法やその装置に関する。
【背景技術】
【０００２】
電子スチルカメラ等にて撮像した画像のノイズ低減処理は、ノイズ低減を行う注目画素に対して、その注目画素の縦横の数画素範囲についても参照範囲として画素情報を参酌して行う。具体的なノイズ低減の処理は、例えば周辺画素との平均化を行うことなど様々な方法が提案されている。
周辺の画素との平均化を行うと、その画素特有のスパイクノイズやランダムノイズは、他の周辺画素にはないので低減することができる。しかし、撮像画像中には、画像のいわゆるエッジが存在するため、平均化処理によって画像のエッジまでもが損なわれる場合が生じる。
【０００３】
すなわち、単純な平均化処理をするのみでは、画像のエッジとノイズとの区別がつかないので、強くノイズ低減処理を施すとエッジがノイズと同様に低減される結果となる。これにより処理画像は、輪郭が不明確となったりぼやけたりして、シャ−プでクリアな画像とはならない。
したがって、注目画素の画像情報が、残存させるべきエッジ情報なのか、低減すべきノイズであるのかを判断する必要がある。このため、従来、ある閾値を設けることで参照範囲と比較して、所定の範囲内の画像信号差を有する画素についてのみ、ノイズ低減する方法が提案されている。このような方法は、例えば特開２００５−３１８１２６に開示されている。
【特許文献１】特開２００５−３１８１２６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の方法では、画像信号の平坦部においてノイズ信号が存在する場合、そのノイズは、エッジと判断される場合が生じる。すなわち、閾値の設定如何によっては、エッジの保持を優先するとノイズ除去が困難となり、ノイズ除去を優先すると除去ノイズと同レベルのエッジの保持が困難となる。
このため、エッジを保持しつつ全体として有効にノイズ低減を行うために、エッジとノイズを的確に分別しノイズのみにノイズ低減処理を行うことが問題となっていた。この発明は、エッジ保持とノイズ低減を両立したノイズ低減処理を行うことを目的とする。
【課題を解決するための手段】
【０００５】
この発明にかかる撮像装置は、被写体像を撮像して画像デ−タを出力する撮像部と、撮像部に対し複数の撮像を連続して行わせる撮像制御部と、複数の撮像により撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出するエッジ検出部と、エッジ検出部が検出したエッジ情報に基づいて、撮像部から出力された複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タに対してノイズ低減処理を行うノイズ低減部とを備えることを特徴とする。
【０００６】
また、この発明にかかる撮像装置は、好ましくはエッジ検出部が、画像デ−タ中のエッジ位置を示すエッジ位置情報を生成し、ノイズ低減部は、エッジ位置情報に基づいて、ノイズ低減処理を変更することを特徴とする。
また、この発明にかかる撮像装置は、好ましくはノイズ低減部が、ノイズ低減処理を実行する特定画素とエッジ位置との距離に応じて特定画素に対するノイズ低減処理を変更することを特徴とする。
【０００７】
また、この発明にかかる撮像装置は、好ましくはノイズ低減部が、特定画素とエッジ位置との距離が閾値より大きい場合は第一ノイズ低減処理を行い、特定画素とエッジ位置との距離が閾値より小さい場合は第一ノイズ低減処理よりもノイズ低減強度の小さい第二ノイズ低減処理を実行することを特徴とする。
また、この発明にかかる撮像装置は、好ましくはノイズ低減部が、特定画素とエッジ位置との距離に応じて、特定画素ごとに第一のレベル差を設定する第一の特定画素と第二のレベル差を設定する第二の特定画素とを分別して設定し、第一の特定画素を含む第一の特定領域の画素から、第一の特定画素の値との差分が第一のレベル差以内の画素を第一選択画素として選択し、選択された第一選択画素の値に基づいて第一の特定画素についてのノイズ低減処理を実行し、第二の特定画素を含む第二の特定領域の画素から、第二の特定画素の値との差分が第二のレベル差以内の画素を第二選択画素として選択し、選択された第二選択画素の値に基づいて第二の特定画素についてのノイズ低減処理を実行することを特徴とする。
【０００８】
また、この発明にかかる撮像装置は、好ましくはノイズ低減部が、ノイズ低減処理を実行する特定画素を含む特定領域にエッジ位置が含まれるか否かに応じて、特定画素に対するノイズ低減処理を変更することを特徴とする。
また、この発明にかかる撮像装置は、好ましくはノイズ低減部が、特定領域にエッジ位置が含まれない場合は第一ノイズ低減処理を行い、特定領域にエッジ位置が含まれる場合は第一ノイズ低減処理よりもノイズ低減強度の小さい第二ノイズ低減処理を実行することを特徴とする。
【０００９】
また、この発明にかかる撮像装置は、好ましくはノイズ低減部が、ノイズ低減処理を実行する特定画素を含む特定領域にエッジ位置が含まれるか否かに応じて、特定画素ごとに第一のレベル差を設定する第一の特定画素と第二のレベル差を設定する第二の特定画素とを分別して設定し、第一の特定画素を含む第一の特定領域の画素から、第一の特定画素の値との差分が第一のレベル差以内の画素を第一選択画素として選択し、選択された第一選択画素の値に基づいて第一の特定画素についてのノイズ低減処理を実行し、第二の特定画素を含む第二の特定領域の画素から、第二の特定画素の値との差分が第二のレベル差以内の画素を第二選択画素として選択し、選択された第二選択画素の値に基づいて第二の特定画素についてのノイズ低減処理を実行することを特徴とする。
【００１０】
また、この発明にかかる撮像装置は、好ましくはエッジ検出部が、複数の撮像により撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タを画素毎に加算して加算画像デ−タを算出し、加算画像デ−タから所定値を超える画素をエッジとして検出することを特徴とする。
また、この発明にかかる他の撮像装置は、被写体像を撮像して画像デ−タを出力する撮像部と、撮像部に対し複数の撮像を連続して行わせる撮像制御部と、複数の撮像により撮像部から出力された複数の画面に対応する画像デ−タの少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出し、画像デ−タ中のエッジ位置を示すエッジ位置情報を出力するエッジ検出部と、撮像部から出力された複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タとエッジ位置情報を示すエッジ位置デ−タとを関連付けて外部記録媒体に記録する記録部とを備えることを特徴とする。
【００１１】
また、この発明にかかる画像処理方法は、撮像部が被写体の静止画像を複数回連続して撮像したことにより得られた複数の画面の画像デ−タを取得する画像デ−タ取得工程と、画像デ−タ取得工程により得られた複数の画面の画像デ−タのうち少なくとも２つの画面の画像デ−タに基づいて画像デ−タの画像のエッジを検出するエッジ検出工程と、エッジ検出工程により検出されたエッジ情報に基づいて画像デ−タ取得工程にて得られた複数の画面の画像デ−タの少なくとも１つの画面の画像デ−タに対してノイズ低減処理を行うノイズ低減工程とを有することを特徴とする。
【００１２】
また、この発明にかかる画像処理方法は、好ましくはエッジ検出工程が、画像デ−タ中のエッジ位置を示すエッジ位置情報を生成し、ノイズ低減工程は、エッジ位置情報に基づいて、ノイズ低減処理を変更することを特徴とする。
また、この発明にかかる撮像装置は、好ましくは撮像制御部が、撮像部に連続して複数の予備撮像を行わせる予備撮像制御と、複数の予備撮像の直前又は直後に本撮像を行わせる本撮像制御とを実行し、エッジ検出部は、複数の予備撮像により撮像部から出力された複数の画面に対応する画像デ−タに基づいて画像デ−タの画像のエッジを検出し、ノイズ低減部は、エッジ情報に基づいて、本撮像により撮像部から出力された画像デ−タに対してノイズ低減処理を行うことを特徴とする。
【００１３】
また、この発明にかかる撮像装置は、好ましくはエッジ検出部が、エッジ位置に対応するエッジ強度を示すエッジ強度情報を生成し、ノイズ低減部は、エッジ位置情報及びエッジ強度情報に基づいて、ノイズ低減処理を変更することを特徴とする。
【発明の効果】
【００１４】
エッジの検出がより正確に行えるようになる。また、検出したエッジ情報に基づいて、ある画素にノイズ低減処理をどのように行うべきか、適切に選択することが可能となる。従って、画素ごとにエッジの有無に基づき、きめ細やかに個別に最適なノイズ低減処理を行うことが可能となる。これにより、適切なノイズ低減処理を施した画像処理が行え、明瞭な全体画像となる。
【発明を実施するための最良の形態】
【００１５】
（第一の実施形態）
本発明の実施形態について、図面に基づいて以下に説明する。図１には、本発明の適用にかかるカメラシステム１の構成を示す。このカメラシステム１は、画像処理エンジンたる演算部１１に、撮像画像のエッジ抽出機能を有するエッジ検出部１ａとノイズ低減機能（ノイズリダクション）を有するノイズ低減部１６と、予備撮像制御部１ｂとを併せて備える。演算部１１は、例えばＣＰＵ等から構成される。また、その他の構成は、冗長になるので説明を省略する。
【００１６】
カメラシステム１の撮像部１０で撮像された撮像画像は、演算部１１の画像処理部１５に送られ、例えばホワイトバランス処理やガンマ補正等の各種画像処理が施される。一方、予備撮像制御部１ｂにて撮像制御されることで、撮像部１０により複数の予備撮像画像の画像信号が取得される。エッジ検出は、ＡＳＩＣ等による複数の予備撮像画像の加算処理とハイパスフィルタ処理（ＨＰＦ）より、エッジ検出部１ａにてエッジの閾値判定によるエッジ検出として行われる。また、予備撮像画像は、記憶部１４のワ−クメモリ１８に一時記憶しておくことで、その後の本撮像画像に対する画像処理時に、読み出し処理することが可能となる。
【００１７】
ノイズ低減部１６は、エッジ検出部１ａによるエッジ検出情報に基づき適切なノイズ低減処理を行う。すなわち、エッジ検出部１ａでは、エッジの有無の他に、エッジの位置、エッジの領域範囲等を検出する。ノイズ低減部１６は、本画像のノイズ低減を行う際に、これらの情報を参照する。そして、ノイズ低減部１６は、参照した情報に基づき処理対象の画像の画素ごとに、最適なノイズ低減処理を選択する。ノイズ低減部１６では、選択されたノイズ低減処理でもって、その画素へノイズ低減処理を行う。
【００１８】
演算部１１は、ノイズ低減部１６で処理され画像処理部１５の他の画像処理も施された画像デ−タの画像を、表示部１２に表示する。演算部１１は、画像デ−タを外部インタ−フェ−ス部１３を介してメモリ−カ−ド等の外部メモリに保存する。また、記憶部１４のフラッシュメモリ等の記録メモリ１９に保存することもできる。
ここで、予備撮像の制御は、演算部１１にある予備撮像制御部１ｂにて実行されるが、その実行プログラムは記憶部１４のプログラムメモリ１７から読み出す。プログラムメモリ１７は、フラッシュメモリに保存されていてもよい。この実施形態において予備撮像は、レリ−ズスイッチ１ｃの全押しの操作に基づいて、本撮像の直前に複数回連続的に実行される。この予備撮像のフロ−概念図を図２に示す。
【００１９】
図２に示す予備撮像のフロ−概念図においては、予備撮像を３回行う場合を示している。予備撮像の回数は、エッジとノイズの判別をより正確に行う意味から多い方が好ましい。
（ステップ２１）まず初めに、レリ−ズが開始されると撮像部１０により画像が取り込まれる。このとき、初期値として、“ｎ＝０”が与えられており、取り込み画像は、予備画像１となる。
（ステップ２２）予備画像１をハイパスフィルタ処理（ＨＰＦ）することで、エッジ抽出の事前処理を行う。ハイパスフィルタは、図３に示すラプラシアンフィルタにより画像の鮮鋭化を行うものである。なお、ハイパスフィルタ処理については、後に詳述する。
【００２０】
ここで、エッジ抽出の一次元概念図を用いてエッジの検出処理について、図５とリンクさせて説明する。図５において、（１−ａ）はノイズが全くないオリジナルの理想的な原画像情報を示し、（１−ｂ）〜（１−ｅ）は、（１−ａ）にランダムなノイズが重畳した画像情報を示す。すなわち、（１−ａ）が理想状態の撮像画像であり、（１−ｂ）〜（１−ｅ）は、実際に予備撮像にて取得した予備画像であると考えることができる。従って、ここでは（１−ｂ）〜（１−ｅ）を予備画像として、これにエッジ抽出処理を施す場合について説明する。
【００２１】
図５に示す各画像情報にハイパスフィルタ処理を施すと、図６の各図に示すようになる。すなわち、（１−ａ）にハイパスフィルタ処理を施せば（２−ａ）に、（１−ｂ）にハイパスフィルタ処理を施せば（２−ｂ）に、（１−ｃ）にハイパスフィルタ処理を施せば（２−ｃ）に、（１−ｄ）にハイパスフィルタ処理を施せば（２−ｄ）に、（１−ｅ）にハイパスフィルタ処理を施せば（２−ｅ）となる。これは、ステップ２２の本工程に相当する。
（ステップ２３）次に、予備画像を何回取得したかを判別する。一回目は、予備画像１、二回目は予備画像２、三回目は予備画像３とする。初回の予備画像取得であってｎ＝０であればステップ２８に進み、二回目以降の予備画像取得であってｎ≠０であればステップ２４に進む。
（ステップ２４）以前に取得した予備画像１等が既にメモリに保存されているので、保存されている画像と新たに取得された予備画像２または３との対応する画素毎に加算処理を行う。加算処理により、後述のようにノイズ部分は画像信号が相対的に小さくなり、エッジ部分は画像信号が相対的に大きくなる。
【００２２】
ここで、図６の各図から明らかなように、個別の予備画像それぞれにハイパスフィルタ処理を施したところで、各個別の処理画像から、エッジを正確に検出することは困難である。すなわち、個々の画像情報単独では、エッジとノイズの判別がつきにくい。そこで、この実施形態では、ハイパスフィルタ処理した（２−ｂ）〜（２−ｅ）の各処理画像情報を加算して、図７に示す予備画像の加算処理情報を作成する。これは、ステップ２４の本工程に相当する。また、図２のステップ２２で示すハイパスフィルタ処理とステップ２４で示す加算処理とを入れ替えて処理し、ステップ２４の加算処理後にステップ２２のハイパスフィルタ処理をしてもよい。
（ステップ２５）次に、ステップ２４にて加算処理した画像信号をメモリに上書き保存する。従って、メモリには常に取得された最新の予備画像が加算され、上書き状態で保存される。保存が完了すれば、その予備画像に対する処理は完了するので、ステップ２６に進む。
（ステップ２６）このステップでは、ｎに１を加える処理を行う。この処理は、予備画像の処理一回ごとに行い、また初期値として、“ｎ＝０”が与えられているので、ｎを参照することで予備画像の取得と処理を何回行ったかが把握できる。
（ステップ２７）ｎが３であれば、予備画像の取得を３回実施（予備画像１−３取得）したこととなりステップ２９へと進む。ｎが３でなければ、ｎは２以下であってまだ予備画像を３回取得できていないので、ステップ２１に戻り、さらなる予備画像の取得を行う。なお、予備画像の取得回数は任意に設定することができる。
（ステップ２８）ステップ２３において“ｎ＝０”であれば、初回の予備撮像なのでステップ２２のＨＰＦ処理結果をメモリに保存する。保存結果は、２回目以降の予備撮像において、別途加算処理されることとなる。
（ステップ２９）次に、所定回数の予備撮像が完了すれば、それらの加算画像信号を１bitのエッジ情報に変換する。各画素毎にエッジがあるのかないのかの２値化処理を行う。この処理内容の詳細は後述するが、所定の閾値と比較することで、エッジの位置が画素レベルで正確かつ明確に確定できることとなる。つまり、２値化処理は任意に設定された閾値を用いて、閾値以上の値を有する画素を「１」とし、閾値より小さい値を有する画素を「０」とした１ｂｉｔのデ−タとして実行される。「１」の値を付与された画素は、エッジに相当する画素となるので、その位置がエッジ情報画像として次のステップで保存されることとなる。
【００２３】
すなわち、図７の画像情報の絶対値をとると図８のグラフとなる。ここでは、信号強度の強弱のみを問題とし、エッジを抽出することを目的とすることから絶対値と所定の閾値とを比較する。所定の閾値を超える画像信号は、エッジと認識し、所定の閾値を超えない画像信号はエッジではないと認識する。
特に、この実施形態においては、予備画像の加算処理によりエッジ部分とそうでない部分の分別が、より明確に行える。すなわち、エッジ部分は、加算処理によりさらに重畳された画像信号が作成され、絶対値が大きくなる。一方、エッジでない部分は、加算処理により、いずれかの予備画像にノイズが乗っていても複数の加算により重畳されることはない。このため、ノイズ部の画像信号の絶対値は、エッジ部分に比較して大きく重畳されることはなく、結果としてノイズとエッジの分別は容易となる。
【００２４】
これにより、適正に閾値を設定すれば、正確にエッジ位置を検出することが可能となる。エッジ位置が正確に特定できれば、エッジ位置の画素とそうでない画素との間やエッジ位置との関係で、ノイズ低減処理を変更し、又はノイズ低減処理の強弱に差異を設けることが可能となる。
（ステップ２１０）次に、ステップ２９の処理結果を記憶装置に記憶する。記憶装置は、記憶部１４の記録メモリ１９であっても、ワ−クメモリ１８であってもよいが、この実施形態では、ワ−クメモリ１８に保存する場合を示す。また、外部インタ−フェ−ス１３を介した外部メモリにエッジ位置を示すエッジ情報ファイルとして記憶してもよい。この場合、演算部１１は、後述する本撮像により得られた画像デ−タファイルとエッジ情報ファイルとを関連付けして外部メモリに記憶する。例えば、エッジ情報ファイルのファイル名と本撮像により得られた画像デ−タファイルのファイル名との一部の文字列が共通となるように、演算部１１がそれぞれのファイル名を決定すればよい。この場合、演算部１１は、本撮像を行う際に後述する図４のノイズ低減処理を実行せずに、画像デ−タファイルを外部メモリに保存することとしてもよい。このように、外部から取り出し可能な外部メモリや、読み出し可能な記録メモリ１９に保存すると、別途、画像処理装置等にて後に読み出し等することで、この実施形態のノイズ低減処理をすることも可能となる。
【００２５】
次に、ハイパスフィルタ−（ＨＰＦ）について図３に示す窓関数を用いて説明する。ハイパスフィルタ−は、予備撮像により取得した予備画像についてエッジ抽出処理を施す際に用いる。さらに、一の予備画像に基づくエッジ抽出処理より複数の予備画像によるエッジ抽出処理の方が信頼性が高いので、対応する画素ごとの加算処理をすることで真のエッジのみの抽出を行える。
【００２６】
図３に示すのは、２次差分の窓関数による８近傍のラプラシアンフィルタである。この処理により、画像の輪郭線を強調することができる。ラプラシアンは、一般に
ｇ（ｉ，ｊ）
＝∇2ｆ（ｉ，ｊ）
＝（∂2／∂ｉ2）ｆ（ｉ，ｊ）＋（∂2／∂ｊ2）ｆ（ｉ，ｊ）・・・（１）
で表され、平面上でｉ方向（又はｘ方向）、ｊ方向（又はｙ方向）にそれぞれ濃度変化の二次微分をとることで、エッジの両端で正と負のピ−クを発生させる、２次空間微分線形フィルタである。
【００２７】
また、（１）式は、
ｇ（ｉ，ｊ）
＝∇2ｆ（ｉ，ｊ）
＝＋ｆ（ｉ−１，ｊ−１）＋ｆ（ｉ，ｊ−１）＋ｆ（ｉ＋１，ｊ−１）
＋ｆ（ｉ−１，ｊ）＋ｆ（ｉ＋１，ｊ）
＋ｆ（ｉ−１，ｊ＋１）＋ｆ（ｉ，ｊ＋１）＋ｆ（ｉ＋１，ｊ＋１）
−８ｆ（ｉ，ｊ）・・・（２）
となることから、図３に示す８近傍の窓関数として表現できることとなる。ここでは、縦横斜めの８近傍のラプラシアンフィルタを示したが、縦横の４近傍のラプラシアンフィルタを用いてもよい。ラプラシアンフィルタの特徴として、画像中のエッジの方向に依存せず濃度の空間的変化に応じた微分値を出力できる。
【００２８】
また、非線形差分フィルタとして、ＲｏｂｅｒｔｓフィルタやＦｏｒｓｅｎフィルタ、レンジフィルタ等を用いてもよいし、移動平均フィルタや中央値フィルタ（メディアンフィルタ）等の各種線形、非線形平滑化フィルタやパタ−ン抽出フィルタ等を用いてもよい。
このように処理された予備画像は、各予備撮像の対応する画素毎に加算処理され、先のデ−タに加えられる。本実施形態では、３回の予備撮像とその処理画像の加算を行った後、所定の閾値と加算後の画像のデ−タを比較する。そして、閾値以上の画像のデ−タをエッジとして抽出し、他の画素をエッジでない画像のデ−タとし、２値化して結果を保存する。すなわち、閾値以上の画像情報はエッジで“１”とし、閾値未満の画像のデ−タに対応する画素はエッジでないとし“０”として２値化デ−タとして保存する。
【００２９】
次に、本撮像のフロ−について、図４に示す本撮像のフロ−概念図を用いて説明する。このフロ−処理は、演算部１１にて実行される。ここでは、基本的に本撮像による撮像画像は、画素ごとにノイズ低減処理の適用選択を個別に決定し、画素ごとにノイズ低減処理を行うこととなる。
（ステップ４１）撮像部において、本画像の取り込みを行う。これに先立ち、予備画像の取得と処理が、図２に示す各ステップのように取得し処理され保存されている。本画像の取得は、エッジ抽出の意味合いから予備画像の取得と時間的に連続していることが好ましい。また、同一の対象について同一の構図やアングルで同一照明の下、可能な限り短い間隔において連続撮像することが好ましい。本画像と予備画像間で、新たな構図の補正やマッチング処理が不要となり、予備画像のエッジ情報を、そのまま直接に本画像に適用できるからである。本画像の取得が、終わればステップ４２に進む。
【００３０】
（ステップ４２）次に、エッジ情報画像の読み出しを行う。エッジ情報画像は、予め取得した予備画像に基づきエッジ情報を抽出し記憶していたものである。この実施形態では、エッジの有無に基づき各画素ごとに２値化された情報が、読み出される。
（ステップ４３）本画像の画素のなかから、今から画像処理としてノイズ低減を行う注目画素を一画素選択する。
【００３１】
（ステップ４４）エッジ判定１として、エッジが参照範囲内にあるかどうかを判定する。参照範囲内にあればステップ４５へと進み、参照範囲内に無ければステップ４８へと進む。エッジ判定１は、エッジの位置が注目画素に対して、その注目画素の参照範囲内かどうかを判定するものであり、その結果はノイズ低減処理の内容に反映される。すなわち、注目画素の参照範囲内にあれば、注目画素との関係で相当近い位置にエッジが存在することとなる。
【００３２】
なお、参照範囲とは、注目画素を中心として円形に一定距離をもって設定する範囲であってもよい。また、参照範囲とは、注目画素から、各方向ごとに一定の重み付けをもって非対称２次元形状的に設定する範囲であってもよい。また、矩形等により注目画素を中心に、点対称的形状に範囲設定してもよい。
この実施形態において、参照範囲は、本画像の注目画素を中心として５×５画素の範囲と設定し、これに対応する画素ごとに加算処理等された予備画像のエッジ情報記録画像のデ−タを読み出すこととする。
【００３３】
（ステップ４５）エッジ判定２として、エッジと注目画素が一致するかどうかを判定する。一致する場合には、ノイズ低減処理する注目画素そのものがエッジとなるので、ステップ４６に進む。一致しない場合には、エッジ位置は、注目画素の参照範囲であって注目画素上ではないので、ステップ４７に進む。
（ステップ４６）このステップは、注目画素がすなわちエッジに該当する場合である。従って、この場合に注目画素にノイズ低減処理を強く施すと、エッジそのものが低減処理されることとなる。このため、ここでは注目画素へのノイズ低減処理を“弱“に選択し設定する。なお、注目画素のノイズ低減処理に利用する画素は、参照範囲（５×５画素）内の画素のなかから注目画素の値と所定値（Ｎ×α）の絶対値差の範囲内にある画素を抽出し、利用する。このステップではα＝１が設定され、ノイズ低減処理を弱くしてエッジを残存させる場合に相当する。また、これについての詳細は後述する。
【００３４】
（ステップ４７）このステップは、注目画素の参照範囲（５×５画素）内にエッジがあり、かつ注目画素とエッジが同一でない場合に相当する。すなわち、注目画素の周辺である所定の参照範囲内にエッジが存在している場合である。このことから、ここでは注目画素へのノイズ低減処理を“中“と選択し、設定する。このステップは、α＝１．５が設定される。
【００３５】
注目画素の周辺たる参照範囲にエッジが存在するということは、周辺部に平坦信号でない特異的信号変異点（例えばエッジ）が存在するということである。これでは、ノイズ低減処理が適正に行われることにはならない。
その一方で、この注目画素は、エッジとは無関係にある一定のノイズを有する可能性もある。この真のノイズは、適正に除去し低減することが好ましい。従って、このステップでは、ノイズ低減処理を“中”に選択し設定することとする。なお、この実施形態において、ノイズ低減処理を“強”“中”“弱”の三段階からの選択と設定としたが、何段階に設定するものであってもよい。さらに、各段階場合分けにおいて、異なるノイズ低減処理を選択し、すなわち、異なる別個のノイズ低減処理関数にて処理するものであってもよい。これにより、各段階毎に最適なノイズ低減処理関数の設定が行えるので、同じ系列の関数処理における強弱の選択では対応しきれない細密な部分に至るまで、より適切なノイズ低減処理とすることができる。ノイズ低減処理の選択が完了すれば、ステップ４９へ進む。
【００３６】
（ステップ４８）このステップは、注目画素の参照範囲（５×５画素）内にエッジが存在しない場合である。すなわち、ノイズ低減処理を行う注目画素やその周辺にはエッジが存在せず、従ってエッジと無関係であるといえる。このことから、ここでは注目画素へのノイズ低減処理を“強”と選択し設定する。このステップではα＝２が設定され、ノイズ低減処理を強くしてノイズ低減をエッジ残存よりも優先させる場合に相当する。また、これについての詳細は後述する。
【００３７】
（ステップ４９）前のステップで設定したノイズ低減処理方法によって、ノイズ低減処理を施す。ノイズ低減処理方法は、各種様々なものが提案されているが、そのいずれを用いるものであっても、選択するものであってもよい。各画素に一律に、同一のノイズ低減処理を施すよりも、エッジの位置に応じてノイズ低減処理方法を変更し、又はノイズ低減処理の強弱をつけて、処理を行う方が各画素の画像情報に応じて個別に適切な処理を行えるので好ましい。このため、この実施形態においては、予め複数のノイズ低減処理方法を記憶させておき、さらに、各ノイズ低減処理方法を適用する場合の注目画素とエッジとの関係の条件と関係づけて記憶させておくことが好ましい。これにより、ステップ４４〜ステップ４５で説明する各エッジ判定において、条件に適合するノイズ低減処理を適宜選択し、設定することができる。
【００３８】
（ステップ４ａ）本画像の全画素について処理が完了したかどうかを判断する。処理が完了すれば、ステップ４ｂへ、完了しなければステップ４３へ戻り他の注目画素について処理を行う。
（ステップ４ｂ）ノイズ低減処理を施した本画像を、記憶装置に記憶する。記憶装置は、撮像装置１内部の記録メモリ１９であってもよいし、外部Ｉ／Ｆ部１３を介した外部記憶部たるメモリ−カ−ド等であってもよい。これにより、エッジを保持しながら画像信号平坦部でのノイズの低減処理をしっかりと行い、エッジ保持とノイズ低減を両立させた画像処理を施した画像が作成され、記録されることとなる。
【００３９】
次に、この実施形態におけるノイズ低減処理（ノイズリダクション：Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）について、図９を用いて詳細に説明する。図９に示すのは、理想的なノイズのない原画像のデ−タである。図９では、エッジのある画素は“２０”とし、エッジの無い画素は“１０”として概念的に表現している。この図において、エッジの位置は、エッジ６１列であり、それ以外の画素にエッジはない。また、説明の平易化のために図９に示す枠６０部の各画素について、ノイズ低減処理を施す場合を主に説明する。
【００４０】
図９に示す理想的な二次元エッジ情報を有する原画像は、実際の本撮像における本画像取り込みを行うと、図１０に示すようにランダムノイズが重畳（上乗せ）された本画像信号として取得される。従って、図１０に示す本画像に対して、ノイズ低減処理を施すものとする。なお、ここでは本説明のため、図９の原画像デ−タに標準偏差が５となるランダムノイズを重畳し、図１０の本画像の画像のデ−タを作成した。また、説明の簡略化のため、ここで示すノイズ低減処理は、注目画素を中心として５×５画素の矩形の対称範囲内で平均化処理を行うノイズ低減処理関数を用いている。また、図１０に示す本画像情報に対し、別途取得した予備画像情報の処理により、エッジの位置が特定されているものとする。ここで、特定されたエッジの位置は、図９に“２０”の画像情報で示される、縦のエッジ６１列である。
【００４１】
ここで、ノイズ低減処理として平均化処理を行うに際し、あるレベル以上の信号変化を有する画素は平均化処理の対象から除外する処理を行う。具体的には、図１０の枠６０内における画像信号の標準偏差をＮとし、注目画素から±（Ｎ×α）を超える差を有する画素については、特異点として平均化の母集団である５×５画素から除外する。これにより、特異点は平均化のデ−タに含まれないこととなり、平均化処理の信頼性を高めることができる。すなわち、ノイズ低減処理としてより好ましいこととなる。
【００４２】
一例として、図４のステップ４８においてノイズ低減（強）と選択された注目画素について説明する。注目画素７ａについてのノイズ低減処理を考えると、標準偏差Ｎ＝５でα＝１として（Ｎ×α）＝５が設定される。注目画素７ａの値は１であることから注目画素７ａの値から±（Ｎ×α）＝±５の範囲の値を有する画素７ｃを、参照範囲（５×５画素）から抽出する。具他的には、注目画素７ａを中心に矩形上の５×５画素の参照範囲７ｂから、−４〜６の値の画素７ｃを抽出して、平均化する。この際、画像デ−タがＲＧＢの各色毎に存在するので、ノイズ低減処理もＲＧＢの各色毎に実行する。もちろん、ステップ２２で説明するハイパスフィルタ処理もＲＧＢごとに実行する。ＲＧＢ色ごとにエッジの重要度が異なるからである。
【００４３】
また、αを小さくすればエッジ信号は、平均化の母集団から除外される。しかし、ノイズがあった場合にはノイズ信号をも平均化の母集団から除外されてしまい、結局、ノイズ低減処理としては、機能不完全なものとなる。
本実施形態においては、予備画像によってエッジの位置が正確に把握できているため、上述のようにαを適正に設定しやすく、ノイズとエッジがまとめて同様に平均化処理の母集団から除外されることを防止できる。エッジのみを選択的に平均化の母集団から除外し、ノイズについては平均化処理の母集団に含めることで、適切なノイズ低減処理とすることが可能である。
【００４４】
ここで、偏差Ｎは例えば信号レベルに対して、一定の値として決めることができる。あるいは、信号強度の平方根の定数倍として決めることができる。また、４０９６色の１２ｂｉｔロ−デ−タを２５５色の８ｂｉｔパソコン処理デ−タに変換する場合において、ガンマカ−ブがリニアとの乖離が大きな中間階調部分に対して、強くノイズ低減処理を施すように決定してもよい。
【００４５】
このノイズ低減処理について、図２０に示す注目画素とエッジとの位置関係におけるノイズ低減処理模式図を用いてさらに詳述する。図２０において、１２０は判定０、１２１は判定１、１２２は判定２の場合を模式的に示している。判定０は、図４のステップ４８において選択した画素に関する判定である。また、判定１は、図４のステップ４７において選択した画素に関する判定である。また、判定２は、図４のステップ４６において選択した画素に関する判定である。
【００４６】
また、この画素ごとの判定について、図１４に示す。図１４は、本画像の枠６０内の各画素について、注目画素の参照範囲（５×５画素）にエッジ６１が存在するかどうかについて、図４に示すステップ４４〜ステップ４５により判定した結果を二次元で示したものである。列８１は本画像において、注目画素とエッジ６１が一致する画素を示すものであり、値“２”が付与されている。列８２は本画像において、注目画素とエッジ６１は一致しないが、注目画素の参照範囲内（５×５画素）にエッジ６１が存在する画素を示すものであり、値“１”が付与されている。列８３は本画像において、注目画素の参照範囲内にエッジ６１が存在しない画素を示すものであり、値“０”が付与されている。また、横軸１２５は一次元の連続する画素を示し、縦軸は各画素デ−タの信号強度を示す。
【００４７】
また、１２３はエッジであり、１２４は参照範囲を示す。判定０（１２０）の場合は、注目画素１２９の参照範囲１２４ａにエッジ１２３は存在しない。そこでα＝２と設定し、±（Ｎ×α）の範囲１２６を大きくし、参照範囲１２４ａの中から注目画素１２９の信号強度と大きな差分を有する画素をもノイズ低減処理に含めることで、注目画素１２９についてのノイズ低減処理を強くかける。具体的に説明すると、画素１３０ａと画素１３０ｂとの信号強度はいずれも、±（Ｎ×α）の範囲内である。よってこの場合、画素１３０ａの信号強度と画素１３０ｂの信号強度との両方がノイズ低減処理に用いられる。
【００４８】
また、判定１（１２１）の場合は、注目画素１２ａの参照範囲１２４ｂにエッジ１２３が存在する。そこでα＝１．５と設定し、±（Ｎ×α）の範囲１２７を中程度に取り、参照範囲１２４ｂの中から注目画素１２ａの信号強度と中程度の信号強度差を有する画素をノイズ低減処理に含めることで、注目画素１２ａにノイズ低減処理を中程度にかける。具体的に説明すると、画素１３１ａの信号強度は、±（Ｎ×α）の範囲外である。そして画素１３１ｂの信号強度は、±（Ｎ×α）の範囲内である。よって、この場合、画素１３１ａの信号強度は、ノイズ低減処理から除外され、画素１３１ｂの信号強度がノイズ低減処理に用いられる。
【００４９】
判定２（１２２）の場合は、注目画素１２ｂがエッジ１２３に相当する。そこでα＝１と設定し、±（Ｎ×α）の範囲１２８を小さくし、参照範囲１２４ｃの中から注目画素１２ｂの信号強度と小さな差分を有する画素のみをノイズ低減処理に含めることで、注目画素１２ｂにノイズ低減処理を弱くかける。これにより、注目画素１２ｂのエッジ１２３は保持される。具体的に説明すると、画素１３２ａと画素１３２ｂとの信号強度はいずれも、±（Ｎ×α）の範囲外である。よってこの場合、画素１３２ａの信号強度と画素１３２ｂの信号強度との両方がノイズ低減処理から除外される。すなわち、エッジに相当する画素以外の画素は、ほぼノイズ低減処理から除外されるので、ノイズ低減処理後の画像にエッジが残ることとなる。
【００５０】
さらに、この本実施形態の効果をデ−タを付して説明する。図１１に示すランダムノイズが重畳している本画像において、枠７１内の画素に着目してデ−タ処理する場合について以下に説明する。枠７１は、枠６０の画素からエッジ６１を除いた全ての画素を包含する。枠７１内の画素についての標準偏差の値を“標準偏差１”とし、図１８の処理結果比較表の“標準偏差１“（１０１）に示す。すなわち、図１８において標準偏差１（１０１）は、ノイズ低減処理を行わなければ値”４．５“となり、ノイズ低減処理を弱く（処理１、α＝１）施せば値”３．２６“となり、ノイズ低減処理を強く（処理２、α＝２）施せば値”１．８５“となる。また、本実施形態のノイズ低減処理（処理３、α可変）を施せば、値”２．１２“となる。これにより、この実施形態にかかる処理３の値は、ノイズ低減処理を行わない値より小さくなり、ノイズ低減処理を弱く施した値よりも小さくなり、ノイズ低減処理を強く施した値よりも大きくなることがわかる。従って、枠７１内の画素については、処理３において画像信号がほどよく平坦化され、その標準偏差は、ノイズ低減処理を強く施した処理２と弱く施した処理１との中間程度にまで、中庸的に適切に平坦化されていることがわかる。
【００５１】
また、図１２に示すランダムノイズが重畳された本画像において、枠７２内の画素に着目してデ−タ処理する場合について以下に説明する。枠７２は、図１４の枠８３の画素に対応し、枠６０の画素からエッジ６１とその周辺画素を除いた画素であり、すなわちエッジとは無縁の画素ということができる。枠７２内の画素について標準偏差をとった値を“標準偏差２”とし、図１８の処理結果比較表の“標準偏差２“（１０２）に示す。すなわち、図１８において標準偏差２（１０２）は、ノイズ低減処理を行わなければ値”５．０８“となり、ノイズ低減処理を弱く（処理１、α＝１）施せば値”３．４６“となり、ノイズ低減処理を強く（処理２、α＝２）施せば値”１．６３“となる。また、本実施形態のノイズ低減処理（処理３、α可変）を施せば、値”１．６３“となる。これにより、この実施形態にかかる処理３の標準偏差は、ノイズ低減処理を行わない値より小さくなり、ノイズ低減処理を弱く施した値よりも小さくなり、ノイズ低減処理を強く施した値と同等となることがわかる。従って、枠７２内の画素については、処理３において画像信号が平坦化され、その標準偏差は、ノイズ低減処理を強く施した処理２と同等程度にまで、適切に平坦化されていることがわかる。
【００５２】
また、図１３に示すランダムノイズが重畳された本画像において、図１４の枠８２の画素に対応する枠７３内の画素に着目してデ−タ処理する場合について以下に説明する。枠７３は、枠６０の画素からエッジ６１とエッジと無関係の画素の枠７２を除いた画素であり、すなわちエッジ周辺の画素ということができる。また、エッジ６１はエッジ位置に対応する画素の信号である。枠７３内の画素についての平均とエッジ６１の平均との差の値を“エッジの平均値とエッジ周辺部の平均値との差１０３”とし、図１８の処理結果比較表の“エッジの平均値とエッジ周辺部の平均値との差“（１０３）に示す。すなわち、図１８においてエッジの平均値とエッジ周辺部の平均値との差（１０３）は、ノイズ低減処理を行わなければ値”１０“となり、ノイズ低減処理を弱く（処理１、α＝１）施せば値”８．８“となり、ノイズ低減処理を強く（処理２、α＝２）施せば値”４．８５“となる。また、本実施形態のノイズ低減処理（処理３、α可変）を施せば、値”８．７“となる。これにより、この実施形態にかかる処理３の値は、ノイズ低減処理を行わない値より小さくなり、ノイズ低減処理を弱く施した値よりも若干小さくなり、ノイズ低減処理を強く施した値よりも相当大きくなることがわかる。従って、枠７３内の画素については、処理３においてエッジとの差異が残存され、その値は、ノイズ低減処理を弱く施した処理１と同等程度に、適切にエッジが残存されていることがわかる。
【００５３】
以上説明したように、図１８に示す結果から、本実施形態のノイズ低減処理にかかる処理３は、エッジ位置との関係において適切に機能することがわかる。つまり、エッジ周辺部の画素についてはエッジを残存させるように機能し、エッジから離隔する画素についてはノイズ低減をしっかりと施し、それ以外の画素については中庸的にノイズ低減を施す。これにより、画像全体としては、エッジがしっかりと残存し、かつ、ノイズ低減もしっかりと処理され、メリハリの効いた見やすい画像とすることができる。
【００５４】
参考までに、ノイズ低減処理済みの画像のデ−タ結果を図１５，図１６，図１７に示す。ここで、図１０に示す本画像信号の画像のデ−タに、一律にノイズ低減処理を弱く施す処理１（すなわちα＝１）を適用した場合の処理結果を、図１５に示す。また、図１０に示す本画像信号の画像のデ−タに、一律にノイズ低減処理を強く施す処理２（すなわちα＝２）を適用した場合の処理結果を、図１６に示す。また、図１０に示す本画像信号の画像のデ−タに、本実施形態のノイズ低減処理を施す処理３（α可変）を適用した場合の処理結果を、図１７に示す。また、ランダムノイズには、例えばイメ−ジセンサ自体や周辺回路でのノイズ、被写体の光りの揺らぎ、ＡＤ変換にかかわるノイズ等が考えられる。
【００５５】
処理１にかかる図１５では、エッジ６１が大きな値で強く残存するものの、エッジ６１と無関係の枠７２に位置する画素に値“１８”（９１）が残存し、またエッジ６１周辺の枠７３に位置する画素に値“１６”（９２）が残存するなど、画像全体として十分なノイズ低減処理が行われているとはいえない。
また、処理２にかかる図１６では、エッジ６１と無関係の枠７２に位置する画素やエッジ６１周辺の枠７３に位置する画素については、ノイズ低減がしっかりと施されている。しかし、エッジ６１については、エッジ６１の各画素の値が小さな値となりエッジ６１が損なわれている。従って、画像全体としてエッジが消滅し、適切なノイズ低減処理が行われているとはいえない。
【００５６】
なお、列９３に位置する各画素については、処理１にかかる図１５よりむしろ値が大きくなり、見かけ上、ノイズ低減処理が弱くなっているようにも見受けられる。これは、枠６０の端に位置するので、注目画素の参照範囲についてミラ−反転処理を行ったためである。
また、処理３にかかる図１７では、エッジ６１が大きな値で強く残存しながら、かつ、エッジ６１と無関係な枠７２に位置する画素や、エッジ６１周辺の枠７３に位置する画素は、ノイズ低減がしっかりと施され小さな値となっている。つまり、エッジの残存とノイズ低減がうまく両立され、画像全体としてメリハリが効き、明瞭な輪郭を有しながらノイズの少ない画像として適切に処理できている。
【００５７】
この実施形態では予備撮像は、本撮像を行う直前の画像を取得し、これにエッジ抽出処理を施したがこれに限られることはない。例えば、先に本撮像を行い本画像を一時記憶した後に、予備撮像を行い予備画像の処理によりエッジを抽出した後、本画像を読み出してノイズ低減処理を施すこともできる。
また、この実施形態ではノイズ低減処理は、αを１、１．５、２と三段階に可変とすることで、ノイズ低減処理を強中弱の三段階に可変としたがこれに限られることはない。例えば、αを一定として、ノイズ低減処理を重畳的に施す回数を可変とすることで、ノイズ低減処理を可変としてもよい。また、例えばノイズ低減処理の処理関数そのものを可変とし、複数の処理方法の中から最適な処理方法を選択することで、ノイズ低減処理を可変としてもよい。また、ノイズ低減処理を可変とする段階は、三段階でなくても二段階や四段階やその他多数の段階処理としてもよい。多数の段階処理とすると、状況に応じたきめ細やかな処理変更が可能となり好ましい。
【００５８】
また、この実施例において参照範囲は、５×５画素の矩形として説明したがこれに限られることはない。円形の参照画素範囲をはじめとして任意の形状の参照範囲を設定してよい。また、５画素の範囲に限られず、３画素や４画素その他の画素範囲に設定することができる。一般には、多数の撮像シ−ンのバリエ−ションに対応する為に、注目画素に対して点対称形状に参照範囲を設定することが好ましい。
【００５９】
上述の説明では、撮像装置を機能的側面から説明してきたが、実際の撮像装置の具体的構成について図１９を用いて以下に説明する。
ただし、技術の進歩に伴って、各部品の高機能化、高集積化、一チップ化が著しいこともあり、下記の具体的構成に限定されるものではない。例えば、撮像装置における演算部分を担う演算部について、中央演算装置としての演算部ＣＰＵとノイズ低減処理等を担う付属演算装置としてのＡＳＩＣ部とは、一部品（ワンチップ）演算部として構成してもよい。他の部品についても同様であり、複数の機能を有する部分を集約し、集積化して高機能化した一部品として構成してもよい。
【００６０】
図１９は、撮像装置の部品構成概念を模式的に示す図である。撮像素子１１１で撮像された画像信号は、アナログフロントエンド１１２を介して画像デ−タとしてＡＳＩＣ１１３に入力される。ＡＳＩＣ１１３では、ＣＰＵ１１５からの指示に従い、ハイパスフィルタ処理や加算処理、閾値判定処理、ノイズ低減処理等を演算し実行する。
ＡＳＩＣ１１３で演算処理された画像デ−タは、ＲＡＭ１１４に格納することができる。ＲＡＭ１１４は外付けのメモリとして構成してもよく、本実施形態では１画像分の記憶容量で足りる。
【００６１】
また、すべての処理はＣＰＵ１１５からの指示にかかり、レリ−ズスイッチ等の操作部１１６からの信号もＣＰＵ１１５に入力され処理される。また、ＡＳＩＣ１１３での処理にかかる画像処理プログラム等は、フラッシュメモリ１１７に記憶されており、適宜読み出すことが可能となっている。
さらに、カ−ドインタ−フェ−ス１１８を介してメモリカ−ド１１９等に画像デ−タやエッジ情報等を保存することも可能である。また、外部インタ−フェ−ス１１１０を介して、撮像装置内の画像デ−タやプログラム等を読み出し、書き込み、演算処理等ができる。また、表示装置１１１１では、画像デ−タを画面に表示して撮影者が画像の確認を行えるように構成されている。
（第二の実施形態）
次に、図２のステップ２９において、エッジの信号強度によって上述のαを変更する場合を第二の実施形態として示す。
【００６２】
閾値を画像のデ−タの信号強度に応じて複数段階設けることで、エッジの位置に対応するエッジ強度のデ−タをも有する数ｂｉｔの画像情報として保存することができる。この場合、例えば閾値を２つ設けてエッジ強度の弱い順に、無し、弱、強の三段階とし、それぞれエッジ強度に対応する画像情報として“０１”、“１０”、“１１”の２ｂｉｔデ−タ値を保存することもできる。
【００６３】
第一の実施形態では、図４のステップ４７の処理においてα＝１．５（判定１）と一つの判定をしたところを、本実施形態では、エッジ強度に応じて判定結果を変更することにする。具体的には、注目画素の参照範囲内にエッジ強度“弱（１１）”の画素が一つでも存在する場合は、α＝１．３（判定１−１）と判定する。そして、注目画素の参照範囲内にエッジ強度“弱（１１）”の画素が存在せず、かつエッジ強度“強（１１）”の画素が一つでも存在する場合は、α＝１．７（判定１−２）と判定する。
【００６４】
また、エッジ信号の強度と位置とを加味して、細かく場合分けしてもよい。この段階場合分けは、細かくすればするほど、よりきめ細やかで適切な処理が画素ごとに可能となるので好ましい。
また、エッジ抽出の際の閾値は、ランダムノイズがある程度撮像装置の固有値として経験的に予測できることから、適切に決定することが可能である。ランダムノイズが予測できれば、Ｓ／Ｎ比や複数回加算処理した時のノイズの値や標準偏差等も予測できる。従って、閾値は、上述の予測される値よりも大きくとりノイズとエッジとを分別することができる。他の動作と処理は、第一の実施形態と同じなので説明を省略する。
【００６５】
実施形態にかかる撮像装置は、撮像素子によって撮像した画像信号中に含まれるノイズ成分を低減する撮像装置であって、撮像と連続して複数の予備撮像を行わせる予備撮像制御部と、複数の予備撮像した画像信号に基づいて、撮像した画像信号中のエッジを検出するエッジ検出部と、検出されたエッジに基づいてノイズ成分を低減するノイズ低減部を備えるものである。
【００６６】
これにより、予備撮像から推定されるエッジ情報を、本撮像のノイズ低減処理に活用できる。従って、より正確なエッジとノイズの判別ができるようになる。さらに、判別結果から、画素ごとに異なるノイズ低減処理を施してもよい。
また、予備撮像とノイズ低減する撮像は、撮像時には一連一体的に撮像することで分別しなくてもよい。すなわち、一連一体的に撮像した複数の撮像画像のなかから、適宜、一のノイズ低減処理にかかる画像と、他の一以上の予備撮像にかかる画像を選択するようにしてもよい。
【００６７】
また、実施形態にかかる撮像装置は、好ましくはノイズ低減部が、画像信号中の注目画素ごとに、注目画素の位置とエッジの位置との比較に基づき、注目画素のノイズの低減処理を変更するものである。
これにより、注目画素とエッジが存在する画素の相対位置関係を、明確に認識できる。従って、相対位置関係によってエッジからの影響の大小を推定したり、ノイズであるかどうかの判断に重み付けをしてもよい。画素個々毎に、ノイズ低減処理を変更できるので、より適切なノイズ低減処理が可能となる。また、画素ごとのノイズ低減処理は、エッジ位置との相対位置関係により、適切に決定することも可能となる。
【００６８】
また、実施形態にかかる撮像装置は、さらに好ましくはノイズ低減部が、注目画素の位置とエッジの位置との間の距離が所定の距離閾値より大きければノイズの低減処理強度を強くし、注目画素の位置とエッジの位置との間の距離が所定の距離閾値より小さければノイズの低減処理強度を弱くすることにより、注目画素のノイズの低減処理を距離に応じて変更するものである。
【００６９】
これにより、注目画素のノイズ低減処理をエッジ画素との距離に応じて変更できる。一般に距離が近ければ、エッジの影響は大きくなると考えられることから、距離をエッジの影響の有無の判断指針とすることで、注目画素に対して適切にノイズ低減処理を施せることとなる。
また、実施形態にかかる撮像装置は、さらに好ましくはエッジ検出部が、複数の予備撮像の画像信号を加算して得られた加算信号と、所定の信号閾値とを比較し、所定の信号閾値を超える画素領域をエッジとして検出するものである。
【００７０】
これにより、加算信号に基づくエッジ判定を行える。すなわち、スパイクノイズやランダムノイズは、局所的に不定期かつ不定箇所に発生すると考えられるところ、加算信号により、真にエッジとなる箇所は強調され、ノイズ部分は相対的に弱い信号となる。従って、正確にエッジ部分を捉えることが可能となる。
本撮像と予備撮像は、時間的に連続して撮像し、可能な限り短い時間間隔で連続することが好ましい。しかし、物理的にも技術的にも、連続撮像の時間間隔には限界があるところ、上述の処理が行えるよう、本撮像と実質的同一の予備撮像であれば問題はない。また、一眼レフタイプのカメラにおいては、測光用のＣＣＤ等によって、すなわち本撮像とは異なる撮像素子によって、予備撮像を行うように構成してもよい。
【００７１】
また、実施形態にかかる撮像装置は、さらに好ましくはエッジ検出部が、複数の予備撮像の画像信号からハイパスフィルタ処理の結果に基づいてエッジの画素領域を検出し、ノイズ低減部は、エッジの画素領域が、注目画素の参照範囲内にあるかどうかを判断して、ノイズ低減処理を変更するものである。
従って、参照範囲にエッジの画素領域がある場合と無い場合とで、ノイズ低減処理を細かく変更することができる。参照範囲は、注目画素の周りに一定の画素数にて一律に円状、矩形状等に規定してもよいし、注目画素の位置によって異なる参照範囲を設定してもよい。例えば、撮像画像全体の端部と中央部とで、微妙にエッジの影響が異なる場合には、端部と中央部とで参照範囲から抽出する画素を変更してもよい。
【００７２】
また、実施形態にかかる撮像装置は、さらに好ましくはエッジ検出部が、複数の予備撮像の画像信号からハイパスフィルタ処理の結果に基づいてエッジの強度を検出し、ノイズ低減部は、エッジの強度により注目画素の参照範囲から抽出する画素を変更してノイズ低減処理を行うものである。
これにより、エッジの信号強度に応じて参照範囲から抽出する画素デ−タの大きさ（Ｎ×α）を変更することができる。ハイパスフィルタ処理の結果に基づいてエッジ検出とすることで、正確かつ迅速なエッジ検出処理とすることが可能となる。
【００７３】
また、実施形態にかかる撮像装置は、撮像素子によって撮像した画像信号中に含まれるノイズを低減するノイズ低減部を備える撮像装置であって、撮像装置は、さらに第一の撮像と、第一の撮像と時間的に連続する第二の撮像と、を行う撮像制御部と、第二の撮像の画像信号からノイズとエッジの分別を行いエッジの位置又は／及び強度を検出するエッジ検出部とを備え、ノイズ低減部は、検出したエッジの位置又は／及び強度と、第一の撮像における注目画素との位置関係又は／及び検出したエッジ強度により、注目画素に対するノイズ低減処理を変更するものである。
【００７４】
これにより、時間的に連続する第一と第二の撮像によって、第一の撮像のエッジ位置として、第二の撮像の画像処理によるエッジの位置情報を適用することができる。また、ノイズ低減は、エッジの位置と注目画素の位置関係及又は／及びエッジ強度に応じて、ノイズ低減処理内容を変更することができる。
また、実施形態にかかる画像処理装置は、撮像素子によって撮像された画像信号中に含まれるノイズ成分を低減する画像処理装置であって、撮像と連続して撮像された複数の予備撮像による画像信号に基づいて、撮像された画像信号中のエッジを検出するエッジ検出部と、検出したエッジに基づいてノイズ成分を低減するノイズ低減部を備えるものである。
【００７５】
この画像処理装置は、予備画像デ−タと本画像デ−タとの入力に基づいて、予備画像デ−タからエッジ情報の抽出をし、そのエッジ情報に基づいて本画像デ−タに画素ごとにノイズ低減処理を変えて、施すことができる。なお、これらの処理については、撮像装置の説明と重複するので省略する。
また、検出したエッジの情報は、その強度や大きさ、範囲の広さ（広がり画素数）、分布、個数、色情報、総画素数等であってもよい。また、予備撮像の画角や構図が本撮像のそれと微妙に異なる場合、そのズレを修正して比較するようにしてもよい。
【００７６】
また、時間的に連続して撮像した複数の画像信号のうち、いずれを予備撮像としていずれを本撮像としてもよい。すなわち、これらの複数の撮像にかかる画像信号から、例えば最もノイズの少ないと推定される画像信号を本撮像とし、他を予備撮像として、本撮像に対してノイズ低減処理を施すようにしてもよい。
また、実施形態にかかる画像処理装置は、好ましくはノイズ低減部が、画像信号中の注目画素ごとに、注目画素の位置とエッジの位置との比較に基づき、注目画素のノイズの低減処理を変更するものである。
【００７７】
これにより、注目画素とエッジが存在する画素の相対位置関係を、明確に認識できる。従って、相対位置関係によってエッジからの影響の大小を推定したり、ノイズであるかどうかの判断に重み付けをしてもよい。画素個々毎に、ノイズ低減処理を変更できるので、より適切なノイズ低減処理が可能となる。また、画素ごとのノイズ低減処理は、エッジ位置との相対位置関係により、適切にかつきめ細かく画素個々に決定することも可能となる。
【００７８】
また、実施形態にかかる画像処理装置は、好ましくはエッジ検出部が、複数の予備撮像による画像信号を加算して得られた加算信号と、所定の信号閾値とを比較し、所定の信号閾値を超える画素領域をエッジとして検出するものである。
これにより、加算信号に基づくエッジ判定を行える。すなわち、スパイクノイズやランダムノイズは、局所的に不定期かつ不定箇所に発生すると考えられるところ、加算信号により、真にエッジとなる箇所は強調され、ノイズ部分は相対的に弱い信号となる。従って、正確にエッジ部分を捉えることが可能となる。
【００７９】
なお、演算部１１が、適正露出値の１／ｎの露出値または感度の設定をし、撮像部１１にｎ回連続して撮像させるように制御することとしてもよい。そして、その結果得られたｎ枚の画像デ−タを各画素枚に加算することにより、本撮像の画像デ−タを得ることにしてもよい。この場合、ｎ枚の画像デ−タの全部又は一部から予備撮像の画像デ−タを選択することとしてもよい。なお、予備撮像の露出時間は、画像中のエッジ位置やエッジ強度を特定できるのであれば、本撮像の露出時間の１／ｎであってもよい。
【００８０】
また、予備撮像については、本撮像の前であっても後であってもよい。すなわち、本撮像と時間的に連続し、かつ、実質的に同じ位置を撮像するものであればよい。言い換えると、予備撮像画像は、本撮像のノイズとエッジの分別処理に利用できればよいのであって、この限りにおいて、一連一体的な実質的同一画像と認められるものであればよい。
このことから、時間的連続とは、可能な限り短い時間間隔で連続することが好ましい。しかし、物理的にも技術的にも、連続撮像の時間間隔には限界があるところ、上述の処理が行えるよう、本撮像と実質的同一の予備撮像であれば問題はない。また、一眼レフタイプのカメラにおいては、測光用のＣＣＤ等によって、すなわち本撮像とは異なる撮像素子によって、予備撮像を行うように構成してもよい。
【００８１】
さらに、本撮像と同一の撮像環境を忠実に再現できる同一対象の撮像においては、時間的に連続する一体的撮像である必要はない。同じ対象について、同じ照明等の撮像環境を時を変えて同一に再現できれば、本撮像と異なる時に撮像された予備撮像の画像信号に基づいてエッジとノイズを判定して画像処理してもよい。
また、実施形態にかかる画像処理装置は、好ましくは撮像素子によって第一の撮像がされた第一の画像信号中に含まれるノイズ成分を低減するノイズ低減部を備える画像処理装置であって、画像処理装置は、さらに第一の撮像と時間的に連続する第二の撮像による第二の画像信号からノイズとエッジの分別を行い、エッジの位置又は／及び強度を検出するエッジ検出部を備え、ノイズ低減部は、検出した第二の撮像におけるエッジの位置又は／及び強度と、第一の撮像における注目画素との位置関係又は／及び検出したエッジ強度により、注目画素に対するノイズ低減処理を変更するものである。
【００８２】
これにより、時間的に連続する第一と第二の撮像によって、第一の撮像のノイズとエッジの分別処理を、第二の撮像の画像処理によるノイズとエッジの分別処理から推定することができる。また、ノイズ低減は、エッジの位置と注目画素の位置関係及又は／及びエッジ強度に応じて、ノイズ低減処理内容を変更することができる。
また、実施形態にかかる画像処理装置は、好ましくは第一の画像信号が、記憶部から読み出された画像信号である。
【産業上の利用可能性】
【００８３】
本発明は、電子スチルカメラやニコンキャプチャ−に代表される画像処理装置やその処理プログラムに適用可能である。また、特にディジタル一眼レフカメラやディジタルコンパクトカメラを典型例とする電子撮像機器に適用できる。
【図面の簡単な説明】
【００８４】
【図１】本発明のカメラシステムの構成
【図２】予備撮像のフロ−概念図
【図３】窓関数
【図４】本撮像のフロ−概念図
【図５】エッジ抽出の一次元概念図
【図６】エッジ抽出の一次元概念図
【図７】エッジ抽出の一次元概念図
【図８】エッジ抽出の一次元概念図
【図９】ノイズのない原画像デ−タ
【図１０】ランダムノイズが重畳された本画像信号
【図１１】ランダムノイズが重畳された本画像信号
【図１２】ランダムノイズが重畳された本画像信号
【図１３】ランダムノイズが重畳された本画像信号
【図１４】画素ごとの判定結果
【図１５】ノイズ低減処理済みの画像デ−タ結果
【図１６】ノイズ低減処理済みの画像デ−タ結果
【図１７】ノイズ低減処理済みの画像デ−タ結果
【図１８】処理結果比較表
【図１９】ディジタルカメラの構成概念図
【図２０】注目画素とエッジとの位置関係におけるノイズ低減処理模式図
【符号の説明】
【００８５】
１・・カメラシステム、１０・・撮像部、１１・・演算部、１２・・表示部、１３・・外部インタ−フェ−ス部、１４・・記憶部、１５・・画像処理部、１６・・ノイズ低減部、１７・・プログラムメモリ、１８・・ワ−クメモリ、１９・・記録メモリ、１ａ・・エッジ検出部、１ｂ・・予備撮像制御部
【図１】
2008199164.tif 000003
【図２】
2008199164.tif 000004
【図３】
2008199164.tif 000005
【図４】
2008199164.tif 000006
【図５】
2008199164.tif 000007
【図６】
2008199164.tif 000008
【図７】
2008199164.tif 000009
【図８】
2008199164.tif 000010
【図９】
2008199164.tif 000011
【図１０】
2008199164.tif 000012
【図１１】
2008199164.tif 000013
【図１２】
2008199164.tif 000014
【図１３】
2008199164.tif 000015
【図１４】
2008199164.tif 000016
【図１５】
2008199164.tif 000017
【図１６】
2008199164.tif 000018
【図１７】
2008199164.tif 000019
【図１８】
2008199164.tif 000020
【図１９】
2008199164.tif 000021
【図２０】
2008199164.tif 000022