(57)【要約】ＣＣＤ（１０２）からの信号を処理する撮像システムにおいて、ＣＣＤ（１０２）からの信号に対してノイズ低減処理を行うノイズ低減部（１１１）と、ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出部（１１３）と、エッジ方向に基づきＣＣＤ（１０２）からの信号に対してエッジ成分を抽出するエッジ抽出部（１１４）とを備えている。
2007077730.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの信号を処理する撮像システムにおいて、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、
上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手段と、
上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする撮像システム。
【請求項２】
撮像素子からの信号を処理する撮像システムにおいて、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、
上記ノイズ処理手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、
上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする撮像システム。
【請求項３】
カラー撮像素子からの信号を処理する撮像システムにおいて、
上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、
上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、
上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手段と、
上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする撮像システム。
【請求項４】
カラー撮像素子からの信号を処理する撮像システムにおいて、
上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、
上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、
上記ノイズ処理手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、
上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする撮像システム。
【請求項５】
上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項１または２に記載の撮像システム。
【請求項６】
上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた輝度信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項７】
上記エッジ強調手段は、
上記検出されたエッジ方向に基づき上記エッジ成分を補正する補正手段を有することを特徴とする請求項５または請求項６に記載の撮像システム。
【請求項８】
上記ノイズ処理手段は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項９】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項１０】
上記ノイズ処理手段は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
上記注目画素から第１のノイズ量を推定する第１のノイズ推定手段と、
上記注目画素および上記第１のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、
上記注目画素および上記類似画素から第２のノイズ量を推定する第２のノイズ推定手段と、
上記第２のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項１１】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された輝度信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
上記注目画素から第１のノイズ量を推定する第１のノイズ推定手段と、
上記注目画素および上記第１のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、
上記注目画素および上記類似画素から第２のノイズ量を推定する第２のノイズ推定手段と、
上記第２のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有することを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項１２】
上記ノイズ処理手段は、
上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有することを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項１３】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された輝度信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有することを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項１４】
上記ノイズ推定手段は、
上記撮像素子の温度値および上記撮像素子からの信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記注目領域から平均値を算出する平均算出手段と、
上記収集手段または上記付与手段からの情報および上記平均値に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項８に記載の撮像システム。
【請求項１５】
上記ノイズ推定手段は、
上記カラー撮像素子の温度値および上記輝度信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記注目領域から平均値を算出する平均算出手段と、
上記収集手段または上記付与手段からの情報および上記平均値に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項９に記載の撮像システム。
【請求項１６】
上記第１のノイズ推定手段は、
上記撮像素子の温度値および上記撮像素子からの信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報および上記注目画素に基づき第１のノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項１０に記載の撮像システム。
【請求項１７】
上記第２のノイズ推定手段は、
上記撮像素子の温度値および上記撮像素子からの信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記注目画素および上記類似画素から平均値を算出する平均算出手段と、
上記収集手段または上記付与手段からの情報および上記平均値に基づき第２のノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項１０に記載の撮像システム。
【請求項１８】
上記第１のノイズ推定手段は、
上記カラー撮像素子の温度値および上記輝度信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報および上記注目画素に基づき第１のノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項１１に記載の撮像システム。
【請求項１９】
上記第２のノイズ推定手段は、
上記カラー撮像素子の温度値および上記輝度信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記注目画素および上記類似画素から平均値を算出する平均算出手段と、
上記収集手段または上記付与手段からの情報および上記平均値に基づき第２のノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項１１に記載の撮像システム。
【請求項２０】
上記ノイズ推定手段は、
上記撮像素子の温度値および上記撮像素子からの信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報および上記０次成分に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項１２に記載の撮像システム。
【請求項２１】
上記ノイズ推定手段は、
上記カラー撮像素子の温度値および上記輝度信号に対するゲインに関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報および上記０次成分に基づきノイズ量を求めるノイズ量算出手段とを有することを特徴とする請求項１３に記載の撮像システム。
【請求項２２】
上記エッジ方向検出手段は、
上記ノイズ低減処理された信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、
上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項１に記載の撮像システム。
【請求項２３】
上記エッジ方向検出手段は、
上記ノイズ低減処理された輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、
上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項３に記載の撮像システム。
【請求項２４】
上記エッジ強度選択手段は、
上記ノイズ処理手段からのノイズ量に基づき上記閾値を設定する閾値設定手段を有することを特徴とする請求項２２または請求項２３に記載の撮像システム。
【請求項２５】
上記エッジ方向検出手段は、
上記ノイズ低減処理された信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度から所定の微小変動を除去するための除去手段と、
上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項１に記載の撮像システム。
【請求項２６】
上記エッジ方向検出手段は、
上記ノイズ低減処理された輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度から所定の微小変動を除去するための除去手段と、
上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項３に記載の撮像システム。
【請求項２７】
上記エッジ方向検出手段は、
上記ノイズ低減処理された信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項１に記載の撮像システム。
【請求項２８】
上記エッジ方向検出手段は、
上記ノイズ低減処理された輝度信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段とを有することを特徴とする請求項３に記載の撮像システム。
【請求項２９】
上記ノイズ処理手段は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ推定手段においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項２に記載の撮像システム。
【請求項３０】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ推定手段においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項４に記載の撮像システム。
【請求項３１】
上記ノイズ処理手段は、
上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ処理手段においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項２に記載の撮像システム。
【請求項３２】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された輝度信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ処理手段においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項４に記載の撮像システム。
【請求項３３】
上記エッジ方向決定手段は、
特定のエッジ方向が決定できなかった場合に、上記エッジ抽出手段の処理を停止させる停止信号を発生させる、停止信号発生手段を有することを特徴とする請求項２２、請求項２３、請求項２５、請求項２６、請求項２７、請求項２８、請求項２９、請求項３０、請求項３１、請求項３２の何れか一に記載の撮像システム。
【請求項３４】
上記エッジ方向決定手段は、
複数のエッジ方向が検出された場合に、上記エッジ抽出手段に等方的なエッジ抽出処理を行わせる制御信号を発生させる、等方処理信号発生手段を有することを特徴とする請求項請求項２２、請求項２３、請求項２５、請求項２６、請求項２７、請求項２８、請求項２９、請求項３０、請求項３１、請求項３２の何れか一に記載の撮像システム。
【請求項３５】
上記カラー撮像素子は、
Ｒ（赤），Ｇ（緑），Ｂ（青）Ｂａｙｅｒ型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項３６】
上記Ｙ／Ｃ分離手段は、
輝度信号および色信号を分離する前に上記カラー撮像素子の信号を補間処理する補間手段を更に有することを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項３７】
上記Ｙ／Ｃ分離手段は、
輝度信号および色信号を分離した後に上記輝度信号および色信号を補間処理する補間手段を更に有することを特徴とする請求項３または請求項４に記載の撮像システム。
【請求項３８】
コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、
上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手順と、
上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、を実行させるための画像処理プログラム。
【請求項３９】
コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、
上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、
上記検出されたエッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、
を実行させるための画像処理プログラム。
【請求項４０】
コンピュータに、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、
上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、
上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、
上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手順と、
上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順と、
を実行させるための画像処理プログラム。
【請求項４１】
コンピュータに、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、
上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、
上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、
上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、
上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順と、
を実行させるための画像処理プログラム。
【請求項４２】
上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた信号に対してエッジ強調を行う手順を更に有することを特徴とする請求項３８または請求項３９に記載の画像処理プログラム。
【請求項４３】
上記抽出されたエッジ成分に基づき、ノイズ低減処理がなされた輝度信号に対してエッジ強調を行う手順を更に有することを特徴とする請求項４０または請求項４１に記載の画像処理プログラム。
【請求項４４】
上記エッジ強調を行う手順は、
上記検出されたエッジ方向に基づき、上記エッジ成分を補正する手順を有し、該エッジ成分を補正する手順によって補正されたエッジ成分を用いて上記エッジ強調を行うことを特徴とする請求項４２または請求項４３に記載の画像処理プログラム。
【請求項４５】
上記エッジ方向検出手順は、
上記ノイズ低減処理された信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手順と、
上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手順と、
上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、
を有することを特徴とする請求項３８に記載の画像処理プログラム。
【請求項４６】
上記エッジ方向検出手順は、
上記ノイズ低減処理された輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手順と、
上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手順と、
上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、
を有することを特徴とする請求項４０に記載の画像処理プログラム。
【請求項４７】
上記エッジ強度選択手順は、
上記ノイズ処理手順からのノイズ量に基づき上記閾値を設定する閾値設定手順を有することを特徴とする請求項４５または請求項４６に記載の画像処理プログラム。
【請求項４８】
上記エッジ方向検出手順は、
上記ノイズ低減処理された信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手順と、
上記エッジ強度から所定の微小変動を除去するための除去手順と、
上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、
を有することを特徴とする請求項３８に記載の画像処理プログラム。
【請求項４９】
上記エッジ方向検出手順は、
上記ノイズ低減処理された輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手順と、
上記エッジ強度から所定の微小変動を除去するための除去手順と、
上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、
を有することを特徴とする請求項４０に記載の画像処理プログラム。
【請求項５０】
上記エッジ方向検出手順は、
上記ノイズ低減処理された信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手順と、
上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、
を有することを特徴とする請求項３８に記載の画像処理プログラム。
【請求項５１】
上記エッジ方向検出手順は、
上記ノイズ低減処理された輝度信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手順と、
上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手順と、
を有することを特徴とする請求項４０に記載の画像処理プログラム。
【請求項５２】
上記ノイズ処理手順は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手順と、
上記注目領域からノイズ量を推定するノイズ推定手順と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手順とを有し、
上記エッジ方向検出手順は、
上記ノイズ推定手順においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項３９に記載の画像処理プログラム。
【請求項５３】
上記ノイズ処理手順は、
上記Ｙ／Ｃ分離手順により分離された輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手順と、
上記注目領域からノイズ量を推定するノイズ推定手順と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手順とを有し、
上記エッジ方向検出手順は、
上記ノイズ推定手順においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項４１に記載の画像処理プログラム。
【請求項５４】
上記ノイズ処理手順は、
上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手順と、
上記ブロック領域を周波数空間に変換する変換手順と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手順と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手順と、
上記０次成分および上記ノイズ低減手順で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手順とを有し、
上記エッジ方向検出手順は、
上記ノイズ処理手順においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項３９に記載の画像処理プログラム。
【請求項５５】
上記ノイズ処理手順は、
上記Ｙ／Ｃ分離手順により分離された輝度信号から所定サイズのブロック領域を抽出するブロック抽出手順と、
上記ブロック領域を周波数空間に変換する変換手順と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手順と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手順と、
上記０次成分および上記ノイズ低減手順で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手順とを有し、
上記エッジ方向検出手順は、
上記ノイズ処理手順においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手順を有することを特徴とする請求項４１に記載の画像処理プログラム。
【請求項５６】
上記エッジ方向決定手順は、
特定のエッジ方向が決定できなかった場合に上記エッジ成分を抽出する手順の処理を停止させる停止信号を発生させる停止信号発生手順を有することを特徴とする請求項４５、請求項４６、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２、請求項５３、請求項５４、請求項５５の何れか一に記載の画像処理プログラム。
【請求項５７】
上記エッジ方向決定手順は、
複数のエッジ方向が検出された場合に上記エッジ成分を抽出する手順に等方的なエッジ抽出処理を行わせる制御信号を発生させる等方処理信号発生手順を有することを特徴とする請求項４５、請求項４６、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２、請求項５３、請求項５４、請求項５５の何れか一に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの信号に対してエッジ成分を抽出する撮像システム、画像処理プログラムに関する。
【背景技術】
【０００２】
撮像素子からの信号に対しエッジ成分を抽出する処理には、ラプラシアンのような単一フィルタ処理によるものと、方向別の複数フィルタ処理によるものとに大別できる。後者の例としては、例えば特公平６−９０７２４号公報に示されるように、４方向の矩形領域中で平滑化信号との差が最大となる矩形領域を選択することで方向別のアンシャープマスク処理を行う手法が開示されている。これにより、ゴミなどの点状欠陥の影響を抑制し、より高精度なエッジ成分の抽出が可能となる。また、特許第３２８９４３５号公報ではステップエッジ、インパルス信号、ノイズなどから重み係数を算出し、これからエッジ信号を補正する手法が開示されている。これにより、エッジ信号を成形し、より高精度なエッジ成分の抽出が可能となる。さらに、特開２０００−３０６０８９号公報では、信号をウェーブレットやラプラシアンピラミッドなどで周波数分解し、低周波成分のベクトル情報から高周波成分を補正する手法が開示されている。これにより、エッジ信号を成形すると共にノイズ成分を抑制し、高精細な信号を得ることが可能となる。【０００３】
特公平６−９０７２４号公報では、ゴミなどの輝度差が大きい点状のノイズに対しては識別することができる。しかし、撮像素子に起因するランダムノイズのように等方的に発生するノイズや輝度差の小さい微弱なノイズを識別することには対応できず、多様なノイズに対して安定的にエッジ成分を抽出できないという課題がある。また、特許第３２８９４３５号公報ではノイズが多い場合は小さい重み係数を生成することでノイズの影響を抑制することができる。しかし、ノイズ成分自体は残留するために、強いエッジ強調を行うことには対応できず、絵作りに対する自由度が少ないという課題がある。さらに、特開２０００−３０６０８９号公報では補正のためのベクトル情報を低周波の信号から得ている。ベクトル情報の解像度はウェーブレットやラプラシアンピラミッドの分解レベルに依存するが、一回分解すると１／２に、二回分解すると１／４になる。このために、原信号の解像度でエッジ信号を成形することには対応できず、画素単位の高精細なエッジ成分を生成できないという課題がある。【０００４】
本発明は上記事情に鑑みてなされたものであり、ノイズ低減処理とエッジ抽出処理を組み合わせることで、ノイズが混在する信号に対しても高精度なエッジ成分の抽出が可能な撮像システム、画像処理プログラムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００５】
（１）上記目的を達成するために、第１の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。【０００６】
この発明の適用例は、図１〜図２７に示される第１の実施形態に記載されている。上記構成のノイズ処理手段は図１，図３，図７，図２５に示される抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１が、エッジ方向検出手段は図１，図８，図９，図２５に示されるエッジ方向検出部１１３が、エッジ抽出手段は図１，図２５に示されるエッジ抽出部１１４がそれぞれ該当する。【０００７】
この発明の好ましい適用例は、抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１によってノイズ低減処理を行い、エッジ方向検出部１１３によってノイズ低減処理後の信号からエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。【０００８】
第１の発明による撮像システムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。【０００９】
（２）また、第２の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。【００１０】
この発明の適用例は、図２８〜図３７に示される第２の実施形態および図３８〜図４７に示される第３の実施形態に記載されている。上記構成のノイズ処理手段は図２８，図３１，図３２に示される抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１および図３８，図４１，図４２に示される抽出部１０９，ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３が、エッジ方向検出手段は図２８，図３３に示されるエッジ方向検出部７０２および図３８，図４３に示されるエッジ方向検出部１１０４が、エッジ抽出手段は図２８，図３８に示されるエッジ抽出部１１４がそれぞれ該当する。【００１１】
この発明の好ましい適用例は、抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１または抽出部１０９，ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３によってノイズ低減処理を行い、エッジ方向検出部７０２またはエッジ方向検出部１１０４によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。【００１２】
第２の発明による撮像システムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。さらに、ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【００１３】
（３）また、第３の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。【００１４】
この発明の適用例は、図４８〜図５１に示される第４の実施形態および図５２〜図７２に示される第５の実施形態に記載されている。前記構成のＹ／Ｃ分離手段は図４８に示されるＹ／Ｃ分離部１５０３および図５２に示されるＹ／Ｃ分離部１６０２が、ノイズ処理手段は図４８，図５２に示される抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１が、エッジ方向検出手段は図４８，図５２に示されるエッジ方向検出部１１３が、エッジ抽出手段は図４８，図５２に示されるエッジ抽出部１１４がそれぞれ該当する。【００１５】
この発明の好ましい適用例は、Ｙ／Ｃ分離部１５０３またはＹ／Ｃ分離部１６０２によって信号を輝度信号と色信号に分離し、抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１によって輝度信号にノイズ低減処理を行い、エッジ方向検出部１１３によってノイズ低減処理後の輝度信号からエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。【００１６】
第３の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。【００１７】
（４）また、第４の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。【００１８】
この発明の適用例は、図７３に示される第６の実施形態に記載されている。上記構成のＹ／Ｃ分離手段は図７３に示されるＹ／Ｃ分離部１７０３が、ノイズ処理手段は図７３に示される抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１が、エッジ方向検出手段は図７３に示されるエッジ方向検出部７０２が、エッジ抽出手段は図７３に示されるエッジ抽出部１１４がそれぞれ該当する。【００１９】
この発明の好ましい適用例は、Ｙ／Ｃ分離部１７０３によって信号を輝度信号と色信号に分離し、抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１によって輝度信号にノイズ低減処理を行い、エッジ方向検出部７０２によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。【００２０】
第４の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。さらにノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【００２１】
（５）また、第５の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。【００２２】
この発明の適用例は、図２６、図２７に示される第１の実施形態に記載されている。前記構成のノイズ処理手順は図２６、図２７に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図２６に示されるステップＳ１０の手順が、エッジ抽出手順は図２６に示されるステップＳ１１の手順がそれぞれ該当する。【００２３】
第５の発明による画像処理プログラムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。【００２４】
（６）また、第６の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。【００２５】
この発明の適用例は、図３６、図３７に示される第２の実施形態および図４５、図４６、図４７に示される第３の実施形態に記載されている。前記構成のノイズ処理手順は図３６、図３７に示されるステップＳ２からステップＳ７までの手順および図４５、図４６に示されるステップＳ５１からステップＳ５６までの手順が、エッジ方向検出手順は図３６に示されるステップＳ１０の手順および図４５、図４７に示されるステップＳ５７が、エッジ抽出手順は図３６に示されるステップＳ３３の手順および図４５に示されるステップＳ１１がそれぞれ該当する。【００２６】
第６の発明による画像処理プログラムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。【００２７】
（７）また、第７の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。【００２８】
この発明の適用例は、図５１に示される第４の実施形態に記載されている。上記構成のＹ／Ｃ分離手順は図５１に示されるステップＳ９１が、ノイズ処理手順は図５１に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図５１に示されるステップＳ１０の手順が、エッジ抽出手順は図５１に示されるステップＳ１１の手順がそれぞれ該当する。【００２９】
第７の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。【００３０】
（８）また、第８の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。【００３１】
この発明の適用例は、図３６、図３７に示される第２の実施形態を、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムに適用させたものが対応する。前記構成のノイズ処理手順は図３６、図３７に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図３６に示されるステップＳ１０の手順が、エッジ抽出手順は図３６に示されるステップＳ３３の手順がそれぞれ該当する。【００３２】
第８の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
【図面の簡単な説明】
【００３３】
【図１】第１の実施形態の構成を示すブロック図。
【図２】注目画素および注目領域に関する説明図。
【図３】ノイズ推定部の構成を示すブロック図。
【図４】ノイズ量の推定に関する説明図であって、信号レベルに対する輝度ノイズ量の関係を示す図。
【図５】ノイズ量の推定に関する説明図であって、ノイズモデルの簡略化を示す図。
【図６】ノイズ量の推定に関する説明図であって、簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図。
【図７】ノイズ低減部の構成を示すブロック図。
【図８】エッジ方向検出部の構成を示すブロック図。
【図９】エッジ方向検出部の別形態の構成を示すブロック図。
【図１０】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、注目画素およびその処理領域を示す図。
【図１１】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、エッジ抽出される画素位置を示す図。
【図１２】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、０°のエッジ抽出フィルタを示す図。
【図１３】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、４５°のエッジ抽出フィルタを示す図。
【図１４】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、９０°のエッジ抽出フィルタを示す図。
【図１５】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、１３５°のエッジ抽出フィルタを示す図。
【図１６】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、１８０°のエッジ抽出フィルタを示す図。
【図１７】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、２２５°のエッジ抽出フィルタを示す図。
【図１８】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、２７０°のエッジ抽出フィルタを示す図。
【図１９】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、３１５°のエッジ抽出フィルタを示す図。
【図２０】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、等方性エッジ抽出フィルタを示す図。
【図２１】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタの説明図。
【図２２】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタの説明図。
【図２３】エッジ補正部のエッジ補正に関する説明図であって、８方向のエッジ整形による説明図。
【図２４】エッジ補正部のエッジ補正に関する説明図であって、４方向のエッジ整形による説明図。
【図２５】第１の実施形態の別形態の構成を示すブロック図。
【図２６】第１の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。
【図２７】第１の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。
【図２８】第２の実施形態の構成を示すブロック図。
【図２９】注目画素および注目領域に関する説明図であって、注目画素およびその近傍領域を示す図。
【図３０】注目画素および注目領域に関する説明図であって、注目画素および抽出された類似画素を示す図。
【図３１】抽出部の構成を示すブロック図。
【図３２】ノイズ推定部の構成を示すブロック図。
【図３３】エッジ方向検出部の構成を示すブロック図。
【図３４】エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタを示す図。
【図３５】エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタを示す図。
【図３６】第２の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。
【図３７】第２の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。
【図３８】第３の実施形態の構成を示すブロック図。
【図３９】ＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、実空間を示す図。
【図４０】ＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、周波数空間を示す図。
【図４１】ノイズ推定部の構成を示すブロック図。
【図４２】ノイズ低減部の構成を示すブロック図。
【図４３】エッジ方向検出部の構成を示すブロック図。
【図４４】エッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図。
【図４５】第３の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。
【図４６】第３の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。
【図４７】第３の実施形態における信号処理の流れを示すフローチャートであって、エッジ方向検出処理のフローチャート。
【図４８】第４の実施形態の構成を示すブロック図。
【図４９】カラーフィルタに関する説明図であって、Ｂａｙｅｒ型原色フィルタを示す図。
【図５０】カラーフィルタに関する説明図であって、色差線順次型補色フィルタを示す図。
【図５１】第４の実施形態における信号処理の流れを示したフローチャート。
【図５２】第５の実施形態の構成を示すブロック図。
【図５３】Ｙ／Ｃ分離に関する説明図であって、Ｂａｙｅｒ型原色フィルタを示す図。
【図５４】Ｙ／Ｃ分離に関する説明図であって、輝度信号を示す図。
【図５５】Ｙ／Ｃ分離に関する説明図であって、Ｒ（赤）の色差信号を示す図。
【図５６】Ｙ／Ｃ分離に関する説明図であって、Ｂ（青）の色差信号を示す図。
【図５７】エッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図５８】エッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図５９】エッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６０】エッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６１】エッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６２】エッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６３】エッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６４】エッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６５】エッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６６】エッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６７】エッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６８】エッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６９】エッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図７０】エッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図７１】エッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図７２】エッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図７３】第６の実施形態の構成を示すブロック図。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照して本発明の実施の形態について説明する。図１から図２７は本発明の第１の実施形態を示したものであり、図１は第１の実施形態の構成を示すブロック図、図２は注目画素および注目領域に関する説明図、図３はノイズ推定部の構成を示すブロック図、図４はノイズ量の推定に関する説明図であって信号レベルに対する輝度ノイズ量の関係を示す図、図５はノイズ量の推定に関する説明図であってノイズモデルの簡略化を示す図、図６はノイズ量の推定に関する説明図であって簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図、図７はノイズ低減部の構成を示すブロック図、図８はエッジ方向検出部の構成を示すブロック図、図９はエッジ方向検出部の別形態の構成を示すブロック図、図１０〜図２２はエッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、図１０は注目画素およびその処理領域を示す図、図１１はエッジ抽出される画素位置を示す図、図１２は０°のエッジ抽出フィルタを示す図、図１３は４５°のエッジ抽出フィルタを示す図、図１４は９０°のエッジ抽出フィルタを示す図、図１５は１３５°のエッジ抽出フィルタを示す図、図１６は１８０°のエッジ抽出フィルタを示す図、図１７は２２５°のエッジ抽出フィルタを示す図、図１８は２７０°のエッジ抽出フィルタを示す図、図１９は３１５°のエッジ抽出フィルタを示す図、図２０は等方性エッジ抽出フィルタを示す図、図２１は水平エッジ抽出フィルタの説明図、図２２は垂直エッジ抽出フィルタの説明図、図２３、図２４はエッジ補正部のエッジ補正に関する説明図であって、図２３は８方向のエッジ整形による説明図、図２４は４方向のエッジ整形による説明図、図２５は第１の実施形態の別形態の構成を示すブロック図、図２６、図２７は第１の実施形態における信号処理のフローチャートであって、図２６は全体処理のフローチャート、図２７はノイズ推定処理のフローチャートである。【００３５】
図１により、第１の実施形態の構成を説明する。図１は、本発明の第１実施形態に係る撮像システムの構成を示すブロック図である。レンズ系１００は被写体像を結像するためのものである。絞り１０１はこのレンズ系１００内に配置されていて、該レンズ系１００における光束の通過範囲を規定するためのものである。ＣＣＤ１０２は、このレンズ系１００を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。増幅器１０３は、このＣＣＤ１０２の出力を所定の増幅率（増幅量，ゲインともいう）に従って増幅するものである。Ａ／Ｄ変換器１０４は、このＣＣＤ１０２から出力され増幅器１０３で増幅されたアナログの映像信号をデジタル信号へ変換するものである。バッファ１０５は、このＡ／Ｄ変換器１０４から出力されたデジタルの映像信号を一時的に記憶するものである。Ａ／Ｄ変換器１０４からの信号は、バッファ１０５を介して抽出部１０９、エッジ抽出部１１４へ転送される。バッファ１０５は、測光評価部１０６、合焦点検出部１０７へも接続されている。測光評価部１０６は、上記バッファ１０５に記憶された映像信号に基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り１０１とＣＣＤ１０２と増幅器１０３との制御を行うものである。すなわち、該測光評価部１０６は、絞り１０１の絞り値と、ＣＣＤ１０２の電子シャッタ速度と、増幅器１０３のゲインと、を調整することにより、露出制御を行うようになっている。合焦点検出部１０７は、上記バッファ１０５に記憶された映像信号に基づき合焦点検出を行い、検出結果に基づき後述するＡＦモータ１０８を駆動するものである。ＡＦモータ１０８は、この合焦点検出部１０７により制御されて、上記レンズ系１００に含まれるフォーカスレンズ等の駆動を行い、上記ＣＣＤ１０２の撮像面上に被写体像が結像されるようにするものである。抽出部１０９は、抽出手段であって、上記バッファ１０５に記憶された映像信号から所定領域の映像信号を抽出して出力するものである。抽出部１０９からの信号は、ノイズ推定部１１０およびノイズ低減部１１１へ接続されている。【００３６】
ノイズ推定部１１０は、ノイズ推定手段であって、この抽出部１０９により抽出された所定領域の映像信号からノイズ量を推定するものである。推定されたノイズ量はノイズ低減部１１１へ転送される。ノイズ低減部１１１は、抽出部１０９で抽出された所定領域の映像信号に関して、ノイズ推定部１１０で推定されたノイズ量に基づきノイズ低減処理を行うものである。ノイズ低減処理後の映像信号はバッファ１１２へ転送される。バッファ１１２は、エッジ方向検出部１１３およびエッジ強調部１１６へ接続されている。エッジ方向検出部１１３は、エッジ方向検出手段であって、バッファ１１２に記憶されたノイズ低減処理後の映像信号からエッジの方向を検出するものである。検出されたエッジ方向は、エッジ抽出部１１４およびエッジ補正部１１５へ転送される。エッジ抽出部１１４は、エッジ抽出手段であって、上記エッジ方向検出部１１３により検出されたエッジ方向に関する情報を基に上記バッファ１０５に記憶された映像信号からエッジ成分を抽出するものである。抽出されたエッジ成分は、エッジ補正部１１５へ転送される。エッジ補正部１１５は、エッジ補正手段であって、上記エッジ方向検出部１１３により検出されたエッジ方向に関する情報を基に上記エッジ抽出部１１４から抽出されたエッジ成分を補正するものである。補正されたエッジ成分は、エッジ強調部１１６へ転送される。エッジ強調部１１６は、エッジ強調手段であって、上記エッジ補正部１１５で補正処理が施されたエッジ成分を用いて、上記バッファ１１２に記憶されたノイズ低減処理後の映像信号のエッジ強調処理を行うものである。エッジ強調処理がなされた映像信号は、信号処理部１１７へ転送される。信号処理部１１７は、信号処理手段であって、上記エッジ強調部１１６でエッジ強調処理が施された映像信号に対して、例えば公知の圧縮処理などの所望の信号処理を行うものである。信号処理がなされた映像信号は、出力部１１８へ転送される。出力部１１８は、出力手段であって、上記信号処理部１１７からの映像信号を例えばメモリカード等に記録するために出力するものである。制御手段に含まれる情報取得手段たる外部Ｉ／Ｆ部１２０は、電源スイッチ，シャッタボタン，動画／静止画の切り換えや圧縮率，画像サイズ，ＩＳＯ感度の設定などの撮影時の各種モードを設定するためのモードスイッチ等へのインターフェースを備えたものである。制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部１１９は、上記増幅器１０３、Ａ／Ｄ変換器１０４、測光評価部１０６、合焦点検出部１０７、抽出部１０９、ノイズ推定部１１０、ノイズ低減部１１１、エッジ方向検出部１１３、エッジ抽出部１１４、エッジ補正部１１５、エッジ強調部１１６、信号処理部１１７、出力部１１８、外部Ｉ／Ｆ部１２０と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。さらに、ＣＣＤ１０２の近傍に配置された温度センサー１２１からの信号も制御部１１９へ接続されている。【００３７】
次に、図１において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してＩＳＯ感度などの撮影条件を設定した後、不図示のシャッターボタンを半押しにすることでプリ撮像モードに入る。【００３８】
レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影された信号は、アナログ信号として出力される。【００３９】
なお、本実施形態においてＣＣＤ１０２は白黒用単板ＣＣＤを、出力される信号は輝度信号Ｙを想定する。上記アナログ信号は増幅器１０３によって所定量増幅され、Ａ／Ｄ変換器１０４によってデジタル信号へ変換されてバッファ１０５へ転送される。【００４０】
なお、本実施形態においてＡ／Ｄ変換器１０４は１２ｂｉｔ階調でデジタル信号へ変換するものと想定する。【００４１】
バッファ１０５内の映像信号は、測光評価部１０６および合焦点検出部１０７へ転送される。測光評価部１０６では、設定されたＩＳＯ感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるように絞り１０１やＣＣＤ１０２の電子シャッター速度や増幅器１０３のゲインなどを制御する。また、合焦点検出部１０７では信号中のエッジ強度を検出し、これが最大となるようにＡＦモータ１０８を制御することで合焦信号を得る。【００４２】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンからの全押し情報が入力されることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。本撮影は、測光評価部１０６によって求められた露光条件、合焦点検出部１０７によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部１１９へ転送される。バッファ１０５内の映像信号は抽出部１０９へ転送される。抽出部１０９は、制御部１１９の制御に基づき図２に示されるような注目画素Ｐ22を包含する３×３画素サイズの注目領域Ｐij（ｉ＝１〜３，ｊ＝１〜３）を順次抽出し、ノイズ推定部１１０およびノイズ低減部１１１へ転送する。【００４３】
なお、図２においては５×５画素サイズの領域を示しているが、これは後述するエッジ処理において５×５画素サイズの領域を要するためで、説明の便宜上５×５画素サイズを示している。【００４４】
また、以後の説明では注目画素をＰ22と想定するが、注目画素自体は全信号から順次抽出され、その座標位置も順次移動して行く。【００４５】
ノイズ推定部１１０は、制御部１１９の制御に基づき抽出部１０９からの注目領域および撮影時の情報に基づき注目画素Ｐ22のノイズ量Ｎ22を推定し、これをノイズ低減部１１１へ転送する。ノイズ低減部１１１は、制御部１１９の制御に基づき抽出部１０９からの注目画素Ｐ22に関して、ノイズ推定部１１０からのノイズ量Ｎ22に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素Ｐ'22およびそのノイズ量Ｎ22をバッファ１１２へ転送する。上記抽出部１０９、ノイズ推定部１１０、ノイズ低減部１１１における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。バッファ１１２には、ノイズ低減処理後の全信号およびそのノイズ量が記録されることになる。【００４６】
エッジ方向検出部１１３は、制御部１１９の制御に基づきバッファ１１２から図１０に示されるようなノイズ低減処理後の注目画素Ｐ'22およびこれを包含する５×５画素サイズの処理領域Ｐ'kl（ｋ＝０〜４，ｌ＝０〜４）を順次抽出する。その後、注目画素Ｐ'22およびその周囲８画素（Ｐ'11，Ｐ'21，Ｐ'31，Ｐ'12，Ｐ'32，Ｐ'13，Ｐ'23，Ｐ'33）のエッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）を検出し、エッジ抽出部１１４およびエッジ補正部１１５へ転送する。エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の原信号をバッファ１０５から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素（Ｐ'11，Ｐ'21，Ｐ'31，Ｐ'12，Ｐ'32，Ｐ'13，Ｐ'23，Ｐ'33）のエッジ成分（Ｅ22およびＥ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）を抽出し、エッジ補正部１１５へ転送する。【００４７】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、エッジ方向検出部１１３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、数式１に示すように所定の係数ｇ1を乗算した後に加算することでエッジ強調処理後の画素値Ｐ"22を求め、信号処理部１１７へ転送する。  
［数１］
Ｐ"22＝Ｐ'22＋ｇ1・Ｅ'22【００４８】
上記エッジ方向検出部１１３，エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき処理領域単位で同期して行われる。信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。【００４９】
図３はノイズ推定部１１０の構成の一例を示すものである。ノイズ推定部１１０は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６を備えている。抽出部１０９は、平均算出部２００へ接続している。平均算出部２００は、パラメータ選択部２０４へ接続している。ゲイン算出部２０１，標準値付与部２０２，パラメータ用ＲＯＭ２０３は、パラメータ選択部２０４へ接続している。パラメータ選択部２０４は、補間部２０５および補正部２０６へ接続している。補間部２０５は、補正部２０６を介してノイズ低減部１１１へ接続している。制御部１１９は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ選択部２０４，補間部２０５，補正部２０６へ双方向に接続されている。【００５０】
平均算出部２００は、制御部１１９の制御に基づき、抽出部１０９からノイズ低減処理を行う図２に示される注目領域（Ｐij，ｉ＝１〜３，ｊ＝１〜３）の平均値ＡＶ22を数式２に示すように算出して、パラメータ選択部２０４へ転送する。  
［数２］
ＡＶ22＝ΣＰij／９【００５１】
ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、パラメータ選択部２０４へ転送する。また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをパラメータ選択部２０４へ転送する。【００５２】
パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づき輝度ノイズ量を推定する。【００５３】
図４〜図６は、輝度ノイズ量の推定に関する説明図である。図４は、輝度値を信号レベルＬとした場合のノイズ量Ｎをプロットしたものであり、ノイズ量Ｎは信号レベルＬに対して２次曲線的に増加している。図４を２次関数でモデル化すると数式３が得られる。  
［数３］
Ｎ＝αＬ2＋βＬ＋γ
ここで、α，β，γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。【００５４】
図４は、一例としてある温度下においてゲインに関連する３種類のＩＳＯ感度１００，２００，４００に対するノイズ量をプロットしている。個々の曲線は数式３に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をｔ、ゲインをｇとし、上記を考慮した形でモデルの定式化を行うと数式４となる。  
［数４］
Ｎ＝αgtＬ2＋βgtＬ＋γgt
ここで、αgt，βgt，γgtは定数項である。ただし、数式４の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図５に示すようなモデルの簡略化を行う。【００５５】
図５においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルＬとノイズ量Ｎとを成分とする座標データ（Ｌn，Ｎn）で表す。ここで、ｎは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数ｋgtも用意される。補正係数ｋgtは、各ノイズモデルと基準ノイズモデルとの間に最小自乗法を適用することにより算出される。基準ノイズモデルからの他のノイズモデルの導出は、上記補正係数ｋgtを乗算することにより行われる。【００５６】
図６は、図５に示す簡易化されたノイズモデルからノイズ量を算出する方法を示している。例えば、与えられた信号レベルｌ、ゲインｇ、温度ｔに対応するノイズ量Ｎを求めることを想定する。まず、信号レベルｌが基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルｌが（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）間の区間に属するものとする。基準ノイズモデルにおける基準ノイズ量Ｎlを線形補間によって求める。  
［数５］
2007077730.tif 000003
次に、基準ノイズ量Ｎlに補正係数ｋgtを乗算することで、ノイズ量Ｎを求める。  
［数６］
Ｎ＝ｋgt・Ｎl【００５７】
パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値ＡＶ22から信号レベルｌを、ゲイン算出部２０１からのゲインの情報からゲインｇを、制御部１１９からの温度情報から温度ｔを設定する。次に、信号レベルｌが属する区間の座標データ（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）をパラメータ用ＲＯＭ２０３から探索し、信号レベルｌと共に補間部２０５へ転送する。さらに、補正係数ｋgtをパラメータ用ＲＯＭ２０３から探索し、これを補正部２０６へ転送する。【００５８】
補間部２０５は、制御部１１９の制御に基づきパラメータ選択部２０４からの信号レベルｌおよび区間の座標データ（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）から数式５に基づき基準ノイズモデルにおける基準ノイズ量Ｎlを算出し、補正部２０６へ転送する。【００５９】
補正部２０６は、制御部１１９の制御に基づきパラメータ選択部２０４からの補正係数ｋgtおよび補間部２０５からの基準ノイズ量Ｎlから数式６に基づきノイズ量Ｎを算出し、注目画素Ｐ22のノイズ量Ｎ22とする。推定されたノイズ量Ｎ22および平均値ＡＶ22はノイズ低減部１１１へ転送される。【００６０】
なお、上記ノイズ量算出の過程において、温度ｔ，ゲインｇなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部２０２に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。【００６１】
図７はノイズ低減部１１１の構成の一例を示すものである。ノイズ低減部１１１は、範囲設定部３００，切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３を備えている。ノイズ推定部１１０は範囲設定部３００へ、範囲設定部３００は切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３へ接続している。抽出部１０９は切り換え部３０１へ、切り換え部３０１は第１スムージング部３０２および第２スムージング部３０３へ接続している。第１スムージング部３０２および第２スムージング部３０３は、バッファ１１２へ接続している。制御部１１９は、範囲設定部３００，切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３と双方向に接続している。ノイズ推定部１１０は、注目領域の平均値ＡＶ22およびノイズ量Ｎ22を範囲設定部３００へ転送する。【００６２】
範囲設定部３００は、制御部１１９の制御に基づきノイズ量に関する許容範囲として上限Ｕｐおよび下限Ｌｏｗを数式７のように設定する。  
［数７］
Ｕｐ ＝ＡＶ22＋Ｎ22／２
Ｌｏｗ＝ＡＶ22−Ｎ22／２
上記許容範囲Ｕｐ，Ｌｏｗは、切り換え部３０１へ転送される。また、範囲設定部３００は平均値ＡＶ22およびノイズ量Ｎ22を第１スムージング部３０２および第２スムージング部３０３へ転送する。【００６３】
切り換え部３０１は、制御部１１９の制御に基づき抽出部１０９からの注目画素Ｐ22を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部３０１は、「ノイズ範囲に属している」場合は第１スムージング部３０２へ、それ以外は第２スムージング部３０３へ注目画素Ｐ22を転送する。第１スムージング部３０２は、切り換え部３０１からの注目画素Ｐ22に範囲設定部３００からの平均値ＡＶ22を代入する処理を行う。  
［数８］
Ｐ'22＝ＡＶ22
数式８でのノイズ低減処理がなされた注目画素Ｐ'22およびノイズ量Ｎ22はバッファ１１２へ転送される。【００６４】
第２スムージング部３０３は、切り換え部３０１からの注目画素Ｐ22に範囲設定部３００からの平均値ＡＶ22とノイズ量Ｎ22を用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は数式９のように補正する。  
［数９］
Ｐ'22＝ＡＶ22−Ｎ22／２
また、「ノイズ範囲を下回っている」場合は数式１０のように補正する。  
［数１０］
Ｐ'22＝ＡＶ22＋Ｎ22／２
数式９または数式１０のノイズ低減処理がなされた注目画素Ｐ'22およびノイズ量Ｎ22はバッファ１１２へ転送される。【００６５】
図８はエッジ方向検出部１１３の構成の一例を示すものである。エッジ方向検出部１１３は、閾値設定部４００，バッファ４０１，フィルタ処理部４０２，フィルタＲＯＭ４０３，バッファ４０４，エッジ選択部４０５，方向決定部４０６を備えている。バッファ１１２は閾値設定部４００およびフィルタ処理部４０２へ接続している。閾値設定部４００は、バッファ４０１を介してエッジ選択部４０５へ接続している。フィルタ処理部４０２は、バッファ４０４，エッジ選択部４０５，方向決定部４０６を介してエッジ抽出部１１４およびエッジ補正部１１５へ接続している。フィルタＲＯＭ４０３は、フィルタ処理部４０２へ接続している。制御部１１９は、閾値設定部４００，フィルタ処理部４０２，エッジ選択部４０５，方向決定部４０６と双方向に接続している。【００６６】
閾値設定部４００は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理がなされた注目画素Ｐ'22に対応するノイズ量Ｎ22を読み込み、所定の係数ｇ2、例えばｇ2＝２を乗算することでエッジ成分に対する閾値Ｔ22を数式１１に示すように算出する。  
［数１１］
Ｔ22＝ｇ2・Ｎ22【００６７】
なお、本実施形態では図１０に示される５×５画素サイズの処理領域Ｐ'kl（ｋ＝０〜４，ｌ＝０〜４）を想定しており、図１１に示される注目画素Ｐ'22およびその周囲８画素（Ｐ'11，Ｐ'21，Ｐ'31，Ｐ'12，Ｐ'32，Ｐ'13，Ｐ'23，Ｐ'33）の９画素に対して閾値（Ｔ22およびＴ11，Ｔ21，Ｔ31，Ｔ12，Ｔ32，Ｔ13，Ｔ23，Ｔ33）は算出される。算出された閾値はバッファ４０１へ転送される。【００６８】
フィルタ処理部４０２は、制御部１１９の制御に基づきバッファ１１２から図１０に示される５×５画素サイズの処理領域Ｐ'klを読み込み、注目画素Ｐ'22およびその周囲８画素の９画素に対して３×３サイズのフィルタ処理を行う。図１２〜図１９は、フィルタ処理に用いられる８方向（０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°）のフィルタ係数を示す。上記フィルタ係数は、フィルタＲＯＭ４０３に記録されており、必要に応じてフィルタ処理部４０２へ転送される。フィルタ処理部４０２は、図１１に示される９画素に対し８方向のフィルタ処理を行い、これを絶対値化することで計７２のエッジ成分を算出し、バッファ４０４へ転送する。【００６９】
エッジ選択部４０５は、制御部１１９の制御に基づきバッファ４０１から上記９画素に対する閾値を、バッファ４０４から上記９画素に対する８方向のエッジ成分を読み込む。この後、エッジ選択部４０５は、画素単位で上記閾値と８方向のエッジ成分を比較し、閾値以下のエッジ成分を省略し、閾値以上のエッジ成分を方向決定部４０６へ転送する。【００７０】
方向決定部４０６は、制御部１１９の制御に基づきエッジ選択部４０５から転送されるエッジ成分を９画素の画素単位で処理する。これは、転送されるエッジ成分をソートし、最大値と、最大値を与える方向と１８０°ずれた対角方向を除く２番目の最大値と、を検出し、両者の差が所定の閾値以上の場合には最大値を与える方向をエッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）とする。一方、最大値と２番目の最大値の差が所定の閾値以下の場合には、有効なエッジ方向が複数あると判断し、等方的なエッジ方向とする。また、エッジ選択部４０５から転送される８方向のエッジ成分がない場合、平坦な領域としてエッジ方向がないとする。上記「最大値を与える方向」が得られた場合は、この方向をエッジ抽出部１１４およびエッジ補正部１１５へ転送する。また、「等方的なエッジ方向」および「エッジ方向がない」の場合は、制御部１１９へその情報を転送する。【００７１】
制御部１１９は、エッジ抽出部１１４を制御し、「最大値を与える方向」が得られた場合は、図１２〜図１９に示されるその方向に対応するフィルタ係数によりエッジ成分の抽出を行わせる。一方、「等方的なエッジ方向」の場合は、図２０に示される等方的なフィルタ係数によりエッジ成分の抽出を行わせる。さらに、「エッジ方向がない」の場合には、エッジ抽出部１１４の処理を中止し、次の注目画素へ処理を移行させる。【００７２】
なお、上記実施形態ではエッジ方向を決定する上で８方向のフィルタ処理とノイズ量に基づく閾値を使用しているが、このような構成に限定される必要はない。例えば、図９に示されるように、水平，垂直の２方向フィルタ処理と固定的な閾値によるより簡略された構成も可能である。【００７３】
図９は、図８における閾値設定部４００，バッファ４０１を削除し、エッジ選択部４０５を変動除去部５００へ置換したもので、基本構成は図８に示すエッジ方向検出部１１３と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【００７４】
バッファ４０４は変動除去部５００へ、変動除去部５００は方向決定部４０６へ接続している。制御部１１９は、変動除去部５００と双方向に接続している。【００７５】
フィルタ処理部４０２は、図１１に示される９画素に対し水平，垂直の２方向のフィルタ処理を行い、これを絶対値化することで計１８のエッジ成分を算出し、バッファ４０４へ転送する。図２１，図２２は、水平，垂直の２方向のフィルタ係数を示す。上記フィルタ係数は、フィルタＲＯＭ４０３に記録されており、必要に応じてフィルタ処理部４０２へ転送される。【００７６】
変動除去部５００は、制御部１１９の制御に基づきバッファ４０４から上記９画素に対する２方向のエッジ成分を読み込む。この後、所定の下位ビット、本実施形態ではＡ／Ｄ変換器１０４を１２ｂｉｔ階調と想定しているため例えば下位４ｂｉｔを削除することで微小な変動成分を除去する。変動成分が除去された２方向のエッジ成分は、方向決定部４０６へ転送される。【００７７】
方向決定部４０６は、制御部１１９の制御に基づきエッジ選択部４０５から転送されるエッジ成分を９画素の画素単位で処理し、エッジ方向を算出する。数式１２は、注目画素Ｐ'22におけるエッジ方向の算出を示す。  
［数１２］
Ｄ22＝ｔａｎ-1（Ｅ９０22／Ｅ０22）
上記数式１２において、Ｅ０は水平方向のＥ９０は垂直方向のエッジ成分を意味する。数式１２の演算は、図１１に示される９画素に対し画素単位で行われる。【００７８】
なお、変動成分が除去された結果、水平，垂直の２方向ともエッジ成分が存在しない場合は「エッジ方向がない」として、制御部１１９へその情報を転送する。２方向の処理では、「等方的なエッジ方向」は検出されない。【００７９】
図２３、図２４は、エッジ補正部１１５におけるエッジ成分の補正に用いる周囲画素を示す。図２３の例では、注目画素Ｐ'22のエッジ方向Ｄ22に基づき周囲８方向にある画素の一つを選択し、そのエッジ成分をＥdとした場合に数式１３で算出する。  
［数１３］
Ｅ'22＝（Ｅ22＋Ｅd）／２
また、図２４の例では、注目画素Ｐ'22のエッジ方向Ｄ22に基づき周囲８方向にある画素の一つを選択し、そのエッジ成分をＥd、その対角方向にある画素のエッジ成分をＥdoとした場合に数式１４で算出する。  
［数１４］
Ｅ'22＝（２Ｅ22＋Ｅd＋Ｅdo）／４【００８０】
上記構成により、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。【００８１】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【００８２】
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。【００８３】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。【００８４】
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。【００８５】
また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。【００８６】
さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。【００８７】
なお、上記実施形態ではレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅器１０３，Ａ／Ｄ変換器１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサー１２１を含む撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。【００８８】
例えば、図２５に示されるように、別体の撮像部で撮像された映像信号を未処理のＲａｗデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。【００８９】
図２５は、図１に示す構成からレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅器１０３，Ａ／Ｄ変換器１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサー１２１を省略し、入力部６００，ヘッダ情報解析部６０１を追加した構成となっている。基本構成は図１と同様であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。【００９０】
入力部６００は、バッファ１０５およびヘッダ情報解析部６０１へ接続している。制御部１１９は、入力部６００，ヘッダ情報解析部６０１と双方向に接続している。マウス，キーボードなどの外部Ｉ／Ｆ部１２０を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部６００から読み込まれる。入力部６００からの信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部６０１へ転送される。ヘッダ情報解析部６０１は、ヘッダ情報から撮影時の情報を抽出して制御部１１９へ転送する。以後の処理は、図１と同様である。【００９１】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。【００９２】
図２６、図２７に、信号処理のソフトウェア処理に関するフローチャートを示す。【００９３】
処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込む（ステップＳ１）。【００９４】
次に、図２に示されるような注目画素および３×３画素サイズの注目領域を抽出する（ステップＳ２）。【００９５】
そして、別途説明するように、抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。【００９６】
続いて、注目画素に数式７に示される許容範囲を設定する（ステップＳ４）。【００９７】
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。【００９８】
ステップＳ５において注目画素が許容範囲内に属すると判断されると、数式８に示される処理を行う（ステップＳ６）。【００９９】
一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。【０１００】
上記ステップＳ６またはステップＳ７の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。【０１０１】
上記ステップＳ８で全注目領域の抽出が完了したと判断されると、次に図１０に示されるような注目画素および５×５画素サイズの処理領域を抽出する（ステップＳ９）。【０１０２】
続いて、図１１に示される９画素に関して図１２〜図１９に示される方向別の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。【０１０３】
さらに、ステップＳ１０からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する（ステップＳ１１）。【０１０４】
次にステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。【０１０５】
更に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。【０１０６】
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。【０１０７】
ステップＳ１４で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップＳ１５）。【０１０８】
その後、処理後の信号が出力され終了する（ステップＳ１６）。【０１０９】
図２７は、上記ステップＳ３におけるノイズ量の推定に関するフローチャートである。【０１１０】
まず、数式２に示される注目領域の平均値を算出する（ステップＳ２０）。【０１１１】
次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する（ステップＳ２１）。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。【０１１２】
更に、基準ノイズモデルの座標データおよび補正係数を読み込む（ステップＳ２２）。【０１１３】
続いて、数式５に示される補間処理によって基準ノイズ量を求める（ステップＳ２３）。【０１１４】
次に、数式６に示される補正処理によってノイズ量を求める（ステップＳ２４）。【０１１５】
最後に、算出されたノイズ量を出力して終了する（ステップＳ２５）。【０１１６】
このように、ハードウェアによる実行を前提としていた上述したような処理も、上記第１の実施形態と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することが可能となる。【０１１７】
図２８から図３７は本発明の第２の実施形態を示したものであり、図２８は第２の実施形態の構成を示すブロック図、図２９、図３０は注目画素および注目領域に関する説明図であって、図２９は注目画素およびその近傍領域を示す図、図３０は注目画素および抽出された類似画素を示す図、図３１は抽出部の構成を示すブロック図、図３２はノイズ推定部の構成を示すブロック図、図３３はエッジ方向検出部の構成を示すブロック図、図３４、図３５はエッジ方向検出部のエッジ抽出フィルタに関する説明図であって、図３４は水平エッジ抽出フィルタを示す図、図３５は垂直エッジ抽出フィルタを示す図、図３６、図３７は第２の実施形態における信号処理のフローチャートであって、図３６は全体処理のフローチャート、図３７はノイズ推定処理のフローチャートである。【０１１８】
図２８は、第２の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態における抽出部１０９，ノイズ推定部１１０，エッジ方向検出部１１３が、抽出部７００，ノイズ推定部７０１，エッジ方向検出部７０２に置換され、バッファ７０３が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０１１９】
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，抽出部７００，エッジ抽出部１１４へ接続されている。抽出部７００は、ノイズ推定部７０１およびノイズ低減部１１１へ接続されている。ノイズ推定部７０１は抽出部７００，ノイズ低減部１１１，エッジ方向検出部７０２へ接続されている。エッジ方向検出部７０２は、バッファ７０３を介して、エッジ抽出部１１４およびエッジ補正部１１５へ接続されている。制御部１１９は、抽出部７００，ノイズ推定部７０１，エッジ方向検出部７０２と双方向に接続されている。【０１２０】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。【０１２１】
図２８において、信号の流れを説明する。抽出部７００は、制御部１１９の制御に基づき図２９に示される注目画素Ｐ22を包含する５×５画素サイズの注目領域Ｐij（ｉ＝０〜４，ｊ＝０〜４）を順次抽出する。上記注目画素Ｐ22は、ノイズ推定部７０１およびノイズ低減部１１１へ転送される。【０１２２】
ノイズ推定部７０１は、制御部１１９の制御に基づきノイズ低減処理を行う注目画素Ｐ22に対する第１のノイズ量Ｎ１22を推定し、これを抽出部７００へ転送する。【０１２３】
抽出部７００は、制御部１１９の制御に基づき、注目画素Ｐ22および上記第１のノイズ量Ｎ１22に基づき注目画素Ｐ22と類似する画素を抽出するための許容範囲を算出する。算出された上記許容範囲に基づき、上記注目領域から類似する類似画素を抽出する。類似画素としては、例えば図３０に示されるような類似画素Ｐkl（ｋ＝０〜４のいずれか，ｌ＝０〜４のいずれか）を想定する。抽出された類似画素Ｐklおよび注目画素Ｐ22は、ノイズ推定部７０１へ転送される。【０１２４】
ノイズ推定部７０１は、制御部１１９の制御に基づき、ノイズ低減処理を行う注目画素Ｐ22および上記類似画素Ｐklに対する第２のノイズ量Ｎ２22を推定し、これをノイズ低減部１１１へ転送する。また、注目画素Ｐ22および上記類似画素Ｐklの情報をエッジ方向検出部７０２へ転送する。【０１２５】
ノイズ低減部１１１は、第１の実施形態と同様に注目画素Ｐ22に関して、ノイズ推定部７０１からのノイズ量Ｎ２22に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素Ｐ'22をバッファ１１２へ転送する。【０１２６】
エッジ方向検出部７０２は、ノイズ推定部７０１からの注目画素Ｐ22および上記類似画素Ｐklの情報に基づき、注目画素Ｐ22に対するエッジ方向Ｄ22を検出する。上記エッジ方向Ｄ22は、バッファ７０３へ転送される。【０１２７】
上記抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１，エッジ方向検出部７０２における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。【０１２８】
バッファ１１２にはノイズ低減処理後の全信号が、バッファ７０３にはエッジ方向が記録されることになる。【０１２９】
エッジ抽出部１１４は、第１の実施形態と同様にバッファ１０５から注目画素Ｐ22およびその周囲８画素（Ｐ11，Ｐ21，Ｐ31，Ｐ12，Ｐ32，Ｐ13，Ｐ23，Ｐ33）の９画素を含む図３０に示される５×５画素サイズの処理領域を、バッファ７０３からエッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）を読み込む。その後、上記９画素に対してエッジ方向に基づき図１２〜図１９に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分（Ｅ22およびＥ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）を抽出し、エッジ補正部１１５へ転送する。【０１３０】
エッジ補正部１１５は、第１の実施形態と同様に、注目画素Ｐ22のエッジ成分Ｅ22に関して、バッファ７０３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。【０１３１】
エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき第１の実施形態と同様にエッジ強調処理後の画素値Ｐ"22を求め、信号処理部１１７へ転送する。【０１３２】
上記エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき処理領域単位で同期して行われる。【０１３３】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。【０１３４】
図３１は抽出部７００の構成の一例を示すものである。抽出部７００は、許容範囲設定部８００，近傍抽出部８０１，類似性調査部８０２，バッファ８０３を備えている。【０１３５】
ノイズ推定部７０１は、許容範囲設定部８００へ接続している。バッファ１０５は、近傍抽出部８０１，類似性調査部８０２，バッファ８０３を介してノイズ推定部７０１へ接続している。近傍抽出部８０１は、ノイズ低減部１１１およびノイズ推定部７０１へ接続している。制御部１１９は、許容範囲設定部８００，近傍抽出部８０１，類似性調査部８０２と双方向に接続されている。【０１３６】
近傍抽出部８０１は、制御部１１９の制御に基づき、バッファ１０５から注目画素Ｐ22を抽出し、ノイズ推定部７０１およびノイズ低減部１１１および許容範囲設定部８００へ転送する。【０１３７】
許容範囲設定部８００は、制御部１１９の制御に基づき、ノイズ推定部７０１から注目画素Ｐ22に対する第１のノイズ量Ｎ１22が転送された後、類似画素を探索するための許容範囲として上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを数式１５のように設定する。  
［数１５］
Ａｐｐ＿Ｕｐ ＝Ｐ22＋Ｎ１22／２
Ａｐｐ＿Ｌｏｗ＝Ｐ22−Ｎ１22／２
上記許容範囲は、類似性調査部８０２へ転送される。【０１３８】
近傍抽出部８０１は、制御部１１９の制御に基づき、バッファ１０５から図２９に示される注目領域Ｐijを抽出し、画素単位で順次類似性調査部８０２へ転送する。【０１３９】
類似性調査部８０２は、許容範囲設定部８００からの許容範囲として上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗに基づき、近傍抽出部８０１からの画素を調査する。画素が数式１５の許容範囲内にある場合、これを類似画素Ｐklとしての有効を意味するフラグ、例えば１を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば０を与える。上記フラグと画素値は組としてバッファ８０３へ保存される。図３０は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。バッファ８０３上のフラグおよび画素値情報は、制御部１１９の制御に基づき、必要に応じてノイズ推定部７０１へ転送される。【０１４０】
図３２はノイズ推定部７０１の構成の一例を示すものである。ノイズ推定部７０１は、第１の実施形態の図３に示されるノイズ推定部１１０にノイズＬＵＴ（ルックアップテーブル）９００が追加され、パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６が省略された構成になっている。基本構成は図３に示すノイズ推定部１１０と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０１４１】
抽出部７００は、平均算出部２００およびエッジ方向検出部７０２へ接続している。平均算出部２００，ゲイン算出部２０１，標準値付与部２０２は、ノイズＬＵＴ９００へ接続している。ノイズＬＵＴ９００は、ノイズ低減部１１１および抽出部７００へ接続している。制御部１１９は、ノイズＬＵＴ９００へ双方向に接続されている。【０１４２】
平均算出部２００は、制御部１１９の制御に基づき抽出部７００から注目画素Ｐ22、または注目画素Ｐ22と類似画素Ｐklとを読み込み、平均値を算出する。上記平均値はノイズＬＵＴ９００へ転送される。【０１４３】
ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、ノイズＬＵＴ９００へ転送する。【０１４４】
また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをノイズＬＵＴ９００へ転送する。【０１４５】
ノイズＬＵＴ９００は、平均算出部２００からの平均値，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づきノイズ量を推定する。ノイズＬＵＴ９００は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態と同様の手法により構築される。ノイズＬＵＴ９００で得られたノイズ量は抽出部７００へ転送される。また、抽出部７００で得られた類似画素を識別するためのフラグ情報および画素値はエッジ方向検出部７０２へ転送される。【０１４６】
なお、標準値付与部２０２は第１の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。【０１４７】
図３３はエッジ方向検出部７０２の構成の一例を示すものである。エッジ方向検出部７０２は、水平フィルタ処理部１０００，垂直フィルタ処理部１００１，方向決定部１００２を備えている。ノイズ推定部７０１は、水平フィルタ処理部１０００および垂直フィルタ処理部１００１へ接続している。水平フィルタ処理部１０００および垂直フィルタ処理部１００１は、方向決定部１００２へ接続している。方向決定部１００２は、バッファ７０３へ接続している。制御部１１９は、水平フィルタ処理部１０００，垂直フィルタ処理部１００１，方向決定部１００２と双方向に接続している。【０１４８】
水平フィルタ処理部１０００および垂直フィルタ処理部１００１は、制御部１１９の制御に基づき、図３０に示すように５×５画素サイズの注目画素Ｐ22および類似画素Ｐklに関するフラグおよび画素値情報を読み込む。その後、図３４または図３５に示す５×５画素サイズのフィルタ処理と絶対値化を行い、水平または垂直方向のエッジ成分を抽出する。なお、類似画素Ｐklに関しては、そのフラグが０である画素は画素値を０に置換してフィルタ処理を行う。上記エッジ成分は、方向決定部１００２へ転送される。【０１４９】
方向決定部１００２は、制御部１１９の制御に基づき水平フィルタ処理部１０００からの水平エッジ成分Ｅ０22および垂直フィルタ処理部１００１からの垂直エッジ成分Ｅ９０22に基づき、数式１２に示されるようにエッジ方向Ｄ22を算出する。算出されたエッジ方向Ｄ22はバッファ７０３へ転送される。【０１５０】
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。【０１５１】
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【０１５２】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【０１５３】
さらに、ノイズ低減処理では注目画素から概略的な第１のノイズ量を推定し、第１のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、第２のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。【０１５４】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。【０１５５】
なお、上記第２の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。【０１５６】
さらに、上記第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。【０１５７】
図３６、図３７は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図２６、図２７に示す本発明の第１の実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一なステップ符号を割り当てている。【０１５８】
処理を開始すると、まず信号と温度，ゲインなどのヘッダ情報を読み込む（ステップＳ１）。【０１５９】
次に図２９に示されるような注目画素および５×５画素サイズの注目領域を抽出する（ステップＳ２）。【０１６０】
そして、別途説明するように抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。【０１６１】
更に、類似画素を探索するための数式１５に示される許容範囲を設定する（ステップＳ３０）。【０１６２】
その後、図３０に示されるような類似画素を抽出する（ステップＳ３１）。【０１６３】
そして、上述のステップＳ３と同じ処理によって、注目画素および抽出した類似画素を用いてノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３２）。【０１６４】
次に、注目画素に数式７に示される許容範囲を設定する（ステップＳ４）。【０１６５】
そして、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。【０１６６】
ステップＳ５において注目画素が許容範囲内に属すると判断されると、続けて数式８に示される処理を行う（ステップＳ６）。【０１６７】
一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。【０１６８】
その後、図３０に示される注目画素および類似画素に関して図３４，図３５に示される水平，垂直用の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。【０１６９】
そして、全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合は次のステップＳ９へ分岐する（ステップＳ８）。【０１７０】
次に、図３０に示されるような注目画素および類似画素を含む５×５画素サイズの処理領域を抽出する（ステップＳ９）。【０１７１】
更に、ステップＳ１０からのエッジ方向情報に基づきノイズ低減処理前の原信号から注目領域のエッジ成分を抽出する（ステップＳ３３）。【０１７２】
次に、ステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。【０１７３】
その後、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。【０１７４】
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。【０１７５】
全処理領域の抽出が完了した場合は、公知の圧縮処理などが行われ（ステップＳ１５）、処理後の信号が出力され終了する（ステップＳ１６）。【０１７６】
図３７は、上記ステップＳ３およびステップＳ３２におけるノイズ量の推定に関するフローチャートである。【０１７７】
まず、注目領域または注目画素と類似画素の平均値を算出する（ステップＳ２０）。【０１７８】
次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する（ステップＳ２１）。その際、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。【０１７９】
その後、ルックアップテーブルを用いてノイズ量を求め（ステップＳ４０）、算出されたノイズ量を出力して終了する（ステップＳ２５）。【０１８０】
この様に、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとし、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として付加された映像信号であれば、別途ソフトウェアによって処理する構成も可能である。【０１８１】
図３８から図４７は本発明の第３の実施形態を示したものであり、図３８は第３の実施形態の構成を示すブロック図、図３９、図４０はＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、図３９は実空間を示す図、図４０は周波数空間を示す図、図４１はノイズ推定部の構成を示すブロック図、図４２はノイズ低減部の構成を示すブロック図、図４３はエッジ方向検出部の構成を示すブロック図、図４４はエッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図、図４５、図４６、図４７は第３の実施形態における信号処理のフローチャートであって、図４５は全体処理のフローチャート、図４６はノイズ推定処理のフローチャート、図４７はエッジ方向検出処理のフローチャートである。【０１８２】
図３８は、本発明の第３の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるノイズ推定部１１０，ノイズ低減部１１１，エッジ方向検出部１１３がノイズ推定部１１０１，ノイズ低減部１１０２，エッジ方向検出部１１０４に置換され、ＤＣＴ変換部１１００，逆ＤＣＴ変換部１１０３，バッファ１１０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０１８３】
抽出部１０９はＤＣＴ変換部１１００へ、ＤＣＴ変換部１１００はノイズ推定部１１０１およびノイズ低減部１１０２へ接続されている。ノイズ低減部１１０２は、逆ＤＣＴ変換部１１０３を介してバッファ１１２へ接続されている。ノイズ推定部１１０１は、ノイズ低減部１１０２およびエッジ方向検出部１１０４へ接続されている。エッジ方向検出部１１０４はバッファ１１０５へ、バッファ１１０５はエッジ抽出部１１４およびエッジ補正部１１５へ接続されている。制御部１１９は、ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３，エッジ方向検出部１１０４と双方向に接続されている。【０１８４】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。【０１８５】
図３８において、信号の流れを説明する。抽出部１０９は、制御部１１９の制御に基づき、図３９に示されるような４×４画素サイズの注目領域（ブロック領域）を順次抽出し、ＤＣＴ変換部１１００へ転送する。【０１８６】
ＤＣＴ変換部１１００は、制御部１１９の制御に基づき上記注目領域に公知のＤＣＴ（Discrete Cosine Transform）変換を行い、図４０に示されるような周波数成分へ変換する。ＤＣＴ変換では、図４０に示されるように、左上を原点すなわち０次成分として、１次以上の高周波成分は０次成分を原点とする同心円上に配置されることになる。本実例では、４×４画素サイズを想定するため次数として５次の高周波成分まで存在することになる。変換後の周波数成分は、ノイズ推定部１１０１およびノイズ低減部１１０２へ転送される。【０１８７】
ノイズ推定部１１０１は、制御部１１９の制御に基づき、周波数成分中の０次成分および撮影時の情報に基づき、０次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する。算出されたノイズ量はノイズ低減部１１０２へ、周波数成分はエッジ方向検出部１１０４へ転送される。【０１８８】
ノイズ低減部１１０２は、制御部１１９の制御に基づき、ノイズ推定部１１０１からのノイズ量に基づき０次成分以外の高周波数成分に対してノイズ低減処理を行い、０次成分と共に逆ＤＣＴ変換部１１０３へ転送する。【０１８９】
逆ＤＣＴ変換部１１０３は、制御部１１９の制御に基づき、０次成分とノイズ低減処理後の０次成分以外の高周波数成分に対して逆ＤＣＴ変換を行い、実空間の画素へ変換する。ノイズ低減がなされた上記画素は、バッファ１１２へ転送される。【０１９０】
一方、エッジ方向検出部１１０４は、制御部１１９の制御に基づき、ノイズ推定部１１０１からの周波数成分に基づき水平，垂直方向の周波数成分からエッジ方向を検出する。検出されたエッジ方向は、バッファ１１０５へ転送される。【０１９１】
上記ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３，エッジ方向検出部１１０４における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。【０１９２】
バッファ１１２にはノイズ低減処理後の全信号が、バッファ１１０５には４×４画素単位でエッジ方向が記録されることになる。【０１９３】
エッジ抽出部１１４は、第１の実施形態と同様にバッファ１０５から注目画素Ｐ22およびその周囲８画素（Ｐ11，Ｐ21，Ｐ31，Ｐ12，Ｐ32，Ｐ13，Ｐ23，Ｐ33）の９画素を、バッファ１１０５から各画素が属する４×４画素単位を探索し、エッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）を読み込む。その後、上記９画素に対してエッジ方向に基づき図１２〜図１９に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分（Ｅ22およびＥ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）を抽出し、エッジ補正部１１５へ転送する。【０１９４】
エッジ補正部１１５は、第１の実施形態と同様に、注目画素Ｐ22のエッジ成分Ｅ22に関して、バッファ１１０５からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。【０１９５】
エッジ強調部１１６は、制御部１１９の制御に基づき、バッファ１１２からノイズ低減処理後の注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき第１の実施形態と同様にエッジ強調処理後の画素値Ｐ"22を求め、信号処理部１１７へ転送する。【０１９６】
上記エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき注目画素単位で同期して行われる。【０１９７】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。【０１９８】
図４１はノイズ推定部１１０１の構成の一例を示すものである。ノイズ推定部１１０１は、第１の実施形態の図３に示されるノイズ推定部１１０に０次成分抽出部１２００，ノイズＬＵＴ１２０１が追加され、平均算出部２００，パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６が省略された構成になっている。基本構成は図３に示すノイズ推定部１１０と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０１９９】
ＤＣＴ変換部１１００は、０次成分抽出部１２００およびエッジ方向検出部１１０４へ接続している。０次成分抽出部１２００，ゲイン算出部２０１，標準値付与部２０２は、ノイズＬＵＴ１２０１へ接続している。ノイズＬＵＴ１２０１は、ノイズ低減部１１０２へ接続している。制御部１１９は、０次成分抽出部１２００，ノイズＬＵＴ１２０１へ双方向に接続されている。【０２００】
０次成分抽出部１２００は、制御部１１９の制御に基づきＤＣＴ変換部１１００から４×４画素サイズの注目領域（ブロック領域）に対する周波数成分を読み込み、その０次成分を抽出する。上記０次成分はノイズＬＵＴ１２０１へ転送される。【０２０１】
ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、ノイズＬＵＴ１２０１へ転送する。【０２０２】
また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをノイズＬＵＴ１２０１へ転送する。【０２０３】
ノイズＬＵＴ１２０１は、０次成分抽出部１２００からの０次成分，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づき０次成分以外の高周波数成分に対するノイズ量を推定する。【０２０４】
ノイズＬＵＴ１２０１は、温度，信号値レベル，ゲインと０次成分以外の高周波数成分に対するノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態の手法を周波数空間に適用することにより構築される。ノイズＬＵＴ１２０１で得られた０次成分以外の高周波数成分に対するノイズ量はノイズ低減部１１０２へ転送される。【０２０５】
なお、標準値付与部２０２は第１の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。【０２０６】
図４２はノイズ低減部１１０２の構成の一例を示すものである。ノイズ低減部１１０２は、第１の実施形態の図７に示されるノイズ低減部１１１に周波数分離部１３００，平均算出部１３０１が追加された構成になっている。基本構成は図７に示されるノイズ低減部１１１と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０２０７】
ノイズ推定部１１０１は範囲設定部３００へ接続している。ＤＣＴ変換部１１００は周波数分離部１３００へ、周波数分離部１３００は平均算出部１３０１および逆ＤＣＴ変換部１１０３へ接続している。平均算出部１３０１は、範囲設定部３００および切り換え部３０１へ接続している。第１スムージング部３０２および第２スムージング部３０３は、逆ＤＣＴ変換部１１０３へ接続している。制御部１１９は、周波数分離部１３００，平均算出部１３０１と双方向に接続している。【０２０８】
周波数分離部１３００は、制御部１１９の制御に基づきＤＣＴ変換部１１００から図４０に示されるような周波数成分を読み込み、これを各周波数成分ごとに分離する。分離された０次成分Ｆ0は逆ＤＣＴ変換部１１０３へ、０次成分以外の高周波数成分ＦLe（Ｌは１〜５の次数を、ｅは各次数に含まれる要素を意味する）は平均算出部１３０１へ転送される。【０２０９】
平均算出部１３０１は、制御部１１９の制御に基づき次数ごとの高周波数成分の平均値ＡＶ＿ＦLを算出し、これを範囲設定部３００へ転送する。また、高周波数成分ＦLeは切り換え部３０１へ転送される。【０２１０】
範囲設定部３００は、制御部１１９の制御に基づきノイズ推定部１１０１から次数ごとのノイズ量Ｎ＿ＦLを読み込み、許容範囲として上限Ｆ＿ＵｐLおよび下限Ｆ＿ＬｏｗLを次数ごとに設定する。  
［数１６］
Ｆ＿ＵｐL ＝ＡＶ＿ＦL＋Ｎ＿ＦL／２
Ｆ＿ＬｏｗL＝ＡＶ＿ＦL−Ｎ＿ＦL／２
上記許容範囲は、切り換え部３０１へ転送される。また、範囲設定部３００は平均値ＡＶ＿ＦLおよびノイズ量Ｎ＿ＦLを第１スムージング部３０２および第２スムージング部３０３へ転送する。【０２１１】
切り換え部３０１は、制御部１１９の制御に基づき平均算出部１３０１からの高周波数成分ＦLeを読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部３０１は、「ノイズ範囲に属している」場合は第１スムージング部３０２へ、それ以外は第２スムージング部３０３へ高周波数成分ＦLを転送する。【０２１２】
第１スムージング部３０２は、切り換え部３０１からの高周波数成分ＦLeに範囲設定部３００からの平均値ＡＶ＿ＦLを代入する処理を行う。  
［数１７］
Ｆ'Le＝ＡＶ＿ＦL
数式１７でのノイズ低減処理がなされた高周波数成分Ｆ'Leは逆ＤＣＴ変換部１１０３へ転送される。【０２１３】
第２スムージング部３０３は、切り換え部３０１からの高周波数成分ＦLeに範囲設定部３００からの平均値ＡＶ＿ＦLおよびノイズ量Ｎ＿ＦLを用いて補正する処理を行う。【０２１４】
まず、「ノイズ範囲を上回っている」場合は下記の数式１８のように補正する。  
［数１８］
Ｆ'Le＝ＡＶ＿ＦL−Ｎ＿ＦL／２【０２１５】
また、「ノイズ範囲を下回っている」場合は下記の数式１９のように補正する。  
［数１９］
Ｆ'Le＝ＡＶ＿ＦL＋Ｎ＿ＦL／２
数式１８または数式１９のノイズ低減処理がなされた高周波数成分Ｆ'Leは逆ＤＣＴ変換部１１０３へ転送される。【０２１６】
図４３はエッジ方向検出部１１０４の構成の一例を示すものである。エッジ方向検出部１１０４は、水平高周波積算部１４００，垂直高周波積算部１４０１，方向決定部１４０２を備えている。ノイズ推定部１１０１は、水平高周波積算部１４００および垂直高周波積算部１４０１へ接続している。水平高周波積算部１４００および垂直高周波積算部１４０１は、方向決定部１４０２へ接続している。方向決定部１４０２は、バッファ１１０５へ接続している。制御部１１９は、水平高周波積算部１４００，垂直高周波積算部１４０１，方向決定部１４０２と双方向に接続している。【０２１７】
水平高周波積算部１４００および垂直高周波積算部１４０１は、制御部１１９の制御に基づき、図４４に示すように周波数成分から水平方向または垂直方向の０次成分を除く高周波成分を読み込む。上記高周波成分は絶対値化された後に積算され、水平または垂直のエッジ成分として、方向決定部１４０２へ転送される。【０２１８】
方向決定部１４０２は、制御部１１９の制御に基づき注目画素Ｐ22を含む４×４画素サイズの注目領域単位（ブロック領域単位）で、水平高周波積算部１４００からの水平エッジ成分Ｅ０22および垂直高周波積算部１４０１からの垂直エッジ成分Ｅ９０22に基づき数式１２に示されるようにエッジ方向Ｄ22を算出する。算出されたエッジ方向はバッファ１１０５へ転送される。【０２１９】
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。ノイズ低減処理の過程で得られた周波数情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【０２２０】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。【０２２１】
さらに、ノイズ低減処理では注目領域を周波数空間へ変換し、０次成分からノイズ量を推定しノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。【０２２２】
ここで、上記の第３の実施形態の信号処理をソフトウェアで処理する場合のフローチャートを説明する。なお、本フローチャートは、図２６、図２７に示した第１の実施形態のソフトウェア処理に関するフローチャートにおいて、ステップＳ２からステップＳ８までの流れにおける具体的処理内容が異なり、他はほぼ同様の処理であるために、異なる部分についてのみ説明する。【０２２３】
図４５〜図４７に、信号処理のソフトウェア処理に関するフローチャートを示す。【０２２４】
処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込み（ステップＳ１）、その後、図３９に示されるような４×４画素サイズの注目領域を順次抽出する（ステップＳ５１）。【０２２５】
次に上記順次抽出した注目領域にＤＣＴ変換を行い、図４０に示されるような周波数成分へ変換し（ステップＳ５２）、０次成分とそれ以外の次数の高周波成分に分離する（ステップＳ５３）。【０２２６】
その後、別途説明するように、０次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する（ステップＳ５４）。【０２２７】
また、上記ステップＳ５３で分離した次数ごとの高周波数成分の平均値を算出する（ステップＳ５５）。【０２２８】
続いて、注目領域に数式１６に示される許容範囲を設定する（ステップＳ５６）。【０２２９】
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ５８へ、属さない場合はステップＳ５９へ分岐する（ステップＳ５７）。【０２３０】
ステップＳ５７において注目画素が許容範囲内に属すると判断されると、数式１７に示される処理を行う（ステップＳ５８）。【０２３１】
一方、ステップＳ５７において注目画素が許容範囲内に属さないと判断されると、数式１８または数式１９に示される処理を行う（ステップＳ５９）。【０２３２】
次に、０次成分とノイズ低減処理後の０次成分以外の高周波数成分に対して逆ＤＣＴ変換を行い、実空間の画素へ変換する（ステップＳ６０）。【０２３３】
上記ステップＳ６０の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ５２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。【０２３４】
上記ステップＳ８で全注目領域の抽出が完了したと判断されると、次に図１０に示されるような注目画素および５×５画素サイズの処理領域を抽出する（ステップＳ９）。【０２３５】
続いて、別途説明するように、図４４に示される水平，垂直方向の周波数成分からエッジ方向を検出する（ステップＳ６１）。【０２３６】
さらに、ステップＳ６１からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する（ステップＳ１１）。【０２３７】
次にステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。【０２３８】
更に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。【０２３９】
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。【０２４０】
ステップＳ１４で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップＳ１５）。【０２４１】
その後、処理後の信号が出力され終了する（ステップＳ１６）。【０２４２】
図４６は、上記ステップＳ５４におけるノイズ量の推定に関するフローチャートである。【０２４３】
まず、上記ステップＳ５３で分離した４×４画素サイズの注目領域に対する周波数成分の０次成分を抽出する（ステップＳ７１）。【０２４４】
一方、ヘッダー情報に基づきゲイン，温度などの情報を設定する（ステップＳ７２）。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。【０２４５】
次にルックアップテーブルを用いてノイズ量を求め（ステップＳ７３）、算出されたノイズ量を出力して終了する（ステップＳ７４）。【０２４６】
図４７は、上述したステップＳ６１のエッジ方向検出処理に関するフローチャートである。【０２４７】
図４４に示されるように０次成分を除く水平方向の高周波成分を絶対値化した後に積算して水平エッジ成分を求める（ステップＳ８１）。また、図４４に示されるように０次成分を除く垂直方向の高周波成分を絶対値化した後に積算して垂直エッジ成分を求める（ステップＳ８２）。【０２４８】
次に、４×４画素サイズの注目領域単位で、上記ステップＳ８１で求めた水平エッジ成分および上記ステップＳ８２で求めた垂直エッジ成分に基づき、上記数式１２に示されるようにエッジ方向を検出し（ステップＳ８３）、検出された方向を出力して終了する（ステップＳ８４）。【０２４９】
なお、上記第３の実施形態においては周波数成分への変換をＤＣＴ変換により行い、変換の処理サイズを４×４画素とする構成になっていたが、このような構成に限定される必要はない。例えば、周波数成分への変換としてはＦＦＴ（Fast Fourier Transform）やＷａｖｅｌｅｔ変換などを使用することもできる。また、処理サイズとしては２×２画素など、より小さくすることで方向検出の精度を向上することもできるし、８×８画素など、より大きくすることで全体の処理を高速化することも可能である。【０２５０】
また、上記第３の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。【０２５１】
図４８から図５１は本発明の第４の実施形態を示したものであり、図４８は第４の実施形態の構成を示すブロック図、図４９、図５０はカラーフィルタに関する説明図であって、図４９はＢａｙｅｒ型原色フィルタを示す図、図５０は色差線順次型補色フィルタを示す図、図５１は第４の実施形態における信号処理のフローチャートである。【０２５２】
図４８は、第４の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１５００に置換され、ＰｒｅＷＢ部１５０１，補間部１５０２，Ｙ／Ｃ分離部１５０３，バッファ１５０４，Ｙ／Ｃ合成部１５０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０２５３】
カラーＣＣＤ１５００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１５００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１５０１，測光評価部１０６，合焦点検出部１０７，補間部１５０２へ接続されている。補間部１５０２は、Ｙ／Ｃ分離部１５０３，バッファ１５０４を介して抽出部１０９およびエッジ抽出部１１４へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１５０５へ、Ｙ／Ｃ合成部１５０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１５０１，補間部１５０２，Ｙ／Ｃ分離部１５０３，Ｙ／Ｃ合成部１５０５と双方向に接続されている。【０２５４】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。【０２５５】
図４８において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。【０２５６】
レンズ系１００，絞り１０１，カラーＣＣＤ１５００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１５００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。図４９は、Ｂａｙｅｒ型の色フィルタの構成を示す。Ｂａｙｅｒ型は２×２画素を基本単位とし、赤（Ｒ），青（Ｂ）フィルタが１画素ずつ、緑（Ｇ）フィルタが２画素配置される。【０２５７】
バッファ１０５内の信号は、ＰｅｒＷＢ部１５０１へ転送される。【０２５８】
ＰｒｅＷＢ部１５０１は所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。ＰｒｅＷＢ部１５０１は、上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。【０２５９】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。なお、ＰｒｅＷＢ部１５０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号は補間部１５０２へ転送される。【０２６０】
補間部１５０２は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はＹ／Ｃ分離部１５０３へ転送され輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離される。  
［数２０］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒはバッファ１５０４へ転送され保存される。【０２６１】
第１の実施形態と同様に抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。【０２６２】
なお、図３に示すノイズ推定部１１０中のゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報およびＰｒｅＷＢ部１５０１によって求められたホワイトバランス係数に基づき増幅器１０３におけるゲインを求める。輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。【０２６３】
第１の実施形態と同様にエッジ方向検出部１１３は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22およびこれを包含する５×５画素サイズの処理領域を順次抽出する。その後、注目画素Ｐ'22およびその周囲８画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第１の実施形態と同様に後段の処理が選択される。【０２６４】
エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の輝度信号Ｙをバッファ１５０４から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。【０２６５】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、エッジ方向検出部１１３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。【０２６６】
エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22を順次抽出する。その後、エッジ強調部１１６は、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、エッジ強調処理後の画素値Ｐ"22を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１５０５へ転送する。また、エッジ強調部１１６はバッファ１１２から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１５０５へ転送する。【０２６７】
Ｙ／Ｃ合成部１５０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，Ｃｒから、数式２１に示すようにＲ，Ｇ，Ｂ信号を合成する。  
［数２１］
Ｒ＝Ｙ"                    ＋１．４０２００Ｃｒ
Ｇ＝Ｙ"−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ"＋１．７７２００Ｃｂ
Ｒ，Ｇ，Ｂ信号は信号処理部１１２へ転送される。【０２６８】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。【０２６９】
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。【０２７０】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。【０２７１】
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。【０２７２】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。【０２７３】
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。【０２７４】
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。【０２７５】
なお、上記実施形態ではカラーＣＣＤ１５００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板ＣＣＤにも適用可能である。図５０は、色差線順次型補色フィルタの構成を示す。色差線順次型は２×２画素を基本単位とし、シアン（Ｃｙ），マゼンタ（Ｍｇ），イエロー（Ｙｅ），緑（Ｇ）が１画素ずつ配置される。ただし、ＭｇとＧの位置はラインごとに反転している。この場合、２×２画素領域を１行または１列ずつ重複させながら順次抽出し、下記の数式２２に示す輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを領域単位に算出する構成も可能である。  
［数２２］
Ｙ ＝Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇ
Ｃｂ＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）
Ｃｒ＝（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）【０２７６】
また、上記第４の実施形態では輝度信号のみにノイズ低減処理を行っていたが、このような構成に限定される必要はない。色差信号に対してもノイズ低減処理を行う構成も可能である。【０２７７】
さらに、上記第４の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と別体となる構成も可能である。【０２７８】
また、上記第４の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、カラーＣＣＤ１５００からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲイン，ホワイトバランス係数などをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。【０２７９】
図５１は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図２６に示す第１の実施形態における信号処理の流れと同一な処理ステップに関しては、同一なステップ符号を割り当てている。【０２８０】
まず、信号と温度，ゲイン，ホワイトバランス係数などのヘッダ情報を読み込む（ステップＳ１）。【０２８１】
次に、単板状態の信号を線形補間などで三板状態にする（ステップＳ９０）。【０２８２】
更に、数式２０に示されるように、信号を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離する（ステップＳ９１）。【０２８３】
その後、図２に示されるように輝度信号から注目画素および３×３画素サイズの注目領域を抽出する（ステップＳ２）。【０２８４】
次に、図２７に示されるフローチャートに基づき抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。【０２８５】
そして、注目画素に対して数式７に示される許容範囲を設定する（ステップＳ４）。【０２８６】
その後、注目画素が許容範囲内に属するか否かを判断し、属する場合はステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。【０２８７】
ステップＳ５において注目画素が許容範囲内に属すると判断されると、数式８に示される処理を行う（ステップＳ６）。【０２８８】
一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。【０２８９】
次に、全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。【０２９０】
全注目領域の抽出が完了した場合は、図１０に示されるようにノイズ低減後の輝度信号から注目画素を中心とした５×５画素サイズの処理領域を抽出する（ステップＳ９）。【０２９１】
ステップＳ９で抽出した処理領域の画素のうち、図１１に示される９画素に対して図１２〜図１９に示される方向別の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。【０２９２】
その後、ステップＳ１０で検出したエッジ方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出する（ステップＳ１１）。【０２９３】
更に、ステップＳ１０からのエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。【０２９４】
次に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。【０２９５】
その後、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ９２へ分岐する（ステップＳ１４）。【０２９６】
ステップＳ１４で全処理領域の抽出が完了したと判断されると、数式２１に示されるようにＲ，Ｇ，Ｂ信号を合成する（ステップＳ９２）。【０２９７】
次に合成された信号に対して、公知の圧縮処理や色強調処理などが行われる（ステップＳ１５）。【０２９８】
そして、処理後の信号が出力され終了する（ステップＳ１６）。【０２９９】
図５２から図７２は本発明の第５の実施形態を示したものであり、図５２は第５の実施形態の構成を示すブロック図、図５３〜図５６はＹ／Ｃ分離に関する説明図であって、図５３はＢａｙｅｒ型原色フィルタを示す図、図５４は輝度信号を示す図、図５５はＲ（赤）の色差信号を示す図、図５６はＢ（青）の色差信号を示す図、図５７はエッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図５８はエッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図５９はエッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６０はエッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６１はエッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６２はエッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６３はエッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６４はエッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６５はエッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６６はエッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６７はエッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６８はエッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６９はエッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図７０はエッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図７１はエッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図７２はエッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図である。【０３００】
図５２は、本発明の第５の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１６００に置換され、ＰｒｅＷＢ部１６０１，Ｙ／Ｃ分離部１６０２，バッファ１６０３，補間部１６０４，Ｙ／Ｃ合成部１６０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０３０１】
カラーＣＣＤ１６００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１６００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１６０１，測光評価部１０６，合焦点検出部１０７，Ｙ／Ｃ分離部１６０２へ接続されている。Ｙ／Ｃ分離部１６０２は、バッファ１６０３を介して抽出部１０９およびエッジ抽出部１１４へ接続されている。バッファ１１２は、補間部１６０４を介してエッジ方向検出部１１３およびエッジ強調部１１６へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１６０５へ、Ｙ／Ｃ合成部１６０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１６０１，Ｙ／Ｃ分離部１６０２，補間部１６０４，Ｙ／Ｃ合成部１６０５と双方向に接続されている。【０３０２】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。【０３０３】
図５２において、信号の流れを説明する。まず外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。【０３０４】
レンズ系１００，絞り１０１，カラーＣＣＤ１６００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１６００は図５３に示すＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。【０３０５】
ＰｒｅＷＢ部１６０１では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。【０３０６】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。【０３０７】
なお、ＰｒｅＷＢ部１６０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号はＹ／Ｃ分離部１６０２へ転送される。【０３０８】
Ｙ／Ｃ分離部１６０２は、図５４、図５５、図５６に示すように、輝度信号ＹとしてＧ信号を、色差信号ＣｂとしてＢ信号を、色差信号ＣｒとしてＲ信号を想定する。  
［数２３］
Ｙ ＝Ｇ
Ｃｂ＝Ｂ
Ｃｒ＝Ｒ
上記輝度信号および色差信号は補間処理前の単板状態にあり、バッファ１６０３へ転送される。【０３０９】
その後、第１の実施形態と同様に抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。【０３１０】
なお、図３に示すノイズ推定部１１０中のゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報およびＰｒｅＷＢ部１６０１によって求められたホワイトバランス係数に基づき増幅器１０３におけるゲインを求める。また、３×３画素サイズの注目領域中に輝度信号Ｙ、すなわちＧ信号は５画素または４画素しか存在しないために、平均値の算出は上記５画素または４画素を用いて行われる。【０３１１】
ノイズ低減後の輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。【０３１２】
補間部１６０４は、バッファ１１２から輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒを読み込み、公知の線形補間などの手法を用いて単板状態から三板状態の信号を生成する。【０３１３】
三板状態の信号はエッジ方向検出部１１３およびエッジ強調部１１６へ転送される。【０３１４】
第１の実施形態と同様にエッジ方向検出部１１３は、制御部１１９の制御に基づき補間部１６０４からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22およびこれを包含する５×５画素サイズの処理領域を順次抽出する。その後、注目画素Ｐ'22およびその周囲８画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第１の実施形態と同様に後段の処理が選択される。【０３１５】
エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の単板状態の輝度信号Ｙをバッファ１６０３から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。なお、エッジ抽出フィルタは図５７〜図７２に示されるように、単板状態の輝度信号Ｙに適用できる形態を使用する。【０３１６】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、エッジ方向検出部１１３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。【０３１７】
エッジ強調部１１６は、制御部１１９の制御に基づき補間部１６０４からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、エッジ強調処理後の画素値Ｐ"22を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１６０５へ転送する。また、エッジ強調部１１６は補間部１６０４から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１６０５へ転送する。【０３１８】
Ｙ／Ｃ合成部１６０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，ＣｒからＲ，Ｇ，Ｂ信号を求める。  
［数２４］
Ｒ＝Ｃｒ
Ｇ＝Ｙ"
Ｂ＝Ｃｂ
Ｒ，Ｇ，Ｂ信号は信号処理部１１７へ転送される。【０３１９】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。【０３２０】
出力部１１８は、メモリーカードなどへ信号を記録保存する。【０３２１】
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。この場合に、エッジ成分の抽出を補間前の信号から行うために、より高精細なエッジ成分の抽出が可能となる。【０３２２】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。【０３２３】
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。【０３２４】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。【０３２５】
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。【０３２６】
また、カラー撮像素子からの信号に対応することができ、現状の撮影部との親和性が高く、多くの撮像システムへの適用が可能となる。【０３２７】
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。【０３２８】
さらに、上記第５の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第１の実施形態と同様に、ソフトウェアによって処理する構成も可能である。【０３２９】
図７３は本発明の第６の実施形態を示したものであり、第６の実施形態の構成を示したブロック図である。本実施形態は、図２８に示す第２の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１７００に置換され、ＰｒｅＷＢ部１７０１，補間部１７０２，Ｙ／Ｃ分離部１７０３，バッファ１７０４，Ｙ／Ｃ合成部１７０５が追加された構成になっている。基本構成は第２の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。【０３３０】
カラーＣＣＤ１７００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１７００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１７０１，測光評価部１０６，合焦点検出部１０７，補間部１７０２へ接続されている。補間部１７０２は、Ｙ／Ｃ分離部１７０３，バッファ１７０４を介して抽出部７００およびエッジ抽出部１１４へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１７０５へ、Ｙ／Ｃ合成部１７０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１７０１，補間部１７０２，Ｙ／Ｃ分離部１７０３，Ｙ／Ｃ合成部１７０５と双方向に接続されている。【０３３１】
本実施形態は、基本的に第２の実施形態と同様であり、異なる部分のみ説明する。【０３３２】
図７３において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。【０３３３】
レンズ系１００，絞り１０１，カラーＣＣＤ１７００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１７００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。【０３３４】
バッファ１０５内の信号は、ＰｒｅＷＢ部１７０１へ転送される。【０３３５】
ＰｒｅＷＢ部１７０１では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。【０３３６】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。【０３３７】
なお、ＰｒｅＷＢ部１７０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号は補間部１７０２へ転送される。【０３３８】
補間部１７０２は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はＹ／Ｃ分離部１７０３へ転送され、数式２０に示されるように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離される。輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒはバッファ１７０４へ転送され保存される。【０３３９】
第２の実施形態と同様に抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。【０３４０】
エッジ方向検出部７０２は、ノイズ推定部７０１からの注目画素および類似画素の情報に基づき、注目画素Ｐ'22に対するエッジ方向Ｄ22を検出する。上記エッジ方向は、バッファ７０３へ転送される。バッファ１１２にはノイズ低減処理後の全信号が、バッファ７０３にはエッジ方向が記録されることになる。【０３４１】
エッジ抽出部１１４は、バッファ１７０４からノイズ低減処理前の輝度信号Ｙを読み込み、注目画素Ｐ22およびその周囲８画素を抽出する。その後、バッファ７０３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。【０３４２】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、バッファ７０３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。【０３４３】
エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、エッジ強調処理後の画素値Ｐ"22を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１７０５へ転送する。また、エッジ強調部１１６はバッファ１１２から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１７０５へ転送する。【０３４４】
Ｙ／Ｃ合成部１７０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，Ｃｒから数式２１に示されるようにＲ，Ｇ，Ｂ信号を合成する。Ｒ，Ｇ，Ｂ信号は信号処理部１１７へ転送される。【０３４５】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。【０３４６】
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。【０３４７】
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。【０３４８】
さらに、ノイズ低減処理では注目画素から概略的な第１のノイズ量を推定し、第１のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、第２のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。【０３４９】
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。【０３５０】
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。【０３５１】
さらに、上記第６の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第２の実施形態と同様に、ソフトウェアによって処理する構成も可能である。【０３５２】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。【０３５３】
本出願は、２００５年１２月２８日に日本国に出願された特願２００５−３８０３４６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
2007077730.tif 000004
【図２】
2007077730.tif 000005
【図３】
2007077730.tif 000006
【図４】
2007077730.tif 000007
【図５】
2007077730.tif 000008
【図６】
2007077730.tif 000009
【図７】
2007077730.tif 000010
【図８】
2007077730.tif 000011
【図９】
2007077730.tif 000012
【図１０】
2007077730.tif 000013
【図１１】
2007077730.tif 000014
【図１２】
2007077730.tif 000015
【図１３】
2007077730.tif 000016
【図１４】
2007077730.tif 000017
【図１５】
2007077730.tif 000018
【図１６】
2007077730.tif 000019
【図１７】
2007077730.tif 000020
【図１８】
2007077730.tif 000021
【図１９】
2007077730.tif 000022
【図２０】
2007077730.tif 000023
【図２１】
2007077730.tif 000024
【図２２】
2007077730.tif 000025
【図２３】
2007077730.tif 000026
【図２４】
2007077730.tif 000027
【図２５】
2007077730.tif 000028
【図２６】
2007077730.tif 000029
【図２７】
2007077730.tif 000030
【図２８】
2007077730.tif 000031
【図２９】
2007077730.tif 000032
【図３０】
2007077730.tif 000033
【図３１】
2007077730.tif 000034
【図３２】
2007077730.tif 000035
【図３３】
2007077730.tif 000036
【図３４】
2007077730.tif 000037
【図３５】
2007077730.tif 000038
【図３６】
2007077730.tif 000039
【図３７】
2007077730.tif 000040
【図３８】
2007077730.tif 000041
【図３９】
2007077730.tif 000042
【図４０】
2007077730.tif 000043
【図４１】
2007077730.tif 000044
【図４２】
2007077730.tif 000045
【図４３】
2007077730.tif 000046
【図４４】
2007077730.tif 000047
【図４５】
2007077730.tif 000048
【図４６】
2007077730.tif 000049
【図４７】
2007077730.tif 000050
【図４８】
2007077730.tif 000051
【図４９】
2007077730.tif 000052
【図５０】
2007077730.tif 000053
【図５１】
2007077730.tif 000054
【図５２】
2007077730.tif 000055
【図５３】
2007077730.tif 000056
【図５４】
2007077730.tif 000057
【図５５】
2007077730.tif 000058
【図５６】
2007077730.tif 000059
【図５７】
2007077730.tif 000060
【図５８】
2007077730.tif 000061
【図５９】
2007077730.tif 000062
【図６０】
2007077730.tif 000063
【図６１】
2007077730.tif 000064
【図６２】
2007077730.tif 000065
【図６３】
2007077730.tif 000066
【図６４】
2007077730.tif 000067
【図６５】
2007077730.tif 000068
【図６６】
2007077730.tif 000069
【図６７】
2007077730.tif 000070
【図６８】
2007077730.tif 000071
【図６９】
2007077730.tif 000072
【図７０】
2007077730.tif 000073
【図７１】
2007077730.tif 000074
【図７２】
2007077730.tif 000075
【図７３】
2007077730.tif 000076
【手続補正書】
【提出日】平成20年9月12日(2008.9.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子からの信号を処理する撮像システムであって、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、
上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手段と、
上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段と、
を有することを特徴とする撮像システム。
【請求項２】
上記撮像素子はカラー撮像素子であって、
当該撮像システムは、さらに、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段を有し、
上記ノイズ処理手段は、上記Ｙ／Ｃ分離手段により分離された上記輝度信号に対してノイズ低減処理を行うものであり、
上記エッジ方向検出手段は、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するものであり、
上記エッジ抽出手段は、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された上記輝度信号に対してエッジ成分を抽出するものであることを特徴とする請求項１に記載の撮像システム。
【請求項３】
上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記信号であることを特徴とする請求項１に記載の撮像システム。
【請求項４】
上記ノイズ低減処理の結果は、上記ノイズ低減処理がなされた上記輝度信号であることを特徴とする請求項２に記載の撮像システム。
【請求項５】
上記ノイズ低減処理の結果は、上記ノイズ処理手段からの情報であることを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項６】
上記抽出されたエッジ成分に基づき、上記ノイズ低減処理がなされた上記信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項１に記載の撮像システム。
【請求項７】
上記抽出されたエッジ成分に基づき、上記ノイズ低減処理がなされた上記輝度信号に対してエッジ強調を行うエッジ強調手段を更に有することを特徴とする請求項２に記載の撮像システム。
【請求項８】
上記エッジ強調手段は、
上記検出されたエッジ方向に基づき上記エッジ成分を補正する補正手段を有することを特徴とする請求項６または請求項７に記載の撮像システム。
【請求項９】
上記ノイズ処理手段は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
を有することを特徴とする請求項１に記載の撮像システム。
【請求項１０】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された上記輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
を有することを特徴とする請求項２に記載の撮像システム。
【請求項１１】
上記ノイズ処理手段は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
上記注目画素から第１のノイズ量を推定する第１のノイズ推定手段と、
上記注目画素および上記第１のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、
上記注目画素および上記類似画素から第２のノイズ量を推定する第２のノイズ推定手段と、
上記第２のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
を有することを特徴とする請求項１に記載の撮像システム。
【請求項１２】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された上記輝度信号からノイズ低減処理を行う注目画素を抽出する画素抽出手段と、
上記注目画素から第１のノイズ量を推定する第１のノイズ推定手段と、
上記注目画素および上記第１のノイズ量に基づき上記注目画素近傍から上記注目画素と類似する類似画素を抽出する類似画素抽出手段と、
上記注目画素および上記類似画素から第２のノイズ量を推定する第２のノイズ推定手段と、
上記第２のノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段と、
を有することを特徴とする請求項２に記載の撮像システム。
【請求項１３】
上記ノイズ処理手段は、
上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段と、
を有することを特徴とする請求項１に記載の撮像システム。
【請求項１４】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された上記輝度信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段と、
を有することを特徴とする請求項２に記載の撮像システム。
【請求項１５】
上記エッジ方向検出手段は、
上記ノイズ低減処理された上記信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、
上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
を有することを特徴とする請求項３に記載の撮像システム。
【請求項１６】
上記エッジ方向検出手段は、
上記ノイズ低減処理された上記輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度を所定の閾値と比較することで選択するエッジ強度選択手段と、
上記選択されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
を有することを特徴とする請求項４に記載の撮像システム。
【請求項１７】
上記エッジ強度選択手段は、
上記ノイズ処理手段からのノイズ量に基づき上記閾値を設定する閾値設定手段を有することを特徴とする請求項１５または請求項１６に記載の撮像システム。
【請求項１８】
上記エッジ方向検出手段は、
上記ノイズ低減処理された上記信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度から所定の微小変動を除去するための除去手段と、
上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
を有することを特徴とする請求項３に記載の撮像システム。
【請求項１９】
上記エッジ方向検出手段は、
上記ノイズ低減処理された上記輝度信号から複数の所定方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度から所定の微小変動を除去するための除去手段と、
上記微小変動が除去されたエッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
を有することを特徴とする請求項４に記載の撮像システム。
【請求項２０】
上記エッジ方向検出手段は、
上記ノイズ低減処理された上記信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
を有することを特徴とする請求項３に記載の撮像システム。
【請求項２１】
上記エッジ方向検出手段は、
上記ノイズ低減処理された上記輝度信号から水平および垂直方向に関するエッジ強度を算出するエッジ強度算出手段と、
上記エッジ強度に基づきエッジ方向を決定するエッジ方向決定手段と、
を有することを特徴とする請求項４に記載の撮像システム。
【請求項２２】
上記ノイズ処理手段は、
上記撮像素子からの信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ推定手段においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項５に記載の撮像システム。
【請求項２３】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された上記輝度信号からノイズ低減処理を行う注目画素を含む所定サイズの注目領域を抽出する領域抽出手段と、
上記注目領域からノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記注目画素に平滑化を行うノイズ低減手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ推定手段においてノイズ量の推定時に用いた画素情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項２に記載の撮像システム。
【請求項２４】
上記ノイズ処理手段は、
上記撮像素子からの信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ処理手段においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項５に記載の撮像システム。
【請求項２５】
上記ノイズ処理手段は、
上記Ｙ／Ｃ分離手段により分離された上記輝度信号から所定サイズのブロック領域を抽出するブロック抽出手段と、
上記ブロック領域を周波数空間に変換する変換手段と、
上記周波数空間における０次成分に基づき０次成分以外の周波数成分に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ量に基づき上記０次成分以外の周波数成分に平滑化を行うノイズ低減手段と、
上記０次成分および上記ノイズ低減手段で処理された０次成分以外の周波数成分を実空間へ変換する逆変換手段とを有し、
上記エッジ方向検出手段は、
上記ノイズ処理手段においてノイズ量の推定時に用いた周波数情報に基づき、エッジ方向を決定するエッジ方向決定手段を有することを特徴とする請求項２に記載の撮像システム。
【請求項２６】
上記エッジ方向決定手段は、
特定のエッジ方向が決定できなかった場合に、上記エッジ抽出手段の処理を停止させる停止信号を発生させる、停止信号発生手段を有することを特徴とする請求項１５、請求項１６、請求項１８、請求項１９、請求項２０、請求項２１、請求項２２、請求項２３、請求項２４、請求項２５の何れか一に記載の撮像システム。
【請求項２７】
上記エッジ方向決定手段は、
複数のエッジ方向が検出された場合に、上記エッジ抽出手段に等方的なエッジ抽出処理を行わせる制御信号を発生させる、等方処理信号発生手段を有することを特徴とする請求項１５、請求項１６、請求項１８、請求項１９、請求項２０、請求項２１、請求項２２、請求項２３、請求項２４、請求項２５の何れか一に記載の撮像システム。
【請求項２８】
上記カラー撮像素子は、
Ｒ（赤），Ｇ（緑），Ｂ（青）Ｂａｙｅｒ型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする請求項２に記載の撮像システム。
【請求項２９】
上記Ｙ／Ｃ分離手段は、
輝度信号および色信号を分離する前に上記カラー撮像素子の信号を補間処理する補間手段を更に有することを特徴とする請求項２に記載の撮像システム。
【請求項３０】
上記Ｙ／Ｃ分離手段は、
輝度信号および色信号を分離した後に上記輝度信号および上記色信号を補間処理する補間手段を更に有することを特徴とする請求項２に記載の撮像システム。
【請求項３１】
撮像素子からの信号を処理する画像処理方法であって、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理ステップと、
上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出ステップと、
上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出ステップと、
を有することを特徴とする画像処理方法。
【請求項３２】
コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、
上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、
上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手順と、
上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手順と、
を実行させるための画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの信号に対してエッジ成分を抽出する撮像システム、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
撮像素子からの信号に対しエッジ成分を抽出する処理には、ラプラシアンのような単一フィルタ処理によるものと、方向別の複数フィルタ処理によるものとに大別できる。後者の例としては、例えば特公平６−９０７２４号公報に示されるように、４方向の矩形領域中で平滑化信号との差が最大となる矩形領域を選択することで方向別のアンシャープマスク処理を行う手法が開示されている。これにより、ゴミなどの点状欠陥の影響を抑制し、より高精度なエッジ成分の抽出が可能となる。また、特許第３２８９４３５号公報ではステップエッジ、インパルス信号、ノイズなどから重み係数を算出し、これからエッジ信号を補正する手法が開示されている。これにより、エッジ信号を成形し、より高精度なエッジ成分の抽出が可能となる。さらに、特開２０００−３０６０８９号公報では、信号をウェーブレットやラプラシアンピラミッドなどで周波数分解し、低周波成分のベクトル情報から高周波成分を補正する手法が開示されている。これにより、エッジ信号を成形すると共にノイズ成分を抑制し、高精細な信号を得ることが可能となる。
【特許文献１】特公平６−９０７２４号公報
【特許文献２】特許第３２８９４３５号公報
【特許文献３】特開２０００−３０６０８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特公平６−９０７２４号公報では、ゴミなどの輝度差が大きい点状のノイズに対しては識別することができる。しかし、撮像素子に起因するランダムノイズのように等方的に発生するノイズや輝度差の小さい微弱なノイズを識別することには対応できず、多様なノイズに対して安定的にエッジ成分を抽出できないという課題がある。また、特許第３２８９４３５号公報ではノイズが多い場合は小さい重み係数を生成することでノイズの影響を抑制することができる。しかし、ノイズ成分自体は残留するために、強いエッジ強調を行うことには対応できず、絵作りに対する自由度が少ないという課題がある。さらに、特開２０００−３０６０８９号公報では補正のためのベクトル情報を低周波の信号から得ている。ベクトル情報の解像度はウェーブレットやラプラシアンピラミッドの分解レベルに依存するが、一回分解すると１／２に、二回分解すると１／４になる。このために、原信号の解像度でエッジ信号を成形することには対応できず、画素単位の高精細なエッジ成分を生成できないという課題がある。
【０００４】
本発明は上記事情に鑑みてなされたものであり、ノイズ低減処理とエッジ抽出処理を組み合わせることで、ノイズが混在する信号に対しても高精度なエッジ成分の抽出が可能な撮像システム、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明のある態様による撮像システムは、撮像素子からの信号を処理する撮像システムであって、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段と、を有している。
本発明の他の態様による画像処理方法は、撮像素子からの信号を処理する画像処理方法であって、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理ステップと、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出ステップと、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出ステップと、を有している。
本発明のさらに他の態様による画像処理プログラムは、コンピュータに、撮像素子からの信号を処理する手順を実行させるための画像処理プログラムであって、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理の結果に基づいてエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手順と、を実行させるための画像処理プログラムである。
【発明の効果】
【０００６】
本発明の撮像システム、画像処理方法、画像処理プログラムによれば、ノイズ低減処理とエッジ抽出処理を組み合わせることで、ノイズが混在する信号に対しても高精度なエッジ成分の抽出が可能となる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施の形態について説明する。
【０００８】
［第１の実施形態］
図１から図２７は本発明の第１の実施形態を示したものであり、図１は第１の実施形態の構成を示すブロック図、図２は注目画素および注目領域に関する説明図、図３はノイズ推定部の構成を示すブロック図、図４はノイズ量の推定に関する説明図であって信号レベルに対する輝度ノイズ量の関係を示す図、図５はノイズ量の推定に関する説明図であってノイズモデルの簡略化を示す図、図６はノイズ量の推定に関する説明図であって簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図、図７はノイズ低減部の構成を示すブロック図、図８はエッジ方向検出部の構成を示すブロック図、図９はエッジ方向検出部の別形態の構成を示すブロック図、図１０〜図２２はエッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、図１０は注目画素およびその処理領域を示す図、図１１はエッジ抽出される画素位置を示す図、図１２は０°のエッジ抽出フィルタを示す図、図１３は４５°のエッジ抽出フィルタを示す図、図１４は９０°のエッジ抽出フィルタを示す図、図１５は１３５°のエッジ抽出フィルタを示す図、図１６は１８０°のエッジ抽出フィルタを示す図、図１７は２２５°のエッジ抽出フィルタを示す図、図１８は２７０°のエッジ抽出フィルタを示す図、図１９は３１５°のエッジ抽出フィルタを示す図、図２０は等方性エッジ抽出フィルタを示す図、図２１は水平エッジ抽出フィルタの説明図、図２２は垂直エッジ抽出フィルタの説明図、図２３、図２４はエッジ補正部のエッジ補正に関する説明図であって、図２３は８方向のエッジ整形による説明図、図２４は４方向のエッジ整形による説明図、図２５は第１の実施形態の別形態の構成を示すブロック図、図２６、図２７は第１の実施形態における信号処理のフローチャートであって、図２６は全体処理のフローチャート、図２７はノイズ推定処理のフローチャートである。
【０００９】
図１により、第１の実施形態の構成を説明する。図１は、本発明の第１実施形態に係る撮像システムの構成を示すブロック図である。レンズ系１００は被写体像を結像するためのものである。絞り１０１はこのレンズ系１００内に配置されていて、該レンズ系１００における光束の通過範囲を規定するためのものである。ＣＣＤ１０２は、このレンズ系１００を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。増幅器１０３は、このＣＣＤ１０２の出力を所定の増幅率（増幅量，ゲインともいう）に従って増幅するものである。Ａ／Ｄ変換器１０４は、このＣＣＤ１０２から出力され増幅器１０３で増幅されたアナログの映像信号をデジタル信号へ変換するものである。バッファ１０５は、このＡ／Ｄ変換器１０４から出力されたデジタルの映像信号を一時的に記憶するものである。Ａ／Ｄ変換器１０４からの信号は、バッファ１０５を介して抽出部１０９、エッジ抽出部１１４へ転送される。バッファ１０５は、測光評価部１０６、合焦点検出部１０７へも接続されている。測光評価部１０６は、上記バッファ１０５に記憶された映像信号に基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り１０１とＣＣＤ１０２と増幅器１０３との制御を行うものである。すなわち、該測光評価部１０６は、絞り１０１の絞り値と、ＣＣＤ１０２の電子シャッタ速度と、増幅器１０３のゲインと、を調整することにより、露出制御を行うようになっている。合焦点検出部１０７は、上記バッファ１０５に記憶された映像信号に基づき合焦点検出を行い、検出結果に基づき後述するＡＦモータ１０８を駆動するものである。ＡＦモータ１０８は、この合焦点検出部１０７により制御されて、上記レンズ系１００に含まれるフォーカスレンズ等の駆動を行い、上記ＣＣＤ１０２の撮像面上に被写体像が結像されるようにするものである。抽出部１０９は、抽出手段であって、上記バッファ１０５に記憶された映像信号から所定領域の映像信号を抽出して出力するものである。抽出部１０９からの信号は、ノイズ推定部１１０およびノイズ低減部１１１へ接続されている。
【００１０】
ノイズ推定部１１０は、ノイズ推定手段であって、この抽出部１０９により抽出された所定領域の映像信号からノイズ量を推定するものである。推定されたノイズ量はノイズ低減部１１１へ転送される。ノイズ低減部１１１は、抽出部１０９で抽出された所定領域の映像信号に関して、ノイズ推定部１１０で推定されたノイズ量に基づきノイズ低減処理を行うものである。ノイズ低減処理後の映像信号はバッファ１１２へ転送される。バッファ１１２は、エッジ方向検出部１１３およびエッジ強調部１１６へ接続されている。エッジ方向検出部１１３は、エッジ方向検出手段であって、バッファ１１２に記憶されたノイズ低減処理後の映像信号からエッジの方向を検出するものである。検出されたエッジ方向は、エッジ抽出部１１４およびエッジ補正部１１５へ転送される。エッジ抽出部１１４は、エッジ抽出手段であって、上記エッジ方向検出部１１３により検出されたエッジ方向に関する情報を基に上記バッファ１０５に記憶された映像信号からエッジ成分を抽出するものである。抽出されたエッジ成分は、エッジ補正部１１５へ転送される。エッジ補正部１１５は、エッジ補正手段であって、上記エッジ方向検出部１１３により検出されたエッジ方向に関する情報を基に上記エッジ抽出部１１４から抽出されたエッジ成分を補正するものである。補正されたエッジ成分は、エッジ強調部１１６へ転送される。エッジ強調部１１６は、エッジ強調手段であって、上記エッジ補正部１１５で補正処理が施されたエッジ成分を用いて、上記バッファ１１２に記憶されたノイズ低減処理後の映像信号のエッジ強調処理を行うものである。エッジ強調処理がなされた映像信号は、信号処理部１１７へ転送される。信号処理部１１７は、信号処理手段であって、上記エッジ強調部１１６でエッジ強調処理が施された映像信号に対して、例えば公知の圧縮処理などの所望の信号処理を行うものである。信号処理がなされた映像信号は、出力部１１８へ転送される。出力部１１８は、出力手段であって、上記信号処理部１１７からの映像信号を例えばメモリカード等に記録するために出力するものである。制御手段に含まれる情報取得手段たる外部Ｉ／Ｆ部１２０は、電源スイッチ，シャッタボタン，動画／静止画の切り換えや圧縮率，画像サイズ，ＩＳＯ感度の設定などの撮影時の各種モードを設定するためのモードスイッチ等へのインターフェースを備えたものである。制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部１１９は、上記増幅器１０３、Ａ／Ｄ変換器１０４、測光評価部１０６、合焦点検出部１０７、抽出部１０９、ノイズ推定部１１０、ノイズ低減部１１１、エッジ方向検出部１１３、エッジ抽出部１１４、エッジ補正部１１５、エッジ強調部１１６、信号処理部１１７、出力部１１８、外部Ｉ／Ｆ部１２０と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。さらに、ＣＣＤ１０２の近傍に配置された温度センサー１２１からの信号も制御部１１９へ接続されている。
【００１１】
次に、図１において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してＩＳＯ感度などの撮影条件を設定した後、不図示のシャッターボタンを半押しにすることでプリ撮像モードに入る。
【００１２】
レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影された信号は、アナログ信号として出力される。
【００１３】
なお、本実施形態においてＣＣＤ１０２は白黒用単板ＣＣＤを、出力される信号は輝度信号Ｙを想定する。上記アナログ信号は増幅器１０３によって所定量増幅され、Ａ／Ｄ変換器１０４によってデジタル信号へ変換されてバッファ１０５へ転送される。
【００１４】
なお、本実施形態においてＡ／Ｄ変換器１０４は１２ｂｉｔ階調でデジタル信号へ変換するものと想定する。
【００１５】
バッファ１０５内の映像信号は、測光評価部１０６および合焦点検出部１０７へ転送される。測光評価部１０６では、設定されたＩＳＯ感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるように絞り１０１やＣＣＤ１０２の電子シャッター速度や増幅器１０３のゲインなどを制御する。また、合焦点検出部１０７では信号中のエッジ強度を検出し、これが最大となるようにＡＦモータ１０８を制御することで合焦信号を得る。
【００１６】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンからの全押し情報が入力されることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。本撮影は、測光評価部１０６によって求められた露光条件、合焦点検出部１０７によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部１１９へ転送される。バッファ１０５内の映像信号は抽出部１０９へ転送される。抽出部１０９は、制御部１１９の制御に基づき図２に示されるような注目画素Ｐ22を包含する３×３画素サイズの注目領域Ｐij（ｉ＝１〜３，ｊ＝１〜３）を順次抽出し、ノイズ推定部１１０およびノイズ低減部１１１へ転送する。
【００１７】
なお、図２においては５×５画素サイズの領域を示しているが、これは後述するエッジ処理において５×５画素サイズの領域を要するためで、説明の便宜上５×５画素サイズを示している。
【００１８】
また、以後の説明では注目画素をＰ22と想定するが、注目画素自体は全信号から順次抽出され、その座標位置も順次移動して行く。
【００１９】
ノイズ推定部１１０は、制御部１１９の制御に基づき抽出部１０９からの注目領域および撮影時の情報に基づき注目画素Ｐ22のノイズ量Ｎ22を推定し、これをノイズ低減部１１１へ転送する。ノイズ低減部１１１は、制御部１１９の制御に基づき抽出部１０９からの注目画素Ｐ22に関して、ノイズ推定部１１０からのノイズ量Ｎ22に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素Ｐ'22およびそのノイズ量Ｎ22をバッファ１１２へ転送する。上記抽出部１０９、ノイズ推定部１１０、ノイズ低減部１１１における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。バッファ１１２には、ノイズ低減処理後の全信号およびそのノイズ量が記録されることになる。
【００２０】
エッジ方向検出部１１３は、制御部１１９の制御に基づきバッファ１１２から図１０に示されるようなノイズ低減処理後の注目画素Ｐ'22およびこれを包含する５×５画素サイズの処理領域Ｐ'kl（ｋ＝０〜４，ｌ＝０〜４）を順次抽出する。その後、注目画素Ｐ'22およびその周囲８画素（Ｐ'11，Ｐ'21，Ｐ'31，Ｐ'12，Ｐ'32，Ｐ'13，Ｐ'23，Ｐ'33）のエッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）を検出し、エッジ抽出部１１４およびエッジ補正部１１５へ転送する。エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の原信号をバッファ１０５から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素（Ｐ'11，Ｐ'21，Ｐ'31，Ｐ'12，Ｐ'32，Ｐ'13，Ｐ'23，Ｐ'33）のエッジ成分（Ｅ22およびＥ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）を抽出し、エッジ補正部１１５へ転送する。
【００２１】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、エッジ方向検出部１１３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、数式１に示すように所定の係数ｇ1を乗算した後に加算することでエッジ強調処理後の画素値Ｐ"22を求め、信号処理部１１７へ転送する。  
［数１］
Ｐ"22＝Ｐ'22＋ｇ1・Ｅ'22
【００２２】
上記エッジ方向検出部１１３，エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき処理領域単位で同期して行われる。信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。
【００２３】
図３はノイズ推定部１１０の構成の一例を示すものである。ノイズ推定部１１０は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６を備えている。抽出部１０９は、平均算出部２００へ接続している。平均算出部２００は、パラメータ選択部２０４へ接続している。ゲイン算出部２０１，標準値付与部２０２，パラメータ用ＲＯＭ２０３は、パラメータ選択部２０４へ接続している。パラメータ選択部２０４は、補間部２０５および補正部２０６へ接続している。補間部２０５は、補正部２０６を介してノイズ低減部１１１へ接続している。制御部１１９は、平均算出部２００，ゲイン算出部２０１，標準値付与部２０２，パラメータ選択部２０４，補間部２０５，補正部２０６へ双方向に接続されている。
【００２４】
平均算出部２００は、制御部１１９の制御に基づき、抽出部１０９からノイズ低減処理を行う図２に示される注目領域（Ｐij，ｉ＝１〜３，ｊ＝１〜３）の平均値ＡＶ22を数式２に示すように算出して、パラメータ選択部２０４へ転送する。  
［数２］
ＡＶ22＝ΣＰij／９
【００２５】
ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、パラメータ選択部２０４へ転送する。また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをパラメータ選択部２０４へ転送する。
【００２６】
パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づき輝度ノイズ量を推定する。
【００２７】
図４〜図６は、輝度ノイズ量の推定に関する説明図である。図４は、輝度値を信号レベルＬとした場合のノイズ量Ｎをプロットしたものであり、ノイズ量Ｎは信号レベルＬに対して２次曲線的に増加している。図４を２次関数でモデル化すると数式３が得られる。  
［数３］
Ｎ＝αＬ2＋βＬ＋γ
ここで、α，β，γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。
【００２８】
図４は、一例としてある温度下においてゲインに関連する３種類のＩＳＯ感度１００，２００，４００に対するノイズ量をプロットしている。個々の曲線は数式３に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をｔ、ゲインをｇとし、上記を考慮した形でモデルの定式化を行うと数式４となる。  
［数４］
Ｎ＝αgtＬ2＋βgtＬ＋γgt
ここで、αgt，βgt，γgtは定数項である。ただし、数式４の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図５に示すようなモデルの簡略化を行う。
【００２９】
図５においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルＬとノイズ量Ｎとを成分とする座標データ（Ｌn，Ｎn）で表す。ここで、ｎは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数ｋgtも用意される。補正係数ｋgtは、各ノイズモデルと基準ノイズモデルとの間に最小自乗法を適用することにより算出される。基準ノイズモデルからの他のノイズモデルの導出は、上記補正係数ｋgtを乗算することにより行われる。
【００３０】
図６は、図５に示す簡易化されたノイズモデルからノイズ量を算出する方法を示している。例えば、与えられた信号レベルｌ、ゲインｇ、温度ｔに対応するノイズ量Ｎを求めることを想定する。まず、信号レベルｌが基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルｌが（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）間の区間に属するものとする。基準ノイズモデルにおける基準ノイズ量Ｎlを線形補間によって求める。  
［数５］
2007077730.tif 000077
次に、基準ノイズ量Ｎlに補正係数ｋgtを乗算することで、ノイズ量Ｎを求める。  
［数６］
Ｎ＝ｋgt・Ｎl
【００３１】
パラメータ選択部２０４は、平均算出部２００からの注目領域の平均値ＡＶ22から信号レベルｌを、ゲイン算出部２０１からのゲインの情報からゲインｇを、制御部１１９からの温度情報から温度ｔを設定する。次に、信号レベルｌが属する区間の座標データ（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）をパラメータ用ＲＯＭ２０３から探索し、信号レベルｌと共に補間部２０５へ転送する。さらに、補正係数ｋgtをパラメータ用ＲＯＭ２０３から探索し、これを補正部２０６へ転送する。
【００３２】
補間部２０５は、制御部１１９の制御に基づきパラメータ選択部２０４からの信号レベルｌおよび区間の座標データ（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）から数式５に基づき基準ノイズモデルにおける基準ノイズ量Ｎlを算出し、補正部２０６へ転送する。
【００３３】
補正部２０６は、制御部１１９の制御に基づきパラメータ選択部２０４からの補正係数ｋgtおよび補間部２０５からの基準ノイズ量Ｎlから数式６に基づきノイズ量Ｎを算出し、注目画素Ｐ22のノイズ量Ｎ22とする。推定されたノイズ量Ｎ22および平均値ＡＶ22はノイズ低減部１１１へ転送される。
【００３４】
なお、上記ノイズ量算出の過程において、温度ｔ，ゲインｇなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部２０２に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【００３５】
図７はノイズ低減部１１１の構成の一例を示すものである。ノイズ低減部１１１は、範囲設定部３００，切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３を備えている。ノイズ推定部１１０は範囲設定部３００へ、範囲設定部３００は切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３へ接続している。抽出部１０９は切り換え部３０１へ、切り換え部３０１は第１スムージング部３０２および第２スムージング部３０３へ接続している。第１スムージング部３０２および第２スムージング部３０３は、バッファ１１２へ接続している。制御部１１９は、範囲設定部３００，切り換え部３０１，第１スムージング部３０２，第２スムージング部３０３と双方向に接続している。ノイズ推定部１１０は、注目領域の平均値ＡＶ22およびノイズ量Ｎ22を範囲設定部３００へ転送する。
【００３６】
範囲設定部３００は、制御部１１９の制御に基づきノイズ量に関する許容範囲として上限Ｕｐおよび下限Ｌｏｗを数式７のように設定する。  
［数７］
Ｕｐ ＝ＡＶ22＋Ｎ22／２
Ｌｏｗ＝ＡＶ22−Ｎ22／２
上記許容範囲Ｕｐ，Ｌｏｗは、切り換え部３０１へ転送される。また、範囲設定部３００は平均値ＡＶ22およびノイズ量Ｎ22を第１スムージング部３０２および第２スムージング部３０３へ転送する。
【００３７】
切り換え部３０１は、制御部１１９の制御に基づき抽出部１０９からの注目画素Ｐ22を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部３０１は、「ノイズ範囲に属している」場合は第１スムージング部３０２へ、それ以外は第２スムージング部３０３へ注目画素Ｐ22を転送する。第１スムージング部３０２は、切り換え部３０１からの注目画素Ｐ22に範囲設定部３００からの平均値ＡＶ22を代入する処理を行う。  
［数８］
Ｐ'22＝ＡＶ22
数式８でのノイズ低減処理がなされた注目画素Ｐ'22およびノイズ量Ｎ22はバッファ１１２へ転送される。
【００３８】
第２スムージング部３０３は、切り換え部３０１からの注目画素Ｐ22に範囲設定部３００からの平均値ＡＶ22とノイズ量Ｎ22を用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は数式９のように補正する。  
［数９］
Ｐ'22＝ＡＶ22−Ｎ22／２
また、「ノイズ範囲を下回っている」場合は数式１０のように補正する。  
［数１０］
Ｐ'22＝ＡＶ22＋Ｎ22／２
数式９または数式１０のノイズ低減処理がなされた注目画素Ｐ'22およびノイズ量Ｎ22はバッファ１１２へ転送される。
【００３９】
図８はエッジ方向検出部１１３の構成の一例を示すものである。エッジ方向検出部１１３は、閾値設定部４００，バッファ４０１，フィルタ処理部４０２，フィルタＲＯＭ４０３，バッファ４０４，エッジ選択部４０５，方向決定部４０６を備えている。バッファ１１２は閾値設定部４００およびフィルタ処理部４０２へ接続している。閾値設定部４００は、バッファ４０１を介してエッジ選択部４０５へ接続している。フィルタ処理部４０２は、バッファ４０４，エッジ選択部４０５，方向決定部４０６を介してエッジ抽出部１１４およびエッジ補正部１１５へ接続している。フィルタＲＯＭ４０３は、フィルタ処理部４０２へ接続している。制御部１１９は、閾値設定部４００，フィルタ処理部４０２，エッジ選択部４０５，方向決定部４０６と双方向に接続している。
【００４０】
閾値設定部４００は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理がなされた注目画素Ｐ'22に対応するノイズ量Ｎ22を読み込み、所定の係数ｇ2、例えばｇ2＝２を乗算することでエッジ成分に対する閾値Ｔ22を数式１１に示すように算出する。  
［数１１］
Ｔ22＝ｇ2・Ｎ22
【００４１】
なお、本実施形態では図１０に示される５×５画素サイズの処理領域Ｐ'kl（ｋ＝０〜４，ｌ＝０〜４）を想定しており、図１１に示される注目画素Ｐ'22およびその周囲８画素（Ｐ'11，Ｐ'21，Ｐ'31，Ｐ'12，Ｐ'32，Ｐ'13，Ｐ'23，Ｐ'33）の９画素に対して閾値（Ｔ22およびＴ11，Ｔ21，Ｔ31，Ｔ12，Ｔ32，Ｔ13，Ｔ23，Ｔ33）は算出される。算出された閾値はバッファ４０１へ転送される。
【００４２】
フィルタ処理部４０２は、制御部１１９の制御に基づきバッファ１１２から図１０に示される５×５画素サイズの処理領域Ｐ'klを読み込み、注目画素Ｐ'22およびその周囲８画素の９画素に対して３×３サイズのフィルタ処理を行う。図１２〜図１９は、フィルタ処理に用いられる８方向（０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°）のフィルタ係数を示す。上記フィルタ係数は、フィルタＲＯＭ４０３に記録されており、必要に応じてフィルタ処理部４０２へ転送される。フィルタ処理部４０２は、図１１に示される９画素に対し８方向のフィルタ処理を行い、これを絶対値化することで計７２のエッジ成分を算出し、バッファ４０４へ転送する。
【００４３】
エッジ選択部４０５は、制御部１１９の制御に基づきバッファ４０１から上記９画素に対する閾値を、バッファ４０４から上記９画素に対する８方向のエッジ成分を読み込む。この後、エッジ選択部４０５は、画素単位で上記閾値と８方向のエッジ成分を比較し、閾値以下のエッジ成分を省略し、閾値以上のエッジ成分を方向決定部４０６へ転送する。
【００４４】
方向決定部４０６は、制御部１１９の制御に基づきエッジ選択部４０５から転送されるエッジ成分を９画素の画素単位で処理する。これは、転送されるエッジ成分をソートし、最大値と、最大値を与える方向と１８０°ずれた対角方向を除く２番目の最大値と、を検出し、両者の差が所定の閾値以上の場合には最大値を与える方向をエッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）とする。一方、最大値と２番目の最大値の差が所定の閾値以下の場合には、有効なエッジ方向が複数あると判断し、等方的なエッジ方向とする。また、エッジ選択部４０５から転送される８方向のエッジ成分がない場合、平坦な領域としてエッジ方向がないとする。上記「最大値を与える方向」が得られた場合は、この方向をエッジ抽出部１１４およびエッジ補正部１１５へ転送する。また、「等方的なエッジ方向」および「エッジ方向がない」の場合は、制御部１１９へその情報を転送する。
【００４５】
制御部１１９は、エッジ抽出部１１４を制御し、「最大値を与える方向」が得られた場合は、図１２〜図１９に示されるその方向に対応するフィルタ係数によりエッジ成分の抽出を行わせる。一方、「等方的なエッジ方向」の場合は、図２０に示される等方的なフィルタ係数によりエッジ成分の抽出を行わせる。さらに、「エッジ方向がない」の場合には、エッジ抽出部１１４の処理を中止し、次の注目画素へ処理を移行させる。
【００４６】
なお、上記実施形態ではエッジ方向を決定する上で８方向のフィルタ処理とノイズ量に基づく閾値を使用しているが、このような構成に限定される必要はない。例えば、図９に示されるように、水平，垂直の２方向フィルタ処理と固定的な閾値によるより簡略された構成も可能である。
【００４７】
図９は、図８における閾値設定部４００，バッファ４０１を削除し、エッジ選択部４０５を変動除去部５００へ置換したもので、基本構成は図８に示すエッジ方向検出部１１３と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００４８】
バッファ４０４は変動除去部５００へ、変動除去部５００は方向決定部４０６へ接続している。制御部１１９は、変動除去部５００と双方向に接続している。
【００４９】
フィルタ処理部４０２は、図１１に示される９画素に対し水平，垂直の２方向のフィルタ処理を行い、これを絶対値化することで計１８のエッジ成分を算出し、バッファ４０４へ転送する。図２１，図２２は、水平，垂直の２方向のフィルタ係数を示す。上記フィルタ係数は、フィルタＲＯＭ４０３に記録されており、必要に応じてフィルタ処理部４０２へ転送される。
【００５０】
変動除去部５００は、制御部１１９の制御に基づきバッファ４０４から上記９画素に対する２方向のエッジ成分を読み込む。この後、所定の下位ビット、本実施形態ではＡ／Ｄ変換器１０４を１２ｂｉｔ階調と想定しているため例えば下位４ｂｉｔを削除することで微小な変動成分を除去する。変動成分が除去された２方向のエッジ成分は、方向決定部４０６へ転送される。
【００５１】
方向決定部４０６は、制御部１１９の制御に基づきエッジ選択部４０５から転送されるエッジ成分を９画素の画素単位で処理し、エッジ方向を算出する。数式１２は、注目画素Ｐ'22におけるエッジ方向の算出を示す。  
［数１２］
Ｄ22＝ｔａｎ-1（Ｅ９０22／Ｅ０22）
上記数式１２において、Ｅ０は水平方向のＥ９０は垂直方向のエッジ成分を意味する。数式１２の演算は、図１１に示される９画素に対し画素単位で行われる。
【００５２】
なお、変動成分が除去された結果、水平，垂直の２方向ともエッジ成分が存在しない場合は「エッジ方向がない」として、制御部１１９へその情報を転送する。２方向の処理では、「等方的なエッジ方向」は検出されない。
【００５３】
図２３、図２４は、エッジ補正部１１５におけるエッジ成分の補正に用いる周囲画素を示す。図２３の例では、注目画素Ｐ'22のエッジ方向Ｄ22に基づき周囲８方向にある画素の一つを選択し、そのエッジ成分をＥdとした場合に数式１３で算出する。  
［数１３］
Ｅ'22＝（Ｅ22＋Ｅd）／２
また、図２４の例では、注目画素Ｐ'22のエッジ方向Ｄ22に基づき周囲８方向にある画素の一つを選択し、そのエッジ成分をＥd、その対角方向にある画素のエッジ成分をＥdoとした場合に数式１４で算出する。  
［数１４］
Ｅ'22＝（２Ｅ22＋Ｅd＋Ｅdo）／４
【００５４】
上記構成により、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
【００５５】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【００５６】
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
【００５７】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
【００５８】
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。
【００５９】
また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。
【００６０】
さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
【００６１】
なお、上記実施形態ではレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅器１０３，Ａ／Ｄ変換器１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサー１２１を含む撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
【００６２】
例えば、図２５に示されるように、別体の撮像部で撮像された映像信号を未処理のＲａｗデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
【００６３】
図２５は、図１に示す構成からレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅器１０３，Ａ／Ｄ変換器１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサー１２１を省略し、入力部６００，ヘッダ情報解析部６０１を追加した構成となっている。基本構成は図１と同様であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。
【００６４】
入力部６００は、バッファ１０５およびヘッダ情報解析部６０１へ接続している。制御部１１９は、入力部６００，ヘッダ情報解析部６０１と双方向に接続している。マウス，キーボードなどの外部Ｉ／Ｆ部１２０を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部６００から読み込まれる。入力部６００からの信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部６０１へ転送される。ヘッダ情報解析部６０１は、ヘッダ情報から撮影時の情報を抽出して制御部１１９へ転送する。以後の処理は、図１と同様である。
【００６５】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
【００６６】
図２６、図２７に、信号処理のソフトウェア処理に関するフローチャートを示す。
【００６７】
処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込む（ステップＳ１）。
【００６８】
次に、図２に示されるような注目画素および３×３画素サイズの注目領域を抽出する（ステップＳ２）。
【００６９】
そして、別途説明するように、抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。
【００７０】
続いて、注目画素に数式７に示される許容範囲を設定する（ステップＳ４）。
【００７１】
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。
【００７２】
ステップＳ５において注目画素が許容範囲内に属すると判断されると、数式８に示される処理を行う（ステップＳ６）。
【００７３】
一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。
【００７４】
上記ステップＳ６またはステップＳ７の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。
【００７５】
上記ステップＳ８で全注目領域の抽出が完了したと判断されると、次に図１０に示されるような注目画素および５×５画素サイズの処理領域を抽出する（ステップＳ９）。
【００７６】
続いて、図１１に示される９画素に関して図１２〜図１９に示される方向別の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。
【００７７】
さらに、ステップＳ１０からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する（ステップＳ１１）。
【００７８】
次にステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。
【００７９】
更に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。
【００８０】
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。
【００８１】
ステップＳ１４で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップＳ１５）。
【００８２】
その後、処理後の信号が出力され終了する（ステップＳ１６）。
【００８３】
図２７は、上記ステップＳ３におけるノイズ量の推定に関するフローチャートである。
【００８４】
まず、数式２に示される注目領域の平均値を算出する（ステップＳ２０）。
【００８５】
次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する（ステップＳ２１）。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【００８６】
更に、基準ノイズモデルの座標データおよび補正係数を読み込む（ステップＳ２２）。
【００８７】
続いて、数式５に示される補間処理によって基準ノイズ量を求める（ステップＳ２３）。
【００８８】
次に、数式６に示される補正処理によってノイズ量を求める（ステップＳ２４）。
【００８９】
最後に、算出されたノイズ量を出力して終了する（ステップＳ２５）。
【００９０】
このように、ハードウェアによる実行を前提としていた上述したような処理も、上記第１の実施形態と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することが可能となる。
【００９１】
［第２の実施形態］
図２８から図３７は本発明の第２の実施形態を示したものであり、図２８は第２の実施形態の構成を示すブロック図、図２９、図３０は注目画素および注目領域に関する説明図であって、図２９は注目画素およびその近傍領域を示す図、図３０は注目画素および抽出された類似画素を示す図、図３１は抽出部の構成を示すブロック図、図３２はノイズ推定部の構成を示すブロック図、図３３はエッジ方向検出部の構成を示すブロック図、図３４、図３５はエッジ方向検出部のエッジ抽出フィルタに関する説明図であって、図３４は水平エッジ抽出フィルタを示す図、図３５は垂直エッジ抽出フィルタを示す図、図３６、図３７は第２の実施形態における信号処理のフローチャートであって、図３６は全体処理のフローチャート、図３７はノイズ推定処理のフローチャートである。
【００９２】
図２８は、第２の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態における抽出部１０９，ノイズ推定部１１０，エッジ方向検出部１１３が、抽出部７００，ノイズ推定部７０１，エッジ方向検出部７０２に置換され、バッファ７０３が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００９３】
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，抽出部７００，エッジ抽出部１１４へ接続されている。抽出部７００は、ノイズ推定部７０１およびノイズ低減部１１１へ接続されている。ノイズ推定部７０１は抽出部７００，ノイズ低減部１１１，エッジ方向検出部７０２へ接続されている。エッジ方向検出部７０２は、バッファ７０３を介して、エッジ抽出部１１４およびエッジ補正部１１５へ接続されている。制御部１１９は、抽出部７００，ノイズ推定部７０１，エッジ方向検出部７０２と双方向に接続されている。
【００９４】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。
【００９５】
図２８において、信号の流れを説明する。抽出部７００は、制御部１１９の制御に基づき図２９に示される注目画素Ｐ22を包含する５×５画素サイズの注目領域Ｐij（ｉ＝０〜４，ｊ＝０〜４）を順次抽出する。上記注目画素Ｐ22は、ノイズ推定部７０１およびノイズ低減部１１１へ転送される。
【００９６】
ノイズ推定部７０１は、制御部１１９の制御に基づきノイズ低減処理を行う注目画素Ｐ22に対する第１のノイズ量Ｎ１22を推定し、これを抽出部７００へ転送する。
【００９７】
抽出部７００は、制御部１１９の制御に基づき、注目画素Ｐ22および上記第１のノイズ量Ｎ１22に基づき注目画素Ｐ22と類似する画素を抽出するための許容範囲を算出する。算出された上記許容範囲に基づき、上記注目領域から類似する類似画素を抽出する。類似画素としては、例えば図３０に示されるような類似画素Ｐkl（ｋ＝０〜４のいずれか，ｌ＝０〜４のいずれか）を想定する。抽出された類似画素Ｐklおよび注目画素Ｐ22は、ノイズ推定部７０１へ転送される。
【００９８】
ノイズ推定部７０１は、制御部１１９の制御に基づき、ノイズ低減処理を行う注目画素Ｐ22および上記類似画素Ｐklに対する第２のノイズ量Ｎ２22を推定し、これをノイズ低減部１１１へ転送する。また、注目画素Ｐ22および上記類似画素Ｐklの情報をエッジ方向検出部７０２へ転送する。
【００９９】
ノイズ低減部１１１は、第１の実施形態と同様に注目画素Ｐ22に関して、ノイズ推定部７０１からのノイズ量Ｎ２22に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素Ｐ'22をバッファ１１２へ転送する。
【０１００】
エッジ方向検出部７０２は、ノイズ推定部７０１からの注目画素Ｐ22および上記類似画素Ｐklの情報に基づき、注目画素Ｐ22に対するエッジ方向Ｄ22を検出する。上記エッジ方向Ｄ22は、バッファ７０３へ転送される。
【０１０１】
上記抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１，エッジ方向検出部７０２における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。
【０１０２】
バッファ１１２にはノイズ低減処理後の全信号が、バッファ７０３にはエッジ方向が記録されることになる。
【０１０３】
エッジ抽出部１１４は、第１の実施形態と同様にバッファ１０５から注目画素Ｐ22およびその周囲８画素（Ｐ11，Ｐ21，Ｐ31，Ｐ12，Ｐ32，Ｐ13，Ｐ23，Ｐ33）の９画素を含む図３０に示される５×５画素サイズの処理領域を、バッファ７０３からエッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）を読み込む。その後、上記９画素に対してエッジ方向に基づき図１２〜図１９に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分（Ｅ22およびＥ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）を抽出し、エッジ補正部１１５へ転送する。
【０１０４】
エッジ補正部１１５は、第１の実施形態と同様に、注目画素Ｐ22のエッジ成分Ｅ22に関して、バッファ７０３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。
【０１０５】
エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき第１の実施形態と同様にエッジ強調処理後の画素値Ｐ"22を求め、信号処理部１１７へ転送する。
【０１０６】
上記エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき処理領域単位で同期して行われる。
【０１０７】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。
【０１０８】
図３１は抽出部７００の構成の一例を示すものである。抽出部７００は、許容範囲設定部８００，近傍抽出部８０１，類似性調査部８０２，バッファ８０３を備えている。
【０１０９】
ノイズ推定部７０１は、許容範囲設定部８００へ接続している。バッファ１０５は、近傍抽出部８０１，類似性調査部８０２，バッファ８０３を介してノイズ推定部７０１へ接続している。近傍抽出部８０１は、ノイズ低減部１１１およびノイズ推定部７０１へ接続している。制御部１１９は、許容範囲設定部８００，近傍抽出部８０１，類似性調査部８０２と双方向に接続されている。
【０１１０】
近傍抽出部８０１は、制御部１１９の制御に基づき、バッファ１０５から注目画素Ｐ22を抽出し、ノイズ推定部７０１およびノイズ低減部１１１および許容範囲設定部８００へ転送する。
【０１１１】
許容範囲設定部８００は、制御部１１９の制御に基づき、ノイズ推定部７０１から注目画素Ｐ22に対する第１のノイズ量Ｎ１22が転送された後、類似画素を探索するための許容範囲として上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを数式１５のように設定する。  
［数１５］
Ａｐｐ＿Ｕｐ ＝Ｐ22＋Ｎ１22／２
Ａｐｐ＿Ｌｏｗ＝Ｐ22−Ｎ１22／２
上記許容範囲は、類似性調査部８０２へ転送される。
【０１１２】
近傍抽出部８０１は、制御部１１９の制御に基づき、バッファ１０５から図２９に示される注目領域Ｐijを抽出し、画素単位で順次類似性調査部８０２へ転送する。
【０１１３】
類似性調査部８０２は、許容範囲設定部８００からの許容範囲として上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗに基づき、近傍抽出部８０１からの画素を調査する。画素が数式１５の許容範囲内にある場合、これを類似画素Ｐklとしての有効を意味するフラグ、例えば１を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば０を与える。上記フラグと画素値は組としてバッファ８０３へ保存される。図３０は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。バッファ８０３上のフラグおよび画素値情報は、制御部１１９の制御に基づき、必要に応じてノイズ推定部７０１へ転送される。
【０１１４】
図３２はノイズ推定部７０１の構成の一例を示すものである。ノイズ推定部７０１は、第１の実施形態の図３に示されるノイズ推定部１１０にノイズＬＵＴ（ルックアップテーブル）９００が追加され、パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６が省略された構成になっている。基本構成は図３に示すノイズ推定部１１０と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１１５】
抽出部７００は、平均算出部２００およびエッジ方向検出部７０２へ接続している。平均算出部２００，ゲイン算出部２０１，標準値付与部２０２は、ノイズＬＵＴ９００へ接続している。ノイズＬＵＴ９００は、ノイズ低減部１１１および抽出部７００へ接続している。制御部１１９は、ノイズＬＵＴ９００へ双方向に接続されている。
【０１１６】
平均算出部２００は、制御部１１９の制御に基づき抽出部７００から注目画素Ｐ22、または注目画素Ｐ22と類似画素Ｐklとを読み込み、平均値を算出する。上記平均値はノイズＬＵＴ９００へ転送される。
【０１１７】
ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、ノイズＬＵＴ９００へ転送する。
【０１１８】
また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをノイズＬＵＴ９００へ転送する。
【０１１９】
ノイズＬＵＴ９００は、平均算出部２００からの平均値，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づきノイズ量を推定する。ノイズＬＵＴ９００は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態と同様の手法により構築される。ノイズＬＵＴ９００で得られたノイズ量は抽出部７００へ転送される。また、抽出部７００で得られた類似画素を識別するためのフラグ情報および画素値はエッジ方向検出部７０２へ転送される。
【０１２０】
なお、標準値付与部２０２は第１の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
【０１２１】
図３３はエッジ方向検出部７０２の構成の一例を示すものである。エッジ方向検出部７０２は、水平フィルタ処理部１０００，垂直フィルタ処理部１００１，方向決定部１００２を備えている。ノイズ推定部７０１は、水平フィルタ処理部１０００および垂直フィルタ処理部１００１へ接続している。水平フィルタ処理部１０００および垂直フィルタ処理部１００１は、方向決定部１００２へ接続している。方向決定部１００２は、バッファ７０３へ接続している。制御部１１９は、水平フィルタ処理部１０００，垂直フィルタ処理部１００１，方向決定部１００２と双方向に接続している。
【０１２２】
水平フィルタ処理部１０００および垂直フィルタ処理部１００１は、制御部１１９の制御に基づき、図３０に示すように５×５画素サイズの注目画素Ｐ22および類似画素Ｐklに関するフラグおよび画素値情報を読み込む。その後、図３４または図３５に示す５×５画素サイズのフィルタ処理と絶対値化を行い、水平または垂直方向のエッジ成分を抽出する。なお、類似画素Ｐklに関しては、そのフラグが０である画素は画素値を０に置換してフィルタ処理を行う。上記エッジ成分は、方向決定部１００２へ転送される。
【０１２３】
方向決定部１００２は、制御部１１９の制御に基づき水平フィルタ処理部１０００からの水平エッジ成分Ｅ０22および垂直フィルタ処理部１００１からの垂直エッジ成分Ｅ９０22に基づき、数式１２に示されるようにエッジ方向Ｄ22を算出する。算出されたエッジ方向Ｄ22はバッファ７０３へ転送される。
【０１２４】
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
【０１２５】
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【０１２６】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【０１２７】
さらに、ノイズ低減処理では注目画素から概略的な第１のノイズ量を推定し、第１のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、第２のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
【０１２８】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
【０１２９】
なお、上記第２の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。
【０１３０】
さらに、上記第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
【０１３１】
図３６、図３７は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図２６、図２７に示す本発明の第１の実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
【０１３２】
処理を開始すると、まず信号と温度，ゲインなどのヘッダ情報を読み込む（ステップＳ１）。
【０１３３】
次に図２９に示されるような注目画素および５×５画素サイズの注目領域を抽出する（ステップＳ２）。
【０１３４】
そして、別途説明するように抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。
【０１３５】
更に、類似画素を探索するための数式１５に示される許容範囲を設定する（ステップＳ３０）。
【０１３６】
その後、図３０に示されるような類似画素を抽出する（ステップＳ３１）。
【０１３７】
そして、上述のステップＳ３と同じ処理によって、注目画素および抽出した類似画素を用いてノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３２）。
【０１３８】
次に、注目画素に数式７に示される許容範囲を設定する（ステップＳ４）。
【０１３９】
そして、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。
【０１４０】
ステップＳ５において注目画素が許容範囲内に属すると判断されると、続けて数式８に示される処理を行う（ステップＳ６）。
【０１４１】
一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。
【０１４２】
その後、図３０に示される注目画素および類似画素に関して図３４，図３５に示される水平，垂直用の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。
【０１４３】
そして、全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合は次のステップＳ９へ分岐する（ステップＳ８）。
【０１４４】
次に、図３０に示されるような注目画素および類似画素を含む５×５画素サイズの処理領域を抽出する（ステップＳ９）。
【０１４５】
更に、ステップＳ１０からのエッジ方向情報に基づきノイズ低減処理前の原信号から注目領域のエッジ成分を抽出する（ステップＳ３３）。
【０１４６】
次に、ステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。
【０１４７】
その後、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。
【０１４８】
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。
【０１４９】
全処理領域の抽出が完了した場合は、公知の圧縮処理などが行われ（ステップＳ１５）、処理後の信号が出力され終了する（ステップＳ１６）。
【０１５０】
図３７は、上記ステップＳ３およびステップＳ３２におけるノイズ量の推定に関するフローチャートである。
【０１５１】
まず、注目領域または注目画素と類似画素の平均値を算出する（ステップＳ２０）。
【０１５２】
次に、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する（ステップＳ２１）。その際、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０１５３】
その後、ルックアップテーブルを用いてノイズ量を求め（ステップＳ４０）、算出されたノイズ量を出力して終了する（ステップＳ２５）。
【０１５４】
この様に、ＣＣＤ１０２からの信号を未処理のままのＲａｗデータとし、制御部１１９からの撮影時の温度，ゲインなどをヘッダ情報として付加された映像信号であれば、別途ソフトウェアによって処理する構成も可能である。
【０１５５】
［第３の実施形態］
図３８から図４７は本発明の第３の実施形態を示したものであり、図３８は第３の実施形態の構成を示すブロック図、図３９、図４０はＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、図３９は実空間を示す図、図４０は周波数空間を示す図、図４１はノイズ推定部の構成を示すブロック図、図４２はノイズ低減部の構成を示すブロック図、図４３はエッジ方向検出部の構成を示すブロック図、図４４はエッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図、図４５、図４６、図４７は第３の実施形態における信号処理のフローチャートであって、図４５は全体処理のフローチャート、図４６はノイズ推定処理のフローチャート、図４７はエッジ方向検出処理のフローチャートである。
【０１５６】
図３８は、本発明の第３の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるノイズ推定部１１０，ノイズ低減部１１１，エッジ方向検出部１１３がノイズ推定部１１０１，ノイズ低減部１１０２，エッジ方向検出部１１０４に置換され、ＤＣＴ変換部１１００，逆ＤＣＴ変換部１１０３，バッファ１１０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１５７】
抽出部１０９はＤＣＴ変換部１１００へ、ＤＣＴ変換部１１００はノイズ推定部１１０１およびノイズ低減部１１０２へ接続されている。ノイズ低減部１１０２は、逆ＤＣＴ変換部１１０３を介してバッファ１１２へ接続されている。ノイズ推定部１１０１は、ノイズ低減部１１０２およびエッジ方向検出部１１０４へ接続されている。エッジ方向検出部１１０４はバッファ１１０５へ、バッファ１１０５はエッジ抽出部１１４およびエッジ補正部１１５へ接続されている。制御部１１９は、ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３，エッジ方向検出部１１０４と双方向に接続されている。
【０１５８】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。
【０１５９】
図３８において、信号の流れを説明する。抽出部１０９は、制御部１１９の制御に基づき、図３９に示されるような４×４画素サイズの注目領域（ブロック領域）を順次抽出し、ＤＣＴ変換部１１００へ転送する。
【０１６０】
ＤＣＴ変換部１１００は、制御部１１９の制御に基づき上記注目領域に公知のＤＣＴ（Discrete Cosine Transform）変換を行い、図４０に示されるような周波数成分へ変換する。ＤＣＴ変換では、図４０に示されるように、左上を原点すなわち０次成分として、１次以上の高周波成分は０次成分を原点とする同心円上に配置されることになる。本実例では、４×４画素サイズを想定するため次数として５次の高周波成分まで存在することになる。変換後の周波数成分は、ノイズ推定部１１０１およびノイズ低減部１１０２へ転送される。
【０１６１】
ノイズ推定部１１０１は、制御部１１９の制御に基づき、周波数成分中の０次成分および撮影時の情報に基づき、０次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する。算出されたノイズ量はノイズ低減部１１０２へ、周波数成分はエッジ方向検出部１１０４へ転送される。
【０１６２】
ノイズ低減部１１０２は、制御部１１９の制御に基づき、ノイズ推定部１１０１からのノイズ量に基づき０次成分以外の高周波数成分に対してノイズ低減処理を行い、０次成分と共に逆ＤＣＴ変換部１１０３へ転送する。
【０１６３】
逆ＤＣＴ変換部１１０３は、制御部１１９の制御に基づき、０次成分とノイズ低減処理後の０次成分以外の高周波数成分に対して逆ＤＣＴ変換を行い、実空間の画素へ変換する。ノイズ低減がなされた上記画素は、バッファ１１２へ転送される。
【０１６４】
一方、エッジ方向検出部１１０４は、制御部１１９の制御に基づき、ノイズ推定部１１０１からの周波数成分に基づき水平，垂直方向の周波数成分からエッジ方向を検出する。検出されたエッジ方向は、バッファ１１０５へ転送される。
【０１６５】
上記ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３，エッジ方向検出部１１０４における処理は、制御部１１９の制御に基づき注目領域単位で同期して行われる。
【０１６６】
バッファ１１２にはノイズ低減処理後の全信号が、バッファ１１０５には４×４画素単位でエッジ方向が記録されることになる。
【０１６７】
エッジ抽出部１１４は、第１の実施形態と同様にバッファ１０５から注目画素Ｐ22およびその周囲８画素（Ｐ11，Ｐ21，Ｐ31，Ｐ12，Ｐ32，Ｐ13，Ｐ23，Ｐ33）の９画素を、バッファ１１０５から各画素が属する４×４画素単位を探索し、エッジ方向（Ｄ22およびＤ11，Ｄ21，Ｄ31，Ｄ12，Ｄ32，Ｄ13，Ｄ23，Ｄ33）を読み込む。その後、上記９画素に対してエッジ方向に基づき図１２〜図１９に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分（Ｅ22およびＥ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）を抽出し、エッジ補正部１１５へ転送する。
【０１６８】
エッジ補正部１１５は、第１の実施形態と同様に、注目画素Ｐ22のエッジ成分Ｅ22に関して、バッファ１１０５からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分（Ｅ11，Ｅ21，Ｅ31，Ｅ12，Ｅ32，Ｅ13，Ｅ23，Ｅ33）に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。
【０１６９】
エッジ強調部１１６は、制御部１１９の制御に基づき、バッファ１１２からノイズ低減処理後の注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき第１の実施形態と同様にエッジ強調処理後の画素値Ｐ"22を求め、信号処理部１１７へ転送する。
【０１７０】
上記エッジ抽出部１１４，エッジ補正部１１５，エッジ強調部１１６における処理は、制御部１１９の制御に基づき注目画素単位で同期して行われる。
【０１７１】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。
【０１７２】
図４１はノイズ推定部１１０１の構成の一例を示すものである。ノイズ推定部１１０１は、第１の実施形態の図３に示されるノイズ推定部１１０に０次成分抽出部１２００，ノイズＬＵＴ１２０１が追加され、平均算出部２００，パラメータ用ＲＯＭ２０３，パラメータ選択部２０４，補間部２０５，補正部２０６が省略された構成になっている。基本構成は図３に示すノイズ推定部１１０と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１７３】
ＤＣＴ変換部１１００は、０次成分抽出部１２００およびエッジ方向検出部１１０４へ接続している。０次成分抽出部１２００，ゲイン算出部２０１，標準値付与部２０２は、ノイズＬＵＴ１２０１へ接続している。ノイズＬＵＴ１２０１は、ノイズ低減部１１０２へ接続している。制御部１１９は、０次成分抽出部１２００，ノイズＬＵＴ１２０１へ双方向に接続されている。
【０１７４】
０次成分抽出部１２００は、制御部１１９の制御に基づきＤＣＴ変換部１１００から４×４画素サイズの注目領域（ブロック領域）に対する周波数成分を読み込み、その０次成分を抽出する。上記０次成分はノイズＬＵＴ１２０１へ転送される。
【０１７５】
ゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき増幅器１０３におけるゲインを求め、ノイズＬＵＴ１２０１へ転送する。
【０１７６】
また、制御部１１９は温度センサー１２１からＣＣＤ１０２の温度情報を得て、これをノイズＬＵＴ１２０１へ転送する。
【０１７７】
ノイズＬＵＴ１２０１は、０次成分抽出部１２００からの０次成分，ゲイン算出部２０１からのゲインの情報，制御部１１９からの温度情報に基づき０次成分以外の高周波数成分に対するノイズ量を推定する。
【０１７８】
ノイズＬＵＴ１２０１は、温度，信号値レベル，ゲインと０次成分以外の高周波数成分に対するノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態の手法を周波数空間に適用することにより構築される。ノイズＬＵＴ１２０１で得られた０次成分以外の高周波数成分に対するノイズ量はノイズ低減部１１０２へ転送される。
【０１７９】
なお、標準値付与部２０２は第１の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
【０１８０】
図４２はノイズ低減部１１０２の構成の一例を示すものである。ノイズ低減部１１０２は、第１の実施形態の図７に示されるノイズ低減部１１１に周波数分離部１３００，平均算出部１３０１が追加された構成になっている。基本構成は図７に示されるノイズ低減部１１１と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１８１】
ノイズ推定部１１０１は範囲設定部３００へ接続している。ＤＣＴ変換部１１００は周波数分離部１３００へ、周波数分離部１３００は平均算出部１３０１および逆ＤＣＴ変換部１１０３へ接続している。平均算出部１３０１は、範囲設定部３００および切り換え部３０１へ接続している。第１スムージング部３０２および第２スムージング部３０３は、逆ＤＣＴ変換部１１０３へ接続している。制御部１１９は、周波数分離部１３００，平均算出部１３０１と双方向に接続している。
【０１８２】
周波数分離部１３００は、制御部１１９の制御に基づきＤＣＴ変換部１１００から図４０に示されるような周波数成分を読み込み、これを各周波数成分ごとに分離する。分離された０次成分Ｆ0は逆ＤＣＴ変換部１１０３へ、０次成分以外の高周波数成分ＦLe（Ｌは１〜５の次数を、ｅは各次数に含まれる要素を意味する）は平均算出部１３０１へ転送される。
【０１８３】
平均算出部１３０１は、制御部１１９の制御に基づき次数ごとの高周波数成分の平均値ＡＶ＿ＦLを算出し、これを範囲設定部３００へ転送する。また、高周波数成分ＦLeは切り換え部３０１へ転送される。
【０１８４】
範囲設定部３００は、制御部１１９の制御に基づきノイズ推定部１１０１から次数ごとのノイズ量Ｎ＿ＦLを読み込み、許容範囲として上限Ｆ＿ＵｐLおよび下限Ｆ＿ＬｏｗLを次数ごとに設定する。  
［数１６］
Ｆ＿ＵｐL ＝ＡＶ＿ＦL＋Ｎ＿ＦL／２
Ｆ＿ＬｏｗL＝ＡＶ＿ＦL−Ｎ＿ＦL／２
上記許容範囲は、切り換え部３０１へ転送される。また、範囲設定部３００は平均値ＡＶ＿ＦLおよびノイズ量Ｎ＿ＦLを第１スムージング部３０２および第２スムージング部３０３へ転送する。
【０１８５】
切り換え部３０１は、制御部１１９の制御に基づき平均算出部１３０１からの高周波数成分ＦLeを読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部３０１は、「ノイズ範囲に属している」場合は第１スムージング部３０２へ、それ以外は第２スムージング部３０３へ高周波数成分ＦLを転送する。
【０１８６】
第１スムージング部３０２は、切り換え部３０１からの高周波数成分ＦLeに範囲設定部３００からの平均値ＡＶ＿ＦLを代入する処理を行う。  
［数１７］
Ｆ'Le＝ＡＶ＿ＦL
数式１７でのノイズ低減処理がなされた高周波数成分Ｆ'Leは逆ＤＣＴ変換部１１０３へ転送される。
【０１８７】
第２スムージング部３０３は、切り換え部３０１からの高周波数成分ＦLeに範囲設定部３００からの平均値ＡＶ＿ＦLおよびノイズ量Ｎ＿ＦLを用いて補正する処理を行う。
【０１８８】
まず、「ノイズ範囲を上回っている」場合は下記の数式１８のように補正する。  
［数１８］
Ｆ'Le＝ＡＶ＿ＦL−Ｎ＿ＦL／２
【０１８９】
また、「ノイズ範囲を下回っている」場合は下記の数式１９のように補正する。  
［数１９］
Ｆ'Le＝ＡＶ＿ＦL＋Ｎ＿ＦL／２
数式１８または数式１９のノイズ低減処理がなされた高周波数成分Ｆ'Leは逆ＤＣＴ変換部１１０３へ転送される。
【０１９０】
図４３はエッジ方向検出部１１０４の構成の一例を示すものである。エッジ方向検出部１１０４は、水平高周波積算部１４００，垂直高周波積算部１４０１，方向決定部１４０２を備えている。ノイズ推定部１１０１は、水平高周波積算部１４００および垂直高周波積算部１４０１へ接続している。水平高周波積算部１４００および垂直高周波積算部１４０１は、方向決定部１４０２へ接続している。方向決定部１４０２は、バッファ１１０５へ接続している。制御部１１９は、水平高周波積算部１４００，垂直高周波積算部１４０１，方向決定部１４０２と双方向に接続している。
【０１９１】
水平高周波積算部１４００および垂直高周波積算部１４０１は、制御部１１９の制御に基づき、図４４に示すように周波数成分から水平方向または垂直方向の０次成分を除く高周波成分を読み込む。上記高周波成分は絶対値化された後に積算され、水平または垂直のエッジ成分として、方向決定部１４０２へ転送される。
【０１９２】
方向決定部１４０２は、制御部１１９の制御に基づき注目画素Ｐ22を含む４×４画素サイズの注目領域単位（ブロック領域単位）で、水平高周波積算部１４００からの水平エッジ成分Ｅ０22および垂直高周波積算部１４０１からの垂直エッジ成分Ｅ９０22に基づき数式１２に示されるようにエッジ方向Ｄ22を算出する。算出されたエッジ方向はバッファ１１０５へ転送される。
【０１９３】
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。ノイズ低減処理の過程で得られた周波数情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【０１９４】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【０１９５】
さらに、ノイズ低減処理では注目領域を周波数空間へ変換し、０次成分からノイズ量を推定しノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
【０１９６】
ここで、上記の第３の実施形態の信号処理をソフトウェアで処理する場合のフローチャートを説明する。なお、本フローチャートは、図２６、図２７に示した第１の実施形態のソフトウェア処理に関するフローチャートにおいて、ステップＳ２からステップＳ８までの流れにおける具体的処理内容が異なり、他はほぼ同様の処理であるために、異なる部分についてのみ説明する。
【０１９７】
図４５〜図４７に、信号処理のソフトウェア処理に関するフローチャートを示す。
【０１９８】
処理を開始すると、まず、信号と温度，ゲインなどのヘッダ情報を読み込み（ステップＳ１）、その後、図３９に示されるような４×４画素サイズの注目領域を順次抽出する（ステップＳ５１）。
【０１９９】
次に上記順次抽出した注目領域にＤＣＴ変換を行い、図４０に示されるような周波数成分へ変換し（ステップＳ５２）、０次成分とそれ以外の次数の高周波成分に分離する（ステップＳ５３）。
【０２００】
その後、別途説明するように、０次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する（ステップＳ５４）。
【０２０１】
また、上記ステップＳ５３で分離した次数ごとの高周波数成分の平均値を算出する（ステップＳ５５）。
【０２０２】
続いて、注目領域に数式１６に示される許容範囲を設定する（ステップＳ５６）。
【０２０３】
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップＳ５８へ、属さない場合はステップＳ５９へ分岐する（ステップＳ５７）。
【０２０４】
ステップＳ５７において注目画素が許容範囲内に属すると判断されると、数式１７に示される処理を行う（ステップＳ５８）。
【０２０５】
一方、ステップＳ５７において注目画素が許容範囲内に属さないと判断されると、数式１８または数式１９に示される処理を行う（ステップＳ５９）。
【０２０６】
次に、０次成分とノイズ低減処理後の０次成分以外の高周波数成分に対して逆ＤＣＴ変換を行い、実空間の画素へ変換する（ステップＳ６０）。
【０２０７】
上記ステップＳ６０の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ５２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。
【０２０８】
上記ステップＳ８で全注目領域の抽出が完了したと判断されると、次に図１０に示されるような注目画素および５×５画素サイズの処理領域を抽出する（ステップＳ９）。
【０２０９】
続いて、別途説明するように、図４４に示される水平，垂直方向の周波数成分からエッジ方向を検出する（ステップＳ６１）。
【０２１０】
さらに、ステップＳ６１からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する（ステップＳ１１）。
【０２１１】
次にステップＳ１０で検出したエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。
【０２１２】
更に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。
【０２１３】
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ１５へ分岐する（ステップＳ１４）。
【０２１４】
ステップＳ１４で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる（ステップＳ１５）。
【０２１５】
その後、処理後の信号が出力され終了する（ステップＳ１６）。
【０２１６】
図４６は、上記ステップＳ５４におけるノイズ量の推定に関するフローチャートである。
【０２１７】
まず、上記ステップＳ５３で分離した４×４画素サイズの注目領域に対する周波数成分の０次成分を抽出する（ステップＳ７１）。
【０２１８】
一方、ヘッダー情報に基づきゲイン，温度などの情報を設定する（ステップＳ７２）。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２１９】
次にルックアップテーブルを用いてノイズ量を求め（ステップＳ７３）、算出されたノイズ量を出力して終了する（ステップＳ７４）。
【０２２０】
図４７は、上述したステップＳ６１のエッジ方向検出処理に関するフローチャートである。
【０２２１】
図４４に示されるように０次成分を除く水平方向の高周波成分を絶対値化した後に積算して水平エッジ成分を求める（ステップＳ８１）。また、図４４に示されるように０次成分を除く垂直方向の高周波成分を絶対値化した後に積算して垂直エッジ成分を求める（ステップＳ８２）。
【０２２２】
次に、４×４画素サイズの注目領域単位で、上記ステップＳ８１で求めた水平エッジ成分および上記ステップＳ８２で求めた垂直エッジ成分に基づき、上記数式１２に示されるようにエッジ方向を検出し（ステップＳ８３）、検出された方向を出力して終了する（ステップＳ８４）。
【０２２３】
なお、上記第３の実施形態においては周波数成分への変換をＤＣＴ変換により行い、変換の処理サイズを４×４画素とする構成になっていたが、このような構成に限定される必要はない。例えば、周波数成分への変換としてはＦＦＴ（Fast Fourier Transform）やＷａｖｅｌｅｔ変換などを使用することもできる。また、処理サイズとしては２×２画素など、より小さくすることで方向検出の精度を向上することもできるし、８×８画素など、より大きくすることで全体の処理を高速化することも可能である。
【０２２４】
また、上記第３の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。
【０２２５】
［第４の実施形態］
図４８から図５１は本発明の第４の実施形態を示したものであり、図４８は第４の実施形態の構成を示すブロック図、図４９、図５０はカラーフィルタに関する説明図であって、図４９はＢａｙｅｒ型原色フィルタを示す図、図５０は色差線順次型補色フィルタを示す図、図５１は第４の実施形態における信号処理のフローチャートである。
【０２２６】
図４８は、第４の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１５００に置換され、ＰｒｅＷＢ部１５０１，補間部１５０２，Ｙ／Ｃ分離部１５０３，バッファ１５０４，Ｙ／Ｃ合成部１５０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２２７】
カラーＣＣＤ１５００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１５００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１５０１，測光評価部１０６，合焦点検出部１０７，補間部１５０２へ接続されている。補間部１５０２は、Ｙ／Ｃ分離部１５０３，バッファ１５０４を介して抽出部１０９およびエッジ抽出部１１４へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１５０５へ、Ｙ／Ｃ合成部１５０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１５０１，補間部１５０２，Ｙ／Ｃ分離部１５０３，Ｙ／Ｃ合成部１５０５と双方向に接続されている。
【０２２８】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。
【０２２９】
図４８において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
【０２３０】
レンズ系１００，絞り１０１，カラーＣＣＤ１５００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１５００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。図４９は、Ｂａｙｅｒ型の色フィルタの構成を示す。Ｂａｙｅｒ型は２×２画素を基本単位とし、赤（Ｒ），青（Ｂ）フィルタが１画素ずつ、緑（Ｇ）フィルタが２画素配置される。
【０２３１】
バッファ１０５内の信号は、ＰｅｒＷＢ部１５０１へ転送される。
【０２３２】
ＰｒｅＷＢ部１５０１は所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。ＰｒｅＷＢ部１５０１は、上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【０２３３】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。なお、ＰｒｅＷＢ部１５０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号は補間部１５０２へ転送される。
【０２３４】
補間部１５０２は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はＹ／Ｃ分離部１５０３へ転送され輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離される。  
［数２０］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒはバッファ１５０４へ転送され保存される。
【０２３５】
第１の実施形態と同様に抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。
【０２３６】
なお、図３に示すノイズ推定部１１０中のゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報およびＰｒｅＷＢ部１５０１によって求められたホワイトバランス係数に基づき増幅器１０３におけるゲインを求める。輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。
【０２３７】
第１の実施形態と同様にエッジ方向検出部１１３は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22およびこれを包含する５×５画素サイズの処理領域を順次抽出する。その後、注目画素Ｐ'22およびその周囲８画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第１の実施形態と同様に後段の処理が選択される。
【０２３８】
エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の輝度信号Ｙをバッファ１５０４から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。
【０２３９】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、エッジ方向検出部１１３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。
【０２４０】
エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22を順次抽出する。その後、エッジ強調部１１６は、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、エッジ強調処理後の画素値Ｐ"22を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１５０５へ転送する。また、エッジ強調部１１６はバッファ１１２から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１５０５へ転送する。
【０２４１】
Ｙ／Ｃ合成部１５０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，Ｃｒから、数式２１に示すようにＲ，Ｇ，Ｂ信号を合成する。  
［数２１］
Ｒ＝Ｙ"                    ＋１．４０２００Ｃｒ
Ｇ＝Ｙ"−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ"＋１．７７２００Ｃｂ
Ｒ，Ｇ，Ｂ信号は信号処理部１１２へ転送される。
【０２４２】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。
【０２４３】
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
【０２４４】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
【０２４５】
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
【０２４６】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
【０２４７】
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
【０２４８】
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。
【０２４９】
なお、上記実施形態ではカラーＣＣＤ１５００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板ＣＣＤにも適用可能である。図５０は、色差線順次型補色フィルタの構成を示す。色差線順次型は２×２画素を基本単位とし、シアン（Ｃｙ），マゼンタ（Ｍｇ），イエロー（Ｙｅ），緑（Ｇ）が１画素ずつ配置される。ただし、ＭｇとＧの位置はラインごとに反転している。この場合、２×２画素領域を１行または１列ずつ重複させながら順次抽出し、下記の数式２２に示す輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを領域単位に算出する構成も可能である。  
［数２２］
Ｙ ＝Ｃｙ＋Ｙｅ＋Ｍｇ＋Ｇ
Ｃｂ＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）
Ｃｒ＝（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）
【０２５０】
また、上記第４の実施形態では輝度信号のみにノイズ低減処理を行っていたが、このような構成に限定される必要はない。色差信号に対してもノイズ低減処理を行う構成も可能である。
【０２５１】
さらに、上記第４の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と別体となる構成も可能である。
【０２５２】
また、上記第４の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、カラーＣＣＤ１５００からの信号を未処理のままのＲａｗデータとして、制御部１１９からの撮影時の温度，ゲイン，ホワイトバランス係数などをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
【０２５３】
図５１は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図２６に示す第１の実施形態における信号処理の流れと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
【０２５４】
まず、信号と温度，ゲイン，ホワイトバランス係数などのヘッダ情報を読み込む（ステップＳ１）。
【０２５５】
次に、単板状態の信号を線形補間などで三板状態にする（ステップＳ９０）。
【０２５６】
更に、数式２０に示されるように、信号を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離する（ステップＳ９１）。
【０２５７】
その後、図２に示されるように輝度信号から注目画素および３×３画素サイズの注目領域を抽出する（ステップＳ２）。
【０２５８】
次に、図２７に示されるフローチャートに基づき抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する（ステップＳ３）。
【０２５９】
そして、注目画素に対して数式７に示される許容範囲を設定する（ステップＳ４）。
【０２６０】
その後、注目画素が許容範囲内に属するか否かを判断し、属する場合はステップＳ６へ、属さない場合はステップＳ７へ分岐する（ステップＳ５）。
【０２６１】
ステップＳ５において注目画素が許容範囲内に属すると判断されると、数式８に示される処理を行う（ステップＳ６）。
【０２６２】
一方、ステップＳ５において注目画素が許容範囲内に属さないと判断されると、数式９または数式１０に示される処理を行う（ステップＳ７）。
【０２６３】
次に、全注目領域の抽出が完了したかを判断し、完了していない場合はステップＳ２へ、完了した場合はステップＳ９へ分岐する（ステップＳ８）。
【０２６４】
全注目領域の抽出が完了した場合は、図１０に示されるようにノイズ低減後の輝度信号から注目画素を中心とした５×５画素サイズの処理領域を抽出する（ステップＳ９）。
【０２６５】
ステップＳ９で抽出した処理領域の画素のうち、図１１に示される９画素に対して図１２〜図１９に示される方向別の抽出フィルタを用いてエッジ方向を検出する（ステップＳ１０）。
【０２６６】
その後、ステップＳ１０で検出したエッジ方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出する（ステップＳ１１）。
【０２６７】
更に、ステップＳ１０からのエッジ方向に基づき図２３または図２４に示される近傍画素のエッジ成分により数式１３または数式１４に示される補正処理によってエッジ成分を補正する（ステップＳ１２）。
【０２６８】
次に、ノイズ低減処理後の注目画素の信号に数式１に示されるエッジ強調処理を行う（ステップＳ１３）。
【０２６９】
その後、全処理領域の抽出が完了したかを判断し、完了していない場合はステップＳ９へ、完了した場合はステップＳ９２へ分岐する（ステップＳ１４）。
【０２７０】
ステップＳ１４で全処理領域の抽出が完了したと判断されると、数式２１に示されるようにＲ，Ｇ，Ｂ信号を合成する（ステップＳ９２）。
【０２７１】
次に合成された信号に対して、公知の圧縮処理や色強調処理などが行われる（ステップＳ１５）。
【０２７２】
そして、処理後の信号が出力され終了する（ステップＳ１６）。
【０２７３】
［第５の実施形態］
図５２から図７２は本発明の第５の実施形態を示したものであり、図５２は第５の実施形態の構成を示すブロック図、図５３〜図５６はＹ／Ｃ分離に関する説明図であって、図５３はＢａｙｅｒ型原色フィルタを示す図、図５４は輝度信号を示す図、図５５はＲ（赤）の色差信号を示す図、図５６はＢ（青）の色差信号を示す図、図５７はエッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図５８はエッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図５９はエッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６０はエッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６１はエッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６２はエッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６３はエッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６４はエッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６５はエッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６６はエッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６７はエッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図６８はエッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図６９はエッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図７０はエッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図、図７１はエッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図、図７２はエッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図である。
【０２７４】
図５２は、本発明の第５の実施形態の構成を示すブロック図である。本実施形態は、図１に示す第１の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１６００に置換され、ＰｒｅＷＢ部１６０１，Ｙ／Ｃ分離部１６０２，バッファ１６０３，補間部１６０４，Ｙ／Ｃ合成部１６０５が追加された構成になっている。基本構成は第１の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２７５】
カラーＣＣＤ１６００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１６００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１６０１，測光評価部１０６，合焦点検出部１０７，Ｙ／Ｃ分離部１６０２へ接続されている。Ｙ／Ｃ分離部１６０２は、バッファ１６０３を介して抽出部１０９およびエッジ抽出部１１４へ接続されている。バッファ１１２は、補間部１６０４を介してエッジ方向検出部１１３およびエッジ強調部１１６へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１６０５へ、Ｙ／Ｃ合成部１６０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１６０１，Ｙ／Ｃ分離部１６０２，補間部１６０４，Ｙ／Ｃ合成部１６０５と双方向に接続されている。
【０２７６】
本実施形態は、基本的に第１の実施形態と同様であり、異なる部分のみ説明する。
【０２７７】
図５２において、信号の流れを説明する。まず外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
【０２７８】
レンズ系１００，絞り１０１，カラーＣＣＤ１６００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１６００は図５３に示すＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。
【０２７９】
ＰｒｅＷＢ部１６０１では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【０２８０】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。
【０２８１】
なお、ＰｒｅＷＢ部１６０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号はＹ／Ｃ分離部１６０２へ転送される。
【０２８２】
Ｙ／Ｃ分離部１６０２は、図５４、図５５、図５６に示すように、輝度信号ＹとしてＧ信号を、色差信号ＣｂとしてＢ信号を、色差信号ＣｒとしてＲ信号を想定する。  
［数２３］
Ｙ ＝Ｇ
Ｃｂ＝Ｂ
Ｃｒ＝Ｒ
上記輝度信号および色差信号は補間処理前の単板状態にあり、バッファ１６０３へ転送される。
【０２８３】
その後、第１の実施形態と同様に抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。
【０２８４】
なお、図３に示すノイズ推定部１１０中のゲイン算出部２０１は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報およびＰｒｅＷＢ部１６０１によって求められたホワイトバランス係数に基づき増幅器１０３におけるゲインを求める。また、３×３画素サイズの注目領域中に輝度信号Ｙ、すなわちＧ信号は５画素または４画素しか存在しないために、平均値の算出は上記５画素または４画素を用いて行われる。
【０２８５】
ノイズ低減後の輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。
【０２８６】
補間部１６０４は、バッファ１１２から輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒを読み込み、公知の線形補間などの手法を用いて単板状態から三板状態の信号を生成する。
【０２８７】
三板状態の信号はエッジ方向検出部１１３およびエッジ強調部１１６へ転送される。
【０２８８】
第１の実施形態と同様にエッジ方向検出部１１３は、制御部１１９の制御に基づき補間部１６０４からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22およびこれを包含する５×５画素サイズの処理領域を順次抽出する。その後、注目画素Ｐ'22およびその周囲８画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第１の実施形態と同様に後段の処理が選択される。
【０２８９】
エッジ抽出部１１４は、制御部１１９の制御に基づき上記エッジ方向検出部１１３で用いた処理領域と同一位置のノイズ低減処理前の単板状態の輝度信号Ｙをバッファ１６０３から順次抽出する。その後、エッジ方向検出部１１３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。なお、エッジ抽出フィルタは図５７〜図７２に示されるように、単板状態の輝度信号Ｙに適用できる形態を使用する。
【０２９０】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、エッジ方向検出部１１３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。
【０２９１】
エッジ強調部１１６は、制御部１１９の制御に基づき補間部１６０４からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、エッジ強調処理後の画素値Ｐ"22を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１６０５へ転送する。また、エッジ強調部１１６は補間部１６０４から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１６０５へ転送する。
【０２９２】
Ｙ／Ｃ合成部１６０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，ＣｒからＲ，Ｇ，Ｂ信号を求める。  
［数２４］
Ｒ＝Ｃｒ
Ｇ＝Ｙ"
Ｂ＝Ｃｂ
Ｒ，Ｇ，Ｂ信号は信号処理部１１７へ転送される。
【０２９３】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。
【０２９４】
出力部１１８は、メモリーカードなどへ信号を記録保存する。
【０２９５】
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。この場合に、エッジ成分の抽出を補間前の信号から行うために、より高精細なエッジ成分の抽出が可能となる。
【０２９６】
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
【０２９７】
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
【０２９８】
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
【０２９９】
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
【０３００】
また、カラー撮像素子からの信号に対応することができ、現状の撮影部との親和性が高く、多くの撮像システムへの適用が可能となる。
【０３０１】
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。
【０３０２】
さらに、上記第５の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第１の実施形態と同様に、ソフトウェアによって処理する構成も可能である。
【０３０３】
［第６の実施形態］
図７３は本発明の第６の実施形態を示したものであり、第６の実施形態の構成を示したブロック図である。本実施形態は、図２８に示す第２の実施形態におけるＣＣＤ１０２がカラーＣＣＤ１７００に置換され、ＰｒｅＷＢ部１７０１，補間部１７０２，Ｙ／Ｃ分離部１７０３，バッファ１７０４，Ｙ／Ｃ合成部１７０５が追加された構成になっている。基本構成は第２の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０３０４】
カラーＣＣＤ１７００は、増幅器１０３へ接続されている。また、カラーＣＣＤ１７００の近傍には温度センサー１２１が配置されている。バッファ１０５は、ＰｒｅＷＢ部１７０１，測光評価部１０６，合焦点検出部１０７，補間部１７０２へ接続されている。補間部１７０２は、Ｙ／Ｃ分離部１７０３，バッファ１７０４を介して抽出部７００およびエッジ抽出部１１４へ接続されている。エッジ強調部１１６はＹ／Ｃ合成部１７０５へ、Ｙ／Ｃ合成部１７０５は信号処理部１１７へ接続されている。制御部１１９は、ＰｒｅＷＢ部１７０１，補間部１７０２，Ｙ／Ｃ分離部１７０３，Ｙ／Ｃ合成部１７０５と双方向に接続されている。
【０３０５】
本実施形態は、基本的に第２の実施形態と同様であり、異なる部分のみ説明する。
【０３０６】
図７３において、信号の流れを説明する。外部Ｉ／Ｆ部１２０を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
【０３０７】
レンズ系１００，絞り１０１，カラーＣＣＤ１７００を介して撮影された信号は、増幅器１０３，Ａ／Ｄ変換器１０４を介してバッファ１０５へ転送される。なお、本実施形態においてカラーＣＣＤ１７００はＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定する。
【０３０８】
バッファ１０５内の信号は、ＰｒｅＷＢ部１７０１へ転送される。
【０３０９】
ＰｒｅＷＢ部１７０１では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして上記係数を増幅器１０３へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【０３１０】
次に、外部Ｉ／Ｆ部１２０を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ１０５へ転送される。
【０３１１】
なお、ＰｒｅＷＢ部１７０１によって求められたホワイトバランス係数は制御部１１９へ転送される。バッファ１０５内の信号は補間部１７０２へ転送される。
【０３１２】
補間部１７０２は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はＹ／Ｃ分離部１７０３へ転送され、数式２０に示されるように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに分離される。輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒはバッファ１７０４へ転送され保存される。
【０３１３】
第２の実施形態と同様に抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１により輝度信号Ｙはノイズ低減処理がなされて輝度信号Ｙ'となる。輝度信号Ｙ'と色差信号Ｃｂ，Ｃｒはバッファ１１２へ転送され保存される。
【０３１４】
エッジ方向検出部７０２は、ノイズ推定部７０１からの注目画素および類似画素の情報に基づき、注目画素Ｐ'22に対するエッジ方向Ｄ22を検出する。上記エッジ方向は、バッファ７０３へ転送される。バッファ１１２にはノイズ低減処理後の全信号が、バッファ７０３にはエッジ方向が記録されることになる。
【０３１５】
エッジ抽出部１１４は、バッファ１７０４からノイズ低減処理前の輝度信号Ｙを読み込み、注目画素Ｐ22およびその周囲８画素を抽出する。その後、バッファ７０３からのエッジ方向に基づき、注目画素Ｐ'22およびその周囲８画素のエッジ成分を抽出し、エッジ補正部１１５へ転送する。
【０３１６】
エッジ補正部１１５は、制御部１１９の制御に基づき、注目画素Ｐ'22のエッジ成分Ｅ22に関して、バッファ７０３からのエッジ方向Ｄ22およびエッジ抽出部１１４からの周囲８画素のエッジ成分に基づきこれを補正したエッジ成分Ｅ'22を求め、エッジ強調部１１６へ転送する。
【０３１７】
エッジ強調部１１６は、制御部１１９の制御に基づきバッファ１１２からノイズ低減処理後の輝度信号Ｙ'を読み込み、注目画素Ｐ'22を順次抽出する。その後、エッジ補正部１１５からのエッジ成分Ｅ'22に基づき、エッジ強調処理後の画素値Ｐ"22を求め、エッジ強調処理後の輝度信号Ｙ"としてＹ／Ｃ合成部１７０５へ転送する。また、エッジ強調部１１６はバッファ１１２から色差信号Ｃｂ，Ｃｒを読み込み、これをＹ／Ｃ合成部１７０５へ転送する。
【０３１８】
Ｙ／Ｃ合成部１７０５は、制御部１１９の制御に基づきエッジ強調部１１６からのエッジ強調処理後の輝度信号Ｙ"と色差信号Ｃｂ，Ｃｒから数式２１に示されるようにＲ，Ｇ，Ｂ信号を合成する。Ｒ，Ｇ，Ｂ信号は信号処理部１１７へ転送される。
【０３１９】
信号処理部１１７は、制御部１１９の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部１１８へ転送する。出力部１１８は、メモリーカードなどへ信号を記録保存する。
【０３２０】
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
【０３２１】
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
【０３２２】
さらに、ノイズ低減処理では注目画素から概略的な第１のノイズ量を推定し、第１のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、第２のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
【０３２３】
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。
【０３２４】
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第１の実施形態と同様に、撮像部と分離した構成も可能である。
【０３２５】
さらに、上記第６の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第２の実施形態と同様に、ソフトウェアによって処理する構成も可能である。
【０３２６】
［付記］
（１）上記目的を達成するために、第１の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
【０３２７】
この発明の適用例は、図１〜図２７に示される第１の実施形態に記載されている。上記構成のノイズ処理手段は図１，図３，図７，図２５に示される抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１が、エッジ方向検出手段は図１，図８，図９，図２５に示されるエッジ方向検出部１１３が、エッジ抽出手段は図１，図２５に示されるエッジ抽出部１１４がそれぞれ該当する。
【０３２８】
この発明の好ましい適用例は、抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１によってノイズ低減処理を行い、エッジ方向検出部１１３によってノイズ低減処理後の信号からエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。
【０３２９】
第１の発明による撮像システムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
【０３３０】
（２）また、第２の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
【０３３１】
この発明の適用例は、図２８〜図３７に示される第２の実施形態および図３８〜図４７に示される第３の実施形態に記載されている。上記構成のノイズ処理手段は図２８，図３１，図３２に示される抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１および図３８，図４１，図４２に示される抽出部１０９，ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３が、エッジ方向検出手段は図２８，図３３に示されるエッジ方向検出部７０２および図３８，図４３に示されるエッジ方向検出部１１０４が、エッジ抽出手段は図２８，図３８に示されるエッジ抽出部１１４がそれぞれ該当する。
【０３３２】
この発明の好ましい適用例は、抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１または抽出部１０９，ＤＣＴ変換部１１００，ノイズ推定部１１０１，ノイズ低減部１１０２，逆ＤＣＴ変換部１１０３によってノイズ低減処理を行い、エッジ方向検出部７０２またはエッジ方向検出部１１０４によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。
【０３３３】
第２の発明による撮像システムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。さらに、ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【０３３４】
（３）また、第３の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
【０３３５】
この発明の適用例は、図４８〜図５１に示される第４の実施形態および図５２〜図７２に示される第５の実施形態に記載されている。前記構成のＹ／Ｃ分離手段は図４８に示されるＹ／Ｃ分離部１５０３および図５２に示されるＹ／Ｃ分離部１６０２が、ノイズ処理手段は図４８，図５２に示される抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１が、エッジ方向検出手段は図４８，図５２に示されるエッジ方向検出部１１３が、エッジ抽出手段は図４８，図５２に示されるエッジ抽出部１１４がそれぞれ該当する。
【０３３６】
この発明の好ましい適用例は、Ｙ／Ｃ分離部１５０３またはＹ／Ｃ分離部１６０２によって信号を輝度信号と色信号に分離し、抽出部１０９，ノイズ推定部１１０，ノイズ低減部１１１によって輝度信号にノイズ低減処理を行い、エッジ方向検出部１１３によってノイズ低減処理後の輝度信号からエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。
【０３３７】
第３の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
【０３３８】
（４）また、第４の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手段と、上記Ｙ／Ｃ分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Ｙ／Ｃ分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
【０３３９】
この発明の適用例は、図７３に示される第６の実施形態に記載されている。上記構成のＹ／Ｃ分離手段は図７３に示されるＹ／Ｃ分離部１７０３が、ノイズ処理手段は図７３に示される抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１が、エッジ方向検出手段は図７３に示されるエッジ方向検出部７０２が、エッジ抽出手段は図７３に示されるエッジ抽出部１１４がそれぞれ該当する。
【０３４０】
この発明の好ましい適用例は、Ｙ／Ｃ分離部１７０３によって信号を輝度信号と色信号に分離し、抽出部７００，ノイズ推定部７０１，ノイズ低減部１１１によって輝度信号にノイズ低減処理を行い、エッジ方向検出部７０２によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部１１４によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。
【０３４１】
第４の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。さらにノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
【０３４２】
（５）また、第５の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。
【０３４３】
この発明の適用例は、図２６、図２７に示される第１の実施形態に記載されている。前記構成のノイズ処理手順は図２６、図２７に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図２６に示されるステップＳ１０の手順が、エッジ抽出手順は図２６に示されるステップＳ１１の手順がそれぞれ該当する。
【０３４４】
第５の発明による画像処理プログラムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
【０３４５】
（６）また、第６の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。
【０３４６】
この発明の適用例は、図３６、図３７に示される第２の実施形態および図４５、図４６、図４７に示される第３の実施形態に記載されている。前記構成のノイズ処理手順は図３６、図３７に示されるステップＳ２からステップＳ７までの手順および図４５、図４６に示されるステップＳ５１からステップＳ５６までの手順が、エッジ方向検出手順は図３６に示されるステップＳ１０の手順および図４５、図４７に示されるステップＳ５７が、エッジ抽出手順は図３６に示されるステップＳ３３の手順および図４５に示されるステップＳ１１がそれぞれ該当する。
【０３４７】
第６の発明による画像処理プログラムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
【０３４８】
（７）また、第７の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。
【０３４９】
この発明の適用例は、図５１に示される第４の実施形態に記載されている。上記構成のＹ／Ｃ分離手順は図５１に示されるステップＳ９１が、ノイズ処理手順は図５１に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図５１に示されるステップＳ１０の手順が、エッジ抽出手順は図５１に示されるステップＳ１１の手順がそれぞれ該当する。
【０３５０】
第７の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
【０３５１】
（８）また、第８の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するＹ／Ｃ分離手順と、上記Ｙ／Ｃ分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Ｙ／Ｃ分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。
【０３５２】
この発明の適用例は、図３６、図３７に示される第２の実施形態を、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムに適用させたものが対応する。前記構成のノイズ処理手順は図３６、図３７に示されるステップＳ２からステップＳ７までの手順が、エッジ方向検出手順は図３６に示されるステップＳ１０の手順が、エッジ抽出手順は図３６に示されるステップＳ３３の手順がそれぞれ該当する。
【０３５３】
第８の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
【０３５４】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０３５５】
本出願は、２００５年１２月２８日に日本国に出願された特願２００５−３８０３４６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図面の簡単な説明】
【０３５６】
【図１】第１の実施形態の構成を示すブロック図。
【図２】注目画素および注目領域に関する説明図。
【図３】ノイズ推定部の構成を示すブロック図。
【図４】ノイズ量の推定に関する説明図であって、信号レベルに対する輝度ノイズ量の関係を示す図。
【図５】ノイズ量の推定に関する説明図であって、ノイズモデルの簡略化を示す図。
【図６】ノイズ量の推定に関する説明図であって、簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図。
【図７】ノイズ低減部の構成を示すブロック図。
【図８】エッジ方向検出部の構成を示すブロック図。
【図９】エッジ方向検出部の別形態の構成を示すブロック図。
【図１０】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、注目画素およびその処理領域を示す図。
【図１１】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、エッジ抽出される画素位置を示す図。
【図１２】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、０°のエッジ抽出フィルタを示す図。
【図１３】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、４５°のエッジ抽出フィルタを示す図。
【図１４】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、９０°のエッジ抽出フィルタを示す図。
【図１５】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、１３５°のエッジ抽出フィルタを示す図。
【図１６】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、１８０°のエッジ抽出フィルタを示す図。
【図１７】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、２２５°のエッジ抽出フィルタを示す図。
【図１８】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、２７０°のエッジ抽出フィルタを示す図。
【図１９】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、３１５°のエッジ抽出フィルタを示す図。
【図２０】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、等方性エッジ抽出フィルタを示す図。
【図２１】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタの説明図。
【図２２】エッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタの説明図。
【図２３】エッジ補正部のエッジ補正に関する説明図であって、８方向のエッジ整形による説明図。
【図２４】エッジ補正部のエッジ補正に関する説明図であって、４方向のエッジ整形による説明図。
【図２５】第１の実施形態の別形態の構成を示すブロック図。
【図２６】第１の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。
【図２７】第１の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。
【図２８】第２の実施形態の構成を示すブロック図。
【図２９】注目画素および注目領域に関する説明図であって、注目画素およびその近傍領域を示す図。
【図３０】注目画素および注目領域に関する説明図であって、注目画素および抽出された類似画素を示す図。
【図３１】抽出部の構成を示すブロック図。
【図３２】ノイズ推定部の構成を示すブロック図。
【図３３】エッジ方向検出部の構成を示すブロック図。
【図３４】エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、水平エッジ抽出フィルタを示す図。
【図３５】エッジ方向検出部のエッジ抽出フィルタに関する説明図であって、垂直エッジ抽出フィルタを示す図。
【図３６】第２の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。
【図３７】第２の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。
【図３８】第３の実施形態の構成を示すブロック図。
【図３９】ＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、実空間を示す図。
【図４０】ＤＣＴ（Discrete Cosine Transform）変換に関する説明図であって、周波数空間を示す図。
【図４１】ノイズ推定部の構成を示すブロック図。
【図４２】ノイズ低減部の構成を示すブロック図。
【図４３】エッジ方向検出部の構成を示すブロック図。
【図４４】エッジ方向検出部で用いる水平，垂直方向の周波数成分に関する説明図。
【図４５】第３の実施形態における信号処理の流れを示すフローチャートであって、全体処理のフローチャート。
【図４６】第３の実施形態における信号処理の流れを示すフローチャートであって、ノイズ推定処理のフローチャート。
【図４７】第３の実施形態における信号処理の流れを示すフローチャートであって、エッジ方向検出処理のフローチャート。
【図４８】第４の実施形態の構成を示すブロック図。
【図４９】カラーフィルタに関する説明図であって、Ｂａｙｅｒ型原色フィルタを示す図。
【図５０】カラーフィルタに関する説明図であって、色差線順次型補色フィルタを示す図。
【図５１】第４の実施形態における信号処理の流れを示したフローチャート。
【図５２】第５の実施形態の構成を示すブロック図。
【図５３】Ｙ／Ｃ分離に関する説明図であって、Ｂａｙｅｒ型原色フィルタを示す図。
【図５４】Ｙ／Ｃ分離に関する説明図であって、輝度信号を示す図。
【図５５】Ｙ／Ｃ分離に関する説明図であって、Ｒ（赤）の色差信号を示す図。
【図５６】Ｙ／Ｃ分離に関する説明図であって、Ｂ（青）の色差信号を示す図。
【図５７】エッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図５８】エッジ方向抽出部の０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図５９】エッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６０】エッジ方向抽出部の４５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６１】エッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６２】エッジ方向抽出部の９０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６３】エッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６４】エッジ方向抽出部の１３５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６５】エッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６６】エッジ方向抽出部の１８０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６７】エッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図６８】エッジ方向抽出部の２２５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図６９】エッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図７０】エッジ方向抽出部の２７０°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図７１】エッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＲまたはＢのときを示す図。
【図７２】エッジ方向抽出部の３１５°のエッジ抽出フィルタに関する説明図であって、注目画素がＧのときを示す図。
【図７３】第６の実施形態の構成を示すブロック図。
【符号の説明】
【０３５７】
１００…レンズ系
１０１…絞り
１０２…ＣＣＤ（撮像素子）
１０３…増幅器
１０４…Ａ／Ｄ変換器（Ａ／Ｄ）
１０５，１１２…画像バッファ（バッファ）
１０９，７００…抽出部
１１０，７０１，１１０１…ノイズ推定部
１１１，１１０２…ノイズ低減部
１１３，７０２，１１０４…エッジ方向検出部
１１４…エッジ抽出部
１１５…エッジ補正部
１１６…エッジ強調部
１１７…信号処理部
１１８…出力部
１１９…制御部
１２０…外部Ｉ／Ｆ部
１２１…温度センサー
２００，１３０１…平均算出部
２０１…ゲイン算出部
２０２…標準値付与部
２０３…パラメータ用ＲＯＭ
２０４…パラメータ選択部
２０５，１５０２，１７０２…補間部
２０６…補正部
３００…範囲設定部
３０２…第１スムージング部
３０３…第２スムージング部
４００…閾値設定部
４０２…フィルタ処理部
４０３…フィルタＲＯＭ
４０５…エッジ選択部
４０６…方向決定部
５００…変動除去部
６００…入力部
６０１…ヘッダ情報解析部
８００…許容範囲設定部
８０１…近傍抽出部
８０２…類似性調査部
９００，１２０１…ノイズＬＵＴ
１０００…水平フィルタ処理部
１００１…垂直フィルタ処理部
１００２…方向決定部
１１００…ＤＣＴ変換部
１１０３…逆ＤＣＴ変換部
１２００…０次成分抽出部
１３００…周波数分離部
１４００…水平高周波積算部
１４０１…垂直高周波積算部
１５００，１６００，１７００…カラーＣＣＤ
１５０１，１６０１，１７０１…ＰｒｅＷＢ部
１５０３，１６０２，１７０３…Ｙ／Ｃ分離部
１５０５，１６０５，１７０５…Ｙ／Ｃ合成部
【国際調査報告】
2007077730.tif 000078
2007077730.tif 000079
2007077730.tif 000080
2007077730.tif 000081