(57)【要約】【課題】信号レベルに依存するノイズ成分をより効果的に低減する。【解決手段】原画像信号Iを、骨格成分である第１成分Uと、原画像信号Iに対する第１成分Uの残差から得られる第２成分Vと、を含む複数の成分に分離し（Ｓ１１）、第１成分Uの信号レベルに基づきノイズ低減処理パラメータT1、T2を設定し（Ｓ１２）、ノイズ低減処理パラメータT1、T2を用いて第２成分Vのノイズを低減する（Ｓ１３）。【選択図】図３
2008172431.tif 000002
【特許請求の範囲】
【請求項１】
原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
前記第１成分の信号レベルを取得する信号レベル取得手段と、
前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記原画像信号はモノクロであり、
前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とする画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
前記原画像信号は複数の色成分から構成され、
前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１または２に記載の画像処理装置において、
前記原画像信号は複数の色成分から構成され、
前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項６】
請求項１または２に記載の画像処理装置において、
前記原画像信号は複数の色成分から構成され、
前記画像処理装置は、
前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。
【請求項９】
請求項６から８のいずれか一つに記載の画像処理装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。
【請求項１０】
請求項６から９のいずれか一つ記載の画像処理装置において、
前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項１１】
請求項６から９のいずれか一つに記載の画像処理装置において、
前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項１２】
請求項１から１１のいずれか一つに記載の画像処理装置において、
前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とする画像処理装置。
【請求項１３】
請求項１から１２のいずれか一つに記載の画像処理装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とする画像処理装置。
【請求項１４】
請求項１から１３のいずれか一つに記載の画像処理装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とする画像処理装置。
【請求項１５】
請求項１から１４のいずれか一つに記載の画像処理装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする画像処理装置。
【請求項１６】
請求項１から１４のいずれか一つに記載の画像処理装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする画像処理装置。
【請求項１７】
請求項１から１６のいずれか一つに記載の画像処理装置において、
階調変換を行うデジタル信号処理手段を備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする画像処理装置。
【請求項１８】
請求項１２に記載の画像処理装置において、
前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とする画像処理装置。
【請求項１９】
撮像素子と、
前記撮像素子から得られた原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
前記第１成分の信号レベルを取得する信号レベル取得手段と、
前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、
を備えたことを特徴とする撮像装置。
【請求項２０】
請求項１９に記載の撮像装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とする撮像装置。
【請求項２１】
請求項１９または２０に記載の撮像装置において、
前記原画像信号はモノクロであり、
前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とする撮像装置。
【請求項２２】
請求項１９または２０に記載の撮像装置において、
前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、
前記原画像信号は複数の色成分から構成され、
前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする撮像装置。
【請求項２３】
請求項１９または２０に記載の撮像装置において、
前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、
前記原画像信号は複数の色成分から構成され、
前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする撮像装置。
【請求項２４】
請求項１９または２０に記載の撮像装置において、
前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、
前記撮像装置は、
前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２５】
請求項２４に記載の撮像装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
【請求項２６】
請求項２５に記載の撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする撮像装置。
【請求項２７】
請求項２４から２６のいずれか一つに記載の撮像装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
【請求項２８】
請求項２４から２７のいずれか一つ記載の撮像装置において、
前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする撮像装置。
【請求項２９】
請求項２４から２７のいずれか一つに記載の撮像装置において、
前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする撮像装置。
【請求項３０】
請求項１９から２９のいずれか一つに記載の撮像装置において、
前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とする撮像装置。
【請求項３１】
請求項１９から３０のいずれか一つに記載の撮像装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とする撮像装置。
【請求項３２】
請求項１９から３１のいずれか一つに記載の撮像装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とする撮像装置。
【請求項３３】
請求項１９から３２のいずれか一つに記載の撮像装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする撮像装置。
【請求項３４】
請求項１９から３２のいずれか一つに記載の撮像装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とする撮像装置。
【請求項３５】
請求項１９から３４のいずれか一つに記載の撮像装置において、
階調変換を行うデジタル信号処理手段を備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする撮像装置。
【請求項３６】
請求項３０に記載の撮像装置において、
前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とする撮像装置。
【請求項３７】
複数の色成分を含む原画像信号を対象とした画像処理装置において、
前記原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、
前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記ノイズ低減処理パラメータを用いて前記画像信号のノイズを低減するノイズ低減手段と、
前記原画像信号に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、
前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とする画像処理装置。
【請求項３８】
請求項３７に記載の画像処理装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする画像処理装置。
【請求項３９】
請求項３７または３８に記載の画像処理装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
【請求項４０】
請求項３９に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。
【請求項４１】
請求項３７から４０のいずれか一つ記載の画像処理装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。
【請求項４２】
色フィルタアレイを前面に配置した撮像素子と、
前記撮像素子から得られた複数の色成分を含む原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、
前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記ノイズ低減処理パラメータを用いて前記原画像信号のノイズを低減するノイズ低減手段と、
前記原画像信号に対して、前記注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、
前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とする撮像装置。
【請求項４３】
請求項４２に記載の撮像装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする撮像装置。
【請求項４４】
請求項４２または４３に記載の撮像装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
【請求項４５】
請求項４４に記載の撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする撮像装置。
【請求項４６】
請求項４２から４５のいずれか一つ記載の撮像装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に含まれるノイズの低減、特に信号レベルに依存するノイズの低減に関する。
【背景技術】
【０００２】
特許文献１では、輝度ノイズ量Nと濃度値に変換した信号レベルDの関係を、N=abcDにより関数化している。a、b、cは定数項であり、静的に与えられる。しかしながら、輝度ノイズ量は、撮影時の温度、露光時間、ゲインなどの要因により動的に変化するため、静的な定数項を用いるこの方法では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣っていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは画像上の平坦部、エッジ部を区別することなく同等に処理するため、信号レベルからノイズ量が大と推定された領域にあるエッジ部が劣化してしまい、原信号の保存性が低かった。さらに、各色信号間に発生する色ノイズに関しては対応できない。
【０００３】
また、特許文献２では、入力信号を輝度信号と色差信号とに分離し、これらの信号に基づきエッジ強度を求め、エッジ部以外の平坦な領域で色差信号に平滑化処理を行っており、この平滑化処理は信号レベルにかかわらず固定的に行われる。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することができず、色ノイズ成分の残存や原信号の劣化などが発生してしまう可能性がある。
【０００４】
そこで出願人は、ノイズモデルに基づくノイズコアリング処理において、色相の類似度を求め、領域に分割し、領域別にノイズモデルを適用する手法を提案している（特許文献３）。さらに、ノイズモデルに基づくノイズコアリング処理において、輝度レベルを推定するために注目画素とその周辺の平均値を用いてノイズモデルに基づくコアリングの閾値を求め、さらに、閾値内に属する画素の類似度に応じて、再度画像のセグメンテーションを行い、領域別にノイズモデルを適用する手法を提案している（特許文献４）。
【特許文献１】特開２００１−１５７０５７公報
【特許文献２】特開２００１−１７５８４３公報
【特許文献３】特開２００６−０２３９５９公報
【特許文献４】特開２００６−１０１００６公報
【非特許文献１】Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67,  Issue 1  (April 2006) Pages: 111 - 136  Year of Publication: 2006
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の平均値を求める方法であると、特にノイズのエネルギーが大きい画像においては、そのノイズ量除いた値を平均値フィルタで除くために大きなカーネルのフィルタが必要となる。この場合、副作用として、エッジ部近辺において、近傍の画素レベルの影響によって正しい推定値が得られず、ノイズモデルを正しく適用することができない場合がある。また、ノイズモデルの類似度に応じたセグメンテーションにおいても、画像の構造要素を考慮していないので、エッジ部付近での挙動が期待通りの効果を示さない場合がある。
【０００６】
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、信号レベルに依存するノイズ成分をより効果的に低減し、高画質なノイズ低減処理を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明は、画像処理装置において、原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、前記第１成分の信号レベルを取得する信号レベル取得手段と、前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、を備えたことを特徴とするものである。
【０００８】
第２の発明は、第１の発明による画像処理装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とするものである。
【０００９】
第３の発明は、第１または第２の発明による画像処理装置において、前記原画像信号はモノクロであり、前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とするものである。
【００１０】
第４の発明は、第１または第２の発明による画像処理装置において、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００１１】
第５の発明は、第１または第２の発明による画像処理装置において、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００１２】
第６の発明は、第１または第２の発明による画像処理装置において、前記原画像信号は複数の色成分から構成され、前記画像処理装置は、前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
【００１３】
第７の発明は、第６の発明による画像処理装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
【００１４】
第８の発明は、第７の発明による画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とするものである。
【００１５】
第９の発明は、第６から第８の発明による画像処理装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
【００１６】
第１０の発明は、第６から第９の発明による画像処理装置において、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００１７】
第１１の発明は、第６から第９の発明による画像処理装置において、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００１８】
第１２の発明は、第１から第１１の発明による画像処理装置において、前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とするものである。
【００１９】
第１３の発明は、第１から第１２の発明による画像処理装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とするものである。
【００２０】
第１４の発明は、第１から第１３の発明による画像処理装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とするものである。
【００２１】
第１５の発明は、第１から第１４の発明による画像処理装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
【００２２】
第１６の発明は、第１から第１４の発明による画像処理装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
【００２３】
第１７の発明は、第１から第１６の発明による画像処理装置において、階調変換を行うデジタル信号処理手段を備え、前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とするものである。
【００２４】
第１８の発明は、第１２の発明による画像処理装置において、前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とするものである。
【００２５】
第１９の発明は、撮像装置において、撮像素子と、前記撮像素子から得られた原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、前記第１成分の信号レベルを取得する信号レベル取得手段と、前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記第２成分のノイズを低減するノイズ低減手段と、を備えたことを特徴とするものである。
【００２６】
第２０の発明は、第１９の発明による撮像装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減することを特徴とするものである。
【００２７】
第２１の発明は、第１９または第２０の発明による撮像装置において、前記原画像信号はモノクロであり、前記第１成分及び前記第２成分はそれぞれ輝度成分であることを特徴とするものである。
【００２８】
第２２の発明は、第１９または第２０の発明による撮像装置において、前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００２９】
第２３の発明は、第１９または第２０の発明による撮像装置において、前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、前記原画像信号は複数の色成分から構成され、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００３０】
第２４の発明は、第１９または第２０の発明による撮像装置において、前記撮像素子は色フィルタアレイを前面に配置した撮像素子であり、前記撮像装置は、前記第２成分に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
【００３１】
第２５の発明は、第２４の発明による撮像装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
【００３２】
第２６の発明は、第２５の発明による撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とするものである。
【００３３】
第２７の発明は、第２４から第２６の発明による撮像装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
【００３４】
第２８の発明は、第２４から第２７の発明による撮像装置において、前記信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００３５】
第２９の発明は、第２４から第２７の発明による撮像装置において、前記信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、前記ノイズ低減手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、ことを特徴とするものである。
【００３６】
第３０の発明は、第１９から第２９の発明による撮像装置において、前記第１成分と、前記ノイズ低減手段によってノイズが低減された前記第２成分との合成を行う合成手段を備えたことを特徴とするものである。
【００３７】
第３１の発明は、第１９から第３０の発明による撮像装置において、前記第１成分は、原画像の平坦成分を含む成分であることを特徴とするものである。
【００３８】
第３２の発明は、第１９から第３１の発明による撮像装置において、前記第１成分は、原画像のエッジ成分を含むことを特徴とするものである。
【００３９】
第３３の発明は、第１９から第３２の発明による撮像装置において、前記成分分離手段は加算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
【００４０】
第３４の発明は、第１９から第３２の発明による撮像装置において、前記成分分離手段は乗算型分離により前記原画像信号を前記第１成分と前記第２成分を含む複数の成分に分離することを特徴とするものである。
【００４１】
第３５の発明は、第１９から第３４の発明による撮像装置において、階調変換を行うデジタル信号処理手段を備え、前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とするものである。
【００４２】
第３６の発明は、第３０の発明による撮像装置において、前記合成手段によって得られた信号のうち、所定の色フィルタの配置に対応した色信号を取り出す信号生成手段を備えたことを特徴とするものである。
【００４３】
第３７の発明は、複数の色成分を含む原画像信号を対象とした画像処理装置において、前記原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記画像信号のノイズを低減するノイズ低減手段と、前記原画像信号に対して、注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
【００４４】
第３８の発明は、第３７の発明による画像処理装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とするものである。
【００４５】
第３９の発明は、第３７または第３８の発明による画像処理装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
【００４６】
第４０の発明は、第３９の発明による画像処理装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。
【００４７】
第４１の発明は、第３７または第４０の発明による画像処理装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
【００４８】
第４２の発明は、撮像装置において、色フィルタアレイを前面に配置した撮像素子と、前記撮像素子から得られた複数の色成分を含む原画像信号に対して、注目画素とその近傍の領域での信号レベルを得る信号レベル取得手段と、前記信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータを用いて前記原画像信号のノイズを低減するノイズ低減手段と、前記原画像信号に対して、前記注目画素を含む近傍領域での色成分間の相関係数を演算する相関係数演算手段と、前記相関係数に応じて前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、を備えたことを特徴とするものである。
【００４９】
第４３の発明は、第４２の発明による撮像装置において、前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とするものである。
【００５０】
第４４の発明は、第４２または第４３の発明による撮像装置において、前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とするものである。
【００５１】
第４５の発明は、第４４の発明による撮像装置において、前記パラメータ補正手段は前記補正係数を次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とするものである。
【００５２】
第４６の発明は、第４２から第４５の発明による撮像装置において、前記原画像信号は３種以上の色成分を含み、前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とするものである。
【発明の効果】
【００５３】
原画像信号に含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号を推定する必要があるが、骨格成分である第１成分の信号レベルを用いれば原画像信号に含まれるノイズを精度良く推定することができる。その一方で、原画像信号に対する第１成分の残差から得られる第２成分には、原画像信号に含まれていたノイズ成分と同等のノイズ成分が分離される。
【００５４】
したがって、第１から第３６の発明のように、第１成分の信号レベルに基づきノイズ低減処理パラメータを設定し、これを用いて第２成分のノイズを低減するようにすれば、第２成分のノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。骨格成分は第１成分として分離されているので、ノイズ低減処理により骨格成分が劣化することもない。
【００５５】
また、第１７、第３６の発明によれば、デジタル画像処理部の前段において上記成分分離、ノイズ低減処理を行うので、成分分離における骨格成分とノイズ成分の分離能力が向上する。
【００５６】
また、第６から第１１、第２４から第２９、第３７から第４６の発明によれば、色成分間の相関に応じてノイズ低減処理パラメータを補正するようにしたことにより、画像信号に含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【発明を実施するための最良の形態】
【００５７】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００５８】
＜第１の実施形態＞
図１は本発明の第1の実施形態に係る撮像装置のシステム構成図である。図１において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
【００５９】
原画像は、レンズ1001を通してCCD、CMOS等の固体撮像素子1002で電気信号に変換され、撮像信号処理部1003においてCDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われる。その後、A/D変換部1004でデジタル信号に変換され、デジタル信号処理部1005で所定の階調の画像信号（原画像信号I）に変換される。第１の実施形態においては、固体撮像素子1002はモノクロ用撮像素子、原画像信号Iはモノクロ信号である。
【００６０】
成分分離部3001では、原画像信号Iを第１成分Uと第２成分Vに分離する。第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Iの骨格成分（幾何学的画像構造）であり、第２成分Vは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分である。原画像信号Iがモノクロ信号であるので、原画像信号Iから分離される各成分U、Vはいずれも輝度成分となる。
【００６１】
なお、ここでは、説明を簡単にするために、原画像信号Iを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。また、成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。
【００６２】
ノイズ低減処理パラメータ設定部3004では、図２に示す信号レベル−ノイズ分散モデルまたはその近似データを参照して第１成分Uの信号レベルに対応するノイズの分散σ（ノイズ量）を取得する。第１成分Uは原画像信号Iの骨格成分であるので、第１成分Uの信号レベルから得られるノイズの分散σは、原画像信号Iに含まれていたノイズの分散σにほぼ等しい。そして、ノイズの分散σに応じたノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002に伝送する。
【００６３】
ノイズ低減処理パラメータT1、T2は、例えば、次式(1)：
【００６４】
【数１】
2008172431.tif 000003
【００６５】
により、それぞれノイズの分散σに比例する値に設定される。kは係数で、例えば1/2である。信号レベル−ノイズ分散モデルの詳細については後述する。
【００６６】
ノイズ低減処理部3002では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理（コアリング処理）を行う。第２成分Vは原画像信号Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第２成分Vに含まれるノイズを効果的に低減することができる。そして、得られた値を補正第２成分V'として成分合成処理部3005に伝送する。軟判定閾値処理の詳細については後述する。
【００６７】
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。合成成分I'は、LCD等の表示素子2001に伝送されるとともに、圧縮回路2002を介して、フラッシュメモリ等で構成される記憶メディア2003に伝送される。
【００６８】
図３は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。図中参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００６９】
ステップＳ１１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【００７０】
ステップＳ１２では、第１成分Uの信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得する。そして、ノイズ低減処理パラメータT1、T2をノイズの分散σに応じて設定する。
【００７１】
ステップＳ１３では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、第２成分Vに含まれているノイズを低減し、補正第２成分V'を得る。
【００７２】
ステップＳ１４では、第１成分Uと補正第２成分V'を合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【００７３】
続いて、成分分離部3001において行う原画像信号Iの成分分離の詳細について説明する。原画像信号Iから第１成分Uを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。成分分離の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
【００７４】
加算型分離
加算型分離では、原画像信号Iが次式(2)で示すように、第１成分Uと第２成分Vの和として表される。
【００７５】
【数２】
2008172431.tif 000004
【００７６】
ここでは、まず、有界変動関数とノルムを用いた分離方法を説明する。
【００７７】
分離を行うために、非特許文献１に記載のA2BC変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。
【００７８】
最適解として求められる第１成分Uの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、第１成分Uのエネルギーは次式(3)のTV(Total Variation)ノルムJ(U)で定義される。
【００７９】
【数３】
2008172431.tif 000005
【００８０】
一方、式(2)中の第２成分Vの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって次式(4)のように表現された関数の空間であり、そのエネルギーは次式(5)のGノルム‖V‖Gとして定義される。
【００８１】
【数４】
2008172431.tif 000006
【００８２】
【数５】
2008172431.tif 000007
【００８３】
原画像信号Iの分離問題は、エネルギー汎関数を最小化する次式(6)の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
【００８４】
【数６】
2008172431.tif 000008
【００８５】
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けるが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００８６】
その他の加算型分離方法の例としては、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。
【００８７】
例１：第１成分Uを原画像信号Iに対する直交基底展開の低次の成分とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例２：第１成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例３：第１成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第２成分Vを原画像信号Ｉに対する第１成分Uの残差とする方法
例４： 第１成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例５：第１成分Uを原画像信号IにBilateral Filterを施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
【００８８】
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第１成分Uと第２成分Vの積によって表されるが、原画像信号Iを対数変換して対数原画像信号fとすると、次式(7)のように加算型分離問題に変換することができる。
【００８９】
【数７】
2008172431.tif 000009
【００９０】
ここでは、前述と同様に有界変動関数とノルムを用いた分離方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にA2BC変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるA2BC変分モデルについて簡単に述べる。
【００９１】
式(7)中の対数第１成分uの関数空間は、前述の加算型分離モデルの第１成分Uと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、対数第１成分uのエネルギーは次式(8)のTV(Total Variation)ノルムJ(u)で定義される。
【００９２】
【数８】
2008172431.tif 000010
【００９３】
一方、式(7)中の対数第２成分vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(9)のように表現された関数の空間であり、そのエネルギーは式(10)のGノルム‖v‖Gとして定義される。
【００９４】
【数９】
2008172431.tif 000011
【００９５】
【数１０】
2008172431.tif 000012
【００９６】
したがって、対数原画像信号fの分離問題は、エネルギー汎関数を最小化する次式(11)の変分問題として定式化される。
【００９７】
【数１１】
2008172431.tif 000013
【００９８】
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けているが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００９９】
続いて、ノイズ低減処理パラメータ設定部3004で参照する信号レベル−ノイズ分散モデルについて説明する。
【０１００】
原画像信号Iに含まれるノイズをガウスノイズとすると、ノイズの分散σ（ノイズ量）は、A/D変換直後の信号レベルL0に対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、次式(12)が得られる。
【０１０１】
【数１２】
2008172431.tif 000014
【０１０２】
ここで、α、β、γは定数項である。しかしながら、ノイズの分散σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズの分散σをプロットしている。個々の曲線は式(12)に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形で信号レベル−ノイズ分散モデルの定式化を行うと、
【０１０３】
【数１３】
2008172431.tif 000015
【０１０４】
となる。ここで、αgt、βgt、γgtは温度t、ゲインgに応じて決まる定数項である。フルカラーの場合、このノイズモデルは各色独立に適用することができる。
【０１０５】
しかしながら、第１の実施形態では、デジタル信号処理部1005の後段で成分分離、ノイズ低減処理を行うので、上記モデルをそのまま用いることはできない。そこで、上記信号レベル−ノイズ分散モデルの特性に加え、デジタル信号処理部1005の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル−ノイズ分散モデルを得る。
【０１０６】
例えば、デジタル信号処理部1005が、12bitの入力信号を8bit出力信号に階調変換するKnee処理又はγ変換である場合、デジタル信号処理部1005は図５の様な入出力信号特性を有している。図中、L(12)はA/D変換直後の信号レベル、L(8)はデジタル信号処理後の信号レベルを表す。
【０１０７】
したがって、式(12)あるいは(13)のA/D変換直後の信号レベル−ノイズ分散の特性と、図５の様なデジタル信号処理部1005の特性を考慮すると、デジタル信号処理後の信号レベルY(8)とノイズの分散σは、図２に示した単峰の曲線の関係（信号レベル−ノイズ分散モデル）となる。
【０１０８】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定している。なお、簡略化のために、図２に代えて、図２を折れ線で近似したデータを参照するようにしてもよい。
【０１０９】
続いて、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理について説明する。
【０１１０】
原画像信号Iから分離された第２成分Vは上記の通りノイズを含むので、ノイズ低減処理部3002では、以下に説明する軟判定閾値処理（コアリング処理）により第２成分Vに含まれるノイズを低減する。
【０１１１】
軟判定閾値処理は、基準値をB、上限閾値をC1=B+T1 (T1>0)、下限閾値をC2=B+T2 (T2<0)とし、処理前の信号値Aと処理後の信号値Dの関係が次式(14)で表される信号処理である。
【０１１２】
【数１４】
2008172431.tif 000016
【０１１３】
図６は軟判定閾値処理が行われる様子を示している。図６(a)に示す１次元の信号値Aに対して軟判定閾値処理を行うと、図６(b)に示す信号値Dが得られる。このとき基準値Bには信号値Aの移動平均を用いている。
【０１１４】
第１の実施形態では、原画像信号Iから分離された第２成分Vに対して上記軟判定閾値処理を行う。第２成分Vは、原画像信号Iから骨格成分である第１成分を除いたものであるので、基準値Bは0と考えて良い。
【０１１５】
図７は、上記成分分離、ノイズ低減処理により原画像信号Iのノイズが低減される様子を示している。
【０１１６】
図７(a)は、１次元で表した原画像信号Iを示しており、ノイズを含んでいる。
【０１１７】
図７(b)は、成分分離部3001によって原画像信号Iから分離された第１成分Uを示している。第１成分Uは平坦成分とエッジ成分を含む骨格成分であり、ノイズを殆ど含んでいない。
【０１１８】
図７(c）は、成分分離部3001によって得られた第２成分Vを示している。第２成分Vは原画像信号Iに対する第１成分Uの残差成分であり、原画像信号Iに含まれていたノイズと同等のノイズを含んでいる。
【０１１９】
図７(d)は、第２成分Vに対して軟判定閾値処理を行った結果である。補正第２成分V'は第２成分Vに比べてノイズが低減されている。信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第１の実施形態では、これに代えて骨格成分である第１成分Uの信号レベルを用いてノイズの分散σを取得するようにしている。なお、ここでは、簡単のために、図２に示した信号レベル−ノイズ分散モデルを折れ線で近似したデータを参照してノイズの分散σを取得した。
【０１２０】
図７(e)は、成分合成処理部3005で図７(b)の第１成分Uと図７(d)の補正第２成分V'とを1:1で合成した結果である。図７の(a)と(e)を比較するとわかるように、合成成分I'は原画像信号Iに対してエッジ成分を保存しつつ、ノイズが低減されている。なお、合成時の混合比は任意に設定することができる。
【０１２１】
続いて第１の実施形態の作用効果について説明する。
【０１２２】
原画像信号Iに含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号Iを推定する必要があるが、骨格成分である第１成分Uの信号レベルを用いれば原画像信号Iに含まれるノイズを精度良く推定することができる。その一方で、原画像信号Iに対する第１成分Uの残差成分である第２成分Vには、原画像信号Iに含まれていたノイズと同等のノイズが分離される。
【０１２３】
したがって、第１成分Uの信号レベルに基づき、第２成分Vのノイズを低減するためのノイズ低減処理パラメータT1、T2を設定し、これを用いて第２成分Vのノイズを低減するようにすれば、第２成分Vのノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。エッジ成分は骨格成分である第１成分に含まれるので、ノイズ低減処理によってエッジが劣化することはない。
【０１２４】
なお、ノイズ低減処理の方法としては、信号レベル依存の信号処理であれば何れの方法でもよく、例えば、上記の通り、ノイズ低減処理パラメータT1、T2に応じた閾値と第２成分Vを比較して第２成分Vを補正する軟判定閾値処理を利用することができる。
【０１２５】
また、成分分離の手法は、上記した加算型分離、乗算型分離の何れを用いても良く、また、２成分への分離のみならず、３成分以上に分離するようにしても構わない。また第２〜第Ｎ成分に対するノイズ低減処理は、上記軟判定閾値処理に限定されず、信号レベルに基づきノイズを低減する処理であれば、何れの方法でもよい。
【０１２６】
＜第２の実施形態＞
第２の実施形態以降の実施形態はフルカラーに対応した実施形態である。第１の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１２７】
図８は第２の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子1012は色フィルタアレイを前面に配置したフルカラー用撮像素子である。固体撮像素子1012は、単板方式、複数板方式のいずれでも良い。
【０１２８】
色成分分離部3008では第１成分Uを各色成分（R成分、G成分、B成分）に分離し、各色成分の信号レベルを取得する。
【０１２９】
ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照し、ノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１３０】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。
【０１３１】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、第１の実施形態で説明した軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【０１３２】
図９は成分分離部3001から成分合成処理部3005までの処理の流れを示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１３３】
ステップＳ２１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１３４】
ステップＳ２２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０１３５】
ステップＳ２３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照してノイズの分散σを色成分毎に取得する。そして各色成分のノイズの分散σに応じて第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2を設定する。
【０１３６】
ステップＳ２４では、第２成分Vを各色成分に分離する。
【０１３７】
ステップＳ２５では、第２成分Vの各色成分に対して、対応する色成分のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、軟判定閾値処理後の値を補正第２成分V'とする。
【０１３８】
ステップＳ２６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１３９】
この第２の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１４０】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１４１】
＜第３の実施形態＞
図１０は第３の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１４２】
第３の実施形態では色成分分離部3008に代えてY/C分離部3018を備える。Y/C分離部3018では、第１成分Uを輝度成分Yと色差成分Cb、Crに分離し、輝度成分Yの信号レベルを取得する。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、次式(15)により行われる。
【０１４３】
【数１５】
2008172431.tif 000017
【０１４４】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照して輝度成分Yの信号レベルに応じた各色成分のノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１４５】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。ノイズ低減処理部3002は上記軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【０１４６】
図１１は成分分離部3001から成分合成処理部3005までの処理を示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１４７】
ステップＳ３１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１４８】
ステップＳ３２では、第１成分UをY/C成分に分離し、輝度成分Yの信号レベルを得る。
【０１４９】
ステップＳ３３では、第１成分Uの輝度成分Yの信号レベルに応じ、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じた第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
【０１５０】
ステップＳ３４では、第２成分Vを各色成分に分離する。
【０１５１】
ステップＳ３５では、第２成分Vの各色成分に対して、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、補正第２成分V'を得る。
【０１５２】
ステップＳ３６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１５３】
この第３の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１５４】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１５５】
また、この実施形態においては、第１成分から輝度成分Yを分離し、輝度成分Yの信号レベルに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしても構わない。
【０１５６】
＜第４の実施形態＞
図１２は第４の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１５７】
第１の実施形態では、デジタル信号処理部1005の後段に、成分分離部3001〜成分合成処理部3005を配置しているが、第４の実施形態では、図１２に示すように、デジタル信号処理部1005の前段にこれらの要素を配置し、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１５８】
そして、第４の実施形態では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散モデルを用いてノイズ低減処理パラメータT1、T2を色成分毎に設定する。第４の実施形態では、デジタル信号処理の前段で信号分離、ノイズ低減処理を行うので、信号レベル−ノイズ分散モデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照してノイズの分散σを取得する。
【０１５９】
その後の、軟判定閾値処理による第２成分Vのノイズ低減処理、第１成分Uと補正第２成分V'の合成処理に関しては、第２の実施形態と同様である。
【０１６０】
この第４の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合に適応し、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。また、デジタル画像処理部の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１６１】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１６２】
また、この第４の実施形態では各色成分の信号レベルに基づきノイズの分散σを取得し、これに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、各色成分の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしてもよい。
【０１６３】
＜第５の実施形態＞
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数（以下、「相関係数」という。）は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
【０１６４】
そこで、第５の実施形態では、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正する。これにより、相関が高い領域では軟判定閾値処理での幅が狭まり、原画像信号Iを保持する様に作用する一方で、相関の低い領域では軟判定閾値処理での幅が広がって、原画像信号Iを平坦化することができ、より高精度のノイズ低減処理が実現できる。
【０１６５】
図１４は第５の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１６６】
デジタル信号処理部1005から出力された原画像信号I（フルカラー信号）は色成分分離部3022、相関演算処理部3006及びノイズ低減処理部3002に伝送される。
【０１６７】
色成分分離部3022は原画像信号Iを各色成分に分離し、代表信号レベル算出部3023では、分離された各色成分について所定の画素位置近傍の代表信号レベルを算出する。代表信号レベルを算出するにあたっては、線形フィルタ、メジアンフィルタ等の非線形フィルタ、バイラテラルフィルタ等の非線形拡散フィルタ、モホロジフィルタ等を使用することができる。
【０１６８】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照して、各色成分の代表信号レベルに応じたノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１６９】
相関演算処理部3006では、後述する様に、注目画素位置を含む近傍領域での各色成分の相関係数を演算し、その最小値である最小相関係数rを出力する。
【０１７０】
パラメータ補正部3007では、最小相関係数rに基づき補正係数Cを算出し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けることで各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１７１】
ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
【０１７２】
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために原画像信号Iが１次元であるとして説明する。
【０１７３】
図１５、図１６は、原画像信号Iの画素位置と各色成分の信号レベルとの関係を示している。図１５に示す例では、色成分間に相関がなく、この場合、各画素位置の各色成分の信号レベルは、
画素位置  R   G   B  
1        150       180       130
2        220       120       140
3        160       150       100
4        200       140       160
5        140       100       200
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数  -0.15836  -0.69668 -0.14106
となり、最小相関係数rは、-0.69668となる。
【０１７４】
一方、図１６に示す例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置  R   G   B  
1        100       120       150
2        150       160       180
3        170       160       180
4        100       120       90
5        90        100       100
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数  0.962099  0.866459  0.848117
となり、最小相関係数rは、0.848117となる。
【０１７５】
第５の実施形態では、最小相関係数rを用いてノイズ低減処理パラメータT1、T2をそれぞれ、次式(16)により補正する。
【０１７６】
【数１６】
2008172431.tif 000018
【０１７７】
c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１５の場合、2.878739で、図１６の場合、0.023069となる。
【０１７８】
したがって、図１５の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、原信号をより平滑化するように作用する。一方で、図１６の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０１７９】
このように、第５の実施形態によれば、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１８０】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１８１】
＜第６の実施形態＞
図１７は第６の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１８２】
第６の実施形態では、第４の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して軟判定閾値処理を行う。したがって、第６の実施形態では、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で色フィルタアレイを通して得られた信号をデモザイキングする。
【０１８３】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベル−ノイズの分散σのモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照して各色成分のノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を色成分毎に設定する。ノイズ低減処理パラメータT1、T2は、例えば、ノイズの分散σに比例する値に設定する。
【０１８４】
色成分間の相関による軟判定閾値処理のノイズ低減処理パラメータT1、T2の補正は、パラメータ補正部3007において第５の実施形態と同様に式(16)により行われる、また、ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を原画像信号Iに対して行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
【０１８５】
色フィルタアレイ信号抽出部5000では、ノイズ低減処理後の画像信号から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。デジタル信号処理後の信号は後段の表示素子2001、記憶メディア2003へと伝送される。
【０１８６】
第６の実施形態では、第５の実施形態と同様に色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理により後者の成分が劣化するのを抑えることができる。
【０１８７】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１８８】
＜第７の実施形態＞
図１８は第７の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１８９】
第７の実施形態では、第２の実施形態に示した成分分離後の軟判定閾値処理と、第５、第６の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正を兼備する。ただし、第５、第６の実施形態と異なり、色成分間の相関演算は原画像信号Iから分離された第２成分Vに対して行う。
【０１９０】
原画像信号Iから分離された第１成分Uは色成分分離部3008に送られ、色成分分離部3008では各色成分の信号レベルを取得する。
【０１９１】
ノイズ低減処理パラメータ取得部3004では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１９２】
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3006に伝送され、相関演算処理部3006では、第２成分Vに対して第５、第６の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
【０１９３】
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１９４】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として出力する。
【０１９５】
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１９６】
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第２成分Vが１次元であるとして説明する。第２成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分であるので、第２成分Vはゼロを中心として変動する成分である。
【０１９７】
図１９、図２０は第２成分Vの画素位置と各色成分の信号レベルとの関係を示している。
【０１９８】
図１９に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レベルは、
画素位置  R   G   B  
1        -5        7        2
2         4       -2        2
3        -2        4        4
4         1       -5        5
5         6       -1        2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数  -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
【０１９９】
一方、図２０の例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置  R   G   B  
1         1       0      -1
2         4       3       3
3         5       3       4
4        -2      -1       0
5        -1       0      -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数  0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
【０２００】
以上のようにして最小相関係数rを算出したら、ノイズ低減処理パラメータT1、T2は、第５の実施形態で用いた式(16)によりそれぞれ補正される。c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１９の場合で3.0677、図２０の場合で0.01590となる。
【０２０１】
したがって、図１９の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより平滑化するように作用する。一方で、図２０の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０２０２】
図２１は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０２０３】
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０２０４】
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０２０５】
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
【０２０６】
ステップＳ７４では、第２成分Vを各色成分に分離する。
【０２０７】
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
【０２０８】
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
【０２０９】
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
【０２１０】
ステップＳ７８では、第１成分Uと補正第２成分V'を合成して、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０２１１】
第７の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０２１２】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０２１３】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０２１４】
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分から分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０２１５】
＜第８の実施形態＞
図２２は第８の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０２１６】
第８の実施形態では、第４、第６の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０２１７】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004は、各色成分の信号レベル−ノイズ分散のモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを用いてノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０２１８】
その後の軟判定閾値処理によるノイズ低減処理は他の実施形態と同様である。また、色成分間の相関によるノイズ低減処理パラメータT1、T2の補正は第５の実施形態と同様であり、最小相関係数rに応じて式(16)によりノイズ低減処理パラメータT1、T2が補正される。
【０２１９】
ノイズ低減処理部3002から出力される補正第２成分V'は、成分合成処理部3005で第１成分Uと合成される。色フィルタアレイ信号抽出部5000では、合成成分I'から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。
【０２２０】
この第８の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０２２１】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０２２２】
また、デジタル信号処理部1005の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０２２３】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０２２４】
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０２２５】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０２２６】
【図１】第１の実施形態に係る撮像装置のシステム構成図である。
【図２】デジタル信号処理後の信号レベル−ノイズ分散モデルである。
【図３】第１の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図４】A/D変換直後の信号レベルとノイズの分散の関係を示した特性図である。
【図５】デジタル信号処理部の入出力特性を示す特性図である。
【図６】軟判定閾値処理を説明するための図である。
【図７】ノイズ低減処理によりノイズが低減される様子を示した図である。
【図８】第２の実施形態に係る撮像装置のシステム構成図である。
【図９】第２の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図１０】第３の実施形態に係る撮像装置のシステム構成図である。
【図１１】第３の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図１２】第４の実施形態に係る撮像装置のシステム構成図である。
【図１３】デジタル信号処理前の信号レベル−ノイズ分散モデルである。
【図１４】第５の実施形態に係る撮像装置のシステム構成図である。
【図１５】色成分間に相関のない１次元の画像信号の例を示した図である。
【図１６】色成分間に相関のある１次元の画像信号の例を示した図である。
【図１７】第６の実施形態に係る撮像装置のシステム構成図である。
【図１８】第７の実施形態に係る撮像装置のシステム構成図である。
【図１９】色成分間に相関のない１次元の画像信号の例を示した図である。
【図２０】色成分間に相関のある１次元の画像信号の例を示した図である。
【図２１】第７の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図２２】第８の実施形態に係る撮像装置のシステム構成図である。
【符号の説明】
【０２２７】
1000  システムコントローラー
1002  固体撮像装置（モノクロ）
1012  固体撮像装置（フルカラー）
1005  デジタル信号処理部（デジタル信号処理手段）
3001  成分分離部（成分分離手段）
3002  ノイズ低減処理部（ノイズ低減手段）
3004  ノイズ低減処理パラメータ設定部（パラメータ設定手段）
3006  相関演算処理部（相関演算処理手段）
3007  パラメータ補正部（パラメータ補正手段）
3005  成分合成処理部（合成手段）
3008  色成分分離部（信号レベル取得手段）
3018  Y/C分離部（信号レベル取得手段）
3023  代表信号レベル算出部（信号レベル取得手段）
【図１】
2008172431.tif 000019
【図２】
2008172431.tif 000020
【図３】
2008172431.tif 000021
【図４】
2008172431.tif 000022
【図５】
2008172431.tif 000023
【図６】
2008172431.tif 000024
【図７】
2008172431.tif 000025
【図８】
2008172431.tif 000026
【図９】
2008172431.tif 000027
【図１０】
2008172431.tif 000028
【図１１】
2008172431.tif 000029
【図１２】
2008172431.tif 000030
【図１３】
2008172431.tif 000031
【図１４】
2008172431.tif 000032
【図１５】
2008172431.tif 000033
【図１６】
2008172431.tif 000034
【図１７】
2008172431.tif 000035
【図１８】
2008172431.tif 000036
【図１９】
2008172431.tif 000037
【図２０】
2008172431.tif 000038
【図２１】
2008172431.tif 000039
【図２２】
2008172431.tif 000040