(57)【要約】【課題】撮影状況に最適化された高精度なノイズ低減処理を可能とする撮像システム等を提供する。【解決手段】ＣＣＤ１からの映像信号から注目画素と近傍画素とを含む局所領域を抽出し、局所領域内において注目画素に対してエッジ保存型の適用的なノイズ低減処理を行うことによりエッジ成分の影響を概略的に除去する第１ノイズ低減部１１４と、この第１ノイズ低減部１１４によりノイズ低減された注目画素値に基づいて注目画素に関するノイズ量を動的に推定するノイズ推定部１１５と、第１ノイズ低減部１１４によりノイズ低減された注目画素値と、ノイズ推定部１１５により推定されたノイズ量と、に基づき、注目画素に対してノイズ低減処理を行う第２ノイズ低減部１１６と、を備えた撮像システム。【選択図】図１
2008124764.tif 000002
【特許請求の範囲】
【請求項１】
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記ノイズ推定手段により推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
を具備したことを特徴とする撮像システム。
【請求項２】
上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする請求項１に記載の撮像システム。
【請求項３】
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ推定手段により推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減手段によってノイズ低減処理がなされた注目画素値を順次記録する信号記録手段と、
を具備したことを特徴とする撮像システム。
【請求項４】
上記第１のノイズ低減手段は、
上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出手段と、
上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリング手段と、
を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項５】
上記重み係数算出手段は、上記注目画素値と上記近傍画素値との差成分に基づき重み係数を出力するテーブル手段を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
【請求項６】
上記重み係数算出手段は、
上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
上記第１の重み係数と上記第２の重み係数とに基づき上記重み係数を合成する合成手段と、
を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
【請求項７】
上記重み係数算出手段は、
上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
上記注目画素値と上記近傍画素値との差成分に基づき第３の重み係数を出力する第３のテーブル手段と、
上記第１の重み係数と上記第２の重み係数と上記第３の重み係数とに基づき上記重み係数を合成する合成手段と、
を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
【請求項８】
上記重み係数算出手段は、上記注目画素値と上記近傍画素値とに関して所定ビット数の上位ビット成分を抽出するビットシフト手段をさらに有して構成されたものであることを特徴とする請求項５〜７の何れか一項に記載の撮像システム。
【請求項９】
上記第１のノイズ低減手段は、
所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出手段と、
上記拡散処理された映像信号を記録する拡散画像記録手段と、
上記拡散画像記録手段に記録された映像信号に対して、上記拡散画像算出手段により再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録手段に記録させる反復処理を制御する反復処理制御手段と、
を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
【請求項１０】
上記反復処理制御手段は、
上記拡散画像記録手段に記録された映像信号と、該拡散画像記録手段に記録された映像信号に対して上記拡散画像算出手段により再度拡散処理された映像信号と、の間の変化成分を算出する変化成分算出手段と、
上記変化成分が所定の閾値以下になった場合に上記反復処理を停止させる停止手段と、
を有して構成されたものであることを特徴とする請求項９に記載の撮像システム。
【請求項１１】
上記反復処理制御手段は、
上記反復処理の回数を算出する処理回数算出手段と、
上記反復処理の回数が所定の回数に達した場合に上記反復処理を停止させる停止手段と、
を有して構成されたものであることを特徴とする請求項９に記載の撮像システム。
【請求項１２】
上記非線形拡散方程式は、全変動（ＴＶ；Total Variation）ノルムに基づく方程式、または偏微分方程式（ＰＤＥｓ；Partial Differential Equations）に基づく方程式であることを特徴とする請求項９に記載の撮像システム。
【請求項１３】
上記第１のノイズ低減手段は、
上記注目画素を基点として上記局所領域を所定方向の複数の方向別領域へ分割する領域分割手段と、
上記各方向別領域に関して分散値を算出する分散算出手段と、
上記分散値に基づき分散値が最小となる方向別領域を選択する領域選択手段と、
上記選択された方向別領域に関して平均値を算出する平均値算出手段と、
を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
【請求項１４】
上記ノイズ推定手段は、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、に基づき、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記選択されたパラメータと、に基づき、補間演算によりノイズ量を求める補間手段と、
を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
【請求項１５】
上記ノイズ推定手段は、
上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、を入力として、ノイズ量を出力するノイズテーブル手段と、
を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
【請求項１６】
上記ノイズ推定手段は、
上記注目画素に関する孤立点の度合いを検出する孤立点検出手段と、
上記孤立点の度合いに基づき上記ノイズ量を補正する補正手段と、
をさらに有して構成されたものであることを特徴とする請求項１４または請求項１５に記載の撮像システム。
【請求項１７】
上記第２のノイズ低減手段は、
上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定手段と、
上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージング手段と、
上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージング手段と、
を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
【請求項１８】
上記第２のノイズ低減手段は、
複数の平滑化フィルタを記録する平滑化フィルタ記録手段と、
上記ノイズ量と上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき、上記平滑化フィルタを選択する平滑化フィルタ選択手段と、
上記選択された平滑化フィルタに基づき平滑化を行うスムージング手段と、
を有して構成されたものであることを特徴とする請求項１に記載の撮像システム。
【請求項１９】
上記第２のノイズ低減手段は、
上記信号記録手段に記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出手段と、
上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分手段と、
上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定手段と、
上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択手段と、
上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償手段と、
上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分手段と、
を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
【請求項２０】
上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
上記色フィルタの複数色毎に、上記映像信号を複数の色信号に分離する色信号分離手段と、
上記色信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
をさらに具備したことを特徴とする請求項１に記載の撮像システム。
【請求項２１】
上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
上記映像信号を輝度信号と色差信号とに分離する輝度色差分離手段と、
上記輝度信号および色差信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
をさらに具備したことを特徴とする請求項１に記載の撮像システム。
【請求項２２】
上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする請求項２０または請求項２１に記載の撮像システム。
【請求項２３】
コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と、上記ノイズ推定ステップにより推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
を行わせるための画像処理プログラム。
【請求項２４】
上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする請求項２３に記載の画像処理プログラム。
【請求項２５】
コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
上記ノイズ推定ステップにより推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減ステップによってノイズ低減処理がなされた注目画素値を順次記録する信号記録ステップと、
を行わせるための画像処理プログラム。
【請求項２６】
上記第１のノイズ低減ステップは、
上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出ステップと、
上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリングステップと、
を含むステップであることを特徴とする請求項２３または請求項２４に記載の画像処理プログラム。
【請求項２７】
上記第１のノイズ低減ステップは、
所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出ステップと、
上記拡散処理された映像信号を記録する拡散画像記録ステップと、
上記拡散画像記録ステップにより記録された映像信号に対して、上記拡散画像算出ステップにより再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録ステップにより記録させる反復処理を制御する反復処理制御ステップと、
を含むステップであることを特徴とする請求項２３に記載の画像処理プログラム。
【請求項２８】
上記第２のノイズ低減ステップは、
上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定ステップと、
上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージングステップと、
上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージングステップと、
を含むステップであることを特徴とする請求項２３に記載の画像処理プログラム。
【請求項２９】
上記第２のノイズ低減ステップは、
上記ノイズ量と上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値とに基づき、複数の平滑化フィルタの内の１つの平滑化フィルタを選択する平滑化フィルタ選択ステップと、
上記選択された平滑化フィルタに基づき平滑化を行うスムージングステップと、
を含むステップであることを特徴とする請求項２３に記載の画像処理プログラム。
【請求項３０】
上記第２のノイズ低減ステップは、
上記信号記録ステップにより記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出ステップと、
上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分ステップと、
上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定ステップと、
上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択ステップと、
上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償ステップと、
上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分ステップと、
を含むステップであることを特徴とする請求項２５に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システム、画像処理プログラムに関する。
【背景技術】
【０００２】
撮像系は、撮像素子と、この撮像素子に付随するアナログ回路およびＡ／Ｄコンバータなどと、を備えて構成されている。この撮像系から得られる映像信号は、一般にノイズ成分を含有しており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。
【０００３】
上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。
【０００４】
一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。
【０００５】
後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂcDにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適用的なノイズ低減処理が行われるようになっている。
【０００６】
また、特開２００６−２３９５９号公報には、ノイズモデルに基づいてノイズ量をブロック単位に推定し、ブロック単位にノイズ低減処理を制御する技術が記載されている。さらに、該公報には、ノイズ量を推定するにあたりブロック内で注目画素と類似する領域を選択して、選択された領域の平均値を用いることが記載されている。これにより、エッジ部の影響を抑制したスペースバリアントなノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
【０００７】
さらに、特開２００６−２４６０８０号公報には、バイラテラルフィルタと呼ばれるエッジ保存型の平滑化処理と鮮鋭化処理とを組み合わせた技術が記載されている。これにより、ノイズを低減しながらエッジ成分の劣化が小さい画像を得ることができる。
【０００８】
ところで近年、ノイズ等の劣化要因により劣化した画像を、非線形拡散方程式に基づき拡散画像を算出することにより回復する技術が提案されており、例えば、「IEEE SIGNAL PROCESSING MAGAZINE, SEPTEMBER 2002」の第１６頁〜第２５頁に、該技術の一例が記載されている。
【特許文献１】特開２００１−１５７０５７号公報
【特許文献２】特開２００６−２３９５９号公報
【特許文献３】特開２００６−２４６０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開２００１−１５７０５７号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、該公報には、ノイズ量からフィルタリングの周波数特性を制御することが記載されているが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズとを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。
【００１０】
これに対して、上記特開２００６−２３９５９号公報に記載されたものでは、注目画素と類似する領域を選択して平均値を算出するために、エッジ成分の影響を抑制することができる。しかし、ブロック内に存在するエッジ成分の割合が増加すると、選択される類似領域が減少し、平均値の算出精度が低下する。このために、複雑なエッジ領域においては、ノイズ量の推定精度が低下してしまうという課題がある。
【００１１】
さらに、上記特開２００６−２４６０８０号公報に記載されたバイラテラルフィルタは、注目画素と近傍画素との距離および信号差に基づき、該近傍画素に関する重み係数を適用的に求めてフィルタリング処理を行うものである。ここで、距離および信号差に基づき重み係数を導く過程においてはガウス関数を用いているが、該公報に記載の技術では、このガウス関数のパラメータは静的に与えられる。しかし、ノイズ量は信号レベルに応じて動的に変化するために、ノイズの発生量に応じた最適な重み係数を算出することができず、ノイズ低減の精度が劣るという課題がある。
【００１２】
本発明は上記事情に鑑みてなされたものであり、撮影状況に最適化された高精度なノイズ低減処理を可能とする撮像システム、画像処理プログラムを提供することを目的としている。
【００１３】
また、本発明は、複雑なエッジ構造部においてもノイズ低減処理の精度が低下することのない、安定的かつ信頼性の高い撮像システム、画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明による撮像システムは、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、上記映像信号からノイズ低減処理を行う対象である注目画素と上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素とを含む局所領域を抽出する局所領域抽出手段と、上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて上記注目画素に関するノイズ量を推定するノイズ推定手段と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と上記ノイズ推定手段により推定されたノイズ量とに基づき上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、を具備したものである。
【００１５】
また、本発明による画像処理プログラムは、コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号からノイズ低減処理を行う対象である注目画素と上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素とを含む局所領域を抽出する局所領域抽出ステップと、上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて上記注目画素に関するノイズ量を推定するノイズ推定ステップと、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と上記ノイズ推定ステップにより推定されたノイズ量とに基づき上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、を行わせるためのプログラムである。
【発明の効果】
【００１６】
本発明の撮像システム、画像処理プログラムによれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となる。
【００１７】
また、本発明の撮像システム、画像処理プログラムによれば、複雑なエッジ構造部においてもノイズ低減処理の精度が低下することがなく、安定的となりかつ信頼性が高くなる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の実施の形態を説明する。
【００１９】
［実施形態１］
図１から図２４は本発明の実施形態１を示したものであり、図１は撮像システムの構成を示すブロック図、図２は局所領域におけるベイヤー（Bayer）型原色フィルタの配置を示す図、図３は局所領域において分離されたＲ色信号を示す図、図４は局所領域において分離されたＧｒ色信号を示す図、図５は局所領域において分離されたＧｂ色信号を示す図、図６は局所領域において分離されたＢ色信号を示す図、図７は局所領域における色差線順次型補色フィルタの配置を示す図、図８は局所領域において分離されたＣｙ色信号を示す図、図９は局所領域において分離されたＹｅ色信号を示す図、図１０は局所領域において分離されたＧ色信号を示す図、図１１は局所領域において分離されたＭｇ色信号を示す図、図１２は３成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図、図１３は２成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図、図１４は１成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図、図１５はノイズ推定部の構成を示すブロック図、図１６は信号レベルに対して推定されるノイズ量の関係を示す線図、図１７は図１６に示すノイズモデルを簡略化して得られるノイズモデルを示す線図、図１８は図１７に示した簡略化されたノイズモデルからノイズ量を算出する方法を説明するための線図、図１９は第２ノイズ低減部の構成を示すブロック図、図２０は撮像部が別体である撮像システムの構成を示すブロック図、図２１は画像処理プログラムによる処理全体の流れを示すフローチャート、図２２は図２１のＳ４における第１ノイズ低減処理の詳細を示すフローチャート、図２３は図２１のＳ５におけるノイズ量推定処理の詳細を示すフローチャート、図２４は図２１のＳ６における第２ノイズ低減処理の詳細を示すフローチャート、である。
【００２０】
図１に示すように、この撮像システムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、温度センサ１０３と、増幅部１０４と、Ａ／Ｄ変換部１０５と、バッファ１０６と、プレホワイトバランス部１０７と、測光評価部１０８と、合焦点検出部１０９と、ＡＦモータ１１０と、色信号分離手段たる色信号分離部１１１と、バッファ１１２と、局所領域抽出手段たる抽出部１１３と、第１のノイズ低減手段たる第１ノイズ低減部１１４と、ノイズ推定手段たるノイズ推定部１１５と、第２のノイズ低減手段たる第２ノイズ低減部１１６と、信号処理部１１７と、出力部１１８と、収集手段であり信号制御手段たる制御部１１９と、外部Ｉ／Ｆ部１２０と、を備えている。
【００２１】
レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影し出力されたアナログの映像信号は、増幅部１０４によって増幅され、Ａ／Ｄ変換部１０５によってデジタル信号へ変換される。
【００２２】
このＡ／Ｄ変換部１０５からの映像信号は、バッファ１０６を介して色信号分離部１１１へ転送される。バッファ１０６は、プレホワイトバランス部１０７と測光評価部１０８と合焦点検出部１０９とへも接続されている。
【００２３】
プレホワイトバランス部１０７は増幅部１０４へ、測光評価部１０８は絞り１０１とＣＣＤ１０２と増幅部１０４とへ、合焦点検出部１０９はＡＦモータ１１０へ、それぞれ接続されている。
【００２４】
色信号分離部１１１からの信号は、バッファ１１２を介して抽出部１１３へ接続されている。抽出部１１３は、第１ノイズ低減部１１４とノイズ推定部１１５と第２ノイズ低減部１１６とへ接続されている。
【００２５】
第１ノイズ低減部１１４は、ノイズ推定部１１５と第２ノイズ低減部１１６とへ接続されている。ノイズ推定部１１５は、第２ノイズ低減部１１６へ接続されている。第２ノイズ低減部１１６は、信号処理部１１７を介してメモリカードなどの出力部１１８へ接続されている。
【００２６】
制御部１１９は、例えばマイクロコンピュータにより構成されていて、増幅部１０４，Ａ／Ｄ変換部１０５，プレホワイトバランス部１０７，測光評価部１０８，合焦点検出部１０９，色信号分離部１１１，抽出部１１３，第１ノイズ低減部１１４，ノイズ推定部１１５，第２ノイズ低減部１１６，信号処理部１１７，出力部１１８と双方向に接続されており、これらを制御するようになっている。
【００２７】
また、外部Ｉ／Ｆ部１２０も制御部１１９と双方向に接続されている。この外部Ｉ／Ｆ部１２０は、電源スイッチ，シャッタボタン，撮影時の各種モードの切り替えを行うためのモードボタン等を備えたインタフェースである。
【００２８】
さらに、温度センサ１０３からの信号も制御部１１９へ接続されている。この温度センサ１０３は、ＣＣＤ１０２の近傍に配置されていて、該ＣＣＤ１０２の温度を実質的に測定するためのものである。
【００２９】
次に、図１に示したような撮像システムの作用を、映像信号の流れに沿って説明する。
【００３０】
ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１２０を介してＩＳＯ感度などの撮影条件を設定する。
【００３１】
その後、ユーザが、外部Ｉ／Ｆ部１２０の２段式スイッチでなるシャッタボタンを半押しすると、この撮像システムがプリ撮像モードに入る。
【００３２】
レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。
【００３３】
，絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。
【００３４】
ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力する。
【００３５】
なお、本実施形態においては、ＣＣＤ１０２として、ベイヤー（Bayer）型原色フィルタを前面に配置した単板ＣＣＤを想定している。
【００３６】
ここに、図２を参照して、ベイヤー（Bayer）型原色フィルタの構成について説明する。
【００３７】
ベイヤー（Bayer）型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇｒ，Ｇｂ）フィルタがそれぞれ、配置されたものとなっている。なお、緑フィルタＧｒと緑フィルタＧｂとは光学特性は同一であるが、本実施形態においては処理の便宜上、これらを区別している。ここに、赤（Ｒ）フィルタと同一ラインにある緑フィルタがＧｒ、青（Ｂ）フィルタと同一ラインにある緑フィルタがＧｂである。
【００３８】
こうしてＣＣＤ１０２から出力されたアナログ信号は、増幅部１０４によって所定量だけの増幅が行われた後に、Ａ／Ｄ変換部１０５によってデジタル信号へ変換されてバッファ１０６へ転送される。なお、本実施形態においては、デジタル化された映像信号の階調幅が例えば１２ビット（ｂｉｔ）であるものとする。
【００３９】
このバッファ１０６内に記憶された映像信号は、プレホワイトバランス部１０７と、測光評価部１０８と、合焦点検出部１０９と、へそれぞれ転送される。
【００４０】
プレホワイトバランス部１０７は、所定範囲内のレベルの信号を色信号毎に積算（つまり、累計的に加算）することにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部１０７は、算出した簡易ホワイトバランス係数を増幅部１０４へ転送して、色信号毎に異なるゲインを乗算させることにより、簡易ホワイトバランス処理を行わせる。
【００４１】
測光評価部１０８は、映像信号に基づき、設定されたＩＳＯ感度，手ぶれ限界のシャッタ速度などを考慮して、上述した絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０４の増幅率などを適正露光となるように制御する。
【００４２】
また、合焦点検出部１０９は、映像信号中のエッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１１０を制御して、合焦信号を得る。
【００４３】
こうして、簡易ホワイトバランス処理や焦点調節、露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１２０の２段式スイッチでなるシャッタボタンを全押しにすると、この撮像システムが本撮像モードに入る。
【００４４】
すると、プリ撮像と同様にして、映像信号がバッファ１０６へ転送される。この本撮像は、プレホワイトバランス部１０７によって求められた簡易ホワイトバランス係数と、測光評価部１０８によって求められた露光条件と、合焦点検出部１０９によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１９へ転送される。
【００４５】
本撮像によって得られたバッファ１０６内の映像信号は、色信号分離部１１１へ転送される。
【００４６】
色信号分離部１１１は、制御部１１９の制御に基づき、転送されてきた映像信号をＣＣＤ１０２で使用されている色フィルタ単位の色信号に分離する。すなわち、本実施形態においては、色信号分離部１１１は、図３に示すようなＲ色信号と、図４に示すようなＧｒ色信号と、図５に示すようなＧｂ色信号と、図６に示すようなＢ色信号と、の４種類に分離する。そして、色信号分離部１１１は、分離した各色信号をバッファ１１２へ転送する。
【００４７】
抽出部１１３は、制御部１１９の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に位置する近傍画素と、を含む局所領域を順次抽出して、第１ノイズ低減部１１４とノイズ推定部１１５と第２ノイズ低減部１１６とへそれぞれ転送する。
【００４８】
ここに、抽出部１１３は、本実施形態においては、図３〜図６に示したような注目画素を中心とする５×５画素の領域を局所領域として抽出するようになっている。そして、ノイズ低減処理は１画素単位で行われるために、上記５×５画素の局所領域は、注目画素の画素位置を１画素ずつずらしながら順に抽出されることになる。従って、ある位置の注目画素に対する局所領域と、前記注目画素から１画素ずらした位置の新たな注目画素に対する局所領域とは、４行または４列だけ重複していることになる。なお、抽出部１１３による上記抽出は、色信号毎に独立に行われる。そして、これ以降は、局所領域内の画素値をＣij（Ｃは色信号であってＣ＝Ｒ，Ｇｒ，Ｇｂ，Ｂ、ｉは局所領域内におけるＸ座標（横方向座標）であってｉ＝０〜４、ｊは局所領域内におけるＹ座標（縦方向座標）であってｊ＝０〜４）により表記することにする。この表記に従えば、局所領域が５×５画素である場合には、注目画素値はＣ22となる。
【００４９】
第１ノイズ低減部１１４は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域の注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値Ｃ'22をノイズ推定部１１５と第２ノイズ低減部１１６とへ転送する。
【００５０】
ノイズ推定部１１５は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域と、第１ノイズ低減部１１４から転送されるノイズ低減処理がなされた注目画素値と、制御部１１９から転送される撮影時の条件と、に基づいて、注目画素に関するノイズ量Ｎ22を推定する。そして、ノイズ推定部１１５は、推定したノイズ量を第２ノイズ低減部１１６へ転送する。
【００５１】
第２ノイズ低減部１１６は、制御部１１９の制御に基づき、第１ノイズ低減部１１４から転送されるノイズ低減処理がなされた注目画素値Ｃ'22と、ノイズ推定部１１５から転送されるノイズ量Ｎ22と、に基づいて、抽出部１１３からの注目画素（注目画素値Ｃ22）に対して第２のノイズ低減処理を行い、ノイズ低減処理後の注目画素値Ｃ"22を算出する。そして、第２ノイズ低減部１１６は、算出した注目画素値Ｃ"22を信号処理部１１７へ転送する。
【００５２】
なお、上述した抽出部１１３，第１ノイズ低減部１１４，ノイズ推定部１１５，第２ノイズ低減部１１６における各処理は、制御部１１９の制御に基づき、局所領域単位で同期して行われるようになっている。
【００５３】
信号処理部１１７は、制御部１１９の制御に基づき、ノイズ低減後の映像信号に対して、公知の補間処理、強調処理、および圧縮処理などを行い、処理後の映像信号を出力部１１８へ転送する。
【００５４】
出力部１１８は、映像信号をメモリカードなどの記録媒体に記録して保存する。
【００５５】
次に、図１２を参照して、第１ノイズ低減部１１４の構成の一例について説明する。
【００５６】
この第１ノイズ低減部１１４は、重み係数算出手段でありビットシフト手段たるビットシフト部２００と、第１バッファ２０１と、重み係数算出手段たる差成分算出部２０２と、第２バッファ２０３と、重み係数算出手段，テーブル手段，第１のテーブル手段を兼ねた差成分用テーブル２０４と、昇順積算部２０５と、重み係数算出手段であり第３のテーブル手段たる孤立点用テーブル２０６と、重み係数算出手段であり第２のテーブル手段たる座標用テーブル２０７と、重み係数算出手段であり合成手段たる重み係数合成部２０８と、フィルタリング手段たるフィルタリング部２０９と、を備えている。
【００５７】
抽出部１１３は、ビットシフト部２００とフィルタリング部２０９とへ接続されている。ビットシフト部２００は、第１バッファ２０１と差成分算出部２０２とを介して第２バッファ２０３へ接続されている。第２バッファ２０３は、差成分用テーブル２０４と昇順積算部２０５とへ接続されている。昇順積算部２０５は、孤立点用テーブル２０６へ接続されている。差成分用テーブル２０４と孤立点用テーブル２０６と座標用テーブル２０７とは、重み係数合成部２０８へ接続されている。重み係数合成部２０８は、フィルタリング部２０９へ接続されている。フィルタリング部２０９は、ノイズ推定部１１５と第２ノイズ低減部１１６とへ接続されている。
【００５８】
制御部１１９は、ビットシフト部２００，差成分算出部２０２，差成分用テーブル２０４，昇順積算部２０５，孤立点用テーブル２０６，座標用テーブル２０７，重み係数合成部２０８，フィルタリング部２０９と双方向に接続されており、これらを制御するようになっている。
【００５９】
ビットシフト部２００は、制御部１１９の制御に基づき、抽出部１１３からの局所領域内の注目画素値と近傍画素値とに対して所定ビット数の上位ビット成分を抽出する処理を行う。上述したように、本実施形態においては、Ａ／Ｄ変換部１０５が１２ビット（ｂｉｔ）階調でデジタル化することを想定している。この場合に、ビットシフト部２００は、例えば下位７ビット（ｂｉｔ）をビットシフト処理することにより微小変動成分を除去して、５ビット（ｂｉｔ）の信号に変換し第１バッファ２０１へ転送する。
【００６０】
差成分算出部２０２は、ビットシフト処理が行われた局所領域の信号を第１バッファ２０１から読み出して、次の数式１に示すように、局所領域内の画素値Ｃijと注目画素値Ｃ22との差成分の絶対値Δijを算出する。  
［数１］
Δij＝｜Ｃij−Ｃ22｜
【００６１】
そして、差成分算出部２０２は、算出した差成分の絶対値Δijを第２バッファ２０３へ転送する。
【００６２】
差成分用テーブル２０４は、制御部１１９の制御に基づき、差成分の絶対値Δijを第２バッファ２０３から読み出して、差成分の絶対値Δijに対応する第１の重み係数ｗ１ijをテーブル参照して求める。この差成分用テーブル２０４に記録されているテーブルは、例えば次の数式２に示すような関数式に基づき予め算出されたものとなっている。  
［数２］
2008124764.tif 000003
ここに、σ１は調整用のパラメータであり、σ１＝１〜１０程度の値を用いるようになっている。
【００６３】
なお、本実施形態においては、差成分の絶対値Δijが上述したように５ビット（ｂｉｔ）の信号（０〜３１までの値をとる信号）であるために、差成分用テーブル２０４は３２個のテーブルサイズとなる。
【００６４】
そして、差成分用テーブル２０４は、求めた第１の重み係数ｗ１ijを重み係数合成部２０８へ転送する。
【００６５】
一方、昇順積算部２０５は、制御部１１９の制御に基づき、第２バッファ２０３から差成分の絶対値Δijを読み出して、昇順にソートした後に、次の数式３に示すように、最小値から所定数ｍまでを積算した積算値Ｒを算出する。  
［数３］
2008124764.tif 000004
ここに、Ｓk（）は昇順にソートしたｋ番目の値を与える関数である。また、ｍは注目画素の孤立点の程度を検出するために用いられる近傍画素数を定めるための数であり、例えば使用する画素の総数の半数程度を用いる。従って、５×５＝２５画素の局所領域を用いている本実施形態においては、ｍ＝１２程度を用いることになる。
【００６６】
この積算値Ｒは、局所領域内において、注目画素に画素値が近いｍ個の近傍画素との差成分の絶対値Δijを加算したものであるために、積算値Ｒが小さければ注目画素と近傍画素との相関性が高く、積算値が大きければ孤立点の可能性が高いことを示すものとなっている。
【００６７】
そして、昇順積算部２０５は、算出した積算値Ｒと、第２バッファ２０３からの差成分の絶対値Δijとを、孤立点用テーブル２０６へ転送する。
【００６８】
孤立点用テーブル２０６は、制御部１１９の制御に基づき、積算値Ｒに対応する第２の重み係数ｗ２と、差成分の絶対値Δijに対応する混合係数εijと、をテーブル参照することにより求める。
【００６９】
ここに、孤立点用テーブル２０６が記録する第２の重み係数ｗ２用のテーブルは、次の数式４に示すような関数式に基づき予め算出されたものである。  
［数４］
2008124764.tif 000005
ここに、σ２は調整用のパラメータであり、σ２＝２５〜５０程度の値を用いるようになっている。
【００７０】
また、孤立点用テーブル２０６が記録する混合係数εij用のテーブルは、次の数式５に示すような関数式に基づき予め算出されたものである。  
［数５］
2008124764.tif 000006
ここに、σ３は調整用のパラメータであり、σ３＝３０〜６０程度の値を用いるようになっている。また、混合係数εijが取り得る値の範囲は０〜１である。
【００７１】
この混合係数εijは、上述した第１の重み係数ｗ１ijと第２の重み係数ｗ２との混合割合を定めるものである。
【００７２】
なお、本実施形態においては、上述したように、差成分の絶対値Δijが５ビット（ｂｉｔ）の信号であって、かつｍ＝１２であることを想定しているために、第２の重み係数ｗ２用として５ビット（ｂｉｔ）×１２→３８４のテーブルサイズ、混合係数εij用として５ビット（ｂｉｔ）→３２のテーブルサイズが必要となり、合計で４１６個のテーブルサイズとなる。
【００７３】
そして、孤立点用テーブル２０６は、求めた第２の重み係数ｗ２と混合係数εijとを、重み係数合成部２０８へ転送する。
【００７４】
また、座標用テーブル２０７は、制御部１１９の制御に基づき、局所領域内の画素の座標値（ｉ，ｊ）に対応する第３の重み係数ｗ３ijをテーブル参照することにより求める。ここに、座標用テーブル２０７が記録する第３の重み係数ｗ３ij用のテーブルは、例えば次の数式６に示すような関数式に基づき予め算出されたものである。  
［数６］
2008124764.tif 000007
ここに、σ４は調整用のパラメータであり、σ４＝１〜１０程度の値を用いるようになっている。また、Ｔiは注目画素のＸ座標、Ｔjは注目画素のＹ座標をそれぞれ意味している。従って、局所領域として５×５画素の領域を想定する本実施形態においては、Ｔi＝２，Ｔj＝２となる。
【００７５】
なお、本実施形態においては、局所領域が５×５画素の領域であるために、座標用テーブル２０７は２５個のテーブルサイズとなる。
【００７６】
そして、座標用テーブル２０７は、求めた第３の重み係数ｗ３ijを重み係数合成部２０８へ転送する。
【００７７】
重み係数合成部２０８は、制御部１１９の制御に基づき、差成分用テーブル２０４からの第１の重み係数ｗ１ijと、孤立点用テーブル２０６からの第２の重み係数ｗ２および混合係数εijと、座標用テーブル２０７からの第３の重み係数ｗ３ijと、に基づき、次の数式７に示すように重み係数ｗijを算出する。  
［数７］
ｗij＝（１−εij）・ｗ１ij・εij・ｗ２・ｗ３ij
【００７８】
そして、重み係数合成部２０８は、算出した重み係数ｗijをフィルタリング部２０９へ転送する。
【００７９】
フィルタリング部２０９は、制御部１１９の制御に基づき、抽出部１１３からの局所領域に対して重み係数合成部２０８からの重み係数ｗijを用いて次の数式８に示すようにフィルタリング処理を行い、ノイズ低減がなされた注目画素値Ｃ'22を算出する。  
［数８］
2008124764.tif 000008
【００８０】
なお、数式８を見れば分かるように、このフィルタリング部２０９が行うフィルタリング処理には、重み係数ｗijの総和により正規化を行う過程も含まれている。
【００８１】
そして、フィルタリング部２０９は、ノイズ低減がなされた注目画素値Ｃ'22を、ノイズ推定部１１５と第２ノイズ低減部１１６とへ転送する。
【００８２】
なお、図１２に示した構成の第１ノイズ低減部１１４は、３つの重み係数を合成してフィルタリング処理を行う構成のものとなっていたが、これに限定されるものではない。例えば、使用する重み係数の種類を減らした第１ノイズ低減部１１４の構成も可能である。
【００８３】
図１３は、図１２に示したような第１ノイズ低減部１１４の構成から、昇順積算部２０５と孤立点用テーブル２０６とを除去して、２つの重み係数を合成する構成例を示したものとなっている。この場合に、重み係数合成部２０８は、次の数式９に基づいて、重み係数ｗijを算出する。  
［数９］
ｗij＝ｗ１ij・ｗ３ij
【００８４】
また、図１４は、図１２に示したような第１ノイズ低減部１１４の構成から、昇順積算部２０５と孤立点用テーブル２０６と座標用テーブル２０７と重み係数合成部２０８とを除去して、１つの重み係数を用いる構成例を示したものとなっている。なお、この図１４に示す構成においては、差成分用テーブル２０４は、フィルタリング部２０９へ接続されている。そして、この場合には、第１ノイズ低減部１１４は、重み係数ｗijとしてｗ１ijを用いることになる。
【００８５】
これら図１３または図１４に示したような構成を採用すれば、図１２に示した構成よりも、低コスト化と処理速度の高速化とを図ることが可能となる。
【００８６】
次に、図１５を参照して、ノイズ推定部１１５の構成の一例について説明する。
【００８７】
このノイズ推定部１１５は、収集手段たるゲイン算出部３００と、付与手段たる標準値付与部３０１と、パラメータ記録手段たるパラメータ用ＲＯＭ３０２と、パラメータ選択手段たるパラメータ選択部３０３と、補間手段たる補間部３０４と、補間手段であり補正手段たる補正部３０５と、バッファ３０６と、孤立点検出手段たる孤立点検出部３０７と、を備えている。
【００８８】
抽出部１１３は、バッファ３０６を介して孤立点検出部３０７へ接続されている。第１ノイズ低減部１１４とゲイン算出部３００と標準値付与部３０１とパラメータ用ＲＯＭ３０２とは、パラメータ選択部３０３へ接続されている。パラメータ選択部３０３は、補間部３０４と補正部３０５とへ接続されている。さらに、補間部３０４と孤立点検出部３０７とは、補正部３０５へ接続されている。補正部３０５は、第２ノイズ低減部１１６へ接続されている。
【００８９】
制御部１１９は、ゲイン算出部３００，標準値付与部３０１，パラメータ選択部３０３，補間部３０４，補正部３０５，孤立点検出部３０７と双方向に接続されており、これらを制御するようになっている。
【００９０】
第１ノイズ低減部１１４は、制御部１１９の制御に基づき、フィルタリング処理によりノイズ低減がなされた注目画素値Ｃ'22をパラメータ選択部３０３へ転送する。
【００９１】
ゲイン算出部３００は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０４における増幅量を求めて、求めた増幅量をパラメータ選択部３０３へ転送する。
【００９２】
また、制御部１１９は、温度センサ１０３からＣＣＤ１０２の温度情報を取得して、取得した温度情報をパラメータ選択部３０３へ転送する。
【００９３】
パラメータ選択部３０３は、第１ノイズ低減部１１４からのノイズ低減がなされた注目画素値Ｃ'22と、ゲイン算出部３００からのゲインの情報と、制御部１１９からの温度情報と、に基づきノイズ量を推定するためのパラメータの選択を行う。
【００９４】
ここで、パラメータ選択部３０３、補間部３０４、および補正部３０５により行われるノイズ量の推定について、図１６〜図１８を参照して説明する。
【００９５】
図１６は、信号レベルＬに対して推定されるノイズ量Ｎをプロットしたものである。図示のように、ノイズ量Ｎは、信号レベルＬに対して例えば２次曲線的に増加している。この図１６に示すようなノイズ量Ｎの変化を２次関数を用いてモデル化すると、例えば次の数式１０に示すようになる。  
［数１０］
Ｎ＝αＬ2＋βＬ＋γ
ここに、α，β，γは、２次関数の関数形状を決める定数項である。
【００９６】
ただし、ノイズ量Ｎは、信号レベルＬにのみ依存するわけではなく、撮像素子の温度やゲインによっても変化する。そこで、図１６は、ある温度下において、ゲインに関連する３種類のＩＳＯ感度１００，２００，４００に対するノイズ量を、一例としてプロットしたものとなっている。
【００９７】
図１６に示す個々の曲線は、数式１０に示すような曲線形状となっているが、その定数項α，β，γは、ゲインに関連するＩＳＯ感度により異なっている。さらに、定数項α，β，γは、温度によっても異なる。そこで、温度をｔ、ゲインをｇとして、これら温度ｔやゲインｇへの依存性も考慮してノイズモデルの定式化を行うと、次の数式１１に示すようになる。  
［数１１］
Ｎ＝αgtＬ2＋βgtＬ＋γgt
ここに、αgt，βgt，γgtは、２次関数の関数形状を決める定数項であり、上述したように温度ｔおよびゲインｇに依存して決まる定数項である。
【００９８】
ただし、数式１１に示すような関数を温度ｔとゲインｇとの組み合わせに応じて複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図１７に示すようなモデルの簡略化を行う。
【００９９】
この簡略化モデルにおいては、まず、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択して、この基準ノイズモデルを所定数の折れ線により近似する（図１７の実線で示す折れ線参照）。
【０１００】
この折れ線の変曲点は、信号レベルＬとノイズ量Ｎとを成分とする座標データ（Ｌn，Ｎn）により表す。ここに、ｎは、変曲点が、信号レベルＬの値が小さい方から何番目の変曲点であるかを示す数である。
【０１０１】
さらに、簡略化モデルにおいては、上述した基準ノイズモデルから、他のノイズモデルを導出するための補正係数ｋgtも用意する。この補正係数ｋgtは、各ノイズモデルと基準ノイズモデルとの間において最小自乗法により予め算出して求められたものである。そして、この補正係数ｋgtは、パラメータ用ＲＯＭ３０２に予め記憶されている。
【０１０２】
基準ノイズモデルから他のノイズモデルを導出するには、温度ｔおよびゲインｇに応じた補正係数ｋgtをパラメータ用ＲＯＭ３０２から探索して、探索した補正係数ｋgtを基準ノイズモデルに乗算することにより行われる。
【０１０３】
図１８を参照して、図１７に示したような簡易化されたノイズモデルから、ノイズ量を算出する方法について説明する。
【０１０４】
例えば、与えられた信号レベルをｌ、ゲインをｇ、温度をｔとし、これらの条件に対応するノイズ量Ｎを求めることを想定する。
【０１０５】
このときには、まず、信号レベルｌが、基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルｌが、例えば（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）との間の区間に属するものとする。すると、基準ノイズモデルにおける基準ノイズ量Ｎlを、次の数式１２に示すような線形補間によって求める。  
［数１２］
2008124764.tif 000009
【０１０６】
次に、求めた基準ノイズ量Ｎlに補正係数ｋgtを乗算することにより、次の数式１３に示すように、ノイズ量Ｎを求める。  
［数１３］
Ｎ＝ｋgt・Ｎl
【０１０７】
このような原理に沿って、パラメータ選択部３０３、補間部３０４、および補正部３０５により、ノイズ量の推定が次のように行われる。
【０１０８】
すなわち、まず、パラメータ選択部３０３は、第１ノイズ低減部１１４からのノイズ低減がなされた注目画素値Ｃ'22から信号レベルｌを、ゲイン算出部３００からのゲインの情報からゲインｇを、制御部１１９からの温度情報から温度ｔを、それぞれ設定する。
【０１０９】
次に、パラメータ選択部３０３は、信号レベルｌが属する区間の座標データである（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）とを、パラメータ用ＲＯＭ３０２から探索して、探索した各座標データを補間部３０４へ転送する。
【０１１０】
さらに、パラメータ選択部３０３は、ゲインｇおよび温度ｔに対応する補正係数ｋgtをパラメータ用ＲＯＭ３０２から探索して、探索した補正係数ｋgtを補正部３０５へ転送する。
【０１１１】
続いて、補間部３０４は、制御部１１９の制御に基づき、パラメータ選択部３０３からの信号レベルｌと、区間の座標データ（Ｌn，Ｎn）および（Ｌn+1，Ｎn+1）と、に基づき、数式１２を用いて基準ノイズモデルにおける基準ノイズ量Ｎlを算出する。そして、補間部３０４は、算出した基準ノイズ量Ｎlを補正部３０５へ転送する。
【０１１２】
その後、補正部３０５は、制御部１１９の制御に基づき、パラメータ選択部３０３からの補正係数ｋgtと、補間部３０４からの基準ノイズ量Ｎlと、に基づき、数式１３を用いてノイズ量Ｎを算出する。
【０１１３】
一方、抽出部１１３は、制御部１１９の制御に基づき、局所領域をバッファ３０６へ転送する。
【０１１４】
孤立点検出部３０７は、バッファ３０６上の局所領域に関して、該局所領域内の注目画素が孤立点であるか否かを検出する。この検出は、注目画素と、該注目画素の周囲８近傍画素と、の大小関係に基づき行われる。ここに、本実施形態の局所領域は、図３〜図６に示すような５×５画素の局所領域となっているが、このような局所領域内において、数式１４または数式１５の何れかが成立する場合に、孤立点検出部３０７は、孤立点が検出されたと判断し、数式１４が成立せずかつ数式１５が成立しない場合に孤立点が検出されないと判断するようになっている。  
［数１４］
Ｃ22＞Ｃ11  かつ  Ｃ22＞Ｃ21  かつ  Ｃ22＞Ｃ31  かつ  Ｃ22＞Ｃ12
かつ  Ｃ22＞Ｃ32  かつ  Ｃ22＞Ｃ13  かつ  Ｃ22＞Ｃ23  かつ  Ｃ22＞Ｃ33
［数１５］
Ｃ22＜Ｃ11  かつ  Ｃ22＜Ｃ21  かつ  Ｃ22＜Ｃ31  かつ  Ｃ22＜Ｃ12
かつ  Ｃ22＜Ｃ32  かつ  Ｃ22＜Ｃ13  かつ  Ｃ22＜Ｃ23  かつ  Ｃ22＜Ｃ33
【０１１５】
ここに、数式１４は、注目画素値Ｃ22が周囲８近傍画素の何れよりも大きいことを示す条件式であり、数式１５は、注目画素値Ｃ22が周囲８近傍画素の何れよりも小さいことを示す条件式である。
【０１１６】
そして、孤立点検出部３０７は、このような孤立点検出の結果を、補正部３０５へ転送する。
【０１１７】
補正部３０５は、制御部１１９の制御に基づき、孤立点検出部３０７から孤立点が検出されたとの判断結果が転送された場合にのみ、上記ノイズ量Ｎに所定の補正係数ｋi、例えばｋi＝１．５〜４を乗算する。
【０１１８】
そして、補正部３０５は、補正したノイズ量Ｎを、注目画素値Ｃ22に対して推定されたノイズ量Ｎ22として、第２ノイズ低減部１１６へ転送する。
【０１１９】
なお、上述では温度ｔやゲインｇなどの情報を撮影毎に求めて、ノイズ量の算出に用いるようにしているが、これに限るものではない。例えば、任意の情報を標準値付与部３０１に予め記録しておき、ノイズ量の算出時に標準値付与部３０１に記録されている情報を読み出して使用することにより、算出過程を省略することも可能である。このような構成を採用すれば、処理の高速化や省電力化などを図ることが可能となる。
【０１２０】
次に、図１９を参照して、第２ノイズ低減部１１６の構成の一例について説明する。
【０１２１】
この第２ノイズ低減部１１６は、ノイズ範囲設定手段たる範囲設定部４００と、切り換え部４０１と、第１のスムージング手段たる第１スムージング部４０２と、第２のスムージング手段たる第２スムージング部４０３と、を備えている。
【０１２２】
第１ノイズ低減部１１４とノイズ推定部１１５とは、範囲設定部４００へ接続されている。範囲設定部４００は、切り換え部４０１と第１スムージング部４０２と第２スムージング部４０３とへ接続されている。抽出部１１３は、切り換え部４０１へ接続されている。切り換え部４０１は、第１スムージング部４０２と第２スムージング部４０３とへ接続されている。第１スムージング部４０２と第２スムージング部４０３とは、信号処理部１１７へ接続されている。
【０１２３】
制御部１１９は、範囲設定部４００，切り換え部４０１，第１スムージング部４０２，第２スムージング部４０３と双方向に接続されており、これらを制御するようになっている。
【０１２４】
第１ノイズ低減部１１４は、第１のノイズ低減がなされた注目画素値Ｃ'22を範囲設定部４００へ転送する。また、ノイズ推定部１１５は、注目画素に関して推定されたノイズ量Ｎ22を、範囲設定部４００へ転送する。
【０１２５】
範囲設定部４００は、制御部１１９の制御に基づき、ノイズ量に関する許容範囲の上限Ｕｐと下限Ｌｏｗとを、次の数式１６に示すように設定する。  
［数１６］
Ｕｐ ＝Ｃ'22＋Ｎ22／２
Ｌｏｗ＝Ｃ'22−Ｎ22／２
【０１２６】
そして、範囲設定部４００は、設定した許容範囲の上限Ｕｐおよび下限Ｌｏｗを、切り換え部４０１へ転送する。さらに、範囲設定部４００は、ノイズ量Ｎ22と第１のノイズ低減がなされた注目画素値Ｃ'22とを、第１スムージング部４０２と第２スムージング部４０３とへ転送する。
【０１２７】
切り換え部４０１は、制御部１１９の制御に基づき、抽出部１１３からの注目画素値Ｃ22を読み込んで、この注目画素値Ｃ22が、範囲設定部４００から転送された許容範囲に属するか否かを判断する。この判断の結果は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りの何れかとなる。
【０１２８】
そして、切り換え部４０１は、注目画素値Ｃ22が「ノイズ範囲に属している」と判断した場合には、該注目画素値Ｃ22を第１スムージング部４０２へ転送し、それ以外の判断を行った場合には、注目画素値Ｃ22を第２スムージング部４０３へ転送する。
【０１２９】
第１スムージング部４０２は、切り換え部４０１から注目画素値Ｃ22が転送された場合には、数式１７に示すように、範囲設定部４００からの第１のノイズ低減がなされた注目画素値Ｃ'22を、第２のノイズ低減がなされた注目画素値Ｃ"22に代入する。  
［数１７］
Ｃ"22＝Ｃ'22
【０１３０】
そして、第１スムージング部４０２は、第２のノイズ低減処理がなされた注目画素値Ｃ"22を信号処理部１１７へ転送する。
【０１３１】
一方、第２スムージング部４０３は、切り換え部４０１から注目画素値Ｃ22が転送された場合には、該注目画素値Ｃ22を、範囲設定部４００からのノイズ量Ｎ22に基づき補正する処理を行う。
【０１３２】
すなわち、第２スムージング部４０３は、注目画素値Ｃ22が「ノイズ範囲を上回っている」と判断された場合には、次の数式１８に示すように注目画素値Ｃ22を補正して、第２のノイズ低減処理がなされた注目画素値Ｃ"22を算出する。  
［数１８］
Ｃ"22＝Ｃ22−Ｎ22／２
【０１３３】
また、第２スムージング部４０３は、注目画素値Ｃ22が「ノイズ範囲を下回っている」と判断された場合には、次の数式１９に示すように注目画素値Ｃ22を補正して、第２のノイズ低減処理がなされた注目画素値Ｃ"22を算出する。  
［数１９］
Ｃ"22＝Ｃ22＋Ｎ22／２
【０１３４】
そして、第２スムージング部４０３は、数式１８または数式１９により算出した第２のノイズ低減がなされた注目画素値Ｃ"22を、信号処理部１１７へ転送する。
【０１３５】
なお、上述では、撮像素子としてベイヤー（Bayer）型原色フィルタを用いる構成を例に挙げたが、このような構成に限定されるものではない。例えば、図７に示すような色差線順次型補色フィルタを用いる構成を採用することも可能であるし、二板撮像素子あるいは三板撮像素子の構成を採用しても良い。例えば、図７に示すような色差線順次型補色フィルタを用いる構成を採用する場合には、色信号分離部１１１は、撮像素子からの映像信号を、図８に示すようなＣｙ（シアン）の色信号と、図９に示すようなＹｅ（イエロー）の色信号と、図１０に示すようなＧ（緑）の色信号と、図１１に示すようなＭｇ（マゼンタ）の色信号と、の４種類の色信号に分離することになる。そして、抽出部１１３は、これら図８〜図１１に示すように、注目画素を中心とする５×５画素を局所領域として設定することになる。また、局所領域内の画素値Ｃijを表記するＣは、Ｃ＝Ｃｙ，Ｍｇ，Ｙｅ，Ｇとなる。
【０１３６】
また、上述ではレンズ系１００，絞り１０１，ＣＣＤ１０２，温度センサ１０３，増幅部１０４，Ａ／Ｄ変換部１０５，プレホワイトバランス部１０７，測光評価部１０８，合焦点検出部１０９，ＡＦモータ１１０を含む撮像部（撮像系）を一体化した構成の撮像システムについて説明したが、撮像システムとしてはこのような構成に限定される必要はない。例えば、図２０に示すように、撮像部が別体であっても構わない。すなわち、図２０に示す撮像システムは、別体の撮像部により撮像され、未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度や露光条件などの付随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部からこの撮像システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０１３７】
この図２０に示す撮像システムは、図１に示した撮像システムから、レンズ系１００，絞り１０１，ＣＣＤ１０２，温度センサ１０３，増幅部１０４，Ａ／Ｄ変換部１０５，プレホワイトバランス部１０７，測光評価部１０８，合焦点検出部１０９，ＡＦモータ１１０を省略して、入力部５００，ヘッダ情報解析部５０１を追加した構成となっている。この図２０に示す撮像システムにおけるその他の基本的な構成は図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０１３８】
入力部５００は、バッファ１０６およびヘッダ情報解析部５０１へ接続されている。制御部１１９は、入力部５００，ヘッダ情報解析部５０１と双方向に接続されていて、これらを制御するようになっている。
【０１３９】
次に、この図２０に示す撮像システムにおいて異なる作用は、以下のようになっている。
【０１４０】
例えばマウスやキーボードなどの外部Ｉ／Ｆ部１２０を介して再生操作を開始すると、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部５００を介して読み込まれる。
【０１４１】
入力部５００から読み込まれた情報の内の、映像信号はバッファ１０６へ、ヘッダ情報はヘッダ情報解析部５０１へ、それぞれ転送される。
【０１４２】
ヘッダ情報解析部５０１は、入力部５００から転送されたヘッダ情報に基づき、撮影時の情報（すなわち、上述したような露光条件、撮像素子の温度など）を抽出して制御部１１９へ転送する。
【０１４３】
これ以降の処理は、図１に示したような撮像システムと同様である。
【０１４４】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１９からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０１４５】
図２１を参照して、画像処理プログラムによる処理全体の流れについて説明する。
【０１４６】
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０１４７】
次に、撮像素子に使用されている色フィルタの色毎に、映像信号を色信号へ分離する（ステップＳ２）。
【０１４８】
続いて、図３〜図６に示したように、注目画素を中心とする局所領域を抽出する（ステップＳ３）。
【０１４９】
そして、後で図２２を参照して説明するように、注目画素に対して第１ノイズ低減処理を行う（ステップＳ４）。
【０１５０】
さらに、後で図２３を参照して説明するように、注目画素に関するノイズ量を推定する（ステップＳ５）。
【０１５１】
その後、後で図２４を参照して説明するように、注目画素に対して第２ノイズ低減処理を行う（ステップＳ６）。
【０１５２】
次に、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ７）。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップＳ３へ戻って未処理の局所領域について上述したような処理を行う。
【０１５３】
一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての色信号についての処理が完了したか否かを判断する（ステップＳ８）。ここで、全ての色信号についての処理が完了していないと判断された場合には、ステップＳ２へ戻って、未処理の色信号について上述したような処理を行う。
【０１５４】
また、全ての色信号についての処理が完了したと判断された場合には、公知の補間処理、強調処理、圧縮処理などを行う（ステップＳ９）。
【０１５５】
そして、処理後の映像信号を出力して（ステップＳ１０）、この処理を終了する。
【０１５６】
次に、図２２を参照して、上記ステップＳ４における第１ノイズ低減処理の詳細を説明する。
【０１５７】
この処理を開始すると、数式２，数式４，数式５，数式６に示したような関数式に基づいて算出された３つの重み係数および混合係数を記録するテーブルを入力する（ステップＳ２０）。
【０１５８】
続いて、局所領域内における各画素の画素値と注目画素値との差成分の絶対値Δijを、数式１に示したように算出する（ステップＳ２１）。
【０１５９】
そして、差成分の絶対値Δijに対応する第１の重み係数ｗ１ijをテーブルから求める（ステップＳ２２）。
【０１６０】
さらに、数式３に示したように、差成分の絶対値Δijを昇順にソートした後に、最小値から所定数ｍまでを積算した積算値Ｒを算出する（ステップＳ２３）。
【０１６１】
次に、積算値Ｒに対応する第２の重み係数ｗ２と、差成分の絶対値Δijに対応する混合係数εijと、をテーブルから求める（ステップＳ２４）。
【０１６２】
続いて、局所領域内の座標値に対応する第３の重み係数ｗ３ijをテーブルから求める（ステップＳ２５）。
【０１６３】
さらに、数式７に示したように、重み係数ｗijを算出する（ステップＳ２６）。
【０１６４】
そして、重み係数ｗijを用いて局所領域に対して数式８に示したようにフィルタリング処理を行い、ノイズ低減がなされた注目画素値を算出する（ステップＳ２７）。
【０１６５】
その後、第１のノイズ低減がなされた注目画素値を出力して（ステップＳ２８）、図２１に示した処理へリターンする。
【０１６６】
次に、図２３を参照して、上記ステップＳ５におけるノイズ量推定処理の詳細を説明する。
【０１６７】
この処理を開始すると、まず、読み込まれたヘッダ情報から、温度やゲインなどの情報を設定する。ここで、もしヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる（ステップＳ３０）。
【０１６８】
続いて、基準ノイズモデルの座標データと補正係数とを読み込む（ステップＳ３１）。
【０１６９】
さらに、第１のノイズ低減がなされた注目画素値が属する基準ノイズモデルの区間の座標データと、温度やゲインに対応する補正係数と、を選択する（ステップＳ３２）。
【０１７０】
そして、数式１２に示したような補間処理を行って、基準ノイズ量を求める（ステップＳ３３）。
【０１７１】
また、数式１４および数式１５の処理を行って、注目画素が孤立点であるか否かを検出する（ステップＳ３４）。
【０１７２】
次に、数式１３に示したような補正処理を行うことによりノイズ量を算出する。なお、注目画素が孤立点であると検出された場合には、算出したノイズ量に所定の補正係数をさらに乗算する（ステップＳ３５）。
【０１７３】
その後、算出されたノイズ量を出力して（ステップＳ３６）、図２１に示した処理へリターンする。
【０１７４】
次に、図２４を参照して、上記ステップＳ６における第２ノイズ低減処理の詳細を説明する。
【０１７５】
この処理を開始すると、まず、注目画素値に関して数式１６に示すような許容範囲を設定する（ステップＳ４０）。
【０１７６】
続いて、注目画素値が許容範囲内に属するか否かを判断する（ステップＳ４１）。
【０１７７】
ここで、注目画素値が許容範囲内に属すると判断された場合には、数式１７に示したような処理を行う（ステップＳ４２）。
【０１７８】
また、ステップＳ４１において、注目画素値が許容範囲内に属さないと判断された場合には、注目画素値がノイズ範囲を上回っているか下回っているかに応じて、数式１８または数式１９に示したような処理を行う（ステップＳ４３）。
【０１７９】
その後、第２のノイズ低減がなされた注目画素値を出力して（ステップＳ４４）、図２１に示した処理へリターンする。
【０１８０】
なお、処理の対象となる映像信号は、静止画の映像信号だけではなく、時系列的に取り込まれる複数の映像信号（いわゆる動画の映像信号）であっても良い。
【０１８１】
このような実施形態１によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
【０１８２】
また、複雑なエッジ領域においてもエッジ成分の影響を抑制しているために、高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができる。
【０１８３】
第１のノイズ低減処理は、信号のレベル差に基づき重み係数を求めているためにエッジ成分の影響を効果的に抑制することができ、座標位置に基づき重み係数を求めているためにフィルタリング処理における副作用の発生を低減することができ、信号のレベル差から孤立点を検出して孤立点の検出結果に基づき重み係数を求めているために孤立点ノイズを効果的に抑制することができる。また、テーブルにより重み係数を求めているために、処理速度を高速化することができる。さらに、ビットシフト処理をした映像信号から重み係数を求めているために、テーブルサイズを縮小することができ、撮像システムの低コスト化を図ることができる。そして、ビットシフトにより微小なノイズ成分が除去されるために、処理の安定性および信頼性を向上することができる。
【０１８４】
また、ノイズ量の推定においてはモデルを用いているために、ノイズ量を高精度に推定することが可能となる。さらに、補間処理は実装が容易であるために、システムを低コストに構築することが可能となる。そして、孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。
【０１８５】
さらに、第２のノイズ低減処理は、ノイズ量に基づきノイズ低減処理に関する判断を行う処理であるために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。そして、ベイヤー（Bayer）型原色フィルタを前面に配置した撮像素子を使用する場合には、従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。加えて、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。
【０１８６】
［実施形態２］
図２５から図３６は本発明の実施形態２を示したものであり、図２５は撮像システムの構成を示すブロック図、図２６は色差線順次型補色フィルタの配置と２画素混合により出力されるフィールド信号と局所領域とを説明するための図、図２７は図２６（Ｂ）に示した偶数フィールド信号におけるＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅ色信号への分離を説明するための図、図２８は第１ノイズ低減部の構成を示すブロック図、図２９は領域分割部により分割される方向別領域を説明するための図、図３０はノイズ推定部の構成を示すブロック図、図３１は第２ノイズ低減部の構成を示すブロック図、図３２は第２ノイズ低減部により用いる近傍画素を説明するための図、図３３は画像処理プログラムによる処理全体の流れを示すフローチャート、図３４は図３３のステップＳ５１における第１ノイズ低減処理の詳細を示すフローチャート、図３５は図３３のステップＳ５２におけるノイズ量推定処理の詳細を示すフローチャート、図３６は図３３のステップＳ５３における第２ノイズ低減処理の詳細を示すフローチャート、である。
【０１８７】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１８８】
本実施形態の撮像システムは、上述した実施形態１の図１に示した撮像システムに、信号記録手段たるバッファ６０３，フレーム合成部６０４を追加し、第１ノイズ低減部１１４，ノイズ推定部１１５，第２ノイズ低減部１１６を第１のノイズ低減手段たる第１ノイズ低減部６００，ノイズ推定手段たるノイズ推定部６０１，第２のノイズ低減手段たる第２ノイズ低減部６０２にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０１８９】
抽出部１１３は、第１ノイズ低減部６００とノイズ推定部６０１と第２ノイズ低減部６０２とへ接続されている。第１ノイズ低減部６００は、ノイズ推定部６０１へ接続されている。ノイズ推定部６０１は、第２ノイズ低減部６０２へ接続されている。第２ノイズ低減部６０２は、バッファ６０３と双方向に接続されている。バッファ６０３は、フレーム合成部６０４へ接続されている。フレーム合成部６０４は、信号処理部１１７へ接続されている。
【０１９０】
制御部１１９は、第１ノイズ低減部６００，ノイズ推定部６０１，第２ノイズ低減部６０２，フレーム合成部６０４とも双方向に接続されており、これらも制御するようになっている。
【０１９１】
次に、図２５に示したような撮像システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
【０１９２】
本実施形態においては、ＣＣＤ１０２として、色差線順次型補色フィルタを前面に配置した単板ＣＣＤを想定している。さらに、本実施形態においては、映像信号として、時系列的に取り込まれる複数の映像信号により構成される動画像を想定している。
【０１９３】
ここに、図２６（Ａ）は、色差線順次型補色フィルタの構成を示している。この色差線順次型補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）およびイエロー（Ｙｅ）が２×２画素の同一ラインに、マゼンタ（Ｍｇ）および緑（Ｇ）が２×２画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Ｍｇ），緑（Ｇ）の位置は、ライン毎に反転するように構成されている。
【０１９４】
ＣＣＤ１０２からの出力は、図２６（Ｂ）に示すような偶数フィールド信号と、図２６（Ｃ）に示すように奇数フィールド信号と、に分かれている。そして、これらが時系列的に交互に出力されることになる。
【０１９５】
ここに、図２６（Ｂ）は２画素混合による偶数フィールド信号と注目画素とを示し、図２６（Ｃ）は２画素混合による奇数フィールド信号と注目画素とを示している。
【０１９６】
偶数フィールド信号は、図２６（Ｂ）に示すように、（２ｎ−１）ラインと２ｎラインとの間で垂直方向に２画素混合された信号となっている。また、奇数フィールド信号は、図２６（Ｃ）に示すように、２ｎラインと（２ｎ＋１）ラインとの間で垂直方向に２画素混合された信号となっている。ここに、ｎは１以上の整数である。
【０１９７】
このような混合を行うことにより、偶数フィールド信号および奇数フィールド信号は、Ｇ＋Ｃｙ（以降はＧＣｙと表記する）と、Ｍｇ＋Ｙｅ（以降はＭｇＹｅと表記する）と、Ｍｇ＋Ｃｙ（以降はＭｇＣｙと表記する）と、Ｇ＋Ｙｅ（以降はＧＹｅと表記する）と、の４種類の色信号により構成されることになる。
【０１９８】
そして、上述したような偶数フィールド信号と奇数フィールド信号とを合成することにより、１枚の映像信号（以降は、フレーム信号と表記する）が完成する。
【０１９９】
バッファ１０６は、２フレーム分、すなわち４フィールド分の映像信号を記録するものとする。このとき、バッファ１０６上の映像信号は、時系列的に過去のものから上書きされて、新しい映像信号に置換される。
【０２００】
色信号分離部１１１は、制御部１１９の制御に基づき、例えば図２７に示すように、フィールド信号をＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅの４種類の色信号に分離して、バッファ１１２へ転送する。なお、図２７は、図２６（Ｂ）に示した偶数フィールド信号を分離する様子を示している。
【０２０１】
続くバッファ１１２は、４種類の色信号を、２フレーム分、すなわち４フィールド分記録するものとする。このバッファ１１２の色信号も、上述したバッファ１０６と同様に、時系列的に過去のものから上書きされて、新しい色信号に置換される。
【０２０２】
抽出部１１３は、制御部１１９の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に存在する近傍画素と、を含む局所領域を複数のフィールド信号、例えば本実施形態においては３フィールドの信号から順次抽出して、第１ノイズ低減部６００とノイズ推定部６０１と第２ノイズ低減部６０２とへ転送する。
【０２０３】
本実施形態においては、抽出部１１３は、図２７に示すように１フィールドの各色信号から注目画素を中心とする５×３画素を抽出して、これを３フィールド分まとめて局所領域として設定する。従って、近傍画素は、注目画素の空間的近傍に位置しかつ時間的近傍に位置する画素となる。ここに、図３２（Ａ）は、２次元空間および時間に分布する（つまり３次元的に分布する）局所領域の状態を示している。なお、注目画素の座標位置は、偶数フィールド信号と奇数フィールド信号とで１ライン分異なっている。
【０２０４】
また、これ以降は、局所領域内の画素値をＣkij（Ｃは色信号であってＣ＝ＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅ、ｉは局所領域内におけるＸ座標（横方向座標）であってｉ＝０〜４、ｊは局所領域内におけるＹ座標（縦方向座標）であって偶数フィールドの場合にはｊ＝０，４，８，奇数フィールドの場合にはｊ＝１，５，９、ｋはフィールド信号の時刻であって、現フィールドをｔとした場合にｋ＝ｔ，ｔ−１，ｔ−２）により表記することにする。この表記に従えば、注目画素値は、偶数フィールドの場合にはＣt24、奇数フィールドの場合にはＣt25となる。
【０２０５】
第１ノイズ低減部６００は、制御部１１９の制御に基づき、抽出部１１３からの注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値をノイズ推定部６０１と第２ノイズ低減部６０２とへ転送する。
【０２０６】
ノイズ推定部６０１は、制御部１１９の制御に基づき、抽出部１１３からの局所領域と、第１ノイズ低減部６００からのノイズ低減処理がなされた注目画素値と、制御部１１９からの撮影時の条件と、を用いて、注目画素に関するノイズ量を推定する。ノイズ推定部６０１は、推定したノイズ量を、第２ノイズ低減部６０２へ転送する。
【０２０７】
第２ノイズ低減部６０２は、制御部１１９の制御に基づき、ノイズ推定部６０１からのノイズ量と、バッファ６０３からの時系列的に過去にノイズ低減処理がなされた映像信号と、を用いて、抽出部１１３からの注目画素に対してノイズ低減処理を行う。第２ノイズ低減部６０２は、ノイズ低減処理後の注目画素値を、バッファ６０３へ転送する。
【０２０８】
なお、上述した抽出部１１３，第１ノイズ低減部６００，ノイズ推定部６０１，第２ノイズ低減部６０２における各処理は、制御部１１９の制御に基づき、局所領域単位で同期して行われるようになっている。
【０２０９】
フレーム合成部６０４は、制御部１１９の制御に基づき、バッファ６０３からノイズ低減処理がなされた偶数フィールド信号とノイズ低減処理がなされた奇数フィールド信号とを読み出して、１枚のフレーム信号を合成する。さらに、フレーム合成部６０４は、本実施形態においては、フレーム信号を合成するときに、次の数式２０に示すように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへの変換も同時に行う。  
［数２０］
Ｙ＝ＧＣｙ＋ＭｇＹｅ  または  Ｙ＝ＭｇＣｙ＋ＧＹｅ
Ｃｂ＝ＭｇＣｙ−ＧＹｅ
Ｃｒ＝ＭｇＹｅ−ＧＣｙ
【０２１０】
そして、フレーム合成部６０４は、フレーム信号へ合成して、さらに輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ変換した映像信号を、信号処理部１１７へ転送する。
【０２１１】
信号処理部１１７は、制御部１１９の制御に基づき、ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部１１８へ転送する。
【０２１２】
出力部１１８は、映像信号をメモリカードやディスク媒体などの記録媒体に順次記録して保存する。
【０２１３】
次に、図２８を参照して、第１ノイズ低減部６００の構成の一例について説明する。
【０２１４】
この第１ノイズ低減部６００は、領域分割手段たる領域分割部７００と、第１バッファ７０１と、分散算出手段たる分散算出部７０２と、第２バッファ７０３と、領域選択手段たる領域選択部７０４と、平均値算出手段たる平均値算出部７０５と、を備えている。
【０２１５】
抽出部１１３は、領域分割部７００を介して第１バッファ７０１へ接続されている。第１バッファ７０１は、分散算出部７０２と領域選択部７０４とへ接続されている。分散算出部７０２は、第２バッファ７０３を介して領域選択部７０４へ接続されている。領域選択部７０４は、平均値算出部７０５へ接続されている。平均値算出部７０５は、ノイズ推定部６０１と第２ノイズ低減部６０２とへ接続されている。
【０２１６】
制御部１１９は、領域分割部７００，分散算出部７０２，領域選択部７０４，平均値算出部７０５と双方向に接続されており、これらを制御するようになっている。
【０２１７】
領域分割部７００は、制御部１１９の制御に基づき、抽出部１１３からの局所領域の一部、本実施形態においては現フィールド信号の時刻ｔにおける映像信号を抽出して、注目画素を基点として所定方向の複数の方向別領域へ分割する。ここに、図２９は、偶数フィールド信号における方向別領域の一例を示すものである。この図２９に示す方向別領域は、０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の８方向の方向別領域となっている。そして、各方向別領域は、何れも、注目画素を含む４画素から構成される（従って、２つの方向別領域の境界線上に位置する画素は、これら２つの方向別領域の両方に含まれることになる。また、注目画素は全ての方向別領域に含まれることになる）。
【０２１８】
方向別領域に分割された映像信号は、第１バッファ７０１へ転送される。分散算出部７０２は、制御部１１９の制御に基づき、方向別領域を順次読み込んで、各方向別領域の分散値を算出する。分散算出部７０２は、算出した分散値を第２バッファ７０３へ転送する。
【０２１９】
領域選択部７０４は、制御部１１９の制御に基づき、第２バッファ７０３から方向別領域の分散値を読み込んで、最小の分散値を与える方向別領域を選択する。次に、領域選択部７０４は、選択した方向別領域に属する映像信号を第１バッファ７０１から読み込んで、この映像信号を平均値算出部７０５へ転送する。
【０２２０】
平均値算出部７０５は、制御部１１９の制御に基づき、領域選択部７０４から転送される方向別領域の平均値を算出する。平均値算出部７０５は、算出した平均値を、ノイズ低減がなされた注目画素値Ｃ't24（偶数フィールド信号の場合）またはＣ't25、（奇数フィールド信号の場合）としてノイズ推定部６０１および第２ノイズ低減部６０２へ転送する。
【０２２１】
次に、図３０を参照して、ノイズ推定部６０１の構成の一例について説明する。
【０２２２】
このノイズ推定部６０１は、上述した実施形態１の図１５に示したノイズ推定部１１５にノイズテーブル手段たるノイズテーブル部８００を追加し、パラメータ用ＲＯＭ３０２とパラメータ選択部３０３と補間部３０４とを省略した構成になっている。その他の基本的な構成は図１５に示したノイズ推定部１１５と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０２２３】
第１ノイズ低減部６００とゲイン算出部３００と標準値付与部３０１とは、ノイズテーブル部８００へ接続されている。ノイズテーブル部８００と孤立点検出部３０７とは、補正部３０５へ接続されている。
【０２２４】
制御部１１９は、ノイズテーブル部８００とも双方向に接続されており、これも制御するようになっている。
【０２２５】
第１ノイズ低減部６００は、制御部１１９の制御に基づき、ノイズ低減がなされた注目画素値Ｃ't24（偶数フィールド信号の場合）またはＣ't25、（奇数フィールド信号の場合）をノイズテーブル部８００へ転送する。
【０２２６】
ゲイン算出部３００は、制御部１１９から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０４における増幅量を求めて、求めた増幅量をノイズテーブル部８００へ転送する。
【０２２７】
また、制御部１１９は、温度センサ１０３からＣＣＤ１０２の温度情報を取得して、取得した温度情報をノイズテーブル部８００へ転送する。
【０２２８】
ノイズテーブル部８００は、第１ノイズ低減部６００からのノイズ低減がなされた注目画素値と、ゲイン算出部３００からのゲインの情報と制御部１１９からの温度情報と、に基づいてノイズ量を求める。このノイズテーブル部８００は、温度，信号レベル，ゲインと、ノイズ量と、の間の関係を記録するルックアップテーブルであり、上述した実施形態１と同様の手段により構築されたものである。ノイズテーブル部８００は、求めたノイズ量Ｎを補正部３０５へ転送する。
【０２２９】
補正部３０５は、上述した実施形態１と同様に、孤立点検出部３０７から孤立点が検出されたとの判断結果が転送された場合にのみ、上記ノイズ量Ｎに所定の補正係数ｋi、例えばｋi＝１．５〜４を乗算する。補正部３０５で補正されたノイズ量Ｎは、注目画素値Ｃt24（偶数フィールド信号の場合）のノイズ量Ｎ24、または注目画素値Ｃt25（奇数フィールド信号の場合）のノイズ量Ｎ25として、第２ノイズ低減部６０２へ転送される。
【０２３０】
次に、図３１を参照して、第２ノイズ低減部６０２の構成の一例について説明する。
【０２３１】
この第２ノイズ低減部６０２は、前局所領域抽出手段たる前局所領域抽出部９００と、第１の差分手段たる第１差分部９０１と、バッファ９０２と、動き量推定手段たる動き推定部９０３と、差分成分選択手段たる差分成分選択部９０４と、動き量補償手段たる動き補償部９０５と、第２の差分手段たる第２差分部９０６と、を備えている。
【０２３２】
抽出部１１３は、第１差分部９０１と第２差分部９０６とへ接続されている。バッファ６０３は、前局所領域抽出部９００を介して第１差分部９０１へ接続されている。第１差分部９０１は、バッファ９０２へ接続されている。バッファ９０２は、動き推定部９０３と動き補償部９０５とへ接続されている。ノイズ推定部６０１は、動き推定部９０３へ接続されている。動き推定部９０３は、差分成分選択部９０４を介して動き補償部９０５へ接続されている。動き補償部９０５は、第２差分部９０６へ接続されている。第２差分部９０６は、バッファ６０３へ接続されている。
【０２３３】
制御部１１９は、前局所領域抽出部９００，第１差分部９０１，動き推定部９０３，差分成分選択部９０４，動き補償部９０５，第２差分部９０６と双方向に接続されており、これらを制御するようになっている。
【０２３４】
前局所領域抽出部９００は、制御部１１９の制御に基づき、バッファ６０３から時系列的に過去のノイズ低減処理がなされた複数の映像信号から、現注目画素に関する局所領域（図３２（Ａ）参照）と同一位置に存在する映像信号を前局所領域（図３２（Ｂ）参照）として少なくとも１つ抽出する（なお、この前局所領域も、局所領域と同様に、２次元空間および時間に分布する（つまり３次元的に分布する）領域となっている。）。本実施形態においては、前局所領域抽出部９００が抽出する前局所領域は、１つであることを想定している。前局所領域抽出部９００は、抽出した前局所領域を第１差分部９０１へ転送する。
【０２３５】
一方、第１差分部９０１は、制御部１１９の制御に基づき、抽出部１１３から局所領域を受領する。ここに、図３２（Ａ）は抽出部１１３からの局所領域の画素配置を、図３２（Ｂ）は前局所領域抽出部９００からの前局所領域の画素配置を、それぞれ示している。
【０２３６】
図３２に示す例においては、注目画素値が偶数フィールド信号のＣt24であるものとしている。これ以降の説明においては、注目画素値が偶数フィールド信号のＣt24であるものとして説明するが、注目画素が奇数フィールド信号のＣt25である場合にも、同様の技術を適用することができる。
【０２３７】
第１差分部９０１は、未処理の局所領域と、第２のノイズ低減処理がなされた前局所領域と、の間で差分処理を行う。この差分処理は、時刻的には「現フィールド（時刻ｔ）と現フィールド（時刻ｔ）との間」、「現フィールド（時刻ｔ）と１フィールド前のフィールド（時刻ｔ−１）との間」、「現フィールド（時刻ｔ）と２フィールド前のフィールド（時刻ｔ−２）との間」の三種類に対して行われる。また、差分は、所定サイズの基準領域と、比較領域と、の間で行われる。本実施形態においては、差分は、１×５画素サイズ、つまりＸ座標方向のライン間で行われる。すなわち、第１差分部９０１は、次の数式２１に示すように差分処理を行う。  
［数２１］
ｄti  ＝Ｃ"ti0−Ｃti4
ｄt-1i＝（Ｃ"t-1i1＋３Ｃ"t-1i5）／４−Ｃti4
ｄt-2i＝Ｃ"t-2i4−Ｃti4
ここに、ｉはＸ座標方向の座標を意味し、本実施形態においてはｉ＝０〜４をとる。従って、三種類の差分成分ｄti，ｄt-1i，ｄt-2iは、それぞれ５個ずつ算出されることになる。また、Ｃは未処理の画素値を、Ｃ"は第２のノイズ低減処理がなされた画素値を、それぞれ意味している。
【０２３８】
そして、第１差分部９０１は、算出した三種類の差分成分ｄti，ｄt-1i，ｄt-2iを、バッファ９０２へ転送する。
【０２３９】
動き推定部９０３は、制御部１１９の制御に基づき、バッファ９０２から三種類の差分成分ｄti，ｄt-1i，ｄt-2iを読み込むとともに、ノイズ推定部６０１から注目画素値Ｃt24のノイズ量Ｎ24を読み込む。そして、動き推定部９０３は、差分成分の絶対値とノイズ量Ｎ24とを差分成分の種類毎に各画素単位で順次比較して、ノイズ量Ｎ24以上の絶対値を与える差分成分を、動きに起因する動き画素に係る差分成分であると判断してラベルを付加する。その後、動き推定部９０３は、ラベル情報とノイズ量Ｎ24とを、差分成分選択部９０４へ転送する。
【０２４０】
差分成分選択部９０４は、制御部１１９の制御に基づき、動き推定部９０３から差分成分に関するラベル情報を読み込んで、動き量が最小（動き画素に係る差分成分であると判断された数が最小）となる種類の差分成分（すなわち、三種類の差分成分ｄti，ｄt-1i，ｄt-2iの内の何れか一種類の差分成分）を選択する。上記選択は、ラベルが付加された数が最小となる種類の差分成分を選択することにより行われる。そして、差分成分選択部９０４は、選択情報とノイズ量Ｎ24とを動き補償部９０５へ転送する。
【０２４１】
動き補償部９０５は、制御部１１９の制御に基づき、差分成分選択部９０４から選択情報を読み込み、読み込んだ選択情報に基づいて、動き量が最小とされる種類の差分成分をバッファ９０２から読み出す。これ以降は、選択された差分成分（動き量が最小となる種類の差分成分）をｄiにより表記するものとする。動き補償部９０５は、差分成分ｄi中の注目画素位置に関する差分成分ｄ2に関して、差分成分選択部９０４からのノイズ量Ｎ24に基づき補償処理を行い、ｄ'2を算出する。
【０２４２】
この補償処理は、差分成分ｄ2がノイズ量Ｎ24を「上回っている」場合には、次の数式２２により行われる。  
［数２２］
ｄ'2＝Ｎ24
また、補償処理は、差分成分ｄ2がノイズ量Ｎ24を「下回っている」場合は、次の数式２３により行われる。  
［数２３］
ｄ'2＝−Ｎ24
さらに、補償処理は、上述以外の場合は、次の数式２４により行われる。  
［数２４］
ｄ'2＝ｄ2
【０２４３】
動き補償部９０５は、補償処理後の注目画素位置に関する差分成分ｄ'2を、第２差分部９０６へ転送する。
【０２４４】
第２差分部９０６は、制御部１１９の制御に基づき、抽出部１１３からの注目画素値Ｃt24と、動き補償部９０５からの補償処理後の差分成分ｄ'2と、の間で次の数式２５に示すように差分処理を行い、第２のノイズ低減処理後の注目画素値Ｃ"t24を算出する。  
［数２５］
Ｃ"t24＝Ｃt24−ｄ'2
【０２４５】
第２差分部９０６は、算出した第２のノイズ低減処理後の注目画素値Ｃ"t24を、バッファ６０３へ転送する。
【０２４６】
なお、上述では、撮像素子として色差線順次型補色フィルタを用いる構成を例に挙げたが、このような構成に限定されるものではない。例えば、図２に示したようなベイヤー（Bayer）型原色フィルタを用いる構成を採用することも可能であるし、二板撮像素子あるいは三板撮像素子の構成を採用しても良い。
【０２４７】
そして、上述では、第１のノイズ低減処理に方向別の処理を用い、第２のノイズ低減処理に時系列的な複数の映像信号を用いる構成を採用していたが、このような構成に限定されるものでもない。例えば、実施形態１において図１２を参照して説明したような適用的な重み係数を用いるフィルタリング処理や、図１９を参照して説明したような１枚の画像内においてノイズを低減する処理などを適用することも可能である。ここに、重み係数を用いるフィルタリング処理においては、注目画素と近傍画素との間の空間的関連性や画素値的関連性に基づいて重み係数を算出するだけでなく、さらに、注目画素と近傍画素との間の時間的関連性に基づいて重み係数を算出すると良い。
【０２４８】
また、上述した実施形態１と同様に、撮像部は別体であって、この別体の撮像部により撮像された複数の映像信号を未処理のままのＲａｗデータとして記録媒体等を介して取り込むとともに、さらに撮影時の撮像素子の温度や露光条件などの付随情報をヘッダ部などにより記録媒体等を介して取り込んで、上述したような処理を行うことも可能である。
【０２４９】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの複数の映像信号を未処理のままのＲａｗデータとして記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１９からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０２５０】
図３３を参照して、画像処理プログラムによる処理全体の流れについて説明する。なお、この図３３において、上述した実施形態１の図２１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。
【０２５１】
この処理を開始すると、まず、複数の映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０２５２】
次に、読み込んだ映像信号を、図２６（Ｂ）に示すような偶数フィールド信号と、図２６（Ｃ）に示すような奇数フィールド信号と、へ分離する（ステップＳ５０）。
【０２５３】
続いて、図２７に示すように、撮像素子に使用されている色フィルタの色毎に、フィールド信号を色信号へ分離する（ステップＳ２）。
【０２５４】
そして、図３２（Ａ）に示すように、注目画素を包含する局所領域を抽出する（ステップＳ３）。
【０２５５】
さらに、後で図３４を参照して説明するように、注目画素に対して第１ノイズ低減処理を行う（ステップＳ５１）。
【０２５６】
その後、後で図３５を参照して説明するように、注目画素に関するノイズ量を推定する（ステップＳ５２）。
【０２５７】
加えて、後で図３６を参照して説明するように、注目画素に対して第２ノイズ低減処理を行う（ステップＳ５３）。
【０２５８】
次に、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ７）。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップＳ３へ戻って未処理の局所領域について上述したような処理を行う。
【０２５９】
一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての色信号についての処理が完了したか否かを判断する（ステップＳ８）。ここで、全ての色信号についての処理が完了していないと判断された場合には、ステップＳ２へ戻って、未処理の色信号について上述したような処理を行う。
【０２６０】
また、全ての色信号についての処理が完了したと判断された場合には、偶数フィールド信号と奇数フィールド信号とを合成して、フレーム信号を算出する（ステップＳ５４）。
【０２６１】
そして、フレーム信号に、公知の強調処理および圧縮処理などを行う（ステップＳ９）。
【０２６２】
続いて、処理後のフレーム信号を出力する（ステップＳ１０）。
【０２６３】
その後、全ての映像信号についての処理が完了したか否かを判断する（ステップＳ５５）。ここで、全ての映像信号についての処理が完了していないと判断された場合には、ステップＳ５０へ戻って、未処理の映像信号について上述したような処理を行う。
【０２６４】
一方、全ての映像信号についての処理が完了したと判断された場合には、この処理を終了する。
【０２６５】
次に、図３４を参照して、上記ステップＳ５１における第１ノイズ低減処理の詳細を説明する。
【０２６６】
この処理を開始すると、まず、図２９に示すように、局所領域の一部を、注目画素を基点とする所定数の方向別領域へ分割する（ステップＳ６０）。
【０２６７】
次に、各方向別領域の分散値を算出する（ステップＳ６１）。
【０２６８】
続いて、最小の分散値を与える方向別領域を選択する（ステップＳ６２）。
【０２６９】
さらに、選択された方向別領域の平均値を算出する（ステップＳ６３）。
【０２７０】
その後、平均値を、第１のノイズ低減がなされた注目画素値として出力して（ステップＳ６４）、図３３に示した処理へリターンする。
【０２７１】
次に、図３５を参照して、上記ステップＳ５２におけるノイズ量推定処理の詳細を説明する。なお、この図３５において、上述した実施形態１の図２３に示したノイズ量推定処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。
【０２７２】
この処理を開始すると、まず、読み込まれたヘッダ情報から、温度やゲインなどの情報を設定する。ここで、もしヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる（ステップＳ３０）。
【０２７３】
続いて、温度やゲインに対応するノイズ量テーブルを入力して、画素値に応じたノイズ量を求める（ステップＳ７０）。
【０２７４】
さらに、近傍画素を用いて数式１４および数式１５の処理を行い、注目画素が孤立点であるか否かを検出する（ステップＳ３４）。
【０２７５】
そして、注目画素が孤立点であることが検出された場合には、求められたノイズ量に所定の補正係数をさらに乗算する（ステップＳ３５）。
【０２７６】
その後、算出されたノイズ量を出力して（ステップＳ３６）、図３３に示した処理へリターンする。
【０２７７】
次に、図３６を参照して、上記ステップＳ５３における第２ノイズ低減処理の詳細を説明する。
【０２７８】
この処理を開始すると、ノイズ低減処理が完了した時系列的に過去のフィールド信号を読み込む（ステップＳ８０）。
【０２７９】
続いて、図３２（Ｂ）に示したような、現注目画素に関する局所領域と同一位置に存在するノイズ低減処理がなされた映像信号を前局所領域として抽出する（ステップＳ８１）。
【０２８０】
さらに、数式２１に示したように、三種類の差分成分を算出する（ステップＳ８２）。
【０２８１】
そして、差分成分の絶対値とノイズ量とを各画素単位で順次比較して、ノイズ量以上の絶対値を与える差分成分を、動きに起因する動き画素に係る差分成分であると判断する（ステップＳ８３）。
【０２８２】
その後、三種類の差分成分の内の、動き画素に係る差分成分であると判断された数が最小となる種類の差分成分を選択する（ステップＳ８４）。
【０２８３】
次に、動き量が最小であるとして選択された種類の差分成分の中の注目画素位置に関する差分成分に対して、ノイズ量Ｎ24に基づき、数式２２、数式２３、または数式２４に示したような補償処理を行う（ステップＳ８５）。
【０２８４】
続いて、注目画素値と補償処理後の差分成分との差分処理を数式２５に示したように行い、第２のノイズ低減処理後の注目画素値を取得する（ステップＳ８６）。
【０２８５】
その後、第２のノイズ低減がなされた注目画素値を出力して（ステップＳ８７）、図３３に示した処理へリターンする。
【０２８６】
このような実施形態２によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
【０２８７】
また、時系列的に撮影された複数の映像信号に関して巡回型のノイズ低減処理を行うようにしたために、ノイズ低減処理の平滑化性能とエッジ部の保存性能とを向上することが可能となる。
【０２８８】
さらに、第１のノイズ低減処理は、分散値が最小となる領域を選択して行う処理であるために、複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。また、第１のノイズ低減処理は、処理が比較的単純であるために、低コスト化を図ることが可能となる。
【０２８９】
そして、ノイズ量の推定においてはモデルを用いているために、ノイズ量を高精度に推定することが可能となる。このとき、ノイズ量を求める際にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。そして、孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。
【０２９０】
さらに、第２のノイズ低減処理は、ノイズ量に基づきノイズ低減処理に関する判断を行う処理であるために、最適なノイズ低減処理を行うことが可能となる。また、第２のノイズ低減処理は、時系列的に過去の映像信号を利用する処理であるために、より効果の大きいノイズ低減処理を行うことが可能となる。そして、動き量に基づいて過去の映像信号または現在の映像信号を選択しているために、動き量の大きい領域であっても副作用の少ないノイズ低減処理を行うことが可能となる。さらに、色差線順次型補色フィルタを前面に配置した撮像素子を使用する場合には、従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。加えて、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。
【０２９１】
［実施形態３］
図３７から図５３は本発明の実施形態３を示したものであり、図３７は撮像システムの構成を示すブロック図、図３８は局所領域における第１ＣＣＤの色フィルタ配置を示す図、図３９は局所領域における第２ＣＣＤの色フィルタ配置を示す図、図４０は第２ＣＣＤの出力を補間処理して得られる局所領域のＲ色信号を示す図、図４１は第２ＣＣＤの出力を補間処理して得られる局所領域のＢ色信号を示す図、図４２は図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＹ信号を示す図、図４３は図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｂ信号を示す図、図４４は図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｒ信号を示す図、図４５は第１ノイズ低減部の一構成例を示すブロック図、図４６は第１ノイズ低減部の他の構成例を示すブロック図、図４７は第２ノイズ低減部の構成を示すブロック図、図４８は５×５画素の平滑化フィルタを示す図、図４９は３×３画素の平滑化フィルタを示す図、図５０はノイズ量に応じてどのタイプの平滑化フィルタが選択されるかを示す線図、図５１は画像処理プログラムによる処理全体の流れを示すフローチャート、図５２は図５１のステップＳ９１における第１ノイズ低減処理の詳細を示すフローチャート、図５３は図５１のステップＳ９２における第２ノイズ低減処理の詳細を示すフローチャート、である。
【０２９２】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２９３】
本実施形態の撮像システムは、上述した実施形態１の図１に示した撮像システムにおいて、ＣＣＤ１０２を第１ＣＣＤ１０００および第２ＣＣＤ１００１に置換し、さらに色信号分離部１１１，第１ノイズ低減部１１４，第２ノイズ低減部１１６を輝度色差分離手段たるＹ／Ｃ分離部１００２，第１のノイズ低減手段たる第１ノイズ低減部１００３，第２のノイズ低減手段たる第２ノイズ低減部１００４にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０２９４】
レンズ系１００および絞り１０１を介して入射された光束は、例えばダイクロイック面を有するプリズム系により、波長帯域の異なる２つの光に分割されて２方向へ射出される。そして、分割された内の一方の光が第１ＣＣＤ１０００へ到達し、他方の光が第２ＣＣＤ１００１へ到達する。第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とは、増幅部１０４によって増幅され、Ａ／Ｄ変換部１０５によってデジタル信号へ変換されて、バッファ１０６へ転送される。
【０２９５】
測光評価部１０８は、絞り１０１と第１ＣＣＤ１０００と第２ＣＣＤ１００１と増幅部１０４とへ接続されている。バッファ１０６は、プレホワイトバランス部１０７と測光評価部１０８と合焦点検出部１０９とＹ／Ｃ分離部１００２とへ接続されている。Ｙ／Ｃ分離部１００２は、バッファ１１２へ接続されている。抽出部１１３は、第１ノイズ低減部１００３とノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。第１ノイズ低減部１００３は、ノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。ノイズ推定部１１５は、第２ノイズ低減部１００４へ接続されている。第２ノイズ低減部１００４は、信号処理部１１７へ接続されている。
【０２９６】
制御部１１９は、Ｙ／Ｃ分離部１００２，第１ノイズ低減部１００３，第２ノイズ低減部１００４とも双方向に接続されており、これらも制御するようになっている。
【０２９７】
さらに、温度センサ１０３は、第２ＣＣＤ１００１の近傍に配置されていて、この温度センサ１０３からの信号は、制御部１１９へ接続されている。
【０２９８】
次に、図３７に示したような撮像システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
【０２９９】
レンズ系１００および絞り１０１を介して入射された光束は、プリズム系により、緑色の波長帯域の第１の光と、それ以外の波長帯域の第２の光と、に分割される。そして、これらの内の第１の光は第１ＣＣＤ１０００に、第２の光は第２ＣＣＤ１００１に、それぞれ入射する。
【０３００】
ここに、本実施形態においては、第１ＣＣＤ１０００は図３８に示すような緑（Ｇ）フィルタのみを前面に配置したＣＣＤ、第２ＣＣＤ１００１は図３９に示すような赤（Ｒ）フィルタと青（Ｂ）フィルタとを格子状に配置したＣＣＤであることを想定している。なお、プリズム系が上述したようにダイクロイック面を備えたものである場合には、緑色の波長帯域の光の光路上に配置される第１ＣＣＤ１０００の前面には、必ずしも緑（Ｇ）のフィルタを設けなくても構わない。
【０３０１】
そして、第１ＣＣＤ１０００および第２ＣＣＤ１００１は、それぞれ映像信号を生成して出力する。
【０３０２】
第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とは、増幅部１０４，Ａ／Ｄ変換部１０５を介してバッファ１０６へ転送される。そして、このバッファ１０６には、第１ＣＣＤ１０００からの映像信号と、第２ＣＣＤ１００１からの映像信号と、の両方が記録されるものとする。
【０３０３】
Ｙ／Ｃ分離部１００２は、制御部１１９の制御に基づき、バッファ１０６から、第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とを読み込む。そして、Ｙ／Ｃ分離部１００２は、第２ＣＣＤ１００１からのＲフィルタの信号とＢフィルタの信号とに関しては、公知の補間処理を行うことにより、図４０および図４１に示すような欠落のない信号を生成する。次に、Ｙ／Ｃ分離部１００２は、生成した欠落のないＲフィルタの信号（図４０）と、欠落のないＢフィルタの信号（図４１）と、第１ＣＣＤ１０００からのＧフィルタの信号（図３８）と、に基づき、次の数式２６に示すように、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）とを算出する。  
［数２６］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【０３０４】
Ｙ／Ｃ分離部１００２は、算出した輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）とを、バッファ１１２へ転送する。
【０３０５】
抽出部１１３は、制御部１１９の制御に基づき、ノイズ低減処理を行う対象である注目画素と、この注目画素の近傍に存在する近傍画素と、を含む局所領域を順次抽出して、第１ノイズ低減部１００３とノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。
【０３０６】
ここに、抽出部１１３は、本実施形態においては、図４２〜図４４に示すような、注目画素を中心とする５×５画素の領域を、局所領域として抽出するようになっている。そして、ノイズ低減処理は１画素単位で行われるために、上記５×５画素の局所領域は、注目画素の画素位置を１画素ずつずらしながら順に抽出されることになる。従って、ある位置の注目画素に対する局所領域と、前記注目画素から１画素ずらした位置の新たな注目画素に対する局所領域とは、４行または４列だけ重複していることになる。なお、抽出部１１３による上記抽出は、色信号毎に独立に行われる。そして、これ以降は、局所領域内の画素をＣij（Ｃは色信号であってＣ＝Ｙ，Ｃｂ，Ｃｒ、ｉは局所領域内におけるＸ座標（横方向座標）であってｉ＝０〜４、ｊは局所領域内におけるＹ座標（縦方向座標）であってｊ＝０〜４）により表記することにする。この表記に従えば、局所領域が５×５画素である場合には、注目画素値はＣ22となる。
【０３０７】
第１ノイズ低減部１００３は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域の注目画素に対して所定の適用的なノイズ低減処理を行い、ノイズ低減処理がなされた注目画素値をノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。
【０３０８】
ノイズ推定部１１５は、制御部１１９の制御に基づき、抽出部１１３から転送される局所領域と、第１ノイズ低減部１００３から転送されるノイズ低減処理がなされた注目画素値と、制御部１１９から転送される撮影時の条件と、に基づいて、注目画素に関するノイズ量を推定する。そして、ノイズ推定部１１５は、推定したノイズ量を第２ノイズ低減部１００４へ転送する。
【０３０９】
第２ノイズ低減部１００４は、制御部１１９の制御に基づき、第１ノイズ低減部１００３から転送されるノイズ低減処理がなされた注目画素値と、ノイズ推定部１１５から転送されるノイズ量と、に基づいて、抽出部１１３からの注目画素に対して第２のノイズ低減処理を行う。そして、第２ノイズ低減部１００４は、ノイズ低減処理後の注目画素値を信号処理部１１７へ転送する。
【０３１０】
なお、上述した抽出部１１３，第１ノイズ低減部１００３，ノイズ推定部１１５，第２ノイズ低減部１００４における各処理は、制御部１１９の制御に基づき、局所領域単位で同期して行われるようになっている。
【０３１１】
信号処理部１１７は、制御部１１９の制御に基づき、ノイズ低減後の映像信号に対して、強調処理および圧縮処理などを行い、処理後の映像信号を出力部１１８へ転送する。
【０３１２】
出力部１１８は、映像信号をメモリカードなどの記録媒体に記録して保存する。
【０３１３】
次に図４５を参照して、第１ノイズ低減部１００３の構成の一例について説明する。
【０３１４】
この第１ノイズ低減部１００３は、拡散画像記録手段たるバッファ１１００と、拡散画像算出手段たるＴＶノルム算出部１１０１と、拡散画像算出手段たる拡散画像算出部１１０２と、反復処理制御手段であり変化成分算出手段たる変化成分算出部１１０３と、反復処理制御手段であり停止手段たる拡散制御部１１０４と、を備えている。
【０３１５】
抽出部１１３は、バッファ１１００へ接続されている。バッファ１１００は、ＴＶノルム算出部１１０１と拡散画像算出部１１０２とへ接続されている。ＴＶノルム算出部１１０１は、拡散画像算出部１１０２と変化成分算出部１１０３とへ接続されている。拡散画像算出部１１０２は、バッファ１１００とノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。変化成分算出部１１０３は、拡散制御部１１０４を介して拡散画像算出部１１０２へ接続されている。
【０３１６】
制御部１１９は、ＴＶノルム算出部１１０１，拡散画像算出部１１０２，変化成分算出部１１０３，拡散制御部１１０４と双方向に接続されており、これらを制御するようになっている。
【０３１７】
抽出部１１３からの局所領域は、バッファ１１００へ転送される。
【０３１８】
ＴＶノルム算出部１１０１は、制御部１１９の制御に基づき、バッファ１１００に記憶されている局所領域に関する全変動（ＴＶ；Total Variation）ノルムを次の数式２７に示すように算出する。  
［数２７］
2008124764.tif 000010
ここに、▽Ｒは、局所領域Ｒの勾配（Gradient）を意味している。
【０３１９】
ＴＶノルム算出部１１０１は、算出したＴＶノルムを、拡散画像算出部１１０２と変化成分算出部１１０３とへ転送する。
【０３２０】
拡散画像算出部１１０２は、制御部１１９の制御に基づき、バッファ１１００からの局所領域と、ＴＶノルム算出部１１０１からのＴＶノルムと、を用いて、局所領域に関する拡散画像を算出する。この拡散画像は、次の数式２８に示すようなエネルギー関数Ｅ（）を最小化する復元画像として、反復的に算出される。  
［数２８］
2008124764.tif 000011
ここに、ρ（）は所定のコスト関数を、φはノイズによる劣化作用素を、Ｏはノイズのない原画像を、λは所定の定数項を意味している。
【０３２１】
そして、拡散画像算出部１１０２は、拡散画像を次の数式２９に基づき算出する。  
［数２９］
2008124764.tif 000012
ここに、φ*はノイズによる劣化作用素の随伴作用素を、∂ｔは仮想時間パラメータｔに関する一階偏微分を意味している。
【０３２２】
拡散画像算出部１１０２は、数式２９に基づき仮想時間パラメータｔを更新することにより拡散画像Ｒ(t)を算出する。なお、算出の際の初期条件として、Ｒ(0)＝Ｒを用いる。
【０３２３】
拡散画像算出部１１０２は、算出した拡散画像Ｒ(t)を、バッファ１１００へ転送する。
【０３２４】
ＴＶノルム算出部１１０１は、制御部１１９の制御に基づき、バッファ１１００に記憶された局所領域に関するＴＶノルムを再度算出する。そして、ＴＶノルム算出部１１０１は、再度算出したＴＶノルムを、拡散画像算出部１１０２と変化成分算出部１１０３とへ転送する。
【０３２５】
変化成分算出部１１０３は、制御部１１９の制御に基づき、ＴＶノルム算出部１１０１からのＴＶノルムの変化を求める。以下では、仮想時間パラメータｔにおける拡散画像Ｒ(t)のＴＶノルムをＴＶ(t)、拡散画像算出部１１０２によって仮想時間パラメータが更新されて（ｔ＋１）となった拡散画像Ｒ(t+1)のＴＶノルムをＴＶ(t+1)とする。このとき、ＴＶノルムの変化は、ＴＶ(t)とＴＶ(t+1)との差の絶対値として求められる。変化成分算出部１１０３は、算出したＴＶノルムの変化を、拡散制御部１１０４へ転送する。
【０３２６】
拡散制御部１１０４は、制御部１１９の制御に基づき、変化成分算出部１１０３からのＴＶノルムの変化と所定の閾値とを比較して、ＴＶノルムの変化が所定の閾値以下になった場合に反復処理が収束したと判断して、処理を停止させる制御信号を拡散画像算出部１１０２へ転送する。
【０３２７】
拡散画像算出部１１０２は、拡散制御部１１０４から制御信号が転送された場合に、拡散画像から注目画素位置に対応する画素値を抽出して、抽出した画素値をノイズ低減がなされた注目画素値Ｃ'22としてノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。一方、拡散画像算出部１１０２は、拡散制御部１１０４から制御信号が転送されない場合には、バッファ１１００に記憶されている局所領域に対して再度の拡散画像を算出する。
【０３２８】
なお、上述ではＴＶノルムに基づき拡散処理を行う例について説明したが、このような構成に限定されるものではない。例えば、図４６に示すような一般的なエネルギー関数と偏微分方程式（ＰＤＥｓ；Partial Differential Equations）とを組み合わせた構成を採用することも可能である。
【０３２９】
図４６を参照して、第１ノイズ低減部１００３の他の構成例について説明する。
【０３３０】
この図４６に示す第１ノイズ低減部１００３は、図４５に示した第１ノイズ低減部１００３の構成において、ＴＶノルム算出部１１０１を除去するとともに、拡散画像算出部１１０２を拡散画像算出手段たるＰＤＥｓ算出部１１０６へ、変化成分算出部１１０３を反復処理制御手段であり処理回数算出手段たる処理回数算出部１１０５へ、それぞれ置換したものとなっている。その他の基本的な構成は図４５に示す第１ノイズ低減部１００３と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０３３１】
バッファ１１００は、処理回数算出部１１０５とＰＤＥｓ算出部１１０６とへ接続されている。処理回数算出部１１０５は、拡散制御部１１０４へ接続されている。拡散制御部１１０４は、ＰＤＥｓ算出部１１０６へ接続されている。ＰＤＥｓ算出部１１０６は、バッファ１１００とノイズ推定部１１５と第２ノイズ低減部１００４とへ接続されている。
【０３３２】
制御部１１９は、処理回数算出部１１０５，ＰＤＥｓ算出部１１０６とも双方向に接続されており、これらも制御するようになっている。
【０３３３】
ＰＤＥｓ算出部１１０６は、制御部１１９の制御に基づき、バッファ１１００に記憶されている局所領域Ｒに対して、非線形拡散方程式に関するＰＤＥｓを算出する。ここに、非線形拡散方程式は、一般に、次の数式３０に示すような数式として与えられる。  
［数３０］
2008124764.tif 000013
ここに、ｃ（）は目的とする画像を得るためのエネルギー関数を、∂ｔは仮想時間パラメータｔに関する一階偏微分を、それぞれ意味している。
【０３３４】
ＰＤＥｓ算出部１１０６は、数式３０に基づき、仮想時間パラメータｔを更新することにより更新画像Ｒ(t)を算出する。なお、算出の際の初期条件として、Ｒ(0)＝Ｒを用いる。ＰＤＥｓ算出部１１０６は、算出した更新画像Ｒ(t)をバッファ１１００へ転送する。
【０３３５】
処理回数算出部１１０５は、制御部１１９の制御に基づき、バッファ１１００へ書き込まれる更新画像Ｒ(t)の回数をカウントして、カウントした回数を拡散制御部１１０４へ転送する。
【０３３６】
拡散制御部１１０４は、制御部１１９の制御に基づき、処理回数算出部１１０５からの更新の回数と所定の閾値とを比較して、更新の回数が所定の閾値以上になった場合に、処理を停止させる制御信号をＰＤＥｓ算出部１１０６へ転送する。
【０３３７】
ＰＤＥｓ算出部１１０６は、拡散制御部１１０４から制御信号が転送された場合に、更新画像から注目画素位置に対応する画素値を抽出して、抽出した画素値をノイズ低減がなされた注目画素値Ｃ'22としてノイズ推定部１１５と第２ノイズ低減部１００４とへ転送する。一方、ＰＤＥｓ算出部１１０６は、拡散制御部１１０４から制御信号が転送されない場合には、バッファ１１００に記憶されている局所領域に対して再度の更新画像を算出する。
【０３３８】
なお、上述したような拡散画像を用いる技術については、例えば上述した「IEEE SIGNAL PROCESSING MAGAZINE, SEPTEMBER 2002」の第１６頁〜第２５頁などに記載されている。
【０３３９】
次に、図４７を参照して、第２ノイズ低減部１００４の構成の一例について説明する。
【０３４０】
この第２ノイズ低減部１００４は、平滑化フィルタ選択手段たるフィルタ選択部１２００と、平滑化フィルタ記録手段たるフィルタ記録部１２０１と、スムージング手段たるスムージング部１２０２と、を備えている。
【０３４１】
第１ノイズ低減部１００３とノイズ推定部１１５とフィルタ記録部１２０１とは、フィルタ選択部１２００へ接続されている。フィルタ選択部１２００と抽出部１１３とは、スムージング部１２０２へ接続されている。スムージング部１２０２は、信号処理部１１７へ接続されている。
【０３４２】
制御部１１９は、フィルタ選択部１２００，フィルタ記録部１２０１，スムージング部１２０２と双方向に接続されており、これらを制御するようになっている。
【０３４３】
フィルタ選択部１２００は、制御部１１９の制御に基づき、第１ノイズ低減部１００３から第１のノイズ低減がなされた注目画素値Ｃ'22を読み込むとともに、ノイズ推定部１１５から注目画素のノイズ量Ｎ22を読み込んで、フィルタ記録部１２０１に記録されている平滑化フィルタを選択する。ここに、フィルタ記録部１２０１には、例えば、図４８（Ａ）〜図４８（Ｄ）に示すような５×５サイズの周波数特性が異なる４種類（タイプ（Ｔｙｐｅ）１〜４）の平滑化フィルタと、図４９（Ａ）〜図４９（Ｄ）に示すような３×３サイズの周波数特性が異なる４種類（タイプ（Ｔｙｐｅ）１〜４）の平滑化フィルタと、の合計８種類の平滑化フィルタが記録されている。
【０３４４】
なお、タイプ（Ｔｙｐｅ）１の平滑化フィルタは高周波成分を残存させる周波数特性のフィルタとなっており、タイプ（Ｔｙｐｅ）１からタイプ（Ｔｙｐｅ）４へと向かうにつれて、高周波成分をより抑制する周波数特性のフィルタとなるように構成されている。また、図４８および図４９に示すフィルタ係数は、１２８倍した値を記載している。従って、実際に用いるフィルタ係数は、図４８および図４９に示すフィルタ係数の１２８分の１である。
【０３４５】
フィルタ選択部１２００は、まず、第１ノイズ低減部１００３から転送される注目画素値Ｃ'22と所定の閾値とを比較して、注目画素値Ｃ'22が所定の閾値以下である場合には５×５サイズの平滑化フィルタを、また注目画素値Ｃ'22が所定の閾値よりも大きい場合には３×３サイズの平滑化フィルタを選択する、これは、一般に、暗部領域においてはノイズが顕著になるために、暗部領域に対してよりノイズ抑制効果の大きい平滑化フィルタを適用することを意味している。
【０３４６】
次に、フィルタ選択部１２００は、ノイズ推定部１１５から転送される注目画素のノイズ量Ｎ22に基づいて、周波数特性のタイプ（Ｔｙｐｅ）１〜タイプ（Ｔｙｐｅ）４を選択する。この選択は、例えば図５０に示すようなノイズ量Ｎとフィルタの種類（Ｔｙｐｅ）との間の関係に基づいて行われる。すなわち、ノイズ量Ｎが小さい場合にはタイプ（Ｔｙｐｅ）１の平滑化フィルタを選択し、ノイズ量Ｎが増加するにつれて、選択する平滑化フィルタがタイプ（Ｔｙｐｅ）２、タイプ（Ｔｙｐｅ）３、タイプ（Ｔｙｐｅ）４と順に変更される。これにより、ノイズ量Ｎが大きいほど、高周波成分をより抑制する周波数特性の平滑化フィルタが選択されることになる。
【０３４７】
そして、フィルタ選択部１２００は、選択したサイズおよび周波数特性の平滑化フィルタ係数を、スムージング部１２０２へ転送する。
【０３４８】
スムージング部１２０２は、制御部１１９の制御に基づき、フィルタ選択部１２００からの平滑化フィルタ係数を用いて、抽出部１１３からの局所領域に対して平滑化フィルタ処理を行う。そして、スムージング部１２０２は、フィルタリング処理後の注目画素値を、第２のノイズ低減がなされた注目画素値Ｃ"22として信号処理部１１７へ転送する。
【０３４９】
なお、上述では撮像系として二板ＣＣＤを用いる例を挙げたが、このような構成に限定されるものではない。例えば、図２に示したようなベイヤー（Bayer）型原色フィルタ、もしくは図７に示したような色差線順次型補色フィルタを用いる単板ＣＣＤを採用しても良いし、または三板ＣＣＤを採用することも可能である。
【０３５０】
また、上述した実施形態１と同様に、撮像部は別体であって、この別体の撮像部により撮像された映像信号を未処理のままのＲａｗデータとして記録媒体等を介して取り込むとともに、さらに撮影時の撮像素子の温度や露光条件などの付随情報をヘッダ部などにより記録媒体等を介して取り込んで、上述したような処理を行うことも可能である。
【０３５１】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、第１ＣＣＤ１０００からの映像信号と第２ＣＣＤ１００１からの映像信号とを未処理のままのＲａｗデータとして記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１９からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０３５２】
図５１を参照して、画像処理プログラムによる処理全体の流れについて説明する。なお、この図５１において、上述した実施形態１の図２１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一のステップ数を割り当てている。
【０３５３】
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０３５４】
次に、欠落画素が存在するＲフィルタの信号とＢフィルタの信号とに関して、公知の補間処理を行い、その後に、数式２６に示したように輝度信号と色差信号とに分離する（ステップＳ９０）。
【０３５５】
続いて、図４２〜図４４に示したように、輝度信号および色差信号毎に、注目画素を中心とする局所領域を抽出する（ステップＳ３）。
【０３５６】
そして、後で図５２を参照して説明するように、注目画素に対して第１ノイズ低減処理を行う（ステップＳ９１）。
【０３５７】
さらに、図２３に示したように、注目画素に関するノイズ量を推定する（ステップＳ５）。
【０３５８】
加えて、後で図５３を参照して説明するように、注目画素に対して第２ノイズ低減処理を行う（ステップＳ９２）。
【０３５９】
次に、全ての局所領域についての処理が完了したか否かを判断する（ステップＳ７）。ここで、全ての局所領域についての処理が完了していないと判断された場合には、ステップＳ３へ戻って未処理の局所領域について上述したような処理を行う。
【０３６０】
一方、全ての局所領域についての処理が完了したと判断された場合には、さらに、全ての輝度信号および色差信号についての処理が完了したか否かを判断する（ステップＳ９３）。ここで、全ての輝度信号および色差信号についての処理が完了していないと判断された場合には、ステップＳ９０へ戻って未処理の輝度信号または色差信号について上述したような処理を行う。
【０３６１】
また、全ての輝度信号および色差信号についての処理が完了したと判断された場合には、公知の強調処理や圧縮処理などを行う（ステップＳ９）。
【０３６２】
その後、処理後の映像信号を出力して（ステップＳ１０）、この処理を終了する。
【０３６３】
次に、図５２を参照して、上記ステップＳ９１における第１ノイズ低減処理の詳細を説明する。
【０３６４】
この処理を開始すると、まず、局所領域に対して数式２７に示すようにＴＶ（Total Variation）ノルムを算出する（ステップＳ１００）。
【０３６５】
続いて、数式２９に基づいて拡散画像を算出する（ステップＳ１０１）。
【０３６６】
さらに、拡散画像に対して、数式２７に示すようにＴＶノルムを算出する（ステップＳ１０２）。
【０３６７】
そして、ＴＶノルム間の差の絶対値を変化成分として算出する（ステップＳ１０３）。
【０３６８】
次に、変化成分と所定の閾値とを比較する（ステップＳ１０４）。ここで、変化成分が所定の閾値よりも大きいと判断された場合には、ステップＳ１０１へ戻って上述したような処理を繰り返して行う。
【０３６９】
一方、変化成分が所定の閾値以下であると判断された場合には、拡散画像から注目画素位置に対応する画素値を抽出して、抽出した画素値を第１のノイズ低減がなされた注目画素値として出力し（ステップＳ１０５）、図５１に示した処理へリターンする。
【０３７０】
次に、図５３を参照して、上記ステップＳ９２における第２ノイズ低減処理の詳細を説明する。
【０３７１】
この処理を開始すると、まず、第１のノイズ低減がなされた注目画素値と、ノイズ量と、に基づいて、図４８および図４９に示すような平滑化フィルタの何れかを選択する（ステップＳ１１０）。
【０３７２】
続いて、選択された平滑化フィルタを読み込む（ステップＳ１１１）。
【０３７３】
さらに、選択された平滑化フィルタを用いて、局所領域に平滑化フィルタ処理を行う（ステップＳ１１２）。
【０３７４】
そして、フィルタリング処理後の注目画素値を第２のノイズ低減がなされた注目画素値として出力して（ステップＳ１１３）、図５１に示した処理へリターンする。
【０３７５】
なお、処理の対象となる映像信号は、静止画の映像信号だけではなく、時系列的に取り込まれる複数の映像信号（いわゆる動画の映像信号）であっても良い。
【０３７６】
このような実施形態３によれば、撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。
【０３７７】
また、複雑なエッジ領域においてもエッジ成分の影響を抑制しているために、高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができる。
【０３７８】
第１のノイズ低減処理は、ＴＶノルムまたは偏微分方程式を用いて拡散処理を行っている。これらの内のＴＶノルムは、エッジ成分の分離能に優れているために、該ＴＶノルムを用いると、複雑なエッジ領域においてもエッジ成分の影響を抑制することができる。一方、偏微分方程式は処理の自由度が高いために、該偏微分方程式を用いると、多様な画質調整を行うことが可能となる。また、拡散処理が定常状態へ移行するのに応じて反復処理を停止するようにしたために、安定的な画質の映像信号を得ることができる。そして、拡散処理の反復回数に基づいて反復処理を停止するようにしたために、処理速度が一定化し、システムの操作性が向上する。
【０３７９】
さらに、第２のノイズ低減処理は、ノイズ量と第１のノイズ低減処理がなされた注目画素値とに基づき平滑化フィルタを選択する処理であるために、最適なノイズ低減処理を行うことが可能となる。また、平滑化フィルタを用いると特定周波数域に対するノイス低減処理を容易に行うことができるために、主観的に好ましい映像信号を得ることができる。そして、ノイズ低減処理を輝度信号および色差信号毎に独立して行うようにしたために、最適な輝度ノイズ低減と色ノイズ低減とを行うことが可能となり、高品位な映像信号を得ることができる。
【０３８０】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０３８１】
［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成、作用、効果を得ることができる。
【０３８２】
（付記１）
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記ノイズ推定手段により推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
を具備したことを特徴とする撮像システム。
【０３８３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１、実施形態２、および実施形態３に記載されている。局所領域抽出手段は図１，図２０，図２５，図３７に示される抽出部１１３が、第１のノイズ低減手段は図１，図１２，図１３，図１４，図２０に示される第１ノイズ低減部１１４および図２５，図２８に示される第１のノイズ低減部６００および図３７，図４５，図４６に示される第１のノイズ低減部１００３が、ノイズ推定手段は図１，図１５，図２０，図３７に示されるノイズ推定部１１５および図２５，図３０に示されるノイズ推定部６０１が、第２のノイズ低減手段は図１，図１９，図２０に示される第２ノイズ低減部１１６および図２５，図３１に示される第２のノイズ低減部６０２および図３７，図４７に示される第２のノイズ低減部１００４が、それぞれ該当する。
【０３８４】
この発明の好ましい適用例は、抽出部１１３によってノイズ低減処理を行う対象である注目画素とこの注目画素の空間的近傍に位置する少なくとも１つの近傍画素とを含む局所領域を抽出し、第１ノイズ低減部１１４，第１のノイズ低減部６００，第１のノイズ低減部１００３によって局所領域内において注目画素に対して適用的なノイズ低減処理を行い、ノイズ推定部１１５，ノイズ推定部６０１によって第１ノイズ低減部１１４，第１のノイズ低減部６００，第１のノイズ低減部１００３によりノイズ低減処理がなされた注目画素値に基づいて注目画素に関するノイズ量を推定し、第２ノイズ低減部１１６，第２のノイズ低減部６０２，第２のノイズ低減部１００４によって第１ノイズ低減部１１４，第１のノイズ低減部６００，第１のノイズ低減部１００３によりノイズ低減処理がなされた注目画素値とノイズ推定部１１５，ノイズ推定部６０１により推定されたノイズ量とに基づき注目画素に対してノイズ低減処理を行う撮像システムである。
【０３８５】
（作用）
映像信号から注目画素を含む局所領域を抽出し、局所領域内においてエッジ保存型の適用的な第１のノイズ低減処理を行い、第１のノイズ低減処理後の注目画素値からノイズ量を推定し、第１のノイズ低減処理後の注目画素値とノイズ量とに基づき注目画素に対して第２のノイズ低減処理を行う。
【０３８６】
（効果）
撮影状況に最適化された高精度なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。また、複雑なエッジ領域においても高精度なノイズ量の推定が可能となり、処理の安定性および信頼性を向上することができる。
【０３８７】
（付記２）
上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする付記１に記載の撮像システム。
【０３８８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１、実施形態２、および実施形態３に記載されている。
【０３８９】
この発明の好ましい適用例は、複数の映像信号が撮像系から時系列的に取り込まれる撮像システムである。
【０３９０】
（作用）
撮像系から時系列的に取り込まれた複数の映像信号に対して、ノイズ低減処理を行う。
【０３９１】
（効果）
時系列的に撮影された複数の映像信号を用いるために、動画像に対するノイズ低減処理の性能を改善することができる。
【０３９２】
（付記３）
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムであって、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出手段と、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定手段と、
上記ノイズ推定手段により推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減手段と、
ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減手段によってノイズ低減処理がなされた注目画素値を順次記録する信号記録手段と、
を具備したことを特徴とする撮像システム。
【０３９３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。信号記録手段は図２５に示されるバッファ６０３が該当する。局所領域抽出手段、第１のノイズ低減手段、ノイズ推定手段、第２のノイズ低減手段については、付記１の実施形態２と同様である。
【０３９４】
この発明の好ましい適用例は、バッファ６０３によって第２のノイズ低減部６０２によりノイズ低減処理がなされた注目画素値を記録し、第２のノイズ低減部６０２によってノイズ量と、バッファ６０３に記録されている時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、注目画素のノイズを低減する撮像システムである。
【０３９５】
（作用）
時系列的に取り込まれた複数の映像信号に対して、第２のノイズ低減処理を行った映像信号を記録し、第２のノイズ低減処理によってノイズ量と時系列的に過去の第２のノイズ低減処理を行った映像信号とに基づき注目画素のノイズを低減する。
【０３９６】
（効果）
時系列的に撮影された複数の映像信号に関して巡回型のノイズ低減処理を行うようにしたために、ノイズ低減処理の平滑化性能とエッジ部の保存性能とを向上することが可能となる。
【０３９７】
（付記４）
上記第１のノイズ低減手段は、
上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出手段と、
上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリング手段と、
を有して構成されたものであることを特徴とする付記１または付記２に記載の撮像システム。
【０３９８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。重み係数算出手段は図１２，図１３，図１４に示されるビットシフト部２００，差成分算出部２０２，差成分用テーブル２０４および図１２，図１３に示される座標用テーブル２０７，重み係数合成部２０８および図１２に示される昇順積算部２０５，孤立点用テーブル２０６が、フィルタリング手段は図１２，図１３，図１４に示されるフィルタリング部２０９が、それぞれ該当する。
【０３９９】
この発明の好ましい適用例は、ビットシフト部２００，差成分算出部２０２，差成分用テーブル２０４，昇順積算部２０５，孤立点用テーブル２０６，座標用テーブル２０７，重み係数合成部２０８によって注目画素と近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき注目画素および近傍画素に関する重み係数を算出し、フィルタリング部２０９によって重み係数に基づき局所領域に対してフィルタリング処理を行う撮像システムである。
【０４００】
（作用）
注目画素と近傍画素との間の関連性に基づき重み係数を算出し、重み係数に基づきフィルタリング処理を行う。
【０４０１】
（効果）
複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。
【０４０２】
（付記５）
上記重み係数算出手段は、上記注目画素値と上記近傍画素値との差成分に基づき重み係数を出力するテーブル手段を有して構成されたものであることを特徴とする付記４に記載の撮像システム。
【０４０３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。テーブル手段は図１４に示される差成分用テーブル２０４が該当する。
【０４０４】
この発明の好ましい適用例は、差成分用テーブル２０４によって注目画素値と近傍画素値との差成分に基づき重み係数を出力する撮像システムである。
【０４０５】
（作用）
注目画素値と近傍画素値との差成分に基づき重み係数を出力する。
【０４０６】
（効果）
信号のレベル差に基づき重み係数を求めているために、エッジ成分の影響を効果的に抑制することができる。また、テーブルにより重み係数を求めているために、処理速度を高速化することができる。
【０４０７】
（付記６）
上記重み係数算出手段は、
上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
上記第１の重み係数と上記第２の重み係数とに基づき上記重み係数を合成する合成手段と、
を有して構成されたものであることを特徴とする付記４に記載の撮像システム。
【０４０８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。第１のテーブル手段は図１３に示される差成分用テーブル２０４が、第２のテーブル手段は図１３に示される座標用テーブル２０７が、合成手段は図１３に示される重み係数合成部２０８が、それぞれ該当する。
【０４０９】
この発明の好ましい適用例は、差成分用テーブル２０４によって注目画素値と近傍画素値との差成分に基づき第１の重み係数を出力し、座標用テーブル２０７によって注目画素と近傍画素との相対的な座標位置に基づき第２の重み係数を出力し、重み係数合成部２０８によって第１の重み係数と第２の重み係数とに基づき重み係数を合成する撮像システムである。
【０４１０】
（作用）
注目画素値と近傍画素値との差成分と、注目画素と近傍画素との相対的な座標位置と、に基づいて２つの重み係数を求め、これらを合成することにより重み係数を求める。
【０４１１】
（効果）
信号のレベル差に基づき重み係数を求めているために、エッジ成分の影響を効果的に抑制することができる。また、座標位置に基づき重み係数を求めているために、フィルタリング処理における副作用の発生を低減することができる。さらに、テーブルにより２つの重み係数を求めているために、処理速度を高速化することができる。
【０４１２】
（付記７）
上記重み係数算出手段は、
上記注目画素値と上記近傍画素値との差成分に基づき第１の重み係数を出力する第１のテーブル手段と、
上記注目画素と上記近傍画素との相対的な座標位置に基づき第２の重み係数を出力する第２のテーブル手段と、
上記注目画素値と上記近傍画素値との差成分に基づき第３の重み係数を出力する第３のテーブル手段と、
上記第１の重み係数と上記第２の重み係数と上記第３の重み係数とに基づき上記重み係数を合成する合成手段と、
を有して構成されたものであることを特徴とする付記４に記載の撮像システム。
【０４１３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。第１のテーブル手段は図１２に示される差成分用テーブル２０４が、第２のテーブル手段は図１２に示される座標用テーブル２０７が、第３のテーブル手段は図１２に示される孤立点用テーブル２０６が、合成手段は図１２に示される重み係数合成部２０８が、それぞれ該当する。
【０４１４】
この発明の好ましい適用例は、差成分用テーブル２０４によって注目画素値と近傍画素値との差成分に基づき第１の重み係数を出力し、座標用テーブル２０７によって注目画素と近傍画素との相対的な座標位置に基づき第２の重み係数を出力し、孤立点用テーブル２０６によって注目画素値と近傍画素値との差成分に基づき第３の重み係数を出力し、重み係数合成部２０８によって第１の重み係数と第２の重み係数と第３の重み係数とに基づき重み係数を合成する撮像システムである。
【０４１５】
（作用）
注目画素値と近傍画素値との差成分と、注目画素と近傍画素との相対的な座標位置と、に基づき３つの重み係数を求め、これらを合成することにより重み係数を求める。
【０４１６】
（効果）
信号のレベル差に基づき重み係数を求めているために、エッジ成分の影響を効果的に抑制することができる。また、座標位置に基づき重み係数を求めているために、フィルタリング処理における副作用の発生を低減することができる。また、信号のレベル差から孤立点を検出して、孤立点の検出結果に基づき重み係数を求めているために、孤立点ノイズを効果的に抑制することができる。さらに、テーブルにより３つの重み係数を求めているために、処理速度を高速化することができる。
【０４１７】
（付記８）
上記重み係数算出手段は、上記注目画素値と上記近傍画素値とに関して所定ビット数の上位ビット成分を抽出するビットシフト手段をさらに有して構成されたものであることを特徴とする付記５〜７の何れか一項に記載の撮像システム。
【０４１８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。ビットシフト手段は図１２，図１３，図１４に示されるビットシフト部２００が該当する。
【０４１９】
この発明の好ましい適用例は、ビットシフト部２００によって注目画素値と近傍画素値とに関して所定ビット数の上位ビット成分を抽出する撮像システムである。
【０４２０】
（作用）
注目画素値と近傍画素値とに関して所定ビット数の上位ビット成分を抽出する。
【０４２１】
（効果）
重み係数を求めるためのテーブルサイズを縮小することができ、撮像システムの低コスト化を図ることができる。また、ビットシフトにより微小なノイズ成分が除去されるために、処理の安定性および信頼性を向上することができる。
【０４２２】
（付記９）
上記第１のノイズ低減手段は、
所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出手段と、
上記拡散処理された映像信号を記録する拡散画像記録手段と、
上記拡散画像記録手段に記録された映像信号に対して、上記拡散画像算出手段により再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録手段に記録させる反復処理を制御する反復処理制御手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
【０４２３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。拡散画像算出手段は図４５に示されるＴＶノルム算出部１１０１，拡散画像算出部１１０２および図４６に示されるＰＤＥｓ算出部１１０６が、拡散画像記録手段は図４５，図４６に示されるバッファ１１００が、反復処理制御手段は図４５に示される変化成分算出部１１０３，拡散制御部１１０４および図４６に示される処理回数算出部１１０５，拡散制御部１１０４が、それぞれ該当する。
【０４２４】
この発明の好ましい適用例は、ＴＶノルム算出部１１０１，拡散画像算出部１１０２，ＰＤＥｓ算出部１１０６によって拡散処理された映像信号を算出し、バッファ１１００によって拡散処理された映像信号を記録し、変化成分算出部１１０３，拡散制御部１１０４，処理回数算出部１１０５によって拡散処理された映像信号に対して再度拡散処理を行い、この映像信号を再度記録する反復処理を制御する撮像システムである。
【０４２５】
（作用）
拡散処理された映像信号を算出，記録し、再度拡散処理を行うように反復処理を制御する。
【０４２６】
（効果）
複雑なエッジ領域においてもエッジ成分の影響を抑制することができ、後段のノイズ量推定の精度を向上することができる。また、処理の自由度が高く、多様な画質調整が可能となる。
【０４２７】
（付記１０）
上記反復処理制御手段は、
上記拡散画像記録手段に記録された映像信号と、該拡散画像記録手段に記録された映像信号に対して上記拡散画像算出手段により再度拡散処理された映像信号と、の間の変化成分を算出する変化成分算出手段と、
上記変化成分が所定の閾値以下になった場合に上記反復処理を停止させる停止手段と、
を有して構成されたものであることを特徴とする付記９に記載の撮像システム。
【０４２８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。変化成分算出手段は図４５に示される変化成分算出部１１０３が、停止手段は図４５に示される拡散制御部１１０４が、それぞれ該当する。
【０４２９】
この発明の好ましい適用例は、変化成分算出部１１０３によって拡散処理による映像信号の変化成分を検出し、拡散制御部１１０４によって変化成分が所定の閾値以下になった場合に処理を停止する撮像システムである。
【０４３０】
（作用）
拡散処理による映像信号の変化成分に基づき、拡散処理の反復を停止する。
【０４３１】
（効果）
拡散処理が定常状態へ移行するのに応じて反復処理を停止するようにしたために、安定的な画質の映像信号を得ることができる。
【０４３２】
（付記１１）
上記反復処理制御手段は、
上記反復処理の回数を算出する処理回数算出手段と、
上記反復処理の回数が所定の回数に達した場合に上記反復処理を停止させる停止手段と、
を有して構成されたものであることを特徴とする付記９に記載の撮像システム。
【０４３３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。処理回数算出手段は図４６に示される処理回数算出部１１０５が、停止手段は図４６に示される拡散制御部１１０４が、それぞれ該当する。
【０４３４】
この発明の好ましい適用例は、処理回数算出部１１０５によって反復処理の回数を算出し、拡散制御部１１０４によって反復処理の回数が所定の回数に達した場合に処理を停止する撮像システムである。
【０４３５】
（作用）
拡散処理の反復回数に基づいて、拡散処理の反復を停止する。
【０４３６】
（効果）
拡散処理の反復回数に基づいて反復処理を停止するようにしたために、処理速度が一定化して、システムの操作性が向上する。
【０４３７】
（付記１２）
上記非線形拡散方程式は、全変動（ＴＶ；Total Variation）ノルムに基づく方程式、または偏微分方程式（ＰＤＥｓ；Partial Differential Equations）に基づく方程式であることを特徴とする付記９に記載の撮像システム。
【０４３８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。全変動（ＴＶ；Total Variation）ノルムは図４５に示されるＴＶノルム算出部１１０１，拡散画像算出部１１０２により、偏微分方程式（ＰＤＥｓ；Partial Differential Equations）は図４６に示されるＰＤＥｓ算出部１１０６により、それぞれ使用される。
【０４３９】
この発明の好ましい適用例は、ＴＶノルム算出部１１０１，拡散画像算出部１１０２によってＴＶノルムを、ＰＤＥｓ算出部１１０６によって偏微分方程式を、それぞれ用いて拡散処理を行う撮像システムである。
【０４４０】
（作用）
ＴＶノルムまたは偏微分方程式を用いて拡散処理を行う。
【０４４１】
（効果）
ＴＶノルムはエッジ成分の分離能に優れているために、複雑なエッジ領域においてもエッジ成分の影響を抑制することができる。また、偏微分方程式は処理の自由度が高いために、多様な画質調整を行うことが可能となる。
【０４４２】
（付記１３）
上記第１のノイズ低減手段は、
上記注目画素を基点として上記局所領域を所定方向の複数の方向別領域へ分割する領域分割手段と、
上記各方向別領域に関して分散値を算出する分散算出手段と、
上記分散値に基づき分散値が最小となる方向別領域を選択する領域選択手段と、
上記選択された方向別領域に関して平均値を算出する平均値算出手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
【０４４３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。領域分割手段は図２８に示される領域分割部７００が、分散算出手段は図２８に示される分散算出部７０２が、領域選択手段は図２８に示される領域選択部７０４が、平均値算出手段は図２８に示される平均値算出部７０５が、それぞれ該当する。
【０４４４】
この発明の好ましい適用例は、領域分割部７００によって注目画素を基点として局所領域を所定方向の複数の方向別領域へ分割し、分散算出部７０２によって各方向別領域に関して分散値を算出し、領域選択部７０４によって分散値が最小となる方向別領域を選択し、平均値算出部７０５によって選択された方向別領域に関して平均値を算出する撮像システムである。
【０４４５】
（作用）
局所領域を所定方向の複数の方向別領域へ分割し、分散値に基づき方向別領域を選択し、選択された方向別領域に関して平均値を算出する。
【０４４６】
（効果）
複雑なエッジ領域においてもエッジ成分の影響を抑制することができるために、後段のノイズ量推定の精度を向上することができる。また、処理が比較的単純であるために、低コスト化を図ることが可能となる。
【０４４７】
（付記１４）
上記ノイズ推定手段は、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、に基づき、上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、上記選択されたパラメータと、に基づき、補間演算によりノイズ量を求める補間手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
【０４４８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。パラメータ記録手段は図１５に示されるパラメータ用ＲＯＭ３０２が、収集手段は図１５に示されるゲイン算出部３００，制御部１１９が、付与手段は図１５に示される標準値付与部３０１が、パラメータ選択手段は図１５に示されるパラメータ選択部３０３が、補間手段は図１５に示される補間部３０４，補正部３０５が、それぞれ該当する。
【０４４９】
この発明の好ましい適用例は、パラメータ用ＲＯＭ３０２に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、ゲイン算出部３００，制御部１１９によって映像信号を撮像する際に用いた撮像素子の温度値に関する情報と映像信号に対するゲインに関する情報とを収集し、標準値付与部３０１によってゲイン算出部３００，制御部１１９からの情報が得られない場合に標準値を付与し、パラメータ選択部３０３によってゲイン算出部３００，制御部１１９または標準値付与部３０１からの情報と第１ノイズ低減部１１４によりノイズ低減処理がなされた注目画素値とに基づきパラメータ群から必要となるパラメータを選択し、補間部３０４，補正部３０５によって第１ノイズ低減部１１４によりノイズ低減処理がなされた注目画素値と選択されたパラメータとに基づき補間演算によりノイズ量を求める撮像システムである。
【０４５０】
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、基準ノイズモデルに基づき補間処理を行うことによりノイズ量を求める。
【０４５１】
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にモデルを用いているために、ノイズ量を高精度に推定することが可能となる。また、補間処理は実装が容易であるために、システムを低コストに構築することが可能となる。
【０４５２】
（付記１５）
上記ノイズ推定手段は、
上記撮像系の温度値に関する情報と上記映像信号に対するゲインに関する情報とを収集する収集手段と、
上記収集手段によっては得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値と、を入力として、ノイズ量を出力するノイズテーブル手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
【０４５３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。収集手段は図３０に示されるゲイン算出部３００，制御部１１９が、付与手段は図３０に示される標準値付与部３０１が、ノイズテーブル手段は図３０に示されるノイズテーブル部８００が、それぞれ該当する。
【０４５４】
この発明の好ましい適用例は、ゲイン算出部３００，制御部１１９によって映像信号を撮像する際に用いた撮像素子の温度値に関する情報と映像信号に対するゲインに関する情報とを収集し、標準値付与部３０１によってゲイン算出部３００，制御部１１９からの情報が得られない場合に標準値を付与し、ノイズテーブル部８００によってゲイン算出部３００，制御部１１９または標準値付与部３０１からの情報と第１のノイズ低減部６００によりノイズ低減処理がなされた注目画素値とに基づきノイズ量を求める撮像システムである。
【０４５５】
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求め、求められない情報に関しては標準値を設定し、ルックアップテーブルからノイズ量を求める。
【０４５６】
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量を求める際にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。
【０４５７】
（付記１６）
上記ノイズ推定手段は、
上記注目画素に関する孤立点の度合いを検出する孤立点検出手段と、
上記孤立点の度合いに基づき上記ノイズ量を補正する補正手段と、
をさらに有して構成されたものであることを特徴とする付記１４または付記１５に記載の撮像システム。
【０４５８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１および実施形態２に記載されている。孤立点検出手段は図１５，図３０に示される孤立点検出部３０７が、補正手段は図１５，図３０に示される補正部３０５が、それぞれ該当する。
【０４５９】
この発明の好ましい適用例は、孤立点検出部３０７によって注目画素に関する孤立点の度合いを検出し、補正部３０５によって孤立点の度合いに基づきノイズ量を補正する撮像システムである。
【０４６０】
（作用）
注目画素に関する孤立点の度合いを検出し、孤立点の度合いに基づきノイズ量を補正する。
【０４６１】
（効果）
孤立点状のノイズ対するノイズ量が適切に設定されるために、多様なノイズに対して高精度なノイズ低減処理を行うことが可能となる。
【０４６２】
（付記１７）
上記第２のノイズ低減手段は、
上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定手段と、
上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージング手段と、
上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージング手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
【０４６３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１に記載されている。ノイズ範囲設定手段は図１９に示される範囲設定部４００が、第１のスムージング手段は図１９に示される第１スムージング部４０２が、第２のスムージング手段は図１９に示される第２スムージング部４０３が、それぞれ該当する。
【０４６４】
この発明の好ましい適用例は、範囲設定部４００によってノイズ量に基づき注目画素値に関するノイズ範囲を設定し、第１スムージング部４０２によって注目画素値がノイズ範囲に属する場合に第１ノイズ低減部１１４によりノイズ低減処理がなされた注目画素値に基づき注目画素値の平滑化を行い、第２スムージング部４０３によって注目画素値がノイズ範囲に属さない場合に注目画素値の補正を行う撮像システムである。
【０４６５】
（作用）
推定した注目画素のノイズ量に基づき注目画素値がノイズ範囲に属するか否かを判断し、ノイズに属する場合には平滑化処理を、ノイズに属さない場合には補正処理を行う。
【０４６６】
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
【０４６７】
（付記１８）
上記第２のノイズ低減手段は、
複数の平滑化フィルタを記録する平滑化フィルタ記録手段と、
上記ノイズ量と上記第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき、上記平滑化フィルタを選択する平滑化フィルタ選択手段と、
上記選択された平滑化フィルタに基づき平滑化を行うスムージング手段と、
を有して構成されたものであることを特徴とする付記１に記載の撮像システム。
【０４６８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。平滑化フィルタ記録手段は図４７に示されるフィルタ記録部１２０１が、平滑化フィルタ選択手段は図４７に示されるフィルタ選択部１２００が、スムージング手段は図４７に示されるスムージング部１２０２が、それぞれ該当する。
【０４６９】
この発明の好ましい適用例は、フィルタ記録部１２０１によって複数の平滑化フィルタを記録し、フィルタ選択部１２００によってノイズ量と第１のノイズ低減部１００３によりノイズ低減処理がなされた注目画素値とに基づき平滑化フィルタを選択し、スムージング部１２０２によって選択された平滑化フィルタに基づき注目画素に平滑化を行う撮像システムである。
【０４７０】
（作用）
ノイズ量と第１のノイズ低減手段によりノイズ低減処理がなされた注目画素値とに基づき予め記録しておいた平滑化フィルタを選択し、選択された平滑化フィルタに基づき注目画素に平滑化を行う。
【０４７１】
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、平滑化フィルタを用いると特定周波数域に対するノイズ低減処理を容易に行うことができるために、主観的に好ましい映像信号を得ることができる。
【０４７２】
（付記１９）
上記第２のノイズ低減手段は、
上記信号記録手段に記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出手段と、
上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分手段と、
上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定手段と、
上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択手段と、
上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償手段と、
上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分手段と、
を有して構成されたものであることを特徴とする付記３に記載の撮像システム。
【０４７３】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態２に記載されている。前局所領域抽出手段は図３１に示される前局所領域抽出部９００が、第１の差分手段は図３１に示される第１差分部９０１が、動き量推定手段は図３１に示される動き推定部９０３が、差分成分選択手段は図３１に示される差分成分選択部９０４が、動き量補償手段は図３１に示される動き補償部９０５が、第２の差分手段は図３１に示される第２差分部９０６が、それぞれ該当する。
【０４７４】
この発明の好ましい適用例は、前局所領域抽出部９００によって時系列的に過去にノイズ低減処理がなされた複数の映像信号から局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出し、第１差分部９０１によって局所領域における注目画素を含む所定サイズの基準領域と、この基準領域と同一サイズの前局所領域における少なくとも１つの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出し、動き推定部９０３によってノイズ量と差分成分とに基づいて動き量を推定し、差分成分選択部９０４によって動き量に基づいて動き量が最小となる差分成分を選択し、動き補償部９０５によって選択された差分成分に関して動き量に基づき動き量補償を行い、第２差分部９０６によって基準領域と動き量補償が行われた差分成分との間で差分処理を行う撮像システムである。
【０４７５】
（作用）
時系列的に過去のノイズ低減処理がなされた複数の映像信号から前局所領域を抽出し、局所領域と前局所領域において注目画素を含む基準領域と時系列的に過去のノイズ低減処理がなされた少なくとも１つの比較領域との間で差分成分を算出し、差分成分から動き量を推定し、動き量に基づいて動き量が最小となる差分成分を選択し、選択された差分成分に関して動き量補償を行い、基準領域と動き量補償が行われた差分成分との間で差分処理を行う。
【０４７６】
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、時系列的に過去の映像信号を利用するために、より効果の大きいノイズ低減処理を行うことが可能となる。さらに、動き量に基づき過去の映像信号または現在の映像信号を選択しているために、動き量の大きい領域であっても副作用の少ないノイズ低減処理を行うことが可能となる。
【０４７７】
（付記２０）
上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
上記色フィルタの複数色毎に、上記映像信号を複数の色信号に分離する色信号分離手段と、
上記色信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
をさらに具備したことを特徴とする付記１に記載の撮像システム。
【０４７８】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１および実施形態２に記載されている。色信号分離手段は図１，図２０，図２５に示される色信号分離部１１１が、信号制御手段は図１，図２０，図２５に示される制御部１１９が、それぞれ該当する。
【０４７９】
この発明の好ましい適用例は、色信号分離部１１１によって撮像素子に使用される色フィルタ毎に映像信号を複数の色信号に分離し、制御部１１９によって色信号毎に抽出部１１３と第１ノイズ低減部１１４，第１のノイズ低減部６００とノイズ推定部１１５，ノイズ推定部６０１と第２ノイズ低減部１１６，第２のノイズ低減部６０２とを順次適用するように制御する撮像システムである。
【０４８０】
なお、「実質的に複数色の色フィルタを前面に配列する」とは、例えば、ダイクロイック面を用いることにより、実際に色フィルタを用いなくても色分解をすることができる場合を含む。
【０４８１】
（作用）
実質的に色フィルタを前面に配置した撮像素子を用い、映像信号を複数の色信号に分離した後にノイズ低減処理を行う。
【０４８２】
（効果）
従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。また、ノイズ低減処理を色信号毎に独立して行っているために、相互のノイズが拡散するのを防止して、高品位な映像信号を得ることができる。
【０４８３】
（付記２１）
上記撮像系は、実質的に複数色の色フィルタを前面に配列した撮像素子を含んで構成されたものであり、
上記映像信号を輝度信号と色差信号とに分離する輝度色差分離手段と、
上記輝度信号および色差信号毎に上記局所領域抽出手段と上記第１のノイズ低減手段と上記ノイズ推定手段と上記第２のノイズ低減手段とを順次適用するように制御する信号制御手段と、
をさらに具備したことを特徴とする付記１に記載の撮像システム。
【０４８４】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態３に記載されている。輝度色差分離手段は図３７に示されるＹ／Ｃ分離部１００２が、信号制御手段は図３７に示される制御部１１９が、それぞれ該当する。
【０４８５】
この発明の好ましい適用例はＹ／Ｃ分離部１００２によって映像信号を輝度信号と色差信号とに分離し、制御部１１９によって輝度信号および色差信号毎に抽出部１１３と第１のノイズ低減部１００３とノイズ推定部１１５と第２の第２のノイズ低減部１００４とを順次適用するように制御する撮像システムである。
【０４８６】
なお、「実質的に複数色の色フィルタを前面に配列する」とは、例えば、ダイクロイック面を用いることにより、実際に色フィルタを用いなくても色分解をすることができる場合を含む。
【０４８７】
（作用）
実質的に色フィルタを前面に配置した撮像素子を用い、映像信号を輝度信号と色差信号とに分離した後にノイズ低減処理を行う。
【０４８８】
（効果）
従来の撮像系との親和性が高いために、多くの撮像システムへの適用が可能となる。また、ノイズ低減処理を輝度信号および色差信号毎に独立して行うようにしたために、最適な輝度ノイズ低減と色ノイズ低減とを行うことが可能となり、高品位な映像信号を得ることができる。
【０４８９】
（付記２２）
上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする付記２０または付記２１に記載の撮像システム。
【０４９０】
（対応する発明の実施形態および好ましい適用例）
この発明の具体的な適用例は、実施形態１、実施形態２、および実施形態３に記載されている。ベイヤー（Bayer）型原色フィルタは図２に、色差線順次型補色フィルタは図７，図２６（Ａ）に示される。
【０４９１】
この発明の好ましい適用例は、図２に示されるベイヤー（Bayer）型原色フィルタ、または図７，図２６（Ａ）に示される色差線順次型補色フィルタを前面に配置した撮像素子を使用する撮像システムである。
【０４９２】
（作用）
ベイヤー（Bayer）型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。
【０４９３】
（効果）
従来の撮像系との親和性および互換性が高いために、多くの撮像システムへの適用が可能となる。
【０４９４】
（付記２３）
コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値と、上記ノイズ推定ステップにより推定されたノイズ量と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
を行わせるための画像処理プログラム。
【０４９５】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１と同様である。
【０４９６】
（付記２４）
上記映像信号は、撮像系から時系列的に取り込まれた複数の映像信号であることを特徴とする付記２３に記載の画像処理プログラム。
【０４９７】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記２と同様である。
【０４９８】
（付記２５）
コンピュータに、撮像系から取り込まれた映像信号に対してノイズ低減処理を行わせるための画像処理プログラムであって、コンピュータに、
上記映像信号から、ノイズ低減処理を行う対象である注目画素と、上記注目画素の空間的近傍に位置する少なくとも１つの近傍画素と、を含む局所領域を抽出する局所領域抽出ステップと、
上記局所領域内において上記注目画素に対して適用的なノイズ低減処理を行う第１のノイズ低減ステップと、
上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づいて、上記注目画素に関するノイズ量を推定するノイズ推定ステップと、
上記ノイズ推定ステップにより推定されたノイズ量と、時系列的に過去のノイズ低減処理がなされた映像信号の画素値と、に基づき、上記注目画素に対してノイズ低減処理を行う第２のノイズ低減ステップと、
ノイズ低減処理がなされた映像信号の画素値として、上記第２のノイズ低減ステップによってノイズ低減処理がなされた注目画素値を順次記録する信号記録ステップと、
を行わせるための画像処理プログラム。
【０４９９】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記３と同様である。
【０５００】
（付記２６）
上記第１のノイズ低減ステップは、
上記注目画素と上記近傍画素との間の空間的関連性と時間的関連性と画素値的関連性との少なくとも１つに基づき、上記注目画素および上記近傍画素に関する重み係数を算出する重み係数算出ステップと、
上記重み係数に基づき上記局所領域に対してフィルタリング処理を行うフィルタリングステップと、
を含むステップであることを特徴とする付記２３または付記２４に記載の画像処理プログラム。
【０５０１】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記４と同様である。
【０５０２】
（付記２７）
上記第１のノイズ低減ステップは、
所定の非線形拡散方程式に基づき拡散処理された映像信号を算出する拡散画像算出ステップと、
上記拡散処理された映像信号を記録する拡散画像記録ステップと、
上記拡散画像記録ステップにより記録された映像信号に対して、上記拡散画像算出ステップにより再度拡散処理を行わせ、再度拡散処理された映像信号を該拡散画像記録ステップにより記録させる反復処理を制御する反復処理制御ステップと、
を含むステップであることを特徴とする付記２３に記載の画像処理プログラム。
【０５０３】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記９と同様である。
【０５０４】
（付記２８）
上記第２のノイズ低減ステップは、
上記ノイズ量に基づき上記注目画素値に関するノイズ範囲を設定するノイズ範囲設定ステップと、
上記注目画素値が上記ノイズ範囲に属する場合に、上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値に基づき、注目画素値の平滑化を行う第１のスムージングステップと、
上記注目画素値が上記ノイズ範囲に属さない場合に、注目画素値の補正を行う第２のスムージングステップと、
を含むステップであることを特徴とする付記２３に記載の画像処理プログラム。
【０５０５】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１７と同様である。
【０５０６】
（付記２９）
上記第２のノイズ低減ステップは、
上記ノイズ量と上記第１のノイズ低減ステップによりノイズ低減処理がなされた注目画素値とに基づき、複数の平滑化フィルタの内の１つの平滑化フィルタを選択する平滑化フィルタ選択ステップと、
上記選択された平滑化フィルタに基づき平滑化を行うスムージングステップと、
を含むステップであることを特徴とする付記２３に記載の画像処理プログラム。
【０５０７】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１８と同様である。
【０５０８】
（付記３０）
上記第２のノイズ低減ステップは、
上記信号記録ステップにより記録されている時系列的に過去のノイズ低減処理がなされた複数の映像信号から上記局所領域と同一位置に存在する映像信号を前局所領域として少なくとも１つ抽出する前局所領域抽出ステップと、
上記局所領域における上記注目画素を含む所定サイズの基準領域と、上記前局所領域における少なくとも１つの上記基準領域と同一サイズの比較領域と、の間で差分処理を行うことにより、少なくとも１つの差分成分を算出する第１の差分ステップと、
上記ノイズ量と上記差分成分とに基づいて動き量を推定する動き量推定ステップと、
上記動き量に基づいて、該動き量が最小となる上記差分成分を選択する差分成分選択ステップと、
上記選択された差分成分に関して上記動き量に基づき動き量補償を行う動き量補償ステップと、
上記注目画素を含む基準領域と上記動き量補償が行われた差分成分との間で差分処理を行う第２の差分ステップと、
を含むステップであることを特徴とする付記２５に記載の画像処理プログラム。
【０５０９】
（対応する発明の実施形態および好ましい適用例、作用、および効果）
付記１９と同様である。
【産業上の利用可能性】
【０５１０】
本発明は、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システム、画像処理プログラムに好適に利用することができる。
【図面の簡単な説明】
【０５１１】
【図１】本発明の実施形態１における撮像システムの構成を示すブロック図。
【図２】上記実施形態１の局所領域におけるベイヤー（Bayer）型原色フィルタの配置を示す図。
【図３】上記実施形態１の局所領域において分離されたＲ色信号を示す図。
【図４】上記実施形態１の局所領域において分離されたＧｒ色信号を示す図。
【図５】上記実施形態１の局所領域において分離されたＧｂ色信号を示す図。
【図６】上記実施形態１の局所領域において分離されたＢ色信号を示す図。
【図７】上記実施形態１の局所領域における色差線順次型補色フィルタの配置を示す図。
【図８】上記実施形態１の局所領域において分離されたＣｙ色信号を示す図。
【図９】上記実施形態１の局所領域において分離されたＹｅ色信号を示す図。
【図１０】上記実施形態１の局所領域において分離されたＧ色信号を示す図。
【図１１】上記実施形態１の局所領域において分離されたＭｇ色信号を示す図。
【図１２】上記実施形態１において、３成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図。
【図１３】上記実施形態１において、２成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図。
【図１４】上記実施形態１において、１成分から重み係数を合成する第１ノイズ低減部の構成例を示すブロック図。
【図１５】上記実施形態１におけるノイズ推定部の構成を示すブロック図。
【図１６】上記実施形態１において、信号レベルに対して推定されるノイズ量の関係を示す線図。
【図１７】上記実施形態１において、図１６に示すノイズモデルを簡略化して得られるノイズモデルを示す線図。
【図１８】上記実施形態１において、図１７に示した簡略化されたノイズモデルからノイズ量を算出する方法を説明するための線図。
【図１９】上記実施形態１における第２ノイズ低減部の構成を示すブロック図。
【図２０】上記実施形態１において、撮像部が別体である撮像システムの構成を示すブロック図。
【図２１】上記実施形態１における画像処理プログラムによる処理全体の流れを示すフローチャート。
【図２２】上記実施形態１において、図２１のステップＳ４における第１ノイズ低減処理の詳細を示すフローチャート。
【図２３】上記実施形態１において、図２１のステップＳ５におけるノイズ量推定処理の詳細を示すフローチャート。
【図２４】上記実施形態１において、図２１のステップＳ６における第２ノイズ低減処理の詳細を示すフローチャート。
【図２５】本発明の実施形態２における撮像システムの構成を示すブロック図。
【図２６】上記実施形態２において、色差線順次型補色フィルタの配置と２画素混合により出力されるフィールド信号と局所領域とを説明するための図。
【図２７】上記実施形態２において、図２６（Ｂ）に示した偶数フィールド信号におけるＧＣｙ，ＭｇＹｅ，ＭｇＣｙ，ＧＹｅ色信号への分離を説明するための図。
【図２８】上記実施形態２における第１ノイズ低減部の構成を示すブロック図。
【図２９】上記実施形態２において、領域分割部により分割される方向別領域を説明するための図。
【図３０】上記実施形態２におけるノイズ推定部の構成を示すブロック図。
【図３１】上記実施形態２における第２ノイズ低減部の構成を示すブロック図。
【図３２】上記実施形態２において、第２ノイズ低減部により用いる近傍画素を説明するための図。
【図３３】上記実施形態２における画像処理プログラムによる処理全体の流れを示すフローチャート。
【図３４】上記実施形態２において、図３３のステップＳ５１における第１ノイズ低減処理の詳細を示すフローチャート。
【図３５】上記実施形態２において、図３３のステップＳ５２におけるノイズ量推定処理の詳細を示すフローチャート。
【図３６】上記実施形態２において、図３３のステップＳ５３における第２ノイズ低減処理の詳細を示すフローチャート。
【図３７】本発明の実施形態３における撮像システムの構成を示すブロック図。
【図３８】上記実施形態３の局所領域における第１ＣＣＤの色フィルタ配置を示す図。
【図３９】上記実施形態３の局所領域における第２ＣＣＤの色フィルタ配置を示す図。
【図４０】上記実施形態３において、第２ＣＣＤの出力を補間処理して得られる局所領域のＲ色信号を示す図。
【図４１】上記実施形態３において、第２ＣＣＤの出力を補間処理して得られる局所領域のＢ色信号を示す図。
【図４２】上記実施形態３において、図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＹ信号を示す図。
【図４３】上記実施形態３において、図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｂ信号を示す図。
【図４４】上記実施形態３において、図３８に示したＧ信号と図４０に示したＲ信号と図４１に示したＢ信号とを分離して得られる局所領域のＣｒ信号を示す図。
【図４５】上記実施形態３における第１ノイズ低減部の一構成例を示すブロック図。
【図４６】上記実施形態３における第１ノイズ低減部の他の構成例を示すブロック図。
【図４７】上記実施形態３における第２ノイズ低減部の構成を示すブロック図。
【図４８】上記実施形態３における５×５画素の平滑化フィルタを示す図。
【図４９】上記実施形態３における３×３画素の平滑化フィルタを示す図。
【図５０】上記実施形態３において、ノイズ量に応じてどのタイプの平滑化フィルタが選択されるかを示す線図。
【図５１】上記実施形態３における画像処理プログラムによる処理全体の流れを示すフローチャート。
【図５２】上記実施形態３において、図５１のステップＳ９１における第１ノイズ低減処理の詳細を示すフローチャート。
【図５３】上記実施形態３において、図５１のステップＳ９２における第２ノイズ低減処理の詳細を示すフローチャート。
【符号の説明】
【０５１２】
１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…温度センサ
１０４…増幅部
１０５…Ａ／Ｄ変換部
１０６…バッファ
１０７…プレホワイトバランス部
１０８…測光評価部
１０９…合焦点検出部
１１０…ＡＦモータ
１１１…色信号分離部（色信号分離手段）
１１２…バッファ
１１３…抽出部（局所領域抽出手段）
１１４…第１ノイズ低減部（第１のノイズ低減手段）
１１５…ノイズ推定部（ノイズ推定手段）
１１６…第２ノイズ低減部（第２のノイズ低減手段）
１１７…信号処理部
１１８…出力部
１１９…制御部（収集手段，信号制御手段）
１２０…外部Ｉ／Ｆ部
２００…ビットシフト部（重み係数算出手段，ビットシフト手段）
２０１…第１バッファ
２０２…差成分算出部（重み係数算出手段）
２０３…第２バッファ
２０４…差成分用テーブル（重み係数算出手段，テーブル手段，第１のテーブル手段）
２０５…昇順積算部（重み係数算出手段）
２０６…孤立点用テーブル（重み係数算出手段，第３のテーブル手段）
２０７…座標用テーブル（重み係数算出手段，第２のテーブル手段）
２０８…重み係数合成部（重み係数算出手段，合成手段）
２０９…フィルタリング部（フィルタリング手段）
３００…ゲイン算出部（収集手段）
３０１…標準値付与部（付与手段）
３０２…パラメータ用ＲＯＭ（パラメータ記録手段）
３０３…パラメータ選択部（パラメータ選択手段）
３０４…補間部（補間手段）
３０５…補正部（補間手段，補正手段）
３０６…バッファ
３０７…孤立点検出部（孤立点検出手段）
４００…範囲設定部（ノイズ範囲設定手段）
４０１…切り換え部
４０２…第１スムージング部（第１のスムージング手段）
４０３…第２スムージング部（第２のスムージング手段）
５００…入力部
５０１…ヘッダ情報解析部
６００…第１ノイズ低減部（第１のノイズ低減手段）
６０１…ノイズ推定部（ノイズ推定手段）
６０２…第２ノイズ低減部（第２のノイズ低減手段）
６０３…バッファ（信号記録手段）
６０４…フレーム合成部
７００…領域分割部（領域分割手段）
７０１…第１バッファ
７０２…分散算出部（分散算出手段）
７０３…第２バッファ
７０４…領域選択部（領域選択手段）
７０５…平均値算出部（平均値算出手段）
８００…ノイズテーブル部（ノイズテーブル手段）
９００…前局所領域抽出部（前局所領域抽出手段）
９０１…第１差分部（第１の差分手段）
９０２…バッファ
９０３…動き推定部（動き量推定手段）
９０４…差分成分選択部（差分成分選択手段）
９０５…動き補償部（動き量補償手段）
９０６…第２差分部（第２の差分手段）
１０００…第１ＣＣＤ
１００１…第２ＣＣＤ
１００２…Ｙ／Ｃ分離部（輝度色差分離手段）
１００３…第１ノイズ低減部（第１のノイズ低減手段）
１００４…第２ノイズ低減部（第２のノイズ低減手段）
１１００…バッファ（拡散画像記録手段）
１１０１…ＴＶノルム算出部（拡散画像算出手段）
１１０２…拡散画像算出部（拡散画像算出手段）
１１０３…変化成分算出部（反復処理制御手段，変化成分算出手段）
１１０４…拡散制御部（反復処理制御手段，停止手段）
１１０５…処理回数算出部（反復処理制御手段，処理回数算出手段）
１１０６…ＰＤＥｓ算出部（拡散画像算出手段）
１２００…フィルタ選択部（平滑化フィルタ選択手段）
１２０１…フィルタ記録部（平滑化フィルタ記録手段）
１２０２…スムージング部（スムージング手段）
【図１】
2008124764.tif 000014
【図２】
2008124764.tif 000015
【図３】
2008124764.tif 000016
【図４】
2008124764.tif 000017
【図５】
2008124764.tif 000018
【図６】
2008124764.tif 000019
【図７】
2008124764.tif 000020
【図８】
2008124764.tif 000021
【図９】
2008124764.tif 000022
【図１０】
2008124764.tif 000023
【図１１】
2008124764.tif 000024
【図１２】
2008124764.tif 000025
【図１３】
2008124764.tif 000026
【図１４】
2008124764.tif 000027
【図１５】
2008124764.tif 000028
【図１６】
2008124764.tif 000029
【図１７】
2008124764.tif 000030
【図１８】
2008124764.tif 000031
【図１９】
2008124764.tif 000032
【図２０】
2008124764.tif 000033
【図２１】
2008124764.tif 000034
【図２２】
2008124764.tif 000035
【図２３】
2008124764.tif 000036
【図２４】
2008124764.tif 000037
【図２５】
2008124764.tif 000038
【図２６】
2008124764.tif 000039
【図２７】
2008124764.tif 000040
【図２８】
2008124764.tif 000041
【図２９】
2008124764.tif 000042
【図３０】
2008124764.tif 000043
【図３１】
2008124764.tif 000044
【図３２】
2008124764.tif 000045
【図３３】
2008124764.tif 000046
【図３４】
2008124764.tif 000047
【図３５】
2008124764.tif 000048
【図３６】
2008124764.tif 000049
【図３７】
2008124764.tif 000050
【図３８】
2008124764.tif 000051
【図３９】
2008124764.tif 000052
【図４０】
2008124764.tif 000053
【図４１】
2008124764.tif 000054
【図４２】
2008124764.tif 000055
【図４３】
2008124764.tif 000056
【図４４】
2008124764.tif 000057
【図４５】
2008124764.tif 000058
【図４６】
2008124764.tif 000059
【図４７】
2008124764.tif 000060
【図４８】
2008124764.tif 000061
【図４９】
2008124764.tif 000062
【図５０】
2008124764.tif 000063
【図５１】
2008124764.tif 000064
【図５２】
2008124764.tif 000065
【図５３】
2008124764.tif 000066