(57)【要約】【課題】エッジを保存した平滑化モデルを、比較的小さい負荷の演算処理により得ることができる撮像システム等を提供する。【解決手段】注目領域における注目画素と周辺画素との画素値乖離度を算出する差分算出部２０３と、注目画素と周辺画素との位置乖離度を算出する距離算出部２０２と、画素値乖離度と位置乖離度とを乗算して相関関連値を求め、この相関関連値にチューニング値を加算して逆数をとることにより相関指標値を求め、さらにこの相関指標値から周辺画素のフィルタ係数を求める周辺画素係数算出部２０７と、画素値乖離度から注目画素のフィルタ係数を求める注目画素係数算出部２０８と、求めたフィルタ係数を用いてフィルタ演算を行うことにより注目画素の平滑化モデル画素値を算出する畳み込み演算部２１０と、を備えた撮像システム。【選択図】図２
2008205737.tif 000002
【特許請求の範囲】
【請求項１】
撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムにおいて、
上記映像信号におけるノイズ低減処理を行う対象となる注目画素と、該注目画素の空間的近傍に位置する１以上の周辺画素と、の間の空間相関性と画素値相関性との少なくとも一方に基づいて算出した相関関連値と、該相関関連値を調整するための調整値と、に基づき、該注目画素に対する平滑化信号を算出する平滑化信号算出手段と、
上記平滑化信号算出手段により算出された上記注目画素の平滑化信号に基づいて上記注目画素に含まれるノイズ量を推定するノイズ量推定手段と、
上記平滑化信号算出手段により算出された平滑化信号および上記ノイズ量推定手段により推定されたノイズ量に基づいて、上記注目画素に対してノイズ低減処理を行うノイズ低減手段と、
を有することを特徴とする撮像システム。
【請求項２】
上記平滑化信号算出手段は、
入力される画像信号に、注目画素とこの注目画素の空間的近傍に位置する１以上の周辺画素とにより構成される注目領域を設定する注目領域設定手段と、
上記注目画素と上記周辺画素との画素値の乖離の度合を示す画素値乖離度を各周辺画素毎に算出する画素値乖離度算出手段と、
上記注目画素と上記周辺画素との空間的な乖離の度合を示す位置乖離度を各周辺画素毎に算出する位置乖離度算出手段と、
同一の周辺画素に係る上記画素値乖離度と上記位置乖離度とを各周辺画素毎に乗算することにより、上記注目画素と上記周辺画素との相関性に関連する値である相関関連値を各周辺画素毎に求める相関関連値演算手段と、
上記相関関連値に調整用の定数であるチューニング値を加算して、この加算した値に基づき、上記注目画素と上記周辺画素との相関性を示す指標となる相関指標値を各周辺画素毎に求める相関指標値演算手段と、
上記相関指標値と、該相関指標値を求める過程で得られた値と、の少なくとも一方に基づき、上記注目領域に含まれる全画素に対するフィルタ係数を各画素毎に求めるフィルタ係数演算手段と、
上記フィルタ係数を用いて上記注目領域に対しフィルタ演算を行うことにより、注目画素に係る平滑化モデル画素値を算出するフィルタ演算手段と、を有する
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
上記フィルタ係数演算手段は、上記注目領域内の全ての周辺画素に対する上記画素値乖離度を加算したものが大きくなるに従って、注目画素に対するフィルタ係数が周辺画素に対するフィルタ係数に相対して大きくなるように、該注目画素に対するフィルタ係数および該周辺画素に対するフィルタ係数を求めるものであることを特徴とする請求項２に記載の撮像システム。
【請求項４】
上記フィルタ係数演算手段は、上記注目領域内の全ての周辺画素に対する上記画素値乖離度を加算したものが大きくなるに従って、注目画素に対するフィルタ係数が０以上１以下の予め定められた上限値以下の範囲で大きくなるようにし、かつ、１から注目画素に対するフィルタ係数を減算したものが周辺画素に対するフィルタ係数の因子として含まれるようにすることにより、注目画素に対するフィルタ係数が周辺画素に対するフィルタ係数に相対して大きくなるようにするものであることを特徴とする請求項３に記載の撮像システム。
【請求項５】
上記注目画素の位置を（ｘ，ｙ）（ここに、ｘ，ｙは実数）、上記周辺画素の位置を（ｘ＋ｉ，ｙ＋ｊ）（ここに、ｉ，ｊは実数であって、ｉとｊとは同時に０とはならない。）、上記注目画素の画素値をＰ（ｘ，ｙ）、上記周辺画素の画素値をＰ（ｘ＋ｉ，ｙ＋ｊ）とするとき、
上記画素値乖離度算出手段は、画素値乖離度Ｄ（ｉ，ｊ）を、次の数式
2008205737.tif 000027
または、次の数式
2008205737.tif 000028
により算出するものであり、
上記位置乖離度算出手段は、位置乖離度ｒ（ｉ，ｊ）を、次の数式
2008205737.tif 000029
または、次の数式
2008205737.tif 000030
により算出するものであり、
上記相関関連値演算手段は、相関関連値を、次の演算
2008205737.tif 000031
により算出するものであり、
上記相関指標値演算手段は、相関指標値Ｃｏｒ（ｉ，ｊ）を、上記相関関連値と上記チューニング値ｔｕｎｅ（ここに、チューニング値ｔｕｎｅは０以上の実数）とに基づき、次の数式
2008205737.tif 000032
により算出するものであり、
上記フィルタ係数演算手段は、上記注目画素のフィルタ係数Ｗcenterを、次の数式
2008205737.tif 000033
により算出する（ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとる（すなわち、総和からは、ｉ＝０かつｊ＝０の場合は除外される）ものとする）ものであるとともに、上記周辺画素のフィルタ係数Ｗ（ｉ，ｊ）を、次の数式
2008205737.tif 000034
により算出する（ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとる（すなわち、総和からは、ｉ＝０かつｊ＝０の場合は除外される）ものとする）ものであり、
上記フィルタ演算手段は、注目画素に係る平滑化モデル画素値Ｐ’（ｘ，ｙ）を、次の数式、
2008205737.tif 000035
により算出する（ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとる（すなわち、総和からは、ｉ＝０かつｊ＝０の場合は除外される）ものとする）ものであることを特徴とする請求項３に記載の撮像システム。
【請求項６】
上記注目領域設定手段は、上記注目画素の画素位置を順次変更するように、上記注目領域を順次設定するものであり、
上記注目領域設定手段により現在設定されている注目領域と、該注目領域設定手段により過去に設定された注目領域と、が類似するか否かを判定する領域類似判定手段をさらに具備し、
上記領域類似判定手段により類似すると判定された場合には、上記画素値乖離度算出手段と上記位置乖離度算出手段と上記相関関連値演算手段と上記相関指標値演算手段と上記フィルタ係数演算手段との処理を省略して、上記過去に設定された注目領域に関して既に求められているフィルタ係数を現在設定されている注目領域に対して用いて上記フィルタ演算手段により平滑化モデル画素値を算出するものであることを特徴とする請求項２に記載の撮像システム。
【請求項７】
上記入力された画像信号に係る注目画素の画素値と、該注目画素に係る上記平滑化モデル画素値と、を用いてコアリング処理を行うコアリング演算手段をさらに具備したことを特徴とする請求項２に記載の撮像システム。
【請求項８】
上記入力された画像信号と上記コアリング処理後の画像信号とに応じて、上記チューニング値を変化させるチューニング調整手段をさらに具備したことを特徴とする請求項７に記載の撮像システム。
【請求項９】
上記入力された画像信号のＳＮ比を算出する入力ＳＮ算出手段と、
上記コアリング処理後の画像信号のＳＮ比を算出するノイズ低減後ＳＮ算出手段と、
をさらに具備し、
上記チューニング調整手段は、上記入力された画像信号のＳＮ比と、上記コアリング処理後の画像信号のＳＮ比と、に応じて、上記チューニング値を変化させるものであることを特徴とする請求項８に記載の撮像システム。
【請求項１０】
上記入力ＳＮ算出手段は、上記入力された画像信号の平坦領域を抽出して、該平坦領域のＳＮ比を算出するものであり、
上記ノイズ低減後ＳＮ算出手段は、上記コアリング処理後の画像信号における上記平坦領域と同一の領域のＳＮ比を算出するものであることを特徴とする請求項９に記載の撮像システム。
【請求項１１】
画像を撮像して画像信号を出力する撮像手段をさらに有し、
上記撮像手段から出力される画像信号を、上記入力される画像信号とするものであることを特徴とする請求項２に記載の撮像システム。
【請求項１２】
コンピュータに、
入力される画像信号に、注目画素とこの注目画素の空間的近傍に位置する１以上の周辺画素とにより構成される注目領域を設定する注目領域設定ステップと、
上記注目画素と上記周辺画素との画素値の乖離の度合を示す画素値乖離度を各周辺画素毎に算出する画素値乖離度算出ステップと、
上記注目画素と上記周辺画素との空間的な乖離の度合を示す位置乖離度を各周辺画素毎に算出する位置乖離度算出ステップと、
同一の周辺画素に係る上記画素値乖離度と上記位置乖離度とを各周辺画素毎に乗算することにより、上記注目画素と上記周辺画素との相関性に関連する値である相関関連値を各周辺画素毎に求める相関関連値演算ステップと、
上記相関関連値に調整用の定数であるチューニング値を加算して、この加算した値に基づき、上記注目画素と上記周辺画素との相関性を示す指標となる相関指標値を各周辺画素毎に求める相関指標値演算ステップと、
上記相関指標値と、該相関指標値を求める過程で得られた値と、の少なくとも一方に基づき、上記注目領域に含まれる全画素に対するフィルタ係数を各画素毎に求めるフィルタ係数演算ステップと、
上記フィルタ係数を用いて上記注目領域に対しフィルタ演算を行うことにより、注目画素に係る平滑化モデル画素値を算出するフィルタ演算ステップと、
を実行させるための画像処理プログラム。
【請求項１３】
入力される画像信号に、注目画素とこの注目画素の空間的近傍に位置する１以上の周辺画素とにより構成される注目領域を設定する注目領域設定ステップと、
上記注目画素と上記周辺画素との画素値の乖離の度合を示す画素値乖離度を各周辺画素毎に算出する画素値乖離度算出ステップと、
上記注目画素と上記周辺画素との空間的な乖離の度合を示す位置乖離度を各周辺画素毎に算出する位置乖離度算出ステップと、
同一の周辺画素に係る上記画素値乖離度と上記位置乖離度とを各周辺画素毎に乗算することにより、上記注目画素と上記周辺画素との相関性に関連する値である相関関連値を各周辺画素毎に求める相関関連値演算ステップと、
上記相関関連値に調整用の定数であるチューニング値を加算して、この加算した値に基づき、上記注目画素と上記周辺画素との相関性を示す指標となる相関指標値を各周辺画素毎に求める相関指標値演算ステップと、
上記相関指標値と、該相関指標値を求める過程で得られた値と、の少なくとも一方に基づき、上記注目領域に含まれる全画素に対するフィルタ係数を各画素毎に求めるフィルタ係数演算ステップと、
上記フィルタ係数を用いて上記注目領域に対しフィルタ演算を行うことにより、注目画素に係る平滑化モデル画素値を算出するフィルタ演算ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のノイズ低減に用いる平滑化モデルを算出する撮像システム、画像処理プログラム、画像処理方法に関する。
【背景技術】
【０００２】
撮像システムから得られる画像信号中には、一般にノイズ成分が含まれており、このノイズは、撮像素子やアナログ回路などから発生するランダム性のノイズと、撮像素子の欠陥画素などに起因して発生するスパイク性のノイズと、に大別することができる。
【０００３】
これらの内のランダム性のノイズは、ホワイトノイズ特性に近い特性を有しており、従来より種々のノイズモデルが提案されている。
【０００４】
そして、このようなランダム性のノイズを低減するための様々な技術が、従来より提案されている。
【０００５】
例えば、ＳＵＳＡＮフィルタ（バイラテラルフィルタ）として知られる第１の技術（後述する特開２００４−１５９３１１号公報の［背景技術］を参照）は、次の数式、
2008205737.tif 000003
に示すようなフィルタを用いるものである。このＳＵＳＡＮフィルタは、数式を見れば分かるように、画素位置（ｘ，ｙ）の注目画素と画素位置（ｘ＋ｉ，ｙ＋ｉ）の各周辺画素との距離と、注目画素の画素値ｆ（ｘ，ｙ）と各周辺画素ｆ（ｘ＋ｉ，ｙ＋ｉ）の画素値との差分と、に基づいて、相関性の高い（すなわち、距離が小さいほど相関性が高く、かつ差分が小さいほど相関性が高い）画素は重みを大きく、相関性の低い（すなわち、距離が大きいほど相関性が低く、かつ差分が大きいほど相関性が低い）画素は重みを小さくするフィルタとなっている。そして、このときに適用される重みは、注目画素と周辺画素との距離に応じたガウス分布と、注目画素値と周辺画素値との差分に応じたガウス分布と、の積となっている。
【０００６】
また、第２の技術としては、例えば特開２００４−１５９３１１号公報に記載の技術が挙げられる。該公報に記載の技術は、上述したＳＵＳＡＮフィルタを改良して得られる次の数式、
2008205737.tif 000004
に示すようなフィルタを用いるものである。この技術は、画像ブロック毎に分布係数（ここではＵ（Ｘ，Ｙ））を算出して、画像ブロック毎にフィルタ係数を制御するものとなっている。
【０００７】
一方、第３の技術として、例えば特開平１０−２００７５１号公報には、注目領域内の注目画素以外の周辺画素の濃度値を代表的に表現する周辺濃度値Ｕ（該公報の実施形態においては画素の平均値）を算出して、この周辺濃度値Ｕと注目画素濃度値Ｓとの差分に基づいて注目画素に適用するフィルタ係数（荷重値）Ｗsと周辺画素に適用するフィルタ係数（荷重値）Ｗuとを決定し、次の数式、
2008205737.tif 000005
に示すように、ノイズ低減後の注目画素濃度値Ｓ0を算出する技術が記載されている。該公報に記載の技術は、図１６（Ａ）〜図１６（Ｃ）に示すように、周辺濃度値Ｕと注目画素濃度値Ｓとの差分が所定の設定値αよりも大きい場合には周辺濃度値Ｕに適用するフィルタ係数Ｗuを相対的に大きくし、逆に、該差分が所定の設定値αよりも小さい場合には注目画素濃度値Ｓに適用するフィルタ係数Ｗsを相対的に大きくする（つまり、注目画素と周辺画素との重みの比率を変化させる）ものとなっている。なお、図１６におけるＩＤは、使用するＬＵＴに対応するＩＤ番号であり、周辺濃度値Ｕに応じて決定される。ここに、図１６は、従来のフィルタリング処理における注目画素と周辺画素との重み係数の相関を概念的に示す図である。
【０００８】
そして、第４の技術として、例えば特開２００４−８８１４９号公報には、信号レベル、ＣＣＤの温度、露光時間、ゲインなどの要因や撮影状況に基づいてノイズモデルを推定し、推定されたノイズモデルを撮影シーンに適合するように補正して、補正されたノイズモデル以下の映像信号成分を抑制することによりノイズ低減を行う技術が記載されている。この第４の技術は、図１７に示すように、ノイズモデルを超える映像信号成分を保存するものであるために、エッジを原信号として保存した平滑化処理を実現することができる。ここに、図１７は、従来のコアリング処理においてエッジ部のノイズが残留する様子を概念的に示す図である。
【特許文献１】特開２００４−１５９３１１号公報
【特許文献２】特開平１０−２００７５１号公報
【特許文献３】特開２００４−８８１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述したような第１の技術および第２の技術は、指数関数演算などの処理を行うものであって、演算処理の負荷が大きいために、カメラ等の撮像システムに搭載するためのランダムノイズ低減装置としてハードウェア化することは現実的でない。
【００１０】
また、上述したような第３の技術は、全ての周辺画素を同一のフィルタ係数を用いて平滑化するものであるために、エッジや微細領域の保存が十分であるとはいえない。
【００１１】
そして、上述したような第４の技術は、近傍画素の単純平均を取った平滑化モデルを想定しているために、図１７に示したように、エッジ部分で平滑化モデルがなまってしまい、該エッジ部分でノイズ低減効果が不十分である。
【００１２】
本発明は上記事情に鑑みてなされたものであり、エッジを保存した平滑化モデルを、比較的小さい負荷の演算処理により得ることができる撮像システム、画像処理プログラム、画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、第１の発明による撮像システムは、撮像系から取り込まれた映像信号に対してノイズ低減処理を行う撮像システムにおいて、上記映像信号におけるノイズ低減処理を行う対象となる注目画素と該注目画素の空間的近傍に位置する１以上の周辺画素との間の空間相関性と画素値相関性との少なくとも一方に基づいて算出した相関関連値と該相関関連値を調整するための調整値とに基づき該注目画素に対する平滑化信号を算出する平滑化信号算出手段と、上記平滑化信号算出手段により算出された上記注目画素の平滑化信号に基づいて上記注目画素に含まれるノイズ量を推定するノイズ量推定手段と、上記平滑化信号算出手段により算出された平滑化信号および上記ノイズ量推定手段により推定されたノイズ量に基づいて上記注目画素に対してノイズ低減処理を行うノイズ低減手段と、を有するものである。
【００１４】
また、第２の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記平滑化信号算出手段が、入力される画像信号に注目画素とこの注目画素の空間的近傍に位置する１以上の周辺画素とにより構成される注目領域を設定する注目領域設定手段と、上記注目画素と上記周辺画素との画素値の乖離の度合を示す画素値乖離度を各周辺画素毎に算出する画素値乖離度算出手段と、上記注目画素と上記周辺画素との空間的な乖離の度合を示す位置乖離度を各周辺画素毎に算出する位置乖離度算出手段と、同一の周辺画素に係る上記画素値乖離度と上記位置乖離度とを各周辺画素毎に乗算することにより上記注目画素と上記周辺画素との相関性に関連する値である相関関連値を各周辺画素毎に求める相関関連値演算手段と、上記相関関連値に調整用の定数であるチューニング値を加算してこの加算した値に基づき上記注目画素と上記周辺画素との相関性を示す指標となる相関指標値を各周辺画素毎に求める相関指標値演算手段と、上記相関指標値と該相関指標値を求める過程で得られた値との少なくとも一方に基づき上記注目領域に含まれる全画素に対するフィルタ係数を各画素毎に求めるフィルタ係数演算手段と、上記フィルタ係数を用いて上記注目領域に対しフィルタ演算を行うことにより注目画素に係る平滑化モデル画素値を算出するフィルタ演算手段と、を有するものである。
【００１５】
さらに、第３の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記フィルタ係数演算手段が、上記注目領域内の全ての周辺画素に対する上記画素値乖離度を加算したものが大きくなるに従って、注目画素に対するフィルタ係数が周辺画素に対するフィルタ係数に相対して大きくなるように、該注目画素に対するフィルタ係数および該周辺画素に対するフィルタ係数を求めるものである。
【００１６】
第４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記フィルタ係数演算手段が、上記注目領域内の全ての周辺画素に対する上記画素値乖離度を加算したものが大きくなるに従って、注目画素に対するフィルタ係数が０以上１以下の予め定められた上限値以下の範囲で大きくなるようにし、かつ、１から注目画素に対するフィルタ係数を減算したものが周辺画素に対するフィルタ係数の因子として含まれるようにすることにより、注目画素に対するフィルタ係数が周辺画素に対するフィルタ係数に相対して大きくなるようにするものである。
【００１７】
第５の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記注目画素の位置を（ｘ，ｙ）（ここに、ｘ，ｙは実数）、上記周辺画素の位置を（ｘ＋ｉ，ｙ＋ｊ）（ここに、ｉ，ｊは実数であって、ｉとｊとは同時に０とはならない。）、上記注目画素の画素値をＰ（ｘ，ｙ）、上記周辺画素の画素値をＰ（ｘ＋ｉ，ｙ＋ｊ）とするとき、
上記画素値乖離度算出手段は、画素値乖離度Ｄ（ｉ，ｊ）を、次の数式
2008205737.tif 000006
または、次の数式
2008205737.tif 000007
により算出するものであり、
上記位置乖離度算出手段は、位置乖離度ｒ（ｉ，ｊ）を、次の数式
2008205737.tif 000008
または、次の数式
2008205737.tif 000009
により算出するものであり、
上記相関関連値演算手段は、相関関連値を、次の演算
2008205737.tif 000010
により算出するものであり、
上記相関指標値演算手段は、相関指標値Ｃｏｒ（ｉ，ｊ）を、上記相関関連値と上記チューニング値ｔｕｎｅ（ここに、チューニング値ｔｕｎｅは０以上の実数）とに基づき、次の数式
2008205737.tif 000011
により算出するものであり、
上記フィルタ係数演算手段は、上記注目画素のフィルタ係数Ｗcenterを、次の数式
2008205737.tif 000012
により算出する（ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとる（すなわち、総和からは、ｉ＝０かつｊ＝０の場合は除外される）ものとする）ものであるとともに、上記周辺画素のフィルタ係数Ｗ（ｉ，ｊ）を、次の数式
2008205737.tif 000013
により算出する（ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとる（すなわち、総和からは、ｉ＝０かつｊ＝０の場合は除外される）ものとする）ものであり、
上記フィルタ演算手段は、注目画素に係る平滑化モデル画素値Ｐ’（ｘ，ｙ）を、次の数式、
2008205737.tif 000014
により算出する（ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとる（すなわち、総和からは、ｉ＝０かつｊ＝０の場合は除外される）ものとする）ものである。
【００１８】
第６の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記注目領域設定手段が上記注目画素の画素位置を順次変更するように上記注目領域を順次設定するものであり、上記注目領域設定手段により現在設定されている注目領域と該注目領域設定手段により過去に設定された注目領域とが類似するか否かを判定する領域類似判定手段をさらに具備し、上記領域類似判定手段により類似すると判定された場合には、上記画素値乖離度算出手段と上記位置乖離度算出手段と上記相関関連値演算手段と上記相関指標値演算手段と上記フィルタ係数演算手段との処理を省略して、上記過去に設定された注目領域に関して既に求められているフィルタ係数を現在設定されている注目領域に対して用いて上記フィルタ演算手段により平滑化モデル画素値を算出するものである。
【００１９】
第７の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記入力された画像信号に係る注目画素の画素値と、該注目画素に係る上記平滑化モデル画素値と、を用いてコアリング処理を行うコアリング演算手段をさらに具備したものである。
【００２０】
第８の発明による撮像システムは、上記第７の発明による撮像システムにおいて、上記入力された画像信号と上記コアリング処理後の画像信号とに応じて、上記チューニング値を変化させるチューニング調整手段をさらに具備したものである。
【００２１】
第９の発明による撮像システムは、上記第８の発明による撮像システムにおいて、上記入力された画像信号のＳＮ比を算出する入力ＳＮ算出手段と、上記コアリング処理後の画像信号のＳＮ比を算出するノイズ低減後ＳＮ算出手段と、をさらに具備し、上記チューニング調整手段は、上記入力された画像信号のＳＮ比と、上記コアリング処理後の画像信号のＳＮ比と、に応じて、上記チューニング値を変化させるものである。
【００２２】
第１０の発明による撮像システムは、上記第９の発明による撮像システムにおいて、上記入力ＳＮ算出手段が、上記入力された画像信号の平坦領域を抽出して該平坦領域のＳＮ比を算出するものであり、上記ノイズ低減後ＳＮ算出手段は、上記コアリング処理後の画像信号における上記平坦領域と同一の領域のＳＮ比を算出するものである。
【００２３】
第１１の発明による撮像システムは、上記第２の発明による撮像システムにおいて、画像を撮像して画像信号を出力する撮像手段をさらに有し、上記撮像手段から出力される画像信号を、上記入力される画像信号とするものである。
【００２４】
第１２の発明による画像処理プログラムは、コンピュータに、入力される画像信号に注目画素とこの注目画素の空間的近傍に位置する１以上の周辺画素とにより構成される注目領域を設定する注目領域設定ステップと、上記注目画素と上記周辺画素との画素値の乖離の度合を示す画素値乖離度を各周辺画素毎に算出する画素値乖離度算出ステップと、上記注目画素と上記周辺画素との空間的な乖離の度合を示す位置乖離度を各周辺画素毎に算出する位置乖離度算出ステップと、同一の周辺画素に係る上記画素値乖離度と上記位置乖離度とを各周辺画素毎に乗算することにより上記注目画素と上記周辺画素との相関性に関連する値である相関関連値を各周辺画素毎に求める相関関連値演算ステップと、上記相関関連値に調整用の定数であるチューニング値を加算してこの加算した値に基づき上記注目画素と上記周辺画素との相関性を示す指標となる相関指標値を各周辺画素毎に求める相関指標値演算ステップと、上記相関指標値と該相関指標値を求める過程で得られた値との少なくとも一方に基づき上記注目領域に含まれる全画素に対するフィルタ係数を各画素毎に求めるフィルタ係数演算ステップと、上記フィルタ係数を用いて上記注目領域に対しフィルタ演算を行うことにより注目画素に係る平滑化モデル画素値を算出するフィルタ演算ステップと、を実行させるためのプログラムである。
【００２５】
第１３の発明による画像処理方法は、入力される画像信号に注目画素とこの注目画素の空間的近傍に位置する１以上の周辺画素とにより構成される注目領域を設定する注目領域設定ステップと、上記注目画素と上記周辺画素との画素値の乖離の度合を示す画素値乖離度を各周辺画素毎に算出する画素値乖離度算出ステップと、上記注目画素と上記周辺画素との空間的な乖離の度合を示す位置乖離度を各周辺画素毎に算出する位置乖離度算出ステップと、同一の周辺画素に係る上記画素値乖離度と上記位置乖離度とを各周辺画素毎に乗算することにより上記注目画素と上記周辺画素との相関性に関連する値である相関関連値を各周辺画素毎に求める相関関連値演算ステップと、上記相関関連値に調整用の定数であるチューニング値を加算してこの加算した値に基づき上記注目画素と上記周辺画素との相関性を示す指標となる相関指標値を各周辺画素毎に求める相関指標値演算ステップと、上記相関指標値と該相関指標値を求める過程で得られた値との少なくとも一方に基づき上記注目領域に含まれる全画素に対するフィルタ係数を各画素毎に求めるフィルタ係数演算ステップと、上記フィルタ係数を用いて上記注目領域に対しフィルタ演算を行うことにより注目画素に係る平滑化モデル画素値を算出するフィルタ演算ステップと、を含む方法である。
【発明の効果】
【００２６】
本発明の撮像システム、画像処理プログラム、画像処理方法によれば、エッジを保存した平滑化モデルを、比較的小さい負荷の演算処理により得ることが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明の実施の形態を説明する。
【００２８】
［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は、ノイズ低減処理部の構成を示すブロック図である。
【００２９】
ノイズ低減処理部１００は、撮像システムの少なくとも一部を構成するものであり、平滑化信号算出手段であり注目領域設定手段たるフィルタリング演算部１０１と、コアリング演算手段たるコアリング演算部１０２と、を有して構成されている。
【００３０】
入力原画像の信号である入力画像信号は、フィルタリング演算部１０１へ接続されるとともに、コアリング演算部１０２へ接続されている。フィルタリング演算部１０１は、コアリング演算部１０２へ接続されている。コアリング演算部１０２は、ノイズ低減後の出力信号を出力するようになっている。
【００３１】
フィルタリング演算部１０１は、入力画像信号に平滑化を行って平滑化モデル信号を算出し、算出した平滑化モデル信号をコアリング演算部１０２へ出力する。
【００３２】
コアリング演算部１０２は、フィルタリング演算部１０１から入力される平滑化モデル信号と、入力画像信号と、に基づきコアリング処理を行うことにより、ノイズを抑圧した出力信号を算出し、出力する。
【００３３】
次に、図２は、フィルタリング演算部１０１の構成を示すブロック図である。
【００３４】
このフィルタリング演算部１０１は、メモリ２０１と、平滑化信号算出手段であり位置乖離度算出手段たる距離算出部２０２と、平滑化信号算出手段であり画素値乖離度算出手段たる差分算出部２０３と、メモリ２０４と、メモリ２０５と、チューニング定数記憶部２０６と、平滑化信号算出手段、相関関連値演算手段、相関指標値演算手段、フィルタ係数演算手段を兼ねた周辺画素係数算出部２０７と、平滑化信号算出手段でありフィルタ係数演算手段たる注目画素係数算出部２０８と、メモリ２０９と、平滑化信号算出手段でありフィルタ演算手段たる畳み込み演算部２１０と、を有して構成されている。
【００３５】
ここに、入力原画像は、メモリ２０１に記憶されるようになっている。メモリ２０１は、距離算出部２０２と、差分算出部２０３と、畳み込み演算部２１０と、へ接続されている。距離算出部２０２は、メモリ２０４を介して周辺画素係数算出部２０７へ接続されている。差分算出部２０３は、メモリ２０５を介して、周辺画素係数算出部２０７および注目画素係数算出部２０８へ接続されている。チューニング定数記憶部２０６は、周辺画素係数算出部２０７へ接続されている。周辺画素係数算出部２０７および注目画素係数算出部２０８は、メモリ２０９を介して、畳み込み演算部２１０へ接続されている。そして、畳み込み演算部２１０から、平滑化モデル信号が出力されるようになっている。
【００３６】
続いて、図２に示したような構成のフィルタリング演算部１０１の作用について、図７に沿って説明する。図７はフィルタリング演算部１０１の作用を示すフローチャートである。
【００３７】
入力原画像は、メモリ２０１に、例えば画素単位で順次入力されてくる。このとき、フィルタリング演算部１０１は、１画素目の画素データが入力されたところですぐに処理を開始するのではなく、フィルタリング処理が可能となる所定ライン分の画素データが揃うまで遅延を行う。
【００３８】
こうして、メモリ２０１に、フィルタリング処理が可能となる所定ライン分の画素データが格納されたところで、例えば図４に示すような注目領域の画素、すなわち、画像中の画素位置（ｘ，ｙ）（ここに、「ｘ」は横方向の画素位置を表す座標、「ｙ」は縦方向の画素位置を表す座標である。なお、これらの座標は、実数値として表現することができるが、実用的には整数値として表現しても構わない。従って以下では、整数値として表現するものとする。）における注目画素の画素値（以下では、適宜「注目画素値」という）Ｐ（ｘ，ｙ）と、その周辺の画素位置（ｘ＋ｉ，ｙ＋ｊ）（ここに、ｉ，ｊは実数値として表現することができるが、より実用的な観点から、以下では整数として表現するものとする。そして、ｉとｊとは同時に０とはならない。）における周辺画素の画素値（以下では、適宜「周辺画素値」という）Ｐ（ｘ＋ｉ，ｙ＋ｊ）とが抽出され、距離算出部２０２と差分算出部２０３と畳み込み演算部２１０とへ出力される（ステップＳ１０１）。ここに、図４は、注目領域における注目画素と各周辺画素との関係の一例を示す図である。なお、この図４においては、注目領域を３×３画素として、−１≦ｉ≦１，−１≦ｊ≦１となっている例を示しているが、これに限るものではなく、任意の（正の整数）×（正の整数）画素の注目領域を抽出することも可能である。
【００３９】
距離算出部２０２は、抽出された注目領域内における注目画素（画素位置（ｘ，ｙ））と各周辺画素（画素位置（ｘ＋ｉ，ｙ＋ｊ））との空間的な乖離の度合を示す位置乖離度ｒ（ｉ，ｊ）を、例えば次の数式１に示すような距離として、または数式２に示すような距離の２乗として、算出する（なお、何れの数式により算出された値を位置乖離度ｒ（ｉ，ｊ）とするかは、処理系の回路構成、あるいは画像に係る各種の条件等に応じて、適宜決めることが可能である。）。  
［数１］
2008205737.tif 000015
［数２］
2008205737.tif 000016
【００４０】
なお、ここでは、位置乖離度ｒ（ｉ，ｊ）として、数式１または数式２により求められた値を用いる例を示したが、これらに限るものではない。例えば、画素が正方画素でない場合には、ｉまたはｊに適宜の係数を乗算することも考えられるし、これに限らず、注目画素と周辺画素との空間的な乖離の度合を示す量であって、演算時の負荷が比較的小さい量であれば、適宜の量を位置乖離度ｒ（ｉ，ｊ）として用いることが可能である。
【００４１】
そして、距離算出部２０２は、算出した位置乖離度ｒ（ｉ，ｊ）を出力して、メモリ２０４に格納する（ステップＳ１０２）。
【００４２】
一方、差分算出部２０３は、抽出された注目領域内の注目画素値Ｐ（ｘ，ｙ）と各周辺画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）との乖離の度合を示す画素値乖離度Ｄ（ｉ，ｊ）を、例えば次の数式３に示すような差分の絶対値、または数式４に示すような差分の２乗値として算出する。  
［数３］
2008205737.tif 000017
［数４］
2008205737.tif 000018
【００４３】
なお、画素値乖離度Ｄ（ｉ，ｊ）に絶対値を用いる場合と比較して、画素値乖離度Ｄ（ｉ，ｊ）に２乗値を用いる場合の方が、エッジ保存度が大きくなって、平滑化強度が小さくなる傾向にある。従って、平滑化の強度を強くしたい場合には画素値乖離度Ｄ（ｉ，ｊ）に絶対値を用い、エッジの保存をより重要視したい場合には画素値乖離度Ｄ（ｉ，ｊ）に２乗値を用いるなどの使い分けを行うと良い。
【００４４】
また、ここでは、画素値乖離度Ｄ（ｉ，ｊ）として、数式３または数式４により求められた値を用いる例を示したが、これらに限らず、注目画素値と周辺画素値との乖離の度合を示す量であって、演算時の負荷が比較的小さい量であれば、適宜の量を画素値乖離度Ｄ（ｉ，ｊ）として用いることが可能である。
【００４５】
そして、差分算出部２０３は、算出した画素値乖離度Ｄ（ｉ，ｊ）を出力して、メモリ２０５に格納する（ステップＳ１０３）。
【００４６】
続いて、注目画素係数算出部２０８は、メモリ２０５から画素値乖離度Ｄ（ｉ，ｊ）を入力してその総和ΣＤ（ｉ，ｊ）を算出し（ステップＳ１０４）、さらに定数Ｃｏｎｓｔで除算することにより、注目画素のフィルタ係数である重み係数Ｗcenterを総和ΣＤ（ｉ，ｊ）に比例する値として、次の数式５に示すように算出する（ステップＳ１０５）。  
［数５］
2008205737.tif 000019
ここに、定数Ｃｏｎｓｔは、ΣＤ（ｉ，ｊ）の取り得る最大値などであり、０≦Ｗcenter≦１となるように設定されている。また、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとるものとする。従って、総和からは、ｉ＝０かつｊ＝０の場合は除外される。
【００４７】
さらに、注目画素係数算出部２０８は、数式５に示すように算出した重み係数Ｗcenterを、予め設定された最大値ｍａｘ（ここに、０≦ｍａｘ≦１）と比較する（ステップＳ１０６）。
【００４８】
そして、注目画素係数算出部２０８は、重み係数Ｗcenterが最大値ｍａｘ以下である場合には、数式５により算出された重み係数を最終的な重み係数Ｗcenterとする（ステップＳ１０７）。
【００４９】
これに対して、数式５により算出された重み係数Ｗcenterが最大値ｍａｘを越える場合には、注目画素係数算出部２０８は、図５に示すように、注目画素の重み係数Ｗcenterを最大値ｍａｘによりクリップする（ステップＳ１０８）。ここに、図５は、注目画素の重み係数と周辺画素の重み係数との関係が画素値乖離度の総和に依存して変化する様子を示す線図である。上述したような注目画素係数算出部２０８による注目画素の重み係数Ｗcenterの算出過程は、次の数式６により表される。  
［数６］
2008205737.tif 000020
【００５０】
そして、注目画素係数算出部２０８は、算出した重み係数Ｗcenterをメモリ２０９に格納する。
【００５１】
続いて、周辺画素係数算出部２０７は、メモリ２０４から位置乖離度ｒ（ｉ，ｊ）を入力するとともに、メモリ２０５から同一の周辺画素に係る画素値乖離度Ｄ（ｉ，ｊ）を入力して、これらを次の数式７に示すように乗算することにより、各周辺画素毎に、注目画素と周辺画素との相関性に関連する値である相関関連値を求める。  
［数７］
2008205737.tif 000021
【００５２】
さらに、周辺画素係数算出部２０７は、チューニング定数記憶部２０６から入力したチューニング値ｔｕｎｅ（ここに、チューニング値ｔｕｎｅは、０以上の実数であり、相関指標値における相関関連値の影響度を調整するための定数である。）を加算して、その逆数をとることにより、次の数式８に示すように、注目画素と周辺画素との相関性を示す指標となる相関指標値Ｃｏｒ（ｉ，ｊ）を各周辺画素毎に算出する（ステップＳ１０９）。  
［数８］
2008205737.tif 000022
【００５３】
さらに、周辺画素係数算出部２０７は、注目領域内の全ての相関指標値Ｃｏｒ（ｉ，ｊ）を正規化することにより、周辺画素に対するフィルタ係数の因子となる重み係数Ｗ（ｉ，ｊ）を次の数式９に示すように算出する。  
［数９］
2008205737.tif 000023
ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとるものとする。従って、総和からは、ｉ＝０かつｊ＝０の場合は除外される。
【００５４】
そして、周辺画素係数算出部２０７は、算出した重み係数Ｗ（ｉ，ｊ）をメモリ２０９に格納する（ステップＳ１１０）。
【００５５】
畳み込み演算部２１０は、メモリ２０１から注目領域内の注目画素値Ｐ（ｘ，ｙ）および各周辺画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）を入力するとともに、メモリ２０９から注目画素の重み係数Ｗcenterおよび各周辺画素の重み係数Ｗ（ｉ，ｊ）を入力して、次の数式１０に示すようにフィルタ演算としての畳み込み演算を行うことにより、平滑化モデル信号である平滑化モデル画素値Ｐ’（ｘ，ｙ）を算出する（ステップＳ１１１）。  
［数１０］
2008205737.tif 000024
ここに、総和は、注目領域に含まれる全周辺画素に対応する（ｉ，ｊ）についてとるものとする。従って、総和からは、ｉ＝０かつｊ＝０の場合は除外される。
【００５６】
この数式１０を見れば分かるように、注目画素のフィルタ係数は重み係数Ｗcenterであるのに対して、周辺画素のフィルタ係数は重み係数Ｗ（ｉ，ｊ）に（１−Ｗcenter）の因子を乗算したものとなる。従って、注目画素の重み係数Ｗcenter（注目領域内の全ての周辺画素に対する画素値乖離度Ｄ（ｉ，ｊ）を加算した値に比例する）が大きくなるに従って、該注目画素の平滑化モデル画素値Ｐ’（ｘ，ｙ）に対する寄与が大きくなる。これに対して、周辺画素には（１−Ｗcenter）の因子が含まれているために、注目画素の重み係数Ｗcenterが大きくなるに従って、該周辺画素の平滑化モデル画素値Ｐ’（ｘ，ｙ）に対する寄与が小さくなる。
【００５７】
これは、注目画素と周辺画素との画素値乖離度の総和ΣＤ（ｉ，ｊ）が大きい場合、つまり注目画素がエッジや微細領域等に含まれる場合には、注目画素の重みを大きくすることになるために、入力画像信号における注目画素の値をより保存した平滑化を行うことを意味する。
【００５８】
一方、注目画素と周辺画素との画素値乖離度の総和ΣＤ（ｉ，ｊ）が小さい場合、つまり注目画素が平坦領域に含まれる場合には、注目画素の重みを小さくする（すなわち、周辺画素の重みを大きくする）ことになるために、周辺画素による平滑化効果が強くはたらくことを意味する。
【００５９】
こうして、本実施形態は、注目画素の重みと周辺画素の重みとを適応的に変化させるものとなっている。
【００６０】
そして、畳み込み演算部２１０は、算出した平滑化モデル画素値Ｐ’（ｘ，ｙ）をコアリング演算部１０２へ出力する（ステップＳ１１２）。
【００６１】
入力原画像は、光学像から得られる原信号にさらにノイズが含まれたものとなっているが、このフィルタリング演算部１０１により算出された平滑化モデル信号は、図６に示すようになる。すなわち、図１７に示したような近傍画素の単純平均を取ることにより算出された平滑化モデルに比べて、本実施形態の平滑化モデルは、図６に示すように、エッジの鮮鋭度を保存しながら平滑化フィルタリングを行った信号となる。
【００６２】
次に、図３は、コアリング演算部１０２の構成を示すブロック図である。
【００６３】
このコアリング演算部１０２は、ノイズ量推定手段たるノイズ量推定部と、ノイズ低減手段たるノイズ低減処理部と、の２つに大別される機能部を有して構成されている。まず、前者のノイズ量推定部は、信号値とノイズ量との関係を記憶しておく手段たるノイズモデルＬＵＴ３０１と、撮影時のＩＳＯ感度を記憶しておく手段たるＩＳＯ感度記憶部３０２と、推定されたノイズ量のゲインを制御する手段たるゲイン制御部３０３と、を有して構成されている。また、後者のノイズ低減処理部は、ユーザーの操作に基づいてノイズ量を補正する手段たるノイズ量補正部３０４と、ノイズ量に基づいてコアリングを行う手段たるコアリング処理部３０５と、を有して構成されている。
【００６４】
フィルタリング演算部１０１からの平滑化モデル信号は、ノイズモデルＬＵＴ３０１およびコアリング処理部３０５へ入力されるようになっている。また、入力原画像は、コアリング処理部３０５へ入力されるようになっている。さらに、ノイズモデルＬＵＴ３０１は、ゲイン制御部３０３へ接続されている。ＩＳＯ感度記憶部３０２は、ゲイン制御部３０３へ接続されている。ゲイン制御部３０３は、ノイズ量補正部３０４へ接続されている。ノイズ量補正部３０４は、コアリング処理部３０５へ接続されている。そして、コアリング処理部３０５から、ノイズ低減後の出力画像が出力されるようになっている。
【００６５】
ノイズモデルＬＵＴ３０１は、フィルタリング演算部１０１から入力された平滑化モデル画素値Ｐ’（ｘ，ｙ）に基づいて、ルックアップテーブルを参照することにより、ノイズモデル振幅Ｎｍをゲイン制御部３０３へ出力する。このノイズモデルＬＵＴ３０１のルックアップテーブルは、入力原画像を撮像した撮像素子の特性などに基づいて、信号値とノイズモデル振幅Ｎｍとの関係が予め設定されたテーブルである。ここで信号値とノイズモデル振幅Ｎｍとは、例えば、均一所定輝度の対象物を撮像したときの所定撮像領域内の画素値の平均値と、標準偏差と、によって定義される。
【００６６】
ＩＳＯ感度記憶部３０２は、ユーザーの操作によって設定された撮影時のＩＳＯ感度を記憶している。
【００６７】
ゲイン制御部３０３は、ノイズモデルＬＵＴ３０１から入力されるノイズモデル振幅Ｎｍに対して、ＩＳＯ感度記憶部３０２から入力されたＩＳＯ感度に基づくゲインＧISOを乗算することによりノイズ量ＮISOを算出し、算出したノイズ量ＮISOをノイズ量補正部３０４へ出力する。この算出過程は、次の数式により示される。  
ＮISO＝Ｎｍ×ＧISO
【００６８】
ノイズ量補正部３０４は、ゲイン制御部３０３から入力されたノイズ量ＮISOに対して、ユーザーが設定したノイズ低減の強度に対応したゲインＧUを乗算することによりノイズ量Ｎを算出し、算出したノイズ量Ｎをコアリング処理部３０５へ出力する。この算出過程は、次の数式により示される。  
Ｎ＝ＮISO×ＧU
【００６９】
この機能により、例えば、ユーザーが撮影状況（例えば、風景撮影、人物撮影、夜景撮影、接写撮影、動きのある被写体の撮影など）に応じてノイズ低減の強度を任意に設定することができ、ノイズ低減の強度を調節することが可能となる。
【００７０】
図６はコアリング処理によるエッジ部のノイズ抑圧の様子を示す図、図８はコアリング処理部３０５の作用を示すフローチャートである。
【００７１】
コアリング処理部３０５は、図６に示すように、平滑化モデル画素値Ｐ’（ｘ，ｙ）を基準値とし、入力画像信号の注目画素値Ｐ（ｘ，ｙ）と基準値とを、ノイズ量補正部３０４から出力されたノイズ量Ｎに基づいて比較し、コアリング処理を行ってノイズ低減後の最終出力信号Ｐoutを出力する。
【００７２】
ここに、コアリング処理は、次のように行う。  
コアリング処理部３０５は、フィルタリング演算部１０１から入力された平滑化モデル信号である平滑化モデル画素値Ｐ’（ｘ，ｙ）を基準値とし、入力画像信号である注目画素値Ｐ（ｘ，ｙ）と基準値との差分絶対値を算出して（ステップＳ２０１）、算出した差分絶対値とノイズ量補正部３０４から入力されたノイズ量Ｎとを比較する（ステップＳ２０２）。
【００７３】
そして、コアリング処理部３０５は、差分絶対値がノイズ量Ｎ以下である場合には、注目画素値Ｐ（ｘ，ｙ）を平滑化モデル画素値Ｐ’（ｘ，ｙ）に置き換えたものを最終出力信号Ｐoutとする（ステップＳ２０３）。
【００７４】
一方、コアリング処理部３０５は、差分絶対値がノイズ量Ｎよりも大きい場合には、注目画素値Ｐ（ｘ，ｙ）が平滑化モデル画素値Ｐ’（ｘ，ｙ）よりも大きいか否かを判定する（ステップＳ２０４）。
【００７５】
そして、コアリング処理部３０５は、大きいと判定した場合には、注目画素値Ｐ（ｘ，ｙ）からノイズ量Ｎを減算したものを最終出力信号Ｐoutとし（ステップＳ２０６）、一方、大きくない（つまり小さい）と判定した場合には、注目画素値Ｐ（ｘ，ｙ）にノイズ量Ｎを加算したものを最終出力信号Ｐoutとする（ステップＳ２０５）。
【００７６】
上述したような最終出力信号Ｐoutの算出過程は、次の数式１１により表すことができる。  
［数１１］
2008205737.tif 000025
【００７７】
こうして、ステップＳ２０３，Ｓ２０５，Ｓ２０６の何れかの処理が終了したら、最終出力信号Ｐoutを出力して（ステップＳ２０７）、この処理を終了する。
【００７８】
このようなコアリング演算部１０２における処理によれば、信号値とノイズモデル振幅Ｎｍとの関係を、入力原画像を撮像した撮像素子の特性に基づいて算出しているために、撮像素子の特性に適したノイズ低減を行うことができる。また、画像の一画素毎に平滑化モデル信号値に応じたノイズ量を推定しているために、明部から暗部にかけて最適なノイズ低減を行うことが可能である。さらに、撮影時のＩＳＯ感度に応じてノイズ量を補正するようにしているために、ノイズ量推定の精度を高めることができる。さらに、ユーザーがノイズ低減の強度を調節することが可能となるために、撮影状況などに応じてユーザーの目的に合ったノイズ低減効果を得ることができる。
【００７９】
また、コアリング処理においては、コアリングの基準となる基準値と、コアリングの範囲であるノイズ量と、を用いてノイズ低減処理を行っているために、効果的にノイズ低減処理を行うには、最適な基準値とノイズ量とを推定することが求められる。これに対して、本実施形態においては、エッジの鮮鋭度を保存した平滑化モデル信号を使用してノイズ量の推定を行うようにしたために、急峻なエッジ領域においても精度良くノイズ量を推定することが可能となる。また、エッジの鮮鋭度を保存した平滑化モデル信号をコアリングの基準値として使用するようにしたために、急峻なエッジ領域においても画像の構造を保存した基準値を得ることが可能となる。これにより、本実施形態のコアリング処理によれば、エッジ付近においても効果的にノイズを低減することが可能となる。
【００８０】
図１７は、従来の、平均値で生成した平滑化モデル信号を使用した場合を示すものであり、本来の入力画像信号がもつ急峻なエッジに対してなまった平滑化モデル信号となる。このような場合に、急峻なエッジ付近での平滑化モデル画素値Ｐ’（ｘ，ｙ）は入力画像信号である注目画素値Ｐ（ｘ，ｙ）とかけ離れてしまうために、ノイズモデルＬＵＴ３０1から出力される推定ノイズ量は正しくないものとなる。さらに、このような急峻なエッジ付近では、コアリング処理において算出する平滑化モデル画素値Ｐ’（ｘ，ｙ）と入力画像信号である注目画素値Ｐ（ｘ，ｙ）との差分絶対値が必要以上に大きくなるとともに、上記正しくない推定ノイズ量と比較されることになるために、エッジ付近の平坦部において本来ならば注目画素値Ｐ（ｘ，ｙ）が平滑化モデル画素値Ｐ’（ｘ，ｙ）に置き換わるはずがそうはならず、ノイズが残留した状態となる。
【００８１】
一方、図６は、本実施形態の、エッジの鮮鋭度を保存した平滑化フィルタを使用した場合を示すものであり、本来の入力画像信号がもつ急峻なエッジに対してより近似した平滑化モデル信号を生成することができる。つまり、急峻なエッジ付近での平滑化モデル画素値Ｐ’（ｘ，ｙ）が入力画像信号である注目画素値Ｐ（ｘ，ｙ）とかけ離れることがなく、このようなエッジ近傍においてもより確からしいノイズ量推定を行うことが可能となる。さらに、このような急峻なエッジ付近でのコアリング処理においても、平滑化モデル画素値Ｐ’（ｘ，ｙ）と入力画像信号である注目画素値Ｐ（ｘ，ｙ）との差分絶対値が必要以上に大きくなることはないとともに、確からしい推定ノイズ量と比較されることになるために、エッジ付近の平坦部において注目画素値Ｐ（ｘ，ｙ）が平滑化モデル画素値Ｐ’（ｘ，ｙ）に置き換わることになり、急峻なエッジ境界ぎりぎりまでノイズ抑圧を行うことが可能となるのである。
【００８２】
次に、図９から図１１を参照して、上述したようなノイズ低減処理部１００をデジタルカメラに適用した例について説明する。これら図９から図１１は、ノイズ低減処理部１００を、撮像システムたるデジタルカメラのセンサノイズを低減するために適用する例となっている。
【００８３】
まず、図９はデジタルカメラの構成を示すブロック図である。
【００８４】
このデジタルカメラは、図９に示すように、光学系６０１と、撮像手段たる撮像部６０２と、画像処理部６０３と、表示部６０４と、記録部６０５と、出力部６０６と、を有して構成された撮像システムである。
【００８５】
光学系６０１は、レンズと、光学フィルタであるＩＲカットフィルタおよび光学ローパスフィルタと、を含み、通過する光を撮像部６０２の撮像素子上に光学像として結像させるものである。
【００８６】
撮像部６０２は、撮像素子と、電気信号増幅器と、Ａ／Ｄ変換器と、撮像素子コントローラと、を含み、光学系６０１により撮像素子上に結像された光学像を光電変換して、光電変換された各画素の信号を電気信号増幅器により増幅し、増幅されたアナログの信号をＡ／Ｄ変換器によりデジタル信号に変換し、さらに撮像素子コントローラにより画像処理部６０３へ出力するものである。
【００８７】
画像処理部６０３は、撮像部６０２から入力された画像信号を色毎にノイズ低減して、表示部６０４と記録部６０５と出力部６０６とへ出力するものである。
【００８８】
表示部６０４は、このデジタルカメラにより撮像され画像処理部６０３から入力された画像信号やその他の各種情報を表示するためのものであり、例えば液晶モニタとして構成されている。
【００８９】
記録部６０５は、画像処理部６０３から入力された画像情報を記録媒体へ記録するものである。
【００９０】
出力部６０６は、画像処理部６０３または記録部６０５から入力された画像情報などを、外部の装置等へ出力するものである。
【００９１】
次に、図１０は図９における画像処理部６０３の構成をより詳細に示すブロック図、図１１は図１０におけるノイズ低減処理部１００の構成をより詳細に示すブロック図である。
【００９２】
画像処理部６０３は、図１０に示すように、色信号分離部７０１と、ノイズ低減処理部１００と、を有して構成されている。
【００９３】
色信号分離部７０１は、撮像部６０２から入力された画像信号を、ＲＧＢの各色信号に分離して、ノイズ低減処理部１００へ出力するものである。
【００９４】
ノイズ低減処理部１００は、図１１に示すように、フィルタリング演算部１０１と、コアリング演算部１０２と、を含んで構成されていて、図１に示したものと同様である。このノイズ低減処理部１００は、色信号分離部７０１により分離された色信号毎に、上述したようにノイズ抑圧処理を行って、ノイズ低減後の各色信号を表示部６０４と記録部６０５と出力部６０６とへそれぞれ出力する。
【００９５】
このような実施形態１によれば、注目画素と周辺画素との相関を検出して、検出した相関に基づきフィルタ係数を適応的に変化させて平滑化フィルタリングを行っているために、微細領域の構造やエッジを保存した平滑化モデルを生成することができる。
【００９６】
そして、エッジや微細領域の鮮鋭度を保存した平滑化モデルを用いてコアリング処理することにより、微細領域の構造やエッジをなまらせることなく、エッジや微細領域付近のノイズを十分に低減することが可能となる。
【００９７】
さらに、画素値乖離度Ｄ（ｉ，ｊ）や位置乖離度ｒ（ｉ，ｊ）の算出を、加算、減算、絶対値、２乗、平方根といった比較的簡単な演算の組み合わせを用いて行うようにしているために、処理の負荷が小さくなる。
【００９８】
加えて、画素値乖離度Ｄ（ｉ，ｊ）と位置乖離度ｒ（ｉ，ｊ）とを乗算したものにチューニング値ｔｕｎｅを加算し、さらにそれの逆数をとったものを相関指標値Ｃｏｒ（ｉ，ｊ）として、この相関指標値Ｃｏｒ（ｉ，ｊ）に基づき周辺画素のフィルタ係数を算出するとともに、画素値乖離度Ｄ（ｉ，ｊ）に基づき注目画素のフィルタ係数を算出しているために、乗算、加算、除算の組み合わせという比較的簡単な処理により演算を行うことが可能となる。
【００９９】
また、平滑化フィルタリングの係数の算出において、位置乖離度ｒ（ｉ，ｊ）を使用することなく、画素値乖離度Ｄ（ｉ，ｊ）のみに基づいてフィルタ係数を算出するようにしても良い。この場合においても、前述した微細領域の構造やエッジを保存した平滑化モデル信号を生成する機能を果たすことが十分に可能であり、さらに、演算処理をより一層単純化することも可能となる。
【０１００】
こうして、平滑化モデルを算出するために必要な処理の負荷が比較的小さいために、撮像システムに搭載するためのハードウェア化を図ることが可能となる。
【０１０１】
［実施形態２］
図１２および図１３は本発明の実施形態２を示したものであり、図１２はフィルタリング演算部の構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１０２】
本実施形態のノイズ低減処理部１００の構成は、図１に示したものと同様であり、フィルタリング演算部１０１の内部構成が上述した実施形態１とはやや異なっている。
【０１０３】
すなわち、フィルタリング演算部１０１は、図１２に示すように、メモリ２０１と、距離算出部２０２と、差分算出部２０３と、メモリ２０４と、メモリ２０５と、チューニング定数記憶部２０６と、周辺画素係数算出部２０７と、注目画素係数算出部２０８と、メモリ２０９と、畳み込み演算部２１０と、を有するとともに、さらに、領域類似判定手段たる領域類似判定部４０１を有して構成されている。
【０１０４】
メモリ２０１は、畳み込み演算部２１０へ接続されるとともに、さらに、領域類似判定部４０１へ接続されている。領域類似判定部４０１は、距離算出部２０２と、差分算出部２０３と、メモリ２０９と、へ接続されている。
【０１０５】
続いて、図１２に示したような構成のフィルタリング演算部１０１の作用について、図１３に沿って説明する。図１３は、フィルタリング演算部１０１の作用を示すフローチャートである。
【０１０６】
フィルタリング処理が可能となる所定ライン分の画素がメモリ２０１に格納されたところで、例えば図４に示したような、注目画素（画素位置（ｘ，ｙ））と周辺画素（画素位置（ｘ＋ｉ，ｙ＋ｊ））とを含む注目領域の画素値が抽出され、領域類似判定部４０１と畳み込み演算部２１０とへ出力される（ステップＳ３０１）。
【０１０７】
領域類似判定部４０１は、抽出された注目領域内の画素のパターンの判別を行う（ステップＳ３０２）。
【０１０８】
そして、領域類似判定部４０１は、注目領域内の画素のパターンを以前に処理した隣接領域内の画素のパターンと比較して、類似性が高いか低いかを判定する（ステップＳ３０３）。
【０１０９】
ここで類似性が低いと判定した場合には、領域類似判定部４０１は、注目領域の各画素を距離算出部２０２および差分算出部２０３へ出力する。これにより、上述した実施形態１と同様にして、フィルタ係数としての重み係数Ｗcenter，Ｗ（ｉ，ｊ）の算出処理が行われる（ステップＳ３０４）。なお、このステップＳ３０４におけるフィルタ係数の算出処理は、図７のステップＳ１０２からステップＳ１１０までに示した処理と同様である。
【０１１０】
このようにして算出された各重み係数Ｗcenter、Ｗ（ｉ，ｊ）は、メモリ２０９に格納される（ステップＳ３０５）。
【０１１１】
一方、ステップＳ３０３において、領域類似判定部４０１が注目領域内の画素のパターンと以前に処理した隣接領域内の画素のパターンとの類似性が高いと判定した場合には、ステップＳ３０４およびステップＳ３０５の処理を行うことなく（すなわち、フィルタ係数算出処理を省略して）、既にメモリ２０９に記憶されている以前に処理した隣接領域のフィルタ係数を、そのまま以下の平滑化処理に使用する。
【０１１２】
すなわち、ステップＳ３０５の処理が終了するか、またはステップＳ３０３において類似性が高いと判定された場合には、図７のステップＳ１１１に示した処理と同様に、メモリ２０９に格納されている重み係数ＷcenterおよびＷ（ｉ，ｊ）と、領域内の注目画素値Ｐ（ｘ，ｙ）および周辺画素値Ｐ（ｘ＋ｉ，ｙ＋ｊ）とのフィルタ演算である畳み込み演算を上述した数式１０に示すように行って、平滑化モデル信号である平滑化モデル画素値Ｐ’（ｘ，ｙ）を算出する（ステップＳ３０６）。
【０１１３】
そして、畳み込み演算部２１０は、算出した平滑化モデル画素値Ｐ’（ｘ，ｙ）をコアリング演算部１０２へ出力する（ステップＳ３０７）。
【０１１４】
なお、上述したような、現在設定されている注目領域内の画素のパターンと以前に処理した隣接領域内の画素のパターンとの比較は、１つ前に処理した領域に対して行うだけでなく、過去に処理した複数の領域に対して行うようにしても構わない。ただし、この場合には、比較対象とする分の過去のフィルタ係数を、メモリ２０９内に保持しておく必要がある。これにより、パターン類似のヒット率を上げて、処理負荷の軽減をより図ることが可能となる。
【０１１５】
また、本実施形態のノイズ低減処理部１００も、上述した実施形態１と同様に、デジタルカメラ等の撮像システムに適用することが可能である。
【０１１６】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、フィルタリング演算においてフィルタ係数を算出する際に、抽出された注目領域の画素値のパターンを検出して、以前にフィルタ係数を算出した注目領域のパターンと類似する場合には、新たなフィルタ係数の算出を省略するとともに、以前に算出したフィルタ係数を適用するようにしたために、フィルタリング演算処理の負荷の軽減と処理の高速化とを図ることが可能となる。
【０１１７】
［実施形態３］
図１４および図１５は本発明の実施形態３を示したものであり、図１４はノイズ低減処理部の構成を示すブロック図である。この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１１８】
本実施形態は、相関指標値Ｃｏｒ（ｉ，ｊ）における相関関連値の影響度を調整するためのチューニング値を、可変に制御することができるようにしたものとなっている。
【０１１９】
すなわち、本実施形態のノイズ低減処理部１００は、フィルタリング演算部１０１と、コアリング演算部１０２と、を有するとともに、さらに、入力画像を記憶するためのフレームメモリ５０１と、入力ＳＮ算出手段たる入力ＳＮ算出部５０２と、ノイズ低減後の画像を記憶するためのフレームメモリ５０３と、ノイズ低減後ＳＮ算出手段たるＳＮ改善量判定部５０４と、チューニング調整手段たるチューニング調整部５０５と、を有して構成されている。
【０１２０】
ここに、入力原画像は、フィルタリング演算部１０１とコアリング演算部１０２とへ入力されるとともに、フレームメモリ５０１を介してさらに、入力ＳＮ算出部５０２へも入力されるようになっている。入力ＳＮ算出部５０２は、ＳＮ改善量判定部５０４へ接続されている。コアリング演算部１０２は、フレームメモリ５０３を介してＳＮ改善量判定部５０４へ接続されている。ＳＮ改善量判定部５０４は、チューニング調整部５０５を介して、フィルタリング演算部１０１へ接続されている。また、ＳＮ改善量判定部５０４は、出力画像を出力するようになっている。
【０１２１】
続いて、図１４に示したような構成のノイズ低減処理部１００の作用について、図１５に沿って説明する。図１５は、ノイズ低減処理部１００の作用を示すフローチャートである。
【０１２２】
この処理を開始すると、入力原画像がフレームメモリ５０１に格納される（ステップＳ４０１）。入力ＳＮ算出部５０２は、フレームメモリ５０１に格納された入力原画像の画像信号から平坦領域を抽出して（ステップＳ４０２）、抽出した平坦領域内の各画素の画素値の分散に基づき入力ＳＮ値ＳＮinを算出し、算出したＳＮ値ＳＮinをＳＮ改善量判定部５０４へ出力する。ＳＮ改善量判定部５０４は、入力されたＳＮ値ＳＮinに基づき、チューニング調整部５０５を制御することにより、チューニング値ｔｕｎｅの初期値をチューニング定数記憶部２０６に設定させる（ステップＳ４０３）。
【０１２３】
また、フィルタリング演算部１０１は、図７に示した処理と同様にして、注目領域の入力画像信号（Ｐ（ｘ，ｙ）およびＰ（ｘ＋ｉ，ｙ＋ｊ））に対してフィルタリング演算を行うことにより平滑化し、平滑化モデル信号である平滑化モデル画素値Ｐ’（ｘ，ｙ）をコアリング演算部１０２へ出力する（ステップＳ４０４）。
【０１２４】
コアリング演算部１０２は、図８に示した処理と同様にして、入力画像信号である注目画素値Ｐ（ｘ，ｙ）と平滑化モデル信号である平滑化モデル画素値Ｐ’（ｘ，ｙ）とに基づき、コアリング処理を行ってノイズを抑圧し、最終出力信号Ｐoutの候補となる出力信号Ｐoutを算出する（ステップＳ４０５）。
【０１２５】
コアリング演算部１０２の出力信号Ｐoutはフレームメモリ５０３に格納され（ステップＳ４０６）、ＳＮ改善量判定部５０４は、コアリング演算部１０２の出力信号Ｐoutから、入力画像信号のＳＮ値ＳＮinを算出した平坦領域と同じ領域を抽出して（ステップＳ４０７）、この領域内の各画素の画素値の分散に基づき出力ＳＮ値ＳＮoutを算出する。そして、ＳＮ改善量判定部５０４は、出力ＳＮ値ＳＮoutと、入力ＳＮ算出部５０２から入力された入力ＳＮ値ＳＮinと、の差分を次の数式１２に示すように算出し、ＳＮ改善量ΔＳＮとする（ステップＳ４０８）。  
［数１２］
2008205737.tif 000026
【０１２６】
次に、ＳＮ改善量判定部５０４は、ステップＳ４０８により算出したＳＮ改善量ΔＳＮと、予め設定された目標ＳＮ改善量ΔＳＮgoalと、の差分を算出して（ステップＳ４０９）、算出した差分の絶対値が一定の閾値Ｔｈ以下であるか否かを判定する（ステップＳ４１０）。
【０１２７】
ここで、差分の絶対値が一定の閾値Ｔｈを越えると判定した場合には、ＳＮ改善量判定部５０４は、ＳＮ改善量ΔＳＮと目標ＳＮ改善量ΔＳＮgoalとをチューニング調整部５０５へ出力する。すると、チューニング調整部５０５は、まず、ＳＮ改善量ΔＳＮが目標ＳＮ改善量ΔＳＮgoalよりも小さいか否かを判定する（ステップＳ４１１）。
【０１２８】
ここで、チューニング調整部５０５は、ＳＮ改善量ΔＳＮが目標ＳＮ改善量ΔＳＮgoalよりも小さいと判定した場合には、フィルタリング演算に用いるチューニング値ｔｕｎｅを増加させる（ステップＳ４１２）。チューニング値ｔｕｎｅを増加させると、相関指標値Ｃｏｒ（ｉ，ｊ）における相関関連値の影響度が小さくなるために、フィルタ係数がより均一に近づき、平滑化効果が強くなって、エッジや微細領域の鮮鋭度を保存する効果は弱くなる。
【０１２９】
また、チューニング調整部５０５は、ＳＮ改善量ΔＳＮが目標ＳＮ改善量ΔＳＮgoalよりも大きいと判定した場合には、フィルタリング演算に用いるチューニング値ｔｕｎｅを減少させる（ステップＳ４１３）。チューニング値ｔｕｎｅを減少させると、相関指標値Ｃｏｒ（ｉ，ｊ）における相関関連値の影響度が大きくなるために、相関関連値により大きく依存する重み付けが行われることになり、平滑化効果が弱くなって、エッジや微細領域の鮮鋭度を保存する効果は強くなる。
【０１３０】
そして、チューニング調整部５０５は、ステップＳ４１２またはステップＳ４１３の処理により算出したチューニング値ｔｕｎｅを、新たなチューニング値としてチューニング定数記憶部２０６に設定する（ステップＳ４１４）。その後、ステップＳ４０４に戻って、上述したようなノイズ低減処理を繰り返して行う。
【０１３１】
このような処理を行うことにより、ステップＳ４１０において、ＳＮ改善量ΔＳＮと目標ＳＮ改善量ΔＳＮgoalとの差分の絶対値が一定の閾値Ｔｈ以下であると判定した場合には、ＳＮ改善量判定部５０４は、コアリング演算部１０２からの出力信号Ｐoutをそのまま最終出力信号Ｐoutとして出力する（ステップＳ４１５）。
【０１３２】
なお、本実施形態のノイズ低減処理部１００も、上述した実施形態１，２と同様に、デジタルカメラ等の撮像システムに適用することが可能である。
【０１３３】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、画像に応じてチューニング値を適応的に変化させるようにしたために、平滑化効果と、エッジや微細領域の鮮鋭度を保存する効果と、のバランスを制御することができる。
【０１３４】
そして、予め設定された目標ＳＮ改善量を達成するまで、チューニング値を変化させながらノイズ低減処理を自動的に繰り返すようにしたために、最適な平滑化強度にチューニングされた出力画像を得ることができる。
【０１３５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０１３６】
本発明は、画像のノイズ低減に用いる平滑化モデルを算出する撮像システム、画像処理プログラム、画像処理方法に好適に利用することができる。
【図面の簡単な説明】
【０１３７】
【図１】本発明の実施形態１におけるノイズ低減処理部の構成を示すブロック図。
【図２】上記実施形態１におけるフィルタリング演算部の構成を示すブロック図。
【図３】上記実施形態１におけるコアリング演算部の構成を示すブロック図。
【図４】上記実施形態１において、注目領域における注目画素と各周辺画素との関係の一例を示す図。
【図５】上記実施形態１において、注目画素の重み係数と周辺画素の重み係数との関係が画素値乖離度の総和に依存して変化する様子を示す線図。
【図６】上記実施形態１において、コアリング処理によるエッジ部のノイズ抑圧の様子を示す図。
【図７】上記実施形態１におけるフィルタリング演算部の作用を示すフローチャート。
【図８】上記実施形態１におけるコアリング処理部の作用を示すフローチャート。
【図９】上記実施形態１におけるデジタルカメラの構成を示すブロック図。
【図１０】上記実施形態１の図９における画像処理部の構成をより詳細に示すブロック図。
【図１１】上記実施形態１の図１０におけるノイズ低減処理部の構成をより詳細に示すブロック図。
【図１２】本発明の実施形態２におけるフィルタリング演算部の構成を示すブロック図。
【図１３】上記実施形態２におけるフィルタリング演算部の作用を示すフローチャート。
【図１４】本発明の実施形態３におけるノイズ低減処理部の構成を示すブロック図。
【図１５】上記実施形態３におけるノイズ低減処理部の作用を示すフローチャート。
【図１６】従来のフィルタリング処理における注目画素と周辺画素との重み係数の相関を概念的に示す図。
【図１７】従来のコアリング処理においてエッジ部のノイズが残留する様子を概念的に示す図。
【符号の説明】
【０１３８】
１００…ノイズ低減処理部（撮像システムの少なくとも一部）
１０１…フィルタリング演算部（平滑化信号算出手段、注目領域設定手段）
１０２…コアリング演算部（コアリング演算手段）
２０１，２０４，２０５，２０９…メモリ
２０２…距離算出部（平滑化信号算出手段、位置乖離度算出手段）
２０３…差分算出部（平滑化信号算出手段、画素値乖離度算出手段）
２０６…チューニング定数記憶部
２０７…周辺画素係数算出部（平滑化信号算出手段、相関関連値演算手段、相関指標値演算手段、フィルタ係数演算手段）
２０８…注目画素係数算出部（平滑化信号算出手段、フィルタ係数演算手段）
２１０…畳み込み演算部（平滑化信号算出手段、フィルタ演算手段）
３０１…ノイズモデルＬＵＴ（ノイズ量推定手段）
３０２…ＩＳＯ感度記憶部（ノイズ量推定手段）
３０３…ゲイン制御部（ノイズ量推定手段）
３０４…ノイズ量補正部（ノイズ低減手段）
３０５…コアリング処理部（ノイズ低減手段）
４０１…領域類似判定部（領域類似判定手段）
５０１…フレームメモリ
５０２…入力ＳＮ算出部（入力ＳＮ算出手段）
５０３…フレームメモリ
５０４…ＳＮ改善量判定部（ノイズ低減後ＳＮ算出手段）
５０５…チューニング調整部（チューニング調整手段）
６０１…光学系
６０２…撮像部（撮像手段）
６０３…画像処理部
６０４…表示部
６０５…記録部
６０６…出力部
７０１…色信号分離部
【図１】
2008205737.tif 000036
【図２】
2008205737.tif 000037
【図３】
2008205737.tif 000038
【図４】
2008205737.tif 000039
【図５】
2008205737.tif 000040
【図６】
2008205737.tif 000041
【図７】
2008205737.tif 000042
【図８】
2008205737.tif 000043
【図９】
2008205737.tif 000044
【図１０】
2008205737.tif 000045
【図１１】
2008205737.tif 000046
【図１２】
2008205737.tif 000047
【図１３】
2008205737.tif 000048
【図１４】
2008205737.tif 000049
【図１５】
2008205737.tif 000050
【図１６】
2008205737.tif 000051
【図１７】
2008205737.tif 000052