(57)【特許請求の範囲】
【請求項１】
撮像系から取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、
前記映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する局所領域抽出手段と、
前記局所領域に対してランダム性のノイズ低減処理を行う第１のノイズ低減手段と、
前記局所領域に対してインパルス性のノイズ低減処理を行う第２のノイズ低減手段と、
前記第１のノイズ低減手段でノイズ低減処理された映像信号と前記第２のノイズ低減手段でノイズ低減処理された映像信号とを合成する合成手段
を有することを特徴とするノイズ低減システム。
【請求項２】
請求項１に記載のノイズ低減システムにおいて、
前記第１のノイズ低減手段は、
前記局所領域から低周波成分を抽出する低周波抽出手段と、
前記低周波成分に基づき前記注目画素に対するノイズ量を推定するノイズ推定手段と、
前記低周波成分および前記ノイズ量の少なくとも１つに基づき前記注目画素に対して平滑化処理を行う平滑化手段
を有することを特徴とするノイズ低減システム。
【請求項３】
請求項１または２に記載のノイズ低減システムにおいて、
前記第２のノイズ低減手段は、
前記局所領域の各画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出手段と、
前記指標係数に基づき前記局所領域の各画素に関する重み係数を算出する重み係数算出手段と、
前記重み係数に基づき前記局所領域に対してフィルタ処理を行う重み付けフィルタ手段
を有することを特徴とするノイズ低減システム。
【請求項４】
請求項１または２に記載のノイズ低減システムにおいて、
前記第２のノイズ低減手段は、
前記局所領域の注目画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出手段と、
前記指標係数に基づき前記局所領域に対して非線形フィルタ処理を行う非線形フィルタ手段
を有することを特徴とするノイズ低減システム。
【請求項５】
請求項３または４に記載のノイズ低減システムにおいて、
前記合成手段は、
前記指標係数が所定の第１の閾値以下の場合に前記第１のノイズ低減手段でノイズ低減処理された映像信号を選択する第1の選択手段と、
前記指標係数が所定の第２の閾値以上の場合に前記第２のノイズ低減手段でノイズ低減処理された映像信号を選択する第２の選択手段と、
前記指標係数が前記第１の閾値より大きく前記第２の閾値より小さい場合には前記第１のノイズ低減手段でノイズ低減処理された映像信号と前記第２のノイズ低減手段でノイズ低減処理された映像信号を重み付き加算する重み付き加算手段
を有することを特徴とするノイズ低減システム。
【請求項６】
請求項２に記載のノイズ低減システムにおいて、
前記低周波抽出手段は、
前記局所領域から平均値を算出する平均値算出手段
を有することを特徴とするノイズ低減システム。
【請求項７】
請求項２に記載のノイズ低減システムにおいて、
前記低周波抽出手段は、
前記局所領域に対してローパスフィルタを適用するローパスフィルタ手段
を有することを特徴とするノイズ低減システム。
【請求項８】
請求項２に記載のノイズ低減システムにおいて、
前記低周波抽出手段は、
前記局所領域に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段
を有することを特徴とするノイズ低減システム。
【請求項９】
請求項２に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の低周波成分に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記局所領域の低周波成分および前記選択されたパラメータに基づき補間演算により前記注目画素のノイズ量を求める補間手段
を有することを特徴とするノイズ低減システム。
【請求項１０】
請求項２に記載のノイズ低減システムにおいて、
前記ノイズ推定手段は、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段で得られない情報に関して標準値を付与する付与手段と、
前記収集手段または前記付与手段からの情報および前記局所領域の低周波成分を入力として前記注目画素のノイズ量を出力するノイズテーブル手段
を有することを特徴とするノイズ低減システム。
【請求項１１】
請求項２に記載のノイズ低減システムにおいて、
前記平滑化手段は、
前記局所領域の低周波成分および前記ノイズ量に基づき前記注目画素にコアリング処理を行うコアリング手段
を有することを特徴とするノイズ低減システム。
【請求項１２】
請求項２に記載のノイズ低減システムにおいて、
前記平滑化手段は、
所定の周波数特性を有する複数のフィルタを記録するフィルタ記録手段と、
前記ノイズ量に基づき前記フィルタを選択するフィルタ選択手段と、
前記局所領域に対して前記選択されたフィルタを用いてフィルタ処理を行う周波数フィルタ手段
を有することを特徴とするノイズ低減システム。
【請求項１３】
請求項３または４に記載のノイズ低減システムにおいて、
前記指標係数算出手段は、
指標係数を算出すべき画素とその近傍に位置する所定数の画素間で差の絶対値を算出する差分手段と、
前記差の絶対値の総和を算出する総和算出手段
を有することを特徴とするノイズ低減システム。
【請求項１４】
請求項３または４に記載のノイズ低減システムにおいて、
前記指標係数算出手段は、
指標係数を算出すべき画素とその近傍に位置する所定数の画素間で差の絶対値を算出する差分手段と、
前記差の絶対値を大きさの順に並び替えるソート手段と、
前記並び替えられた差の絶対値に関して小さい値から所定数の総和を算出する総和算出手段
を有することを特徴とするノイズ低減システム。
【請求項１５】
請求項３に記載のノイズ低減システムにおいて、
前記重み係数算出手段は、
前記指標係数に基づき重み係数を出力する重み係数テーブル手段
を有することを特徴とするノイズ低減システム。
【請求項１６】
請求項４に記載のノイズ低減システムにおいて、
前記非線形フィルタ手段は、
前記非線形フィルタ処理としてメディアンフィルタ処理を用いること
を特徴とするノイズ低減システム。
【請求項１７】
請求項１から１６のいずれか１つに記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用し、
前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
前記色信号ごとに前記局所領域抽出手段および前記第１のノイズ低減手段および前記第２のノイズ低減手段および前記合成手段を順次適用するよう制御する信号制御手段
を有することを特徴とするノイズ低減システム。
【請求項１８】
請求項１から１６のいずれか１つに記載のノイズ低減システムにおいて、
前記撮像系は色フィルタを前面に配置した撮像素子を使用し、
前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、
前記輝度信号および色差信号ごとに前記局所領域抽出手段および前記第１のノイズ低減手段および前記第２のノイズ低減手段および前記合成手段を順次適用するよう制御する信号制御手段を有し、
前記第２のノイズ低減手段および前記合成手段は前記輝度信号の処理結果に基づき前記色差信号を処理する
ことを特徴とするノイズ低減システム。
【請求項１９】
請求項１７または１８に記載のノイズ低減システムにおいて、
前記撮像素子は、
Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した撮像素子またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した撮像素子である
ことを特徴とするノイズ低減システム。
【請求項２０】
撮像系と、
前記撮像系によって撮影された映像信号を取り込む映像信号記憶手段と、
請求項１から１９のいずれか１つに記載のノイズ低減システムを有し、
前記取り込まれた映像信号に対し前記ノイズ低減システムによりノイズ低減処理を行う
ことを特徴とする撮像システム。
【請求項２１】
撮像系から取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減プログラムにおいて、
前記映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する局所領域抽出ステップと、
前記局所領域に対してランダム性のノイズ低減処理を行う第１のノイズ低減ステップと、
前記局所領域に対してインパルス性のノイズ低減処理を行う第２のノイズ低減ステップと、
前記第１のノイズ低減ステップでノイズ低減処理された映像信号と前記第２のノイズ低減ステップでノイズ低減処理された映像信号とを合成する合成ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項２２】
請求項２１に記載のノイズ低減プログラムにおいて、
前記第１のノイズ低減ステップは、
前記局所領域から低周波成分を抽出する低周波抽出ステップと、
前記低周波成分に基づき前記注目画素に対するノイズ量を推定するノイズ推定ステップと、
前記低周波成分および前記ノイズ量の少なくとも１つに基づき前記注目画素に対して平滑化処理を行う平滑化ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項２３】
請求項２１または２２に記載のノイズ低減プログラムにおいて、
前記第２のノイズ低減ステップは、
前記局所領域の各画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出ステップと、
前記指標係数に基づき前記局所領域の各画素に関する重み係数を算出する重み係数算出ステップと、
前記重み係数に基づき前記局所領域に対してフィルタ処理を行う重み付けフィルタステップ
を有することを特徴とするノイズ低減プログラム。
【請求項２４】
請求項２１または２２に記載のノイズ低減プログラムにおいて、
前記第２のノイズ低減ステップは、
前記局所領域の注目画素に関してインパルス性の度合いを示す指標係数を算出する指標係数算出ステップと、
前記指標係数に基づき前記局所領域に対して非線形フィルタ処理を行う非線形フィルタステップ
を有することを特徴とするノイズ低減プログラム。
【請求項２５】
請求項２３または２４に記載のノイズ低減プログラムにおいて、
前記指標係数算出ステップは、
指標係数を算出すべき画素とその近傍に位置する所定数の画素間で差の絶対値を算出する差分ステップと、
前記差の絶対値を大きさの順に並び替えるソートステップと、
前記並び替えられた差の絶対値に関して小さい値から所定数の総和を算出する総和算出ステップ
を有することを特徴とするノイズ低減プログラム。
【請求項２６】
請求項２３または２４に記載のノイズ低減プログラムにおいて、
前記合成ステップは、
前記指標係数が所定の第１の閾値以下の場合に前記第１のノイズ低減ステップでノイズ低減処理された映像信号を選択する第1の選択ステップと、
前記指標係数が所定の第２の閾値以上の場合に前記第２のノイズ低減ステップでノイズ低減処理された映像信号を選択する第２の選択ステップと、
前記指標係数が前記第１の閾値より大きく前記第２の閾値より小さい場合には前記第１のノイズ低減ステップでノイズ低減処理された映像信号と前記第２のノイズ低減ステップでノイズ低減処理された映像信号を重み付き加算する重み付き加算ステップ
を有することを特徴とするノイズ低減プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系に起因する映像信号のランダム性およびインパルス性のノイズを低減するノイズ低減処理に関する。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、ランダム性およびインパルス性のノイズに大別できる。ランダム性のノイズは、撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。一方、インパルス性のノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。
【０００３】
ランダム性およびインパルス性のノイズの低減処理に関しては、例えば特許文献１に示されるように、映像信号を複数回撮影し、これを複数のフレームメモリに記録し、同一座標上の映像信号に関して最大値と最小値を除去して平均化するまたはメディアンを取る例が開示されている。これにより、ランダム性のノイズおよび欠陥画素のように固定化されていない外因性のインパルス性のノイズを除去することが可能となり、高品位な映像信号が得られる。
【０００４】
また、特許文献２に示されるように、ランダム性のノイズ量およびインパルス性のノイズ量を推定して、両者のノイズに対して共通する一つの低減処理にてノイズ低減を行う例が開示されている。これにより、ランダム性のノイズインパルス性のノイズを除去することが可能となり、高品位な映像信号が得られる。また、一つの低減処理にてノイズ低減を行うため、ノイズ低減処理に起因する不連続性やアーティファクトの発生の少ないノイズ低減処理が可能となる。
【０００５】
さらに、欠陥画素の低減処理に関しては、例えば特許文献３に示されるように、予め計測していた欠陥画素に関して補正または生成処理を行った後、ローパスフィルタやメディアンフィルタなどの複数のノイズ低減処理の結果を重み付け加算する例が開示されている。これにより、欠陥画素の補正または生成処理に起因する不連続性やアーティファクトの発生を抑制でき、高品位な映像信号が得られる。
【特許文献１】特開2007-110445公報
【特許文献２】特開2005-318126公報
【特許文献３】特開2003-69901公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、複数の映像信号を用いるため静止領域は良好に処理できるが、動領域においては残像などの副作用が発生する課題がある。また、欠陥画素などの固定的なインパルス性のノイズは除去できないという課題がある。さらに、複数枚のフレームメモリが必要となり、システムとして高コスト化するという課題がある。
【０００７】
特許文献２では、一つの低減処理にてランダム性およびインパルス性のノイズ低減処理を行うため不連続性の発生を抑制できるが、性質の異なる両者のノイズを最適に除去することができないという課題がある。
【０００８】
特許文献３では、欠陥画素以外の画素に発生しているランダム性のノイズに対応できないという課題がある。
【０００９】
本発明は上記問題点に着目し、ランダム性およびインパルス性の両ノイズを最適に除去することにより、高品位な映像信号を得ることを目的とする。また、両ノイズに対する低減処理後の映像信号を合成することで、不連続性やアーティファクトの発生を抑制することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、撮像系から取り込まれた映像信号に対しノイズ低減処理を行うノイズ低減システムにおいて、前記映像信号からノイズ低減処理を行う注目画素を含有する局所領域を順次抽出する局所領域抽出手段と、前記局所領域に対してランダム性のノイズ低減処理を行う第１のノイズ低減手段と、前記局所領域に対してインパルス性のノイズ低減処理を行う第２のノイズ低減手段と、前記第１のノイズ低減手段でノイズ低減処理された映像信号と前記第２のノイズ低減手段でノイズ低減処理された映像信号とを合成する合成手段を有する。
【発明の効果】
【００１１】
性質の異なるランダム性のノイズとインパルス性のノイズに対して独立に低減処理を行うため、最適なノイズ低減処理が可能となり高品位な映像信号が得られる。また、両者の処理後の映像信号を合成することで異なるノイズ低減処理に起因する不連続性やアーティファクトの発生を抑制でき、高品位な映像信号が得られる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１３】
第１の実施形態
［構成］
図１は、第1の実施形態の構成図である。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、増幅器（以下、"Gain"）104にて増幅され、A/Dコンバータ（以下、"A/D"）105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して色信号分離抽出部111へ転送される。
【００１４】
バッファ106は、プリホワイトバランス調整部（以下、"PreWB部"）107,測光評価部108,合焦点検出部109へも接続されている。PreWB部107はGain104へ、測光評価部108は絞り101,CCD102,Gain104へ、合焦点検出部109はAFモータ110へ接続されている。色信号分離抽出部111は第１ノイズ低減部112および第２ノイズ低減部113へ接続されている。第１ノイズ低減部112および第２ノイズ低減部113は、合成部114,信号処理部115を介してメモリーカードなどの出力部116に接続されている。
【００１５】
マイクロコンピュータなどの制御部117は、Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,色信号分離抽出部111,第１ノイズ低減部112,第２ノイズ低減部113,合成部114,信号処理部115,出力部116と双方向に接続されている。また、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部118も制御部117に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部117へ接続されている。
【００１６】
［作用］
図１において、映像信号の流れを説明する。外部I/F部118を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号はアナログ信号として出力される。なお、第１の実施形態においてはCCD102としてベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定する。
【００１７】
図２(a)は、ベイヤー型原色フィルタの構成を示す。ベイヤー型は2×2画素を基本単位とし、赤(R),青(B)フィルタが１画素ずつ、緑(Gr,Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、第１の実施形態では処理の便宜上これをGrとGbに区別するものとする。
【００１８】
上記アナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106内の映像信号は、制御部117の制御に基づき、PreWB部107および測光評価部108および合焦点検出部109へ転送される。
【００１９】
PreWB部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【００２０】
測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度やGain104の増幅率などを制御する。
【００２１】
また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
【００２２】
次に、外部I/F部118を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ106へ転送される。本撮影は、PreWB部107にて求められた簡易ホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部117へ転送される。また、バッファ106内の映像信号は色信号分離抽出部111へ転送される。
【００２３】
色信号分離抽出部111は、制御部117の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。第１の実施形態においては、例えば図２(a)に示される10×10画素を基本単位として映像信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22,Gr22,Gb22,B22の4画素となる。
【００２４】
次に、図２(b)に示されるようにR,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、局所領域内の画素をCij（Cは色信号でC=R,Gr,Gb,B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の局所領域の場合は、注目画素はC22となる。映像信号からもれなく注目画素を抽出するために、図２(a)に示される10×10画素の基本単位は４行４列ずつ重複して順次抽出されることになる。抽出された局所領域は、第１ノイズ低減部112および第２ノイズ低減部113へ転送される。
【００２５】
第１ノイズ低減部112は、制御部117の制御に基づき、局所領域の低周波成分から注目画素C22に関するランダム性のノイズ量N22を推定する。その後、局所領域の低周波成分および推定されたノイズ量N22を用いて注目画素C22にコアリング処理を行うことでランダム性のノイズ低減処理を行う。以降は、第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN122で記述する。ランダム性のノイズ低減処理がなされた注目画素CN122は、合成部114へ転送される。
【００２６】
一方、第２ノイズ低減部113は、制御部117の制御に基づき、局所領域からインパルス性のノイズの度合いを示す指標係数ICを注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33に関して算出する。以後、注目画素C22の指標係数をIC0で、近傍８画素の指標係数をIC1〜IC8で、指標係数全体をICk（k=0〜8）で表記する。また、必要に応じて注目画素C22をC0で、近傍８画素をC1〜C8で、全９画素をCkとして簡略化して表記する。
【００２７】
その後、指標係数ICkを用いて注目画素およびその近傍８画素の重み係数を求め、重み付けフィルタ処理を行うことでインパルス性のノイズ低減処理を行う。以降は、第２ノイズ低減部113にてインパルス性のノイズ低減処理がなされた注目画素をCN222で記述する。注目画素C22の指標係数IC0およびインパルス性のノイズ低減処理がなされた注目画素をCN222は、合成部114へ転送される。
【００２８】
合成部114は、制御部117の制御に基づき、第２ノイズ低減部113から転送される指標係数IC0を用いて第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN122およびインパルス性のノイズ低減処理がなされた注目画素CN222を合成処理し、合成後の注目画素CN22を求める。
【００２９】
【数１】
0004465002.tif 000002
ここで、Th1,Th2は所定の閾値を、w=0〜１は合成のための合成係数を意味する。合成後の注目画素CN22は、信号処理部115へ転送される。上記色信号分離抽出部111,第１ノイズ低減部112,第２ノイズ低減部113,合成部114における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。
【００３０】
信号処理部115では、制御部117の制御に基づき、合成処理がなされたノイズ低減後の映像信号に対して、公知の補間処理，強調処理および圧縮処理などを行い、出力部116へ転送する。
【００３１】
出力部116は、磁気ディスクやメモリーカードなどの記録媒体に映像信号を記録保存する。
【００３２】
図３は第１ノイズ低減部112の構成の一例を示すもので、バッファ200,平均値算出部201,ゲイン算出部202,標準値付与部203,パラメータ用ROM204,パラメータ選択部205,ノイズ補間部206,コアリング部207からなる。
【００３３】
色信号分離抽出部111は、バッファ200を介して平均値算出部201へ接続している。平均値算出部201は、パラメータ選択部205およびコアリング部207へ接続している。ゲイン算出部202,標準値付与部203,パラメータ用ROM204は、パラメータ選択部205へ接続している。パラメータ選択部205は、ノイズ補間部206を介してコアリング部207へ接続している。コアリング部207は、合成部114へ接続している。制御部117は、平均値算出部201,ゲイン算出部202,標準値付与部203,パラメータ選択部205,ノイズ補間部206,コアリング部207と双方向に接続されている。
【００３４】
色信号分離抽出部111から図２(b)に示されるように、R,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域が順次バッファ200へ転送されてくる。
【００３５】
平均値算出部201は、制御部117の制御に基づき、(2)式に示されるように局所領域の平均値C_AV（C= R,Gr,Gb,B）を算出する。
【００３６】
【数２】
0004465002.tif 000003
算出された平均値C_AVはパラメータ選択部205へ、平均値C_AVおよび注目画素C22はコアリング部207へ転送される。
【００３７】
ゲイン算出部202は、制御部117から転送されるISO感度および露光条件に関する情報に基づきGain104における増幅量を求め、パラメータ選択部205へ転送する。また、制御部117は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部205へ転送する。
【００３８】
パラメータ選択部205は、平均値算出部201からの局所領域の平均値，ゲイン算出部202からのゲインの情報，制御部117からの温度情報に基づき注目画素C22に関するランダム性のノイズ量N22を推定する。
【００３９】
図４は、ランダム性のノイズ量の推定に関する説明図である。図４(a)は、信号レベルLに対するランダム性のノイズ量Nをプロットしたもので、信号レベルに対して２次曲線的に増加している。図４(a)を２次関数でモデル化すると(3)式が得られる。
【００４０】
【数３】
0004465002.tif 000004
ここで、α,β,γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図４(a)は、一例としてある温度下においてゲインに関連する３種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の曲線は(3)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、
【００４１】
【数４】
0004465002.tif 000005
となる。
【００４２】
ここで、αgt,βgt,γgtは定数項である。ただし、(4)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図４(b)に示すようなモデルの簡略化を行う。図４(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln, Nn)で表す。ここで、nは変曲点の数を示す。
【００４３】
また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数kgtを乗算することで行われる。上記基準ノイズモデルの座標データ(Ln, Nn)および補正係数kgtは、事前に撮像系の特性を計測することで容易に得ることができる。基準ノイズモデルの座標データ(Ln, Nn)および補正係数kgtは、パラメータ用ROM204に記録される。
【００４４】
図４(c)は、図４(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln, Nn)と(Ln+1, Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
【００４５】
【数５】
0004465002.tif 000006
次に補正係数kgtを乗算することで、ノイズ量Nを求める。
【００４６】
【数６】
0004465002.tif 000007
パラメータ選択部205は、平均値算出部201からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部202からのゲイン情報からゲインgを、制御部117からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)をパラメータ用ROM204から探索し、これをノイズ補間部206へ転送する。さらに、補正係数kgtをパラメータ用ROM204から探索し、これをノイズ補間部206へ転送する。
【００４７】
ノイズ補間部206は、制御部117の制御に基づき、パラメータ選択部205からの信号レベルlおよび区間の座標データ(Ln, Nn)と(Ln+1, Nn+1)から(5)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出する。その後、パラメータ選択部205からの補正係数kgから(6)式に基づきノイズ量Nを算出する。算出されたノイズ量Nは、図２(b)に示される局所領域の場合、注目画素C22のノイズ量N22としてコアリング部207へ転送される。
【００４８】
なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部203に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【００４９】
コアリング部207は、制御部117の制御に基づき、平均値算出部201から注目画素C22および平均値C_AVをノイズ補間部206からノイズ量N22を読み込み、注目画素C22に関してコアリング処理を行いランダム性のノイズ低減処理がなされた注目画素をCN122を求める。
【００５０】
【数７】
0004465002.tif 000008
ランダム性のノイズ低減処理がなされた注目画素をCN122は、合成部114へ転送される。
【００５１】
なお、上記構成では局所領域の低周波成分として平均値算出を、ノイズ推定処理に補間処理を用いる構成となっていたが、このような構成に限定される必要はない。例えば、局所領域の低周波成分としてローパスフィルタ処理を、ノイズ推定処理にルックアップテーブルを用いる構成も可能である。
【００５２】
図５は、第１ノイズ低減部112の別構成の一例を示すもので、図２に示す平均値算出部201,パラメータ用ROM204,パラメータ選択部205,ノイズ補間部206を削除し、ローパスフィルタ部208,ノイズテーブル部209を追加した構成になっている。基本構成は図３に示す第１ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００５３】
色信号分離抽出部111は、バッファ200を介してローパスフィルタ部208へ接続している。ローパスフィルタ部208は、ノイズテーブル部209およびコアリング部207へ接続している。ゲイン算出部202,標準値付与部203は、ノイズテーブル部209へ接続している。ノイズテーブル部209は、コアリング部207へ接続している。制御部117は、ローパスフィルタ部208,ノイズテーブル部209と双方向に接続されている。
【００５４】
ローパスフィルタ部208は、制御部117の制御に基づき、所定の周波数特性を有するローパスフィルタ処理を局所領域に対して行い、局所領域の低周波成分C_LO（C= R,Gr,Gb,B）を算出する。算出された低周波成分C_LOはノイズテーブル部209へ、低周波成分C_LOおよび注目画素C22はコアリング部207へ転送される。ローパスフィルタ部208からの局所領域の低周波成分C_LO、ゲイン算出部202からのゲイン情報、制御部117からの温度情報はノイズテーブル部209へ転送される。
【００５５】
ノイズテーブル部209は、ローパスフィルタ部208からの局所領域に関する低周波成分，ゲイン算出部202からのゲイン情報，制御部117からの温度情報に基づき注目画素C22のノイズ量N22を出力する。ノイズテーブル部209は、温度，信号値レベル，ゲインとノイズ量間の関係を記録したルックアップテーブルで、(4)式に示される関係に基づき構築される。ノイズテーブル部209で得られたノイズ量N22は、コアリング部207へ転送される。
【００５６】
コアリング部207は、制御部117の制御に基づき、ローパスフィルタ部208から注目画素C22および低周波成分C_LOをノイズテーブル部209からノイズ量N22を読み込み、注目画素C22に関してコアリング処理を行いランダム性のノイズ低減処理がなされた注目画素をCN122を求める。このコアリング処理は、(7)式における平均値C_AVを低周波成分C_LOに置換することで行われる。
【００５７】
図６は第２ノイズ低減部113の構成の一例を示すもので、バッファ300,差分算出部301,バッファ302,ソート部303,総和算出部304,重み係数テーブル部305,バッファ306,重み付けフィルタ部307からなる。
【００５８】
色信号分離抽出部111は、バッファ300を介して差分算出部301および重み付けフィルタ部307へ接続している。差分算出部301は、バッファ302,ソート部303を介して総和算出部304へ接続している。総和算出部304は、重み係数テーブル部305および合成部114へ接続している。重み係数テーブル部305は、バッファ306を介して重み付けフィルタ部307へ接続している。重み付けフィルタ部307は、合成部114へ接続している。制御部117は、差分算出部301,ソート部303,総和算出部304,重み係数テーブル部305,重み付けフィルタ部307と双方向に接続されている。
【００５９】
色信号分離抽出部111から図２(b)に示されるように、R,Gr,Gb,Bの色フィルタごとに5×5画素の局所領域が順次バッファ300へ転送されてくる。
【００６０】
差分算出部301は、制御部117の制御に基づき、注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33の計９画素に関して、各々の近傍８画素との差の絶対値を算出する。
【００６１】
図７(a)は、局所領域における注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33の配置を示す。差分算出部301は、この９画素の個々に対して、近傍８画素との差の絶対値Δを算出する。図７(b)は、差の絶対値Δを算出する画素の配置を示す。例えばC11画素の場合、差の絶対値Δは(8)式で示される。
【００６２】
【数８】
0004465002.tif 000009
以降は、算出された８個の差の絶対値をΔl（l=1〜8）で表記する。上記差の絶対値Δlは、バッファ302に転送される。
【００６３】
ソート部303は、制御部117の制御に基づき、バッファ302の差の絶対値をΔlを昇順にソートし、小さい方から所定数、第１の実施形態においては４個を総和算出部304へ転送する。以降は、昇順にソートされた差の絶対値をSΔm（m=1〜8）で表記する。
【００６４】
総和算出部304は、制御部117の制御に基づき、ソート部303から転送される昇順にソートされた４個の差の絶対値の総和を求める。この総和は、指標指数ICとなる。
【００６５】
【数９】
0004465002.tif 000010
欠陥画素のようなインパルス性のノイズでは、近傍８画素全ての画素間で差が大きいため指標指数ICは大きな値となる。一方、平坦部は全ての画素間で差が小さいため指標指数ICは小さな値となる。また、直線状の単純なエッジ部では、近傍８画素の半分が小さな値を、半分が大きな値をとる。指標指数ICは差の小さなものを４つ選択して積算するため、単純なエッジ部では小さな値をとる。複雑なエッジ構造では大きな値となるが、インパルス性のノイズよりは小さな値をとる。以上から、指標指数ICによりインパルス性のノイズとエッジ、平坦部を分離することができる。
【００６６】
重み係数テーブル部305は、指標係数ICに基づき後段の重み付きフィルタ処理に使用する重み係数Fを出力するルックアップテーブルである。これは、(10)に基づき構築される。
【００６７】
【数１０】
0004465002.tif 000011
(10)式におけるσは調整用のパラメータである。重み係数Fはバッファ306に転送される。上記指標係数ICおよび重み係数Fは、図７(c),(d)に示されるように注目画素C22およびその近傍８画素C11,C21,C31,C12,C32,C13,C23,C33の計９画素に関して算出される。すなわち、差分算出部301,ソート部303,総和算出部304,重み係数テーブル部305は、制御部117の制御に基づき上記処理を９回繰り返すことになる。以降は、指標係数はICkで、重み係数はFkで表記される。なお、総和算出部304は注目画素C22の指標係数IC0に関してのみ合成部114へも転送する。
【００６８】
重み付けフィルタ部307は、制御部117の制御に基づき、バッファ300から局所領域中の注目画素およびその近傍８画素を、バッファ306から重み係数Fkを読み込み、重み付けフィルタ処理を行う。ここで、注目画素C22をC0で、近傍８画素をC1〜C8で、全９画素をCkとして簡略化して表記する。(11)式に示される重み付けフィルタ処理により、インパルス性のノイズ低減処理がなされた注目画素CN222が得られる。
【００６９】
【数１１】
0004465002.tif 000012
インパルス性のノイズ低減処理がなされた注目画素CN222は、合成部114へ転送される。
【００７０】
なお、図６に示す第２ノイズ低減部113は、指標指数の算出において差の絶対値を昇順にソートし小さい方から所定数の総和をとり、インパルス性のノイズ低減処理として重み付けフィルタ処理を行う構成となっていたが、このような構成に限定される必要はない。例えば、図８に示されるように指標指数の算出において差の絶対値の全てから総和をとる構成や、インパルス性のノイズ低減処理としてメディアンフィルタなどの非線形フィルタ処理を行う構成も可能である。
【００７１】
図８は第２ノイズ低減部113の別構成の一例を示すもので、図６に示す第２ノイズ低減部113からバッファ302,ソート部303,重み係数テーブル部305,バッファ306,重み付けフィルタ部307が省略され、注目画素読み出し部308,メディアンフィルタ部309,切り換え部310が追加された構成になっている。基本構成は図６に示す第２ノイズ低減部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００７２】
バッファ300は、差分算出部301,注目画素読み出し部308,メディアンフィルタ部309へ接続している。差分算出部301は、総和算出部304へ接続している。総和算出部304は、切り換え部310および合成部114へ接続している。注目画素読み出し部308およびメディアンフィルタ部309は、切り換え部310へ接続している。切り換え部310は、合成部114へ接続している。制御部117は、注目画素読み出し部308,メディアンフィルタ部309,切り換え部310と双方向に接続されている。
【００７３】
差分算出部301は、制御部117の制御に基づき、注目画素C22に関して近傍８画素との差の絶対値Δlを算出する。算出された差の絶対値Δlは、総和算出部304へ転送される。
【００７４】
総和算出部304は、制御部117の制御に基づき、差の絶対値Δlの総和を求める。この総和は、注目画素C22に関する指標指数IC0となる。
【００７５】
【数１２】
0004465002.tif 000013
指標係数IC0は、切り換え部310および合成部114へ転送される。
【００７６】
注目画素読み出し部308は、制御部117の制御に基づき、バッファ300から注目画素C22を読み出し、切り換え部310へ転送する。
【００７７】
メディアンフィルタ部309は、制御部117の制御に基づき、バッファ300から局所領域を読み出し、公知のメディアンフィルタ処理を行い、注目画素C22に関する処理結果MC22を得る。メディアンフィルタ処理結果MC22は、切り換え部310へ転送される。
【００７８】
切り換え部310は、制御部117の制御に基づき、総和算出部304からの指標指数IC0を用いて注目画素読み出し部308からの注目画素C22とメディアンフィルタ部309からのメディアンフィルタ処理結果MC22に関する切り換え制御を行うことにより、インパルス性のノイズ低減処理がなされた注目画素CN222が得られる。
【００７９】
【数１３】
0004465002.tif 000014
ここで、Th3は所定の閾値を意味する。(12)式に基づく指標指数IC0は、欠陥画素のようなインパルス性のノイズでは、近傍８画素全ての画素間で差が大きいため指標指数ICは大きな値となる。一方、平坦部は全ての画素間で差が小さいため指標指数ICは小さな値となる。このため、(13)式に示されるように指標指数ICが所定の閾値Th3より大きい場合にメディアンフィルタ処理結果MC22を選択することでインパルス性のノイズ低減処理が行われることになる。
【００８０】
図９は、合成部114の構成の一例を示すもので、第１信号選択部400,第２信号選択部401,合成係数テーブル部402,乗算部403,乗算部404,加算部405からなる。
【００８１】
第１ノイズ低減部112は、第１信号選択部400へ接続している。第２ノイズ低減部113は、第１信号選択部400,第２信号選択部401,合成係数テーブル部402へ接続している。第１信号選択部400は、乗算部403および信号処理部115へ接続している。第２信号選択部401は、乗算部404および信号処理部115へ接続している。合成係数テーブル部402は、乗算部403および乗算部404へ接続している。乗算部403および乗算部404は加算部405へ、加算部405は信号処理部115へ接続している。制御部117は、第１信号選択部400,第２信号選択部401,合成係数テーブル部402,乗算部403,乗算部404,加算部405と双方向に接続されている。
【００８２】
第１信号選択部400は、制御部117の制御に基づき、第２ノイズ低減部113から注目画素C22に関する指標指数IC0を、第１ノイズ低減部112からランダム性のノイズ低減処理がなされた注目画素CN122を読み込む。指標指数IC0が所定の閾値Th1以下の場合、注目画素CN122を合成後の注目画素CN22として信号処理部115へ転送する。指標指数IC0が所定の閾値Th1より大きい場合、注目画素CN122を乗算部403へ転送する。
【００８３】
第２信号選択部401は、制御部117の制御に基づき、第２ノイズ低減部113から注目画素C22に関する指標指数IC0およびインパルス性のノイズ低減処理がなされた注目画素CN222を読み込む。指標指数IC0が所定の閾値Th2以上の場合、注目画素CN222を合成後の注目画素CN22として信号処理部115へ転送する。指標指数IC0が所定の閾値Th2より小さい場合、注目画素CN222を乗算部404へ転送する。
【００８４】
合成係数テーブル部402は、指標指数IC0に対する合成処理に用いる合成係数w=0〜１および1-wを記録したルックアップテーブルである。図１０は、合成係数wに関する説明図で、指標指数IC0≦Th1の場合にw=0で、指標指数IC0≧Th2の場合にw=1で、Th1＜IC0＜Th2の場合にw=0〜１の線形に変化する特性となっている。合成係数テーブル部402は、合成係数1-wを乗算部403へ、合成係数wを乗算部404へ転送する。
【００８５】
乗算部403は、制御部117の制御に基づき、第１信号選択部400から注目画素CN122が転送されてきた場合、注目画素CN122と合成係数1-wを乗算し、その結果(1-w)・CN122を加算部405へ転送する。
【００８６】
乗算部404は、制御部117の制御に基づき、第２信号選択部401から注目画素CN222が転送されてきた場合、注目画素CN222と合成係数wを乗算し、その結果w・CN222を加算部405へ転送する。
【００８７】
加算部405は、制御部117の制御に基づき、乗算部403からの(1-w)・CN122および乗算部404からのw・CN222を加算処理し、合成後の注目画素CN22を求める。上記により(1)式に示される合成処理が行われることになる。
【００８８】
［作用］
上記構成により、性質の異なるランダム性のノイズとインパルス性のノイズに対して独立に低減処理を行い、両者をインパルス性の度合いを示す指標係数に基づき合成処理することができる。このため、ランダム性およびインパルス性の両ノイズに対して最適なノイズ低減処理が可能となり高品位な映像信号が得られる。
【００８９】
また２種類のノイズ低減処理に起因する不連続性やアーティファクトの発生を抑制できる。ランダム性のノイズ低減処理は注目画素単位でノイズ量を推定してランダム性のノイズ低減処理を行うため、ノイズ成分のみを高精度に低減することが可能となり、高品位な映像信号が得られる。
【００９０】
ノイズ量の推定に平均値を用いる構成は、実装が容易でありシステムのコスト低減と高速処理が可能となる。一方、ノイズ量の推定にローパスフィルタを用いる構成は、注目画素とその他の画素との重みを制御できるため安定した処理が可能となる。ノイズ量の推定は撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いる構成は、実装が容易であり、システムの低コスト化が可能となる。一方ルックアップテーブルからノイズ量を求める構成は、高速な処理が可能となる。
【００９１】
また、ランダム性のノイズ低減処理にコアリング処理を用いるため、ノイズ成分のみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できる。
【００９２】
インパルス性のノイズ低減処理において、局所領域の各画素単位でインパルス性の度合いを求め重み付けフィルタ処理を行う構成では、ノイズ成分のみを高精度に低減することが可能となる。また、ルックアップテーブルから重み係数を求める構成では、高速な処理が可能となる。一方、注目画素のみインパルス性の度合いを求め非線形フィルタを行う構成では、処理の高速化が可能となる。また、非線形フィルタ処理としてメディアンフィルタを用いるため、システム全体の低コスト化を可能とする。
【００９３】
インパルス性の度合いを示す指標係数において、近傍画素間との差の総和を用いる構成では、処理の高速化と低コストなシステムが提供できる。一方、近傍画素間との差をソートし小さい値からの所定数の総和を用いる構成では、インパルス性のノイズとエッジ部の識別を高精に行うことができ、エッジ部の劣化の少ない高品位な映像信号が得られる。
【００９４】
また、色信号ごとにノイズ低減処理を行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
【００９５】
さらに、ベイヤー型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【００９６】
［変形例］
なお、第１の実施形態では撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図２(c)に示される色差線順次型補色フィルタを用いることも可能であるし、二板，三板撮像素子の利用も可能である。
【００９７】
図２(c)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離抽出部111は、図２(c)に示される10×10画素単位で映像信号を読み込み、これを図２(d)に示されるようにMg,G,Ye,Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。局所領域内の画素値はCij（Cは色信号でC=Mg,G,Ye,Cy）で示されることになる。
【００９８】
さらに、第１の実施形態ではレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１１に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【００９９】
図１１は、図１に示す構成からレンズ系100,絞り101,CCD102,温度センサー103,Gain104,A/D105,PreWB部107,測光評価部108,合焦点検出部109,AFモータ110を省略し、入力部500,ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１００】
入力部500は、バッファ106およびヘッダ情報解析部501へ接続している。制御部117は、入力部500,ヘッダ情報解析部501と双方向に接続している。
【０１０１】
マウス，キーボードなどの外部I/F部118を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部500から読み込まれる。入力部500からの映像信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部501へ転送される。
【０１０２】
ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部117へ転送する。以後の処理は、図１と同等である。
【０１０３】
また、第１の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、CCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図１２Ａは、信号処理のソフトウェア処理に関するフローを示す。
【０１０４】
ステップS1にて、映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０１０５】
ステップS2にて、図２(b)に示されるようにCCD102の色フィルタに基づき、色信号ごとに分離する。
【０１０６】
ステップS3にて、図２(b)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素サイズの局所領域を抽出する。
【０１０７】
ステップS4にて、別途説明するようにランダム性のノイズ低減処理となる第１のノイズ低減処理を行う。
【０１０８】
ステップS5にて、別途説明するようにインパルス性のノイズ低減処理となる第２のノイズ低減処理を行う。
【０１０９】
ステップS6にて、別途説明するように第１のノイズ低減処理がなされた信号と第２のノイズ低減処理がなされた信号を合成する。
【０１１０】
ステップS7にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS3へ分岐し、完了した場合はステップS8へ分岐する。
【０１１１】
ステップS8にて、全ての色信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合はステップS9へ分岐する。
【０１１２】
ステップS9にて、公知の補間処理、階調変換処理、エッジ強調処理、色強調処理などの信号処理が行われる。
【０１１３】
ステップS10にて、処理が完了した映像信号が出力され終了する。
【０１１４】
図１２Ｂは、上記ステップS4における第１のノイズ低減処理に関するフローである。
【０１１５】
ステップS20にて、(2)式に示されるように局所領域の平均値を算出する。
【０１１６】
ステップS21にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０１１７】
ステップS22にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０１１８】
ステップS23にて、注目画素が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０１１９】
ステップS24にて、(5),(6)式に示される補間処理にてノイズ量を求める。
【０１２０】
ステップS25にて、(7)式に示されるコアリング処理にてランダム性のノイズ低減処理がなされた信号を求める。
【０１２１】
ステップS26にて、第１のノイズ低減処理がなされた信号を出力して終了する。
【０１２２】
図１２Ｃは、上記ステップS5における第２のノイズ低減処理に関するフローである。
【０１２３】
ステップS30にて、局所領域内の注目画素および近傍８画素の一つを選択する。
【０１２４】
ステップS31にて、(8)式に示されるように８個の差の絶対値を算出する。
【０１２５】
ステップS32にて、８個の差の絶対値を昇順にソートする。
【０１２６】
ステップS33にて、(9)式に示されるように小さい方から所定数、例えば４個の差の絶対値の総和を求め、指標係数とする。
【０１２７】
ステップS34にて、(10)式に基づき構築された指標係数を入力として重み係数を出力するルックアップテーブルを入力する。
【０１２８】
ステップS35にて、指標係数に基づき重み係数を出力する。
【０１２９】
ステップS36にて、注目画素および近傍８画素の全てが選択されたかを判断し、選択が完了していない場合はステップS30へ分岐し、完了した場合はステップS37へ分岐する。
【０１３０】
ステップS37にて、(11)式に示される重み付けフィルタ処理を行う。
【０１３１】
ステップS38にて、重み付けフィルタ処理により得られた信号を第２のノイズ低減処理がなされた信号として出力する。
【０１３２】
ステップS39にて、注目画素に関する指標係数を出力して終了する。
【０１３３】
図１２Ｄは、上記ステップS6における合成処理に関するフローである。
【０１３４】
ステップS40にて、注目画素に関する指標係数を入力する。
【０１３５】
ステップS41にて、指標係数と所定の閾値Th1を比較し、指標係数が閾値Th1以下の場合はステップS42へ分岐し、指標係数が閾値Th1より大きい場合はステップS43へ分岐する。
【０１３６】
ステップS42にて、第１のノイズ低減処理がなされた信号を出力して終了する。
【０１３７】
ステップS43にて、指標係数と所定の閾値Th2を比較し、指標係数が閾値Th2以上の場合はステップS44へ分岐し、指標係数が閾値Th2より小さい場合はステップS45へ分岐する。
【０１３８】
ステップS44にて、第２のノイズ低減処理がなされた信号を出力して終了する。
【０１３９】
ステップS45にて、図１０に示される指標係数を入力として合成係数を出力するルックアップテーブルを入力する。
【０１４０】
ステップS46にて、指標係数に基づき合成係数を出力する。
【０１４１】
ステップS47にて、第１のノイズ低減処理がなされた信号に（1-合成係数）を乗算する。
【０１４２】
ステップS48にて、第２のノイズ低減処理がなされた信号に合成係数を乗算する。
【０１４３】
ステップS49にて、第１のノイズ低減処理がなされた信号に（1-合成係数）を乗算した信号と第２のノイズ低減処理がなされた信号に合成係数を乗算した信号を加算する。
【０１４４】
ステップS50にて、合成された信号を出力して終了する。
【０１４５】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０１４６】
第２の実施形態
［構成］
図１３は、第２の実施形態の構成図である。第２の実施形態は、図１に示す第１の実施形態における色信号分離抽出部111が輝度色分離抽出部600へ、第１ノイズ低減部112が第１ノイズ低減部601へ、第２ノイズ低減部113が第２ノイズ低減部602へ、合成部114が合成部603へ置換され、バッファ604,同時化部605が追加された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０１４７】
バッファ106は、PreWB部107,測光評価部108,合焦点検出部109,輝度色分離抽出部600へ接続されている。輝度色分離抽出部600は、第１ノイズ低減部601および第２ノイズ低減部602へ接続されている。第１ノイズ低減部601および第２ノイズ低減部602は、合成部603へ接続されている。合成部603は、バッファ604,同時化部605を介して信号処理部115へ接続されている。制御部117は、輝度色分離抽出部600,第１ノイズ低減部601,第２ノイズ低減部602,合成部603,同時化部605と双方向に接続されている。
【０１４８】
［作用］
基本的に第１の実施形態と同等であり、異なる部分のみ説明する。図１３において、信号の流れを説明する。外部I/F部118を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100,絞り101, CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、第２の施形態においては、CCD102としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
【０１４９】
図１４(a)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。CCD102からの映像信号は、図１４(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒を想定する。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は、1/30秒間隔で合成されることになる。
【０１５０】
CCD102からのアナログ信号はGain104にて所定量増幅され、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。
【０１５１】
バッファ106は、2フィールド信号、すなわち１フレーム信号が記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフィールド信号は、制御部117の制御に基づき、所定の時間間隔で間欠的にPreWB部107および測光評価部108および合焦点検出部109へ転送される。
【０１５２】
一方、輝度色分離抽出部600は、制御部117の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb,Crを算出する。
【０１５３】
【数１４】
0004465002.tif 000015
この後、ノイズ低減処理の対象となる注目画素および注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出する。第２の実施形態においては、局所領域としてとして5×5画素を想定する。ただし、輝度信号Yは5×5画素全てに存在するが、色差信号Cb,Crは5×3画素または5×2画素となる。
【０１５４】
図１４(b),(c)は、偶数および奇数フィールド信号から抽出された局所領域の一例を示す。図１４(b)は、偶数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Crは5×3画素、色差信号Cbは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Crで、色差信号Cbは対象外となる。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。図１４(c)は、奇数フィールド信号から輝度信号Yと色差信号Cb,Crを抽出した例を示す。色差信号Cbは5×3画素、色差信号Crは5×2画素となる。この場合、ノイズ低減処理の対象となる注目画素は輝度信号Yと色差信号Cbで、色差信号Crは対象外となる。
【０１５５】
なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。以降は、局所領域内の画素をCij（Cは輝度または色差信号でC=Y,Cb,Cr、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の場合はｊ=0,2,4,6,8、奇数フィールド信号の場合はj=1,3,5,7,9）で表記する。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。
【０１５６】
注目画素は、偶数フィールド信号の場合輝度信号がY24、色差信号がCr24またはCb24、奇数フィールド信号の場合輝度信号がY25、色差信号がCr25またはCb25となる。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。抽出された局所領域は、第１ノイズ低減部601および第２ノイズ低減部602へ転送される。
【０１５７】
第１ノイズ低減部601は、制御部117の制御に基づき、局所領域の低周波成分から注目画素C24に関するランダム性のノイズ量N24を推定する。その後、推定されたノイズ量N24を用いてローパスフィルタを選択し、局所領域にローパスフィルタ処理を行うことでランダム性のノイズ低減処理を行う。以降は、第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN124で記述する。
【０１５８】
ランダム性のノイズ低減処理がなされた注目画素CN124は、合成部603へ転送される。一方、第２ノイズ低減部602は、制御部117の制御に基づき、輝度信号の局所領域からインパルス性のノイズの度合いを示す指標係数ICを注目画素Y24およびその近傍８画素Y12,Y22,Y32,Y14,Y44,Y16,Y26,Y36に関して算出する。色差信号に関しては指標係数ICを算出せず、輝度信号の指標係数ICを流用することになる。以後、注目画素C24の指標係数をIC0で、近傍８画素の指標係数をIC1〜IC8で、指標係数全体をICk（k=0〜8）で表記する。また、必要に応じて注目画素C24をC0で、近傍８画素をC1〜C8で、全９画素をCkとして簡略化して表記する。
【０１５９】
その後、指標係数ICkを用いて注目画素およびその近傍８画素の重み係数を求め、重み付けフィルタ処理を行うことでインパルス性のノイズ低減処理を行う。以降は、第２ノイズ低減部113にてインパルス性のノイズ低減処理がなされた注目画素をCN224で記述する。輝度信号の注目画素Y24の指標係数IC0およびインパルス性のノイズ低減処理がなされた注目画素CN224は、合成部603へ転送される。
【０１６０】
合成部603は、制御部117の制御に基づき、第２ノイズ低減部113から転送される指標係数IC0を用いて第１ノイズ低減部112にてランダム性のノイズ低減処理がなされた注目画素をCN124およびインパルス性のノイズ低減処理がなされた注目画素CN224を合成処理し、(1)式で示されるように合成後の注目画素CN24を求める。なお、合成係数wは輝度信号の指標係数IC0から求められ、輝度信号および色差信号の合成に共通に用いられる。合成後の注目画素CN24は、バッファ604へ転送される。
【０１６１】
バッファ604は、2フィールド信号、すなわち１フレーム信号が記録可能で、撮影にともない順次上書きされることになる。上記輝度色分離抽出部600,第１ノイズ低減部601,第２ノイズ低減部602,合成部603における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。
【０１６２】
同時化部605は、制御部117の制御に基づき、バッファ604から合成処理がなされた偶数フィールド信号と奇数フィールド信号を読み込む、色差信号に関して公知の補間処理を行った後、偶数フィールド信号と奇数フィールド信号に対して公知の同時化処理を行うことでフレーム信号を生成する。生成されたフレーム信号は、信号処理部115へ転送される。
【０１６３】
図１５は第１ノイズ低減部601の構成の一例を示すもので、図３に示す第１ノイズ低減部112の構成から平均値算出部201,コアリング部207が省略され、差分成分算出部700,バッファ701,差成分用テーブル702,座標用テーブル703,重み係数合成部704,バイラテラル(Bilateral)フィルタ部705,フィルタ用ROM706,フィルタ選択部707,周波数フィルタ部708が追加された構成になっている。基本構成は図３に示す第１ノイズ低減部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１６４】
輝度色分離抽出部600から図１４(b),(c)に示されるように、Y,Cb,Crごとに5×5画素の局所領域が順次バッファ200へ転送されてくる。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１６５】
差分成分算出部700は、制御部117の制御に基づき、バッファ200から局所領域を読み出し、(15)式に示されるように注目画素値C24との差成分の絶対値δijを算出する。
【０１６６】
【数１５】
0004465002.tif 000016
差成分の絶対値δijは、バッファ701へ転送される。
【０１６７】
差成分用テーブル702は、制御部117の制御に基づき、バッファ701から差成分の絶対値δijを読み出し、差成分の絶対値δijに対応する第１の重み係数w1ijを求める。第１の重み係数w1ijは、例えば(16)式に示される関数式で定められる。
【０１６８】
【数１６】
0004465002.tif 000017
(16)式におけるσ1は調整用のパラメータで、σ1=1〜10程度を用いる。差成分用テーブル702は、(16)式に示される関数式に基づき予め算出しておいた第１の重み係数w1ijを記録したテーブルである。求められた第１の重み係数w1ijは、重み係数合成部704へ転送される。
【０１６９】
重み係数合成部704は、制御部117の制御に基づき、差成分用テーブル702からの第１の重み係数w1ijおよび座標用テーブル703から座標値(i,j)に対応する第２の重み係数w2ijを読み込み、これらを合成する。第２の重み係数w2ijは、例えば(17)式に示される関数式で定められる。
【０１７０】
【数１７】
0004465002.tif 000018
(17)式におけるσ2は調整用のパラメータで、σ2=1〜10程度を用いる。また、TiおよびTjは注目画素の座標を意味し、第２の実施形態においてはTi=2, Tj=4となる。
【０１７１】
座標用テーブル703は、(17)式に示される関数式に基づき予め算出しておいた第２の重み係数w2ijを記録したテーブルである。第１の重み係数w1ijおよび第２の重み係数w2ijは(18)式に基づき合成され、重み係数wijが算出される。
【０１７２】
【数１８】
0004465002.tif 000019
算出された重み係数wijは、バイラテラルフィルタ部705へ転送される。
【０１７３】
バイラテラルフィルタ部705は、制御部117の制御に基づき、バッファ200からの局所領域に対して重み係数合成部704からの重み係数wijを用いてバイラテラルフィルタ処理を行う。
【０１７４】
【数１９】
0004465002.tif 000020
(19)式に示されるバイラテラルフィルタ処理の結果C_Biはパラメータ選択部205へ転送される。
【０１７５】
パラメータ選択部205は、バイラテラルフィルタ部705からのバイラテラルフィルタ処理の結果C_Biから信号レベルlを、ゲイン算出部202からのゲイン情報からゲインgを、制御部117からの温度情報から温度tを設定する。次に、信号レベルlが属する区間(Ln, Nn)と(Ln+1, Nn+1)の座標データと補正係数kgtをパラメータ用ROM204から探索し、ノイズ補間部206へ転送する。
【０１７６】
ノイズ補間部206は、制御部117の制御に基づき、(5)式から基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正係数kgから(6)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素C24のノイズ量N24としてフィルタ選択部707へ転送される。なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部203に記録させておき、算出過程を省略する構成も可能である。
【０１７７】
フィルタ選択部707は、制御部117の制御に基づき、ノイズ補間部206からのノイズ量N24を用いてフィルタ用ROM706からフィルタ処理に用いるフィルタ係数を選択する。
【０１７８】
図１６は、フィルタ用ROM706に記録されているフィルタ係数の一例を示すもので、サイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。
【０１７９】
フィルタ選択部707は、ノイズ量N24からType1〜Type4の周波数特性を選択する。この選択は、例えば図１７に示されるノイズ量N24とフィルタの種類Type間の関係に基づき行われる。ノイズ量N24が大きいほど高周波成分を抑制する周波数特性が選択されることになる。フィルタ選択部707は、選択されたフィルタ係数を周波数フィルタ部708へ転送する。
【０１８０】
周波数フィルタ部708は、制御部117の制御に基づき、バッファ200からの局所領域に対してフィルタ選択部707からのフィルタ係数を用いて周波数フィルタ処理を行う。なお、輝度信号Yの場合は5×5画素の局所領域でフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でフィルタのサイズと一致しない。この場合は、存在しない画素に関してはフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。周波数フィルタ処理による結果は、ランダム性のノイズ低減処理がなされた注目画素CN124として、合成部603へ転送される。
【０１８１】
図１８は第２ノイズ低減部602の構成の一例を示すもので、図６に示す第２ノイズ低減部113の構成において差分算出部301を輝度差分算出部800に、重み付けフィルタ部307を輝度重み付けフィルタ部801および色差重み付けフィルタ部802に置換された構成になっている。基本構成は図６に示す第２ノイズ低減部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１８２】
輝度色分離抽出部600は、バッファ300を介して輝度差分算出部800,輝度重み付けフィルタ部801,色差重み付けフィルタ部802へ接続している。輝度差分算出部800は、バッファ302へ接続している。バッファ306は、輝度重み付けフィルタ部801および色差重み付けフィルタ部802へ接続している。輝度重み付けフィルタ部801および色差重み付けフィルタ部802は、合成部603へ接続している。制御部117は、輝度差分算出部800,輝度重み付けフィルタ部801,色差重み付けフィルタ部802と双方向に接続されている。
【０１８３】
輝度色分離抽出部600から図１４(b),(c)に示されるように、Y,Cb,Crごとに5×5画素の局所領域が順次バッファ300へ転送されてくる。なお、色差信号に関しては5×5画素の局所領域内で欠落する画素は処理の対象外となる。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１８４】
輝度差分算出部800は、制御部117の制御に基づき、輝度信号の注目画素Y24およびその近傍８画素Y12,Y22,Y32,Y14,Y34,Y16,Y26,Y36の計９画素に関して、(8)式に示されるように各々の近傍８画素との差の絶対値Δlを算出する。上記差の絶対値をΔlは、バッファ302に転送される。
【０１８５】
ソート部303は、制御部117の制御に基づき、バッファ302の差の絶対値をΔlを昇順にソートし、小さい方から所定数、第２の実施形態においては４個を総和算出部304へ転送する。
【０１８６】
総和算出部304は、制御部117の制御に基づき、(9)式に示されるようにソート部303から転送される昇順にソートされた４個の差の絶対値の総和を求める。この総和は、指標指数ICとなる。
【０１８７】
重み係数テーブル部305は、指標係数ICに基づき後段の重み付きフィルタ処理に使用する重み係数Fを出力する。重み係数Fはバッファ306に転送される。輝度差分算出部800,ソート部303,総和算出部304,重み係数テーブル部305は、制御部117の制御に基づき上記処理を９回繰り返すことになる。以降は、指指標係数はICkで、重み係数はFkで表記される。なお、総和算出部304は輝度信号の注目画素Y24の指標係数IC0に関してのみ合成部603へも転送する。
【０１８８】
輝度重み付けフィルタ部801は、制御部117の制御に基づき、バッファ300から局所領域中の輝度信号の注目画素およびその近傍８画素を、バッファ306から重み係数Fkを読み込み、(11)式に示される重み付けフィルタ処理を行いインパルス性のノイズ低減処理がなされた注目画素YN224を求める。インパルス性のノイズ低減処理がなされた注目画素YN224は、合成部603へ転送される。
【０１８９】
色差重み付けフィルタ部802は、制御部117の制御に基づき、バッファ300から局所領域中の色差信号の注目画素およびその近傍８画素を、バッファ306から重み係数Fkを読み込み、(11)式に示される重み付けフィルタ処理を行いインパルス性のノイズ低減処理がなされた注目画素CrN224を求める。すなわち、輝度信号の指標係数ICkに基づき求められた重み係数Fkで色差信号が処理されることになる。インパルス性の度合いは、輝度信号のみから十分な精度で得ることができる。この結果を色差信号に適応することにより、欠落する画素が存在する色差信号に関して補間処理などの誤差を生じる処理を行うことなく、高精度にインパルス性のノイズ低減が可能となる。インパルス性のノイズ低減処理がなされた注目画素CrN224は、合成部603へ転送される。
【０１９０】
図１９は、合成部603の構成の一例を示すもので、図９に示す合成部114の構成において乗算部403を輝度乗算部900および色差乗算部901に、乗算部404を輝度乗算部902および色差乗算部903に置換された構成になっている。基本構成は、図９に示す合成部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１９１】
第１ノイズ低減部601は、第１信号選択部400へ接続している。第２ノイズ低減部602は、第１信号選択部400,第２信号選択部401,合成係数テーブル部402へ接続している。第１信号選択部400は、輝度乗算部900,色差乗算部901,バッファ604へ接続している。第２信号選択部401は、輝度乗算部902,色差乗算部903,バッファ604へ接続している。合成係数テーブル部402は、輝度乗算部900,色差乗算部901,輝度乗算部902,色差乗算部903へ接続している。輝度乗算部900,色差乗算部901,輝度乗算部902,色差乗算部903は加算部405へ、加算部405はバッファ604へ接続している。制御部117は、輝度乗算部900,色差乗算部901,輝度乗算部902,色差乗算部903と双方向に接続されている。以後の説明は、図１４(b)に示されるような偶数フィールド信号かつ注目画素がY24,Cr24に関して行うが、偶数フィールド信号かつ注目画素がY24,Cb24や奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
【０１９２】
第１信号選択部400は、制御部117の制御に基づき、第２ノイズ低減部602から輝度信号の注目画素Y24に関する指標指数IC0を、第１ノイズ低減部112からランダム性のノイズ低減処理がなされた輝度および色差信号の注目画素CN124を読み込む。指標指数IC0が所定の閾値Th1以下の場合、注目画素CN124を合成後の注目画素CN24としてバッファ604へ転送する。指標指数IC0が所定の閾値Th1より大きい場合、輝度信号の注目画素YN124を輝度乗算部900へ、色差信号の注目画素CrN124を色差乗算部901へ転送する。
【０１９３】
第２信号選択部401は、制御部117の制御に基づき、第２ノイズ低減部602から輝度信号の注目画素Y24に関する指標指数IC0およびインパルス性のノイズ低減処理がなされた輝度および色差信号の注目画素CN224を読み込む。指標指数IC0が所定の閾値Th2以上の場合、注目画素CN224を合成後の注目画素CN24としてバッファ604へ転送する。指標指数IC0が所定の閾値Th2より小さい場合、輝度信号の注目画素YN224を輝度乗算部902へ、色差信号の注目画素CrN224を色差乗算部903へ転送する。
【０１９４】
合成係数テーブル部402は、図１０に示されるように指標指数IC0に対する合成処理に用いる合成係数w=0〜１および1-wを記録したルックアップテーブルである。合成係数テーブル部402は、合成係数1-wを輝度乗算部900および色差乗算部901へ、合成係数wを輝度乗算部902および色差乗算部903へ転送する。
【０１９５】
輝度乗算部900は、制御部117の制御に基づき、第１信号選択部400から輝度信号の注目画素YN124が転送されてきた場合、注目画素YN124と合成係数1-wを乗算し、その結果(1-w)・YN124を加算部405へ転送する。
【０１９６】
色差乗算部901は、制御部117の制御に基づき、第１信号選択部400から色差信号の注目画素CrN124が転送されてきた場合、注目画素CrN124と合成係数1-wを乗算し、その結果(1-w)・CrN124を加算部405へ転送する。
【０１９７】
輝度乗算部902は、制御部117の制御に基づき、第２信号選択部401から輝度信号の注目画素YN224が転送されてきた場合、注目画素YN224と合成係数wを乗算し、その結果w・YN224を加算部405へ転送する。
【０１９８】
色差乗算部903は、制御部117の制御に基づき、第２信号選択部401から色差信号の注目画素CrN224が転送されてきた場合、注目画素CrN224と合成係数wを乗算し、その結果w・CrN224を加算部405へ転送する。
【０１９９】
加算部405は、制御部117の制御に基づき、輝度乗算部900からの(1-w)・YN124および輝度乗算部902からのw・YN224を加算処理し、合成後の輝度信号の注目画素YN24を求める。同様に、色差乗算部901からの(1-w)・CrN124および色差乗算部903からのw・CrN224を加算処理し、合成後の色差信号の注目画素CrN24を求める。すなわち、輝度信号の指標係数ICkに基づき求められた合成係数wを用いて色差信号が合成処理されることになる。インパルス性の度合いは、輝度信号のみから十分な精度で得ることができる。この結果を色差信号に適応することにより、高精度な合成処理が可能となる。合成処理された輝度および色差信号の注目画素CN22は、バッファ604へ転送される。
【０２００】
［作用］
上記構成により、性質の異なるランダム性のノイズとインパルス性のノイズに対して独立に低減処理を行い、両者をインパルス性の度合いを示す指標係数に基づき合成処理することができる。このため、ランダム性およびインパルス性の両ノイズに対して最適なノイズ低減処理が可能となり高品位な映像信号が得られる。
【０２０１】
また２種類のノイズ低減処理に起因する不連続性やアーティファクトの発生を抑制できる。ランダム性のノイズ低減処理は注目画素単位でノイズ量を推定してランダム性のノイズ低減処理を行うため、ノイズ成分のみを高精度に低減することが可能となり、高品位な映像信号が得られる。
【０２０２】
ノイズ量の推定にバイラテラルフィルタの処理結果を用いる構成は、注目画素周辺のノイズやエッジ構造などを排除して低周波成分を求めるため、高精度かつ安定した処理が可能となる。ノイズ量の推定は撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いる構成は、実装が容易であり、システムの低コスト化が可能となる。
【０２０３】
また、ランダム性のノイズ低減処理にノイズ量に基づき選択した周波数フィルタ処理を用いるため、ランダム性のノイズ成分のみを重点的に低減でき、高品位な映像信号が得られる。また、フィルタ処理は実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【０２０４】
インパルス性のノイズ低減処理において、局所領域の各画素単位でインパルス性の度合いを求め重み付けフィルタ処理を行う構成は、ノイズ成分のみを高精度に低減することが可能となる。また、ルックアップテーブルから重み係数を求めるため、高速な処理が可能となる。インパルス性の度合いを示す指標係数において、近傍画素間との差をソートし小さい値からの所定数の総和を用いる構成は、インパルス性のノイズとエッジ部の識別を高精に行うことができ、エッジ部の劣化の少ない高品位な映像信号が得られる。
【０２０５】
また、映像信号から輝度信号および色差信号を分離し、輝度信号および色差信号ごとにノイズ低減処理行うため、ノイズを高精度に低減することができ、高品位な映像信号が得られる。また、多様な撮像システムに適応することが可能となる。
【０２０６】
さらに、インパルス性のノイズ低減および合成処理においては輝度信号の処理結果に基づき色差信号を処理するため、輝度信号および色差信号間での処理が統一され、アーティファクトの少ない高品位な映像信号が得られる。
【０２０７】
さらに、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
【０２０８】
［変形例］
なお、第２の実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図２(a)に示されるベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(20)式に基づき輝度信号Yと色差信号Cb,Crを求める。
【０２０９】
【数２０】
0004465002.tif 000021
また、この場合はフレーム信号のみでフィールド信号が存在しないことになる。さらに、第１の実施形態における図１１に示される形態と同様に、別体の撮像部で撮像された時系列的に連続する複数の映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をする構成も可能である。
【０２１０】
さらに、第２の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば。例えば、CCD102からの時系列的に連続する複数の映像信号を未処理のままのRawデータとして、CCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０２１１】
図２０Ａは、信号処理のソフトウェア処理に関するフローを示す。なお、図１２Ａに示す第１の実施の形態における信号処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２１２】
ステップS1にて、複数の映像信号および色フィルタや撮影時の露光条件などのヘッダ情報を読み込む。
【０２１３】
ステップS60にて、１枚の映像信号、すなわちフレーム信号から偶数フィールド信号および奇数フィールド信号を順次抽出する。
【０２１４】
ステップS61にて、映像信号を(14)式に示されるように輝度信号と色信号に分離する。
【０２１５】
ステップS62にて、輝度信号および色差信号に関して図１４(b),(c)に示されるようにノイズ低減処理の対象となる注目画素を包含する所定サイズ、例えば5×5画素の局所領域が抽出される。
【０２１６】
ステップS63にて、別途説明するように輝度信号および色差信号に関してランダム性のノイズ低減処理となる第１のノイズ低減処理を行う。
【０２１７】
ステップS64にて、別途説明するように輝度信号および色差信号に関してインパルス性のノイズ低減処理となる第２のノイズ低減処理を行う。
【０２１８】
ステップS65にて、別途説明するように輝度信号および色差信号に関して第１のノイズ低減処理がなされた信号と第２のノイズ低減処理がなされた信号を合成する。
【０２１９】
ステップS7にて、全ての局所領域が完了したかを判断し、完了していない場合はステップS62へ分岐し、完了した場合はステップS66へ分岐する。
【０２２０】
ステップS66にて、色差信号に関して公知の補間処理を行った後、偶数フィールド信号および奇数フィールド信号に対して公知の同時化処理を行いフレーム信号を生成する。
【０２２１】
ステップS9にて、公知の階調変換処理、エッジ強調処理、色強調処理などの信号処理が行われる。
【０２２２】
ステップS67にて、処理が完了したフレーム信号が出力される。
【０２２３】
ステップS68にて、全てのフィールド信号が完了したかを判断し、完了していない場合はステップS60へ分岐し、完了した場合は終了する。
【０２２４】
図２０Ｂは、上記ステップS63における第１のノイズ低減処理に関するフローである。なお、図１２Ｂに示す第１の実施形態における第１のノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２２５】
ステップS70にて、輝度または色差信号の局所領域を入力する。
【０２２６】
ステップS71にて、(15)式に示される注目画素値との差成分の絶対値を算出する。
【０２２７】
ステップS72にて、(16)式に示される関数式に基づき構築された差成分テーブルを入力する。
【０２２８】
ステップS73にて、差成分に関する重み係数を求める。
【０２２９】
ステップS74にて、(17)式に示される関数式に基づき構築された座標テーブルを入力する。
【０２３０】
ステップS75にて、座標に関する重み係数を求める。
【０２３１】
ステップS76にて、差成分に関する重み係数と座標に関する重み係数を乗算してバイラテラルフィルタに使用する重み係数を求める。
【０２３２】
ステップS77にて、(19)式に示されるバイラテラルフィルタ処理を行う。
【０２３３】
ステップS21にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２３４】
ステップS22にて、基準ノイズモデルの座標データおよび補正係数を読み込む。
【０２３５】
ステップS23にて、注目画素が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０２３６】
ステップS24にて、バイラテラルフィルタ処理の結果を信号レベルとして(5),(6)式に示される補間処理にてノイズ量を求める。
【０２３７】
ステップS78にて、図１６に示されるようなフィルタ係数を入力する。
【０２３８】
ステップS79にて、図１７に示されるような関係に基づき、ノイズ量からフィルタ係数を選択する。
【０２３９】
ステップS80にて、選択されたフィルタ係数を用いて周波数フィルタ処理を行う。
【０２４０】
ステップS26にて、第１のノイズ低減処理がなされた信号を出力する。
【０２４１】
ステップS81にて、輝度および色差信号の処理が完了したかを判断し、完了していない場合はステップS70へ分岐し、完了した場合は終了する。
【０２４２】
図２０Ｃは、上記ステップS64における第２のノイズ低減処理に関するフローである。なお、図１２Ｃに示す第１の実施形態における第２のノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２４３】
ステップS30にて、輝度信号の局所領域内の注目画素および近傍８画素の一つを選択する。
【０２４４】
ステップS90にて、(8)式に示されるように８個の差の絶対値を算出する。
【０２４５】
ステップS32にて、８個の差の絶対値を昇順にソートする。
【０２４６】
ステップS33にて、(9)式に示されるように小さい方から所定数、例えば４個の差の絶対値の総和を求め、指標係数とする。
【０２４７】
ステップS34にて、(10)式に基づき構築された指標係数を入力として重み係数を出力するルックアップテーブルを入力する。
【０２４８】
ステップS35にて、指標係数に基づき重み係数を出力する。
【０２４９】
ステップS36にて、注目画素および近傍８画素の全てが選択されたかを判断し、選択が完了していない場合はステップS30へ分岐し、完了した場合はステップS91へ分岐する。
【０２５０】
ステップS91にて、輝度信号に関して(11)式に示される重み付けフィルタ処理を行う。
【０２５１】
ステップS92にて、色差信号に関して(11)式に示される重み付けフィルタ処理を行う。
【０２５２】
ステップS38にて、輝度信号および色差信号に関して重み付けフィルタ処理により得られた信号を第２のノイズ低減処理がなされた信号として出力する。
【０２５３】
ステップS39にて、輝度信号の注目画素に関する指標係数を出力して終了する。
【０２５４】
図２０Ｄは、上記ステップS65における合成処理に関するフローである。なお、図１２Ｄに示す第１の実施形態における合成処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０２５５】
ステップS40にて、輝度信号の注目画素に関する指標係数を入力する。
【０２５６】
ステップS41にて、指標係数と所定の閾値Th1を比較し、指標係数が閾値Th1以下の場合はステップS42へ分岐し、指標係数が閾値Th1より大きい場合はステップS43へ分岐する。
【０２５７】
ステップS42にて、第１のノイズ低減処理がなされた信号を出力して終了する。
【０２５８】
ステップS43にて、指標係数と所定の閾値Th2を比較し、指標係数が閾値Th1以上の場合はステップS44へ分岐し、指標係数が閾値Th2より小さい場合はステップS45へ分岐する。
【０２５９】
ステップS44にて、第２のノイズ低減処理がなされた信号を出力して終了する。
【０２６０】
ステップS45にて、図１０に示される指標係数を入力として合成係数を出力するルックアップテーブルを入力する。
【０２６１】
ステップS46にて、指標係数に基づき合成係数を出力する。
【０２６２】
ステップS100にて、第１のノイズ低減処理がなされた輝度信号に（1-合成係数）を乗算する。
【０２６３】
ステップS101にて、第２のノイズ低減処理がなされた輝度信号に合成係数を乗算する。
【０２６４】
ステップS102にて、第１のノイズ低減処理がなされた輝度信号に（1-合成係数）を乗算した信号と第２のノイズ低減処理がなされた輝度信号に合成係数を乗算した信号を加算する。
【０２６５】
ステップS103にて、第１のノイズ低減処理がなされた色差信号に（1-合成係数）を乗算する。
【０２６６】
ステップS104にて、第２のノイズ低減処理がなされた色差信号に合成係数を乗算する。
【０２６７】
ステップS105にて、第１のノイズ低減処理がなされた色差信号に（1-合成係数）を乗算した信号と第２のノイズ低減処理がなされた色差信号に合成係数を乗算した信号を加算する。
【０２６８】
ステップS50にて、合成された輝度および色差信号を出力して終了する。
【０２６９】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２７０】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０２７１】
【図１】第１の実施形態の構成図である。
【図２】色フィルタの配置と局所領域に関する説明図である。
【図３】第１ノイズ低減部の構成図である。
【図４】ノイズ量の推定に関する説明図である。
【図５】別形態の第１ノイズ低減部の構成図である。
【図６】第２ノイズ低減部の構成図である。
【図７】指標係数算出に関する説明図である。
【図８】別形態の第２ノイズ低減部の構成図である。
【図９】合成部の構成図である。
【図１０】合成係数に関する説明図である。
【図１１】別形態の第１の実施形態の構成図である。
【図１２Ａ】第１の実施形態の信号処理のフローのうち、全体処理に関するフローである。
【図１２Ｂ】第１の実施形態の信号処理のフローのうち、第１のノイズ低減処理に関するフローである。
【図１２Ｃ】第１の実施形態の信号処理のフローのうち、第２のノイズ低減処理に関するフローである。
【図１２Ｄ】第１の実施形態の信号処理のフローのうち、合成処理に関するフローである。
【図１３】第２の実施形態の構成図である。
【図１４】色差線順次型補色フィルタの配置と局所領域に関する説明図である。
【図１５】第１ノイズ低減部の構成図である。
【図１６】周波数フィルタに関する説明図である。
【図１７】周波数フィルタの選択に関する説明図である。
【図１８】第２ノイズ低減部の構成図である。
【図１９】合成部の構成図である。
【図２０Ａ】第２の実施形態の信号処理のフローのうち、全体処理に関するフローである。
【図２０Ｂ】第２の実施形態の信号処理のフローのうち、第１のノイズ低減処理に関するフローである。
【図２０Ｃ】第２の実施形態の信号処理のフローのうち、第２のノイズ低減処理に関するフローである。
【図２０Ｄ】第２の実施形態の信号処理のフローのうち、合成処理に関するフローである。
【符号の説明】
【０２７２】
111  色信号分離抽出部（局所領域抽出手段）
600  輝度色分離抽出部（局所領域抽出手段）
112,601  第１ノイズ低減部（第１のノイズ低減手段）
113,602  第２ノイズ低減部（第２のノイズ低減手段）
114,603  合成部（合成手段）
【図１】
0004465002.tif 000022
【図２】
0004465002.tif 000023
【図３】
0004465002.tif 000024
【図４】
0004465002.tif 000025
【図５】
0004465002.tif 000026
【図６】
0004465002.tif 000027
【図７】
0004465002.tif 000028
【図８】
0004465002.tif 000029
【図９】
0004465002.tif 000030
【図１０】
0004465002.tif 000031
【図１１】
0004465002.tif 000032
【図１２Ａ】
0004465002.tif 000033
【図１２Ｂ】
0004465002.tif 000034
【図１２Ｃ】
0004465002.tif 000035
【図１２Ｄ】
0004465002.tif 000036
【図１３】
0004465002.tif 000037
【図１４】
0004465002.tif 000038
【図１５】
0004465002.tif 000039
【図１６】
0004465002.tif 000040
【図１７】
0004465002.tif 000041
【図１８】
0004465002.tif 000042
【図１９】
0004465002.tif 000043
【図２０Ａ】
0004465002.tif 000044
【図２０Ｂ】
0004465002.tif 000045
【図２０Ｃ】
0004465002.tif 000046
【図２０Ｄ】
0004465002.tif 000047