(57)【要約】【課題】巡回型のノイズ低減処理において、シーン変化が発生した場合でも安定したノイズ低減処理の効果を維持することで高品位な映像信号を得る映像処理装置を提供する。【解決手段】現在の映像信号からノイズ低減処理の対象となる注目画素を順次抽出してノイズ低減処理を行うノイズ低減部(102、602)と、ノイズ低減処理後の過去の映像信号から注目画素に類似する類似画素を選択する類似画素選択部(113、603)と、類似画素の値に基づきノイズ低減処理後の過去の映像信号に対して補正処理を行う補正部(114、604）と、補正処理がなされたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分として算出するノイズ成分算出部(115)と、を有し、ノイズ低減部(102、602)はノイズ成分に基づき現在の映像信号の注目画素の値に対してノイズ低減処理を行う。【選択図】図１
2008271101.tif 000002
【特許請求の範囲】
【請求項１】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
前記映像信号のうちの現在の映像信号からノイズ低減処理の対象となる注目画素を順次抽出してノイズ低減処理を行うノイズ低減手段と、
前記ノイズ低減処理後の過去の映像信号から前記注目画素に類似する類似画素を選択する選択手段と、
前記類似画素の値に基づき前記ノイズ低減処理後の過去の映像信号に対して補正処理を行う補正手段と、
前記補正処理がなされた前記ノイズ低減処理後の過去の映像信号と前記現在の映像信号との差分をノイズ成分として算出する算出手段と、
を有し、前記ノイズ低減手段は前記ノイズ成分に基づき前記現在の映像信号の注目画素の値に対して前記ノイズ低減処理を行うことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記補正手段は、前記類似画素の値に基づき前記ノイズ低減処理後の過去の映像信号における前記注目画素と同一座標の画素の値に対して補正処理を行い、
前記算出手段は、前記注目画素の値と前記補正処理後の値との差分をノイズ成分として算出する、
ことを特徴とする映像処理装置。
【請求項３】
請求項２に記載の映像処理装置において、
前記補正手段は、前記類似画素の値の平均値を算出する平均値算出手段を有し、前記平均値を前記補正処理後の値として用いることを特徴とする映像処理装置。
【請求項４】
請求項２に記載の映像処理装置において、
前記補正手段は、前記類似画素の値に対してローパスフィルタを適用するローパスフィルタ手段を有し、前記ローパスフィルタ適用後の値を前記補正処理後の値として用いることを特徴とする映像処理装置。
【請求項５】
請求項２に記載の映像処理装置において、
前記補正手段は、前記類似画素の値に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段を有し、前記バイラテラルフィルタ適用後の値を前記補正処理後の値として用いることを特徴とする映像処理装置。
【請求項６】
請求項３から５のいずれか一つに記載の映像処理装置において、
前記類似画素が存在しない場合に前記補正処理後の値として値零の信号を出力する例外処理手段をさらに有することを特徴とする映像処理装置。
【請求項７】
請求項１から６のいずれか一つに記載の映像処理装置において、
前記選択手段が、
前記ノイズ低減処理後の映像信号を所定の単位時間で遅延させて前記ノイズ低減処理後の過去の映像信号を得る遅延手段と、
前記ノイズ低減処理後の過去の映像信号から前記注目画素と同一座標の画素を包含する所定サイズの局所領域を抽出する局所領域抽出手段と、
前記注目画素の値に含まれるノイズ量を推定するノイズ推定手段と、
前記ノイズ量に基づき前記局所領域に対する許容範囲を設定する許容範囲設定手段と、
前記局所領域内の各画素の値が前記許容範囲内に属するか否かを判定し、前記許容範囲内に属する値の画素を前記類似画素として判定する判定手段と、
を有することを特徴とする映像処理装置。
【請求項８】
請求項７に記載の映像処理装置において、
前記遅延手段が、前記所定の単位時間としてフィールド単位時間またはフレーム単位時間の少なくとも一つから選択することを特徴とする映像処理装置。
【請求項９】
請求項７に記載の映像処理装置において、
前記遅延手段が、前記ノイズ低減処理後の映像信号を記録する記録手段を有することを特徴とする映像処理装置。
【請求項１０】
請求項７に記載の映像処理装置において、
前記局所領域抽出手段が、前記ノイズ低減処理後の過去の映像信号に関して欠落する画素の値を補間演算にて生成する補間手段を有することを特徴とする映像処理装置。
【請求項１１】
請求項７に記載の映像処理装置において、
前記ノイズ推定手段が、
前記現在の映像信号から前記注目画素を包含する所定サイズの単位領域を抽出する単位領域抽出手段と、
前記単位領域内の画素の値の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、
前記収集手段からの情報および前記単位領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
前記単位領域内の画素の値の平均値および前記選択されたパラメータに基づき補間演算により前記注目画素の値に含まれるノイズ量を求める補間手段と、
を有することを特徴とする映像処理装置。
【請求項１２】
請求項１１に記載の映像処理装置において、
前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、
前記パラメータ選択手段は、前記収集手段または前記付与手段からの情報及び前記局所領域内の画素の値の平均値に基づき前記パラメータ群から前記必要となるパラメータを選択することを特徴とする映像処理装置。
【請求項１３】
請求項７に記載の映像処理装置において、
前記ノイズ推定手段が、
前記映像信号から前記注目画素を包含する所定サイズの単位領域を抽出する単位領域抽出手段と、
前記単位領域内の画素の値の平均値を算出する平均値算出手段と、
前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、
前記収集手段からの情報および前記単位領域の平均値を入力として前記注目画素の値に含まれるノイズ量を出力するノイズテーブル手段と、
を有することを特徴とする映像処理装置。
【請求項１４】
請求項１３に記載の映像処理装置において、
前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、
前記ノイズテーブル手段は、前記収集手段または前記付与手段からの情報及び前記局所領域の平均値を入力として前記注目画素の値に含まれるノイズ量を出力することを特徴とする請求項９に記載の映像処理装置。
【請求項１５】
請求項１１から１４のいずれか一つに記載の映像処理装置において、
前記単位領域抽出手段が、前記単位領域のサイズを前記局所領域のサイズと同一にすることを特徴とする映像処理装置。
【請求項１６】
請求項１から１５のいずれか一つに記載の映像処理装置において、
前記ノイズ低減手段が、前記注目画素の値から前記ノイズ成分を減算する減算手段を有することを特徴とする映像処理装置。
【請求項１７】
請求項１から１５のいずれか一つに記載の映像処理装置において、
前記ノイズ低減手段が、前記注目画素の値に対して前記ノイズ成分に基づきコアリング処理を行うコアリング手段を有することを特徴とする映像処理装置。
【請求項１８】
請求項１から１５のいずれか一つに記載の映像処理装置において、
前記撮像系が色フィルタを前面に配置した撮像素子を使用し、
前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、
前記色信号ごとに前記ノイズ低減手段、前記選択手段、前記補正手段及び前記算出手段を順次適用するよう制御する信号制御手段と、
を有することを特徴とする映像処理装置。
【請求項１９】
請求項１から１５のいずれか一つに記載の映像処理装置において、
前記撮像系は色フィルタを前面に配置した撮像素子を使用し、
前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、
前記輝度信号および色差信号ごとに前記ノイズ低減手段、前記選択手段、前記補正手段及び前記算出手段を順次適用するよう制御する信号制御手段と、
を有することを特徴とする映像処理装置。
【請求項２０】
請求項１８または１９に記載の映像処理装置において、
前記撮像素子が、ベイヤー型原色フィルタあるいは色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする映像処理装置。
【請求項２１】
撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理プログラムにおいて、
前記映像信号のうちの現在の映像信号からノイズ低減処理の対象となる注目画素を順次抽出してノイズ低減処理を行うノイズ低減ステップと、
前記ノイズ低減処理後の過去の映像信号から前記注目画素に類似する類似画素を選択する選択ステップと、
前記類似画素の値に基づき前記ノイズ低減処理後の過去の映像信号に対して補正処理を行う補正ステップと、
前記補正処理がなされた前記ノイズ低減処理後の過去の映像信号と前記現在の映像信号との差分をノイズ成分として算出する算出ステップと、
を有し、前記ノイズ低減ステップは前記ノイズ成分に基づき前記現在の映像信号の注目画素の値に対して前記ノイズ低減処理を行うことを特徴とする映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像系に起因する映像信号のランダムノイズの低減処理を行う映像処理装置に係わり、特に巡回型のノイズ低減処理においてシーン変化が発生した場合でも安定したノイズ低減処理を可能とする映像処理装置に関する。
【背景技術】
【０００２】
撮像素子とそれに付随するアナログ回路およびA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。上記ノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
【０００３】
動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。上記は、映像信号自体は過去の映像信号と相関性が高く、一方、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。
【０００４】
このような巡回型のノイズ低減処理としては、例えば特開平10-13734号公報では映像信号から動き成分を検出し、検出された動き成分に基づき差分処理をおこなった信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分に起因する残像などの副作用を抑制したノイズ低減処理が可能となる。
【０００５】
また、特開2000-209507公報では差分処理をおこなった信号値から帰還係数を制御する方法が開示されている。これにより、比較的少ない演算量で副作用を抑制したノイズ低減処理が可能となる。
【０００６】
さらに、特開2006-23959公報ではノイズ量をノイズモデルに基づきブロック単位に推定して、ブロック単位にノイズ低減処理を制御する例が開示されている。
【特許文献１】特開平10-13734号公報
【特許文献２】特開2000-209507公報
【特許文献３】特開2006-23959公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特開平10-13734号公報および特開2000-209507公報では、相関性に基づき映像信号間で差分処理を行うことでランダムノイズを抽出している。このような相関性は統計的な性質に基づくもので、ある程度の枚数の映像信号に関して成立する。差分処理は画素単位で行われるため、巡回型のノイズ低減処理が安定して性能を発揮するには一般に5〜10枚程度の映像信号を要することになり、電源投入時の初期状態やシーン変化が発生した場合にノイズ低減処理の効果が低下するという課題がある。
【０００８】
この他に、特開平10-13734号公報では動き成分を検出するために処理系が複雑になり、システム全体としてコストが高くなるという課題がある。また、特開2000-209507公報では、差分処理をおこなった信号値に基づき簡易的に制御を行うため、副作用の抑制とノイズ低減処理の効果を両立することが困難であるという課題がある。また、制御のためのパラメータ設定が煩雑になるという課題がある。
【０００９】
さらに、特開2006-23959公報では時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。
【００１０】
本発明は上記問題点に着目し、巡回型のノイズ低減処理において、シーン変化が発生した場合でも安定したノイズ低減処理の効果を維持することで高品位な映像信号を得る映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（請求項１、２）
請求項１に記載の発明は、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号のうちの現在の映像信号からノイズ低減処理の対象となる注目画素を順次抽出してノイズ低減処理を行うノイズ低減手段と、前記ノイズ低減処理後の過去の映像信号から前記注目画素に類似する類似画素を選択する選択手段と、前記類似画素の値に基づき前記ノイズ低減処理後の過去の映像信号に対して補正処理を行う補正手段と、前記補正処理がなされた前記ノイズ低減処理後の過去の映像信号と前記現在の映像信号との差分をノイズ成分として算出する算出手段と、を有し、前記ノイズ低減手段は前記ノイズ成分に基づき前記現在の映像信号の注目画素の値に対して前記ノイズ低減処理を行うことを特徴とする映像処理装置である。
【００１２】
また、請求項２に記載の発明は、請求項１に記載の映像処理装置において、前記補正手段は、前記類似画素の値に基づき前記ノイズ低減処理後の過去の映像信号における前記注目画素と同一座標の画素の値に対して補正処理を行い、前記算出手段は、前記注目画素の値と前記補正処理後の値との差分をノイズ成分として算出する、ことを特徴とする映像処理装置である。
【００１３】
これらの発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。ノイズ低減手段は図１、図３、図１４に示されるノイズ低減部112および図１６、図１８に示されるノイズ低減部602が、選択手段は図１、図４、図１４に示される類似画素選択部113および図１６、図１９に示される類似画素選択部603が、補正手段は図１、図７、図１１、図１４に示される補正部114および図１６、図２２に示される補正部604が、算出手段は図１、図１４、図１６に示されるノイズ成分算出部115が該当する。
【００１４】
これらの発明の好ましい適用例は、ノイズ低減部112、602にて現在の映像信号からノイズ低減処理の対象となる注目画素を順次抽出してノイズ低減処理を行い、類似画素選択部113、603にてノイズ低減処理後の過去の映像信号から注目画素に類似する類似画素を選択し、補正部114、604にて類似画素の値に基づきノイズ低減処理後の過去の映像信号に対して補正処理を行い、ノイズ成分算出部115にて補正処理がなされたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分として算出し、ノイズ低減部112、602にてノイズ成分に基づきノイズ低減処理を行う映像処理装置である。
【００１５】
これらの発明によれば、時系列的に取り込まれた映像信号に対してノイズ低減処理を行うにあたり、現在の映像信号の注目画素に類似する類似画素をノイズ低減処理後の過去の映像信号から求め、類似画素の値に基づきノイズ低減処理後の過去の映像信号を補正し、補正されたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分として算出し、産出されたノイズ成分に基づき現在の映像信号に対するノイズ低減処理を行う。
【００１６】
単にノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分とするのではなく、複数の類似画素に基づき補正されたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分としたことにより、ノイズ成分に関する統計的な意味での精度および信頼性を改善することができる。この結果、シーン変化などが発生した場合でも少数の映像信号から安定したノイズ低減処理の効果を維持することができ、高品位な映像信号が得られる。また、類似画素を選択することで動きに起因する画素を排除することができるので、動き補償を省略することができ、システム全体の高速化および低コスト化を可能とする。
【００１７】
（請求項３）
請求項３に記載の発明は、請求項２に記載の映像処理装置において、前記補正手段は、前記類似画素の値の平均値を算出する平均値算出手段を有し、前記平均値を前記補正処理後の値として用いることを特徴とする映像処理装置である。
【００１８】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態が対応する。平均値算出手段は図７に示される平均算出部501が該当する。
【００１９】
この発明の好ましい適用例は平均算出部501にて類似画素の値の平均値を算出する映像処理装置である。
【００２０】
この発明によれば類似画素の値から平均値を算出し、この平均値が補正処理後の値として用いられる。これにより、算出されるノイズ成分の統計的な意味での精度および信頼性を改善することができる。また、平均値の算出は容易で、システム全体の高速化および低コスト化を可能とする。
【００２１】
（請求項４）
請求項４に記載の発明は、請求項２に記載の映像処理装置において、前記補正手段は、前記類似画素の値に対してローパスフィルタを適用するローパスフィルタ手段を有し、前記ローパスフィルタ適用後の値を前記補正処理後の値として用いることを特徴とする映像処理装置である。
【００２２】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態が対応する。ローパスフィルタ手段は図１１に示されるローパスフィルタ部503、係数用ROM504が該当する。
【００２３】
この発明の好ましい適用例はローパスフィルタ部503、係数用ROM504にて類似画素に対してローパスフィルタを適用する映像処理装置である。
【００２４】
この発明によれば、類似画素の値にローパスフィルタを適用し、ローパスフィルタ適用後の値が補正処理後の値として用いられる。これにより、算出されるノイズ成分の統計的な意味での精度および信頼性を改善することができる。また、ローパスフィルタは実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。
【００２５】
（請求項５）
請求項５に記載の発明は、請求項２に記載の映像処理装置において、前記補正手段は、前記類似画素の値に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段を有し、前記バイラテラルフィルタ適用後の値を前記補正処理後の値として用いることを特徴とする映像処理装置である。
【００２６】
この発明に関する実施形態は、図１６〜図２３Ｄに示される第２の形態が対応する。バイラテラルフィルタ手段は図２２に示される差成分算出部1000、差成分用ROM1001、座標用ROM1002、重み係数合成部1003、フィルタリング部1004が該当する。
【００２７】
この発明の好ましい適用例は、差成分算出部1000、差成分用ROM1001、座標用ROM1002、重み係数合成部1003、フィルタリング部1004にて類似画素に対してバイラテラルフィルタを適用する映像処理装置である。
【００２８】
この発明によれば、類似画素の値にバイラテラルフィルタを適用し、バイラテラルフィルタ適用後の値が補正処理後の値として用いられる。これにより、算出されるノイズ成分の統計的な意味での精度および信頼性を改善することができる。また、バイラテラルフィルタはノイズ成分やエッジ成分の有無に影響されずに安定した結果が得られ、高精度なノイズ低減処理が可能となる。
【００２９】
（請求項６）
請求項６に記載の発明は、請求項３から５のいずれか一つに記載の映像処理装置において、前記類似画素が存在しない場合に前記補正処理後の値として値零の信号を出力する例外処理手段をさらに有することを特徴とする映像処理装置である。
【００３０】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。例外処理手段は図７、図１１、図２２に示される例外処理部502が該当する。
【００３１】
この発明の好ましい適用例は、例外処理部502にて類似画素が存在しない場合に補正処理後の値として値零の信号を出力する映像処理装置である。
【００３２】
この発明によれば、類似画素が存在しない場合には補正処理後の値として値零の信号を出力する。類似画素が得られない場合でもノイズ低減処理を継続することが可能となり、システムとしての安定性が向上する。
【００３３】
（請求項７）
請求項７に記載の発明は、請求項１から６に記載の映像処理装置において、前記選択手段が、前記ノイズ低減処理後の映像信号を所定の単位時間で遅延させて前記ノイズ低減処理後の過去の映像信号を得る遅延手段と、前記ノイズ低減処理後の過去の映像信号から前記注目画素と同一座標の画素を包含する所定サイズの局所領域を抽出する局所領域抽出手段と、前記注目画素の値に含まれるノイズ量を推定するノイズ推定手段と、前記ノイズ量に基づき前記局所領域に対する許容範囲を設定する許容範囲設定手段と、前記局所領域内の各画素の値が前記許容範囲内に属するか否かを判定し、前記許容範囲内に属する値の画素を前記類似画素として判定する判定手段と、を有することを特徴とする映像処理装置である。
【００３４】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。遅延手段は図４、図１９に示されるバッファ302が、局所領域抽出手段は図４、図１９に示される局所領域抽出部303が、ノイズ推定手段は図４、図５に示されるノイズ推定部300および図１９、図２１に示されるノイズ推定部800が、許容範囲設定手段は図４、図１９に示される許容範囲設定部301が、判定手段は図４、図１９に示される判定部304が該当する。
【００３５】
この発明の好ましい適用例は、バッファ302にてノイズ低減処理後の映像信号を所定の単位時間で遅延し、局所領域抽出部303にて遅延されたノイズ低減処理後の映像信号から注目画素と同一座標の画素を包含する所定サイズの局所領域を抽出し、ノイズ推定部300またはノイズ推定部800にて映像信号の注目画素に関するノイズ量を推定し、許容範囲設定部301にてノイズ量に基づき局所領域に対する許容範囲を設定し、判定部304にて局所領域内の各画素の値が許容範囲内に属するか否かを判定する映像処理装置である。
【００３６】
所定時間遅延させたノイズ低減処理後の過去の映像信号から所定サイズの局所領域を抽出し、現在の映像信号の注目画素の値に含まれるノイズ量に基づき設定した許容範囲を用いて局所領域内の各画素が注目画素に類似するか否かを判断することで類似画素を選択する。注目画素の値に含まれるノイズ量に基づき類似画素の判定を行うため、類似画素の選択精度を向上することができ、統計的な意味での精度および信頼性を改善することができる。
【００３７】
（請求項８）
請求項８に記載の発明は、請求項７に記載の映像処理装置において、前記遅延手段が、前記所定の単位時間としてフィールド単位時間またはフレーム単位時間の少なくとも一つから選択することを特徴とする映像処理装置である。
【００３８】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。遅延手段で使用されるフィールド単位時間またはフレーム単位時間は図４、図１９に示されるバッファ302にて用いられる。
【００３９】
この発明の好ましい適用例は、バッファ302にてノイズ低減処理後の映像信号をフィールド単位時間またはフレーム単位時間遅延する映像処理装置である。
【００４０】
この発明によれば、ノイズ低減処理後の映像信号をフィールド単位時間またはフレーム単位時間遅延する。従来使用されている撮像素子および信号処理系との親和性、互換性が高く、多様な映像処理装置に適応することが可能となる。
【００４１】
（請求項９）
請求項９に記載の発明は、請求項７に記載の映像処理装置において、前記遅延手段が、前記ノイズ低減処理後の映像信号を記録する記録手段を有することを特徴とする映像処理装置である。
【００４２】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。記録手段は図４、図１９に示されるバッファ302が該当する。
【００４３】
この発明の好ましい適用例は、バッファ302にてノイズ低減処理後の映像信号を記録する映像処理装置である。
【００４４】
この発明によれば、ノイズ低減処理後の映像信号を記録することにより所定時間遅延させる。従来使用されている撮像素子および信号処理系との親和性、互換性が高く、多様な映像処理装置に適応することが可能となる。
【００４５】
（請求項１０）
請求項１０に記載の発明は、請求項７に記載の映像処理装置において、前記局所領域抽出手段が、前記ノイズ低減処理後の過去の映像信号に関して欠落する画素の値を補間演算にて生成する補間手段を有することを特徴とする映像処理装置である。
【００４６】
この発明に関する実施形態は、図１６〜図２３Ｄに示される第２の実施形態が対応する。補間手段は図１９に示される補間部801が該当する。
【００４７】
この発明の好ましい適用例は、補間部801にて遅延されたノイズ低減処理後の映像信号に関して欠落する画素を補間演算にて生成する映像処理装置である。
【００４８】
この発明によれば、ノイズ低減処理後の映像信号に関して欠落する画素を補間演算にて生成する。従来使用されている撮像素子および信号処理系との親和性、互換性を維持することができ、多様な映像処理装置に適応することが可能となる。
【００４９】
（請求項１１、１２）
請求項１１に記載の発明は、請求項７に記載の映像処理装置において、前記ノイズ推定手段が、前記現在の映像信号から前記注目画素を包含する所定サイズの単位領域を抽出する単位領域抽出手段と、前記単位領域内の画素の値の平均値を算出する平均値算出手段と、前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、基準ノイズモデルに関するパラメータ群を記録するパラメータ記録手段と、前記収集手段からの情報および前記単位領域の平均値に基づき前記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、前記単位領域内の画素の値の平均値および前記選択されたパラメータに基づき補間演算により前記注目画素の値に含まれるノイズ量を求める補間手段と、を有することを特徴とする映像処理装置である。
【００５０】
また、請求項１２に記載の映像処理装置は、請求項１１に記載の映像処理装置において、前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、前記パラメータ選択手段は、前記収集手段または前記付与手段からの情報及び前記局所領域内の画素の値の平均値に基づき前記パラメータ群から前記必要となるパラメータを選択することを特徴とする映像処理装置である。
【００５１】
これらの発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態が対応する。単位領域抽出手段は図５に示される単位領域抽出部400が、平均値算出手段は図５に示される平均値算出部401が、収集手段は図５に示されるゲイン算出部402、制御部118が、付与手段は図５に示される標準値付与部403が、パラメータ記録手段は図５に示されるパラメータ用ROM404が、パラメータ選択手段は図５に示されるパラメータ選択部405が、補間手段は図５に示されるノイズ補間部406、ノイズ補正部407が該当する。
【００５２】
これらの発明の好ましい適用例は、単位領域抽出部400にて映像信号からノイズ低減処理を行う注目画素を包含する所定サイズの単位領域を抽出し、平均値算出部401にて単位領域内の画素の値の平均値を算出し、ゲイン算出部402、制御部118にて映像信号を撮像する際に用いた撮像素子の温度値および映像信号に対するゲイン値に関する情報を収集し、パラメータ用ROM404に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、パラメータ選択部405にて収集手段からの情報および単位領域内の画素の値の平均値に基づきパラメータ群から必要となるパラメータを選択し、ノイズ補間部406、ノイズ補正部407にて単位領域内の画素の値の平均値および選択されたパラメータに基づき補間演算によりノイズ量を求める映像処理装置である。
【００５３】
これらの発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、基準ノイズモデルに基づき補間処理を行うことで注目画素の値に含まれるノイズ量を求める。撮影ごとに異なる条件に動的に適応し、高精度かつ安定的な注目画素のノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いているが、補間演算は実装が容易であり、システムの低コスト化が可能となる。また、ノイズモデルに基づくノイズ量推定は調整に要するパラメータがないため、制御の簡略化を可能とする。
【００５４】
また、ノイズ量に関係する情報が得られない場合には標準値を付与し、これを用いるようにしたことで（請求項１２）、ノイズ量に関係する情報が得られない場合であってもノイズ低減処理が可能になる。
【００５５】
（請求項１３、１４）
請求項１３に記載の発明は、請求項７に記載の映像処理装置において、前記ノイズ推定手段が、前記映像信号から前記注目画素を包含する所定サイズの単位領域を抽出する単位領域抽出手段と、前記単位領域内の画素の値の平均値を算出する平均値算出手段と、前記撮像系の温度値および前記映像信号に対するゲインに関する情報を収集する収集手段と、前記収集手段からの情報および前記単位領域の平均値を入力として前記注目画素の値に含まれるノイズ量を出力するノイズテーブル手段と、を有することを特徴とする映像処理装置である。
【００５６】
また、請求項１４に記載の発明は、請求項１３に記載の映像処理装置において、前記収集手段で得られない情報に関して標準値を付与する付与手段を備え、前記ノイズテーブル手段は、前記収集手段または前記付与手段からの情報及び前記局所領域の平均値を入力として前記注目画素の値に含まれるノイズ量を出力することを特徴とする請求項９に記載の映像処理装置である。
【００５７】
これらの発明に関する実施形態は、図１６〜図２３Ｄに示される第２の実施形態が対応する。単位領域抽出手段は図２１に示される単位領域抽出部400が、平均値算出手段は図２１に示される平均値算出部401が、収集手段は図２１に示されるゲイン算出部402、制御部118が、付与手段は図２１に示される標準値付与部403が、ノイズテーブル手段は図２１に示されるノイズテーブル部900が該当する。
【００５８】
これらの発明の好ましい適用例は、単位領域抽出部400にて映像信号からノイズ低減処理を行う注目画素を包含する所定サイズの単位領域を抽出し、平均値算出部401にて単位領域内の画素の値の平均値を算出し、ゲイン算出部402、制御部118にて映像信号を撮像する際に用いた撮像素子の温度値および映像信号に対するゲイン値に関する情報を収集し、ノイズテーブル部900にて収集手段からの情報および単位領域内の画素の値の平均値に基づきノイズ量を求める映像処理装置である。
【００５９】
これらの発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、ルックアップテーブルから注目画素の値に含まれるノイズ量を求める。撮影ごとに異なる条件に動的に適応し、高精度かつ安定的な注目画素の値に含まれるノイズ量の推定が可能となる。また、ノイズ量の算出にルックアップテーブルを用いているため、高速なノイズ量の推定が可能となる。また、ルックアップテーブルに基づくノイズ量推定は調整に要するパラメータがないため、制御の簡略化を可能とする。
【００６０】
また、ノイズ量に関係する情報が得られない場合には標準値を付与し、これを用いるようにしたことで（請求項１４）、ノイズ量に関係する情報が得られない場合であってもノイズ低減処理が可能になる。
【００６１】
（請求項１５）
請求項１５に記載の発明は、請求項１１から１４のいずれか一つに記載の映像処理装置において、前記単位領域抽出手段が、前記単位領域のサイズを前記局所領域のサイズと同一にすることを特徴とする映像処理装置である。
【００６２】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。単位領域抽出手段で使用される単位領域のサイズを局所領域抽出手段で使用される局所領域のサイズと同一に設定して、図５、図２１に示される単位領域抽出部400で使用する。
【００６３】
この発明の好ましい適用例は、単位領域抽出部400にて局所領域と同一サイズの単位領域を抽出する映像処理装置である。
【００６４】
この発明によれば、現在の映像信号の注目画素の値に含まれるノイズ量を推定するのに使用される単位領域と過去のノイズ低減処理後の映像信号から類似画素を選択するのに使用される局所領域を同一サイズとする。処理系全体で整合がとれるので、ハードウェア上の無駄が少なくなり、処理性能が安定する。
【００６５】
（請求項１６）
請求項１６に記載の発明は、請求項１から１５に記載の映像処理装置において、前記ノイズ低減手段が、前記注目画素の値から前記ノイズ成分を減算する減算手段を有することを特徴とする映像処理装置である。
【００６６】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態が対応する。減算手段は図３に示される減算部202が該当する。
【００６７】
この発明の好ましい適用例は、減算部202にて映像信号の注目画素の値からノイズ成分を減算する映像処理装置である。
【００６８】
この発明によれば、画素単位でノイズ成分を減算することによりノイズ低減処理を行う。減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。
【００６９】
（請求項１７）
請求項１７に記載の発明は、請求項１から１５に記載の映像処理装置において、前記ノイズ低減手段が、前記注目画素の値に対して前記ノイズ成分に基づきコアリング処理を行うコアリング手段を有することを特徴とする映像処理装置である。
【００７０】
この発明に関する実施形態は、図１６〜図２３Ｄに示される第２の実施形態が対応する。コアリング手段は図１８に示されるコアリング部703が該当する。
【００７１】
この発明の好ましい適用例は、コアリング部703にてノイズ成分に基づき映像信号の注目画素の値に対してコアリング処理を行う映像処理装置である。
【００７２】
この発明によれば、ノイズ成分に基づき映像信号の注目画素の値に対してコアリング処理を行うことによりノイズ低減処理を行う。ノイズ成分のみを重点的に低減でき、かつエッジ成分などのノイズ成分以外を含む画素との連続性が確保できるため、高品位な映像信号が得られる。
【００７３】
（請求項１８）
請求項１８に記載の発明は、請求項１から１５に記載の映像処理装置において、前記撮像系が色フィルタを前面に配置した撮像素子を使用し、前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号に分離する色信号分離手段と、前記色信号ごとに前記ノイズ低減手段、前記選択手段、前記補正手段及び前記算出手段を順次適用するよう制御する信号制御手段と、を有することを特徴とする映像処理装置である。
【００７４】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態が対応する。色信号分離手段は図１、図１４に示される色信号分離部111が、信号制御手段は図１、図１４に示される制御部118が該当する。
【００７５】
この発明の好ましい適用例は、色信号分離部111にて撮像素子に使用される色フィルタごとに映像信号を複数の色信号に分離し、制御部118にて色信号ごとにノイズ低減手段、選択手段、補正手段および算出手段を順次適用するよう制御する映像処理装置である。
【００７６】
この発明によれば、映像信号から色信号を分離し、各々を独立してノイズ低減処理を行う。各色信号を独立に処理するため、ランダムノイズの抽出を高精度化することができ、高品位な映像信号が得られる。また、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
【００７７】
（請求項１９）
請求項１９に記載の発明は、請求項１から１５に記載の映像処理装置において、前記撮像系は色フィルタを前面に配置した撮像素子を使用し、前記映像信号から輝度信号および色差信号を分離する輝度色差分離手段と、前記輝度信号および色差信号ごとに前記ノイズ低減手段、前記選択手段、前記補正手段及び前記算出手段を順次適用するよう制御する信号制御手段と、を有することを特徴とする映像処理装置である。
【００７８】
この発明に関する実施形態は、図１６〜図２３Ｄに示される第２の実施形態が対応する。輝度色差分離手段は図１６に示される輝度色差分離部601が、信号制御手段は図１６に示される制御部118が該当する。
【００７９】
この発明の好ましい適用例は、輝度色差分離部601にて映像信号から輝度信号および色差信号を分離し、制御部118にて輝度信号および色差信号ごとにノイズ低減手段、選択手段、補正手段および算出手段を順次適用するよう制御する映像処理装置である。
【００８０】
この発明によれば、映像信号から輝度信号および色差信号を分離し、各々を独立してノイズ低減処理を行う。輝度信号および色差信号を独立に処理するため、ランダムノイズの抽出を高精度化することができ、高品位な映像信号が得られる。また、輝度信号および色差信号の形態でノイズ低減処理を行うため、多様な映像処理装置に適応することが可能となる。
【００８１】
（請求項２０）
請求項２０に記載の発明は、請求項１８または１９に記載の映像処理装置において、前記撮像素子が、ベイヤー型原色フィルタあるいは色差線順次型補色フィルタを前面に配置した撮像素子であることを特徴とする映像処理装置である。
【００８２】
この発明に関する実施形態は、図１〜図１５Ｄに示される第１の実施形態および図１６〜図２３Ｄに示される第２の実施形態が対応する。ベイヤー型原色フィルタは図２（ａ）に、色差線順次型補色フィルタは図１０（ａ）、図１７（ａ）に示される。
【００８３】
この発明の好ましい適用例は、図２（ａ）に示されるベイヤー型原色フィルタ、または図１０（ａ）、図１７（ａ）に示される色差線順次型補色フィルタを撮像素子の前面に配置した映像処理装置である。
【００８４】
この発明によれば、ベイヤー型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用いる。従来の撮像素子との親和性、互換性が高く、多様な映像処理装置に適応することが可能となる。
【００８５】
（請求項２１）
請求項２１に記載の映像処理プログラムに係る発明は、上記請求項１による映像処理装置の各手段をソフトウェア処理により実現するものであり、請求項１の発明と同様な作用・効果を得ることができる。
【発明の効果】
【００８６】
本発明によれば、複数の類似画素を用いてノイズ低減処理後の過去の映像信号を補正し、この補正されたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分としたことにより、ノイズ成分に関する統計的な意味での精度および信頼性を改善することができる。この結果、シーン変化などが発生した場合でも少数の映像信号から安定したノイズ低減処理の効果を維持することができ、高品位な映像信号が得られる。また、類似画素を選択することで動きに起因する画素を排除することができるので、動き補償を省略することができ、システム全体の高速化および低コスト化を可能とする。
【発明を実施するための最良の形態】
【００８７】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００８８】
まず、その構成について説明する。図１は本発明の第１の実施形態の構成図である。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、増幅器（図中"Gain"）104にて増幅され、A/Dコンバータ（図中"A/D"）105にてデジタル信号へ変換される。A/Dコンバータ105からの映像信号はバッファ106を介して色信号分離部111へ転送される。
【００８９】
バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109へも接続している。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD102、増幅器104へ、合焦点検出部109はAFモータ110へ接続している。色信号分離部111は、ノイズ低減部112、類似画素選択部113、ノイズ成分算出部115へ接続している。ノイズ低減部112は、類似画素選択部113および信号処理部116へ接続している。類似画素選択部113は補正部114へ、補正部114は、ノイズ成分算出部115へ、ノイズ成分算出部115はノイズ低減部112へ接続している。信号処理部116は、メモリカードなどの出力部117に接続している。
【００９０】
マイクロコンピュータなどの制御部118は、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、色信号分離部111、ノイズ低減部112、類似画素選択部113、補正部114、ノイズ成分算出部115、信号処理部116、出力部117と双方向に接続している。
【００９１】
また、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部119も制御部118に双方向に接続している。さらに、CCD102の近傍に配置された温度センサ103からの信号は制御部118へ接続している。
【００９２】
続いて、信号処理の内容について説明する。
【００９３】
図１を参照しながら映像信号の流れを説明する。外部I/F部119を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。また、本実施形態においては上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。
【００９４】
さらに、CCD102としてはベイヤー(Bayer)型原色フィルタを前面に配置した単板CCDを想定する。図２（ａ）はベイヤー型原色フィルタの構成を示す。ベイヤー型は2×2画素を基本単位とし、赤(R)、青(B)フィルタが１画素ずつ、緑(Gr、Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、本例では処理の便宜上これをGrとGbに区別するものとする。
【００９５】
上記アナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフレーム信号は、制御部118の制御に基づき、所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部107、測光評価部108および合焦点検出部109へ転送される。
【００９６】
プリホワイトバランス調整部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
【００９７】
測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度や増幅器104の増幅率などを制御する。
【００９８】
また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
【００９９】
プリホワイトバランス調整部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は制御部118へ転送される。
【０１００】
一方、色信号分離部111は制御部118の制御に基づき、以後のノイズ低減処理の対象となる注目画素および注目画素を包含する所定サイズの単位領域を色信号ごとに順次抽出する。本実施形態においては、例えば図２（ａ）に示される10×10画素を基本単位としてフレーム信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22、Gr22、Gb22、B22の4画素となる。以後は、注目画素をP22（Pは色信号でP=R、Gr、Gb、B）で表記する。
【０１０１】
次に、図２（ｂ）に示されるようにR、Gr、Gb、Bの色フィルタごとに5×5画素の単位領域として分離する。以降は、時刻Tにおける単位領域内の画素Pijの値をCTij（Cは色信号でC=R、Gr、Gb、B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の単位領域の場合は、注目画素P22の値（以下、「注目画素値」という）はCT22となる。
【０１０２】
上記単位領域は類似画素選択部113へ、上記注目画素値CT22はノイズ低減部112、ノイズ成分算出部115へ転送される。類似画素選択部113は、制御部118の制御に基づき、色信号分離部111からの単位領域および後述するノイズ低減部112からのノイズ低減処理がなされた過去の映像信号を読み込む。本実施形態においては、過去の映像信号としては１フレーム時間前の時刻T-1のフレーム信号を想定し、ノイズ低減処理後の画素値をC'で表記することとする。例えば、注目画素値CT22に対応するノイズ低減処理がなされた１フレーム時間前の過去の注目画素値はC'T-122となる。なお、フレーム間隔が十分に短い場合は２フレーム時間以上前のフレーム信号を過去の映像信号として用いることも可能である。
【０１０３】
類似画素選択部113は、ノイズ低減処理後の過去の映像信号から注目画素P22に類似する画素（以下、「類似画素」という）を選択し、その値（以下、「類似画素値」という）C_S'T-1kl（Cは色信号でC=R、Gr、Gb、B、kはX座標でk=0〜4のいずれか、lはY座標でl=0〜4のいずれか）を補正部114へ転送する。
【０１０４】
補正部114は、制御部118の制御に基づき、類似画素値C_S'T-1klを用いて、ノイズ低減処理後の過去の映像信号に対する補正処理、具体的には、過去の映像信号における注目画素P22と同一座標の画素の値C'T-122に対する補正処理を行う。補正処理後の値C"T-122はノイズ成分算出部115へ転送される。なお、類似画素値C_S'T-1klが存在しない場合は補正処理後の値C"T-122として値零を設定する。
【０１０５】
ノイズ成分算出部115は、制御部118の制御に基づき、色信号分離部111からの注目画素値CT22および補正部114からの補正処理後の値C"T-122を読み込み、両者の差分をノイズ成分C_ΔT22（Cは色信号でC=R、Gr、Gb、B）として算出する。
【０１０６】
【数１】
2008271101.tif 000003
【０１０７】
算出されたノイズ成分C_ΔT22はノイズ低減部112へ転送される。
【０１０８】
ノイズ低減部112は、制御部118の制御に基づき、色信号分離部111からの注目画素値CT22に関して、ノイズ成分算出部115からのノイズ成分C_ΔT22を減算することで、ノイズ低減処理がなされた注目画素値C'T22を算出し、これを類似画素選択部113および信号処理部116へ転送する。
【０１０９】
なお、ノイズ低減部112は後述する第２の実施形態のノイズ低減部602のように注目画素値CT22に関してコアリング処理を行うことでノイズ低減処理がなされた注目画素値C'T22を算出するようにしてもよい。
【０１１０】
上記色信号分離部111、ノイズ低減部112、類似画素選択部113、補正部114、ノイズ成分算出部115における処理は、制御部118の制御に基づき単位領域からの注目画素単位で同期して行われる。
【０１１１】
信号処理部116は、制御部118の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して公知の補間処理、強調処理、階調処理、圧縮処理などを行い、出力部117へ転送する。
【０１１２】
出力部117は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
【０１１３】
図３はノイズ低減部112の構成の一例を示すもので、ノイズ低減部112は注目画素抽出部200、ノイズ成分抽出部201、減算部202からなる。
【０１１４】
色信号分離部111は注目画素抽出部200へ、ノイズ成分算出部115はノイズ成分抽出部201へ接続している。注目画素抽出部200および、ノイズ成分抽出部201は、減算部202へ接続している。減算部202は、類似画素選択部113および信号処理部116へ接続している。制御部118は、注目画素抽出部200、ノイズ成分抽出部201、減算部202と双方向に接続している。
【０１１５】
注目画素抽出部200は、制御部118の制御に基づき、色信号分離部111から注目画素値CT22を読み込み、減算部202へ転送する。ノイズ成分抽出部201は、制御部118の制御に基づき、ノイズ成分算出部115からノイズ成分C_ΔT22を読み込み、減算部202へ転送する。減算部202は、制御部118の制御に基づき、注目画素抽出部200からの注目画素値CT22とノイズ成分抽出部201からのノイズ成分C_ΔT22間にて減算処理を行い、ノイズ低減処理がなされた注目画素値C'T22を求める。
【０１１６】
【数２】
2008271101.tif 000004
【０１１７】
ノイズ低減処理がなされた注目画素値C'T22は類似画素選択部113および信号処理部116へ転送される。
【０１１８】
図４は類似画素選択部113の構成の一例を示すもので、類似画素選択部113はノイズ推定部300、許容範囲設定部301、バッファ302、局所領域抽出部303、判定部304、バッファ305からなる。
【０１１９】
色信号分離部111は、ノイズ推定部300、許容範囲設定部301を介して判定部304へ接続している。ノイズ低減部112は、バッファ302、局所領域抽出部303を介して判定部304へ接続している。判定部304はバッファ305を介して補正部114へ接続している。制御部118は、ノイズ推定部300、許容範囲設定部301、局所領域抽出部303、判定部304と双方向に接続している。
【０１２０】
ノイズ推定部300は、制御部118の制御に基づき、色信号分離部111から図２（ｂ）に示される5×5画素の単位領域内の画素の値CTijを読み込み、後述するように単位領域内の画素の値CTijの平均値C_AV（Cは色信号でC=R、Gr、Gb、B）および注目画素値CT22に含まれるノイズ量C_NT22（Cは色信号でC=R、Gr、Gb、B）を推定する。上記平均値C_AVおよびノイズ量C_NT22は許容範囲設定部301へ転送される。
【０１２１】
許容範囲設定部301は、制御部118の制御に基づき、ノイズ推定部300からの平均値C_AVおよびノイズ量C_NT22から上限値C_Upper（Cは色信号でC=R、Gr、Gb、B）および下限値C_Lower（Cは色信号でC=R、Gr、Gb、B）からなる許容範囲を設定する。
【０１２２】
【数３】
2008271101.tif 000005
【０１２３】
設定された上限値C_Upperおよび下限値C_Lowerは判定部304へ転送される。
【０１２４】
一方、ノイズ低減部112からのノイズ低減処理後の映像信号C'はバッファ302に転送され記録される。バッファ302は１フレーム信号を記録可能な容量とする。
【０１２５】
局所領域抽出部303は、制御部118の制御に基づき、バッファ302から注目画素P22と同一座標に存在する画素を包含する所定サイズの局所領域を抽出する。本実施形態では、局所領域を、注目画素P22と同一座標の画素を中心とする上記単位領域と同一サイズの5×5画素と想定し、局所領域内の各画素の値をC'T-1ijで表記する。抽出された局所領域は判定部304へ転送される。
【０１２６】
判定部304は、制御部118の制御に基づき、許容範囲設定部301から上限値C_Upperおよび下限値C_Lowerを、局所領域抽出部303から局所領域内の各画素の値C'T-1ijを読み込む。そして、局所領域内の各画素の値C'T-1ijに関して、(4)式を満たすか否かの判定処理を行う。
【０１２７】
【数４】
2008271101.tif 000006
【０１２８】
(4)式を満たす局所領域内の画素を注目画素P22に類似する類似画素とし、その値C'T-1ijを類似画素値C_S'T-1klとしてバッファ305へ出力する。バッファ305に記録された類似画素値C_S'T-1klは必要に応じて補正部114へ転送される。
【０１２９】
図５は類似画素選択部113内のノイズ推定部300の構成の一例を示すもので、ノイズ推定部300は単位領域抽出部400、平均値算出部401、ゲイン算出部402、標準値付与部403、パラメータ用ROM404、パラメータ選択部405、ノイズ補間部406、ノイズ補正部407からなる。
【０１３０】
色信号分離部111は単位領域抽出部400を介して平均値算出部401へ接続している。平均値算出部401、ゲイン算出部402、標準値付与部403、パラメータ用ROM404は、パラメータ選択部405へ接続している。パラメータ選択部405はノイズ補間部406およびノイズ補正部407へ接続している。ノイズ補間部406はノイズ補正部407へ、ノイズ補正部407は許容範囲設定部301へ接続している。制御部118は、単位領域抽出部400、平均値算出部401、ゲイン算出部402、標準値付与部403、パラメータ選択部405、ノイズ補間部406、ノイズ補正部407と双方向に接続している。
【０１３１】
単位領域抽出部400は、制御部118の制御に基づき、図２（ｂ）に示される5×5画素の単位所領域を順次抽出し、平均値算出部401へ転送する。平均値算出部401は、制御部118の制御に基づき、単位領域抽出部400からの単位領域内の画素の値CTijの平均値C_AVを求める。
【０１３２】
【数５】
2008271101.tif 000007
【０１３３】
(5)式に示される平均値C_AVはパラメータ選択部405へ転送される。
【０１３４】
ゲイン算出部402は、制御部118から転送されるISO感度および露光条件に関する情報に基づき増幅器104における増幅量を求め、パラメータ選択部405へ転送する。
【０１３５】
また、制御部118は温度センサ103からCCD102の温度情報を得て、これをパラメータ選択部405へ転送する。パラメータ選択部405は、平均値算出部401からの単位領域の平均値、ゲイン算出部402からのゲインの情報、制御部118からの温度情報に基づき注目画素値CT22に含まれるノイズ量C_NT22を推定する。
【０１３６】
図６はノイズ量の推定に関する説明図である。図６（ａ）は信号レベルLに対するノイズ量Nをプロットしたもので、ノイズ量Nは信号レベルLに対して２次曲線的に増加している。図６（ａ）を２次関数でモデル化すると(6)式が得られる。
【０１３７】
【数６】
2008271101.tif 000008
【０１３８】
ここで、α、β、γは定数項である。しかしながら、ノイズ量Nは信号レベルLだけではなく、撮像素子の温度やゲインによっても変化する。図６（ａ）は、一例としてある温度下においてゲインに関連する３種類のISO感度100、200、400に対するノイズ量をプロットしている。個々の曲線は(6)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、
【０１３９】
【数７】
2008271101.tif 000009
【０１４０】
となる。ここで、αgt、βgt、γgtは定数項である。
【０１４１】
ただし、(7)式の関数を複数記録し、その都度演算によりノイズ量Nを算出することは処理的に煩雑である。このため、図６（ｂ）に示すようなモデルの簡略化を行う。図６（ｂ）においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln、Nn)で表す。ここで、nは変曲点の数を示す。
【０１４２】
また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数kgtを乗算することで行われる。
【０１４３】
図６（ｃ）は、図６（ｂ）に示す簡易化されたノイズモデルからノイズ量Nを算出する方法を示す。例えば、与えられた信号レベルl、ゲインg、温度tに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln、Nn)と(Ln+1、Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
【０１４４】
【数８】
2008271101.tif 000010
【０１４５】
次に補正係数kgtを乗算することでノイズ量Nを求める。
【０１４６】
【数９】
2008271101.tif 000011
【０１４７】
パラメータ選択部405は、平均値算出部401からの単位領域内の画素の値の平均値C_AVから信号レベルlを、ゲイン算出部402からのゲインの情報からゲインgを、制御部118からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln、Nn)と(Ln+1、Nn+1)をパラメータ用ROM404から探索し、これをノイズ補間部406へ転送する。さらに、補正係数kgtをパラメータ用ROM404から探索し、これを平均値C_AVと共にノイズ補正部407へ転送する。
【０１４８】
ノイズ補間部406は、制御部118の制御に基づき、パラメータ選択部405からの信号レベルlおよび区間の座標データ(Ln、Nn)と(Ln+1、Nn+1)から(8)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、ノイズ補正部407へ転送する。
【０１４９】
ノイズ補正部407は、制御部118の制御に基づき、パラメータ選択部405からの補正係数kgtおよびノイズ補間部406からの基準ノイズ量Nlから(9)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素値CT22に含まれるノイズ量C_NT22として平均値C_AVと共に許容範囲設定部301へ転送される。
【０１５０】
なお、上記ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部403に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
【０１５１】
また、ここではノイズモデルを用いてノイズ量C_NT22を得ているが、後述する第２の実施形態のようにルックアップテーブルを用いてノイズ量C_NT22を得るようにしても構わない。
【０１５２】
図７は補正部114の構成の一例を示すもので、補正部114は類似画素抽出部500、平均算出部501、例外処理部502からなる。
【０１５３】
類似画素選択部113は類似画素抽出部500へ、類似画素抽出部500は平均算出部501、例外処理部502へ接続している。平均算出部501および例外処理部502は、ノイズ成分算出部115へ接続している。制御部118は、類似画素抽出部500、平均算出部501、例外処理部502と双方向に接続している。
【０１５４】
類似画素抽出部500は、制御部118の制御に基づき、類似画素選択部113からノイズ低減処理後の映像信号の類似画素値C_S'T-1klを読み込み、これを平均算出部501へ転送する。類似画素が存在しない場合は例外処理部502へ起動信号を転送する。
【０１５５】
平均算出部501は、制御部118の制御に基づき、類似画素抽出部500から転送される類似画素値C_S'T-1klの平均値を求め、これを過去の映像信号における注目画素P22と同一座標の画素の値C'T-122の補正処理後の値C"T-122としてノイズ成分算出部115へ転送する。
【０１５６】
一方、例外処理部502は制御部118の制御に基づき、類似画素選択部113から起動信号が転送された場合のみ補正処理後の値C"T-122として値零をノイズ成分算出部115へ転送する。
【０１５７】
図８、図９は、上記色信号分離部111、ノイズ低減部112、類似画素選択部113、補正部114、ノイズ成分算出部115におけるノイズ低減処理に関する説明図である。
【０１５８】
図８（ａ）、（ｂ）は時系列的に撮影される映像信号およびX軸方向のプロファイルを示す。被写体としては、黒を背景として白の矩形がX軸方向に移動する場合を想定する。図８（ａ）は１フレーム時間前の時刻T-1の映像信号CT-1を、図８（ｂ）は現在の時刻Tの映像信号CTを示す。なお，図８（ａ）の映像信号はノイズ低減処理が完了しており、ノイズ低減処理後の映像信号C'T-1が存在する。
【０１５９】
図９は、色信号分離部111、ノイズ低減部112、類似画素選択部113、補正部114、ノイズ成分算出部115における処理を図示したものである。図中"NR信号"はノイズ低減処理後の信号を示す。色信号分離部111からは、図８（ｂ）に示される時刻Tの映像信号CTが転送される。ノイズ低減部112から類似画素選択部113へ、時刻T-1のノイズ低減処理後の映像信号C'T-1が転送される。ここでは、シーン変化が発生した直後で、ノイズ低減処理後の映像信号C'T-1にはノイズ成分が残存している場合を想定する。
【０１６０】
類似画素選択部113は(3)式に示す許容範囲に基づき類似画素を選択する。
【０１６１】
補正部114では、選択された類似画素の値を平均化し、これを過去の映像信号における注目画素と同一座標の画素の値と置換することで当該値に対する補正処理を行い、補正処理後の値を求める。この補正処理は、一画素で構成される当該画素の値を複数の類似画素の平均値と置換することにより、統計的な意味での精度および信頼性を改善することを意味する。
【０１６２】
ノイズ成分算出部115では、補正処理がなされたノイズ低減処理後の映像信号C"T-1と映像信号CT間から、(1)式で示されるノイズ成分C_ΔTを算出する。ノイズ成分C_ΔTは、補正処理により改善されたノイズ低減処理後の映像信号C"T-1から算出されるため、映像信号CTに含まれる実際のノイズ成分を高精度に反映している。これにより、シーン変化が発生した直後でノイズ低減処理後の映像信号C'T-1にノイズ成分が残存している場合でも、十分な精度のノイズ低減処理が可能となる
ノイズ低減部112では、映像信号CTとノイズ成分C_ΔT間にて減算処理を行い、ノイズ低減処理がなされた映像信号C'Tを算出する。
【０１６３】
続いて、上記ノイズ低減処理による効果について説明する。
【０１６４】
上記構成によれば、複数の類似画素を用いてノイズ低減処理後の過去の映像信号を補正し、この補正されたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分としたことにより、ノイズ成分に関する統計的な意味での精度および信頼性を改善することができ、シーン変化などが発生した場合でも少数の映像信号から安定したノイズ低減処理の効果を維持し、高品位な映像信号が得られる。また、類似画素を選択することで動きに起因する画素を排除することができるので、動き補償を省略することができ、システム全体の高速化および低コスト化を可能とする。
【０１６５】
また、減算によるノイズ低減処理は計算量が少なく、システム全体の高速化および低コスト化を可能とする。
【０１６６】
また、ノイズ低減処理後の映像信号をフレーム単位時間遅延する構成であるため、従来使用されている撮像素子および信号処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能となる。
【０１６７】
また、ノイズ量に基づき類似画素の判定を行うため、類似画素の選択精度を向上することができる。ノイズ量の推定は撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。また、ノイズ量の算出に補間演算を用いているが、補間演算は実装が容易であり、システムの低コスト化が可能となる。また、ノイズモデルに基づくノイズ量推定は調整に要するパラメータがないため、制御の簡略化を可能とする。さらに、ノイズ量を推定するのに使用される単位領域と類似画素を選択するのに使用される局所領域を同一サイズとするため、処理系全体で整合がとれ、ハードウェア上の無駄が少なくなり、処理性能が安定する。
【０１６８】
また、類似画素を用いた補正処理に平均化を使用しているため、処理が容易で、システム全体の高速化および低コスト化を可能とする。また、類似画素が得られない場合でも例外処理として処理が継続できるため、システムとしての安定性が向上する。
【０１６９】
また、各色信号を独立に処理するため、ランダムノイズの抽出を高精度化することができ、高品位な映像信号が得られる。
【０１７０】
さらに、ノイズ低減処理前に補間処理などの前処理が存在しないため、ノイズ低減処理の精度を向上することができる。
【０１７１】
また、ベイヤー型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。なお、上記実施形態では撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、図１０(ａ)に示される色差線順次型補色フィルタを用いることも可能であるし、二板、三板撮像素子の利用も可能である。
【０１７２】
図１０(ａ)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離部111は、図１０(ａ)に示される10×10画素単位で映像信号を読み込み、これを図１０（ｂ）に示されるようにMg、G、Ye、Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。時刻Tにおける局所領域内の各画素の値はCTij（Cは色信号でC=Mg、G、Ye、Cy）で示されることになる。
【０１７３】
また、上記実施形態は、補正部114の補正処理として平均値を求める構成となっていたが、このような構成に限定される必要はない。例えば、複数種類のローパスフィルタを切り換えて使用するなどの構成も可能である。図１１は、補正部114の別構成の一例を示すもので、図７に示す平均算出部501をローパスフィルタ部503および係数用ROM504に置換した構成になっている。基本構成は図７に示す類似画素選択部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１７４】
類似画素抽出部500はローパスフィルタ部503へ、ローパスフィルタ部503はノイズ成分算出部115へ接続している。係数用ROM504はローパスフィルタ部503へ接続している。制御部118はローパスフィルタ部503と双方向に接続している。
【０１７５】
図７に示す類似画素抽出部500と同様に、類似画素抽出部500は類似画素選択部113からノイズ低減処理後の映像信号の類似画素値C_S'T-1klを読み込み、これをローパスフィルタ部503へ転送する。また、類似画素抽出部500から類似画素を判断するのに用いた注目画素値CT22に含まれるノイズ量C_NT22も読み込み、ローパスフィルタ部503へ転送する。
【０１７６】
ローパスフィルタ部503は、制御部118の制御に基づき、類似画素抽出部500からのノイズ量C_NT22を用いて係数用ROM504からローパスフィルタ処理に用いるフィルタ係数を選択して、読み込む。
【０１７７】
図１２は係数用ROM504に記録されているフィルタ係数の一例を示すもので、サイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、各係数は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。
【０１７８】
ローパスフィルタ部503は、ノイズ量C_NT22からType1〜Type4の周波数特性を選択する。この選択は、例えば図１３に示されるノイズ量Nとフィルタの種類Type間の関係に基づき行われ、ノイズ量が大きいほど高周波成分を抑制する周波数特性が選択されることになる。
【０１７９】
ローパスフィルタ部503は、選択されたフィルタ係数を用いて、類似画素抽出部500からの類似画素に対してローパスフィルタ処理を行う。なお、存在しない画素に関してはローパスフィルタ処理の対象から除外し、実際に使用された画素のフィルタ係数に基づき正規化を行う。類似画素が存在しない場合の例外処理は図７における補正部114と同様に行われる。
【０１８０】
このように、類似画素にローパスフィルタを適用することで、統計的な意味での精度および信頼性を改善することができる。また、ローパスフィルタは実装が比較的容易で、システム全体の高速化および低コスト化を可能とする。なお、ここではローパスフィルタを用いたが、後述する第２の実施形態のように類似画素にバイラテラルフィルタを適用することも可能である。
【０１８１】
さらに、上記実施形態ではレンズ系100、絞り101、CCD102、温度センサ103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１４に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
【０１８２】
図１４は、図１に示す構成からレンズ系100、絞り101、CCD102、温度センサ103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110を省略し、入力部605、ヘッダ情報解析部606を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１８３】
入力部605は、バッファ106およびヘッダ情報解析部606へ接続している。制御部118は、入力部605、ヘッダ情報解析部606と双方向に接続している。
【０１８４】
マウス、キーボードなどの外部I/F部119を介して再生操作を開始することで、記録媒体に保存された映像信号およびヘッダ情報が入力部605から読み込まれる。なお、映像信号は所定の時間間隔、本実施形態では１フレーム時間間隔で１枚ずつ順次読み込まれる。
【０１８５】
入力部605からのフレーム信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部606へ転送される。
【０１８６】
ヘッダ情報解析部606は、ヘッダ情報から撮影時の情報を抽出して制御部118へ転送する。以後の処理は、図１と同等である。
【０１８７】
また、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部118からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１８８】
図１５Ａは上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。以下、各ステップの処理について説明する。
【０１８９】
ステップS1では映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０１９０】
ステップS2では映像信号から順次フレーム信号を抽出する。
【０１９１】
ステップS3では図２（ｂ）に示されるように色信号ごとに所定サイズの単位領域を分離し、注目画素を抽出する。
【０１９２】
ステップS4では類似画素の選択処理を行う。この処理は図１５Ｂのフローに従って実行され、これについては後述する。
【０１９３】
ステップS5では選択された類似画素の値を用いた補正処理を行う。この処理は図１５Ｃのフローに従って実行され、これについては後述する。
【０１９４】
ステップS6では(1)式に示されるノイズ成分を算出する。
【０１９５】
ステップS7ではノイズ低減処理を行う。この処理は図１５Ｄのフローに従って実行され、これについては後述する。
【０１９６】
ステップS8ではノイズ低減処理がなされた信号を出力する。
【０１９７】
ステップS9では全ての注目画素についてノイズ低減処理が完了したかを判断し、完了していない場合はステップS3へ分岐し、完了した場合はステップS10へ分岐する。
【０１９８】
ステップS10では公知の補間処理、強調処理、階調処理、圧縮処理が行われる。
【０１９９】
ステップS11では処理が完了したフレーム信号が出力される。
【０２００】
ステップS12では、全てのフレーム信号についてノイズ低減処理が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
【０２０１】
図１５Ｂは上記ステップS4における類似画素選択処理に関するフローである。以下、各ステップの処理について説明する。
【０２０２】
ステップS20では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０２０３】
ステップS21では図２（ｂ）に示されるように注目画素を包含する単位領域を抽出する。
【０２０４】
ステップS22では(5)式に示されるように単位領域内の画素の値の平均値を算出する。
【０２０５】
ステップS23では基準ノイズモデルの座標データおよび補正係数を読み込む。
【０２０６】
ステップS24では注目画素が属する基準ノイズモデルの区間の座標データおよび対応する補正係数を選択する。
【０２０７】
ステップS25では(8)式に示される補間処理にて基準ノイズ量を求める。
【０２０８】
ステップS26では(9)式に示される補正処理にてノイズ量を求める。
【０２０９】
ステップS27では(3)式に示されるように許容範囲を設定する。
【０２１０】
ステップS28では、ノイズ低減処理がなされた過去の、本実施形態では１フレーム過去のフレーム信号から単位領域と同一座標同一サイズの局所領域を抽出する。
【０２１１】
ステップS29では局所領域内で(4)式を満たす画素を類似画素と判定して抽出する。
【０２１２】
ステップS30では類似画素の値を出力して終了する。
【０２１３】
図１５Ｃは上記ステップS5における補正処理に関するフローである。以下、各ステップの処理について説明する。
【０２１４】
ステップS40では類似画素の値を入力する。
【０２１５】
ステップS41では類似画素が存在するか否かを判断し、存在する場合はステップS42へ分岐し、存在しない場合はステップS43へ分岐する。
【０２１６】
ステップS42では、類似画素の値の平均値を算出し、補正信号とする。
【０２１７】
ステップS43では例外処理として値零の信号を補正信号とする。
【０２１８】
ステップS44では補正信号を出力して終了する。
【０２１９】
図１５Ｄは上記ステップS7におけるノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。
【０２２０】
ステップS50では注目画素の値を入力する。
【０２２１】
ステップS51ではノイズ成分を入力する。
【０２２２】
ステップS52では、(2)式に示されるように減算処理を行い、ノイズ低減処理がなされた信号を求める。
【０２２３】
ステップS53ではノイズ低減処理がなされた信号を出力して終了する。
【０２２４】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０２２５】
続いて本発明の第２の実施形態について説明する。
【０２２６】
まず、その構成について説明する。図１６は第２の実施形態の構成図である。本実施形態は、図１に示す第１の実施形態におけるCCD102がCCD600へ、色信号分離部111が輝度色差分離部601へ、ノイズ低減部112がノイズ低減部602へ、類似画素選択部113が類似画素選択部603へ、補正部114が補正部604へ置換された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
【０２２７】
レンズ系100、絞り101、CCD600を介して撮影された映像信号は、増幅器（図中"Gain"）104にて増幅され、A/Dコンバータ（図中"A/D"）105にてデジタル信号へ変換され、バッファ106へ転送される。バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109、輝度色差分離部601へ接続している。
【０２２８】
輝度色差分離部601は、ノイズ低減部602、類似画素選択部603、ノイズ成分算出部115へ接続している。ノイズ低減部602は、類似画素選択部603および信号処理部116へ接続している。類似画素選択部603は補正部604へ、補正部604はノイズ成分算出部115へ、ノイズ成分算出部115はノイズ低減部602へ接続している。制御部118は、輝度色差分離部601、ノイズ低減部602、類似画素選択部603、補正部604と双方向に接続している。
【０２２９】
続いてその信号処理の内容について説明する。基本的に第１の実施形態と同等であるので、異なる部分のみ説明する。
【０２３０】
図１６を参照しながら映像信号の流れを説明する。外部I/F部119を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD600を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、本実施形態においては、また、CCD600としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
【０２３１】
図１７（ａ）は色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。
【０２３２】
CCD600からの映像信号は、図１７（ａ）に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定する。偶数および奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は1/30秒間隔で合成されることになる。
【０２３３】
CCD600からのアナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。
【０２３４】
輝度色差分離部601は制御部118の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb、Crを算出する。
【０２３５】
【数１０】
2008271101.tif 000012
【０２３６】
この後、ノイズ低減処理の対象となる注目画素を包含する所定サイズの単位領域を順次抽出する。本実施形態においては、単位領域として輝度信号Yは5×5画素を、色差信号Cb、Crは5×3画素を想定する。
【０２３７】
図１７（ｂ）、（ｃ）は、偶数および奇数フィールド信号から抽出された単位領域を示す。図１７（ｂ）は偶数フィールド信号から輝度信号Yと色差信号Crを抽出した例を示す。色差信号Crは、１ライン間隔でしか生成されないため、有効な画素は5×3画素となる。また、色差信号Cbは注目画素が得られないため使用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
【０２３８】
図１７（ｃ）は奇数フィールド信号から輝度信号Yと色差信号Cbを抽出した例を示す。色差信号Cbは、１ライン間隔でしか生成されないため、有効な画素は5×3画素となる。また、色差信号Crは注目画素が得られないため使用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
【０２３９】
以降は、時刻Tにおける単位領域内の画素の値をCTij（Cは信号でC=Y、CrまたはC=Y、Cb、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の輝度信号Yの場合はｊ=0、2、4、6、8、偶数フィールド信号の色差信号CrまたはCbの場合はｊ=0、4、8、奇数フィールド信号の輝度信号Yの場合はj=1、3、5、7、9、奇数フィールド信号の色差信号CbまたはCrの場合はj=1、5、9）で表記する。
【０２４０】
注目画素及びその値は、偶数フィールド信号の場合はP24、CT24、奇数フィールド信号の場合はP25、CT25となる。以後の説明は、図１７（ｂ）に示されるような偶数フィールド信号かつC=Y、Crに関して行うが、偶数フィールド信号かつC=Y、Cbや奇数フィールド信号に関しても単位領域の構成が異なるだけで同様に成立する。
【０２４１】
上記単位領域は類似画素選択部603へ、上記注目画素の値はノイズ低減部602、ノイズ成分算出部115へ転送される。類似画素選択部603は、制御部118の制御に基づき、輝度色差分離部601からの単位領域および後述するノイズ低減部602からのノイズ低減処理がなされた過去の映像信号を読み込む。
【０２４２】
本実施形態においては、過去の映像信号としては１フィールド時間前の時刻T-1のフィールド信号を想定し、ノイズ低減処理後の画素の値をC'で表記することとする。例えば、偶数フィールド信号の注目画素P24の値がCT24であるときに、ノイズ低減処理がなされた過去の映像信号における同一座標の画素の値はC'T-124となる。
【０２４３】
類似画素選択部603は、ノイズ低減処理後の映像信号から注目画素P24に類似する画素を判定、選択し、その値を類似画素値C_S'T-1kl（Cは色信号でY、Cr、kはX座標でk=0〜8のいずれか、lはY座標でl=0〜8のいずれか）とする。類似画素値C_S'T-1klは補正部604へ転送される。
【０２４４】
補正部604は、制御部118の制御に基づき、類似画素値C_S'T-1klを用いて、過去の映像信号における注目画素P24と同一座標の画素の値C'T-124に対する補正処理を行い、補正処理後の値C"T-124を得る。補正処理後の値C"T-124はノイズ成分算出部115へ転送される。なお、類似画素が存在しない場合は、補正処理後の値C"T-124として値零を設定する。
【０２４５】
ノイズ成分算出部115は、制御部118の制御に基づき、輝度色差分離部601からの注目画素値CT24および補正部604からの補正処理後の値C"T-124を読み込み、ノイズ成分C_ΔT24を算出する。
【０２４６】
【数１１】
2008271101.tif 000013
【０２４７】
算出されたノイズ成分C_ΔT24はノイズ低減部602へ転送される。
【０２４８】
ノイズ低減部602は、御部118の制御に基づき、輝度色差分離部601からの注目画素値CT24に関してノイズ成分算出部115からのノイズ成分C_ΔT24を用いてコアリング処理を行うことで、ノイズ低減処理がなされた注目画素値C'T24を算出し、これを類似画素選択部603および信号処理部116へ転送する。
【０２４９】
上記輝度色差分離部601、ノイズ低減部602、類似画素選択部603、補正部604、ノイズ成分算出部115における処理は、制御部118の制御に基づき単位領域からの注目画素単位で同期して行われる。
【０２５０】
信号処理部116は、制御部118の制御に基づき、ノイズ低減処理がなされた偶数フィールド信号および奇数フィールド信号に対して公知の同時化処理を行うことでフレーム信号を合成し、上記フレーム信号に対して公知の強調処理、階調処理、圧縮処理などを行い、出力部117へ転送する。
【０２５１】
出力部117は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
【０２５２】
図１８はノイズ低減部602の構成の一例を示すもので、ノイズ低減部602は領域抽出部700、平均算出部701、ノイズ成分抽出部702、コアリング部703からなる。
【０２５３】
輝度色差分離部601は領域抽出部700へ、領域抽出部700は平均算出部701およびコアリング部703へ接続している。平均算出部701はコアリング部703へ接続している。ノイズ成分算出部115はノイズ成分抽出部702へ、ノイズ成分抽出部702はコアリング部703へ接続している。コアリング部703は、類似画素選択部603および信号処理部116へ接続している。制御部118は、領域抽出部700、平均算出部701、ノイズ成分抽出部702、コアリング部703と双方向に接続している。以後の説明は、偶数フィールド信号かつC=Y、Crに関して行うが、偶数フィールド信号かつC=Y、Cbや奇数フィールド信号に関しても単位領域の構成が異なるだけで同様に成立する。
【０２５４】
領域抽出部700は、制御部118の制御に基づき、輝度色差分離部601から注目画素を包含する所定サイズの領域を読み込み、当該領域を平均算出部701へ、注目画素値CT24をコアリング部703へ転送する。当該領域のサイズは任意に設定することが可能である。本実施形態では、処理系全体での整合性を考慮し、当該領域のサイズを注目画素を包含する上記単位領域と同一座標同一サイズとし、領域内の画素の値をCTijで表記する。
【０２５５】
平均算出部701は、制御部118の制御に基づき、領域内の画素の値の平均値C_AV（C=Y、Cr）を算出する。
【０２５６】
【数１２】
2008271101.tif 000014
【０２５７】
(12)式において、i=0〜4、輝度信号Yの場合はｊ=0、2、4、6、8、色差信号Crの場合はｊ=0、4、8となる。算出された平均値C_AVはコアリング部703へ転送される。
【０２５８】
ノイズ成分抽出部702は、制御部118の制御に基づき、ノイズ成分算出部115から(11)式に示されるノイズ成分C_ΔT24を読み込み、コアリング部703へ転送する。
【０２５９】
コアリング部703は、制御部118の制御に基づき、領域抽出部700からの注目画素値CT24に対して平均算出部701からの平均値C_AVおよびノイズ成分抽出部702からのノイズ成分C_ΔT24を用いてコアリング処理を行い、ノイズ低減処理がなされた注目画素値C'T24を求める。
【０２６０】
【数１３】
2008271101.tif 000015
【０２６１】
ノイズ低減処理がなされた注目画素値C'T24は類似画素選択部603および信号処理部116へ転送される。なお、ノイズ低減部602は、第１の実施形態のノイズ低減部112のように減算処理を行うことによってノイズ低減処理がなされた注目画素値C'T24を算出するようにしてもよい。
【０２６２】
図１９は類似画素選択部603の構成の一例を示すもので、第１の実施形態の図４に示される類似画素選択部113に補間部801が追加され、ノイズ推定部300がノイズ推定部800に置換された構成になっている。基本構成は図４に示される類似画素選択部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２６３】
輝度色差分離部601はノイズ推定部800へ、ノイズ推定部800は許容範囲設定部301へ接続している。局所領域抽出部303は補間部801へ、補間部801は判定部304へ接続している。制御部118は、ノイズ推定部800、補間部801と双方向に接続している。以後の説明は、偶数フィールド信号かつC=Y、Crに関して行うが、偶数フィールド信号かつC=Y、Cbや奇数フィールド信号に関しても単位領域の構成が異なるだけで同様に成立する。
【０２６４】
ノイズ推定部800は、制御部118の制御に基づき、輝度色差分離部601から図１７（ｂ）に示される5×5画素または5×3画素の単位領域内の画素の値CTijを読み込み、(12)式に示される単位領域内の画素の値の平均値C_AVおよび注目画素値CT24に含まれるノイズ量C_NT24（C=Y、Cr）を推定する。上記平均値C_AVおよびノイズ量C_NT24は許容範囲設定部301へ転送される。
【０２６５】
許容範囲設定部301は、制御部118の制御に基づき、ノイズ推定部300からの平均値C_AVおよびノイズ量C_NT24から上限値C_Upper（C=Y、Cr）および下限値C_Lower（C=Y、Cr）からなる許容範囲を設定する。
【０２６６】
【数１４】
2008271101.tif 000016
【０２６７】
設定された上限値C_Upperおよび下限値C_Lowerは判定部304へ転送される。一方、ノイズ低減部602からのノイズ低減処理後の映像信号C'は、バッファ302に転送され記録される。バッファ302は１フィールド信号を記録可能な容量とする。
【０２６８】
局所領域抽出部303は、制御部118の制御に基づき、バッファ302から注目画素と同一座標の画素を包含する所定サイズの局所領域を抽出する。本実施形態では、局所領域を、注目画素を中心とする上記単位領域と同一座標同一サイズの5×5画素または5×3画素と想定する。抽出された局所領域は補間部801へ転送される。
【０２６９】
補間部801は、制御部118の制御に基づき、欠落する画素を公知の補間処理にて生成する。これは、図１７（ｂ）、（ｃ）に示されるように、偶数および奇数フィールド信号では対応する座標位置に画素が存在しないためである。補間処理にて時刻Tの映像信号の単位領域に対応する時刻T-1のノイズ低減処理がなされた映像信号の局所領域が生成されることになる。局所領域内の画素の値をC'T-1ijで表記する。局所領域内の画素の値C'T-1ijは判定部304へ転送される。
【０２７０】
判定部304は、制御部118の制御に基づき、許容範囲設定部301から上限値C_Upperおよび下限値C_Lowerを、補間部801から局所領域を読み込む。局所領域内の各画素の値C'T-1ijに関して、(4)式を満たす画素を類似画素とし、その値C'T-1ijを類似画素値C_S'T-1klとしてバッファ305へ出力する。なお、注目画素値C'T-124は後段の補正部604の処理において必要となるため、類似画素値C_S'T-1klとは独立にバッファ305へ出力される。バッファ305に記録された類似画素値C_S'T-1klおよび注目画素値C'T-124は、必要に応じて補正部604へ転送される。
【０２７１】
図２０Ａ、図２０Ｂは、時刻Tの映像信号の単位領域に対応する時刻T-1のノイズ低減処理がなされた映像信号の局所領域の位置関係を示す。なお、本実施形態においては単位領域と局所領域は同一サイズかつ同一座標であることを想定している。
【０２７２】
図２０Ａ（ａ）は時刻Tにおける輝度信号に関する5×5画素の単位領域と注目画素値YT24を示す。図２０Ａ（ｂ）は時刻T-1の1フィールド前、時刻T-2の1フレーム前のノイズ低減処理がなされた輝度信号を示す。1フレーム前の輝度信号からは図２０Ａ（ａ）に示す5×5画素の単位領域と同一座標の画素が存在するが、1フィールド前の輝度信号には同一座標上の画素が存在しない。このため、公知の補間処理にて欠落する画素を生成する必要がある。
【０２７３】
図２０Ｂ（ａ）は時刻Tにおける色差信号に関する5×3画素の単位領域と注目画素値CrT24を示す。図２０Ｂ（ｂ）は時刻T-1の1フィールド前、時刻T-2の1フレーム前のノイズ低減処理がなされた色差信号を示す。1フレーム前の色差信号からは図２０（ａ）に示す5×3画素の単位領域と同一座標の画素が存在するが、1フィールド前の色差信号には同一座標上の画素が存在しない。このため、公知の補間処理にて欠落する画素を生成する必要がある。
【０２７４】
図２１はノイズ推定部800の構成の一例を示すもので、第１の実施形態の図５に示されるノイズ推定部300にノイズテーブル部900が追加され、パラメータ用ROM404、パラメータ選択部405、ノイズ補間部406、ノイズ補正部407が省略された形態になっている。基本構成は図５に示すノイズ推定部300と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２７５】
輝度色差分離部601は単位領域抽出部400へ接続している。平均値算出部401、ゲイン算出部402、標準値付与部403は、ノイズテーブル部900へ接続している。ノイズテーブル部900は許容範囲設定部301へ接続している。制御部118はノイズテーブル部900と双方向に接続している。以後の説明は偶数フィールド信号かつC=Y、Crに関して行うが、偶数フィールド信号かつC=Y、Cbや奇数フィールド信号に関しても単位領域の構成が異なるだけで同様に成立する。
【０２７６】
単位領域抽出部400は、制御部118の制御に基づき、図１７（ｂ）に示される5×5画素または5×3画素の単位領域を順次抽出し、その領域内の画素の値を平均値算出部401へ転送する。
【０２７７】
平均値算出部401は、制御部118の制御に基づき、(12)式に示されるように単位領域抽出部400から転送される単位領域内の画素の値の平均値C_AVを求める。平均値C_AVはノイズテーブル部900へ転送される。
【０２７８】
ゲイン算出部402は、制御部118から転送されるISO感度および露光条件に関する情報に基づき増幅器104における増幅量を求め、ノイズテーブル部900へ転送する。また、制御部118は温度センサ103からCCD600の温度情報を得て、これをノイズテーブル部900へ転送する。
【０２７９】
ノイズテーブル部900は、平均値算出部401からの単位領域に関する平均値、ゲイン算出部402からのゲインの情報、制御部118からの温度情報に基づきノイズ量Nを出力する。ノイズテーブル部900は、温度、信号値レベル、ゲインとノイズ量間の関係を記録したルックアップテーブルで、第１の実施形態と同等の手法により構築される。
【０２８０】
ノイズテーブル部900で得られたノイズ量Nは注目画素値CT24に含まれるノイズ量C_NT24として許容範囲設定部301へ転送される。なお、上記ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部403に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、ここではルックアップテーブルを用いてノイズ量C_NT24を得ているが、第１の実施形態と同様にノイズモデルを用いてノイズ量C_NT24を得るようにしても構わない。
【０２８１】
図２２は補正部604の構成の一例を示すもので、第１の実施形態の補正部114と異なり、バイラテラル（Bilateral）フィルタ処理により補正処理を行う点が相違する。
【０２８２】
第１の実施形態の図７に示される補正部114に差成分算出部1000、差成分用ROM1001、座標用ROM1002、重み係数合成部1003、フィルタリング部1004が追加され、平均算出部501が省略された形態になっている。基本構成は図７に示す補正部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０２８３】
類似画素選択部603は類似画素抽出部500へ、類似画素抽出部500は差成分算出部1000、フィルタリング部1004、例外処理部502へ接続している。差成分用ROM1001は差成分算出部1000へ、差成分算出部1000および座標用ROM1002は重み係数合成部1003へ接続している。重み係数合成部1003はフィルタリング部1004へ、フィルタリング部1004はノイズ成分算出部115へ接続している。制御部118は、差成分算出部1000、重み係数合成部1003、フィルタリング部1004と双方向に接続している。
【０２８４】
類似画素抽出部500は、制御部118の制御に基づき、類似画素選択部603からノイズ低減処理後の映像信号の類似画素値C_S'T-1klを読み込み、これを差成分算出部1000およびフィルタリング部1004へ転送する。類似画素値C_S'T-1klが存在しない場合は、例外処理部502へ起動信号を転送する。また、類似画素値とは独立に注目画素値C'T-124を読み込み、これを差成分算出部1000へ転送する。
【０２８５】
差成分算出部1000は、制御部118の制御に基づき、類似画素抽出部500から類似画素値C_S'T-1klおよび注目画素値C'T-124を読み出し、(15)式に示されるように注目画素値C'T-124との差成分の絶対値δT-1klを算出する。
【０２８６】
【数１５】
2008271101.tif 000017
【０２８７】
その後、差成分算出部1000は差成分用ROM1001から差成分の絶対値δT-1klに対応する第１の重み係数w1klを読み出す。第１の重み係数w1klは、例えば(16)式に示される関数式で定められる。
【０２８８】
【数１６】
2008271101.tif 000018
【０２８９】
(16)式におけるσ1は調整用のパラメータで、σ1=1〜10程度を用いる。差成分用ROM707は、(16)式に示される関数式に基づき予め算出しておいた第１の重み係数w1klを記録したテーブルである。求められた第１の重み係数w1klは、重み係数合成部1003へ転送される。
【０２９０】
重み係数合成部1003は、制御部118の制御に基づき、差成分算出部1000からの第１の重み係数w1klおよび座標用ROM1002から座標値(k、l)に対応する第２の重み係数w2klを読み込み、合成する。第２の重み係数w2klは、例えば(17)式に示される関数式で定められる。
【０２９１】
【数１７】
2008271101.tif 000019
【０２９２】
(17)式におけるσ2は調整用のパラメータで、σ2=1〜10程度を用いる。また、TkおよびTlは注目画素の座標を意味し、本実施形態においてはTk=2、Tl=4となる。座標用ROM1002は、(17)式に示される関数式に基づき予め算出しておいた第２の重み係数w2klを記録したテーブルである。第１の重み係数w1klおよび第２の重み係数w2klは(18)式に基づき合成され、重み係数wklが算出される。
【０２９３】
【数１８】
2008271101.tif 000020
【０２９４】
算出された重み係数wklはフィルタリング部1004へ転送される。
【０２９５】
フィルタリング部1004は、制御部118の制御に基づき、類似画素抽出部500からの類似画素の値に対して重み係数合成部1003からの重み係数wklを用いてフィルタリング処理を行う。なお、上記フィルタリング処理は重み係数wklの総和で正規化される過程も含まれる。フィルタリング処理された結果は、ノイズ低減処理後の注目画素値C'T-124に対する補正処理後の値C"T-124としてノイズ成分算出部115へ転送される。
【０２９６】
なお、バイラテラルフィルタではなく、第１の実施形態と同様に平均化あるいはローパスフィルタにより補正処理を行うことも可能である。
【０２９７】
続いて、上記ノイズ低減処理による効果について説明する。
【０２９８】
上記構成によれば、第１の実施形態と同様に、複数の類似画素を用いてノイズ低減処理後の過去の映像信号を補正し、この補正されたノイズ低減処理後の過去の映像信号と現在の映像信号との差分をノイズ成分としたことにより、ノイズ成分に関する統計的な意味での精度および信頼性を改善することができ、シーン変化などが発生した場合でも少数の映像信号から安定したノイズ低減処理の効果を維持し、高品位な映像信号が得られる。また、類似画素を選択することで動きに起因する画素を排除することができるので、動き補償を省略することができ、システム全体の高速化および低コスト化を可能とする。
【０２９９】
また、コアリング処理によるノイズ低減処理はノイズ成分のみを重点的に低減でき、かつエッジ成分などのノイズ成分以外を含む画素との連続性が確保できるため、高品位な映像信号が得られる。
【０３００】
また、ノイズ低減処理後の映像信号をフィールド単位時間遅延し、欠落する画素を補間演算にて生成する構成であるため、従来使用されている撮像素子および信号処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能となる。
【０３０１】
また、ノイズ量に基づき類似画素の判定を行うため、類似画素の選択精度を向上することができる。ノイズ量の推定は撮影ごとに異なる条件に動的に適応し、高精度かつ安定的なノイズ量の推定が可能となる。また、ノイズ量の算出にルックアップテーブルを用いているため、高速なノイズ量の推定が可能となる。また、ルックアップテーブルに基づくノイズ量推定は調整に要するパラメータがないため、制御の簡略化を可能とする。さらに、ノイズ量を推定するのに使用される単位領域と類似画素を選択するのに使用される局所領域を同一サイズとするため、処理系全体で整合がとれ、ハードウェア上の無駄が少なくなり、処理性能が安定する。
【０３０２】
また、類似画素を用いた補正処理にバイラテラルフィルタを使用しているため、ノイズ成分やエッジ成分の有無に影響されずに安定した結果が得られ、高精度なノイズ低減処理が可能となる。
【０３０３】
また、類似画素が得られない場合でも例外処理として処理が継続できるため、システムとしての安定性が向上する。
【０３０４】
また、輝度信号および色差信号を独立に処理するため、ランダムノイズの抽出を高精度化することができ、高品位な映像信号が得られる。
【０３０５】
また、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。なお、上記実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(19)式に基づき輝度信号と色差信号を求める。
【０３０６】
【数１９】
2008271101.tif 000021
【０３０７】
また、この場合はフレーム信号のみでフィールド信号が存在しないことになる。類似画素選択部603は、1フレーム前の信号から類似画素を求める構成になる。なお、この場合は全画素が存在するため、図１９に示される類似画素選択部603内の補間部801は省略することができる。
【０３０８】
さらに、上記実施形態では過去の映像信号として1フィールド前の時刻T-1を使用する構成となっていたが、このような構成に限定される必要はない。例えば、時刻T-2の2フィールド、すなわち1フレーム前の信号を用いる構成も可能である。この場合、図２２（ａ）、（ｂ）に示されるように、時刻Tにおける単位領域と同一座標の画素が存在し、図１９に示される類似画素選択部603内の補間部801での補間処理が不要となる。このため、時間分解能は低下するが、空間分解能を向上させた構成が可能となる。なお、フレーム間隔が十分に短い場合は、3フィールド以上前の信号を過去の映像信号として用いても構わない。
【０３０９】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD600からの映像信号を未処理のままのRawデータとして、制御部118からCCD600の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０３１０】
図２３Ａは上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。なお、図１５Ａに示す第１の実施形態における信号処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。
【０３１１】
ステップS1では映像信号および撮影時の露光条件などのヘッダ情報を読み込む。
【０３１２】
ステップS60では、1フレームの映像信号から偶数フィールド信号および奇数フィールド信号を順次抽出する。
【０３１３】
ステップS61では(10)式に示されるように輝度信号と色差信号を分離する。
【０３１４】
ステップS3では、分離後の輝度信号および色差信号から図１７（ｂ）、（ｃ）に示されるように、輝度信号は5×5画素、色差信号は5×3画素の単位領域を分離し、注目画素を抽出する。
【０３１５】
ステップS62では類似画素の選択処理を行う。この処理は図２３Ｂのフローに従って実行され、これについては後述する。
【０３１６】
ステップS63では選択された類似画素の値を用いた補正処理を行う。この処理は図２３Ｃのフローに従って実行され、これについては後述する。
【０３１７】
ステップS6では(11)式に示されるノイズ成分を算出する。
【０３１８】
ステップS64ではノイズ低減処理を行う。この処理は図２３Ｄのフローに従って実行され、これについては後述する。
【０３１９】
ステップS8ではノイズ低減処理がなされた信号を出力する。
【０３２０】
ステップS9では、全ての注目画素についてノイズ低減処理が完了したかを判断し、完了していない場合はステップS3へ分岐し、完了した場合はステップS65へ分岐する。
【０３２１】
ステップS65では、全ての輝度信号と色差信号についてノイズ低減処理が完了したかを判断し、完了していない場合はステップS61へ分岐し、完了した場合はステップS10へ分岐する。
【０３２２】
ステップS10では、偶数フィールド信号および奇数フィールド信号から公知の同時化処理にてフレーム信号を合成し、フレーム信号に対して公知の強調処理、階調処理、圧縮処理が行われる。
【０３２３】
ステップS11では処理が完了したフレーム信号が出力される。
【０３２４】
ステップS66では、全てのフィールド信号についてノイズ低減処理が完了したかを判断し、完了していない場合はステップS60へ分岐し、完了した場合は終了する。
【０３２５】
図２３Ｂは上記ステップS62における類似画素選択処理に関するフローである。なお、図１５Ｂに示す第１の実施形態における類似画素選択処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。以下、各ステップの処理について説明する。
【０３２６】
ステップS20では、読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
【０３２７】
ステップS21では図２０Ｂ（ａ）、（ｂ）に示されるように単位領域を抽出する。
【０３２８】
ステップS22では(12)式に示されるように単位領域の平均値を算出する。
【０３２９】
ステップS70では、輝度信号または色差信号の信号値レベル、ゲイン、撮像素子の動作温度とノイズ量間の関係を記録したノイズ量に関するテーブルを読み込み、ノイズ量を求める。
【０３３０】
ステップS27では(14)式に示されるように許容範囲を設定する。
【０３３１】
ステップS28では、ノイズ低減処理がなされた過去の、本実施形態では１フィールド過去のフィールド信号から単位領域と同サイズの局所領域を抽出する。
【０３３２】
ステップS71では局所領域内で欠落する画素を公知の補間処理にて生成する。
【０３３３】
ステップS29では局所領域内で(4)式を満たす画素を類似画素と判断して抽出する。
【０３３４】
ステップS30では類似画素の値を出力して終了する。
【０３３５】
図２３Ｃは上記ステップS63における補正処理に関するフローである。なお、図１５Ｃに示す第１の実施形態における補正処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。以下、各ステップの処理について説明する。
【０３３６】
ステップS40では類似画素の値を入力する。
【０３３７】
ステップS41では、類似画素が存在するか否かを判断し、存在する場合はステップS80へ分岐し、存在しない場合はステップS43へ分岐する。
【０３３８】
ステップS80では(15)式に示されるように局所領域内の注目画素値と類似画素値間の差成分の絶対値を算出する。
【０３３９】
ステップS81では差成分の絶対値に基づき(16)式に示される第１の重み係数を求める。
【０３４０】
ステップS82では類似画素の座標位置に基づき(17)式に示される第２の重み係数を求める。
【０３４１】
ステップS83では(18)式に示されるように第１の重み係数と第２の重み係数を合成し重み係数を求める。
【０３４２】
ステップS84では、類似画素値に対して重み係数を用いてフィルタリング処理を行い補正信号とする。なお、上記フィルタリング処理は重み係数の総和で正規化される処理も含まれる。
【０３４３】
ステップS43では例外処理として値零の信号を補正信号とする。
【０３４４】
ステップS44では補正信号を出力して終了する。
【０３４５】
図２３Ｄは上記ステップS64におけるノイズ低減処理に関するフローである。なお、図１５Ｄに示す第１の実施形態におけるノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ数を割り当てている。以下、各ステップの処理について説明する。
【０３４６】
ステップS90では、注目画素を包含する所定サイズ、ここでは単位領域と同一サイズの領域内の画素の値を入力する。
【０３４７】
ステップS51ではノイズ成分を入力する。
【０３４８】
ステップS91では(12)式に示される領域内の画素の値の平均値を算出する。
【０３４９】
ステップS92では、(13)式に示されるコアリング処理を行い、ノイズ低減処理がなされた信号を求める。
【０３５０】
ステップS53ではノイズ低減処理がなされた信号を出力して終了する。
【０３５１】
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
【０３５２】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０３５３】
【図１】第１の実施形態の構成図である。
【図２】ベイヤー型原色フィルタの配置と局所領域に関する説明図である。
【図３】ノイズ低減部の構成図である。
【図４】類似画素選択部の構成図である。
【図５】ノイズ推定部の構成図である。
【図６】ノイズ量の推定に関する説明図である。
【図７】補正部の構成図である。
【図８】ノイズ低減処理に関する説明図であり、時系列的に撮影される映像信号及びX軸方向のプロファイルを示す。
【図９】ノイズ低減処理に関する説明図であり、各処理部における信号形態を示す。
【図１０】色差線順次型補色フィルタの配置と局所領域に関する説明図である。
【図１１】別形態の補正部の構成図である。
【図１２】ローパスフィルタフィルタに関する説明図である。
【図１３】ローパスフィルタフィルタの選択に関する説明図である。
【図１４】別形態の第１の実施形態の構成図である。
【図１５Ａ】信号処理のフローのうち、全体処理のフローである。
【図１５Ｂ】信号処理のフローのうち、類似画素選択処理のフローである。
【図１５Ｃ】信号処理のフローのうち、補正処理のフローである。
【図１５Ｄ】信号処理のフローのうち、ノイズ低減処理のフローである。
【図１６】第２の実施形態の構成図である。
【図１７】色差線順次型補色フィルタの局所領域に関する説明図である
【図１８】ノイズ低減部の構成図である
【図１９】類似画素選択部の構成図である
【図２０Ａ】類似画素選択部で用いる局所領域に関する説明図である。
【図２０Ｂ】類似画素選択部で用いる局所領域に関する説明図である。
【図２１】ノイズ推定部の構成図である。
【図２２】補正部の構成図である。
【図２３Ａ】信号処理のフローのうち、全体処理のフローである。
【図２３Ｂ】信号処理のフローのうち、類似画素選択処理のフローである。
【図２３Ｃ】信号処理のフローのうち、補正処理のフローである。
【図２３Ｄ】信号処理のフローのうち、ノイズ低減処理のフローである。
【符号の説明】
【０３５４】
112、602    ノイズ低減部
113、603    類似画素選択部
114、604    補正部
115    ノイズ成分算出部
【図１】
2008271101.tif 000022
【図２】
2008271101.tif 000023
【図３】
2008271101.tif 000024
【図４】
2008271101.tif 000025
【図５】
2008271101.tif 000026
【図６】
2008271101.tif 000027
【図７】
2008271101.tif 000028
【図１１】
2008271101.tif 000029
【図１２】
2008271101.tif 000030
【図１３】
2008271101.tif 000031
【図１４】
2008271101.tif 000032
【図１５Ａ】
2008271101.tif 000033
【図１５Ｂ】
2008271101.tif 000034
【図１５Ｃ】
2008271101.tif 000035
【図１５Ｄ】
2008271101.tif 000036
【図１８】
2008271101.tif 000037
【図１９】
2008271101.tif 000038
【図２１】
2008271101.tif 000039
【図２２】
2008271101.tif 000040
【図２３Ａ】
2008271101.tif 000041
【図２３Ｂ】
2008271101.tif 000042
【図２３Ｃ】
2008271101.tif 000043
【図２３Ｄ】
2008271101.tif 000044
【図８】
2008271101.tif 000045
【図９】
2008271101.tif 000046
【図１０】
2008271101.tif 000047
【図１６】
2008271101.tif 000048
【図１７】
2008271101.tif 000049
【図２０Ａ】
2008271101.tif 000050
【図２０Ｂ】
2008271101.tif 000051