(57)【要約】【課題】動的に変化する要因に対応した適切なノイズ低減処理を時系列の画像信号により構成される映像信号に対して行うことが可能な映像信号処理装置等を提供する。【解決手段】時系列の画像信号により構成される映像信号に対して映像信号処理を施す映像信号処理装置であって、処理対象の画像信号とこの処理対象の画像信号よりも過去の１つ以上の画像信号との相関値を算出する相関算出部２０３と、処理対象の画像信号と１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて補正前ノイズ量を算出し、算出した補正前ノイズ量を相関値に基づき補正することによりノイズ量を推定するノイズ推定部２０５と、を備えた映像信号処理装置。【選択図】図９
2009171162.tif 000002
【特許請求の範囲】
【請求項１】
時系列の画像信号により構成される映像信号に対して映像信号処理を施す映像信号処理装置であって、
処理対象の画像信号と、この処理対象の画像信号よりも過去の１つ以上の画像信号と、の相関性の高低を示す指標となる相関値を算出する相関値算出部と、
上記処理対象の画像信号と上記１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて該処理対象の画像信号に係る補正前ノイズ量を算出し、その算出した補正前ノイズ量を上記相関値に基づき補正することによりノイズ量を推定するノイズ推定部と、
を具備したことを特徴とする映像信号処理装置。
【請求項２】
上記ノイズ推定部は、上記相関値が相関性が高いことを示す値である場合には、該相関値が相関性が低いことを示す値である場合よりも、ノイズ量を大きく推定するものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
上記ノイズ推定部は、
上記処理対象の画像信号における注目画素を含み、該注目画素の空間的および時間的近傍に位置する画素により構成される局所領域を、上記処理対象の画像信号と上記過去の１つ以上の画像信号とから抽出する抽出部と、
上記抽出部により抽出された局所領域に基づいて、上記注目画素に対する３次元ノイズ低減処理がなされた画像信号である３ＮＲ信号を算出する３次元ノイズ低減部と、
を有し、
上記ノイズ推定部は、上記３ＮＲ信号に基づいて、上記補正前ノイズ量を算出するものであることを特徴とする請求項１または２に記載の映像信号処理装置。
【請求項４】
上記抽出部は、上記処理対象の画像信号に対して上記注目画素を含むｎ×ｍ画素（ここに、ｎ，ｍは正の整数）の領域を局所領域として抽出するとともに、上記過去の画像信号に対して該ｎ×ｍ画素の局所領域と空間的位置が同一の局所領域を抽出するものであることを特徴とする請求項３に記載の映像信号処理装置。
【請求項５】
上記３次元ノイズ低減部は、上記抽出部により上記処理対象の画像信号から抽出された上記注目画素の空間的近傍に位置する画素により構成される局所領域と、該抽出部により上記過去の画像信号から抽出された該注目画素の空間的および時間的近傍に位置する画素により構成される局所領域と、に基づいて、画像信号内のノイズ低減処理および画像信号間のノイズ低減処理を行うことにより該注目画素に対する３ＮＲ信号を算出するものであることを特徴とする請求項３に記載の映像信号処理装置。
【請求項６】
上記ノイズ推定部により推定されたノイズ量に基づいて、上記処理対象の画像信号にノイズ低減処理を行うノイズ低減部をさらに具備したことを特徴とする請求項１から３の何れかに記載の映像信号処理装置。
【請求項７】
上記ノイズ推定部により推定されたノイズ量に基づいて、上記処理対象の画像信号にノイズ低減処理を行うノイズ低減部をさらに具備し、
上記ノイズ低減部は、
上記３ＮＲ信号と、上記ノイズ推定部により推定されたノイズ量と、に基づいて、該３ＮＲ信号に対するノイズ量の範囲を示すノイズ範囲を設定する範囲設定部と、
上記処理対象の画像信号における注目画素と上記ノイズ範囲とを比較する比較部と、
上記比較部による比較結果に基づいて、上記注目画素に対して適用すべきノイズ低減処理を選択する選択部と、
を有することを特徴とする請求項３に記載の映像信号処理装置。
【請求項８】
上記比較部は、上記処理対象の画像信号における注目画素が、上記ノイズ範囲に属するか、該ノイズ範囲を上回っているか、該ノイズ範囲を下回っているか、を比較するものであり、
上記選択部は、上記比較部による比較結果がノイズ範囲に属することを示すものである場合には上記３ＮＲ信号を該注目画素とするノイズ低減処理を選択し、該比較結果がノイズ範囲を上回っていることを示すものである場合には該３ＮＲ信号から上記ノイズ推定部により推定されたノイズ量を減算するノイズ低減処理を選択し、該比較結果がノイズ範囲を下回っていることを示すものである場合には該３ＮＲ信号に該ノイズ量を加算するノイズ低減処理を選択するものであることを特徴とする請求項７に記載の映像信号処理装置。
【請求項９】
コンピュータに、時系列の画像信号により構成される映像信号に対して映像信号処理を施させる映像信号処理プログラムであって、
コンピュータに、
処理対象の画像信号と、この処理対象の画像信号よりも過去の１つ以上の画像信号と、の相関性の高低を示す指標となる相関値を算出する相関値算出ステップと、
上記処理対象の画像信号と上記１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて該処理対象の画像信号に係る補正前ノイズ量を算出し、その算出した補正前ノイズ量を上記相関値に基づき補正することによりノイズ量を推定するノイズ推定ステップと、
を実行させるための映像信号処理プログラム。
【請求項１０】
時系列の画像信号により構成される映像信号に対して映像信号処理を施す映像信号処理方法であって、
処理対象の画像信号と、この処理対象の画像信号よりも過去の１つ以上の画像信号と、の相関性の高低を示す指標となる相関値を算出する相関値算出ステップと、
上記処理対象の画像信号と上記１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて該処理対象の画像信号に係る補正前ノイズ量を算出し、その算出した補正前ノイズ量を上記相関値に基づき補正することによりノイズ量を推定するノイズ推定ステップと、
を含むことを特徴とする映像信号処理方法。
【請求項１１】
請求項１から請求項８の何れかに記載の映像信号処理装置を具備したことを特徴とする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列の画像信号により構成される映像信号に対して映像信号処理を行う映像信号処理装置、映像信号処理プログラム、映像信号処理方法、電子装置に関する。
【背景技術】
【０００２】
被写体を撮像して得られる映像信号には、映像信号が静止画像に係るものであっても動画像に係るものであっても、一般にノイズ成分が含まれている。
【０００３】
ノイズには、例えば画素欠陥等に起因して定位置に発生するノイズがある一方で、光電変換時の統計的な性質に起因するショットノイズ等のランダムなノイズがある。
【０００４】
これらの内のランダムなノイズは、時間方向および空間方向に対して統計的にランダムであってノイズ成分同士の相関性が低いのに対して、映像信号には局所空間的な相関性があると考えられ、さらに映像信号が動画像に係るものである場合には局所時間的な相関性もあると考えられる。
【０００５】
そこで、このようなランダムノイズが重畳された動画像信号に対するノイズ低減処理として、空間相関を利用したフレーム内（フィールド内）ノイズ低減処理と、時間相関を利用したフレーム間（フィールド間）ノイズ低減処理と、を用いることが可能である。
【０００６】
前者のフレーム内ノイズ低減処理は、具体的には、画像フレーム内における隣接する画素同士はある程度同じような画素値をもっていることが多い（つまり、局所的な空間相関性がある）ために、このことを利用して、所定の大きさの局所領域における画素値の平均値を算出したり、あるいは所定の大きさの局所領域内における画素値の中央値を選択したりして、これらの平均値あるいは中央値を用いて画素値を補正することにより、空間的に相関性のないノイズ成分を低減する処理となっている。
【０００７】
また、後者のフレーム間ノイズ低減処理は、動画像を時間的に連続する画像フレームとして捉えたときに、それぞれのフレームにおいて同じ位置に存在する画素について画素値の平均値を算出し、この平均値を用いて画素値を補正することにより、時間的に相関性のないノイズ成分を低減する処理となっている。
【０００８】
これらのフレーム内相関とフレーム間相関とを共に利用したノイズ低減処理の技術が、例えば特開平６−６２２８３号公報に記載されている。該公報に記載の技術は、入力画素データと相関をもつ画素データを時間方向および空間方向に探索して、探索された画素データに基づいてノイズを除去するものとなっている。より詳しくは、入力画素データに近い値をもつ画素には大きい荷重を付け、入力画素データから遠い値を持つ画素には小さい荷重を付けて、探索された画素データを重み付け平均する、といった非線形フィルタを用いたものとなっている。そして、このような処理を行うことにより、被写体の動きに応じたノイズ低減処理を行うことが可能となっている。
【０００９】
一方、静止画用のノイズ低減処理技術として、例えば特開２００６−２３９５９号公報には、ノイズモデルに基づいてブロック単位でノイズ量を推定し、推定したノイズ量に基づいてブロック単位でノイズ低減処理を制御する技術が記載されている。該公報に記載の技術は、ノイズ量の推定を、信号値、ゲイン、温度などの撮影時に動的に変化する要因に応じて行うことにより、こうした動的な要因に対応したノイズ低減処理を行うものとなっている。
【特許文献１】特開平６−６２２８３号公報
【特許文献２】特開２００６−２３９５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特開平６−６２２８３号公報に記載のものでは、非線形フィルタが静的に与えられているために、信号レベルやノイズ量といった撮影時に動的に変化する要因に対応することができない。
【００１１】
また、上記特開２００６−２３９５９号公報に記載のものでは、信号レベルが大きいと推定された領域にあるエッジ部が劣化してしまうとともに、時間方向のノイズについては考慮されていないために時間方向に静止している被写体に対するノイズ低減効果も期待することができない。
【００１２】
本発明は上記事情に鑑みてなされたものであり、動的に変化する要因に対応した適切なノイズ低減処理を時系列の画像信号により構成される映像信号に対して行うことが可能な映像信号処理装置、映像信号処理プログラム、映像信号処理方法、電子装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明のある態様に係る映像信号処理装置は、時系列の画像信号により構成される映像信号に対して映像信号処理を施す映像信号処理装置であって、処理対象の画像信号とこの処理対象の画像信号よりも過去の１つ以上の画像信号との相関性の高低を示す指標となる相関値を算出する相関値算出部と、上記処理対象の画像信号と上記１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて該処理対象の画像信号に係る補正前ノイズ量を算出し、その算出した補正前ノイズ量を上記相関値に基づき補正することによりノイズ量を推定するノイズ推定部と、を具備したものである。この態様によれば、動的に変化する要因に応じて適切なノイズ量を推定するために、この推定したノイズ量を用いてノイズ低減処理を行う場合には、例えば、動的に変化する要因に対応した適切なノイズ低減処理を時系列の画像信号により構成される映像信号に対して行うことが可能となる。
【００１４】
また、本発明の別の態様に係る映像信号処理プログラムは、コンピュータに、時系列の画像信号により構成される映像信号に対して映像信号処理を施させる映像信号処理プログラムであって、コンピュータに、処理対象の画像信号とこの処理対象の画像信号よりも過去の１つ以上の画像信号との相関性の高低を示す指標となる相関値を算出する相関値算出ステップと、上記処理対象の画像信号と上記１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて該処理対象の画像信号に係る補正前ノイズ量を算出し、その算出した補正前ノイズ量を上記相関値に基づき補正することによりノイズ量を推定するノイズ推定ステップと、を実行させるためのプログラムである。
【００１５】
さらに、本発明のさらに別の態様に係る映像信号処理方法は、時系列の画像信号により構成される映像信号に対して映像信号処理を施す映像信号処理方法であって、処理対象の画像信号とこの処理対象の画像信号よりも過去の１つ以上の画像信号との相関性の高低を示す指標となる相関値を算出する相関値算出ステップと、上記処理対象の画像信号と上記１つ以上の過去の画像信号との内の少なくとも１つの画像信号に基づいて該処理対象の画像信号に係る補正前ノイズ量を算出し、その算出した補正前ノイズ量を上記相関値に基づき補正することによりノイズ量を推定するノイズ推定ステップと、を含む。
【００１６】
加えて、本発明の一層さらに別の態様に係る電子装置は、上記映像信号処理装置を具備したことを特徴とする電子装置である。
【発明の効果】
【００１７】
本発明によれば、動的に変化する要因に対応した適切なノイズ低減処理が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の実施の形態を説明する。
【００１９】
図１から図１２は本発明の実施形態１を示したものであり、図１は映像信号処理装置が適用された撮像装置の全体的な構成を示すブロック図、図２は色差線順次型補色フィルタのフィルタ配置と偶数フィールドおよび奇数フィールドにおける信号読み出しの様子とを示す図、図３は偶数フィールドにおける輝度信号の局所領域を示す図、図４は偶数フィールドにおけるＣｒ信号の局所領域を示す図、図５は偶数フィールドにおけるＣｂ信号の局所領域を示す図、図６は奇数フィールドにおける輝度信号の局所領域を示す図、図７は奇数フィールドにおけるＣｒ信号の局所領域を示す図、図８は奇数フィールドにおけるＣｂ信号の局所領域を示す図、図９はノイズ低減部の詳細な構成を示すブロック図、図１０は信号レベルに対するノイズ量の関係を示す線図、図１１は映像信号処理プログラムによる信号処理全体の流れを示すフローチャート、図１２は図１１のステップＳ３におけるノイズ低減処理の詳細を示すフローチャートである。
【００２０】
本実施形態は、映像信号処理装置を撮像装置（つまり、撮像装置は、映像信号処理装置を備える電子装置の一種である。）に適用した実施形態となっている。
【００２１】
すなわち、この撮像装置は、図１に示すように、撮像素子１０１と、アナログ／デジタル変換部（以下、Ａ／Ｄ変換部と略記する）１０２と、フレームメモリ１０３と、測光評価部１０４と、Ｙ／Ｃ分離部１０５と、ノイズ低減部１０６と、信号処理部１０７と、出力部１０８と、制御部１０９と、外部Ｉ／Ｆ部１１０と、を備えている。
【００２２】
撮像素子１０１は、Ａ／Ｄ変換部１０２、フレームメモリ１０３、Ｙ／Ｃ分離部１０５、ノイズ低減部１０６、信号処理部１０７を介して、出力部１０８に接続されている。また、フレームメモリ１０３は、測光評価部１０４へも接続されている。測光評価部１０４は、撮像素子１０１とノイズ低減部１０６とへ接続されている。制御部１０９は、Ａ／Ｄ変換部１０２、測光評価部１０４、Ｙ／Ｃ分離部１０５、ノイズ低減部１０６、信号処理部１０７、出力部１０８、外部Ｉ／Ｆ部１１０と双方向に接続されていて、これらを制御するようになっている。
【００２３】
次に、図１に示したような映像信号処理装置について、信号の流れに沿って説明する。
【００２４】
撮像素子１０１は、結像される光学像を光電変換して、アナログの画像信号として出力するための撮像素子である。なお、本実施形態においては、撮像素子１０１として、図２に示すような色差線順次型の補色カラーフィルタが前面に配置された単板撮像素子を想定している。ただし、撮像素子１０１としてはこれに限るものではなく、他の例としてはベイヤー（Ｂａｙｅｒ）型の原色カラーフィルタが前面に配置された単板撮像素子、あるいは２板式の撮像素子、３板式の撮像素子等を用いても構わない。
【００２５】
図２は、撮像素子１０１に設けられている色差線順次型の補色フィルタの構成を示している。この色差線順次方式の補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、緑（Ｇ）が１画素ずつ配置されたものとなっている。ここに、マゼンタ（Ｍｇ）と緑（Ｇ）とが同一ラインとなるように、また、シアン（Ｃｙ）とイエロー（Ｙｅ）とが同一ラインとなるように配設されていて、さらに、マゼンタ（Ｍｇ）と緑（Ｇ）の位置は、ライン毎に反転するように構成されている。
【００２６】
撮像素子１０１からの映像信号は、図２に示すように、上下に隣接する２ラインを加算して出力されるようになっていて、フィールド毎に加算するラインを変更することにより、偶数フィールド信号と奇数フィールド信号とを得るようになっている。すなわち、例えば偶数フィールドにおいては、０ラインと１ラインとを加算して偶数フィールドの０ラインとして出力し、２ラインと３ラインとを加算して偶数フィールドの２ラインとして出力し、等を行う。一方、奇数フィールドにおいては、１ラインと２ラインとを加算して奇数フィールドの１ラインとして出力し、３ラインと４ラインとを加算して奇数フィールドの３ラインとして出力し、等を行う。
【００２７】
このような混合を行うことにより、偶数フィールド信号および奇数フィールド信号は、Ｇ＋Ｃｙ（以降はＧＣｙと表記する）と、Ｍｇ＋Ｙｅ（以降はＭｇＹｅと表記する）と、Ｍｇ＋Ｃｙ（以降はＭｇＣｙと表記する）と、Ｇ＋Ｙｅ（以降はＧＹｅと表記する）と、の４種類の色信号により構成されることになる。
【００２８】
こうして撮像素子１０１から出力される偶数フィールド信号と奇数フィールド信号とをその後に合成することにより、１枚のフレーム信号を得ることができる。なお、これ以後は、画像信号は１枚のフレーム信号を意味するものとし、連続的に出力される複数のフレーム信号を単に映像信号と表記することにする。
【００２９】
撮像素子１０１からは、撮像して得られたアナログ信号の画像信号が、所定の時間間隔で連続的に出力される（すなわち、映像信号が出力される）。
【００３０】
Ａ／Ｄ変換部１０２は、撮像素子１０１から出力されたアナログの画像信号を、デジタルの画像信号に変換する。
【００３１】
フレームメモリ１０３は、Ａ／Ｄ変換部１０２から出力されたデジタルの画像信号を一時的に記憶する。このフレームメモリ１０３内に記憶されているフレーム信号は、制御部１０９の制御に基づいて、所定のフレーム時間間隔で測光評価部１０４へ転送される。
【００３２】
測光評価部１０４は、フレームメモリ１０３から転送されてきたフレーム信号中の輝度レベルを求めて、求めた輝度レベルに基づき適正露光となるような撮像素子１０１の電子シャッタ速度やゲインなどを算出し、算出した電子シャッタ速度やゲインに基づき撮像素子１０１を制御する。また、この測光評価部１０４は、時系列に変動する輝度レベルの変化量も算出して、算出した輝度レベルの変化量をノイズ低減部１０６へ出力するようになっている。
【００３３】
Ｙ／Ｃ分離部１０５は、制御部１０９の制御に基づいて、フレームメモリ１０３から偶数フィールド信号および奇数フィールド信号を読み込んで、読み込んだ信号に基づいて輝度信号Ｙと色差信号Ｃｂ，Ｃｒとを次の数式１に示すように算出する。  
［数１］
Ｙ＝ＧＣｙ＋ＭｇＹｅ  または  Ｙ＝ＭｇＣｙ＋ＧＹｅ
Ｃｂ＝ＭｇＣｙ−ＧＹｅ
Ｃｒ＝ＭｇＹｅ−ＧＣｙ
そして、Ｙ／Ｃ分離部１０５は、算出した輝度信号Ｙと色差信号Ｃｂ，Ｃｒとをノイズ低減部１０６へ転送する。
【００３４】
ノイズ低減部１０６は、制御部１０９の制御に基づいて、Ｙ／Ｃ分離部１０５から転送されてきたフレーム信号（輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒ）に対してノイズ低減処理を行う。ノイズ低減部１０６は、ノイズ低減後のフレーム信号を信号処理部１０７へ転送する。
【００３５】
信号処理部１０７は、制御部１０９の制御に基づいて、ノイズ低減部１０６から転送されてきたノイズ低減処理後のフレーム信号に対して、公知の補間処理、強調処理、圧縮処理などを行い、処理後の信号を出力部１０８へ転送する。
【００３６】
出力部１０８は、信号処理部１０７から転送されてきた映像信号を、例えばメモリカード等の記録媒体へ記録して保存する。
【００３７】
制御部１０９は、例えばマイクロコンピュータなどにより構成されており、Ａ／Ｄ変換部１０２、測光評価部１０４、Ｙ／Ｃ分離部１０５、ノイズ低減部１０６、信号処理部１０７、出力部１０８、外部Ｉ／Ｆ部１１０と双方向に接続されていて、これらを含むこの映像信号処理装置全体を制御する。
【００３８】
外部Ｉ／Ｆ部１１０は、この映像信号処理装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、ユーザは、この外部Ｉ／Ｆ部１１０を介して、ゲインの設定などを行うことができるようになっている。そして、この外部Ｉ／Ｆ部１１０は、入力された情報を、制御部１０９へ出力するようになっている。
【００３９】
次に図９を参照して、ノイズ低減部１０６の構成の一例について説明する。
【００４０】
このノイズ低減部１０６は、抽出部たる第１領域抽出部２０１と、抽出部たる第２領域抽出部２０２と、相関値算出部たる相関算出部２０３と、３次元ノイズ低減部２０４と、ノイズ推定部２０５と、範囲設定部２０６と、比較部２０７と、選択部たる切替部２０８と、フレームメモリ２０９と、を有している。
【００４１】
Ｙ／Ｃ分離部１０５は、第１領域抽出部２０１と比較部２０７と切替部２０８とを介して信号処理部１０７へ接続されている。第１領域抽出部２０１は、相関算出部２０３、３次元ノイズ低減部２０４、および切替部２０８へも接続されている。切替部２０８は、フレームメモリ２０９へも接続されている。フレームメモリ２０９は、第２領域抽出部２０２を介して、相関算出部２０３および３次元ノイズ低減部２０４へ接続されている。測光評価部１０４は、３次元ノイズ低減部２０４へ接続されている。相関算出部２０３および３次元ノイズ低減部２０４は、ノイズ推定部２０５へ接続されている。ノイズ推定部２０５は、範囲設定部２０６を介して、比較部２０７および切替部２０８へ接続されている。
【００４２】
また、制御部１０９は、第１領域抽出部２０１、第２領域抽出部２０２、相関算出部２０３、３次元ノイズ低減部２０４、ノイズ推定部２０５、範囲設定部２０６、比較部２０７、切替部２０８と双方向に接続されていて、これらを制御するようになっている。
【００４３】
第１領域抽出部２０１は、制御部１０９の制御に基づいて、ノイズ低減処理の対象となるフレーム信号中の注目画素およびこの注目画素の空間的近傍に位置する近傍画素からなる局所領域を順次抽出して、相関算出部２０３と３次元ノイズ低減部２０４と切替部２０８とへ出力する。ここに本実施形態においては、局所領域として図３〜図８に示すような５×５画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、３×３画素からなる正方形領域を想定してもよいし、あるいは、７×５画素からなる長方形領域を想定してもよい。また、他の例として、局所領域として、４×４画素からなる正方形領域や、４×６の長方形領域を想定してもよい。より一般には、ｎ×ｍ画素（ここに、ｎ，ｍは正の整数）の長方形領域となる。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるために、その内の何れか一つが注目画素となる。また、この局所領域の範囲は、ユーザの指示に応じて予め設定されてもよい。ここで、輝度信号Ｙは、偶数フィールドにおいては図３に示すように、奇数フィールドにおいては図６に示すように、５×５画素の全てに存在する。これに対して、色差信号Ｃｂ，Ｃｒは５×５画素の全てには存在しない。すなわち、色差信号Ｃｒは、偶数フィールドにおいては図４に示すように５×３画素となり、奇数フィールドにおいては図７に示すように５×２画素となる。また、色差信号Ｃｂは、偶数フィールドにおいては図５に示すように５×２画素となり、奇数フィールドにおいては図８に示すように５×３画素となる。
【００４４】
このような局所領域の構成においては、ノイズ低減処理の対象となる注目画素（例えば、局所領域の中心に位置する画素）は、輝度信号Ｙおよび色差信号Ｃｒ（色差信号Ｃｂは処理対象外）の場合、または、輝度信号Ｙおよび色差信号Ｃｂ（色差信号Ｃｒは処理対象外）の場合の何れかである。図３〜図８に示す例においては、偶数フィールドにおいて前者の場合、奇数フィールドにおいて後者の場合となっているが、注目画素の位置が異なれば、これと逆に、偶数フィールドにおいて後者の場合、奇数フィールドにおいて前者の場合となることもある。
【００４５】
また、第２領域抽出部２０２は、制御部１０９の制御に基づいて、フレームメモリ２０９に記憶されているノイズ低減処理がなされた過去のフレーム信号から、上述した注目画素と同一空間位置の画素と該画素の空間的近傍に位置する近傍画素とからなる局所領域（すなわち、注目画素の空間的および時間的近傍に位置する画素により構成される局所領域（第１領域抽出部２０１が、ノイズ低減処理の対象となるフレーム信号に対して注目画素を含むｎ×ｍ画素の局所領域を抽出する場合には、過去のフレーム信号に対してこのｎ×ｍ画素の局所領域と空間的位置が同一の局所領域））を順次抽出して、相関算出部２０３と３次元ノイズ低減部２０４とへ出力する。
【００４６】
上述したような構成において、ノイズ低減部１０６により時刻Ｔに取得されたフレーム信号のノイズ低減処理が行われている時点では、第１領域抽出部２０１により抽出される局所領域は時刻Ｔのフレーム信号に係るものであり、第２領域抽出部２０２により抽出される局所領域は時刻Ｔよりも過去のフレーム信号に係るものである。
【００４７】
相関算出部２０３は、制御部１０９の制御に基づいて、第１領域抽出部２０１から転送されてきた時刻Ｔの局所領域と、第２領域抽出部２０２から転送されてきたノイズ低減処理後の時刻Ｔよりも過去の局所領域とに基づき、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒのそれぞれに対して相関性の高低を示す指標となる相関値（輝度相関ＣYおよび色差相関ＣCb，ＣCr）を算出する。この相関値は、本実施形態においては、注目画素と、時刻Ｔおよびそれよりも過去の局所領域に属する各画素と、の差分絶対値和（ＳＡＤ：Sum of Absolute Difference）を想定している。ただし、相関値の算出方法はこれに限定されるものではなく、注目画素と局所領域に属する各画素との差分２乗和（ＳＳＤ：Sum of Squared Differnce）であっても良いし、被写体形状の類似度などの注目領域との類似性を示す指標であっても構わない。相関算出部２０３は、算出した輝度相関ＣYおよび色差相関ＣCb，ＣCrをノイズ推定部２０５へ出力する。
【００４８】
３次元ノイズ低減部２０４は、制御部１０９の制御に基づいて、第１領域抽出部２０１から転送されてきた時刻Ｔの局所領域と、第２領域抽出部２０２から転送されてきたノイズ低減処理後の時刻Ｔよりも過去の局所領域とに基づき、公知のフレーム内ノイズ低減処理（画像信号内のノイズ低減処理）およびフレーム間ノイズ低減処理（画像信号間のノイズ低減処理）を行う。本実施形態においては、注目画素と、時刻Ｔの近傍画素（注目画素を除く）と、時刻Ｔよりも過去の近傍画素（注目画素と同一空間位置の画素を含む）と、に対して、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。また、３次元ノイズ低減部２０４は、測光評価部１０４から輝度レベルの変化量を読み込んで、時刻Ｔのフレーム信号の輝度レベルと時刻Ｔよりも過去のフレーム信号の輝度レベルとの変化量が大きい場合は、時刻Ｔよりも過去の画素には小さな加重を付けるようになっている。３次元ノイズ低減部２０４は、３次元ノイズ低減処理を行った後の注目画素の輝度信号３ＮＲYおよび色差信号３ＮＲCb，３ＮＲCr（これらを必要に応じて３ＮＲ信号と呼ぶことにする）をノイズ推定部２０５へ出力する。
【００４９】
ノイズ推定部２０５は、制御部１０９の制御に基づいて、３次元ノイズ低減部２０４から転送されてきた３次元ノイズ低減処理後の注目画素の信号値３ＮＲs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を用いて注目画素のノイズ量Ｎs（補正前ノイズ量）を推定する。さらにノイズ推定部２０５は、制御部１０９の制御に基づいて、相関算出部２０３から転送されてきた注目画素に係る相関値Ｃs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を用いて、推定したノイズ量Ｎsを補正するための補正係数ｋs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）も算出する。
【００５０】
ここで、図１０を参照して、ノイズ量の推定について説明する。この図１０は、ノイズ低減処理済みの信号値（輝度信号値または色差信号値）を信号レベルＬとした場合の、信号レベルＬに対するノイズ量Ｎs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）の関係をプロットしたものである。図示のように、ノイズ量Ｎsは、信号レベルＬに対して２次曲線的に増加するものとなっている。そこで、このようなノイズモデルを２次関数を用いて具体的にモデル化すると、次の数式２に示すようになる。  
［数２］
Ｎs＝αsＬ2＋βsＬ＋γs
ここに、αs，βs，γs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）は定数項である。ノイズ推定部２０５は、この数式２に示すようなモデルを用いて、３次元ノイズ低減処理後の注目画素の信号値３ＮＲs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を信号レベルＬとして、ノイズ量Ｎsを推定する。
【００５１】
一方、ノイズ推定部２０５は、相関値Ｃsを用いて補正係数ｋsを算出する。ノイズ推定部２０５は、相関値Ｃsを所定の閾値（ここに、閾値は、ノイズ量を大きく推定してノイズ低減する要求と、ノイズ量を小さく推定してノイズ低減する要求と、が拮抗するように設定された値である。）と比較して、相関値Ｃsがこの閾値よりも小さい（相関性が高い）場合には大きくなるように、相関値Ｃsが閾値よりも大きい（相関性が低い）場合には小さくなるように、補正係数ｋsを算出する。具体的には、ノイズ推定部２０５は、次の数式３に示すように補正係数ｋs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を算出する。  
［数３］
ｋs＝−δs×Ｃs＋ωs      ｛Ｃs＜（ωs／δs）のとき｝
ｋs＝０                   ｛Ｃs≧（ωs／δs）のとき｝
ここに、δs，ωsは正の定数項である。
【００５２】
ノイズ推定部２０５は、さらに、推定したノイズ量Ｎsに、相関値Ｃsに基づき算出した補正係数ｋsを次の数式４に示すように乗算することにより、補正ノイズ量ＣＮs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を算出する。  
［数４］
ＣＮs＝Ｎs・ｋs
【００５３】
ノイズ推定部２０５は、算出した補正ノイズ量ＣＮsを、注目画素の３次元ノイズ低減後の信号値（輝度信号値および色差信号値）３ＮＲsと共に、範囲設定部２０６へ出力する。
【００５４】
範囲設定部２０６は、制御部１０９の制御に基づいて、輝度信号および色差信号のノイズ量に関するノイズ範囲（３ＮＲ信号に対するノイズ量の範囲を示すノイズ範囲）として上限Ｕsおよび下限Ｄs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を次の数式５に示すように設定する。  
［数５］
ＵY＝３ＮＲY＋ＣＮY     ，  ＤY＝３ＮＲY−ＣＮY
ＵCb＝３ＮＲCb＋ＣＮCb  ，  ＤCb＝３ＮＲCb−ＣＮCb
ＵCr＝３ＮＲCr＋ＣＮCr  ，  ＤCr＝３ＮＲCr−ＣＮCr
そして、範囲設定部２０６は、設定した上限Ｕsおよび下限Ｄsを比較部２０７へ転送する。また、範囲設定部２０６は、注目画素の３次元ノイズ低減後の信号値（輝度信号値および色差信号値）３ＮＲsと、補正ノイズ量ＣＮsとを、切替部２０８へ転送する。
【００５５】
比較部２０７は、制御部１０９の制御に基づいて、第１領域抽出部２０１から転送されてきた局所領域中の注目画素の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを、範囲設定部２０６から転送されてきた上限Ｕsおよび下限Ｄsと比較することにより、注目画素がノイズ範囲（下限Ｄs以上かつ上限Ｕs以下）に属するか否かを判定する。この判定の結果は、「ノイズ範囲に属している」、「ノイズ範囲を上回っている」、「ノイズ範囲を下回っている」の何れかとなる。
【００５６】
切替部２０８は、制御部１０９の制御に基づいて、第１領域抽出部２０１から転送されてきた注目画素の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを、範囲設定部２０６から転送されてきた注目画素の３次元ノイズ低減後の信号値３ＮＲsおよび補正ノイズ量ＣＮsを用いて補正する処理を行う。
【００５７】
すなわち、切替部２０８は、比較部２０７による判定結果が「ノイズ範囲に属している」である場合には、注目画素の信号値Ｙ，Ｃｂ，Ｃｒに、注目画素の３次元ノイズ低減後の信号値３ＮＲsを次の数式６に示すように代入する処理を行う。  
［数６］
Ｙ ＝３ＮＲY
Ｃｂ＝３ＮＲCb
Ｃｒ＝３ＮＲCr
【００５８】
また、切替部２０８は、比較部２０７による判定結果が「ノイズ範囲を上回っている」である場合には、次の数式７に示すように、注目画素の信号値Ｙ，Ｃｂ，Ｃｒから注目画素の補正ノイズ量ＣＮsを減算する処理を行う。  
［数７］
Ｙ ＝Ｙ−ＣＮY
Ｃｂ＝Ｃｂ−ＣＮCb
Ｃｒ＝Ｃｒ−ＣＮCr
【００５９】
さらに、切替部２０８は、比較部２０７による判定結果が「ノイズ範囲を下回っている」である場合には、次の数式８に示すように、注目画素の信号値Ｙ，Ｃｂ，Ｃｒに注目画素の補正ノイズ量ＣＮsを加算する処理を行う。  
［数８］
Ｙ ＝Ｙ＋ＣＮY
Ｃｂ＝Ｃｂ＋ＣＮCb
Ｃｒ＝Ｃｒ＋ＣＮCr
【００６０】
その後、切替部２０８は、数式６、数式７、または数式８により算出した補正後の輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを、フレームメモリ２０９と信号処理部１０７とへ出力する。
【００６１】
こうして、フレームメモリ２０９には、ノイズ低減処理がなされたフレーム信号が記録されることになり、このノイズ低減処理後のフレーム信号が、次のフレーム信号の処理に用いられることになる。
【００６２】
なお、上述においては、映像信号処理装置として、撮像素子１０１、Ａ／Ｄ変換部１０２、測光評価部１０４等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生（Ｒａｗ）データの形式でメモリカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。
【００６３】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０１からの信号を未処理のままの生（Ｒａｗ）データとして、制御部１０９からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。
【００６４】
図１１を参照して、コンピュータに映像信号処理プログラムを実行させたときの処理の流れを説明する。
【００６５】
この処理を開始すると、まず、映像信号と、ゲインや輝度レベルの変化量などのヘッダ情報とを読み込む（ステップＳ１）。
【００６６】
次に、読み込んだ映像信号を、フレーム信号毎に、数式１に示したように、輝度信号と色差信号とに分離する（ステップＳ２）。
【００６７】
続いて、後で図１２を参照して詳細に説明するように、輝度信号および色差信号にノイズ低減処理を行う（ステップＳ３）。
【００６８】
さらに、ノイズ低減処理が行われたフレーム信号を出力する（ステップＳ４）。
【００６９】
そして、ノイズ低減処理後のフレーム信号に、公知の階調変換処理、強調処理、圧縮処理などの信号処理を行う（ステップＳ５）。
【００７０】
次に、信号処理が行われたフレーム信号を出力する（ステップＳ６）。
【００７１】
その後、映像信号に含まれる全フレーム信号の処理が完了したか否かを判定して（ステップＳ７）、完了していないと判定した場合にはステップＳ２へ戻って次のフレーム信号について上述したような処理を繰り返して行う。
【００７２】
一方、全フレーム信号の処理が完了していると判定した場合には、この処理を終了する。
【００７３】
次に、図１２を参照して、図１１のステップＳ３におけるノイズ低減処理の詳細について説明する。
【００７４】
この処理を開始すると、ノイズ低減処理の対象となるフレーム信号中の、注目画素を含む局所領域を、図３〜図８に示したように抽出する（ステップＳ１１）。
【００７５】
続いて、ノイズ低減処理がなされた過去のフレーム信号を入力する（ステップＳ１２）。
【００７６】
さらに、過去のフレーム信号から、注目画素と同一空間位置の画素を含む局所領域を抽出する（ステップＳ１３）。
【００７７】
次に、注目画素を含む局所領域およびそれよりも過去の局所領域の、注目画素に対する相関値を求める（ステップＳ１４）。
【００７８】
そして、注目画素を含む局所領域と過去の局所領域とに基づいて、ステップＳ１においてヘッダ情報として読み込んだ輝度レベルの変化量も参照しながら、公知の３次元ノイズ低減処理を行う（ステップＳ１５）。
【００７９】
続いて、３次元ノイズ低減処理後の注目画素の信号値に基づいてノイズ量（補正前ノイズ量）を数式２に示したように推定するとともに、相関値に基づいて数式３に示したように補正係数を算出し、さらに推定したノイズ量を補正係数に基づいて数式４に示したように補正する（ステップＳ１６）。
【００８０】
その後、３次元ノイズ低減処理後の注目画素の信号値と、推定され補正されたノイズ量と、に基づいて、ノイズ範囲を示す上限Ｕsおよび下限Ｄsを数式５に示したように求める（ステップＳ１７）。
【００８１】
次に、ステップＳ２において分離された注目画素の信号値が、ノイズ範囲に入っているか否かを判定する（ステップＳ１８）。
【００８２】
ここで、注目画素の信号値がノイズ範囲に入っていると判定された場合には、注目画素の信号値を数式６に示したように算出する（ステップＳ１９）。
【００８３】
一方、ステップＳ１８において、注目画素の信号値がノイズ範囲に入っていないと判定された場合には、ノイズ範囲を上回るときには注目画素の信号値を数式７に示したように算出し、ノイズ範囲を下回るときには注目画素の信号値を数式８に示したように算出する（ステップＳ２０）。
【００８４】
その後、フレーム信号から抽出し得る全ての局所領域について処理が終了したか否かを判定し（ステップＳ２１）、完了していないと判定された場合はステップＳ１１へ戻って次の局所領域を抽出して上述したような処理を行う。
【００８５】
一方、ステップＳ２１において、フレーム信号から抽出し得る全ての局所領域について処理が終了したと判定された場合には、図１１に示した処理にリターンする。
【００８６】
なお、上述では、ノイズ低減処理に用いる過去のフレーム信号の数について特に限定はしていないが、処理対象となっているフレーム信号の１つ前のフレーム信号のみを用いても構わないし、処理対象となっているフレーム信号よりも過去の複数のフレーム信号を用いるようにしても良い。ただし、後者の場合には、フレームメモリ２０９として複数フレームの信号を記憶可能な記憶容量を確保する必要があり、第２領域抽出部２０２は処理対象のフレーム数分の処理を行うことになり、相関算出部２０３および３次元ノイズ低減部２０４は複数フレームに対応した処理を行うことになる。
【００８７】
また、上述では、数式２における各係数αs，βs，γs（ｓ＝Ｙ，Ｃｂ，Ｃｒ）を単に定数項としたが、フレーム画像を撮像したときの撮像素子１０１の温度やゲインなどに依存する定数項とすれば、これらの要因にも対応することが可能となる。
【００８８】
さらに、相関算出部２０３は、上述では現在の画像信号と過去の画像信号とに基づいて相関値を算出しているが、これに限るものではなく、現在の画像信号のみ、または過去の画像信号のみに基づいて相関値を算出するようにしても構わない。
【００８９】
そして、映像信号処理装置は、映像信号を取り扱う種々の電子装置、例えば内視鏡装置、デジタルカメラ装置やビデオカメラ装置に搭載される。
【００９０】
このような実施形態１によれば、被写体の動きや信号レベル、輝度レベルなどの撮影時に動的に変化する要因に対応してノイズ量を高精度に推定しているために、画面全体における最適なノイズ低減を行うことが可能となる。これにより、高品位な映像信号を得ることができる。
【００９１】
このとき、処理対象のフレーム信号のノイズ量を、ノイズ成分が除去された過去のフレーム信号に基づいて推定するようにしているために、ノイズ量の推定精度を向上することができる。
【００９２】
さらに、輝度ノイズ量と色差ノイズ量とを独立に推定するようにしたために、各々の推定精度を向上することができる。
【００９３】
また、ノイズ量に基づいてノイズ範囲を設定しノイズ低減処理を行うようにしたために、原信号と全く異なる信号値になってしまうことはなく、原信号の保存性に優れるという利点がある。このとき、ノイズ範囲に属すると判定された注目画素については３次元ノイズ低減処理後の画素値を適用し、ノイズ範囲に属さないと判定された注目画素についてはノイズ量に基づく補正処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して高品位な信号を得ることができる。
【００９４】
そして、ノイズ低減処理後の信号を本来の信号として出力して、その後に各種の信号処理等を行うようにしたために、従来の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる利点がある。
【００９５】
また、色差線順次型の色フィルタ配置に合わせて輝度信号と色差信号とを求めるようにしたために、高速な処理が可能となる。
【００９６】
さらに、相関値Ｃsに基づいて算出した補正係数ｋsにより、ノイズ量Ｎsを補正するようにしている。つまり、時系列に取り込まれた映像信号に対して、過去のフレーム信号が相関をもつ場合には、ノイズ範囲を広げて、つまり３次元ノイズ低減処理（数式６参照）を適用する範囲を広げるようにしたために、効果的なノイズ低減処理を行うことが可能となる。一方、過去のフレーム信号が相関をもたない場合には、ノイズ範囲を狭めて、つまり補正処理（数式７または数式８参照）を適用する範囲を広げるようにしたために、動きのある被写体に対しても残像等が発生することのない高品位な信号を得ることが可能となる。
【００９７】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施形態１における映像信号処理装置が適用された撮像装置の全体的な構成を示すブロック図である。
【図２】上記実施形態１における色差線順次型補色フィルタのフィルタ配置と偶数フィールドおよび奇数フィールドにおける信号読み出しの様子とを示す図である。
【図３】上記実施形態１において、偶数フィールドにおける輝度信号の局所領域を示す図である。
【図４】上記実施形態１において、偶数フィールドにおけるＣｒ信号の局所領域を示す図である。
【図５】上記実施形態１において、偶数フィールドにおけるＣｂ信号の局所領域を示す図である。
【図６】上記実施形態１において、奇数フィールドにおける輝度信号の局所領域を示す図である。
【図７】上記実施形態１において、奇数フィールドにおけるＣｒ信号の局所領域を示す図である。
【図８】上記実施形態１において、奇数フィールドにおけるＣｂ信号の局所領域を示す図である。
【図９】上記実施形態１におけるノイズ低減部の詳細な構成を示すブロック図である。
【図１０】上記実施形態１において、信号レベルに対するノイズ量の関係を示す線図である。
【図１１】上記実施形態１における映像信号処理プログラムによる信号処理全体の流れを示すフローチャートである。
【図１２】上記実施形態１において、図１１のステップＳ３におけるノイズ低減処理の詳細を示すフローチャートである。
【符号の説明】
【００９９】
１０１…撮像素子
１０２…Ａ／Ｄ変換部
１０３…フレームメモリ
１０４…測光評価部
１０５…Ｙ／Ｃ分離部
１０６…ノイズ低減部
１０７…信号処理部
１０８…出力部
１０９…制御部
１１０…外部Ｉ／Ｆ部
２０１…第１領域抽出部（抽出部）
２０２…第２領域抽出部（抽出部）
２０３…相関算出部（相関値算出部）
２０４…３次元ノイズ低減部
２０５…ノイズ推定部
２０６…範囲設定部
２０７…比較部
２０８…切替部（選択部）
２０９…フレームメモリ
【図１】
2009171162.tif 000003
【図２】
2009171162.tif 000004
【図３】
2009171162.tif 000005
【図４】
2009171162.tif 000006
【図５】
2009171162.tif 000007
【図６】
2009171162.tif 000008
【図７】
2009171162.tif 000009
【図８】
2009171162.tif 000010
【図９】
2009171162.tif 000011
【図１０】
2009171162.tif 000012
【図１１】
2009171162.tif 000013
【図１２】
2009171162.tif 000014