(57)【要約】【課題】白バランスが合うように増幅された信号Ｒ、Ｂ及びＧから生成される輝度信号は、増幅処理によるノイズの影響でＳ／Ｎが劣化し、正確な動き検出ができなくなる問題があった。【解決手段】色補間回路（１５）は、固体撮像素子（１１）の色フィルタ配列に基づいて色補間処理を行い、信号Ｒ、Ｇ及びＢを出力する。白バランス増幅回路（１６）は、制御回路（２０）の設定するゲインに基づいて信号Ｒ、Ｂを増幅し信号ＲＷ、ＢＷを出力する。信号レベル検出手段（１７）は、信号ＲＷ、Ｇ、ＢＷ各々の画素積分値又は平均値を求めて制御回路（２０）へ供給する。動き量算出回路（３０）は、信号Ｒ、Ｇ及びＢを加算することで得られる色加算信号ＭＤｉのフレーム間差分に基づく動き量信号ＭＤを生成する。【選択図】図１
2011166535.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段を含み、該撮像手段による撮像の結果得られる、複数の色成分の撮像信号を生成する撮像信号生成手段と、
上記撮像信号生成手段から出力される複数の色成分の信号を、白バランスをとるために増幅する白バランス増幅回路と、
上記白バランス増幅回路の色成分毎の増幅率を白バランスがとれるよう制御する制御手段と、
上記白バランス増幅回路から出力される複数の色成分の信号から映像信号を生成する映像信号生成手段と、
上記撮像手段による撮像の結果得られる複数の色成分の信号であって、上記白バランス増幅回路による増幅を受けていない信号を入力とし、入力された複数の色成分の信号の和を色加算信号として生成する第１の色加算手段を備え、該色加算信号に基づいて、被写体の動きを検出する動き量算出回路とを備える
撮像装置。
【請求項２】
上記動き量算出回路が、
上記色加算信号の、異なる画面間での差分の絶対値を算出する差分絶対値算出手段をさらに備え、
上記画面間の差分の絶対値に基づいて、上記被写体の動きを検出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記動き量算出回路は、
上記色加算信号を垂直走査周期の整数倍の期間遅延させて遅延色加算信号を出力する遅延手段をさらに備え、
上記差分絶対値算出手段は、上記色加算信号と上記遅延色加算信号の差分の絶対値を算出する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記動き量算出回路に入力された複数の色成分の信号を、垂直走査周期の整数倍の期間遅延させる遅延手段をさらに備え、
上記動き量算出回路は、
上記遅延手段から出力される、遅延された複数の色成分の信号を加算して遅延色加算信号を生成する第２の色加算手段とをさらに備え、
上記差分絶対値算出手段は、
上記第１の色加算手段から出力された色加算信号と上記第２の色加算手段から出力された遅延色加算信号の差分絶対値を求める
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
上記撮像信号生成手段は、
被写体の像を上記撮像手段に結像させるレンズと、
上記撮像手段から出力される信号を可変利得で増幅するプログラマブル利得増幅回路をさらに有し、
上記白バランス増幅回路で増幅された色成分の信号を受けて、画面全体又は特定の部分内の複数の画素について積分し、又は平均を求めることで、該色成分の信号レベルを求めるレベル検出回路をさらに備え、
上記制御手段が、
上記レベル検出手段で求められた上記色成分の信号レベルに基づいて、
上記レンズの絞りと、上記撮像手段の露光時間と、上記プログラマブル利得増幅回路の増幅利得を設定するとともに、被写体の照度を求め、
さらに、求められた上記照度と、上記設定されたレンズの絞り、露光時間及び増幅利得の値とからノイズレベルを生成し、
上記生成されたノイズレベルに基づいて上記動き閾値を生成する閾値生成手段と、
上記差分絶対値算出手段から出力された差分絶対値信号が所定の動き閾値よりも大きい時に動きがあると検出する判定手段とをさらに備える
ことを特徴とする請求項２、３又は４に記載の撮像装置。
【請求項６】
上記撮像手段が画素毎に１色の成分のみを出力し、上記撮像手段から出力される信号は他の色の成分が欠落したものであり、
上記撮像信号生成手段が、上記カラー撮像手段の各画素について欠落した色の成分を、当該画素の周辺の画素の同じ色の成分の信号からの補間を行なう色補間手段をさらに備え、
上記動き量算出回路は、上記色補間手段から出力される色成分の信号を、
上記撮像手段による撮像の結果得られる複数の色成分の信号であって、上記白バランス増幅回路による増幅を受けていない信号として用いる
ことを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
上記撮像手段から出力される信号のうち、各画素を中心とする近傍領域内の複数の画素の、上記各画素と同じ色成分の信号の和を上記各画素についての周辺画素加算信号として出力する周辺画素加算手段をさらに有し、
上記動き量算出回路は、上記周辺画素加算手段から出力される周辺画素加算信号を、上記撮像手段による撮像の結果得られる複数の色成分の信号であって、上記白バランス増幅回路による増幅を受けていない信号として用いる
ことを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項８】
被写体を撮像する撮像手段を含み、該撮像手段による撮像の結果得られる、複数の色成分の撮像信号を生成する撮像信号生成手段と、
上記撮像信号生成手段から出力される撮像信号に含まれるノイズを抑圧した撮像信号を出力する撮像信号ノイズ低減回路と、
上記ノイズ低減撮像信号を、白バランスをとるために増幅する白バランス増幅回路と、
上記白バランス増幅回路の色成分毎の増幅率を白バランスがとれるよう制御する制御手段と、
上記白バランス増幅回路から出力される複数の色成分の信号から映像信号を生成する映像信号生成手段と、
上記撮像信号に基いて、被写体の動きを検出する動き量算出回路とを備え、
上記撮像信号ノイズ低減回路が、
上記ノイズ低減撮像信号を垂直走査周期の整数倍の期間遅延させて上記遅延撮像信号を出力する遅延手段と、
上記撮像信号と上記遅延撮像信号を所定の合成比で合成してノイズ抑圧されたノイズ低減撮像信号を出力する撮像信号合成回路と、
上記動き量算出回路で検出された動きの量を表す動き量信号に基づいて上記撮像信号合成回路の上記合成比を決定する撮像信号合成比生成回路とを備え、
上記動き量算出回路は、
上記撮像信号合成回路に入力される撮像信号の複数の色成分の信号を加算して色加算信号を生成する第１の色加算手段と、
上記遅延手段から出力される複数の色成分の信号を加算して遅延色加算信号を生成する第２の加算手段と、
上記色加算信号と上記遅延色加算信号の差分の絶対値を算出する差分絶対値算出手段とを備え、
上記撮像信号合成比生成回路は、上記動き量算出回路の上記差分絶対値算出手段で検出された差分の絶対値を表す信号を、上記動きの量を表す動き量信号とし、これに基づいて上記撮像信号合成回路における上記合成比を生成する
ことを特徴とする撮像装置。
【請求項９】
被写体を撮像する撮像手段を含み、該撮像手段による撮像の結果得られる、複数の色成分の撮像信号を生成する撮像信号生成手段と、
上記撮像信号生成手段から出力される撮像信号を入力として、加算撮像信号を生成する撮像信号画素加算回路と、
上記第加算撮像信号を、白バランスをとるために増幅する白バランス増幅回路と、
上記白バランス増幅回路の色成分毎の増幅率を白バランスがとれるよう制御する制御手段と、
上記白バランス増幅回路から出力される複数の色成分の信号から映像信号を生成する映像信号生成手段と、
上記撮像信号に基いて、被写体の動きを検出する動き量算出回路とを備え、
上記撮像信号画素加算回路が、
上記カラー撮像手段による撮像の結果得られる複数の色成分の撮像信号を垂直走査周期の整数倍の期間遅延させて第１の遅延撮像信号を出力する第１の遅延手段と、
上記第１の遅延撮像信号を垂直走査周期の整数倍の期間遅延させて第２の遅延撮像信号を出力する第２の遅延手段と、
上記遅延撮像信号のうちの注目画素の信号に、該注目画素と同じフィールド内において、該注目画素を中心とする近傍の領域内に位置する画素の信号を加算する面内画素加算手段と、
上記撮像信号と、上記第１の遅延撮像信号と、上記第２の遅延撮像信号を入力とし、上記第１の遅延撮像信号の注目画素の信号に、上記第１の遅延撮像信号の属するフィールドに隣接するフィールド内において、上記注目画素を中心とする近傍の領域内に位置する画素の信号を加算する面間画素加算手段と、
上記面内画素加算手段から出力される信号と、上記面間画素加算手段から出力される信号とを合成する撮像信号合成回路と、
上記動き量算出回路で検出される動きの量を表す動き量信号に基づいて、上記撮像信号合成回路における合成比を生成する撮像信号合成比生成回路と、
を備え、
上記動き量算出回路は、
上記撮像信号の複数の色成分の信号の和を色加算信号として出力する第１の色加算手段と、
上記第２の遅延撮像信号の複数の色成分の信号の和を遅延色加算信号として出力する第２の加算手段と、
上記色加算信号と上記遅延色加算信号の差の絶対値を算出する差分絶対値算出手段とを備え、
上記撮像信号合成比生成回路は、上記動き量算出回路の上記差分絶対値算出手段で検出された差分の絶対値を表す信号を、上記動きの量を表す動き量信号とし、これに基づいて上記撮像信号合成回路における上記合成比を生成する
ことを特徴とする撮像装置。
【請求項１０】
上記映像信号生成手段から出力される映像信号に含まれるノイズを抑圧して、ノイズ抑圧されたノイズ低減映像信号を出力する映像信号ノイズ低減回路をさらに備え、
上記映像信号ノイズ低減回路が、
上記ノイズ低減映像信号を垂直走査周期の整数倍の期間遅延させて上記遅延映像信号を出力する遅延手段と、
上記映像信号と上記遅延映像信号を所定の合成比で合成して上記ノイズ低減映像信号を出力する映像信号合成回路と、
上記動き量信号に基づいて上記映像信号合成回路における、上記映像信号と上記遅延映像信号の合成比を生成する映像信号合成比生成回路と
を備えることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
上記映像信号合成比生成回路は、
上記動き量信号が、動き量が大きいことを示すものとなる場合に、上記映像信号合成回路において上記映像信号の割合を高くするような合成比を生成し、
上記動き量信号が、動き量が小さいことを示すものである場合に、上記映像信号合成回路において上記遅延映像信号の割合を高くするような合成比を生成することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
上記映像信号生成手段から出力される映像信号を受けて加算映像信号を生成する映像信号画素加算回路をさらに備え、
上記映像信号画素加算回路が、
上記映像信号の注目画素の信号に、該注目画素と同じフィールド内において、該注目画素を中心とする近傍の領域内に位置する画素の信号を加算する面内画素加算手段と、
上記映像信号の注目画素の信号に、該注目画素の属するフィールドに隣接するフィールド内において、上記注目画素を中心とする近傍の領域内に位置する画素の信号を加算する面間画素加算手段と、
上記面内画素加算手段から出力される信号と上記面間画素加算手段から出力される信号を所定の合成比で合成する映像信号合成回路と、
上記動き量信号に基づいて上記面内画素加算手段から出力される信号と上記面間画素手段から出力される信号の合成比を生成する映像信号合成比生成回路
を備えることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
【請求項１３】
上記映像信号合成比生成回路は、
上記動き量信号が、動き量が大きいことを示すときは、上記面内画素加算手段の出力信号の割合を高くするような合成比を生成し、
上記動き量信号が、動き量が小さいことを示すときは、上記面間画素加算手段の出力信号の割合を高くするような合成比を生成することを特徴とする請求項１２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に低照度の撮像環境においても、より正確な動き検出結果を出力することができ、より高画質な撮像画像が得られる撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置として、光源の色温度に応じた白バランス処理により、光源の色温度が高い時は原色信号Ｒを増幅し、光源の色温度が低い時は原色信号Ｂを増幅し白バランスが合うようにＲ、Ｂ信号を増幅するように構成したものがある（例えば、特許文献１参照）。
【０００３】
また、撮像素子から出力される映像信号から輝度差情報を得て当該輝度差情報を動き検出の検出パラメータと比較することによって被写体の動きの有無の判断処理を行うように構成した撮像装置も知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平３−１５５２９２号公報（３頁、第５図）
【特許文献２】特許第４３１１４５７号公報（段落００１２、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された従来の撮像装置は、以上のように構成されているので、光源の色温度により原色信号Ｒまたは原色信号Ｂが増幅されるが、低照度の場合は原色信号Ｒまたは原色信号ＢのＳ／Ｎが低いため、アナログ信号処理により増幅すると回路ノイズが増加し、デジタル信号処理により増幅すると量子化ノイズが増加しＳ／Ｎが劣化する。
仮に特許文献１に記載された技術を、特許文献２に記載された撮像装置に組み込んだとしても、増幅された原色信号Ｒ及び原色信号Ｂと、原色信号Ｇから生成される輝度信号もＳ／Ｎが劣化するため、輝度信号のフレーム間差分信号には、動き成分だけでなく、ノイズ成分も多く含まれ、正確な動き検出ができないと言う問題があった。
【０００６】
この発明は、上述のような課題を解決するためになされたもので、より正確な動き検出結果を出力することができる動き検出を行なうことができるようにすること、及びより正確な動き検出結果に基づいてより高画質な撮像画像が得られる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため本発明の撮像装置は、
被写体を撮像する撮像手段を含み、該撮像手段による撮像の結果得られる、複数の色成分の撮像信号を生成する撮像信号生成手段と、
上記撮像信号生成手段から出力される複数の色成分の信号を、白バランスをとるために増幅する白バランス増幅回路と、
上記白バランス増幅回路の色成分毎の増幅率を白バランスがとれるよう制御する制御手段と、
上記白バランス増幅回路から出力される複数の色成分の信号から映像信号を生成する映像信号生成手段と、
上記撮像手段による撮像の結果得られる複数の色成分の信号であって、上記白バランス増幅回路による増幅を受けていない信号を入力とし、入力された複数の色成分の信号の和を色加算信号として生成する第１の色加算手段を備え、該色加算信号に基づいて、被写体の動きを検出する動き量算出回路とを備える。
【発明の効果】
【０００８】
本発明によれば、白バランス制御による増幅処理が加えられていない原色信号Ｒ、Ｇ及びＢを加算した信号に基づいて動き量を求めるように構成したので、動き量に含まれるノイズ成分が少なくなり、より正確な動き検出結果が得られるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１の撮像装置を示すブロック構成図である。
【図２】図１の固体撮像素子１１の色フィルタアレイにおける色フィルタ配列図である。
【図３】図１の動き量算出回路３０の一例を示すブロック構成図である。
【図４】図１の動き量算出回路３０の他の例を示すブロック構成図である。
【図５】本発明の実施の形態２の撮像装置を示すブロック構成図である。
【図６】本発明の実施の形態３の撮像装置を示すブロック構成図である。
【図７】本発明の実施の形態４の撮像装置を示すブロック構成図である。
【図８】図７のノイズ低減回路５０の一例を示すブロック構成図である。
【図９】図８の合成回路５２の一例を示すブロック構成図である。
【図１０】本発明の実施の形態５の撮像装置を示すブロック構成図である。
【図１１】本発明の実施の形態６の撮像装置を示すブロック構成図である。
【図１２】図１１の画素加算回路７０の一例を示すブロック構成図である。
【図１３】図１２の面内画素加算回路７４で加算される信号の空間的位置関係を示す画素空間配置図である。
【図１４】図１２の画間加算回路７５で加算される信号の空間的位置関係を示す図である。
【図１５】本発明の実施の形態７の撮像装置を示すブロック構成図である。
【図１６】本発明の実施の形態８の撮像装置を示すブロック構成図である。
【図１７】本発明の実施の形態９の撮像装置を示すブロック構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示すブロック構成図である。以下では、ＮＴＳＣ方式テレビジョンに対応した撮像装置を例に説明する。
【００１１】
図１において、例えばＣＣＤで構成される固体撮像素子１１の撮像面上には、図示しないレンズで被写体像が結像される。固体撮像素子１１で光電変換され転送出力された撮像信号は、相関二重サンプリング処理回路（ＣＤＳ回路）１２でノイズ等が除去される。
プログラマブル利得増幅回路（ＰＧＡ）１３は、ＣＤＳ回路１２の出力信号を後述の制御回路２０から出力される制御信号Ｓｇｃによって制御される利得で増幅して出力する。
Ａ／Ｄ変換回路（ＡＤＣ）１４は、ＰＧＡ１３の出力信号を、デジタル信号に変換する。
【００１２】
色補間回路１５は、固体撮像素子１１の色フィルタ配列に基づいて色補間処理を行い、原色信号Ｒ、Ｇ及びＢを出力する。
【００１３】
以上のうち、固体撮像素子１１、ＣＤＳ回路１２、ＰＧＡ１３、ＡＤＣ１４、及び色補間回路１５により撮像信号生成手段１０が構成される。
【００１４】
白バランス増幅回路１６は、制御回路２０で設定されるゲインに基づいて、原色信号Ｒ、Ｇ、Ｂのうちの一つ以上を増幅することで、白バランスの調整を行なう。図示の白バランス増幅回路１６は、Ｒ信号増幅回路１６ＲとＢ信号増幅回路１６Ｂを有する。
Ｒ信号増幅回路１６Ｒは、制御回路２０で設定されるゲインに基づいて原色信号Ｒを増幅し原色信号ＲＷを出力する。
Ｂ信号増幅回路１６Ｂは、制御回路２０で設定されるゲインに基づいて原色信号Ｂを増幅し原色信号ＢＷを出力する。
尚、図示の例では、原色信号Ｇについては増幅を行なわないが、原色信号Ｇについても増幅を行なうこととしても良い。
【００１５】
信号レベル検出回路１７は、白バランス増幅回路１６から出力される原色信号ＲＷ、Ｇ及びＢＷの各々の画素積分値を算出して制御回路２０へ供給する。
色マトリクス回路１８は、原色信号ＲＷ、Ｇ及びＢＷを色マトリクス変換して、輝度信号Ｙ並びに色差信号Ｒ−Ｙ及びＢ−Ｙを出力する。
色変調回路１９は、色副搬送波を色差信号Ｒ−Ｙと色差信号Ｂ−Ｙで直角二相変調して色信号Ｃを出力する。
出力端子２１Ｙから輝度信号Ｙが出力され、出力端子２１Ｃから色信号Ｃが出力される。
色マトリクス回路１８から出力される輝度信号Ｙ及び色信号Ｒ−Ｙ及びＢ−Ｙで構成される画面（フィールド乃至フレーム）は、映像信号を構成するものであり、色マトリクス回路１８により、映像信号生成回路が構成されている。
【００１６】
動き量算出回路３０は、図３に示すように、色加算回路（ＳＵＭ）３１と、遅延回路（ＦＤＬ）３２と、差分絶対値算出回路３３とを有する。
色加算回路３１は、それぞれ入力端子３６Ｒ、３６Ｇ、３６Ｂを介して供給される、原色信号Ｒ、Ｇ及びＢを加算し色加算信号ＭＤｉを生成する。色加算信号ＭＤｉは、動き検出用信号とも呼ばれる。
遅延回路３２は、色加算信号ＭＤｉを１フレーム期間遅延させた遅延色加算信号ＭＤｄを生成する。
【００１７】
差分絶対値算出回路３３は、色加算信号ＭＤｉと遅延色加算信号ＭＤｄの差の絶対値を求め、動き量信号ＭＤとして出力する。
差分絶対値算出回路３３は、減算回路３４と絶対値回路（ＡＢＳ）３５とを有する。減算回路３４は色加算信号ＭＤｉから遅延色加算信号ＭＤｄを差引くことで得られる差分信号を出力する。絶対値回路３５は、減算回路３４から出力される差分信号の符号を外して絶対値とした、動き量信号ＭＤを生成する。このように差分絶対値算出回路３３は、色加算信号のフレーム間差分に基づき、画素毎の動きを表す動き量信号ＭＤを生成する。動き量信号ＭＤは出力端子３７を介して出力される。
【００１８】
動き閾値生成回路４１は、制御回路２０から入力されるノイズレベル情報に基づいて動き閾値ＴＨを生成する。
判定回路４２は、動き量信号ＭＤと動き閾値生成回路４１により設定される動き閾値ＴＨに基づいて動き判定を行い、動き検出信号ＭＶを生成する。
動き検出信号ＭＶは、出力端子２１Ｍから出力される。
【００１９】
制御回路２０は、各回路の設定値を設定する。制御回路２０は、映像信号の信号レベルを観測して、レンズの絞りや、固体撮像素子の露光時間や、プログラマブル利得増幅回路（ＰＧＡ）の利得を設定して自動露光制御する。また画像の解析結果に基づいて各回路の設定値を設定する。
【００２０】
同期信号発生回路４３は、垂直同期信号及び水平同期信号を生成してタイミング発生回路４４に供給する。
タイミング発生回路４４は固体撮像素子１１の駆動タイミング信号を発生してドライブ回路４５に供給する。
ドライブ回路４５は、タイミング発生回路４４から出力された駆動タイミング信号に基づいて固体撮像素子１１の駆動信号を生成する。
固体撮像素子１１は、ドライブ回路４５から出力された駆動信号に基づいて、光電変換及び電荷転送を行う。
【００２１】
図２は固体撮像素子１１の色フィルタアレイの模式図である。画素ごとにＲ、Ｇ、Ｂの色フィルタがベイヤ配列されている。固体撮像素子１１の一つの走査線（例えばＬ１）からは、水平方向にＧ、Ｂ、Ｇ、Ｂの順番で画素ごとに色成分が読み出される。次の走査線（例えばＬ２）からは、Ｒ、Ｇ、Ｒ、Ｇの順番で画素ごとに色成分が読み出される。固体撮像素子１１からは、画素ごとに色成分が１色しかない信号（１つの色成分のみが存在し、他の色成分が欠落している信号）が読み出される。
【００２２】
色補間回路１５は、各画素について全ての色成分を揃えるため周辺の（各画素とその周辺の画素を含む近傍の領域内に位置する）同色の画素を使った補間処理で、欠落する色成分を補間生成する。例えば、第２ライン（行）Ｌ２の２番目の画素、即ち第２列Ｐ２の画素についてＲ成分は、左右に隣接する画素、即ち同じライン（第２ライン）Ｌ２の第１列Ｐ１及び第３列Ｐ３の画素のＲ成分画素に基づいて補間生成する。同じくＢ成分は、上下に隣接する画素、即ち同じ列（第２列）Ｐ２の第１ラインＬ１及び第３ラインＬ３の画素のＢ成分画素に基づいて補間生成する。次に第２ラインＬ２、第３列Ｐ３の画素についてＧ成分は、上下左右に隣接する画素、即ち第１ラインＬ１、第３列Ｐ３の画素、第３ラインＬ３、第３列Ｐ３の画素、第２ラインＬ２、第２列Ｐ２の画素、及び第２ラインＬ２、第４列Ｐ４の画素のＧ成分画素に基づいて補間生成する。同じくＢ成分は、斜め方向に隣接する画素、即ち第１ラインＬ１、第２列Ｐ２の画素、第３ラインＬ３、第２列Ｐ２の画素、第１ラインＬ１、第４列Ｐ４の画素、及び第３ラインＬ３、第４列Ｐ４の画素のＢ成分画素に基づいて補間生成する。他の画素についても隣接する周辺画素から欠落する色成分を補間生成する。画素ごとに欠落する色成分を補間することで、Ｒ成分について全画素値が揃った原色信号Ｒ、Ｇ成分について全画素値が揃った原色信号Ｇ、Ｂ成分について全画素値が揃った原色信号Ｂを生成することができる。
【００２３】
信号レベル検出回路１７は、原色信号ＲＷ、Ｇ及びＢＷの各々の画素積分値を算出して、制御回路２０へ供給する。
例えば、信号レベル検出回路１７は、原色信号ＲＷの、１フィールド期間の全画素値を加算して、Ｒ総和信号ＲＩを制御回路２０へ供給し、原色信号Ｇの、１フィールド期間の全画素値を加算して、Ｇ総和信号ＧＩを制御回路２０へ供給し、原色信号ＢＷの、１フィールド期間の全画素値を加算して、Ｂ総和信号ＢＩを制御回路２０へ供給する。
【００２４】
上記の例では信号レベル検出回路１７の動作として、１フィールド期間の全画素値を加算するとして説明したが、１フレーム期間の全画素値を加算するように構成しても良いし、画角中央に位置する被写体を重視するカメラでは、画面内の中央部分に限り、その画素値の総和を求めるように構成しても良く、さらに画面内の中央部部分に限らず、特定の部分に限り、その画素値の総和を求めるように構成して良くその場合にも同様に動作し、同様な効果が得られる。
【００２５】
また、信号レベル検出回路１７として、信号の積分値を求めるものの代わりに、信号の平均値を求める回路を用いても良い。なお、積分値を求める処理は、積分の対象となっている画素の数が既知であれば平均値を求めることと等価である。
【００２６】
制御回路２０における白バランス制御の動作について説明する。制御回路２０は、多くのシーンで撮像する画面に含まれる色成分の総和（多くのフィード乃至フレームについての総和）は、無彩色に近いという前提に基づいて白バランス制御する。制御回路２０は、信号レベル検出回路１７から入力されるＲ総和信号ＲＩ、Ｂ総和信号ＢＩが、Ｇ総和信号ＧＩの値に近づくようにＲ信号増幅回路１６ＲとＢ信号増幅回路１６Ｂの利得を制御する。例えば、ＲＩ＝ＧＩになるまで、Ｒ信号増幅回路１６Ｒの利得を１ステップずつ変化させ、ＢＩ＝ＧＩになるまで、Ｂ信号増幅回路１６Ｂの利得を１ステップずつ変化させる。色変化がハンチングしないように総和ＧＩに十分に近づいた（差が所定値以下になった）ときに利得の変更を止め、また総和ＧＩから所定値以上離れたときに利得の変更を始める。
【００２７】
固体撮像素子１１のフォトダイオードなど光電変換回路を形成するシリコン材料は一般にＢｌｕｅ（青）側の短波長成分において感度が低く、Ｒｅｄ（赤）側の長波長成分において感度が高い。このため、分光発光特性がフラットな照明環境においても、Ｂｌｕｅの露光電荷量は、Ｇｒｅｅｎ（緑）、Ｒｅｄの露光電荷量に較べて少ない。そこで白バランス制御は、Ｂ信号増幅回路１６Ｂの利得を大きく設定して、原色信号Ｂを増幅して信号レベルを原色信号Ｇに近づけるように動作する。
【００２８】
また、色温度が低い照明環境においては、Ｒｅｄ側の長波長成分の放射パワーが大きく、Ｂｌｕｅ側の短波長成分の放射パワーが小さい。分光発光特性がフラットな照明環境においても、Ｂｌｕｅの露光電荷量は、Ｇｒｅｅｎ、Ｒｅｄの露光電荷量に較べて少ないのに、Ｂｌｕｅ側の短波長成分の放射パワーが小さい照明環境では、Ｂｌｕｅの露光電荷量はさらに低下し、Ｇｒｅｅｎ、Ｒｅｄの露光電荷量に較べて大幅に少なくなる。そこで白バランス制御は、Ｂ信号増幅回路１６Ｂの利得を大幅に大きく設定して、原色信号Ｂを増幅して信号レベルを原色信号Ｇに近づけるように動作する。色温度が低い照明環境としては、例えば白熱電灯を照明に用いた場合があり、色温度は３０００Ｋ前後である。
【００２９】
また、色温度の高い照明環境においては、Ｂｌｕｅ側の短波長成分の放射パワーが大きく、Ｒｅｄ側の長波長成分の放射パワーが小さい。Ｒｅｄ側の長波長成分の放射パワーが小さい照明環境では、Ｒｅｄの露光電荷量は低下し、Ｇｒｅｅｎの露光電荷量に較べて大幅に少なくなる。そこで白バランス制御は、Ｒ信号増幅回路１６Ｒの利得を大きく設定して、原色信号Ｒを増幅して信号レベルを原色信号Ｇに近づけるように動作する。
【００３０】
上記のとおり、白バランス制御はＲ信号増幅回路１６Ｒにより原色信号Ｒを増幅し、Ｂ信号増幅回路１６Ｂにより原色信号Ｂを増幅する。Ｓ／Ｎの悪い極めて暗い低照度環境では、低Ｓ／Ｎの原色信号Ｒ及び原色信号Ｂが増幅され、さらにアンプノイズが加わりＳ／Ｎが悪化する。
【００３１】
上記の例では、白バランス制御のための信号レベル検出回路（１７）を、原色信号Ｒ、Ｇ及びＢに対して設けたが、色マトリクス回路１８から出力される色差信号Ｒ−Ｙ、色差信号Ｂ−Ｙを積分するように構成して、制御回路２０が色差信号Ｒ−Ｙの総和と色差信号Ｂ−Ｙの総和の差が零に向かうようにＲ信号増幅回路１６ＲとＢ信号増幅回路１６Ｂの利得を制御するように構成しても良い。同様に動作し、同様な効果が得られる。
【００３２】
色マトリクス回路１８は、以下の色マトリクス変換式に基づいて、原色信号ＲＷ、Ｇ及びＢＷから輝度信号Ｙ並びに色差信号Ｒ−Ｙ及びＢ−Ｙを生成する。
Ｙ    ＝  ＋０．３０ＲＷ＋０．５９Ｇ＋０．１１ＢＷ
Ｒ−Ｙ＝  ＋０．７０ＲＷ−０．５９Ｇ−０．１１ＢＷ
Ｂ−Ｙ＝  −０．３０ＲＷ−０．５９Ｇ＋０．８９ＢＷ
【００３３】
色変調回路１９は、色副搬送波を色差信号Ｒ−Ｙと色差信号Ｂ−Ｙで直角二相変調して色信号Ｃを出力する。色副搬送周波数の４倍のクロック周波数を色差信号Ｒ−Ｙと色差信号Ｂ−Ｙでデジタル直角二相変調して色信号Ｃを生成する。
【００３４】
動き量算出回路３０の入力端子３６Ｒ、３６Ｇ及び３６Ｂにそれぞれ色補間回路１５の出力信号Ｒ、Ｇ及びＢが供給される。
色加算回路３１は、下式のとおり原色信号Ｒ、Ｇ及びＢを画素ごとに加算して、色加算信号ＭＤｉを生成する。
ＭＤｉ＝Ｒ＋Ｇ＋Ｂ
【００３５】
１フレーム遅延回路３２は色加算信号ＭＤｉを１フレーム期間遅延させて遅延色加算信号ＭＤｄを出力する。
差分絶対値和生成回路３３は、色加算信号ＭＤｉと遅延色加算信号ＭＤｄの差分、即ち色加算信号のフレーム間差分に基づき、画素毎の被写体の動きを表す動き量信号ＭＤを生成する。
遅延回路３２と差分絶対値算出回路３３の組合せにより、色加算信号ＭＤｉのフレーム間差分に基づく動き量信号ＭＤが生成される。
動き量信号ＭＤは出力端子３７から出力される。
なお、遅延回路３２の遅延時間は、１フレーム期間に限らず、垂直走査周期の偶数倍であれば良い。
【００３６】
図４は動き量算出回路３０の別の構成例を、該動き量算出回路３０とともに用いられる１フレーム遅延回路２２Ｒ、２２Ｇ及び２２Ｂとともに示す。
図４の動き量算出回路３０においても、図３の動き量算出回路３０と同様に、色補間回路１５の出力信号Ｒ、Ｇ及びＢが入力端子３６Ｒ、３６Ｇ及び３６Ｂに供給される。
色加算回路３１は、下式のとおり原色信号Ｒ、Ｇ及びＢを画素ごとに加算し色加算信号ＭＤｉを生成する。
ＭＤｉ＝Ｒ＋Ｇ＋Ｂ
【００３７】
１フレーム遅延回路２２Ｒは、色補間回路１５から出力された原色信号Ｒを１フレーム期間遅延させてフレーム遅延原色信号Ｒｄを出力する。１フレーム遅延回路２２Ｇは、色補間回路１５から出力された原色信号Ｇを１フレーム期間遅延させてフレーム遅延原色信号Ｇｄを出力する。１フレーム遅延回路２２Ｂは、色補間回路１５から出力された原色信号Ｂを１フレーム期間遅延させてフレーム遅延原色信号Ｂｄを出力する。
【００３８】
１フレーム遅延回路２２Ｒ、２２Ｇ及び２２Ｂにより遅延されたフレーム遅延原色信号Ｒｄ、Ｇｄ及びＢｄは動き量算出回路３０の入力端子３８Ｒ、３８Ｇ及び３８Ｂに入力される。
色加算回路（ＳＵＭ）３９は、入力端子３８Ｒ、３８Ｇ及び３８Ｂに入力されたフレーム遅延信号Ｒｄ、Ｇｄ及びを受けて、下式のとおりフレーム遅延原色信号Ｒｄ、Ｇｄ及びＢｄを画素ごとに加算し遅延色加算信号ＭＤｄを生成する。
ＭＤｄ＝Ｒｄ＋Ｇｄ＋Ｂｄ
【００３９】
差分絶対値算出回路３３は、色加算信号ＭＤｉと遅延色加算信号ＭＤｄの差の絶対値を算出し、画素毎の動き量を示す信号（動き量信号）ＭＤとして出力する。
動き量信号ＭＤは出力端子３７から出力される。
なお、遅延回路２２Ｒ、２２Ｇ及び２２Ｂの遅延時間は、１フレーム期間に限らず、垂直走査周期の偶数倍であれば良い。
【００４０】
図１に戻り、判定回路４２は、動き量信号ＭＤと動き閾値生成回路４１により設定される動き閾値ＴＨに基づいて動き判定を行い、動き検出信号ＭＶを生成する。動き検出信号ＭＶは出力端子２１Ｍから出力される。動き量信号ＭＤが動き閾値ＴＨよりも大きいとき、「動き有り」と判定して動き検出信号ＭＶを有意にする。動き量信号ＭＤが動き閾値ＴＨよりも小さいとき、「動き無し」と判定して動き検出信号ＭＶを無意にする。画素毎の動き検出信号ＭＶに基づいて、画面全体の動き判定を行い、例えば非常ベルを鳴動させたり、非常照明を点灯させたりする。また、画素毎の動き検出信号ＭＶに基づいて、画面を例えば水平８分割、垂直８分割の６４の部分領域に分割して、部分領域単位での動き判定を行い、出力端子２１Ｙから出力される輝度信号Ｙ、及び出力端子２１Ｃから出力される色信号Ｃに６４個の動き検出点を重畳し、上記検出点の表示色で動きの有無を表示することとしても良い。
【００４１】
制御回路２０は、自動露光制御のために観測している信号積分レベルと、自動露光制御のために設定しているレンズの絞りや、固体撮像素子の露光時間や、ＰＧＡの利得から被写体の照度を推測する。推測した照度、及びレンズの絞りや、固体撮像素子の露光時間や、ＰＧＡの利得の各設定値からノイズレベルを推測し、ノイズレベル情報を動き閾値生成回路４１へ供給する。照度が低いと信号レベルを確保するためＰＧＡの利得を大きく設定するためノイズレベルは大きくなる。
【００４２】
動き閾値生成回路４１は、推測したノイズレベルに応じて動き量信号ＭＤに含まれるノイズレベルを算出する。原色信号Ｒ、Ｇ及びＢのノイズレベルに動き検出を行うための加算演算、フレーム間差分演算を考慮して、動き量信号ＭＤに含まれるノイズレベルを算出する。動き閾値生成回路４１は、動き成分の方がノイズ成分よりも大きいという前提で上記動き量信号ＭＤに含まれるノイズレベルを上回るような動き閾値ＴＨを判定回路４２へ供給する。
【００４３】
例えば、白バランス制御後の原色信号Ｒ、Ｇ及びＢから生成した輝度信号の差分に基づいて動き量を求めるように構成した場合は、制御回路２０は、観測している信号積分レベルと、自動露光制御のために設定しているレンズの絞りや、固体撮像素子の露光時間や、ＰＧＡの利得から照度を推測する。推測した照度、及びレンズの絞りや、固体撮像素子の露光時間や、ＰＧＡの利得の各設定値からノイズレベルを推測する。上記ノイズレベルに、自動白バランス制御のために設定したＲ信号増幅回路の利得とＢ信号増幅回路の利得によって生じるノイズが加わったノイズレベルを推測する。
【００４４】
動き閾値生成回路４１は、自動白バランス制御を考慮したノイズレベルに応じて動き量信号ＭＤに含まれるノイズレベルを算出する。動き閾値生成回路４１は、動き成分の方がノイズ成分よりも大きいという前提で上記動き量信号ＭＤに含まれるノイズレベルを上回るような動き閾値ＴＨを判定回路４２へ供給する。上記動き量信号ＭＤに含まれるノイズレベル以下の微小な動きは検出できない。
【００４５】
以上のように、本発明では、白バランス制御による増幅処理が加えられていない原色信号Ｒ、Ｇ及びＢを加算した信号に基づいて動き量を求めるように構成したので、動き量信号ＭＤに含まれるノイズ成分が少なくなり、判定回路４２の動き閾値ＴＨを小さく設定でき、微小な動きまで検出できる効果がある。
【００４６】
色加算回路３１は、上式のとおり、白バランス制御による増幅処理が加えられていない原色信号Ｒ、Ｇ及びＢを加算し、白バランス制御によって大幅にＳ／Ｎが悪化する信号を使わないので、色加算信号ＭＤｉをＳ／Ｎ悪化させることなく生成することができる。動き検出に使う信号のノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。動き閾値ＴＨを小さく設定でき、微小な動きまで検出できる効果がある。
また、輝度信号だけでなく、すべての色成分を含む信号を使って動き検出するので、色の動き変化も検出できる。輝度レベルは同じで色が異なる被写体が動いても動きを検出できる効果がある。
【００４７】
動き量算出回路３０は、色加算信号ＭＤｉのフレーム間差分に基づく動き量信号ＭＤを生成する。色加算信号ＭＤｉのＳ／Ｎが高いと、フレーム間差分によって動き成分が求まるが、色加算信号ＭＤｉのＳ／Ｎが低いと、フレーム間差分には動き成分だけでなく、色加算信号ＭＤｉに含まれるノイズの差分も多く含まれることになる。そのため色加算信号ＭＤｉのＳ／Ｎが低いと、ノイズが原因で誤った動き検出結果を出力する危険性が高くなる。
【００４８】
撮像装置を含む監視システムでは、動きが検出されると侵入者ありと判断して警報が発せられ、非常ベルが鳴ったり、非常照明が点灯したり、警備員が駆けつけたりするようなシステムが構築されている。白バランス制御による増幅処理が加えられていない原色信号Ｒ、Ｇ及びＢを加算した信号に基づいて動き検出するように構成したので、誤った動き検出結果を出力する危険性が低くなり、誤報による非常ベルや非常照明で騒がせることを防ぎ、無駄な警備員の出動を減らす効果がある。
【００４９】
図４の構成では、複数の色成分を加算した色加算信号のフレーム間差分を求めるのに、複数の色成分を加算した色加算信号を１フレーム遅延させるのではなく、複数の色成分のまま１フレーム遅延させて、１フレーム遅延の前後で複数の色成分を加算するように構成したので、１フレーム遅延させるためのメモリ回路を他のメモリ応用回路と共用でき、一方のメモリ回路を削減でき、部品コストや回路実装面積や消費電力を削減できる効果がある。
【００５０】
実施の形態２．
図５は本発明の実施の形態２による撮像装置を示すブロック構成図である。実施の形態２の撮像装置は、図１を参照して説明した実施の形態１の撮像装置と概して同じであるが、周辺画素加算回路４７が付加されている点で異なる。なお、図５では、図１に示される構成のうち、Ａ／Ｄ変換回路１４よりも左側の部分は、図示を省略している。
【００５１】
周辺画素加算回路４７は、固体撮像素子１１の色フィルタ配列に基づいて周辺画素加算を行い、原色信号Ｒｍ、Ｇｍ及びＢｍを出力する。
動き量算出回路３０の色加算回路３１は、原色信号Ｒｍ、Ｇｍ及びＢｍを加算し色加算信号ＭＤｉを生成する。
【００５２】
実施の形態１に関して述べたように、固体撮像素子１１の色フィルタアレイは、例えば図２に示されるように構成されている。図２を参照して周辺画素加算回路４７の動作を説明する。まず水平３画素、垂直３画素の範囲の周辺画素を使う場合について説明する。着目画素がＧ４４のとき、下式で得られ得るＲｍ（４４）、Ｇｍ（４４）及びＢｍ（４４）を、原色信号Ｒｍ、Ｇｍ及びＢｍとして出力する。
Ｇｍ（４４）＝（Ｇ３３＋Ｇ３５＋Ｇ４４＋Ｇ５３＋Ｇ５５）／５
Ｂｍ（４４）＝（Ｂ４３＋Ｂ４５）／２
Ｒｍ（４４）＝（Ｒ３４＋Ｒ５４）／２
【００５３】
着目画素がＲ５４のとき、下式で得られるＲｍ（５４）、Ｇｍ（５４）及びＢｍ（５４）を、原色信号Ｒｍ、Ｇｍ及びＢｍとして出力する。
Ｇｍ（５４）＝（Ｇ４４＋Ｇ５３＋Ｇ５５＋Ｇ６４）／４
Ｂｍ（５４）＝（Ｂ４３＋Ｂ４５＋Ｂ６３＋Ｂ６５）／４
Ｒｍ（５４）＝  Ｒ５４
【００５４】
着目画素がＢ４５のとき、下式で得られるＲｍ（４５）、Ｇｍ（４５）及びＢｍ（４５）を、原色信号Ｒｍ、Ｇｍ及びＢｍとして出力する。
Ｇｍ（４５）＝（Ｇ３５＋Ｇ４４＋Ｇ４６＋Ｇ５５）／４
Ｂｍ（４５）＝  Ｂ４５
Ｒｍ（４５）＝（Ｒ３４＋Ｒ３６＋Ｒ５４＋Ｒ５６）／４
【００５５】
水平５画素、垂直５画素の範囲の周辺画素を使う場合について説明する。着目画素がＧ４４のとき、下式で得られるＲｍ（４４）、Ｇｍ（４４）及びＢｍ（４４）を、原色信号Ｒｍ、Ｇｍ及びＢｍとして出力する。
Ｇｍ（４４）＝（Ｇ２２＋Ｇ２４＋Ｇ２６＋Ｇ３３＋Ｇ３５＋Ｇ４２＋Ｇ４４＋Ｇ４６＋Ｇ５３＋Ｇ５５＋Ｇ６２＋Ｇ６４＋Ｇ６６）／１３
Ｂｍ（４４）＝（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５＋Ｂ６３＋Ｂ６５）／６
Ｒｍ（４４）＝（Ｒ３２＋Ｒ３４＋Ｒ３６＋Ｒ５２＋Ｒ５４＋Ｒ５６）／６
【００５６】
着目画素がＲ５４のとき、下式で得られるＲｍ（５４）、Ｇｍ（５４）及びＢｍ（５４）を、原色信号Ｒｍ、Ｇｍ及びＢｍとして出力する。
Ｇｍ（５４）＝（Ｇ３３＋Ｇ３５＋Ｇ４２＋Ｇ４４＋Ｇ４６＋Ｇ５３＋Ｇ５５＋Ｇ６２＋Ｇ６４＋Ｇ６６＋Ｇ７３＋Ｇ７５）／１２
Ｂｍ（５４）＝（Ｂ４３＋Ｂ４５＋Ｂ６３＋Ｂ６５）／４
Ｒｍ（５４）＝（Ｒ３２＋Ｒ３４＋Ｒ３６＋Ｒ５２＋Ｒ５４＋Ｒ５６＋Ｒ７２＋Ｒ７４＋Ｒ７６）／９
【００５７】
着目画素がＢ４５のとき、下式で得られるＲｍ（４５）、Ｇｍ（４５）及びＢｍ（４５）を、原色信号Ｒｍ、Ｇｍ及びＢｍとして出力する。
Ｇｍ（４５）＝（Ｇ２４＋Ｇ２６＋Ｇ３３＋Ｇ３５＋Ｇ３７＋Ｇ４４＋Ｇ４６＋Ｇ５３＋Ｇ５５＋Ｇ５７＋Ｇ６４＋Ｇ６６）／１２
Ｂｍ（４５）＝（Ｂ２３＋Ｂ２５＋Ｂ２７＋Ｂ４３＋Ｂ４５＋Ｂ４７＋Ｂ６３＋Ｂ６５＋Ｂ６７）／９
Ｒｍ（４５）＝（Ｒ３４＋Ｒ３６＋Ｒ５４＋Ｒ５６）／４
【００５８】
以上のように、本実施の形態では、１画素だけでなく、注目画素を中心とする近傍領域内の画素、例えば注目画素を中心に同じ距離にある周辺画素平均値を使って動き検出するので、ノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。近傍領域内の画素として、水平３画素、垂直３画素の範囲の周辺画素を使う場合よりも、水平５画素、垂直５画素の範囲の周辺画素、水平７画素、垂直７画素の範囲の周辺画素を使う場合の方が、色加算信号のＳ／Ｎは改善する。ベイヤ配列信号の注目画素を中心とした周辺画素から原色信号Ｒｍ、Ｇｍ及びＢｍを生成し、原色信号Ｒｍ、Ｇｍ及びＢｍを加算した信号に基づいて動き量を求めるので動き検出に使う信号のノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。動き閾値ＴＨを小さく設定でき、微小な動きまで検出できる効果がある。
【００５９】
また、固体撮像素子から読み出されたベイヤ配列信号の注目画素を中心とした周辺画素を加算した信号に基づいて動き検出を行うので、画素単位での動きがより正確に検出できる。映像信号処理されて生成された輝度信号は、補間処理やフィルタ処理の影響で、撮像時点の画素位置からずれが生じる可能性があることから厳密に画素単位での動きを検出することが難しい。
【００６０】
実施の形態３．
図６は本発明の実施の形態３による撮像装置を示すブロック構成図である。実施の形態３の撮像装置は、図１を参照して説明した実施の形態１の撮像装置と概して同じであるが、以下のような違いがある。即ち、図６に示す撮像装置は、固体撮像素子を３枚使用する三板カメラであり、図１の撮像素子１１の代りに、Ｒ成分の入射光を光電変換するための固体撮像素子１１Ｒと、Ｇ成分の入射光を光電変換するための固体撮像素子１１Ｇと、Ｂ成分の入射光を光電変換するための固体撮像素子１１Ｂとを備えている。さらに、ＣＤＳ回路１２、ＰＧＡ１３及びＡＤＣ１４の代りに、それぞれ固体撮像素子１１Ｒ、１１Ｇ、１１Ｂに対応して設けられたＣＤＳ回路１２Ｒ、１２Ｇ、１２Ｂ、ＰＧＡ１３Ｒ、１３Ｇ、１３Ｂ、ＡＤＣ１４Ｒ、１４Ｇ、１４Ｂを備えている。
【００６１】
レンズ４８は、被写体像を固体撮像素子１１Ｒ、１１Ｇ及び１１Ｂの撮像面上に結像させる。
プリズム４９は、レンズ４８からの入射光をダイクロイック膜の反射によってＲＧＢの３原色に分光する。
【００６２】
固体撮像素子１１Ｒはプリズム４９で分光されたＲ成分の入射光を光電変換し電荷転送して出力する。ＣＤＳ回路１２Ｒは、固体撮像素子１１Ｒから出力される撮像信号のノイズ等を除去する。ＰＧＡ１３Ｒは、ＣＤＳ回路１２Ｒの出力信号を制御回路２０から出力された制御信号によって制御された利得で増幅して出力する。ＡＤＣ１４Ｒは、ＰＧＡ１３Ｒの出力信号を、デジタル信号に変換して原色信号Ｒを出力する。
【００６３】
固体撮像素子１１Ｇはプリズム４９で分光されたＧ成分の入射光を光電変換し電荷転送して出力する。ＣＤＳ回路１２Ｇは、固体撮像素子１１Ｇから出力される撮像信号のノイズ等を除去する。ＰＧＡ１３Ｇは、ＣＤＳ回路１２Ｇの出力信号を制御回路２０から出力された制御信号によって制御された利得で増幅して出力する。ＡＤＣ１４Ｇは、ＰＧＡ１３Ｇの出力信号を、デジタル信号に変換して原色信号Ｇを出力する。
【００６４】
固体撮像素子１１Ｂはプリズム４９で分光されたＢ成分の入射光を光電変換し電荷転送して出力する。ＣＤＳ回路１２Ｂは、固体撮像素子１１Ｂから出力される撮像信号のノイズ等を除去する。ＰＧＡ１３Ｂは、ＣＤＳ回路１２Ｂの出力信号を制御回路２０から出力された制御信号によって制御された利得で増幅して出力する。ＡＤＣ１４Ｂは、ＰＧＡ１３Ｂの出力信号を、デジタル信号に変換して原色信号Ｂを出力する。
【００６５】
図６に示される撮像装置では、図１の色補間回路１５は設けられておらず、ＡＤＣ１４Ｒ、１４Ｇ及び１４Ｂから出力される原色信号Ｒ、Ｇ及びＢが、図１の色補間回路１５から出力される原色信号Ｒ、Ｇ及びＢの代わりに、白バランス増幅回路１６及び動き量算出回路３０に供給される。
動き量算出回路３０は、ＡＤＣ１４Ｒ、１４Ｇ及び１４Ｂから出力される原色信号Ｒ、Ｇ及びＢに基づいて動き量信号ＭＤを生成する。
【００６６】
図６には、図１において、白バランス増幅回路１６及び動き量算出回路３０よりも右側の部分は図示を省略しているが、図１と同様に構成されている。
【００６７】
実施の形態４．
図７は本発明の実施の形態４による撮像装置を示すブロック構成図である。実施の形態４の撮像装置は、図１を参照して説明した実施の形態１の撮像装置と概して同じであるが、ノイズ低減回路５０が付加されている点で異なる。なお、図７では、図１に示される構成のうち、色補間回路１５よりも左側の部分は図示を省略している。
【００６８】
図７では、色マトリクス回路１８から出力される輝度信号が符号「Ｙｉ」で示され、色差信号が「Ｒ−Ｙｉ」、「Ｂ−Ｙｉ」で示されている。
ノイズ低減回路５０は、輝度信号Ｙｉ並びに色差信号Ｒ−Ｙｉ及びＢ−Ｙｉを受けて、フレーム相関を利用した時間軸方向の平均演算に基づくノイズ低減処理を行い、輝度信号Ｙ並びに色差信号Ｒ−Ｙ及びＢ−Ｙを出力する。輝度信号Ｙは出力端子２１Ｙから出力され、色差信号Ｒ−Ｙ及びＢ−Ｙは色変調回路１９へ供給される。
【００６９】
図８は、ノイズ低減回路５０のうちの輝度信号Ｙｉに対する処理を行なう部分５０Ｙの構成例を示すブロック構成図である。なお、ノイズ低減回路５０は、色差信号Ｒ−Ｙｉに対する処理を行なう部分、及び色差信号Ｂ−Ｙｉに対する処理を行なう部分をも有するが、これらは各々輝度信号Ｙｉに対する処理を行なう部分５０Ｙと同様に構成され、同様に動作するので、図示及び詳細な説明を省略する。
【００７０】
ノイズ低減回路５０の上記回路部分５０Ｙは巡回型フィルタで構成されている。図８において、入力端子５１には色マトリクス回路１８から出力された輝度信号Ｙｉが入力される。
合成回路（ＭＩＸ）５２は輝度信号Ｙｉと後述のフレーム遅延輝度信号Ｙｄを、合成比生成回路５４により設定される所定の合成比で合成して、合成輝度信号Ｙを生成するものであり、映像信号合成回路とも呼ばれ、合成比は映像信号合成比生成回路とも呼ばれる。合成回路５２で生成された合成輝度信号Ｙは出力端子５５から出力される。さらに、ノイズ低減回路５０は、映像信号ノイズ低減回路とも呼ばれる。
【００７１】
１フレーム遅延回路５３は、合成回路５２から出力された合成輝度信号Ｙを１フレーム期間遅延させてフレーム遅延輝度信号Ｙｄを出力する。
【００７２】
入力端子５６には動き量算出回路３０から出力された動き量信号ＭＤが入力される。入力端子５７には制御回路２０から出力されたノイズ低減特性設定値ＫＣＯＮが入力される。
【００７３】
合成比生成回路５４は、制御回路２０により設定されるノイズ低減特性設定値ＫＣＯＮに基づいて、動き量算出回路３０から出力された動き量信号ＭＤに対応するノイズ低減係数Ｋ（０≦Ｋ≦１）を求めて合成回路５２へ供給する。
合成回路５２は、合成比生成回路５４により設定されたノイズ低減係数Ｋに基づいて輝度信号Ｙｉとフレーム遅延輝度信号Ｙｄを合成する。
なお、遅延回路５３の遅延時間は、１フレーム期間に限らず、垂直走査周期の偶数倍であれば良い。
【００７４】
図９は、合成回路５２の構成例を示すブロック構成図である。図９において、入力端子６１は入力端子５１に供給される輝度信号Ｙｉが入力される。入力端子６２には１フレーム遅延回路５３から出力されるフレーム遅延輝度信号Ｙｄが入力される。入力端子６７には合成比生成回路５４から出力されるノイズ低減係数Ｋが入力される。乗算回路６３は輝度信号Ｙｉと１−Ｋを乗算し、（１−Ｋ）・Ｙｉを出力する。乗算回路６４はフレーム遅延輝度信号ＹｄとＫを乗算し、Ｋ・Ｙｄを出力する。加算回路６５は、下式に基づいて（１−Ｋ）・ＹｉとＫ・Ｙｄを加算し輝度信号Ｙを出力する。
Ｙ＝（１−Ｋ）・Ｙｉ＋Ｋ・Ｙｄ
加算回路６５から出力される輝度信号Ｙは出力端子６６を介して出力される。
【００７５】
ノイズ低減係数Ｋは、巡回係数とも呼ばれるものであり、ノイズ低減係数Ｋを大きくすると、フレーム遅延輝度信号Ｙｄの占める割合が大きくなり、ノイズ低減効果は大きくなるが、動きがある部分で画像がぼやける弊害も大きくなる。ノイズ低減係数Ｋを小さくすると、輝度信号Ｙｉの占める割合が大きくなり、ノイズ低減効果が小さくなるが、動きがある部分で画像がぼやける弊害は小さくなる。
【００７６】
図８の合成比生成回路５４は、動き量信号ＭＤに対応したノイズ低減係数Ｋを画素ごとに生成する。動き量信号ＭＤから、ノイズ低減特性設定値ＫＣＯＮに基づいてノイズ低減係数Ｋを生成する。制御回路２０により設定されるノイズ低減特性設定値ＫＣＯＮには、ノイズ低減係数Ｋの最大値、最小値や、動画判定の閾値、静止画判定の閾値が含まれている。合成比生成回路５４は、制御回路２０により設定されるノイズ低減特性設定値ＫＣＯＮをパラメータとして、動き量信号ＭＤに対応したノイズ低減係数Ｋを生成する。例えば、動き量信号ＭＤが上記動画判定の閾値よりも大きいとき（動きの量が大きく動画と判定されたとき）ノイズ低減係数Ｋを上記最小値に設定して、動きによるぼやけを軽減する。動き量信号ＭＤが上記静止画判定の閾値よりも小さいとき（動きの量が少なく静止画と判定されたとき）ノイズ低減係数Ｋを上記最大値に設定して、ノイズを低減する。
【００７７】
本実施の形態では、白バランス制御による増幅処理が加えられていない原色信号Ｒ、Ｇ及びＢを加算した信号に基づいて動き量信号ＭＤを求めるように構成したので、動き量信号ＭＤに含まれるノイズ成分が少なくなり、動き量信号ＭＤに含まれるノイズ成分の影響によるノイズ低減係数Ｋの誤った設定がなくなり、動きによるぼやけが少なく、ノイズ低減された画像が得られる効果がある。また、合成比生成回路５４は、ノイズの少ない動き量に基づいてノイズ低減係数Ｋを最適に設定でき、ぼやけが少なく、ノイズ低減された画像が得られる効果がある。
【００７８】
実施の形態５．
図１０は本発明の実施の形態５による撮像装置を示すブロック構成図である。実施の形態５の撮像装置は、図７を参照して説明した実施の形態４の撮像装置と概して同じであるが、周辺画素加算回路４７が付加されている点で異なる。なお、図１０でも、Ａ／Ｄ変換回路１４よりも左側の部分は図示を省略しているが、例えば、図１に示されるのと同様の構成とすることができる。
【００７９】
周辺画素加算回路４７は、固体撮像素子１１の色フィルタ配列に基づいて周辺画素加算を行い、原色信号Ｒｍ、Ｇｍ及びＢｍを出力する。
動き量算出回路３０の色加算回路３１は、原色信号Ｒｍ、Ｇｍ及びＢｍを加算し色加算信号ＭＤｉを生成する。
周辺画素加算回路４７は実施の形態２に関して図５を参照して説明したのと同様に動作し、同様な効果を奏するので説明を省略する。
【００８０】
本実施の形態でも、１画素だけでなく、注目画素を中心とする近傍領域内の画素、例えば、注目画素を中心に同じ距離にある周辺画素平均値を使って動き検出するので、ノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。近傍領域内の画素として、水平３画素、垂直３画素の範囲の周辺画素を使う場合よりも、水平５画素、垂直５画素の範囲の周辺画素、水平７画素、垂直７画素の範囲の周辺画素を使う場合の方が、色加算信号のＳ／Ｎは改善する。ベイヤ配列信号の注目画素を中心とした周辺画素から原色信号Ｒｍ、Ｇｍ及びＢｍを生成し、原色信号Ｒｍ、Ｇｍ及びＢｍを加算した信号に基づいて動き量を求めるので動き検出に使う信号のノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。動き閾値ＴＨを小さく設定でき、微小な動きまで検出できる効果がある。
【００８１】
本実施の形態では、１画素だけでなく、注目画素を中心とする近傍領域内の画素、例えば、注目画素を中心に同じ距離にある周辺画素平均値を使って動き量を求めるように構成したので、動き量信号ＭＤに含まれるノイズ成分が少なくなり、動き量信号ＭＤに含まれるノイズ成分の影響によるノイズ低減係数Ｋの誤った設定がなくなり、動きによるぼやけが少なく、ノイズ低減された画像が得られる効果がある。
【００８２】
実施の形態６．
図１１は本発明の実施の形態６による撮像装置を示すブロック構成図である。実施の形態６の撮像装置は、図１を参照して説明した実施の形態１の撮像装置と概して同じであるが、画素加算回路７０が付加されている点で異なる。なお、図１１では、図１に示された構成のうち、色補間回路１５よりも左側の部分の図示が省略されている。
【００８３】
図１１では、図７と同様に、色マトリクス回路１８から出力される輝度信号が符号「Ｙｉ」で示され、色差信号が「Ｒ−Ｙｉ」、「Ｂ−Ｙｉ」で示されている。
画素加算回路７０は、輝度信号Ｙｉ並びに色差信号Ｒ−Ｙｉ及びＢ−Ｙｉを受けて、フレーム相関を利用した時間軸方向の画素加算による高感度化処理を行い、輝度信号Ｙ並びに色差信号Ｒ−Ｙ及び色差信号Ｂ−Ｙを出力する。輝度信号Ｙは出力端子２１Ｙから出力され、色差信号Ｒ−Ｙ及び色差信号Ｂ−Ｙは色変調回路１９へ供給される。
【００８４】
図１２は、画素加算回路７０のうちの輝度信号Ｙｉに対する処理を行なう部分７０Ｙの構成例を示すブロック構成図である。なお、画素加算回路７０は、色差信号Ｒ−Ｙｉに対する処理を行なう部分、及び色差信号Ｂ−Ｙｉに対する処理を行なう部分をも有するが、これらは各々輝度信号Ｙｉに対する処理を行なう部分７０Ｙと同様に構成され、同様に動作するので、図示及び詳細な説明を省略する。
【００８５】
図１２において、入力端子７１には色マトリクス回路１８から出力された輝度信号Ｙｉが入力される。
１フィールド遅延回路７２は、入力端子７１から入力された輝度信号Ｙｉを１フィールド期間遅延させてフィールド遅延輝度信号Ｙｊを出力する。
１フィールド遅延回路７３は、フィールド遅延輝度信号Ｙｊを１フィールド期間遅延させてフレーム遅延輝度信号Ｙｋを出力する。
面内画素加算回路７４はフィールド遅延輝度信号Ｙｊの同一フィールド内で面内画素加算を行って面内画素加算信号Ｙｖを出力する。
面間画素加算回路７５は、輝度信号Ｙｉとフィールド遅延輝度信号Ｙｊとフレーム遅延輝度信号Ｙｋのフィールド間で面間画素加算を行って面間画素加算信号Ｙｆを出力する。
入力端子７９には動き量算出回路３０から出力された動き量信号ＭＤが入力される。
合成比生成回路（ＫＧ）７７は、入力端子７９を介して供給された動き量信号ＭＤに基づいて合成比を決定する。
合成回路（ＭＩＸ回路）７６は、面内画素加算信号Ｙｖと面間画素加算信号Ｙｆを、合成比生成回路７７で決定された所定の合成比で合成し、合成輝度信号Ｙを生成するものであり、映像信号合成回路とも呼ばれ、合成比生成回路７７は、映像信号合成比生成回路とも呼ばれる。さらに画素加算回路７０は、映像信号画素加算回路とも呼ばれる。
合成回路７６で生成された合成輝度信号Ｙは出力端子７８から出力される。
なお、遅延回路７２及び７３の遅延時間は、１フィールド期間に限らず、垂直走査周期の整数倍（１倍を含む）であれば良い。
【００８６】
例えば、動き量信号ＭＤが大きいとき面内画素加算信号Ｙｖが大きな割合を占め、動き量信号ＭＤが小さいとき面間画素加算信号Ｙｆが大きな割合を占めるように制御することで、動きによるぼやけを軽減しながら高感度化する。非常に低照度な環境でも、動きによるぼやけを軽減しながら十分な信号振幅が確保でき、被写体の視認性が良くなる。
【００８７】
図１３を参照して面内画素加算回路７４で加算される信号の空間的位置関係を説明する。図１３は、縦に垂直軸、横に水平軸をとった飛び越し走査方式の映像信号の画素配置図である。ライン１からライン２６３の真ん中までがＡフィールドの走査線、ライン２６３の真ん中からライン５２５までがＢフィールドの走査線に対応する。また実線でＡフィールドの走査線を、破線でＢフィールドの走査線を表記している。面内画素加算回路７４は、注目画素Ｐ２２に対して、同じフィールド内の、注目画素Ｐ２２を中心とする近傍の領域内の画素、例えば、同じフィールドの上下左右に位置する画素Ｔ２２、Ｂ２２、Ｌ２２、Ｒ２２の画素値を加えて面内画素加算信号Ｙｖを生成する。面内画素加算信号Ｙｖは次式で算出する。
Ｙｖ＝Ｐ２２＋Ｔ２２＋Ｂ２２＋Ｌ２２＋Ｒ２２
【００８８】
図１４を参照して面間画素加算回路７５で加算される信号の空間的位置関係を説明する。図１４は、縦に垂直軸、横に時間軸をとった飛び越し走査方式の映像信号の画素配置図である。１フレーム目のＡフィールドを１Ａ、１フレーム目のＢフィールドを１Ｂ、２フレーム目のＡフィールドを２Ａ、２フレーム目のＢフィールドを２Ｂ、３フレーム目のＡフィールドを３Ａと表記している。また実線でＡフィールドの画面を、破線でＢフィールドの画面を表記している。図において、フィールド周期は１／６０秒、フレーム周期は１／３０秒である。面間画素加算回路７５は、注目画素Ｐ２２に対して、隣接フィールド内において、注目画素を中心とする近傍の領域内に位置する画素、例えば、上下方向に隣接する画素、即ち最も近くに位置する画素Ｐ１１、Ｐ１３、Ｐ３１、Ｐ３３の画素値を加えて面間画素加算信号Ｙｆを生成する。面間画素加算信号Ｙｆは次式で算出する。
Ｙｆ＝Ｐ２２＋Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３
【００８９】
さらに図１３を参照して面間画素加算回路７５で加算される信号の空間的位置関係を説明する。面間画素加算回路７５は、注目画素Ｐ２２に対して、隣接フィールドの上下方向に隣接する画素、即ち最も近くに位置する画素Ｐ１１、Ｐ１３、Ｐ３１、Ｐ３３の画素値を加えて面間画素加算信号Ｙｆを生成する。図１３の縦に垂直軸、横に水平軸をとった空間では、画素Ｐ１１と画素Ｐ３１、画素Ｐ１３と画素Ｐ３３は重なって見える。
【００９０】
本実施の形態でも、白バランス制御による増幅処理が加えられていない原色信号Ｒ、Ｇ及びＢを加算した信号に基づいて動き量を求めるように構成したので、
動き量信号ＭＤに含まれるノイズ成分が少なくなり、動き量信号ＭＤに含まれるノイズ成分の影響による面内画素加算信号Ｙｖと面間画素加算信号Ｙｆの合成処理に誤動作がなくなり、動きによるぼやけを軽減しながら十分な信号振幅が確保でき、被写体の視認性が良くなる効果がある。
また、合成比生成回路７７は、ノイズの少ない動き量信号ＭＤに基づいて、合成回路７６における、合成比を最適に設定するので、動きによるぼやけを軽減しながら十分な信号振幅が確保でき、被写体の視認性が良くなる効果がある。
【００９１】
上記の例では、面内画素加算７４の動作を１フィールド内の画素の加算、面間画素加算回路７５の動作をフィールド間の画素の加算としたが、それぞれを１フレーム内の画素の加算、フレーム間の画素の加算を行うように構成しても良い。その場合にも、同様に動作し、同様な効果が得られる。
【００９２】
実施の形態７．
図１５は本発明の実施の形態７による撮像装置を示すブロック構成図である。実施の形態７の撮像装置は、図１１を参照して説明した実施の形態６の撮像装置と概して同じであるが、周辺画素加算回路４７が付加されている点で異なる。なお、図１５でも、Ａ／Ｄ変換回路１４よりも左側の部分は図示を省略しているが、例えば、図１に示されるのと同様の構成とすることができる。
【００９３】
周辺画素加算回路４７は、固体撮像素子１１の色フィルタ配列に基づいて周辺画素加算を行い、原色信号Ｒｍ、Ｇｍ及びＢｍを出力する。
動き量算出回路３０の色加算回路３１は、原色信号Ｒｍ、Ｇｍ及びＢｍを加算し色加算信号ＭＤｉを生成する。
周辺画素加算回路４７は実施の形態２に関して図５を参照して説明したのと同様に動作し、同様な効果を奏するので説明を省略する。
【００９４】
本実施の形態では、１画素だけでなく、注目画素を中心とする近傍領域内の画素、例えば、注目画素を中心に同じ距離にある周辺画素平均値を使って動き検出するので、ノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。近傍領域内の画素として、水平３画素、垂直３画素の範囲の周辺画素を使う場合よりも、水平５画素、垂直５画素の範囲の周辺画素、水平７画素、垂直７画素の範囲の周辺画素を使う場合の方が、色加算信号のＳ／Ｎは改善する。ベイヤ配列信号の注目画素を中心とした周辺画素から原色信号Ｒｍ、Ｇｍ及びＢｍを生成し、原色信号Ｒｍ、Ｇｍ及びＢｍを加算した信号に基づいて動き量を求めるので動き検出に使う信号のノイズ成分が少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。動き閾値ＴＨを小さく設定でき、微小な動きまで検出できる効果がある。
【００９５】
また、１画素だけでなく、注目画素を中心とする近傍領域内の画素、例えば、注目画素を中心に同じ距離にある周辺画素平均値を使って動き量を求めるように構成したので、
動き量信号ＭＤに含まれるノイズ成分が少なくなり、動き量信号ＭＤに含まれるノイズ成分の影響による面内画素加算信号Ｙｖと面間画素加算信号Ｙｆの合成処理に誤動作がなくなり、動きによるぼやけを軽減しながら十分な信号振幅が確保でき、被写体の視認性が良くなる効果がある。
【００９６】
実施の形態８．
図１６は本発明の実施の形態８による撮像装置を示すブロック構成図である。実施の形態８の撮像装置は、図１を参照して説明した実施の形態１の撮像装置と概して同じであるが、ノイズ低減回路９０Ｒ、９０Ｇ及び９０Ｂが付加されている点で異なる。図１６では、図１に示される構成のうち、色補間回路１５よりも左側の部分並びに白バランス増幅回路１６及び動き量算出回路３０よりも右側の部分は、図示を省略している。
【００９７】
ノイズ低減回路９０Ｒ、９０Ｇ及び９０Ｂの各々は、図８及び図９を参照して説明したのノイズ低減回路５０Ｙと同様の構成を有する。即ち、ノイズ低減回路９０Ｒは、合成回路（ＭＩＸ）９２Ｒと、１フレーム期間遅延回路（ＦＤＬ）９３Ｒと、合成比生成回路（ＫＧ）９４Ｒとを有する。ノイズ低減回路９０Ｇは、合成回路９２Ｇと、１フレーム期間遅延回路９３Ｇと、合成比生成回路９４Ｇとを有する。ノイズ低減回路９０Ｂは、合成回路９２Ｂと、１フレーム期間遅延回路９３Ｂと、合成比生成回路９４Ｂとを有する。
【００９８】
合成回路９２Ｒは、色補間回路１５から出力される原色信号Ｒとフレーム遅延原色信号Ｒｄを、合成比生成回路９４Ｒにより設定される所定の合成比で合成し、合成原色信号Ｒｎを生成する。合成回路９２Ｒで生成された合成原色信号ＲｎはＲ信号増幅回路１６Ｒへ供給される。１フレーム遅延回路９３Ｒは、合成回路９２Ｒから出力された原色信号Ｒｎを１フレーム期間遅延させてフレーム遅延原色信号Ｒｄを出力する。合成比生成回路９４Ｒは、制御回路２０により設定されるノイズ低減特性設定値ＫＣＯＮに基づいて、動き量算出回路３０から出力された動き量信号ＭＤに対応するノイズ低減係数Ｋを求めて合成回路９２Ｒへ供給する。合成回路９２Ｒは、合成比生成回路９４Ｒにより設定されたノイズ低減係数Ｋに基づいて原色信号Ｒとフレーム遅延原色信号Ｒｄを合成する。
【００９９】
合成回路９２Ｒ、１フレーム遅延回路９３Ｒ、合成比生成回路９４Ｒの詳細な動作は、上記実施の形態４に関し、図８を参照して説明した合成回路５２、１フレーム遅延回路５３、合成比生成回路５４の動作と同様であり、詳細な説明は省略する。
【０１００】
合成回路９２Ｇは色補間回路１５から出力される原色信号Ｇとフレーム遅延原色信号Ｇｄを、合成比生成回路９４Ｇにより設定される所定の合成比で合成して合成原色信号Ｇｎを生成する。合成回路９２Ｇで生成された合成原色信号Ｇｎは信号レベル検出回路１７及び色マトリクス回路１８へ供給される。１フレーム遅延回路９３Ｇは、合成回路９２Ｇから出力された原色信号Ｇｎを１フレーム期間遅延させてフレーム遅延原色信号Ｇｄを出力する。合成比生成回路９４Ｇは、制御回路２０により設定されるノイズ低減特性設定値ＫＣＯＮに基づいて、動き量算出回路３０から出力された動き量信号ＭＤに対応するノイズ低減係数Ｋを求めて合成回路９２Ｇへ供給する。合成回路９２Ｇは、合成比生成回路９４Ｇにより設定されたノイズ低減係数Ｋに基づいて原色信号Ｇとフレーム遅延原色信号Ｇｄを合成する。
【０１０１】
合成回路９２Ｇ、１フレーム遅延回路９３Ｇ、合成比生成回路９４Ｇの詳細な動作は、上記実施の形態４に関して図８を参照して説明した合成回路５２、１フレーム遅延回路５３、合成比生成回路５４の動作と同様であり、詳細な説明は省略する。
【０１０２】
合成回路９２Ｂは色補間回路１５から出力される原色信号Ｂとフレーム遅延原色信号Ｂｄを、合成比生成回路９４Ｂにより設定される所定の合成比で合成して合成原色信号Ｂｎを生成する。合成回路９２Ｂで生成された合成原色信号ＢｎはＢ信号増幅回路１６Ｂへ供給される。１フレーム遅延回路９３Ｂは、合成回路９２Ｂから出力された原色信号Ｂｎを１フレーム期間遅延させてフレーム遅延原色信号Ｂｄを出力する。合成比生成回路９４Ｂは、制御回路２０により設定されるノイズ低減特性設定値ＫＣＯＮに基づいて、動き量算出回路３０から出力された動き量信号ＭＤに対応するノイズ低減係数Ｋを求めて合成回路９２Ｂへ供給する。合成回路９２Ｂは、合成比生成回路９４Ｂにより設定されたノイズ低減係数Ｋに基づいて原色信号Ｂとフレーム遅延原色信号Ｂｄを合成する。
【０１０３】
合成回路９２Ｂ、１フレーム遅延回路９３Ｂ、合成比生成回路９４Ｂの詳細な動作は、上記実施の形態４に関して図８を参照して説明した合成回路５２、１フレーム遅延回路５３、合成比生成回路５４の動作と同様であり、詳細な説明は省略する。
【０１０４】
合成回路９２Ｒ、９２Ｇ及び９２Ｂは、合成回路（映像信号合成回路）５２と同様のものであるが、区別のため撮像信号合成回路とも呼ばれ、合成比生成回路９４Ｒ、９４Ｇ及び９４Ｂは、合成比生成回路（映像信号合成比生成回路）５４と同様のものであるが、区別のため撮像信号合成比生成回路とも呼ばれる。さらに、ノイズ低減回路９０Ｒ、９０Ｇ及び９０Ｂは、ノイズ低減回路５０との区別のため、撮像信号ノイズ低減回路とも呼ばれる。
【０１０５】
なお、遅延回路９３Ｒ、９３Ｇ及び９３Ｂの遅延時間は、１フレーム期間に限らず、垂直走査周期の偶数倍であれば良い。
【０１０６】
動き量算出回路３０の色加算回路３１は、下式のとおり原色信号Ｒ、Ｇ及びＢを画素ごとに加算し色加算信号ＭＤｉを生成する。
ＭＤｉ＝Ｒ＋Ｇ＋Ｂ
【０１０７】
色加算回路３９は、下式のとおりフレーム遅延原色信号Ｒｄ、Ｇｄ及びＢｄを画素ごとに加算し色加算信号ＭＤｄを生成する。
ＭＤｄ＝Ｒｄ＋Ｇｄ＋Ｂｄ
【０１０８】
差分絶対値算出回路３３は、信号ＭＤｉと信号ＭＤｄの差の絶対値を求めて、画素毎の動き量を示す動き量信号ＭＤとして出力する。
動き量信号ＭＤは判定回路４２、並びに合成比生成回路９４Ｒ、９４Ｇ及び９４Ｂへ供給される。
【０１０９】
本実施の形態では、動き量算出回路３０で複数の色成分を加算した色加算信号ＭＤｉのフレーム間差分を求めるのに、ノイズ低減回路９０Ｒ、９０Ｇ及び９０Ｂで生成される１フレーム遅延した複数の色成分（Ｒｄ，Ｇｄ、Ｂｄ）を加算して、１フレーム遅延した色加算信号ＭＤｄを生成するように構成したので、１フレーム遅延させるためのメモリ回路をノイズ低減回路と共用でき、動き検出のためのメモリ回路を削減でき、部品コストや回路実装面積や消費電力を削減できる効果がある。また、ノイズ低減回路９０Ｒ、９０Ｇ及び９０Ｂから出力された複数の色成分を加算して、１フレーム遅延した色加算信号ＭＤｄを生成するように構成したので、動き検出に使う信号のノイズ成分がさらに少なくなり、Ｓ／Ｎの悪い極めて暗い低照度環境においても動きを正しく検出できる効果がある。
【０１１０】
実施の形態９．
図１７は本発明の実施の形態９による撮像装置を示すブロック構成図である。実施の形態９の撮像装置は、図１を参照して説明した実施の形態１の撮像装置と概して同じであるが、画素加算回路１００Ｒ、１００Ｇ及び１００Ｂが付加されている点で異なる。なお、図１７でも、図１に示される構成のうち、色補間回路１５よりも左側の部分並びに白バランス増幅回路１６及び動き量算出回路３０よりも右側の部分は、図示を省略している。
【０１１１】
画素加算回路１００Ｒ、１００Ｇ及び１００Ｂの各々は、図１２を参照して説明した画素加算回路７０Ｙと同様の構成を有する。即ち、画素加算回路１００Ｒは、１フィールド遅延回路（ＶＤＬ）１０２Ｒ及び１０３Ｒと、面内画素加算回路（ＶＡＤＤ）１０４Ｒと、面間画素加算回路（ＦＡＤＤ）１０５Ｒと、合成回路（ＭＩＸ）１０６Ｒと、合成比生成回路（ＫＧ）１０７Ｒとを備えている。画素加算回路１００Ｇは、１フィールド遅延回路１０２Ｇ及び１０３Ｇと、面内画素加算回路１０４Ｇと、面間画素加算回路１０５Ｇと、合成回路１０６Ｇと、合成比生成回路１０７Ｇとを備えている。画素加算回路１００Ｂは、１フィールド遅延回路１０２Ｂ及び１０３Ｂと、面内画素加算回路１０４Ｂと、面間画素加算回路１０５Ｂと、合成回路１０６Ｂと、合成比生成回路１０７Ｂとを備えている。
【０１１２】
１フィールド遅延回路１０２Ｒは、色補間回路１５から出力された原色信号Ｒを１フィールド期間遅延させてフィールド遅延原色信号Ｒｊを出力する。１フィールド遅延回路１５は、フィールド遅延原色信号Ｒｊを１フィールド期間遅延させてフレーム遅延原色信号Ｒｋを出力する。面内画素加算回路１０４Ｒはフィールド遅延原色信号Ｒｊの同一フィールド内で面内画素加算を行って面内画素加算信号Ｒｖを出力する。面間画素加算回路１０５Ｒは、原色信号Ｒとフィールド遅延原色信号Ｒｊとフレーム遅延原色信号Ｒｋのフィールド間で面間画素加算を行って面間画素加算信号Ｒｆを出力する。合成回路１０６Ｒは、面内画素加算信号Ｒｖと面間画素加算信号Ｒｆを、合成比生成回路１０７Ｒで決定された所定の合成比で合成する。合成回路１０６Ｒで面内画素加算信号Ｒｖと面間画素加算信号Ｒｆを合成して生成された原色信号ＲａはＲ信号増幅回路１６Ｒへ供給される。
【０１１３】
１フィールド遅延回路１０２Ｒ及び１０３Ｒ、面内画素加算回路１０４Ｒ、面間画素加算回路１０５Ｒ、合成回路１０６Ｒ及び合成比生成回路１０７Ｒの詳細な動作は、上記実施の形態６に関して図１２を参照して説明した１フィールド遅延回路７２、１フィールド遅延回路７３、面内画素加算回路７４、面間画素加算回路７５、合成回路７６及び合成比生成回路７７の動作と同様であり、詳細な説明は省略する。
【０１１４】
１フィールド遅延回路１０２Ｇは、色補間回路１５から出力された原色信号Ｇを１フィールド期間遅延させてフィールド遅延原色信号Ｇｊを出力する。１フィールド遅延回路２５は、フィールド遅延原色信号Ｇｊを１フィールド期間遅延させてフレーム遅延原色信号Ｇｋを出力する。面内画素加算回路１０４Ｇはフィールド遅延原色信号Ｇｊの同一フィールド内で面内画素加算を行って面内画素加算信号Ｇｖを出力する。面間画素加算回路１０５Ｇは、原色信号Ｇとフィールド遅延原色信号Ｇｊとフレーム遅延原色信号Ｇｋのフィールド間で面間画素加算を行って面間画素加算信号Ｇｆを出力する。合成回路１０６Ｇは、面内画素加算信号Ｇｖと面間画素加算信号Ｇｆを、合成比生成回路１０７Ｇで決定された所定の合成比で合成する。合成回路１０６Ｇで面内画素加算信号Ｇｖと面間画素加算信号Ｇｆを合成して生成された原色信号Ｇａは信号レベル検出回路１７及び色マトリクス回路１８へ供給される。
【０１１５】
１フィールド遅延回路１０２Ｇ及び１０３Ｇ、面内画素加算回路１０４Ｇ、面間画素加算回路１０５Ｇ、合成回路１０６Ｇ及び合成比生成回路１０７Ｇの詳細な動作は、上記実施の形態６に関して図１２を参照して説明した１フィールド遅延回路７２、１フィールド遅延回路７３、面内画素加算回路７４、面間画素加算回路７５、合成回路７６及び合成比生成回路７７の動作と同様であり、詳細な説明は省略する。
【０１１６】
１フィールド遅延回路１０２Ｂは、色補間回路１５から出力された原色信号Ｂを１フィールド期間遅延させてフィールド遅延原色信号Ｂｊを出力する。１フィールド遅延回路３５は、フィールド遅延原色信号Ｂｊを１フィールド期間遅延させてフレーム遅延原色信号Ｂｋを出力する。面内画素加算回路１０４Ｂはフィールド遅延原色信号Ｂｊの同一フィールド内で面内画素加算を行って面内画素加算信号Ｂｖを出力する。面間画素加算回路１０５Ｂは、原色信号Ｂとフィールド遅延原色信号Ｂｊとフレーム遅延原色信号Ｂｋのフィールド間で面間画素加算を行って面間画素加算信号Ｂｆを出力する。合成回路１０６Ｂは、面内画素加算信号Ｂｖと面間画素加算信号Ｂｆを、合成比生成回路１０７Ｂで決定された所定の合成比で合成する。合成回路１０６Ｂで面内画素加算信号Ｂｖと面間画素加算信号Ｂｆを合成して生成された原色信号ＢａはＢ信号増幅回路１６Ｂへ供給される。
【０１１７】
１フィールド遅延回路１０２Ｂ及び１０３Ｂ、面内画素加算回路１０４Ｂ、面間画素加算回路１０５Ｂ、合成回路１０６Ｂ及び合成比生成回路１０７Ｂの詳細な動作は、上記実施の形態６に関して図１２を参照して説明した１フィールド遅延回路７２、１フィールド遅延回路７３、面内画素加算回路７４、面間画素加算回路７５、合成回路７６及び合成比生成回路７７の動作と同様であり、詳細な説明は省略する。
【０１１８】
合成回路１０６Ｒ、１０６Ｇ及び１０６Ｂは、合成回路（映像信号合成回路）７６と同様のものであるが、区別のため撮像信号合成回路とも呼ばれ、合成比生成回路１０７Ｒ、１０７Ｇ及び１０７Ｂは、合成比生成回路（映像信号合成比生成回路）７７と同様のものであるが、区別のため撮像信号合成比生成回路とも呼ばれる。さらに、画素加算回路１００Ｒ、１００Ｇ及び１００Ｂは、画素加算回路７０との区別のため、撮像信号画素加算回路とも呼ばれる。
【０１１９】
なお、遅延回路１０２Ｒ、１０３Ｒ、１０２Ｇ、１０３Ｇ、１０２Ｂ及び１０３Ｂの遅延時間は、１フィールド期間に限らず、垂直走査周期の整数倍（１倍を含む）であれば良い。
【０１２０】
動き量算出回路３０の色加算回路３１は、下式のとおり原色信号Ｒ、Ｇ及びＢを画素ごとに加算し色加算信号ＭＤｉを生成する。
ＭＤｉ＝Ｒ＋Ｇ＋Ｂ
【０１２１】
色加算回路３９は、下式のとおりフレーム遅延原色信号Ｒｋとフレーム遅延原色信号Ｇｋとフレーム遅延原色信号Ｂｋを画素ごとに加算し色加算信号ＭＤｄを生成する。
ＭＤｄ＝Ｒｋ＋Ｇｋ＋Ｂｋ
【０１２２】
差分絶対値算出回路３３は、信号ＭＤｉから信号ＭＤｄを差引いた値の絶対値を、画素毎の動き量を示す動き量信号ＭＤとして出力する。動き量信号ＭＤは判定回路４２及び合成比生成回路１０７Ｒ、１０７Ｇ、１０７Ｂへ供給される。
【０１２３】
合成比生成回路１０７Ｒ、１０７Ｇ、１０７Ｂは、動き量信号ＭＤに基づいてそれぞれ合成回路１０６Ｒ、１０６Ｇ、１０６Ｂにおける合成比を決定する。
【０１２４】
本実施の形態では、動き量算出回路３０で複数の色成分を加算した色加算信号ＭＤｉのフレーム間差分を求めるのに、画素加算回路１００Ｒ、１００Ｇ及び１００Ｂで生成される１フレーム遅延した複数の色成分（Ｒｋ、Ｇｋ及びＢｋ）を加算して、１フレーム遅延した色加算信号ＭＤｄを生成するように構成したので、１フレーム遅延させるためのメモリ回路を画素加算回路１００Ｒ、１００Ｇ及び１００Ｂと共用でき、動き検出のためのメモリ回路を削減でき、部品コストや回路実装面積や消費電力を削減できる効果がある。
【０１２５】
上記各実施の形態において、フレーム相関を利用したノイズ低減回路に基づいて説明したが、フィールド相関を利用したノイズ低減回路であっても良い。フレーム相関を利用したノイズ低減回路では、遅延回路がフレームメモリになるが、フィールド相関を利用したノイズ低減回路では、遅延回路がフィールドメモリになる。フレーム間あるいはフィールド間信号処理により、動きのある部分の画像がぼやける画質低下を、動き検出結果に応じて制御することで改善する信号処理であれば同様に動作し同様の効果が得られる。
【０１２６】
ノイズ低減回路がフィールド相関を利用したものとなる場合には、遅延回路として遅延時間が１フィールド期間 (より一般的には、垂直走査周期の整数倍（１倍を含む）)のものが用いられる。
【０１２７】
上記各実施の形態において、画素単位で動きを検出する動き量算出回路を用いる場合について説明したが、図５（実施の形態２）、図１０（実施の形態５）及び図１５（実施の形態７）に示す例のように、周辺の画素を注目画素に加算して、さらにノイズの影響を軽減しても良い。信号Ｓ／Ｎに応じて周辺画素も加えることで同様に動作しより良い効果が得られる。
【０１２８】
上記各実施の形態において、固体撮像素子の一構成例に基づいて説明を行ったが、動画撮像可能な２次元イメージセンサであれば実際には固体撮像素子でもＣＭＯＳイメージセンサでも、どのようなものでも良い。またインターライントランスファー固体撮像素子に限らず、フレームトランスファー固体撮像素子でもフレームインターライントランスファー固体撮像素子であっても良い。
【０１２９】
上記各実施の形態において、説明の便宜上、原色信号Ｒ、Ｇ及びＢで白バランス制御するシステムを例に説明したが、輝度信号、Ｒ−Ｙ色差信号及びＢ−Ｙ色差信号であってもよく、原色信号Ｒ、Ｇ及びＢの場合と同様に動作し同様の効果が得られる。
【０１３０】
上記各実施の形態において、説明の便宜上、複数の色成分がＲ（Ｒｅｄ）成分とＧ（Ｇｒｅｅｎ）成分とＢ（Ｂｌｕｅ）成分の撮像手段を例に説明したが、Ｙｅ（Ｙｅｌｌｏｗ）成分とＣｙ（Ｃｙａｎ）成分とＭｇ（Ｍａｇｅｎｔａ）成分とＧ（Ｇｒｅｅｎ）成分の撮像素子でも良く、同様に動作し同様の効果が得られる。また、上記色成分を各々透過する色フィルタが市松模様状に配列された撮像素子から二行混合読出し方式で読み出す場合は、Ｃｙ＋Ｇ成分とＹｅ＋Ｍｇ成分とＣｙ＋Ｍｇ成分とＹｅ＋Ｇ成分の色成分でも良く、同様に動作し同様の効果が得られる。
【０１３１】
上記各実施の形態において、説明の便宜上、ＮＴＳＣ方式テレビジョンに対応した撮像装置を例に説明したが、飛び越し走査に対応した表示フォーマットに限らず、ノンインタレースの表示フォーマットであっても良く、インタレースの場合と同様に動作し同様の効果が得られる。
【０１３２】
以上説明した各実施の形態の特徴は互いに組み合わせて用いることができる。
例えば、実施の形態８に関し図１６を参照して説明したように、ノイズ低減装置９０Ｒ,９０Ｇ，９０Ｂを設けた上で、さらに白バランス増幅回路の出力側に実施の形態４に関して図７を参照して説明したように、ノイズ低減回路５０を設けたり、実施の形態６に関して図１１を参照して説明したように、画素加算回路７０を設けても良く、同様に、実施の形態９に関し図１７を参照して説明したように、画素加算回路１００Ｒ,１００Ｇ，１００Ｂを設けた上で、さらに白バランス増幅回路の出力側に実施の形態４に関して図７を参照して説明したように、ノイズ低減回路５０を設けたり、実施の形態６に関して図１１を参照して説明したように、画素加算回路７０を設けても良い。
【０１３３】
また、図５（実施の形態２）、図１０（実施の形態５）及び図１５（実施の形態７）に示す周辺加算回路４７を、図６（実施の形態３）、図７（実施の形態４）、図１１（実施の形態６）、図１６（実施の形態８）、図１７（実施の形態９）の撮像装置に組み込んでも良い。
【符号の説明】
【０１３４】
１０  撮像信号生成手段、  １１、１１Ｒ、１１Ｇ、１１Ｂ  固体撮像素子、  １２、１２Ｒ、１２Ｇ、１２Ｂ  相関二重サンプリング処理回路（ＣＤＳ回路）、  １３、１３Ｒ、１３Ｇ、１３Ｂ  プログラマブル利得増幅回路（ＰＧＡ）、  １４、１４Ｒ、１４Ｇ、１４Ｂ  Ａ／Ｄ変換回路（ＡＤＣ）、  １５  色補間回路、  １６  白バランス増幅回路、  １６Ｒ  Ｒ信号増幅回路、  １６Ｂ  Ｂ信号増幅回路、  １７  信号レベル検出回路、  １８  色マトリクス回路、  １９  色変調回路、  ２０  制御回路、  ２１Ｍ  出力端子、  ２１Ｙ  出力端子、  ２１Ｃ  出力端子、  ２２Ｒ、２２Ｇ、２２Ｂ  １フレーム遅延回路、  ３０  動き量算出回路、  ３１  色加算回路、  ３２  １フレーム遅延回路、  ３３  差分絶対値算出回路、  ３４  減算回路、  ３５  絶対値回路、  ３６Ｒ、３６Ｇ、３６Ｂ  入力端子、  ３７  出力端子、  ３８Ｒ、３８Ｇ、３８Ｂ  入力端子、  ３９  色加算回路、  ４１  動き閾値生成回路、  ４２  判定回路、  ４３  同期信号発生回路、  ４４  タイミング発生回路、  ４５  ドライブ回路、  ４７  周辺画素加算回路、  ４８  レンズ、  ４９  プリズム、  ５０  ノイズ低減回路、  ５１  入力端子、  ５２  合成回路、  ５３  １フレーム遅延回路、  ５４  合成比生成回路、  ５５  出力端子、  ５６  入力端子、  ５７  入力端子、  ６１  入力端子、  ６２  入力端子、  ６３  乗算回路、  ６４  乗算回路、  ６５  加算回路、  ６６  出力端子、  ６７  入力端子、  ７０  画素加算回路、  ７１  入力端子、  ７２  １フィールド遅延回路、  ７３  １フィールド遅延回路、  ７４  面内画素加算回路、  ７５  面間画素加算回路、  ７６  合成回路、  ７７  合成比生成回路、  ７８  出力端子、  ７９  入力端子、  ９０Ｒ、９０Ｇ、９０Ｂ  ノイズ低減回路、  ９２Ｒ、９２Ｇ、９２Ｂ  合成回路、  ９３Ｒ、９３Ｇ、９３Ｂ  １フレーム遅延回路、  ９４Ｒ、９４Ｇ、９４Ｂ  合成比生成回路、  １００Ｒ、１００Ｇ、１００Ｂ  画素加算回路、  １０２Ｒ、１０２Ｇ、１０２Ｂ  １フィールド遅延回路、  １０３Ｒ、１０３Ｇ、１０３Ｂ  １フィールド遅延回路、  １０４Ｒ、１０４Ｇ、１０４Ｂ  面内画素加算回路、  １０５Ｒ、１０５Ｇ、１０５Ｂ  面間画素加算回路、  １０６Ｒ、１０６Ｇ、１０６Ｂ  合成回路、  １０７Ｒ、１０７Ｇ、１０７Ｂ  合成比生成回路。
【図１】
2011166535.tif 000003
【図２】
2011166535.tif 000004
【図３】
2011166535.tif 000005
【図４】
2011166535.tif 000006
【図５】
2011166535.tif 000007
【図６】
2011166535.tif 000008
【図７】
2011166535.tif 000009
【図８】
2011166535.tif 000010
【図９】
2011166535.tif 000011
【図１０】
2011166535.tif 000012
【図１１】
2011166535.tif 000013
【図１２】
2011166535.tif 000014
【図１３】
2011166535.tif 000015
【図１４】
2011166535.tif 000016
【図１５】
2011166535.tif 000017
【図１６】
2011166535.tif 000018
【図１７】
2011166535.tif 000019