(57)【特許請求の範囲】
【請求項１】
撮像素子と、信号処理部とを備える撮像装置であって、
前記撮像素子は、画素信号を各々が出力する複数の画素を各々が備える第１の画素群と第２の画素群とを有し、前記第２の画素群の複数の第２の画素が出力する第２の画素信号が含む解像度情報は前記第１の画素群の複数の第１の画素が出力する第１の画素信号が含む解像度情報よりも少なく、
前記信号処理部は、前記第２の画素から出力された第２の画素信号をフレーム間処理によって重み付け加算するとともに、同一の前記第１の画素から出力される複数のフレームの前記第１の画素信号のフレーム間の差分に基づいて前記重み付け加算における各フレームの重み付けを変更することを特徴とする撮像装置。
【請求項２】
前記第１の画素信号のフレーム間の差分と閾値とを比較した結果を示す判定信号を出力する判定処理部をさらに有し、前記信号処理部は、前記判定信号の信号値に基づいて、各フレームの重み付けを変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定処理部は、フレーム間処理がなされる前記第２の画素信号よりも多い前記第１の画素信号の平均値を算出し、前記平均値のフレーム間の差分に基づき、前記判定信号を生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記信号処理部は、前記第１の画素信号のフレーム間の差分が大きくなるに従い、前記第２の画素信号の現在のフレームの重み付けに対して他のフレームの重み付けを相対的に小さくすることを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記平均値の算出の対象となる前記第１の画素は、前記フレーム間処理の対象となる前記第２の画素の周囲の前記第１の画素であることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記判定処理部は、前記第２の画素の位置において補間した前記第１の画素信号と、前記第２の画素信号との比の情報のフレーム間の差分に基づき、前記判定信号を生成することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記信号処理部は、前記比の情報のフレーム間の差分が大きくなるに従い、前記第２の画素信号の現在のフレームの重み付けに対して他のフレームの重み付けを相対的に小さくすることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判定処理部は、前記第１の画素信号の複数フレームを用いて動きベクトルを算出し、前記判定信号の出力を行うことを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記信号処理部は、前記動きベクトルの絶対値が大きくなるに従い、前記第２の画素信号の現在のフレームの重み付けに対して他のフレームの重み付けを相対的に小さくすることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の画素信号と、前記フレーム間処理がなされた前記第２の画素信号を合成することにより、各画素をＲ、Ｇ、Ｂの各値で表した画像信号を生成する信号合成部をさらに備えることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第１の画素群は、前記第２の画素群よりも輝度への寄与度が高いことを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記第２の画素群は、分光感度が異なる２種以上の画素から構成されることを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記第１の画素群は、Ｗ画素から構成されることを特徴とする請求項１〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記第２の画素群は、Ｒ画素、Ｇ画素、Ｂ画素から構成されることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記第２の画素群は、Ｃ画素、Ｍ画素、Ｙ画素から構成されることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１６】
前記第１の画素群の画素数は、前記第２の画素群の画素数より多いことを特徴とする請求項１〜１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記第２の画素群における分光感度の異なる画素の画素数が異なることを特徴とする請求項１〜１６のいずれか１項に記載の撮像装置。
【請求項１８】
撮像素子と、信号処理部とを備える撮像装置であって、
前記撮像素子は、それぞれが光電変換部を有する第１の画素および第２の画素を備え、
前記第１の画素は、前記光電変換部において白に対応した光に基づき第１の画素信号を出力可能に構成され、
前記第２の画素は、前記光電変換部において緑、青、および赤のいずれかに対応する光に基づき第２の画素信号を出力可能に構成され、
前記第１の画素は、第１フレーム、第２フレームのそれぞれにおいて、前記第１の画素信号を出力し、
前記第２の画素は、前記第１フレーム、前記第２フレームのそれぞれにおいて、前記第２の画素信号を出力し、
前記信号処理部は、前記第１フレームの前記第２の画素信号と前記第２フレームの前記第２の画素信号の加算であるフレーム間処理とを実行し、
前記信号処理部は、同一の前記第１の画素における前記第１フレームの前記第１の画素信号と前記第２フレームの前記第１の画素信号との差に基づいて、前記フレーム間処理を、前記第１フレームの前記第２の画素信号と前記第２フレームの前記第２の画素信号の重み付けを変更して行うことを特徴とする撮像装置。
【請求項１９】
撮像素子と、信号処理部とを備える撮像装置であって、
前記撮像素子は、それぞれが光電変換部を有する第１の画素および第２の画素を備え、
前記第１の画素は、前記光電変換部において白に対応した光に基づき第１の画素信号を出力可能に構成され、
前記第２の画素は、前記光電変換部においてシアン、マゼンダ、およびイエローのいずれかに対応する光に基づき第２の画素信号を出力可能に構成され、
前記第１の画素は、第１フレームおよび第２フレームのそれぞれにおいて、前記第１の画素信号を出力し、
前記第２の画素は、前記第１フレームおよび前記第２フレームのそれぞれにおいて、前記第２の画素信号を出力し、
前記信号処理部は、前記第１フレームの前記第２の画素信号と前記第２フレームの前記第２の画素信号の加算であるフレーム間処理とを実行し、
前記信号処理部は、同一の前記第１の画素における前記第１フレームの前記第１の画素信号と前記第２フレームの前記第１の画素信号との差に基づいて、前記フレーム間処理を、前記第１フレームの前記第２の画素信号と前記第２フレームの前記第２の画素信号の重み付けを変更して行うことを特徴とする撮像装置。
【請求項２０】
前記第２の画素が、前記第１の画素に囲まれていることを特徴とする請求項１〜１９のいずれか１項に記載の撮像装置。
【請求項２１】
前記フレーム間処理は、移動平均であることを特徴とする請求項１〜２０のいずれか１項に記載の撮像装置。
【請求項２２】
前記フレーム間処理は、巡回型フィルタによって行われることを特徴とする請求項１〜２０のいずれか１項に記載の撮像装置。
【請求項２３】
前記フレーム間処理は、非巡回型フィルタによって行われることを特徴とする請求項１〜２０のいずれか１項に記載の撮像装置。
【請求項２４】
前記フレーム間処理は、メディアンフィルタによって行われることを特徴とする請求項１〜２０のいずれか１項に記載の撮像装置。
【請求項２５】
請求項１〜２４のいずれか１項に記載の撮像装置と、前記撮像装置が出力する信号を処理する出力信号処理部と、
を有することを特徴とする撮像システム。
【請求項２６】
撮像素子と、信号処理部とを備える撮像装置が出力する画素信号を処理する画像処理方法であって、
前記撮像素子は、前記画素信号を各々が出力する複数の画素を各々が備える第１の画素群と第２の画素群とを有し、前記第２の画素群の複数の第２の画素が出力する第２の画素信号が含む解像度情報は前記第１の画素群の複数の第１の画素が出力する第１の画素信号が含む解像度情報よりも少なく、
前記画像処理方法は、前記第２の画素から出力された第２の画素信号をフレーム間処理によって重み付け加算するとともに、同一の前記第１の画素から出力される複数のフレームの前記第１の画素信号のフレーム間の差分に基づいて前記重み付け加算における各フレームの重み付けを変更することを特徴とする画像処理方法。
【請求項２７】
画素信号を各々が出力する複数の画素を各々が備える第１の画素群と第２の画素群と、信号処理部とを有する撮像素子であって、
前記第２の画素群の複数の第２の画素が出力する第２の画素信号が含む解像度情報は前記第１の画素群の複数の第１の画素が出力する第１の画素信号が含む解像度情報よりも少なく、
前記信号処理部は、前記第２の画素から出力された第２の画素信号をフレーム間処理によって重み付け加算するとともに、同一の前記第１の画素から出力される複数のフレームの前記第１の画素信号のフレーム間の差分に基づいて前記重み付け加算における各フレームの重み付けを変更することを特徴とする撮像素子。
【請求項２８】
第１の半導体基板に前記第１の画素群と前記第２の画素群とが形成され、
第２の半導体基板に前記信号処理部が形成され、
前記第１の半導体基板と前記第２の半導体基板とが積層されていることを特徴とする請求項２７に記載の撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像システム、および画像処理方法に関する。
【背景技術】
【０００２】
単板色の固体撮像装置では、カラー画像を得るために、特定の波長成分、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色を透過させるカラーフィルタ（ＣＦ）が所定のパターンで配列されている。ＣＦのパターンとして、いわゆるベイヤ配列を持つものが多く利用されている。以下、ＲのＣＦが配された画素をＲ画素、ＧのＣＦが配された画素をＧ画素、ＢのＣＦが配された画素をＢ画素と表記し、ＣＦが配されていない画素をＷ画素（ホワイト画素、クリア画素）と表記する。さらに、Ｒ画素、Ｇ画素、Ｂ画素を纏めてＲＧＢ画素またはカラー画素と表記することがある。
【０００３】
固体撮像装置の感度を向上するために、輝度の情報を得やすい画素の割合を増やす構成が提案されている。その中でも、可視光域の光を広く透過するＷ画素を用いることで、感度が向上しＳ／Ｎ比の高い画像を得ることができる。特許文献１には、ＲＧＢ画素、Ｗ画素の画素数の比がＲ：Ｇ：Ｂ：Ｗ＝１：１：１：１である撮像装置が記載されている。この撮像装置は、Ｗ画素の画像から検出された動き情報、フレーム毎に加算したＲＧＢ画像、Ｗ画素に基づいて、各フレーム時刻におけるＲＧＢ画像を復元している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４５９８１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、ＲＧＢ画素のフレームの加算数を増加させることにより、色ノイズの低減を図っている。しかしながら、動きの大きな被写体において、色残像が生じるという問題があった。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、撮像素子と、信号処理部とを備える撮像装置であって、前記撮像素子は、画素信号を各々が出力する複数の画素を各々が備える第１の画素群と第２の画素群とを有し、前記第２の画素群の複数の第２の画素が出力する第２の画素信号が含む解像度情報は前記第１の画素群の複数の第１の画素が出力する第１の画素信号が含む解像度情報よりも少なく、前記信号処理部は、前記第２の画素から出力された第２の画素信号をフレーム間処理によって重み付け加算するとともに、同一の前記第１の画素から出力される複数のフレームの前記第１の画素信号のフレーム間の差分に基づいて前記重み付け加算における各フレームの重み付けを変更する。
【０００７】
本発明の画像処理方法は、撮像素子と、信号処理部とを備える撮像装置が出力する画素信号を処理する画像処理方法であって、前記撮像素子は、前記画素信号を各々が出力する複数の画素を各々が備える第１の画素群と第２の画素群とを有し、前記第２の画素群の複数の第２の画素が出力する第２の画素信号が含む解像度情報は前記第１の画素群の複数の第１の画素が出力する第１の画素信号が含む解像度情報よりも少なく、前記画像処理方法は、前記第２の画素から出力された第２の画素信号をフレーム間処理によって重み付け加算するとともに、同一の前記第１の画素から出力される複数のフレームの前記第１の画素信号のフレーム間の差分に基づいて前記重み付け加算における各フレームの重み付けを変更する。
【発明の効果】
【０００８】
本発明によれば、動画像における色ノイズを低減しながら、動きの大きな被写体において色残像を抑制し、動画像の高画質化を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る撮像装置のブロック図である。
【図２】第１の実施形態に係る撮像素子のブロック図である。
【図３】第１の実施形態に係る撮像素子および列増幅部の回路図である。
【図４】ＲＧＢを用いたカラーフィルタ配列の例を示す図である。
【図５】補色を用いたカラーフィルタ配列の例を示す図である。
【図６】第１の実施形態に係る撮像装置における信号処理部のブロック図である。
【図７】第１の実施形態に係る制御部の処理を説明するための図である。
【図８】第１の実施形態に係る色信号処理部におけるフレーム間処理を示す図である。
【図９】第１の実施形態に係る制御部、色信号処理部の動作を説明するための図である。
【図１０】第１の実施形態に係る撮像装置の評価結果を示す図である。
【図１１】第２の実施形態に係る撮像装置における信号処理部のブロック図である。
【図１２】第２の実施形態に係るフレーム間処理の作用を説明するための図である。
【図１３】第３の実施形態に係る撮像装置における信号処理部のブロック図である。
【図１４】第３の実施形態に係る判定処理部の動作を説明するための図である。
【図１５】第４の実施形態に係る撮像装置における信号処理部のブロック図である。
【図１６】第５の実施形態に係る撮像装置における信号処理部のブロック図である。
【図１７】第６の実施形態に係る撮像装置における信号処理部のブロック図である。
【図１８】第７の実施形態に係る撮像装置における信号処理部のブロック図である。
【図１９】第８の実施形態に係る撮像システムの構成の一例を示した図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら各実施形態の撮像装置について説明する。
【００１１】
（第１の実施形態）
図１は、本発明の第１の特徴である画像処理のブロック図である。撮像装置は、撮像素子１と信号処理部２を備える。撮像素子１は、ＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサ上にカラーフィルタが配置された、いわゆる単板式のカラーセンサである。単板のカラーセンサでカラー画像を形成する際には、後述するように補間を行う必要がある。たとえば、Ｒ画素の部分にはＧ、Ｂの情報（画素値）がない。このため、Ｒ画素の周囲のＧ、Ｂの画素値に基づき、Ｒ画素の部分におけるＧ、Ｂの画素値が補間処理により生成される。撮像素子１は、行列状に配置された複数の画素を備え、例えば列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素を備える。撮像素子１の画素数は限定されず、より多い画素数、若しくはより少ない画素数でも良い。さらに、撮像装置は、必ずしも撮像素子１を備えなくても良く、撮像素子１からの画素信号（ＲＡＷデータ）を処理する信号処理部２を備えていれば良い。
【００１２】
本実施形態のＣＦは、図１に示されたＲＧＢＷ１２配列を用いている。ＲＧＢＷ１２配列においては、４×４の画素配列が繰り返されており、各色の画素数の比は、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２である。ＲＧＢＷ１２配列においては、カラー画素であるＲ、Ｇ、Ｂの各画素が８個のＷ画素で囲まれており、Ｗ画素の比率が全画素の３／４を占めている。換言すると、ＲＧＢＷ１２配列は、第１の画素群としてＷ画素を有し、第２の画素群としてカラー画素（ＲＧＢ画素）を有している。第１の画素群の画素数の総和は第２の画素群の画素数の総和の３倍以上（２倍より多い）であり、第２の画素群の解像度情報は第１の画素群の解像度情報よりも少ない。なお、撮像素子１には、有効な画素以外に、オプティカルブラック画素、光電変換部を有さないダミー画素などのように画像を出力しない画素が含まれ得る。但し、これらのオプティカルブラック画素、ダミー画素は第１の画素群、第２の画素群には含まれない。Ｗ画素はＲＧＢ画素と比べて広い分光感度特性および高い感度を有している。たとえば、Ｗ画素の分光感度特性の波長半値幅はＲＧＢ画素と比べて高い。
【００１３】
ＲＧＢＷ１２配列においては、ＲＧＢ画素のそれぞれの周囲にはＷ画素が配されているため、ＲＧＢ画素におけるＷの画素値を高精度に補間することができる。また、Ｗ画素が全画素の３／４を占めているため、感度を向上させることができる。本実施形態は、解像度情報を得るための画素が半数以上を占める撮像素子に特に有効である。
【００１４】
信号処理部２は、前段処理部２０３、輝度信号処理部２０４、制御部２０５、色信号処理部２０６、信号合成部２０７を備える。撮像素子１からの画素信号は前段処理部２０３に入力される。前段処理部２０３は画素信号のオフセット補正、ゲイン補正を含む様々な補正を実行する。撮像素子１から出力された画素信号がアナログ信号である場合には、Ａ／Ｄ変換を前段処理部２０３で実施してもよい。
【００１５】
前段処理部２０３は、入力された画素信号Ｄｉｎのオフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正、等の補正を適宜実施して、補正後の出力Ｄｏｕｔを作成する。この処理は、典型的には以下の式で表わされる。
【数１】
0006628497.tif 000002
【００１６】
この補正は様々な回路単位で行い得る。例えば、画素毎に補正を行ってもよく、さらには、列増幅器毎、アナログデジタル変換部（ＡＤＣ）、出力増幅器のそれぞれの回路毎に補正を行ってもよい。補正を行うことで、いわゆる固定パターンノイズが低減され、より高品質な画像を得ることができる。前段処理部２０３は、解像度情報ためのＷの画像信号（輝度信号）と色情報のためのＲＧＢの画素信号（色信号）を分離し、輝度信号を輝度信号処理部２０４に出力し、色信号を色信号処理部２０６に出力する。
【００１７】
輝度信号処理部２０４は前段処理部２０３からの信号を高精度に補間することができる。すなわち、ＲＧＢＷ１２配列においては、解像度情報を得るためのＷ画素が多いため、市松模様のＣＦ配列に対し、空間周波数の高い、すなわちピッチの細かい情報を得ることができる。よって、ＲＧＢ画素が存在する部分、つまりＷ画素が存在しない部分の画素値を、近傍８個のＷ画素の画素値の平均から求めることで、十分に高解像度の画像を得ることができる。さらに、エッジ情報、周期的な形状などの情報をもとに、エッジを検出し、ＲＧＢ画素の位置におけるＷ画素の補間を行ってもよい。この場合、近傍８画素からの平均を用いるよりも高解像度の画像を得ることが可能となる。以下、補間により生成されたＷ画素をｉＷと表記する。
【００１８】
色信号処理部２０６は色信号であるＲＧＢの画素信号に対してフレーム間処理を行うことにより、偽色などの色ノイズを低減する。フレーム間処理は、時刻の異なる複数のフレームを重み付け加算することにより行われる。また、色信号処理部２０６は輝度信号と色信号との合成に用いられる色情報を生成する。制御部２０５は輝度信号のフレーム間の変化（相関）を判断し、判断結果に基づき色信号処理部２０６におけるフレーム間処理のフレーム数（重み付け）を変更する。これにより、動きの大きな被写体における色残像などの色ノイズを抑制することができる。
【００１９】
図２は本実施形態に係る撮像素子１のブロック図である。撮像素子１は、撮像領域１０１、垂直走査回路１０２、列増幅部１０３、水平走査回路１０４、出力部１０５を有する。撮像領域１０１は上述したように画素１００が行列状に配されており、輝度信号のための第１の画素群、色信号のための第２の画素群を備える。垂直走査回路１０２は、画素１００のトランジスタをオン（導通状態）またはオフ（非導通状態）に制御するための制御信号を供給する。垂直信号線１０６は、画素１００の各列に設けられ、画素１００からの信号を列ごとに読み出す。水平走査回路１０４は、各列の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力部１０５はバッファアンプ、差動増幅器などから構成され、列増幅部１０３からの画素信号を撮像素子１の外部の信号処理部２に出力する。出力された画素信号は信号処理部２によって、アナログ／デジタル変換、入力データの補正などの処理が行われる。
【００２０】
なお、撮像素子１はアナログ／デジタル変換の機能を備えたいわゆるデジタルセンサであっても良い。画素１００には、分光感度特性を制御するためのＣＦが設けられており、本実施形態においてはＲＧＢＷ１２のＣＦが配置されている。
【００２１】
図３は本実施形態に係る撮像素子１の画素１００、列増幅部１０３の回路図である。ここでは、説明を容易にするため、列増幅部１０３のうちの１列分の回路と、１つの画素１００とが示されている。画素１００はフォトダイオードＰＤ、浮遊拡散容量ＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を備える。なお、画素１００は、複数のフォトダイオードＰＤが浮遊拡散容量ＦＤ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を共有する構成を備えていても良い。また、トランジスタＭ２〜Ｍ４はＮチャネルＭＯＳに限定されず、ＰチャネルＭＯＳによって構成されても良い。
【００２２】
フォトダイオードＰＤは照射された光を電子（電荷）に光電変換する。転送トランジスタＭ１のゲートには信号ＴＸが供給され、信号ＴＸがハイレベルになると、転送トランジスタＭ１はフォトダイオードＰＤに発生した電荷を浮遊拡散容量ＦＤに転送する。浮遊拡散容量ＦＤは、転送トランジスタＭ１のドレイン端子を兼ねており、転送トランジスタＭ１を介してフォトダイオードＰＤから転送される電荷を保持可能である。リセットトランジスタＭ２のゲートには信号ＲＥＳが供給され、信号ＲＥＳがハイレベルになると、リセットトランジスタＭ２は浮遊拡散容量ＦＤの電圧をリセット電圧ＶＤＤにリセットする。転送トランジスタＭ１とリセットトランジスタＭ２を同時にオンにさせることにより、フォトダイオードＰＤの電子がリセットされる。増幅トランジスタＭ３のゲートは、浮遊拡散容量ＦＤに接続される。
【００２３】
増幅トランジスタＭ３のソースは、選択トランジスタＭ４を介して列ごとに共通の垂直信号線１０６のノードＰＤＯＵＴに電気的に接続され、ソースフォロアを構成する。選択トランジスタＭ４のゲートには信号ＳＥＬが印加され、信号ＳＥＬがハイレベルとなると、垂直信号線１０６と増幅トランジスタＭ３が電気的に接続される。これにより、選択された画素１００から画素信号が読み出される。
【００２４】
画素１００に供給される信号ＴＸ、信号ＲＥＳ、信号ＳＥＬは垂直走査回路１０２から出力される。垂直走査回路１０２はこれらの信号レベルを制御することによって、画素１００を行単位で走査する。電流源１０７は垂直信号線１０６を介して画素１００に電流を供給し、垂直信号線１０６は信号ＰＬによって駆動されるスイッチＳＷ０を介して列増幅部１０３に接続されている。
【００２５】
列増幅部１０３は、列増幅器１１２、入力容量Ｃ０、帰還容量Ｃ１、Ｃ２、スイッチＳＷ１〜ＳＷ７、容量ＣＴＮ、ＣＴＳを有する。列増幅器１１２は反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器１１２の反転入力ノードはスイッチＳＷ０、入力容量Ｃ０を介して垂直信号線１０６に電気的に接続され、非反転入力ノードには基準電圧ＶＲＥＦが印加されている。反転入力ノードと出力ノードとは並列接続された３つの帰還回路を介して互いに接続されている。第１の帰還回路は直列に接続されたスイッチＳＷ１および帰還容量Ｃ１から構成され、第２の帰還回路は直列に接続されたスイッチＳＷ２および帰還容量Ｃ２から構成され、第３の帰還回路はスイッチＳＷ３から構成されている。スイッチＳＷ１〜ＳＷ３のオン、オフを適宜制御することにより、列増幅器１１２の増幅率を変更することができる。すなわち、スイッチＳＷ１のみがオンとなると、増幅率はＣ０／Ｃ１となり、スイッチＳＷ２のみがオンとなると、増幅率はＣ０／Ｃ２となる。また、スイッチＳＷ１、ＳＷ２がオンとなると、増幅率はＣ０／（Ｃ１＋Ｃ２）となり、スイッチＳＷ３のみがオンとなると、列増幅器１１２はボルテージフォロアとして動作する。スイッチＳＷ１〜ＳＷ３は信号φＣ〜φＣ２によってそれぞれ制御される。
【００２６】
列増幅器１１２の出力ノードは、信号φＣＴＮによって制御されるスイッチＳＷ４を介して容量ＣＴＮに接続されている。同様に、列増幅器１１２の出力ノードは、信号φＣＴＳによって制御されるスイッチＳＷ５を介して容量ＣＴＳに接続されている。浮遊拡散容量ＦＤのリセット時において、スイッチＳＷ４がオン、スイッチＳＷ５がオフとなり、リセット時の画素信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。光電変換された電荷が浮遊拡散容量ＦＤに転送された後、スイッチＳＷ４がオフ、スイッチＳＷ５がオンとなり、光電変換された電荷に基づく画素信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。
【００２７】
容量ＣＴＮはスイッチＳＷ６を介して出力部１０５の第１入力ノードに接続され、容量ＣＴＳはスイッチＳＷ７を介して出力部１０５の第２入力ノードに接続されている。水平走査回路１０４が各列の信号φＨｎを順にハイレベルとすることにより、水平走査が行われる。すなわち、信号φＨｎがハイレベルとなると、スイッチＳＷ６は容量ＣＴＮに保持されたＮ信号を出力部１０５の第１入力ノードに出力し、スイッチＳＷ７は容量ＣＴＳに保持されたＳ信号を出力部１０５の第２入力ノードに出力する。
【００２８】
出力部１０５は差動増幅回路から構成されており、入力されたＳ信号、Ｎ信号の差分を増幅および出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。なお、Ｎ信号、Ｓ信号をアナログ／デジタル変換した後に、相関二重サンプリングを行っても良い。
【００２９】
上述のように、撮像素子１に入力された光信号は、電気信号として読み出される。また、ＲＧＢＷ１２のＣＦ配列に応じた分光強度の２次元情報が得られる。本実施形態はＲＧＢＷ１２のＣＦ配列に限定されることなく、様々なＣＦ配列に適用可能である。以下、本実施形態において適用可能なＣＦ配列の例を示す。
【００３０】
図４にカラー画素としてＲＧＢを用いたＣＦ配列の例を示す。図４（ａ）はベイヤ配列のＣＦを示し、ＣＦの数の比率がＲ：Ｇ：Ｂが１：２：１となっている。ここで、Ｇ画素（第１の画素）がＲＢ画素（第２の画素）に比して多く配置されているのは、人間の視覚特性が赤色、青色に比して、緑色に対応する波長に対して高い感度を有し、画像の解像感も、赤色、青色に比して、緑色の波長に強く依存するからである。
【００３１】
図４（ｂ）はＲＧＢＷ１２のＣＦ配列を示している。上述したように、この配列では、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で配置されている。カラー画素であるＲＧＢの各画素（第２の画素）に対して、平面視において上下方向、左右方向、斜め方向のそれぞれにＷ画素（第１の画素）が隣接して配されている。すなわち、ＲＧＢ画素の各々は８つのＷ画素に囲まれている。Ｗ画素は、全画素の３／４の比率を占めている。カラー画素であるＲＧＢ画素の各々がＷ画素によって囲まれている。
【００３２】
図４（ｃ）はＲＧＢＷ８のＣＦ配列を示している。４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝２：４：２：８の比で配列されている。Ｗ画素（第１の画素）は市松模様に配置されており、Ｗ画素の間にＲＧＢ画素（第２の画素）が配置されている。Ｗ画素の比率は全画素の１／２である。Ｗ画素はベイヤ配列のＧ画素と同様に市松模様に配置されているため、ベイヤ配列のＧ画素の補間の方法をそのまま用いることができる。また、Ｗ画素が配置されているため、感度を向上させることができる。
【００３３】
図４（ｄ）はＲＧＢＧ１２のＣＦ配列を示している。この配列ではＲＧＢＷ１２のＷ画素がＧ画素（第１の画素）に置き換えており、４×４の画素配列中、各色のＣＦがＲ：Ｇ：Ｂ＝２：１２：２の比で配置されている。ＲＢ画素（第２の画素）がＧ画素で囲まれており、Ｇ画素の比率が全画素の３／４を占めている。ＲＢ画素がＧ画素で囲まれているため、カラー画素のＧの値の補間の精度が向上する。また、ＲＢ画素に比較して感度の高いＧ画素の割合が高いため、感度を向上させることができる。
【００３４】
図５に、カラー画素として補色であるＣ（シアン）・Ｍ（マゼンダ）・Ｙ（イエロー）を用いているＣＦ配列の例を示す。図５（ａ）はベイヤ配置であり、各色のＣＦの比率がＣ：Ｍ：Ｙが１：１：２になる。ここで、Ｙ画素（第１の画素）が多く配置されているのは、Ｇ画素と同様にＹ画素の感度が高いからである。
【００３５】
図５（ｂ）はＣＭＹＷ１２のＣＦ配列を示している。４×４の画素配列中、各色のＣＦがＣ：Ｍ：Ｙ：Ｗ＝１：１：２：１２の比で配列されている。カラー画素であるＣ、Ｍ、Ｙの画素（第２の画素）はＷ画素に囲まれている。Ｗ画素の比率が全画素の３／４を占める。ＣＭＹ画素がＷ画素で囲まれているため、ＣＭＹ画素の位置におけるＷ画素値の補間の精度を向上させることができる。また、Ｗ画素が配列されているため、感度が向上する。
【００３６】
図５（ｃ）はＣＭＹＷ８のＣＦ配列を示している。４×４の画素配列中、各色のＣＦがＣ：Ｍ：Ｙ：Ｗ＝２：２：４：８の比で配列されている。Ｗ画素（第１の画素）が市松模様に配置されており、ＣＭＹ画素（第２の画素）はＷ画素に囲まれている。Ｗ画素の比率が全画素の１／２である。Ｗ画素はベイヤ配列のＧ画素と同様に市松模様に配列されているため、ベイヤ配列のＧ画素の補間の方法をそのまま用いることができる。また、Ｗ画素が配列されていることにより、感度が向上する。
【００３７】
図５（ｄ）はＣＭＹＹ１２のＣＦ配列を示している。ＣＹＭＷ１２のＷ画素がＹ画素（第１の画素）に置き換えられており、４×４の画素配列中、各ＣＦがＣ：Ｍ：Ｙ＝２：２：１２の比で配置されている。Ｃ画素、Ｍ画素（第２の画素）がＹ画素で囲まれており、Ｙ画素の比率が全画素の３／４を占めている。Ｃ画素、Ｍ画素がＹ画素で囲まれているため、Ｃ画素、Ｍ画素の位置におけるＹの画素値の補間の精度を向上させることができる。また、Ｃ画素とＭ画素に対し比較的感度の高いＹ画素の割合が高いため、感度が向上する。
【００３８】
上述のように、本実施形態において各種ＣＦ配列を採用し得るが、高解像度の画像を生成するためには、解像度に寄与する割合の高い画素（第１の画素）をより多く配置することが好ましい。第１の画素群は第２の画素群と比較して解像度情報を多く含むとともに、第２の画素群は分光感度の異なる２種以上の画素を備えることが望ましい。また、第１の画素群は第２の画素群と比較して輝度への寄与度が高いことが望ましい。
【００３９】
なお、ベイヤ配列においては、解像度に寄与するＧ画素が市松模様に配置されており、補間のエラーが生じ易い。発明者らは、市松模様に比べて高い解像度を作りだすＣＦ配列を用いることで、補間エラーを極力小さくできることを見出した。従って、図４（ｂ）のＲＧＢＷ１２、図４（ｄ）のＲＧＢＧ１２、図５（ｂ）のＣＭＹＷ１２、図５（ｄ）のＣＭＹＹ１２に例示されるＣＦ配列を用いた場合に、本発明の効果が特に顕著となる。
【００４０】
図６は、本実施形態に係る撮像装置の信号処理部２のブロック図である。信号処理部２は輝度信号処理部２０４、制御部２０５、色信号処理部２０６、信号合成部２０７を備え、撮像素子１からの画素信号３ａをデモザイク処理し、各画素がＲＧＢの情報を有する画像信号３ｇを生成する。信号処理部２は画像処理プロセッサなどのハードウェアによって構成され得るが、汎用のプロセッサまたはコンピュータ上のソフトウェアを用いて同様の構成を実現することも可能である。
【００４１】
輝度信号処理部２０４には、ＲＧＢＷ１２のＣＦ配列を有するとともに、デジタルデータで表された画素信号３ｂが入力される。図６には、ＣＦ配列の繰り返しの１単位となる４×４画素が示されているが、実際の画素信号３ａにおいては４×４画素の配列が繰り返されている。入力された画素信号３ａは、図示されていない前段処理部２０３によって、Ｗの画素信号３ｂと、ＲＧＢの画素信号３ｅとに分離される。
【００４２】
輝度信号処理部２０４は補間処理部２１１を備え、補間処理部２１１はＷの画素信号３ｂにおいてＷの画素値が存在しない部分の画素値を補間により生成する。Ｗの画素信号３ｂにおいてＲＧＢ画素を分離した位置にはＷの画素値は存在せず、図中、この位置は”？”と表記されている。補間処理部２１１は”？”の位置の画素値を周囲のＷの画素値に基づき補間し、ｉＷｒ、ｉＷｇ、ｉＷｂの画素値を補間により生成する。例えば、画素信号３ｂにおける座標（３，３）にはＷ画素が存在しないため、次式で表されるように、周囲の８個のＷ画素値の平均値から、座標（３，３）におけるｉＷｂ（３，３）の画素値が求められる。
【数２】
0006628497.tif 000003
【００４３】
なお、図６には４×４の画素配列が記載されているが、実際には画素配列が繰り返されており、座標（１，１）のＲ画素、座標（３，１）のＧ画素、座標（１，３）のＧ画素のそれぞれは８個のＷ画素に囲まれている。よって、ｉＷｒ、ｉＷｇの画素値も同様に周囲の８個のＷの画素値を用いて補間により生成することができる。
【００４４】
補間処理法としては、上述した方法の他、バイリニア法、バイキュービック法等を適宜用いることができる。
【００４５】
制御部２０５は空間平均処理部２１２、判定処理部２１３を備える。空間平均処理部２１２はＷの画素信号３ｂにおいて所定ブロック毎に画素の平均値Ｗａｖｅを算出する。判定処理部２１３は平均値Ｗａｖｅのフレーム間の差分と閾値とを比較し、比較結果に基づく判定信号Ｊを出力する。色信号処理部２０６はフレーム間処理部２１４を備え、フレーム間処理部２１４はＲＧＢの画素信号３ｅのフレーム間処理を行い、色ノイズ、偽色を低減する。信号合成部２０７は、フレーム間処理されたＲＧＢの各画素とＷ画素との色比情報を算出し、当該色比情報に基づきＲＧＢの画素値で表された画像信号３ｇを生成する。
【００４６】
図７（ａ）、図７（ｂ）は、制御部２０５における空間平均処理の画素領域の一例を示している。ＲＧＢＷ１２画素配列の１ブロックは４×４画素から構成されているので、１ブロックに含まれるＷの画素値の平均値を算出し得る。すなわち、図７（ａ）において、（ｘ、ｙ）＝（２，１）、（４，１）、（１，２）、（２，２）、（３，２）、（４，２）、（２，３）、（４，３）、（１，４）、（２，４）、（３，４）、（４，４）の１２画素のＷ値の空間平均を演算し、ブロック毎に平均値Ｗａｖｅを算出し得る。このようにして算出された平均値Ｗａｖｅは、同一ブロックに含まれる（ｘ、ｙ）＝（１，１）、（３，１）、（１，３）、（３，３）のＲＧＢ画素のフレーム間処理の判定において用いられる。
【００４７】
図７（ｂ）は、空間平均処理の画素領域の他の例を示している。ＲＧＢＷ１２画素配列において、ＲＧＢ画素の各々はＷ画素に囲まれている。例えば、（ｘ、ｙ）＝（３，３）のＢ画素は、（ｘ、ｙ）＝（２，２）、（３，２）、（４，２）、（２，３）、（４，３）、（２，４）、（３，４）、（４，４）の８個のＷ画素によって囲まれている。従って、これらの８個のＷ画素の平均値Ｗａｖｅを、（３，３）のＢ画素のフレーム間処理の判定のために用いてもよい。同様に、（５，３）のＧ画素の周囲の８個のＷ画素の平均値Ｗａｖｅを、（５，３）のＧ画素のフレーム間処理の判定のために用いることができる。図７（ａ）、（ｂ）のいずれの例においても、フレーム間処理の対象となるＲＧＢの画素の周囲の複数のＷの画素値を用いて、画素領域毎の平均値Ｗａｖｅが算出される。なお、単純平均に限定されず、重み付け平均、平滑化フィルタなどを用いて空間平均処理を行っても良い。
【００４８】
図７（ｃ）は、判定処理部２１３の処理の詳細を示している。Ｗａｖｅ（Ｎ）はＷ画素の第Ｎフレームの平均値を示し、Ｗａｖｅ（Ｎ−１）はＷ画素の第（Ｎ−１）フレームの平均値を示している。これらのＷａｖｅ（Ｎ）、Ｗａｖｅ（Ｎ−１）はフレームメモリに格納されている。判定処理部２１３は、平均値Ｗａｖｅ（Ｎ）、Ｗａｖｅ（Ｎ−１）の差分の絶対値と予め定められた閾値Ｖｔｈとを比較し、比較結果に基づく判定信号（信号値）Ｊを画素領域毎に出力する。差分の絶対値が閾値Ｖｔｈ以上である場合には、判定信号Ｊは「１」となり、差分の絶対値が閾値Ｖｔｈよりも低い場合には、判定信号Ｊは「０」となる（数式３）。判定信号Ｊは、平均値Ｗａｖｅに含まれる画素領域における輝度の変化、すなわち被写体の時間的変化があったか否かを表している。
【数３】
0006628497.tif 000004
【００４９】
被写体が移動する場合、色のみが変化する場合は少なく、通常は輝度が変化する。このため、ＲＧＢ画素値の差分を検出するのではなく、感度が高いＷ画素値の差分を検出することで、より高精度に被写体の時間的変化を検出することができる。本実施形態におけるＲＧＢＷ１２配列においては、Ｗ画素の個数がＲＧＢ画素の個数より多い。このため、Ｗ画素の空間平均値を用いることで、Ｗ画素のノイズをさらに低減することができ、フレーム間判定におけるノイズの影響を回避することが可能となる。
【００５０】
図８は、フレーム間処理部２１４におけるフレーム間処理を示す図である。ここではＢの画素のフレーム間処理が示されているが、Ｒ、Ｇの画素についても同様の処理がなされる。フレーム間処理部２１４は、ＩＩＲフィルタ（巡回型フィルタ）を用いて、現在のフレームの画素値、時刻の異なる他のフレームの画素値のそれぞれを重み付け加算する。図８（ａ）におけるフレーム間処理においては、判定信号Ｊに応じて係数ｍ、ｎ（ｎ＞ｍ）のいずれかを用いて重み付け加算が行われる。
【００５１】
判定信号Ｊが「０」の場合、つまり、フレーム間処理の対象となる画素領域における輝度の時間的変化が小さい場合は、フレーム間処理部２１４はフレームメモリに蓄積された画素値に係数（ｎ−１）／ｎを乗じた値と、現在のＢの画素値に係数１／ｎを乗じた値を加算して、フレーム間処理後のｎ＿Ｂの画素値を得る。判定信号Ｊが「１」の場合、つまり、輝度の時間的変化が大きい画素領域においては、フレーム間処理部２１４はフレームメモリに蓄積された画素値に係数（ｍ−１）／ｍを乗じた値と、現在のＢの画素値に係数１／ｍを乗じた値を加算して、フレーム間処理後のｎ＿Ｂの画素値を得る。フレームメモリにはフレーム間処理後のｎ＿Ｂが蓄積され、次のフレーム間処理において重み付け加算がなされる。すなわち、過去のフレームの画素値が次のフレームの画素値にフィードバックされ、加算平均される。ここで、ｎ＞ｍであるので、輝度の時間的変化が大きい画素領域においては、現在のフレームの重み付けに対して、過去のフレームの重み付けが相対的に小さくなる。一方、輝度の時間的変化が小さい画素領域においては、現在のフレームの重み付けに対して、過去のフレームの重み付けが相対的に大きくなる。なお、以下の説明において、フレームの重み付けを増減、若しくはゼロにすることを含めて「重み付けを変更する」と表記する。また、過去のフレームの重み付けを小さくし、若しくはゼロにすることを「フレーム処理数を少なくする」と表記することもある。
【００５２】
他のフレーム間処理の例として、図８（ｂ）に示される処理を用いてもよい。判定信号Ｊが「０」の場合、フレーム間処理部２１４はフレームメモリに蓄積された画素値に係数（ｎ−１）／ｎを乗じた値と、現在のフレームのＢの画素値に係数１／ｎを乗じた値とを加算し、フレーム間処理後のｎ＿Ｂの画素値を得る。判定信号Ｊが「１」の場合、フレーム間処理部２１４は現在のフレームのＢの画素値をそのまま出力し、さらに現在のフレームのＢの画素値をフレームメモリに格納する。この処理は、図８（ａ）におけるｍ＝１の場合の処理と同じである。このように、輝度の時間的変化が大きい画素領域においては、フレーム間処理において現在のフレームの重み付けを大きくすることで、過去のフレームの画素値を加算することによって生じる色のボケ、残像を低減することが可能となる。
【００５３】
なお、上述の説明において、判定信号Ｊは「０」、「１」の１ビットの信号であるが、２ビット以上の信号であっても良い。すなわち、被写体の動きの大きさ（差分）を複数ビットの判定信号Ｊによって表し、判定信号Ｊの大きさに応じて色信号のフレーム間処理の重み付け、またはフレーム間処理数を変更（増減）しても良い。この場合、被写体に応じて、色付きの残像防止と色ノイズの低減とを最適なバランスに保つことができる。
【００５４】
信号合成部２０７は補間処理された輝度信号およびフレーム間処理された色信号画素信号に基づき、画素毎にＲＧＢ情報を含む画像信号３ｇを生成する。以下、信号合成部２０７の処理を詳述する。図６において、信号合成部２０７は補間後の画素信号３ｃとフレーム間処理後のｎ＿Ｒ、ｎ＿Ｇ、ｎ＿Ｂの画素値とに基づき、各画素における色比（色情報）を演算する。４×４の画素領域において色比を一定であるとみなして、以下のように色情報を算出することができる。すなわち、Ｒの色情報は、座標（１，１）におけるｎ＿Ｒ／ｉＷｒで表され、Ｂの色情報は、座標（３，３）におけるｎ＿Ｂ／ｉＷｂで表される。また、Ｇの色情報は、座標（３，１）におけるｎ＿Ｇ／ｉＷｇと、座標（１，３）におけるｎ＿Ｇ／ｉＷｇとの平均値で表される。
【００５５】
信号合成部２０７は、それぞれの色比が４×４の領域で一定であるとみなして、画素毎にＲＧＢの各色の情報を含む画像信号３ｇを生成する。すなわち、信号合成部２０７は、輝度信号処理部２０４によって生成されたＷ、ｉＷの画素信号３ｃと、色情報を用いて、画像信号３ｇを生成する。画素信号３ｃの画素がＷである場合には、ＲＧＢの画素値は次式で求められる。
【数４】
0006628497.tif 000005
【００５６】
また、画素信号３ｃの画素がｉＷである場合には、ＲＧＢの画素値は次式で求められる。
【数５】
0006628497.tif 000006
【００５７】
色情報はＷ画素値またはｉＷ画素値で規格化されている。すなわち、ｎ＿Ｒ／ｉＷｒ、ｎ＿Ｇ／ｉＷｇ、ｎ＿Ｂ／ｉＷｂで表される色情報には解像度に必要な輝度情報は含まれておらず、色情報（色相情報）のみが含まれている。従って、輝度情報であるＷ、ｉＷの画素値と色情報とを乗算することにより、ＲＧＢの画素値を求めることができる。輝度信号であるＷ、ｉＷの画素値は、フレーム間処理されておらず、時間的、周波数的なローパスフィルタ処理はなされていない。このため、被写体の動きに対して応答速度に優れた画像信号を生成することができる。また、色信号はフレーム間処理され、ｎ＿Ｒ、ｎ＿Ｇ、ｎ＿Ｂの画素値におけるノイズが低減されるため、偽色の少ない良好な画像信号を生成することができる。
【００５８】
人間の視覚特性においては、解像度（輝度）、色（色相）のそれぞれの分解能（認識能力）が異なる。色に対する検知能力は「空間的」にも「時間的」にも高くはなく、輝度と比較して色の分解能は問題となり難い。すなわち、輝度に対する応答が速い限り、良好なＲＧＢ画像であると認識され易い。一方、被写体にない色相の変化、つまり偽色、ノイズ成分がある場合には、視覚特性上の違和感が大きくなり、画質が劣化してしまう。本実施形態によれば、色信号はフレーム間処理されるため、ノイズの少ない画像を生成することができる。また、被写体の動きが大きい場合には、フレーム間処理において過去のフレームの重み付けを小さくすることにより、色の残像を低減することが可能となる。
【００５９】
図９は本実施形態に係る制御部２０５、色信号処理部２０６の動作を説明するための図であり、灰色の背景の前を青色の球体が移動する被写体の撮像結果を示している。図９（ａ）は、時間的に異なる２つのフレーム（第（Ｎ−１）フレーム、第Ｎフレーム）、判定信号Ｊを２次元画像上に表したマップを示している。青色の球体が移動し、２つのフレーム間の空間平均値Ｗａｖｅ（Ｎ）、Ｗａｖｅ（Ｎ−１）の差分絶対値が閾値Ｖｔｈを超えると、判定信号Ｊは「１」となる。従って、図中、判定信号Ｊが「１」となる領域においては、色信号のフレーム間処理がなされず、若しくは過去のフレームの重み付けが小さくなる。輝度変化が少ない領域、すなわち空間平均値の差分絶対値が閾値Ｖｔｈ以下である領域においては、判定信号Ｊは「０」となり、色信号のフレーム間処理が行われ、色ノイズが低減される。
【００６０】
図９（ｂ）は、図９（ａ）の矩形の領域９００の各フレームの空間平均値ＷａｖｅとＢの画素値（出力値）とを示している。第（Ｎ−３）フレームから第（Ｎ−１）フレームにおいて、青色の球体は領域９００上に位置することから、領域９００のＢの画素値は図示された値となる。また、Ｗの画素値から算出された空間平均値ＷａｖｅはＢの画素値よりも高いレベルとなる。さらに、青色の球体が移動し、第（Ｎ−１）フレームから第Ｎフレームにかけて、領域９００が青色から灰色に変化すると、Ｂの画素値および空間平均値Ｗａｖｅが変化する。空間平均値Ｗａｖｅ（Ｎ）、Ｗａｖｅ（Ｎ−１）の差分絶対値が閾値Ｖｔｈを超えると、判定信号Ｊは「１」となり、第Ｎフレームの色信号のフレーム間処理が行われない。
【００６１】
図９（ｃ）は、図９（ａ）、（ｂ）の例におけるフレーム間の判定処理の比較結果を表している。図９（ｃ）の左図は、フレーム間の判定処理を行わない場合における第ＮフレームのＷ、Ｂのそれぞれの画素値を示している。この場合、フレーム間処理されたＢの画素値は第（Ｎ−３）から第Ｎフレームの平均値にほぼ等しいｎ＿Ｂの画素値となる。一方、Ｗの画素値は第Ｎフレームの値であるため、Ｗおよびｎ＿Ｂの画素値の色比が本来の灰色の色比から大きくずれてしまい、灰色が青色に着色されてしまう。従って、表示された動画像において、移動する青色の球体に帯がついたような残像が視認される。
【００６２】
図９（ｃ）の右図は、本実施形態に従い、フレーム間の判定処理を行った場合における第ＮフレームのＷ、Ｂのそれぞれの画素値を示している。この場合、フレーム間の空間平均値Ｗａｖｅの差分絶対値が大きい領域においては、色信号のフレーム間処理は行われない。従って、Ｂの画素値は第Ｎフレームの値となり、ＷおよびＢの画素値の色比は本来の灰色の色比となる。すなわち、被写体の動きの大きい領域については、色比が過去のフレームによって影響されなくなるため、上述した青色の残像は生じない。
【００６３】
動きの大きい部分においてはノイズが目立ち難いため、Ｗ画素の時間変化が大きい部分において色信号のフレーム間処理を行わないとしても、画質の劣化を最小限に抑えることができる。また、Ｗ画素の時間変化が小さい部分においては、色信号のフレーム間処理を行うことによって、色ノイズを低減することができる。従って、画像全体として、色ノイズの低減と色残像の低減とを両立させ、高品位な画像を得ることが可能となる。
【００６４】
図１０に本実施形態に係る撮像装置の評価結果を示す。画像の評価項目として、ノイズ感、残像感を用いた。動画像の偽色による妨害感は優れた評価から順に「Ａ」、「Ｂ」、「Ｃ」と表記した。評価の条件として、明るさ、フレーム数ｎ、フレーム判定処理の有無を変化させ、評価を行った。ここで、フレーム数ｎは、フレーム間処理の係数１／ｎ、（ｎ−１）／ｎにおける「ｎ」を表している。また、フレーム判定処理はＷ画素の空間平均値Ｗａｖｅに基づく判定を表している。
【００６５】
条件Ｎｏ１として、周囲明るさを０．１［ｌｘ］とし、フレーム数ｎ＝１、判定処理無しとした。撮影された画像において、色が滲んだように見える色残像はないが、色ノイズが不快な程度目立ち、良好な画質とは言えなかった。従って、ノイズの評価は「Ｃ」、残像の評価は「Ａ」であった。
【００６６】
条件Ｎｏ２として、周囲明るさを０．１［ｌｘ］とし、フレーム数ｎ＝４、判定処理無しとした。撮影された画像において、色残像は多少目立つが、許容できる程度であった。色ノイズは目立つものの我慢できるレベルであった。従って、ノイズの評価は「Ｂ」、残像の評価は「Ａ」であった。
【００６７】
条件Ｎｏ３として、周囲明るさを０．０５［ｌｘ］とし、フレーム数ｎ＝４、判定処理無しとした。撮影された画像において、色残像は許容できる程度であったが、色ノイズは不快な程度となり、良好な画質を得ることはできなかった。従って、ノイズの評価は「Ｃ」、残像の評価は「Ａ」であった。
【００６８】
条件Ｎｏ４として、周囲明るさを０．０５［ｌｘ］とし、フレーム数ｎ＝８、判定処理無しとした。撮影された画像において、色ノイズは許容できる程度であった。ところが、平均化するフレーム数を増やしたことにより、色残像が目立ち、画質は不快なものとなった。従って、ノイズの評価は「Ａ」、残像の評価は「Ｃ」であった。
【００６９】
条件Ｎｏ５として、周囲明るさ０．０５［ｌｘ］とし、フレーム数ｎ＝８、判定処理有とした。撮影された画像において、色ノイズ、色残像共に許容できる程度であった。従って、ノイズの評価、残像の評価はともに「Ａ」であった。
【００７０】
以上説明したように、本実施形態によれば、ＲＧＢのベイヤ配列に代えて、Ｗ画素を有するＣＦを用いることによって、高感度の撮像装置を実現することが可能となる。また、人間の視覚特性は、色の時間的変化に対してさほど敏感ではないため、色信号をフレーム間処理し、ノイズリダクションを行うことによって、色ノイズを低減することができる。また、時間変化の大きい部分については、ノイズリダクションを行わない判定を行うことにより、動画の解像度を保ちつつ、色ノイズ、色残像を低減することができる。さらに、フレームの判定処理は、高解像度のＷ画素に基づき行われるため、判定の精度を高めることも可能となる。
【００７１】
一般に、高感度化を図るために、ある小領域おいてＷ画素の割合を増やすと、ＲＧＢ画素の割合が減少し、色ノイズが増加する。これは以下の様に説明される。各画素に発生するノイズは、フォトショットノイズと読出しノイズが合算されたものであるが、いずれもポアソン分布に従う特徴を持っている。従って、小領域の標準偏差は、画素数Ｎの平方根に比例する。一方、ある小領域の平均値は画素数Ｎに比例する。よって、Ｓ／Ｎ比は画素数Ｎの平方根に比例することになり、画素数が多いほどＳ／Ｎ比が大きい、すなわちノイズ感が小さい画像を得ることができる。画素数の少ないＲＧＢ画素においては、色ノイズが増加し易いが、本実施形態によればフレーム間処理により色ノイズを効果的に低減することが可能となる。また、動きの大きな被写体に応じて、フレーム間処理の重み付けを変更することにより、色残像も低減することができる。
【００７２】
なお、フレーム間処理は、ＩＩＲフィルタに限定されるものではなく、非巡回型フィルタ（ＦＩＲ）を用いても良く、フレーム間移動平均、またはメディアンフィルタを用いても良い。さらに、フレーム間処理のフレーム数ｎは１、４、８などのように固定値に限定されず、ｎの値を被写体の環境（明るさ、コントラスト、被写体の移動速度等）に応じて適宜変更する適応型フィルタを用いても良い。フレーム間処理に用いられるフレームは、隣接するフレームに限定されず、２フレーム毎、３フレーム毎のように複数フレーム毎であっても良い。さらに、３フレーム以上のフレーム間における３点以上の画素値の傾きを用いて、フレーム間の変動量（差分、相関値）を算出してもよい。
なお、本実施例では、輝度信号処理部２０４、色信号処理部２０６が撮像素子１の外部に設けられた例を説明した。他の例として、撮像素子１が、輝度信号処理部２０４と色信号処理部２０６を有していても良い。また、撮像素子１が、撮像領域１０１が形成された第１の半導体基板と、輝度信号処理部２０４と色信号処理部２０６のそれぞれが形成された第２の半導体基板とが積層された積層型センサであっても良い。
【００７３】
（第２の実施形態）
図１１は、本実施形態に係る撮像装置の信号処理部２のブロック図である。第１実施形態はＷの画素値の平均値Ｗａｖｅに基づきフレーム間処理の判定を行っていたが、本実施形態は色比情報に基づきフレーム間処理の判定を行う。以下、第２実施形態の撮像装置について、第１の実施形態とは異なる点を中心に説明する。
【００７４】
制御部２０５は色比処理部２２２、判定処理部２１３を備え、色比処理部２２２には補間後のＷの画素信号３ｃとＲＧＢの画素信号３ｅが入力される。
【００７５】
色比処理部２２２は、補間したｉＷｒ、ｉＷｇ、ｉＷｂの画素値とＲＧＢの画素値とのそれぞれの比を算出し、色比情報を出力する。色比は、Ｒ／ｉＷｒ、Ｇ／ｉＷｇ、Ｂ／ｉＷｂの式に従い算出される。
【００７６】
判定処理部２１３は、色比情報のフレーム間差分の絶対値と閾値Ｖｔｈとを比較し、比較結果に基づく判定信号Ｊを出力する。例えば、色比Ｂ／ｉＷｂに基づく判定信号Ｊは次式に従い求められる。
【数６】
0006628497.tif 000007
【００７７】
ここで、Ｂ（Ｎ）、ｉＷｂ（Ｎ）は第ＮフレームのＢの画素値、ｉＷｂの画素値を表し、Ｂ（Ｎ−１）、ｉＷｂ（Ｎ−１）は第（Ｎ−１）フレームのＢの画素値、ｉＷｂの画素値を表している。Ｒ、Ｇの画素値についても同様に判定信号Ｊを求めることができる。この場合、ＲＧＢのそれぞれについて判定信号Ｊを求め、フレーム間処理の重み付けを変更することができる。また、差分絶対値が最大となる色比に基づき判定信号Ｊを決定しても良く、さらには、色比の平均値を用いて判定信号Ｊを決定しても良い。閾値Ｖｔｈは１以下の値であって、様々な被写体の撮像結果に基づき最適な値に設定されることが望ましい。なお、被写体照度、照明の色温度などの撮影条件に基づき、閾値Ｖｔｈを動的に変更させても良い。
【００７８】
図１２は本実施形態に係る制御部２０５、色信号処理部２０６の動作を説明するための図である。図１２（ａ）は、各フレームのｉＷｂ、Ｂのそれぞれの画素値を表しており、図１２（ｂ）は、各フレームの色比情報を表している。これらの図は、図９と同様に、灰色の背景の前を青色の球体が移動する被写体の撮像結果を示しており、第（Ｎ−３）フレームから第Ｎフレームまでの領域９００における各値の変化を示している。第（Ｎ−３）フレームから第（Ｎ−１）フレームにおいて、色比情報Ｂ／ｉＷｂの変化は小さいため、フレーム間の色比情報の差分絶対値は閾値Ｖｔｈ以下となる。よって、判定信号Ｊは「０」となり、フレーム間処理部２１４において色信号のフレーム間処理が行われ、色信号のノイズリダクションがなされる。第（Ｎ−１）フレームから第Ｎフレームにかけて、領域９００が青色から灰色に変化すると、Ｂの画素値およびｉＷｂの画素値の色比情報が変化する。フレーム間の色比情報Ｂ／ｉＷｂの差分絶対値が閾値Ｖｔｈを超えると、判定信号Ｊは「１」となり、色信号のフレーム間処理は行われない。従って、過去フレームを参照することにより生じ得る色残像を抑制することができる。
【００７９】
本実施形態は色比に基づきフレーム間処理の重み付けを変更しているため、Ｗの画素値に基づき重み付けを変更する第１実施形態に比べて演算処理量が増加し得るが、色残像を効果的に抑制することができる。色信号処理のフレーム間処理（ノイズリダクション）により、色残像が生じる主要な原因は、色比の急激な変化である。従って、色比の変化（差分）に応じて、色信号のフレーム間処理の可否を判定することにより、色残像を効果的に抑制することが可能となる。また、ＲＧＢＷ１２配列においては、ＲＧＢ画素はＷ画素によって囲まれているため、ＲＧＢ画素位置におけるＷの画素値を高精度に補間することができる。よって、色比を高精度に算出することができ、フレーム間処理の判定の精度を向上させることが可能となる。
【００８０】
以上説明したように、本実施形態によれば、色比を用いて色信号のフレーム間処理における各フレームの重み付けを変更している。色比を判定に用いることで、本来の色比から離れたフレーム間処理がなされることを回避し、色付きの残像が生じるのを高精度に防止することができる。すなわち、第１の実施形態と比較して、フレーム間処理の判定をさらに高精度に行うことができ、色残像をさらに低減することが可能となる。
【００８１】
なお、フレーム間処理の判定において、色比に代えて、ｉＷの画素値とＲＧＢの画素値との色差を用いてもよい。すなわち、フレーム間において色差が閾値Ｖｔｈ以下である場合には、色信号のフレーム間処理を実行し、フレーム間の色差が閾値Ｖｔｈを超えた場合には、色信号のフレーム間処理を実行しないように構成しても良い。
【００８２】
（第３の実施形態）
図１３は、本実施形態に係る撮像装置の信号処理部２のブロック図である。本実施形態は、Ｗ画素の複数フレームを用いた動きベクトルに基づきフレーム間処理の判定を行う点において第１実施形態と異なっている。以下、本実施形態に係る撮像装置について、第１実施形態とは異なる点を中心に説明する。
【００８３】
判定処理部２３１はブロックマッチング法により動きベクトルを算出し、動きベクトルの絶対値と閾値Ｖｔｈとの比較結果に基づき判定信号Ｊを決定する。
【００８４】
図１４は本実施形態に係る判定処理部２３１の動作を説明するための図であって、ブロックマッチング法における基準フレームおよび参照フレームを示している。図１４（ａ）において、判定処理部２３１は、基準フレーム内に窓領域Ａを設定し、窓領域Ａ内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、第（Ｎ−１）フレームの次の第Ｎフレームが用いられる。
【００８５】
探索範囲は、図１４（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準とした所定の範囲Ｃが設定される。また、パターンの類似度は、次式で表される残差平方和ＳＳＤ（Sum of Squared Difference）を評価値として判断し得る。
【数７】
0006628497.tif 000008
【００８６】
ここで、ｆ（ｘ、ｙ、ｔ）は画像の時空間分布であり、ｘ、ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【００８７】
判定処理部２３１は、探索範囲内で（ｕ、ｖ）を変化させることにより、評価値が最小となる（ｕ、ｖ）の組を探索し、この（ｕ、ｖ）をフレーム間の動きベクトルとする。判定処理部２１３は、窓領域の位置を順次シフトさせることによって、動きベクトルを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。
【００８８】
ＲＧＢ画素に比べて、画素数が多く、感度が高いＷ画素を動き検知に用いることにより、動きベクトルの空間解像度を上げるとともに、動きベクトルの算出におけるノイズに対する耐性を高めることが可能となる。
【００８９】
動きベクトルの絶対値が閾値Ｖｔｈを越えた場合には、判定処理部２１３は判定信号Ｊを「１」とする。この場合、フレーム間処理部２１４は、色信号のフレーム間処理の処理数を少なくし、あるいは、フレーム間処理を行わない。これにより、動きのある部分に色信号処理を行うことにより生じる色残像を低減することが可能となる。一方、動きベクトルの絶対値が閾値Ｖｔｈ以下の場合には、判定信号Ｊは「０」となり、フレーム間処理部２１４において色信号のフレーム間処理が行われ、色信号のノイズリダクションがなされる。
【００９０】
本実施形態においても、第１、第２の実施形態と同様の効果を奏することが可能である。さらに、本実施形態においては、Ｗ画素における動きベクトルの大きさに応じて色信号のフレーム間処理を行うか否かを判定している。Ｗ画素は高い空間解像度と高い感度を有していることから、フレーム間処理の判定を高精度に行うことができる。この結果、色残像をさらに低減しながら、色信号のノイズリダクション効果を得ることが可能となる。
【００９１】
（第４の実施形態）
図１５は、本実施形態に係る撮像装置の信号処理部２のブロック図である。本実施形態の撮像装置は、図４（ｃ）で表わされるＲＧＢＷ８配列を用いている点において第１実施形態の撮像装置と異なっている。以下、第４実施形態の撮像装置について、第１実施形態と異なる点を中心に説明する。
【００９２】
ＲＧＢＷ８の配列においては、ＲＧＢＷ１２の配列に比べてＷ画素が少ないため、感度が低下する。一方、Ｗ画素の周囲にＲＧＢの画素が存在するため、偽色が発生し難くなる。図１５において、ＲＧＢＷ８のＣＦ配列の画素信号４ａは、輝度信号であるＷの画素信号４ｂと、色信号であるＲＧＢの画素信号４ｅとに分離される。
【００９３】
輝度信号処理部２０４は、画素信号４ｂにおいてＲＧＢ画素を分離した部分の画素値を補間処理によって求め、補間後の画素信号４ｃを生成する。補間された画素はｉＷｒ、ｉＷｇ、ｉＷｂと表記されている。
【００９４】
制御部２０５は空間平均処理部２１２、判定処理部２１３を備える。空間平均処理部２１２はＷの画素信号４ｂにおいて所定ブロックの画素値の平均値Ｗａｖｅを算出する。判定処理部２１３は平均値Ｗａｖｅのフレーム間の差分と閾値Ｖｔｈとを比較する。フレーム間差分の絶対値が閾値Ｖｔｈより大きい場合は、判定信号Ｊは「１」となり、フレーム間差分の絶対値が閾値Ｖｔｈ以下の場合は、判定信号Ｊは「０」となる。
【数８】
0006628497.tif 000009
【００９５】
色信号処理部２０６はフレーム間処理部２１４を備える。フレーム間処理部２１４の処理は第１実施形態と同様に構成されている。すなわち、判定信号Ｊが「１」の場合、フレーム間処理部２１４は色信号のフレーム間処理の処理数を少なくし、またはフレーム間処理を行わない。つまり、Ｗの画素値の時間的変化が大きい場合、色信号のフレーム間処理を少なくすることにより、動きのある被写体の色残像を低減することが可能となる。
【００９６】
信号合成部２０７は、補間後のＷの画素信号４ｃと、色信号処理後のＲＧＢの画素信号とを合成する。すなわち、信号合成部２０７は、Ｗ、ｉＷの画素値と、同位置のｎ＿Ｒ、ｎ＿Ｇ、ｎ＿Ｂの画素値との色比を算出し、色比とＷ、ｉＷの画素値とを乗算することにより、画素毎にＲＧＢの値を算出する。第１実施形態と同様に、Ｗ、ｉＷの画素のそれぞれについてＲＧＢの画素値は次式で求められる。
【数９】
0006628497.tif 000010
0006628497.tif 000011
【００９７】
本実施形態においては、ＲＧＢＷ８の配列を用いることにより、第１の実施形態に比べて、画像の感度、解像度が低くなったが、被写体の絵柄によっては偽色を低減することができた。
【００９８】
（第５の実施形態）
図１６は本実施形態に係る撮像装置の信号処理部２のブロック図である。本実施形態の撮像装置は、図４（ｄ）で表わされるＲＧＢＧ１２の配列を用いている点において第１実施形態の撮像装置と異なっている。以下、第５実施形態の撮像装置について、第１実施形態と異なる点を中心に説明する。
【００９９】
ＲＧＢＧ１２の配列においては、ＲＧＢＷ１２のＷ画素をＧ画素に置き換えているため、感度が低下し易い。しかしながら、Ｗの画素はＲＧＢ画素に対して感度が高いため、高輝度の被写体を撮像した際に、Ｗ画素が飽和し、ダイナミックレンジが低下し得る。本実施形態において、ＲＧＢＧ１２配列のＣＦを用いることにより、信号の飽和と感度のバランスを取ることができる。
【０１００】
図１６において、画素信号５ａはＧの画素信号５ｂとＲ、Ｂの画素信号５ｅとに分離される。
【０１０１】
輝度信号処理部２０４は画素信号５ｂにおいてＲ、Ｂの画素が分離された部分の補間処理を行い、ｉＧｒ、ｉＧｂの画素値を生成する。空間平均処理部２１２はＧの画素信号５ｂにおいて所定ブロックのＧの画素値の平均値Ｗａｖｅを算出する。判定処理部２１３は平均値Ｗａｖｅのフレーム間の差分と閾値Ｖｔｈとを比較する。フレーム間差分の絶対値が閾値Ｖｔｈより大きい場合は、判定信号Ｊは「１」となり、フレーム間差分の絶対値が閾値Ｖｔｈ以下の場合は、判定信号Ｊは「０」となる。
【数１０】
0006628497.tif 000012
【０１０２】
Ｇ画素の感度はＷ画素の感度に比べて低いものの、Ｇ画素はＲ、Ｂ画素に比べて輝度情報を多く含む。被写体が動いた場合には、色だけではなく輝度が変化する場合が多い。このため、Ｇ画素のフレーム間の差分を求めることで、フレーム間処理の判定精度を上げることができる。
【０１０３】
色信号処理部２０６は、Ｒ、Ｂの画素信号５ｅのフレーム間処理を行う。フレーム間処理部２１４の処理は第１実施形態と同様である。フレーム間処理部２１４は、判定信号Ｊが「１」の場合は、判定信号Ｊが「０」の場合に比べて、フレーム間処理の処理数を少なくし、またはフレーム間処理を行わない。すなわち、Ｇの画素値の時間変化が大きい場合には、色信号のフレーム間処理を少なくする。これにより、動きのある被写体において、色づきの残像を低減することが可能となる。
【０１０４】
信号合成部２０７は、補間後のＧの画素信号５ｃと、フレーム間処理後のＲ、Ｂの画素信号を合成する。すなわち、信号合成部２０７はＧ、ｉＧの画素値と、同位置のｎ＿Ｒ、ｎ＿Ｂの画素値との色比を算出し、色比とＧ、ｉＧの画素値とを乗算することにより、画素毎にＲＧＢの値を算出する。Ｇ、ｉＧの画素のそれぞれについてＲＧＢの画素値は次式で求められる。
【数１１】
0006628497.tif 000013
0006628497.tif 000014
【０１０５】
撮影した画像において、第１の実施形態に比べ、感度、解像度が低くなったが、ＲＧＢ画素を用いることにより、飽和を抑えるとともに、動画撮影時の偽色を低減することが可能となった。このように、輝度信号は第１の実施形態のようにＷ画素の信号に限定されず、視覚特性において輝度情報が多く含まれる画素（例えばＧ画素）の情報であればよい。また、色信号は、相対的に輝度情報の少ない画素（例えばＲ画素、Ｂ画素）の信号であればよい。さらに、本実施形態は、画素信号５ａをＧの画素信号５ｂとＲ、Ｂの画素信号５ｅに分離しているが、輝度情報が多く含まれるデータと輝度情報の少ないデータとを演算によって分けても同様の効果を奏することができる。
【０１０６】
（第６の実施形態）
図１７は本実施形態に係る撮像装置の信号処理部２のブロック図である。
【０１０７】
本実施形態の撮像装置について、第１の実施形態とは異なる点を中心に説明する。本実施形態において、撮像素子１は図５（ｂ）で表されるＣＭＹＷ１２配列を用いている。ＣＭＹＷ１２配列は感度の高い補色（Ｃ、Ｍ、Ｙ）の画素に加えてさらにＷの画素を用いていることから、感度を向上させることができる。
【０１０８】
図１７において、撮像素子１からの画素信号６ａは、Ｗの画素信号６ｂと、Ｃ、Ｍ、Ｙの画素信号６ｅとに分離される。
【０１０９】
輝度信号処理部２０４は、画素信号６ｂにおいて、Ｃ、Ｍ、Ｙの画素が分離された部分を補間処理し、ｉＷｃ、ｉＷｍ、ｉＷｙの画素値を生成する。制御部２０５の空間平均処理部２１２はＷの画素信号６ｂにおいて所定のブロックの画素値の平均値Ｗａｖｅを算出する。判定処理部２１３は平均値Ｗａｖｅのフレーム間の差分と閾値Ｖｔｈとを比較する。フレーム間差分の絶対値が閾値Ｖｔｈより大きい場合は、判定信号Ｊは「１」となり、フレーム間差分の絶対値が閾値Ｖｔｈ以下の場合は、判定信号Ｊは「０」となる。
【数１２】
0006628497.tif 000015
【０１１０】
色信号処理部２０６のフレーム間処理部２１４は第２の画素群であるＣＭＹの画素信号のフレーム間処理を行う。フレーム間処理部２１４は、判定信号Ｊが「１」の場合は、判定信号Ｊが「０」の場合よりも、フレーム間処理の処理数を少なくし、またはフレーム間処理を行わない。これにより、動きのある被写体の動きがある場合における色付きの残像を低減することが可能となる。信号合成部２０７は、補間後のＷの画素信号６ｃと、色信号処理後のＣＭＹの画素信号とを合成する。すなわち、信号合成部２０７は、Ｗ、ｉＷの画素値と、同位置のｎ＿Ｃ、ｎ＿Ｍ、ｎ＿Ｙの画素値との色比を算出し、色比とＷ、ｉＷの画素値とを乗算することにより、画素毎にＣＭＹの値を算出する。Ｗ、ｉＷの画素のそれぞれについてＣＭＹの画素値は次式で求められる。
【数１３】
0006628497.tif 000016
0006628497.tif 000017
【０１１１】
ＣＭＹ／ＲＧＢ変換部２８７は、信号合成部２０７から出力されたＣＭＹの画素値をＲＧＢの画素値に変換し、画像信号６ｇを出力する。以上の処理を行った撮像装置を用いて評価撮影を行った。一部画像パターンにおいて色再現性が劣るものの、第１の実施形態の撮像装置に比べて感度が高くなり、動画撮影時の偽色が低減された。なお、信号合成部２０７の処理をＣＭＹ／ＲＧＢ変換部２８７の処理の後に実行してもよく、また、２つの処理を一体として実行してもよい。
【０１１２】
（第７の実施形態）
図１８は本実施形態の撮像装置の信号処理部２のブロック図である。本実施形態の撮像装置について、第１の実施形態と異なる点を中心に説明する。本実施形態において、撮像素子１は図４（ａ）で表わされるベイヤ（ＲＧＢ）配列を用いている。輝度信号処理部２０４はＧの画素値を輝度信号として処理を行い、色信号処理部２０６はＲ、Ｂの画素値を色信号として処理を行う。ベイヤ配列においては、Ｗ画素を用いたＣＦに比べると感度が低いという性質を有している。しかしながら、本実施形態によれば、比較的感度の低いＲ、Ｂの画素値に対してフレーム間処理を行うことにより、低照度時の色ノイズを抑えることができる。また、Ｒ、Ｂの画素と比較して感度および解像度の高いＧ画素を用いてフレーム間処理の判定を行うことで、判定精度を向上させ、色残像を低減することができる。
【０１１３】
図１８において、ベイヤ（ＲＧＢ）配列の画素信号７ａは、Ｇの画素信号７ｂと、ＲＢの画素信号７ｅとに分離される。
【０１１４】
輝度信号処理部２０４はＲ、Ｂの画素が分離された部分を補間処理し、ｉＧｒ、ｉＧｂの画素値を生成する。制御部２０５の空間平均処理部２１２はＧの画素信号７ｂにおいて所定ブロックの画素値の平均値Ｇａｖｅを算出する。判定処理部２１３は、Ｇ画素の空間平均値をフレーム間差分し、閾値Ｖｔｈと比較する。フレーム間の差分絶対値が閾値Ｖｔｈより大きい場合は、判定信号Ｊは「１」となり、フレーム間の差分絶対値が閾値Ｖｔｈ以下の場合は、判定信号Ｊは「０」となる。
【数１４】
0006628497.tif 000018
【０１１５】
色信号処理部２０６は、ＲＢの画素信号７ｅのフレーム間処理を行う。すなわち、フレーム間処理部２１４は、判定信号Ｊが「１」の場合は、判定信号「Ｊ」が０の場合よりも、フレーム間処理の処理数を少なくし、またはフレーム間処理を行わない。つまり、Ｇの画素値の時間的変化が大きい場合には、色信号のフレーム間処理を少なくする。これにより、動きのある被写体において、色残像を低減することが可能となる。
【０１１６】
信号合成部２０７では、補間後のＧの画素信号７ｃと、フレーム間処理後のＲＢの画素信号とを合成する。信号合成部２０７はＧ、ｉＧの画素値と、同位置のｎ＿Ｒ，ｎ＿Ｂの画素値との色比を算出し、色比とＧ、ｉＧの画素値とを乗算する。よって、画素毎にＲＧＢの値が算出され、画像信号７ｇが生成される。Ｇ、ｉＧの画素のそれぞれについてＲＧＢの画像値は次式で求められる。
【数１５】
0006628497.tif 000019
0006628497.tif 000020
【０１１７】
撮影した画像において、ベイヤ配列のＣＦを用いながら、低照度での色ノイズの低減、および色残像の低減を両立することが可能となった。
【０１１８】
（第８の実施形態）
第８の実施形態に係る撮像システムを説明する。上述した第１〜第７の実施形態の撮像装置は種々の撮像システムに適用可能である。撮像システムは撮像装置を用いて画像、動画等を取得する装置であり、その一例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどがある。図１９に、撮像システムの例としてデジタルスチルカメラに第１〜第７の実施形態の撮像装置を適用したブロック図を示す。
【０１１９】
図１９において、撮像システムは被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３およびレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像システムは撮像装置３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。
【０１２０】
出力信号処理部３０５はデジタル信号処理部を有し、撮像装置３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。撮像装置３０１から出力される信号がアナログ信号である場合、出力信号処理部３０５はアナログ／デジタル変換回路をデジタル信号処理部の前段に備えてもよい。
【０１２１】
また、撮像システムは、画像データを一時的に記憶するためのバッファメモリ部３０６、記録媒体への記録または読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部３０７を有する。さらに撮像システムは、撮像データの記録または読み出しを行うための半導体メモリ等の、着脱可能な、または撮像システムに内蔵された、記録媒体３０９を有する。さらに、撮像システムは、外部のコンピュータ等と通信するための外部インターフェース（Ｉ／Ｆ）部３０８、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部３１０を有する。さらに撮像システムは、出力信号処理部３０５に、各種タイミング信号を出力するタイミング発生部３１１を有する。なお、タイミング信号などの制御信号はタイミング発生部３１１ではなく外部から入力されてもよい。すなわち、撮像システムは少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する出力信号処理部３０５とを有すればよい。
【０１２２】
以上のように、本実施形態の撮像システムは、第１〜第７の実施形態で述べた撮像装置３０１を適用して撮像動作を行うことが可能である。
【０１２３】
（他の実施形態）
以上、本発明に係る撮像装置を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜修正および変形することを妨げるものではない。例えば、上述の第１〜第８実施形態の構成を組み合わせることも可能である。また、撮像装置は必ずしも撮像素子を備えなくても良く、撮像素子から出力された画像信号を処理するコンピュータなどの画像処理システムであっても良い。
【符号の説明】
【０１２４】
１  撮像素子
２  信号処理部
１００  画素
２０４  輝度信号処理部
２０５  制御部
２０６  色信号処理部
２０７  信号合成部
【図１】
0006628497.tif 000021
【図２】
0006628497.tif 000022
【図３】
0006628497.tif 000023
【図４】
0006628497.tif 000024
【図５】
0006628497.tif 000025
【図６】
0006628497.tif 000026
【図７】
0006628497.tif 000027
【図８】
0006628497.tif 000028
【図９】
0006628497.tif 000029
【図１０】
0006628497.tif 000030
【図１１】
0006628497.tif 000031
【図１２】
0006628497.tif 000032
【図１３】
0006628497.tif 000033
【図１４】
0006628497.tif 000034
【図１５】
0006628497.tif 000035
【図１６】
0006628497.tif 000036
【図１７】
0006628497.tif 000037
【図１８】
0006628497.tif 000038
【図１９】
0006628497.tif 000039