(57)【特許請求の範囲】
【請求項１】
各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記ホワイト画素の数が、前記撮像素子において光が入射する全ての画素の数に占める割合をＸとして、前記ｎを、１／Ｘ以上の数とすることを特徴とする撮像装置の駆動方法。
【請求項２】
各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｎ個のフレームのうちの最終フレームのみに含まれる前記ホワイト画素の信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法。
【請求項３】
各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｍ個のフレームに含まれる前記ホワイト画素の信号を平均処理した信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法。
【請求項４】
各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、
前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、
前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、
前記撮像素子は前記ホワイト画素を複数有し、
１つの前記カラー画素は、平面視における上下方向、左右方向、斜め方向の全てにおいて、前記ホワイト画素と隣接していることを特徴とする撮像装置の駆動方法。
【請求項５】
前記１つのカラー画素に対して、上下方向に隣接した前記ホワイト画素の信号と、前記左右方向に隣接した前記ホワイト画素の信号とを比較した結果に基づいて、前記１つのカラー画素の位置における、前記ホワイト画素に対応する信号を補間する処理を行うことを特徴とする請求項４に記載の撮像装置の駆動方法。
【請求項６】
前記１つのカラー画素に対して、上下方向に隣接した前記ホワイト画素の信号と、前記左右方向に隣接した前記ホワイト画素の信号と、前記斜め方向に隣接した前記ホワイト画素の信号とを比較した結果に基づいて、前記１つのカラー画素の位置における、前記ホワイト画素に対応する信号を補間する処理を行うことを特徴とする請求項４に記載の撮像装置の駆動方法。
【請求項７】
前記ｎ個のフレームに、前記ｍ個のフレームが含まれることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置の駆動方法。
【請求項８】
前記ｍが２以上の整数であり、前記ｎは３以上の整数であることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置の駆動方法。
【請求項９】
前記ｎ個のフレームのうち、ｎ−１個の各々のフレームのカラー画素が出力する信号を１／ｎ倍した信号と、１フレーム目のカラー画素が出力する信号とを加算することによって、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号を得ることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置の駆動方法、信号処理方法に関する。
【背景技術】
【０００２】
撮像装置では、カラー映像を得るために、素子表面に各画素単位で特定の波長成分、例えば赤、緑、青のそれぞれの色の光を透過させるカラーフィルタ（ＣＦと表記する場合もある）を設け、いわゆるベイヤ配列を持つものが多く利用されている。以下、赤、緑、青をＲ、Ｇ、Ｂと表記する。また、ＲのＣＦが配された画素をＲ画素、ＧのＣＦが配された画素をＧ画素、ＢのＣＦが配された画素をＢ画素と表記する。また、Ｒ画素、Ｇ画素、Ｂ画素を纏めて表記する場合にはＲＧＢ画素と表記することがある。【０００３】
特許文献１には、ＲＧＢ画素と、ＣＦが配されていない画素（以下、ホワイト画素、あるいはＷ画素と表記する）を有する画像処理装置が記載されている。そして、特許文献１の撮像装置は、ＲＧＢＷ配列を有する撮像素子が出力する信号に対して、エッジ検出、ぼけ補正を行い、色相関リモザイク処理を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
少なくともＲＧＢ画素を有する撮像装置において、色ノイズを低減した画像を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記ホワイト画素の数が、前記撮像素子において光が入射する全ての画素の数に占める割合をＸとして、前記ｎを、１／Ｘ以上の数とすることを特徴とする撮像装置の駆動方法である。
【０００７】
本発明の別の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｎ個のフレームのうちの最終フレームのみに含まれる前記ホワイト画素の信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法である。
【０００８】
また、本発明の別の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記出力信号処理部は、前記ｎ個のフレームに含まれる前記複数のカラー画素が出力する信号を平均処理した信号と、前記ｍ個のフレームに含まれる前記ホワイト画素の信号を平均処理した信号とを用いて、画像データを生成することを特徴とする撮像装置の駆動方法である。
【０００９】
また、本発明の別の一の態様は、各々に赤、緑、青のいずれかのカラーフィルタが配された複数のカラー画素と、ホワイト画素とを有する撮像素子と、出力信号処理部とを有する撮像装置の駆動方法であって、前記撮像素子は前記出力信号処理部に、前記複数のカラー画素が出力する信号と、前記ホワイト画素が出力する信号とを出力し、前記出力信号処理部は、ｎ個のフレーム（ｎは２以上の整数）に含まれる前記複数のカラー画素が出力する信号と、前記ｎよりも少ないｍ個のフレームに含まれる前記ホワイト画素の信号とを用いて画像データを生成し、前記撮像素子は前記ホワイト画素を複数有し、１つの前記カラー画素は、平面視における上下方向、左右方向、斜め方向の全てにおいて、前記ホワイト画素と隣接していることを特徴とする撮像装置の駆動方法である。
【発明の効果】
【００１０】
本発明によれば、色ノイズを低減した画像を生成する撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の構成の一例を示した図である。
【図２】撮像素子の構成の一例を示した図である。
【図３】撮像素子のカラーフィルタ配列の一例を示した図である。
【図４】撮像装置の動作の一例を示した図である。
【図５】撮像装置の動作の一例を示した図である。
【図６】撮像装置が生成した画像に対する評価結果を示した図である。
【図７】撮像装置の動作の一例を示した図である。
【図８】撮像装置が生成した画像に対する評価結果を示した図である。
【図９】撮像素子のカラーフィルタ配列の一例を示した図である。
【図１０】撮像装置の動作の一例を示した図である。
【図１１】撮像装置の動作の一例を示した図である。
【図１２】撮像素子のカラーフィルタ配列の一例を示した図である。
【図１３】撮像装置の動作の一例を示した図である。
【図１４】撮像装置の動作の一例を示した図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら各実施形態の撮像装置について説明する。
【００１３】
（実施例１）
図１は、本実施例の撮像装置５００の構成を示した図である。
【００１４】
撮像装置５００は撮像素子３０１を用いて画像、動画等を取得する装置であり、その一例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどがある。
【００１５】
図１において、撮像装置５００は被写体の光学像を撮像素子３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３及びレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像装置５００は撮像素子３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。
【００１６】
出力信号処理部３０５はデジタル信号処理部を有し、撮像素子３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。撮像素子３０１から出力される信号がアナログ信号である場合、出力信号処理部３０５はアナログ／デジタル変換回路をデジタル信号処理部の前段に備えてもよい。
【００１７】
また、撮像装置５００は、画像データを一時的に記憶する為のバッファメモリ部３０６を有する。さらに撮像装置５００は、外部のコンピュータ等と通信するための外部インターフェース（Ｉ／Ｆ）部３０７を有する。さらに撮像装置５００は、記録媒体への記録又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部３０８を有する。さらに撮像装置５００は、撮像データの記録又は読み出しを行う記録媒体３０９を有する。記録媒体３０９は、着脱可能な、又は撮像装置に内蔵された半導体メモリである。
【００１８】
さらに撮像装置５００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部３１０を有する。さらに撮像装置５００は、出力信号処理部３０５に、各種タイミング信号を出力するタイミングジェネレータ３１１を有する。なお、タイミング信号などの制御信号はタイミングジェネレータ３１１ではなく、撮像装置５００の外部から入力されてもよい。すなわち、撮像装置５００は少なくとも撮像素子３０１と、撮像素子３０１から出力された出力信号を処理する出力信号処理部３０５とを有する。
【００１９】
図２は、本実施形態の係る撮像素子の一例を示したブロック図である。本実施形態の撮像素子は、画素１００が行列状に配された画素アレイを有する撮像領域１と、垂直走査回路２と、列回路部３と、水平走査回路４と、出力部５とを有する。垂直走査回路２は、画素１００を行単位で選択する。垂直走査回路２によって選択された画素１００は、入射光に基づく信号を垂直信号線６に出力する。複数の垂直信号線６の各々は、１列の画素１００に対応して設けられている。列回路部３は、各列の垂直信号線６に対して、各々が設けられた複数の列回路を有する。複数の列回路の各々は、対応する垂直信号線６に出力された画素１００からの信号から、ノイズ成分を差し引いた信号を生成する。水平走査回路４は、列回路部３の複数の列回路を、順次、水平走査する。これにより、列回路部３の各列の列回路から順次、信号が出力部５に出力される。出力部５は、撮像素子３０１の外部に設けられた出力信号処理部３０５に信号を出力する。
【００２０】
図３（ａ）、図３（ｂ）のそれぞれの図は画素のカラーフィルタ（ＣＦ）の配置の例を示した図である。Ｒ、Ｇ、Ｂは、それぞれ順に、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）のカラーフィルタを示している。また、Ｗはホワイト画素であって、カラーフィルタが設けられていないことを示している。
【００２１】
図３（ａ）はベイヤ配置であり、Ｗ画素は設けられていない。ＣＦの比率がＲ：Ｇ：Ｂが１：２：１になる。Ｇ画素が、Ｒ画素及びＢ画素に比して多く配置されているのは、人間の視覚の特性が、赤色、青色に比して、緑色に対応する波長に対して高い感度を有するからである。また、人間の視覚が認識する画像の解像感が、赤色、青色に比して、緑色の波長に対応する光の輝度に強く依存するからである。
【００２２】
図３（ｂ）にＲＧＢＷ１２と表記したＣＦ配列を示す。この配列では、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で配置されている。カラー画素であるＲ画素、Ｇ画素、Ｂ画素のいずれの画素も平面視における上下方向、左右方向、斜め方向のそれぞれにＷ画素が隣接して配されている。すなわち、Ｒ画素、Ｇ画素、Ｂ画素の各々は、８つのＷ画素に囲まれている。Ｗ画素は、全画素の３／４の比率を占めている。カラー画素であるＲＧＢ画素の各々がＷ画素で周囲を囲まれていることにより、図３（ｂ）のＣＦ配列に比して、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれの信号に対し、Ｗ画素の信号を補間する補間精度が向上する。
【００２３】
図４は、本実施例の撮像素子３０１、出力信号処理部３０５の動作を示したフロー図である。
【００２４】
ステップＳ１０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
【００２５】
ステップＳ１０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。解像度データとは、Ｗ画素が出力する信号によって作成されるデータであり、輝度を示すデータである。一方、カラーデータは、ＲＧＢ画素が出力する信号によって作成されるデータである。カラーデータは、Ｒ画素、Ｇ画素、Ｂ画素の画素数の和が全画素の１／４である。よって、全画素数に対し、Ｘ方向に１／２、Ｙ方向に１／２の解像度となる。図４では、その解像度の低下を画素の大きさで模式的に示している。
【００２６】
図３（ｂ）のＣＦ配列において、Ｒ画素、Ｇ画素、Ｂ画素の部分のホワイトに相当するデータは取得されていない。よって、図４中では「？」で示している。
【００２７】
ステップＳ１０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｇ画素、Ｂ画素が設けられていた箇所のホワイトに相当する信号を、近接するＷ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｇ画素、Ｂ画素の各々におけるホワイトに相当する信号が補間される。図４では、補間された画素の補間データをｉＷと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。本実施例においてはｉＷの周囲の８画素がＷ画素である。これにより、上下・左右・右斜め・左斜めのＷ画素の出力を補間値の基準として用いることができる。例えば、上下・左右・右斜め・左斜め方向のＷ画素うち、信号値の変化率の少ない２画素の平均を用いることができる。信号値の変化率の少ないＷ画素の平均を用いると求めたｉＷは、上下方向、左右方向のみにＷ画素が隣接している場合に比して、解像度データの真値に対する誤差を抑制できる。
【００２８】
これにより、本実施例のように、８つのＷ画素がＲ画素、Ｇ画素、Ｂ画素のいずれかを囲むＣＦ配列では、高精度の補間処理を行うことができる。
【００２９】
尚、詳細はステップＳ１１１の説明にて述べるが、出力信号処理部３０５は、ステップＳ１０３の補間処理を、撮像素子３０１が出力する、全てのフレームの信号うちの一部のフレームの信号に対して行われる。
【００３０】
ステップＳ１０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
【００３１】
ステップＳ１０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ１０１に処理を戻す。
【００３２】
一方、ステップＳ１０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ１０９に進める。
【００３３】
ステップＳ１０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ１０９において行う処理は、移動平均、逐次型巡回処理（無限インパルス応答、ＩＩＲ：ｉｎｆｉｎｉｔｅ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅ）、非逐次型巡回処理（有限インパルス応答、ＦＩＲ：ｆｉｎｉｔｅ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅ）のいずれか、あるいは複数を組み合わせて行う処理である。この処理によって得られたカラーデータは、各フレームに含まれるカラーデータに含まれていた色ノイズを低減したデータとなっている。
【００３４】
ステップＳ１１１において、出力信号処理部３０５は、解像度データと、ステップＳ１０９で処理されたカラーデータとを合成する処理を行う。
【００３５】
この合成の処理について説明する。ここでは、ステップＳ１０９で処理するカラーデータのフレーム数ｎが２であるとして説明する。
【００３６】
まず、１フレーム目の信号が撮像素子３０１から出力される。出力信号処理部３０５は、１フレーム目の解像度データに対しては、ステップＳ１０５の処理を行わない。
【００３７】
出力信号処理部３０５は、ステップＳ１０７でＮｏの判定を行い、ステップＳ１０１に処理を戻す。
【００３８】
ステップＳ１０１にて、撮像素子３０１が２フレーム目の信号を出力する。出力信号処理部３０５は、ステップＳ１０３の処理の後、ステップＳ１０５の処理を、２フレーム目の解像度データに対して行う。また、ステップＳ１０７でＹｅｓの判定を行い、ステップＳ１０９にて、２つのフレームに含まれるカラーデータに対し、処理を行う。
【００３９】
ステップＳ１１１にて、２フレーム目の解像度データに対し、２つのフレームに含まれるカラーデータを処理したデータを合成する。これにより、出力信号処理部３０５は、解像度データとカラーデータとに基づいて、カラーの画像を生成する。図４では、１画素につきＲＧＢの符号を付している。これは、１画素に対して、Ｒ、Ｇ、Ｂの各色のデータがそれぞれ生成されていることを意味する。
【００４０】
ステップＳ１１３にて、出力信号処理部３０５は、ステップＳ１１１にて生成した画像を出力する。
【００４１】
図５は、図４で説明したステップＳ１０７の処理の詳細を示した図である。
【００４２】
本実施例の撮像素子は、Ｗ画素が設けられている分、Ｒ画素、Ｇ画素、Ｂ画素の画素数の和が、図３（ａ）で示したベイヤ配列に比して少なくなっている。従って、Ｒ画素、Ｇ画素、Ｂ画素のランダムノイズ、フォトショットノイズが、ベイヤ配列に比してＲ画素、Ｇ画素、Ｂ画素の画素数が少ないことによって目立ちやすくなる。このランダムショットノイズ、フォトショットノイズを総称して色ノイズと表記することとする。
【００４３】
この色ノイズを低減するために、本実施例の撮像装置５００は、時間的に連続した複数のフレームに含まれるカラーデータを用いて、ノイズリダクション（ＮＲ：ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ）を行う。ノイズリダクションの方法を説明する。まず、１フレーム目のカラーデータを、予めフレームメモリに格納する。この１フレーム目のカラーデータには、後に説明する乗算、除算の処理を行わない。
【００４４】
次に、２フレーム目のカラーデータについて説明する。図５に示したように、出力信号処理部３０５は、２フレーム目のカラーデータに対して、まず係数１／ｎを乗じる。本実施例では、ｎは２としているため、Ｒ画素、Ｇ画素、Ｂ画素の各々の信号値は１／２となる。そして、出力信号処理部３０５は、フレームメモリに格納された、１フレーム目のカラーデータに、係数（ｎ−１）／ｎを乗じる。ｎは２であるため、１フレーム目のカラーデータのＲ画素、Ｇ画素、Ｂ画素の信号は、それぞれ１／２となる。そして出力信号処理部３０５は、１／２倍された１フレーム目の信号と、１／２倍された２フレーム目の信号を加算する。これにより、１フレーム目と２フレーム目のそれぞれのカラーデータを平均化したデータを取得することができる。
【００４５】
尚、ｎが３以上の場合には、出力信号処理部３０５は、１フレーム目と２フレーム目のカラーデータで平均化されたカラーデータを２／３倍した信号と、３個のフレームのうちの最終フレームである３フレーム目に含まれるカラーデータを１／３倍したカラーデータとを加算することで、３フレームに含まれるカラーデータの平均化したデータを取得する。
【００４６】
図５中のｎｒＲ、ｎｒＧ、ｎｒＢはノイズリダクション後のＲ画素、Ｇ画素、Ｂ画素のカラーデータを示している。ノイズリダクション後のカラーデータは、複数のフレームに含まれるカラーデータを用いて作成される。つまり、ｎｒＲ、ｎｒＧ、ｎｒＢは、各フレームに含まれるカラーデータに比して、ノイズ成分の少ないデータになる。
【００４７】
次に、ステップＳ１１１の処理について、さらに説明する。ステップＳ１１１の処理は、Ｒ画素、Ｇ画素、Ｂ画素が配置されている画素のホワイトに相当する信号の補間データｉＷと、当該画素のｎｒＲ、ｎｒＧ、ｎｒＢのＲＧＢそれぞれの色比を算出する処理である。そして、色比に対して、各画素のデータＷもしくは補間データｉＷを乗算したものが画素毎のＲＧＢの値となる。具体的には、以下の式で説明される。
【００４８】
処理対象の画素がＷ画素の場合
【００４９】
【数１】
0006598797.tif 000002
【００５０】
処理対象の画素がＲ画素、Ｇ画素、Ｂ画素の場合
【００５１】
【数２】
0006598797.tif 000003
【００５２】
ここで、ｉＷｒ、ｉＷｇ、ｉＷｂは、Ｒ画素、Ｇ画素、Ｂ画素の部分のｉＷ値である。
また、別の処理の方法として、色のデータの規格化を行い、処理することもでき、以下の式で説明される。
【００５３】
処理対象の画素がＷ画素の場合
【００５４】
【数３】
0006598797.tif 000004
【００５５】
処理対象の画素がＲ画素、Ｇ画素、Ｂ画素の場合
【００５６】
【数４】
0006598797.tif 000005
【００５７】
この式中でｎｒＲ、ｎｒＧ、ｎｒＢは、（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）で規格化されている。よって、ｎｒＲ／（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）、ｎｒＧ／（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）およびｎｒＢ／（ｎｒＲ＋ｎｒＧ＋ｎｒＢ）のそれぞれの値は、規格化されたカラーデータである。
【００５８】
一方、データＷ、データiＷは解像度データである。解像度データは、複数のフレームの信号の平均処理を行っているカラーデータに比して、被写体の動きに対する応答の早いデータである。一方、カラーデータ（ｎｒＲ、ｎｒＧ、ｎｒＢ）は、ノイズ成分を低減したデータである。
【００５９】
カラーデータ（ｎｒＲ、ｎｒＧ、ｎｒＢ）は、解像度データよりも、被写体の動きに対して応答が遅いデータである。しかし、人間の目は解像度データに比して、カラーデータの検知能力は、１フレーム内の空間的な変化、およびフレーム間の時間的な変化に対して鈍感である。よって、カラーデータの応答性の低さは解像度データに比して許容しやすい。
【００６０】
よって、被写体の動きに対して、解像度データの応答が早ければ、出力信号処理部３０５は、解像度データと、複数フレームの信号を平均処理したカラーデータとを用いて、良好なＲＧＢ画像を形成することができる。
【００６１】
よって、解像度データとカラーデータとを掛けあわせることによって、被写体の動きに対する応答性が良く、ノイズ成分を低減した画像を得ることができる。
【００６２】
本実施例の撮像装置５００と、他の撮像装置とを用いて評価撮影を行った。図６は、評価撮影の条件と結果を示した図である。画像の評価項目は、ノイズと残像とした。図６のノイズ評価と残像評価はそれぞれ優れた評価から順に○、△、×と表記している。
【００６３】
また、評価撮影の条件としては、撮影環境の明るさとカラーデータの平均処理のフレーム数として、前述の係数［１／ｎ］［（ｎ−１）／ｎ］のｎの値を変化させて評価を行った。
【００６４】
条件Ｎｏ．１として、撮影シーンの明るさを１０ルクスとし、カラーデータの平均処理フレーム数のｎをｎ＝１とした。この条件において撮影された画像は、ノイズは殆ど無く、また、残像も見られなかった。よって、ノイズ評価、残像評価の両方ともに○となった。
【００６５】
条件Ｎｏ．２として、撮影シーンの明るさを１０ルクスとし、ｎ＝４とした。この条件において撮影された画像は、ノイズは殆ど無かった。また、ｎ＝４としているため、ｎ＝１の条件Ｎｏ．１に比して、色が滲む残像が見える箇所があったが、許容できる範囲であった。よって、ノイズ評価は○、残像評価は△となった。
【００６６】
条件Ｎｏ．３として、撮影シーンの明るさを１ルクスとし、ｎ＝１とした。この条件において撮影された画像には、撮影シーンの光量の減少により、解像度データ、カラーデータのＳ／Ｎ比の低下によるノイズが若干見られた。また、この条件において撮影された画像には、残像は見られなかった。よって、ノイズ評価は△、残像評価は○となった。
【００６７】
条件Ｎｏ．４として、撮影シーンの明るさを１ルクスとし、ｎ＝４とした。この条件では、カラーデータを複数フレームで平均処理することによって、条件Ｎｏ．３で撮影された画像に比してノイズの低減された画像が得られた。また、残像は条件Ｎｏ．２で撮影された画像と同じレベルで、許容できる程度であった。よって、ノイズ評価は○、残像評価は△となった。
【００６８】
条件Ｎｏ．５として、撮影シーンの明るさを０．１ルクスとし、ｎ＝１とした。この条件では、条件Ｎｏ．３に比してさらに解像度データ、カラーデータのＳ／Ｎ比の低下が生じたため、ノイズの目立つ画像が撮影された。一方、ｎ＝１のため、残像は見られなかった。よって、ノイズ評価は×、残像評価を○となった。
【００６９】
条件Ｎｏ．６として、撮影シーンの明るさを０．１ルクスとし、ｎ＝４とした。この条件では、カラーデータを複数フレームで平均処理することによって、条件Ｎｏ．５で撮影された画像に比してノイズの低減された画像が得られた。また、カラーデータの処理フレーム数ｎ＝４を行っているが、残像感は許容できる程度であった。よって、図６では、ノイズ評価を△、残像評価を△とした。
【００７０】
このように、複数フレームに含まれるカラーデータを平均処理することによって、本実施例の撮像装置５００はノイズを低減しながら、残像を抑えた画像を生成することができる。
【００７１】
本実施例の撮像装置５００は、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成する。このｎの値は、Ｗ画素の数が、光が入射する全ての画素の数に占める割合をＸとして、１／Ｘ以上の数とすることが好ましい。これにより、Ｗ画素の数が増えるに従って増加する偽色の発生を抑制することができる。
【００７２】
なお、本実施例の撮像装置５００は、ｎの値を被写体の環境、例えば明るさ、コントラスト、動きの速度に応じて適宜変更してもよい。
【００７３】
本実施例の撮像装置５００は、Ｗ画素を設けていることにより、ベイヤ配列に比して、Ｒ画素、Ｇ画素、Ｂ画素の画素数が少なくなっている。このため、本実施例の撮像装置５００によって生成した画像は、ベイヤ配列の撮像素子が出力する信号を用いて生成した画像に比して、モアレが多くみられる場合がある。その場合には、ステップＳ１１１の処理において、上述した処理で得られた各画素のＲＧＢの値に対し、さらに以下の処理を行うようにすると良い。
【００７４】
ステップＳ１１１の処理によってＲＧＢ画像を作成する際に、
【００７５】
【数５】
0006598797.tif 000006
として得られたＲ’Ｇ’Ｂ’のデータを用いるようにする。このiＷｒ、iＷｇ、iＷｂはそれぞれ、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれに対して補間された補間データiＷを表している。Ｒ´Ｇ´Ｂ´のデータは、Ｒ画素の信号値に対し、当該Ｒ画素の周囲の８つのＷ画素に基づく補間データiＷで除算している。これにより、モアレをより抑制した画像を得ることができる。
【００７６】
尚、本実施例では、解像度データはＷ画素のみの信号とし、カラーデータは、Ｒ画素、Ｇ画素、Ｂ画素のみの信号とした。本発明はこの例に限定されるものではなく、解像度データはＷ画素の信号が主であればよく、Ｒ画素、Ｇ画素、Ｂ画素の信号が含まれていても良い。また、カラーデータは、Ｒ画素、Ｇ画素、Ｂ画素の信号が主であれば良く、Ｗ画素の信号が含まれていても良い。
【００７７】
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
【００７８】
尚、本実施例では、１フレームにおいて、撮像素子がカラーデータと解像度データとをそれぞれ出力していた。他の例として、撮像素子が１フレームにカラーデータを出力し、他のフレームに解像度データを出力するようにしても良い。
【００７９】
尚、本実施例では、撮像装置５００が備えた出力信号処理部３０５が、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成した。本発明はこの例に限定されるものではない。例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体あるいは通信によって配信されるプログラムが、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成する信号処理方法を備えていても良い。これにより、当該プログラムをインストールしたコンピュータは、ｎ個のフレームに含まれるＲＧＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＷ画素のデータとを用いて画像データを生成する信号処理方法を行うことができる。
【００８０】
（実施例２）
本実施例の撮像装置について、実施例１の撮像装置５００とは異なる点を中心に説明する。本実施例の撮像装置５００は、複数フレームに含まれるカラーデータを処理したカラーデータと、カラーデータの処理よりも少ない複数のフレームに含まれる解像度データを処理した解像度データとを用いて、１枚の画像を生成する。本実施例の撮像装置５００の構成は、図１に示した撮像装置５００と同じである。
【００８１】
図７は、本実施例の撮像装置５００の動作を示したフロー図である。図４に示した動作と同じ動作については、図４で付した符号と同じ符号を図７でも付している。
【００８２】
出力信号処理部３０５は、撮像素子３０１が出力する信号を解像度データとカラーデータとに分離する。その後、解像度データについてはｍ個のフレームに含まれる解像度データを処理した解像度データを生成する。また、カラーデータについては、ｍ個よりも多いｎ個のフレームに含まれるカラーデータを処理したカラーデータを生成する。
【００８３】
人間の目は、解像度に対する残像よりも、色に対する残像の方が認識しにくい。そのため、１枚の画像の生成に用いる解像度データの処理フレーム数を、カラーデータの処理フレーム数よりも、少なくする。これにより、本実施例の撮像装置５００は、画像に生じる残像を人間の目には認識しにくいものとしつつ、ノイズを低減させた画像を生成することができる。
【００８４】
図８に本実施形態の評価結果を示す。図８のノイズ評価と残像評価はそれぞれ優れた評価から順に○、△、▲、×と表記している。
【００８５】
条件Ｎｏ．１として、撮影シーンの明るさを１０ルクスとし、ｍ＝１、ｎ＝１とした。この条件で撮影された画像のノイズ評価と残像評価は双方とも○であった。
【００８６】
条件Ｎｏ．２として、撮影シーンの明るさを１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は○、残像評価は△であった。
【００８７】
条件Ｎｏ．３として、撮影シーンの明るさを１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は○、残像評価は▲であった。条件Ｎｏ．２で得られた画像に比して、条件Ｎｏ．３で得られた画像には、残像の許容範囲内での増加が見られた。
【００８８】
条件Ｎｏ．４として、撮影シーンの明るさを０．１ルクスとし、ｍ＝１、ｎ＝１とした。この条件で撮影された画像のノイズ評価は×、残像評価は○であった。
【００８９】
条件Ｎｏ．５として、撮影シーンの明るさを０．１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は▲、残像評価は△であった。条件Ｎｏ．４で撮影された画像に比して、条件Ｎｏ．５で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
【００９０】
条件Ｎｏ．６として、撮影シーンの明るさを０．１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は△、残像評価は▲であった。条件Ｎｏ．５で撮影された画像に比して、条件Ｎｏ．６で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
【００９１】
条件Ｎｏ．７として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は×、残像評価は△であった。
【００９２】
条件Ｎｏ．８として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は▲、残像評価は▲であった。条件Ｎｏ．７で撮影された画像に比して、条件Ｎｏ．８で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
【００９３】
条件Ｎｏ９として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝４、ｎ＝４とした。この条件で撮影された画像のノイズ評価は△、残像評価は×であった。条件Ｎｏ．８で撮影された画像に比して、条件Ｎｏ．９で撮影された画像は、ノイズが低減された一方、残像が許容範囲を越えて増加した。
【００９４】
このように、本実施例の撮像装置５００は、例えば条件Ｎｏ．５と条件Ｎｏ．６の比較で明らかなように、１枚の画像の生成に、複数フレームに含まれる解像度データを処理した解像度データを用いることで、ノイズを低減した画像を生成することができる。また、１枚の画像の生成に用いる解像度データとカラーデータのフレーム数を一致させた条件Ｎｏ．９では、残像が許容範囲を越えて増加した。本実施例の撮像装置５００は、１枚の画像の生成に用いる解像度データのフレーム数が、カラーデータのフレーム数よりも少なくすることによって、残像の増加を抑制しながらノイズを低減した画像を生成することができる。
【００９５】
一方、１枚の画像の生成に、複数フレームに含まれる解像度データを処理した解像度データを用いることで、残像が増加する場合がある。従って、被写体が静止している場合には、１枚の画像の生成に、フレーム数ｎ１のカラーデータと、フレーム数ｍ１の解像度データとを用いる。ｍ１はｎ１よりも少ない数である。一方、被写体に動きがある場合には、１枚の画像の生成に、被写体が静止している場合に比して少ないフレーム数の解像度データを用いると良い。好ましくは、被写体に動きがある場合には、１枚の画像の生成に、１フレームのみに含まれる解像度データを用いると良い。
【００９６】
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
【００９７】
（実施例３）
本実施例の撮像装置について、実施例１の撮像装置５００とは異なる点を中心に説明する。本実施例では、ＣＦの配列が図９で表わされる配列を用いている。この配列を、ＲＧＢＷ８と表記する。ＲＧＢＷ８の配列は、ＲＧＢＷ１２に比べ、全画素数に対するＷ画素の割合が少なくなっている。これにより、撮像素子の感度は、ＲＧＢＷ１２に比してＲＧＢＷ８の配列は低下する。一方、ＲＧＢＷ８の配列は、ＲＧＢＷ１２の配列に対し、Ｗ画素の平面視におけるそれぞれの上下方向、左右方向のそれぞれに隣接してＲ画素、Ｇ画素、Ｂ画素のいずれかの画素が存在するため、偽色が発生しにくい効果を有する。
【００９８】
図１０は、本実施例の撮像装置５００の動作を示したフロー図である。
【００９９】
ステップＳ２０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
【０１００】
ステップＳ２０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。
【０１０１】
図９のＣＦ配列において、Ｒ画素、Ｇ画素、Ｂ画素の部分のホワイトに相当するデータは取得されていない。よって、図１０中では「？」で示している。
【０１０２】
ステップＳ２０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｇ画素、Ｂ画素が設けられていた箇所のホワイトに相当する信号を、近接するＷ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｇ画素、Ｂ画素の各々におけるホワイトに相当する信号が補間される。図１０では、補間された画素の補間データをｉＷと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。本実施例においてはｉＷの周囲の４画素がＷ画素である。これにより、上下、左右方向で隣接したＷ画素の出力を補間値の基準として用いることができる。例えば、上下、左右方向のＷ画素のうち、信号値の変化率の少ない２画素の平均を用いることができる。
【０１０３】
ステップＳ２０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
【０１０４】
ステップＳ２０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ２０１に処理を戻す。
【０１０５】
一方、ステップＳ２０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ２０９に進める。
【０１０６】
ステップＳ２０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ２０９において行う処理は、先の図４で述べたステップＳ１０９と同じとすることができる。
【０１０７】
ステップＳ２１１において、出力信号処理部３０５は、解像度データと、ステップＳ２０９で処理されたカラーデータとを合成する処理を行う。
【０１０８】
ステップＳ２１３にて、出力信号処理部３０５は、ステップＳ２１１にて生成した画像を出力する。
【０１０９】
図１１は、図１０で説明したステップＳ２０７の処理の詳細を示した図である。
【０１１０】
本実施例の撮像装置５００の図１１の動作は、図５で示した動作に対し、ＣＦの配列が異なることによるカラーデータの画素数の違いを除いて、同じとしている。
【０１１１】
以上の動作を行う撮像装置５００を用いて、図６に示した条件と同じ条件でそれぞれ評価撮影を行った。全画素のうちのＷ画素が占める割合が実施例１の撮像装置５００よりも小さい分、画像の感度と解像度に低下が見られた。一方、本実施例の撮像装置５００は、１枚の画像の生成に１フレームに含まれる解像度データと１フレームに含まれるカラーデータとを用いた場合に比して、残像を抑制しつつ、ノイズを低減した画像を生成することができた。
【０１１２】
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
【０１１３】
（実施例４）
本実施例の撮像装置について、実施例１とは異なる点を中心に説明する。
【０１１４】
図１２は、本実施例の撮像素子３０１のＣＦの配列を示している。このＣＦの配列を、ＲＧＢＧ１２と表記する。
【０１１５】
本実施例の撮像素子３０１は、ＲＧＢＷ１２の配列に対し、Ｗ画素がＧ画素に置き換わっている。これにより、ＲＧＢＷ１２の感度が低下する。光量の大きな被写体の撮影の際に、ＲＧＢＷ１２の配列では、Ｗ画素が飽和してしまい、画像の階調が低下することがあった。一方、ＲＧＢＧ１２の配列においては、Ｇ画素の方が、Ｗ画素よりも感度が低いため、Ｗ画素では飽和するような撮影シーンにおいても、Ｇ画素が飽和しない場合がある。これにより、本実施例の撮像装置５００は、Ｗ画素が飽和するような撮影シーンにおいても、階調の低下を抑制した画像を生成することができる。
【０１１６】
図１３は、本実施例の撮像装置５００の動作を示したフロー図である。
【０１１７】
ステップＳ３０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
【０１１８】
ステップＳ３０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。
【０１１９】
図１２のＣＦ配列において、Ｒ画素、Ｂ画素の部分のＧ画素に相当するデータは取得されていない。よって、図１２中のＧ画素を用いた解像度データでは、Ｒ画素、Ｂ画素について「？」で示している。
【０１２０】
ステップＳ３０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｂ画素が設けられていた箇所のＧ画素に相当する信号を、近接するＧ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｂ画素の各々におけるＧ画素に相当する信号が補間される。図１３では、補間された画素の補間データをｉＧと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。
【０１２１】
ステップＳ３０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
【０１２２】
ステップＳ３０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ３０１に処理を戻す。
【０１２３】
一方、ステップＳ３０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ３０９に進める。
【０１２４】
図１３で説明したステップＳ３０７の処理は、図５に示した処理と同じとしている。
【０１２５】
ステップＳ３０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ３０９において行う処理は、先の図４で述べたステップＳ１０９と同じとすることができる。
【０１２６】
ステップＳ３１１において、出力信号処理部３０５は、解像度データと、ステップＳ３０９で処理されたカラーデータとを合成する処理を行う。
【０１２７】
ステップＳ３１１では、出力信号処理部３０５は、ステップＳ３０５の処理によって得られた、補間処理後の解像度データと、ステップＳ３０９の処理によって得られた、複数フレーム処理後のカラーデータに対し、次の処理を行う。
【０１２８】
出力信号処理部３０５は、Ｒ画素が配置されている画素のＧ画素に相当する補間データｉＧｒと、当該画素のカラーデータのｎｒＲとの比を得る。この比に対して、Ｇ画素については、データＧを乗算し、Ｒ画素については補間データiＧを乗算する。
【０１２９】
また、出力信号処理部３０５は、Ｂ画素が配置されている画素のＧ画素に相当する補間データｉＧｂと、当該画素のカラーデータのｎｒＢとの比を得る。この比に対して、Ｇ画素については、データＧを乗算し、Ｂ画素については補間データiＧを乗算する。
【０１３０】
これらをまとめると、解像度データとカラーデータを合成してＲＧＢ画像を得る演算は、以下の式で表される。
【０１３１】
処理対象の画素がＧ画素の場合
【０１３２】
【数６】
0006598797.tif 000007
【０１３３】
処理対象の画素がＲ画素、Ｂ画素の場合
【０１３４】
【数７】
0006598797.tif 000008
【０１３５】
さらに、本実施例の撮像素子３０１では、ベイヤ配列に比して、Ｒ画素、Ｂ画素のそれぞれが全画素に占める割合が低い。このため、出力信号処理部３０５は、以下の処理をさらに行う。
【０１３６】
処理対象の画素がＧ画素の場合
【０１３７】
【数８】
0006598797.tif 000009
【０１３８】
処理対象の画素がＲ画素、Ｂ画素の場合
【０１３９】
【数９】
0006598797.tif 000010
【０１４０】
以上の処理を行った撮像装置５００を用いて評価撮影を行った。撮影した結果、ベイヤ配列の撮像素子に対して、低照度環境での色ノイズを低減することができた。
【０１４１】
また、本実施例ではＲデータをｉＧｒで規格化、ＢデータをiＧｂで規格化した。これにより、Ｒ／ｉＧｒ、およびＢ／iＧｂの演算を行うためＲ画素にあるべき輝度（ｉＧｒ）、Ｂ画素にあるべき輝度（ｉＧｂ）で除算された値が使われるため、Ｒ画素、Ｂ画素で生じるモアレが抑制される効果がある。
【０１４２】
ステップＳ３１３にて、出力信号処理部３０５は、ステップＳ３１１にて生成した画像を出力する。
【０１４３】
以上の動作を行う撮像装置５００を用いて、図６に示した条件と同じ条件でそれぞれ評価撮影を行った。本実施例の撮像装置５００が生成した画像は、撮像素子３０１にＷ画素が設けられていないため、実施例１の撮像装置５００で得た画像に対し、画像の感度と解像度に低下が見られた。一方で、本実施例の撮像装置５００は、１枚の画像の生成に１フレームに含まれる解像度データと１フレームに含まれるカラーデータとを用いた場合に比して、残像を抑制しつつ、ノイズを低減した画像を生成することができた。
【０１４４】
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
【０１４５】
本実施例の撮像装置５００は、ｎ個のフレームに含まれるＲＢ画素のデータと、ｎ個よりも少ないｍ個のフレームに含まれるＧ画素のデータとを用いて画像データを生成する。このｎの値は、Ｇ画素の数が、光が入射する全ての画素の数に占める割合をＸとして、１／Ｘ以上の数とすることが好ましい。これにより、Ｇ画素の数が増えるに従って増加する偽色の発生を抑制することができる。
【０１４６】
（実施例５）
本実施例の撮像装置について、実施例４と異なる点を中心に説明する。
【０１４７】
本実施例の撮像素子３０１のＣＦの配列は、図３（ａ）に示したベイヤ配列である。
【０１４８】
図１４は本実施例の撮像装置５００の動作を示したフロー図である。
【０１４９】
ステップＳ４０１において、撮像素子３０１は、信号を出力信号処理部３０５に出力する。
【０１５０】
ステップＳ４０３において、出力信号処理部３０５は、撮像素子３０１が出力した信号を、ＣＦ配列に基づいて、解像度データとカラーデータとに分離する。
【０１５１】
図３（ａ）のＣＦ配列において、Ｒ画素、Ｂ画素の部分のＧ画素に相当するデータは取得されていない。よって、図３（ａ）中のＧ画素を用いた解像度データでは、Ｒ画素、Ｂ画素について「？」で示している。
【０１５２】
ステップＳ４０５において、出力信号処理部３０５は、解像度データに対し、補間処理を行う。この補間処理は、Ｒ画素、Ｂ画素が設けられていた箇所のＧ画素に相当する信号を、近接するＧ画素の信号に基づいて補う処理である。この補間処理によって、Ｒ画素、Ｂ画素の各々におけるＧ画素に相当する信号が補間される。図１４では、補間された画素の補間データをｉＧと表記する。補間方法としてはバイリニア法などを適宜用いることもできる。
【０１５３】
ステップＳ４０７において、出力信号処理部３０５は、カラーデータを取得したフレーム数がｎフレームに達しているか否かを判定する。ｎは２以上の整数である。
【０１５４】
ステップＳ４０７において、出力信号処理部３０５は、Ｎｏの判定をすると、再びステップＳ４０１に処理を戻す。
【０１５５】
一方、ステップＳ４０７において、出力信号処理部３０５が、Ｙｅｓの判定をすると、出力信号処理部３０５は、処理をステップＳ４０９に進める。
【０１５６】
ステップＳ４０９において、出力信号処理部３０５は、複数のフレームに含まれるカラーデータを処理する。このステップＳ４０９において行う処理は、先の図１１で述べたステップＳ２０９と同じとすることができる。
【０１５７】
ステップＳ４１１において、出力信号処理部３０５は、解像度データと、ステップＳ４０９で処理されたカラーデータとを合成する処理を行う。
【０１５８】
ステップＳ４１３にて、出力信号処理部３０５は、ステップＳ４１１にて生成した画像を出力する。
【０１５９】
ステップＳ４１１における合成の処理は、実施例４で述べた各画素のＲＧＢのデータを得る処理と同じである。
【０１６０】
以上の動作を行う撮像装置５００を用いて、図６に示した条件と同じ条件でそれぞれ評価撮影を行った。本実施例の撮像装置５００が生成した画像は、撮像素子３０１にＷ画素が設けられていないため、実施例１の撮像装置５００で得た画像に対し、画像の感度と解像度に低下が見られた。一方で、本実施例の撮像装置５００は、１枚の画像の生成に１フレームに含まれる解像度データと１フレームに含まれるカラーデータとを用いた場合に比して、残像を抑制しつつ、ノイズを低減した画像を生成することができた。
【０１６１】
尚、本実施例では、カラーフィルタがＲ、Ｇ、Ｂの色の場合を例に説明した。他の例として、Ｒ、Ｇ、Ｂの代わりに、カラーフィルタが、シアン、マゼンタ、イエローの色であっても良い。この場合においても、シアン、マゼンダ、イエローのカラーフィルタが配された画素と、Ｗ画素とを用いて、本実施例で述べた動作と同じ動作を行うことができる。
【０１６２】
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
【符号の説明】
【０１６３】
１  撮像領域
２  垂直走査回路
３  列回路部
３０１  撮像素子
３０５  出力信号処理部
５００  撮像装置
【図１】
0006598797.tif 000011
【図２】
0006598797.tif 000012
【図３】
0006598797.tif 000013
【図４】
0006598797.tif 000014
【図５】
0006598797.tif 000015
【図６】
0006598797.tif 000016
【図７】
0006598797.tif 000017
【図８】
0006598797.tif 000018
【図９】
0006598797.tif 000019
【図１０】
0006598797.tif 000020
【図１１】
0006598797.tif 000021
【図１２】
0006598797.tif 000022
【図１３】
0006598797.tif 000023
【図１４】
0006598797.tif 000024