(57)【特許請求の範囲】
【請求項１】
光電変換部を有する画素を各々が複数有する第１および第２の画素群と、信号処理部と、を含み、
所定の配列のデータから画像を生成する画像処理部に、データを出力する撮像装置であって、
前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、
前記信号処理部は、
前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを合成することにより、デモザイク処理された第１のデータを生成し、
前記第１のデータをアップコンバート処理して第２のデータを生成し、
前記第２のデータを前記所定の配列のデータとなるようにモザイク処理することを特徴とする撮像装置。
【請求項２】
前記第１の画素群が有する前記画素の各々と、前記第２の画素群が有する前記画素の各々は光透過部を有し、
前記第１の画素群が有する光透過部が透過する光の波長帯域は、ブルーからレッドまでの範囲の波長帯域を含み、
前記第２の画素群が有する光透過部が透過する光の波長帯域は、前記第１の画素群が有する光透過部が透過する光の波長帯域よりも狭いことを特徴とする特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１のデータが、
前記第２の画素群が有する光電変換部が光電変換する波長帯域の光を、前記第１の画素群が有する光電変換部が光電変換した場合に生成する信号と、前記第１の画素群が有する光電変換部が光電変換する波長帯域の光を、前記第２の画素群が有する光電変換部が光電変換した場合に生成する信号とを含むデータであることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像装置は、前記第１および第２の画素群と、前記第１および第２の画素群を走査することによって前記第１および第２の画素群から信号を出力させる垂直走査回路とを有する撮像素子を有し、
前記垂直走査回路が前記第１および第２の画素群の走査を１度行うことによって１フレームの信号が前記撮像素子から出力され、
前記撮像素子は、前記垂直走査回路が複数回、前記第１および第２の画素群の走査を行うことによって、複数のフレームの信号を出力し、
前記信号処理部は、前記複数のフレームの信号の各々に含まれるカラーデータを画素ごとに平均処理することでカラー平均データを生成し、
前記第１のデータの生成に用いる前記カラーデータを前記カラー平均データとすることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記信号処理部は、前記第１の画素群が出力する信号に対しては前記平均処理を行わず、前記第２の画素群が出力する信号に対して前記平均処理を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記信号処理部は、複数のフレームの信号の各々に含まれる解像データを画素ごとに平均処理することで解像平均データを生成し、
前記第１のデータの生成に用いる前記解像データを前記解像平均データとし、
前記解像平均データの生成に用いるフレーム数が、前記カラー平均データの生成に用いるフレーム数よりも少ないことを特徴とする請求項４に記載の撮像装置。
【請求項７】
光電変換部を有する画素を各々が複数有する第１および第２の画素群と、信号処理部と、を含み、
所定の配列のデータから画像を生成する画像処理部に、データを出力する撮像装置であって、
前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、
前記第１の画素群が有する画素の数は、前記第２の画素群が有する画素の数の２倍を越える数であり、
前記第１および第２の画素群が有する各々の画素は光透過部を有し、
前記第１の画素群が有する光透過部が透過する光の波長帯域はブルーからレッドまでの範囲の波長帯域を含み、
前記第２の画素群が有する光透過部が透過する光の波長帯域は、前記第１の画素群が有する光透過部が透過する光の波長帯域よりも狭く、
前記信号処理部は、
前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、
前記解像データと前記カラーデータとを用いて、前記第２の画素群の光電変換部が光電変換する波長帯域の光を、前記第１の画素群の光電変換部が光電変換した場合に生成する信号と、前記第１の画素群の光電変換部が光電変換する波長帯域の光を、前記第２の画素群の光電変換部が光電変換した場合に生成する信号とを含む第１のデータを生成し、
前記信号処理部は、前記第１のデータをアップコンバート処理することによって第２のデータを生成し、
前記第２のデータを前記所定の配列のデータとなるようにモザイク処理することを特徴とする撮像装置。
【請求項８】
光電変換部を有する画素を各々が複数有する第１および第２の画素群と、信号処理部と、を含む撮像装置であって、
前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、
前記信号処理部は、
前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを合成することにより、デモザイク処理された第１のデータを生成し、
前記第１のデータをアップコンバート処理して第２のデータを生成し、
前記第２のデータをモザイク処理することを特徴とする撮像装置。
【請求項９】
前記第１のデータが、前記カラーデータと前記解像データとを合成したデータをデモザイク処理したデータであることを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記所定の配列が、レッドに対応するデータと、グリーンに対応するデータと、ブルーに対応するデータが配されたパターンを複数繰り返した配列であることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項１１】
前記所定の配列がベイヤ配列であることを特徴とする請求項１〜７、１０のいずれか１項に記載の撮像装置。
【請求項１２】
請求項１〜７、１０、１１のいずれか１項に記載の撮像装置と、前記画像処理部とを有することを特徴とする撮像システム。
【請求項１３】
撮像素子が出力する信号を処理する信号処理方法であって、
前記撮像素子は、光電変換部を有する画素を各々が複数有する第１および第２の画素群を含み、
前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、
前記信号処理方法は、
前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを合成することにより、デモザイク処理された第１のデータを生成し、
前記第１のデータをアップコンバート処理して第２のデータを生成し、
前記第２のデータをモザイク処理することを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法に関する。
【背景技術】
【０００２】
撮像素子では、カラー画像を得るために、素子表面に各画素単位で特定の波長成分、たとえばレッド、グリーン、ブルーのそれぞれの色の光を透過させるカラーフィルタ（以下、ＣＦと表記する）を設けている。以下、レッド、グリーン、ブルーをＲ、Ｇ、Ｂと表記する。また、ＲのＣＦが配された画素をＲ画素、ＧのＣＦが配された画素をＧ画素、ＢのＣＦが配された画素をＢ画素と表記する。また、Ｒ画素、Ｇ画素、Ｂ画素を纏めて表記する場合にはＲＧＢ画素と表記する。
【０００３】
撮像素子の感度を向上するために、輝度の情報を得やすい画素の割合を増やす構成が提案されている。その中でも、可視光域の光を広く透過するホワイト画素（以下、Ｗ画素と表記する）を用いることで、感度が向上しＳ／Ｎ比の高い画像を得ることができる。
【０００４】
特許文献１には、ＲＧＢ画素とＷ画素が配列された撮像素子が記載されている。以下、ＲＧＢ画素とＷ画素とを纏めて表記する場合には、ＲＧＢＷ画素と表記する。特許文献１には、ＲＧＢＷ画素を有する撮像素子の出力信号に対して、画像処理部がぼけ補正処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、ＲＧＢＷ画素を有する撮像素子が出力した信号を用いて生成した画像で生じる色ノイズを低減する検討が不十分であった。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を鑑みて為されたものであり、一の態様は、光電変換部を有する画素を各々が複数有する第１および第２の画素群と、信号処理部と、を含み、所定の配列のデータから画像を生成する画像処理部に、データを出力する撮像装置であって、前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、前記信号処理部は、前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを合成することにより、デモザイク処理された第１のデータを生成し、前記第１のデータをアップコンバート処理して第２のデータを生成し、前記第２のデータを前記所定の配列のデータとなるようにモザイク処理することを特徴とする撮像装置である。
【０００８】
別の一の態様は、光電変換部を有する画素を各々が複数有する第１および第２の画素群と、信号処理部と、を含み、所定の配列のデータから画像を生成する画像処理部に、データを出力する撮像装置であって、前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、前記第１の画素群が有する画素の数は、前記第２の画素群が有する画素の数の２倍を越える数であり、前記第１および第２の画素群が有する各々の画素は光透過部を有し、前記第１の画素群が有する光透過部が透過する光の波長帯域はブルーからレッドまでの範囲の波長帯域を含み、前記第２の画素群が有する光透過部が透過する光の波長帯域は、前記第１の画素群が有する光透過部が透過する光の波長帯域よりも狭く、前記信号処理部は、前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを用いて、前記第２の画素群の光電変換部が光電変換する波長帯域の光を、前記第１の画素群の光電変換部が光電変換した場合に生成する信号と、前記第１の画素群の光電変換部が光電変換する波長帯域の光を、前記第２の画素群の光電変換部が光電変換した場合に生成する信号とを含む第１のデータを生成し、前記信号処理部は、前記第１のデータをアップコンバート処理することによって第２のデータを生成し、前記第２のデータを前記所定の配列のデータとなるようにモザイク処理することを特徴とする撮像装置である。
【０００９】
また別の態様は、光電変換部を有する画素を各々が複数有する第１および第２の画素群と、信号処理部と、を含む撮像装置であって、前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、前記信号処理部は、前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを合成することにより、デモザイク処理された第１のデータを生成し、
前記第１のデータをアップコンバート処理して第２のデータを生成し、
前記第２のデータをモザイク処理することを特徴とする撮像装置である。
【００１０】
また別の態様は、撮像素子が出力する信号を処理する信号処理方法であって、前記撮像素子は、光電変換部を有する画素を各々が複数有する第１および第２の画素群を含み、前記第１の画素群が有する光電変換部と前記第２の画素群が有する光電変換部は、互いに光電変換する光の波長帯域が異なり、前記信号処理方法は、前記第１の画素群が有する画素が出力する信号を用いて解像データを生成し、前記第２の画素群が有する画素が出力する信号を用いてカラーデータを生成し、前記解像データと前記カラーデータとを合成することにより、デモザイク処理された第１のデータを生成し、前記第１のデータをアップコンバート処理して第２のデータを生成し、前記第２のデータをモザイク処理することを特徴とする信号処理方法である。
【発明の効果】
【００１１】
本発明により、色ノイズを低減した画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の信号処理を示した図
【図２】撮像素子の構成を示した図
【図３】撮像素子のＣＦ配列を示した図
【図４】撮像素子のＣＦ配列を示した図
【図５】撮像素子の構成を示した図
【図６】撮像装置の信号処理を示した図
【図７】撮像装置の信号処理を示した図
【図８】撮像装置の信号処理を示した図
【図９】撮像装置の信号処理を示した図
【図１０】撮像装置の信号処理を示した図
【図１１】撮像装置の信号処理を示した図
【図１２】撮像画像の評価結果を示した図
【図１３】撮像装置の信号処理を示した図
【図１４】撮像画像の評価結果を示した図
【図１５】撮像装置の信号処理を示した図
【図１６】撮像装置の信号処理を示した図
【図１７】撮像システムを示した図
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら説明する。
【００１４】
図１は、撮像装置の構成と、撮像装置の外部に設けられた画像処理部２０３と、撮像装置が行う信号処理とを示した図である。撮像装置は、撮像素子２０１、信号処理部２０２を有する。信号処理部２０２は、前段処理部２０４、補間部２０５、変換部２０６を有する。信号処理部２０２は、撮像素子２０１が出力する出力信号に対し、補間処理およびアップコンバート処理を行ったデータを生成する。信号処理部２０２はさらにそのデータに対してモザイク画像を生成するモザイク処理を行い、画像処理部２０３にデータを出力する。画像処理部２０３に入力される所定のデータは、本実施形態ではベイヤ配列としている。また、図１では、補間部２０５、変換部２０６、画像処理部２０３のそれぞれが生成するデータを併せて示している。図１に示しているデータは、各部が処理を行った結果、生成するデータを示している。例えば、画像処理部２０３において示しているデータは、変換部２０６が出力するデータを、画像処理部２０３がデモザイク処理した結果、生成したデータである。
【００１５】
撮像素子２０１は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサを用いることができる。本実施形態では、このうちＣＭＯＳイメージセンサを用いる。
【００１６】
本実施形態の撮像素子２０１は、複数の画素を有する。複数の画素の各々は、光透過部を有する。複数の画素のうちの一部の画素は、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のいずれか一つの色に対応する波長の光を透過するカラーフィルタ（ＣＦ）を有する。複数の画素の各々は、入射光に基づく電荷を生成する光電変換部を有する。この光電変換部は、ＣＦを透過する光の波長が、画素ごとに異なるため、分光特性が複数の画素の各々で異なっている。尚、入射光に基づく電荷が生成するように設けられた画素を有効画素と表記する。撮像素子２０１が有する有効画素数を、本実施形態では、水平方向に１９２０画素、垂直方向に１０８０画素とする。
【００１７】
図１の撮像素子２０１では、各画素について、Ｒ、Ｇ、Ｂ、Ｗを付して示している。これは、各々の画素の光透過部が透過する光の波長に対応した色を示している。Ｒはレッド、Ｇはグリーン、Ｂはブルー、Ｗはホワイトである。尚、Ｗ画素の光透過部は、樹脂のみとすることができる。
【００１８】
本実施形態の撮像素子２０１は、ＲＧＢＷ１２配列と呼ぶＣＦ配列を有している。尚、Ｗ画素にはＣＦは配されていないが、複数の画素の光透過部の配列パターンを表記する際には、ＣＦ配列として表記することとする。この配列では、４×４の１６画素のうちＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で表される個数比で各画素が配置されている。このＲＧＢＷ１２配列では、カラー画素であるＲ画素、Ｇ画素、Ｂ画素のいずれの画素も、平面視において垂直方向、水平方向、斜め方向のそれぞれにおいてＷ画素が隣接して配置されている。つまり、カラー画素は平面視における垂直方向、水平方向、斜め方向でＷ画素に囲まれている。また、ＲＧＢＷ１２配列では、Ｗ画素の比率が全画素数の３／４の数となっている。つまり、第一の画素としてＷ画素を有し、第二の画素としてカラー画素（ＲＧＢ画素）を有している。第二の画素群の画素数に対し第一の画素群の画素数が３倍（２倍を越える数）である。なお、撮像素子２０１には、有効画素以外に、オプティカルブラック画素、ダミー画素などの画像に直接出力されない画素を有する場合もあるが、これらは前述の第一の画素群・第二の画素群の各々には含まない。なお、Ｗ画素はＣＦを有さない画素としている。これにより、Ｗ画素が感度を有する波長帯域はＲ画素、Ｇ画素、Ｂ画素の各々が感度を有する波長帯域の全てを包含するものとなる。よって、Ｗ画素はＲＧＢ画素と比べ、分光感度特性が広いため、ＲＧＢ画素よりも感度が高い。
【００１９】
このようなＲＧＢＷ１２配列を用いた場合、カラー画素がＷで周囲を囲まれている為に、カラー画素の位置のＷの値を補間する際の精度が向上する。
【００２０】
信号処理部２０２では、撮像素子２０１が出力する出力信号に対して信号処理を行う。信号処理部２０２は、前段処理部２０４、補間部２０５、変換部２０６を有する。
【００２１】
撮像素子２０１からの出力信号は、信号処理部２０２の前段処理部２０４に入力される。前段処理部２０４は各信号のオフセット補正、ゲイン補正等の補正を行う。
【００２２】
補間部２０５では、前段処理部２０４が出力するデータに対し、補間処理を行う。また、補間部２０５はデモザイク処理を行う。本実施形態のデモザイク処理は、Ｒ、Ｇ、Ｂ画素の信号から、バイリニア法によって、Ｒデータ、Ｇデータ、Ｂデータを得る処理である。本実施形態のデモザイク処理は、Ｒデータにおいては、Ｗ画素の位置にＲ画素が位置していると想定した場合に得られると推定される値であるＲ成分を補間している。同様に、本実施形態のデモザイク処理は、Ｂ成分、Ｇ成分のそれぞれについてもＲ成分と同じように補間してＢデータ、Ｇデータをそれぞれ生成する。
【００２３】
ＲＧＢＷ１２配列では、解像情報を得ることができるＷ画素の単位面積当たりの画素数が、Ｗ画素を市松模様で配置した場合よりも多い。これにより、Ｗ画素を市松模様で配置した場合に対し、空間周波数の高い（つまりピッチが細かい）解像情報を取得することができる。つまり、信号処理部２０２は、ＲＧＢＷ１２配列の撮像素子２０１が出力する出力信号を用いることによって、Ｗ画素が市松模様で配された撮像素子が出力する出力信号に比して、解像感の高いデータを生成することができる。
【００２４】
変換部２０６では、補間部２０５が出力するデータを用いてアップコンバート処理及びモザイク処理を行う。アップコンバート処理とは、処理前の第１の解像度のデータから、第１の解像度よりも高い第２の解像度のデータを生成する、解像度の増加処理である。本実施形態においては、撮像素子２０１から出力される出力信号は１９２０×１０８０、いわゆる２Ｋ１Ｋの解像度である。この２Ｋ１Ｋの入力データに対し、信号処理部２０２が出力するデータはアップコンバートされた３８４０×２１６０、いわゆる４Ｋ２Ｋの解像度とする。つまり、本実施形態の変換部２０６は、補間部２０５が出力する１つの画素信号を用いて、４つの画素信号を生成する処理を行う。
【００２５】
アップコンバート処理の手法としては、最近傍内挿（ニアレストレイバー）法、バイリニア法、バイキュービック法等を用いることができる。尚、本実施形態の変換部２０６は、アップコンバート処理後に後述するモザイク処理を行う。この場合には、最近傍内挿法を用いることで、データ処理誤差の蓄積を防ぐことができる。
【００２６】
本実施形態の変換部２０６はモザイク処理を行う。本実施形態の変換部２０６が行うモザイク処理は、Ｒデータ、Ｇデータ、Ｂデータのそれぞれのカラーデータを用いて、ベイヤデータを生成する処理である。このベイヤデータとは、単板イメージセンサにおいてＲＧＢ画素をベイヤ配置とした場合に得られるデータである。
【００２７】
画像処理部２０３では、信号処理部２０２が出力する所定の配列のデータを用いて、撮影画像を生成する。画像処理部２０３では、デモザイク処理、カラーマトリクス演算、ホワイトバランス処理、デジタルゲイン、ガンマ処理、ノイズリダクション処理、等が適時実施される。これらの処理のうち、撮影画像の解像情報に対して、デモザイク処理が他の処理よりも大きく関わる。本実施形態では、変換部２０６が、アップコンバート処理を行った上で、モザイク処理を行っている。このため、変換部２０６が出力する２×２のデータ（１つのＲ信号、２つのＧ信号、１つのＢ信号）のうち、１つのＲ信号を用いて、画像処理部２０３は、Ｒデータの１つのＲ信号を生成することができる。この画像処理部２０３の他の色のＧデータ、Ｂデータについても、Ｒデータの生成と同じ処理によって生成できる。
【００２８】
仮に、変換部２０６が、アップコンバート処理を行わずに、モザイク処理を行った場合を、図８を参照しながら説明する。
【００２９】
図８に示したように、変換部２０６は、補間部２０５が出力したデータをモザイク処理したデータを、画像処理部２０３に出力する。画像処理部２０３は、Ｒデータの生成において、Ｇ信号とＢ信号の部分に対し、周囲のＲ信号の値を用いて補間処理を行う。この補間処理が行われる分、図８に示した処理では、出力データに解像の低下が生じる。他の色のＧデータ、Ｂデータについても、Ｒデータと同じように解像の低下が生じる。よって、この図８の処理によって変換部２０６が出力したデータを用いて画像処理部２０３が生成した撮影画像には、撮像素子２０１が出力したデータに対する解像の低下が生じる。また、画像処理部２０３が補間処理を行う分、撮影画像には、被写体の本来の色とは異なる色が付く偽色が生じる。
【００３０】
一方、本実施形態の処理では、画像処理部２０３は、変換部２０６が出力するデータに対し、補間処理を行わずにＲデータ、Ｇデータ、Ｂデータのそれぞれを生成することができる。これにより、画像処理部２０３による、撮影画像の生成に用いるためのデモザイク処理による、解像の低下と偽色は生じにくい。
【００３１】
また、本実施形態の信号処理では、画像処理部２０３の設計を、本実施形態のようなＷ画素を有する撮像素子２０１ではなく、ＲＧＢ画素のベイヤ配列の撮像素子２０１が出力する出力信号を処理する設計と同じとすることができる。よって、本実施形態の信号処理は、Ｗ画素を有する撮像素子２０１のために画像処理部２０３を別途設計するコストを低減することができる。つまり、本実施形態の信号処理は、撮像装置と画像処理部２０３との親和性の低下を抑制している。よって、本実施形態の信号処理では、撮像装置と画像処理部２０３との親和性の低下を抑制しながら、色ノイズを低減した撮影画像を生成できる。
【００３２】
本実施形態で述べた信号処理部２０２、画像処理部２０３は、信号処理方法がプログラミングされたソフトウェアを実行するコンピュータなどのハードウェアであっても良い。ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体あるいは通信によって配信されるプログラムに、本実施形態で信号処理部２０２、画像処理部２０３が行った信号処理方法がプログラミングされていても良い。
【００３３】
（実施例１）
以下、図面を参照しながら本実施例の撮像装置を説明する。尚、必要に応じて、図１の撮像装置を参照しながら説明する。
【００３４】
図２は、本実施例の撮像素子２０１の一例を示した図である。本実施例の撮像素子２０１は、画素１００が行列状に配された画素アレイを有する撮像領域１と、垂直走査回路２と、列増幅部３と、水平走査回路４と、出力部５とを有する。垂直走査回路２は、画素１００のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を、画素１００のトランジスタに供給する。撮像領域１には、画素１００からの信号を列ごとに読み出すための垂直信号線６が配されている。水平走査回路４は、各列の列増幅部３のスイッチと、該スイッチをオン又はオフに制御するための制御信号を供給する水平走査回路４を有する。水平走査回路４による走査によって、列増幅部３の各列から出力部５に信号が順次出力される。列増幅部３から出力部５を介して出力される信号は、図１で述べた通り、撮像素子２０１の外部の信号処理部２０２に入力される。
【００３５】
なお、撮像素子２０１が出力する出力信号がアナログ信号である例を説明したが、撮像素子２０１がデジタル信号を出力するようにしても良い。その場合には、信号処理部２０２が行うアナログデジタル変換は省略できる。
【００３６】
ここから、図５を参照しながら図２の撮像装置を説明する。垂直走査回路２は、画素１００に供給する信号ＰＴＸ、信号ＰＲＥＳ、信号ＰＳＥＬの信号レベルを制御することによって、撮像領域１の画素１００を行単位での走査である垂直走査を行う。この垂直走査回路２による垂直走査によって、各画素１００は光電変換信号をＰＤＯＵＴ端子から垂直信号線６に出力する。電流源７は垂直信号線６を介して画素１００に電流を供給する。スイッチ８は列増幅部３への入力を制御する。
【００３７】
列増幅部３は、列増幅部３の増幅率を決める為の容量Ｃ０、容量Ｃ１、容量Ｃ２、スイッチ９、スイッチ１０、スイッチ１１、ならびに増幅回路１２を有する。また、列増幅部３はサンプルホールドする為のスイッチ１３、スイッチ１４、保持容量ＣＴＮ、保持容量ＣＴＳ、水平転送線に接続するためのスイッチ１５、スイッチ１６を有する。
【００３８】
水平走査回路４は、増幅回路１２が設けられた列毎に、スイッチ１５、スイッチ１６の導通状態と非導通状態を順次制御する。これにより、水平走査回路４は、列増幅部３の列単位の走査である水平走査を行う。
【００３９】
水平走査回路４がスイッチ１５、スイッチ１６を導通状態とすると、容量素子ＣＴＮ、容量素子ＣＴＳに保持された信号が出力アンプに入力される。出力アンプ１７は入力された信号を増幅した信号を、撮像素子の外部に出力する。
【００４０】
さらに図５を用いて撮像素子２０１の詳細を説明する。画素１００は、フォトダイオード１８、トランジスタ１９、浮遊拡散容量２０、トランジスタ２１、トランジスタ２２、トランジスタ２３を有する。
【００４１】
フォトダイオード（ＦＤと表記する場合もある）１８は、入射光に基づく電荷を蓄積する光電変換部である。
【００４２】
トランジスタ１９は、一方の端子をフォトダイオード１８が接続され、他方の端子に浮遊拡散容量２０が接続されている。浮遊拡散容量（ＦＤと表記する場合もある）２０は、トランジスタ１９のドレイン端子を兼ねた構造であり、トランジスタ１９を介してフォトダイオード１８から転送（ＴＸと表記される場合もある）される電荷を保持可能である。フォトダイオード１８に蓄積された電荷は、垂直走査回路２からトランジスタ１９のゲート端子に入力される信号ＰＴＸがＨｉｇｈレベル（Ｈレベルと表記する場合もある）となることで行われる。
【００４３】
トランジスタ２１は、垂直走査回路２から入力される信号ＰＲＥＳがＨレベルとなると、浮遊拡散容量２０の電位を電源電圧ＶＤＤに基づく電位にリセット（ＲＥＳと表記される場合もある）する。
【００４４】
トランジスタ２２は、入力ノードが浮遊拡散容量２０に電気的に接続されている。トランジスタ２２は一方の主ノードに、垂直信号線６を介して接続される電流源７からバイアス電流が供給され、他方の主ノードに電源電圧ＶＤＤが供給されることでソースフォロワ（ＳＦと表記する場合もある）を構成する。
【００４５】
トランジスタ２３は、垂直走査回路２から入力される信号ＰＳＥＬがＨレベルとなると、トランジスタ２２が出力する信号を垂直信号線６に出力する。トランジスタ２３が垂直信号線６に信号を出力するノードがノードＰＤＯＵＴである。トランジスタ２２が出力する信号は、浮遊拡散容量２０の保持する電荷に基づく信号である。
【００４６】
次に列増幅部３の動作に関して説明を行う。
【００４７】
スイッチ８は、画素１００が出力する信号を増幅回路１２へ入力する制御を行っている。
【００４８】
容量Ｃ０、容量Ｃ１、容量Ｃ２は増幅回路１２の増幅をおこなうための容量であり、スイッチ９、スイッチ１０を制御することによりＣ０／Ｃ１もしくはＣ０／Ｃ２もしくはＣ０／（Ｃ１＋Ｃ２）の容量比にて入力電圧の増幅をおこなう。
【００４９】
スイッチ１１は容量Ｃ１、容量Ｃ２のリセットの制御を行なう。
【００５０】
増幅回路１２から出力された信号は、スイッチ１３、スイッチ１４を制御することにより容量ＣＴＮとＣＴＳにサンプルホールドされる。画素１００が出力する信号のうち、浮遊拡散容量２０がリセットレベルにあるときの出力信号（Ｎ信号と表記する場合もある）を、スイッチ１３をＯＮすることで容量ＣＴＮにサンプルホールドする。また、画素１００からの出力信号のうち、浮遊拡散容量２０に電荷が転送されたときの出力信号（Ｓ信号と表記する場合もある）を、スイッチ１４をＯＮすることで容量ＣＴＳにサンプルホールドする。
【００５１】
スイッチ１５、スイッチ１６は、水平走査回路４から信号φＨｎをＨレベルにすることにより、サンプルホールドされた容量ＣＴＮ、容量ＣＴＳの出力を出力アンプ１７に順次接続する。
【００５２】
上述の撮像素子を用いることで、撮像素子に入力された光信号を、電気信号として読み出すことが可能となる。
【００５３】
図３（ａ）〜図３（ｄ）のそれぞれは、画素１００のＣＦ配列を示した図である。
【００５４】
図３（ａ）に示したＣＦ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が配置された、いわゆるベイヤ配列である。
【００５５】
図３（ｂ）に示したＣＦ配列はＲＧＢＷ１２配列である。図３（ｂ）の配列は、図１の撮像素子２０１のＣＦ配列と同じ配列である。
【００５６】
図３（ｃ）に示したＣＦ配列はＲＧＢＷ８配列である。この配列では４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝２：４：２：８の比で配列されている。配列の特徴としては、Ｗ画素が市松模様状に配置されており、Ｗ画素の比率が全画素の１／２配置されている。Ｗ画素が市松模様状に配置されているため、ベイヤ配列におけるＧ信号を隣接するＲ画素、Ｂ画素への補間の方法を、Ｗ画素の信号を隣接するＢ画素、Ｇ画素、Ｒ画素へ補完する方法として用いることができる。
【００５７】
図３（ｄ）に示したＣＦ配列は、ＲＧＢＧ１２配列である。この配列はＲＧＢＷ１２のＷ画素をＧ画素に置き換えた配列である。このＲＧＢＧ１２配列では、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ＝２：１２：２の比で配置されている。Ｇ画素の比率が全画素の３／４である。ＲＧＢＧ１２配列では、Ｒ画素とＢ画素の各々が平面視において垂直方向、水平方向、斜め方向のそれぞれでＧ画素に囲まれている。Ｒ画素とＢ画素の各々がＧ画素で周囲を囲まれている為に、Ｇ信号をＲ画素、Ｂ画素へ補間する際の精度が向上する。また、ＲとＢに対し比較的感度の高いＧ画素の割合が高いため、感度アップする。
【００５８】
図４（ａ）〜図４（ｄ）のそれぞれは、カラー画素として補色であるＣ（シアン）・Ｍ（マゼンダ）・Ｙ（イエロー）を用いたＣＦ配置を示した図である。図４（ａ）は補色におけるベイヤ配列であり、ＣＦの比率がＣ：Ｍ：Ｙが１：１：２になる。ここでＹの画素が多く配置されているのは、人間の視覚特性がＧの波長と同じくＹの波長に対して他のＣ、Ｍよりも感度が高く、かつ解像度もあるためである。Ｙ画素を他のＣ画素、Ｍ画素よりも多くすることによって、解像感を高めることができる。
【００５９】
図４（ｂ）に示したＣＦ配列はＣＭＹＷ１２配列である。この配列では、４×４の画素配列中、各ＣＦがＣ：Ｍ：Ｙ：Ｗ＝１：１：２：１２の比で配置されている。配列の特徴としては、カラー画素であるＣ画素、Ｍ画素、Ｙ画素のいずれも平面視において水平方向、垂直方向、斜め方向のそれぞれでＷ画素に囲まれている。Ｗ画素の比率が全画素の３／４配置されている。また、カラー画素がＷ画素で周囲を囲まれていることにより、Ｗ画素の値をカラー画素に補間する精度が、例えば図４（ｃ）のようにＷ画素がカラー画素の斜め方向に位置していない場合に比して向上する。
【００６０】
図４（ｃ）に示したＣＦ配列は、ＣＭＹＷ８配列である。この配列では４×４の画素配列中、各ＣＦがＣ：Ｍ：Ｙ：Ｗ＝２：２：４：８の比で配列されている。配列の特徴としては、Ｗ画素が市松模様状に配置されており、Ｗ画素の比率が全画素の１／２配置されている。Ｗ画素が市松模様状に配置されていることで、ベイヤ配列のＧの配置と同様になり、ベイヤ配列のＧ補間の方法をそのまま用いることができる。また、Ｗ画素を配置することにより感度アップする。
【００６１】
図４（ｄ）に示したＣＦ配列は、ＣＭＹＹ１２配列である。この配列ではＣＹＭＷ１２配列のＷ画素をＹ画素に置き換えている。この配列では、４×４の画素配列中、各ＣＦがＣ：Ｍ：Ｙ＝２：２：１２の比で配置されている。ＣＭＹＹ１２配列では、Ｃ画素とＭ画素が平面視において垂直方向、水平方向、斜め方向のそれぞれにおいてＹ画素で囲まれている。Ｙ画素の比率は全画素の３／４である。Ｃ画素とＭ画素の各々がＹ画素で囲まれている為に、Ｙ信号をＣ画素とＭ画素に補間する精度が図４（ａ）の補色のベイヤ配列よりも向上する。
【００６２】
上述のように、撮像素子２０１は、ＣＦの各種の配置を取りうるが、単板イメージセンサで解像度をより高くした画像を作成するためには、解像情報を主に生成する画素をより多く配することが好ましい。つまり、図３（ｂ）、図４（ｂ）に示したように、Ｗ画素がカラー画素を囲むように配置する配列と、図３（ｄ）、図４（ｄ）に示したように、解像情報を主に生成するＧ画素あるいはＹ画素を他の色の画素を囲むように配置する配列が好ましい。その中でも、図３（ｂ）、図４（ｂ）に示したＷ画素がカラー画素を囲むように配置する配列は、Ｗ画素を配置することによって他の色の画素を配置するよりも感度が向上するため好ましい。
【００６３】
図６は、図１に示した補間部２０５が行う処理を示した図である。尚、図６は、撮像素子２０１のＣＦ配列がＲＧＢＷ１２配列である場合を示している。
【００６４】
図６（ａ）は、前述の前段処理部２０４から入力されるデータである。このデータを、Ｗデータとカラーデータ（Ｇ信号、Ｒ信号、Ｂ信号）とをそれぞれ分離する「データ分離」処理を行う。
【００６５】
Ｗデータは、図６（ｂ）に示す通り、４×４の画素のうち、ＲＧＢ画素が配置されていた画素の信号は不明（図中では？で示している）となる。また、カラーデータは、図６（ｄ）で示す通り、４×４のうち２×２画素であり、解像度の低い（空間的に粗い）データとなる。
【００６６】
次に、補間部は、「？」で示した信号を周囲の信号を用いて補間する処理を行う。補間の処理は、さまざまな方法を採用しうる。例として、周囲８画素平均を行う場合、上下左右の４画素の平均を行う（バイリニア法）手法と、周囲の画素のエッジを検出しエッジ方向に垂直な方向で補間する手法と、細線などのパターンを検出しその方向で補間する手法等がある。ここでは、以下のように補間処理を行う。
【００６７】
補間の方法を説明するために、図６（ｃ）にはＸ座標Ｙ座標を付記してある。たとえばｉＷｂと表記した信号は、Ｗデータにおける（３，３）の座標の信号であるためｉＷｂ（３，３）と表記する。入力信号の状態ではｉＷｂは不明であるため、補間が必要である。たとえば、ｉＷｂ（３，３）を周囲８画素平均で補間する場合、ｉＷｂ（３，３）は以下のように求められる。
【００６８】
【数１】
0006622481.tif 000002
【００６９】
本実施例ではこのように、信号値が不明な画素の信号を、周囲の画素の信号値から補間する処理を行う。なお、４×４の画素群を表記しているが、このパターンが繰り返されるため、ｉＷｒ、ｉＷｇなども周囲８画素の情報から補間を行うことができる。
【００７０】
次に、補間部２０５は、補間したＷデータ、ならびに抽出したカラーデータを用いて、Ｒデータ、Ｇデータ、Ｂデータのカラーデータを生成する。Ｒデータ、Ｇデータ、Ｂデータの生成における色の算出には、さまざまな方法が採用されうる。例として、カラーデータを規格化して色の比を求める方法がある。この方法では、以下の式で色の比を算出する。
【００７１】
【数２】
0006622481.tif 000003
【００７２】
ただしここで
【００７３】
【数３】
0006622481.tif 000004
【００７４】
である。
【００７５】
また、カラーデータと、補間したｉＷｒ、ｉＷｇ、ｉＷｂとの比をとる方法を利用することも出来る。この場合には、以下の式で色の比を算出する。
【００７６】
【数４】
0006622481.tif 000005
【００７７】
本実施例では、カラーデータと、補間したｉＷｒ・ｉＷｇｒ・ｉＷｇｂ・ｉＷｂとの比をとる方法を用いる。
【００７８】
このように求めた色の比であるＲＧＢ＿ｒａｔｉｏと、Ｗ信号あるいは補間値ｉＷｒ・ｉＷｇｒ・ｉＷｇｂ・ｉＷｂの信号を用いて、各画素におけるＲ、Ｇ、Ｂのそれぞれの色に対応する信号値を以下のように求めることができる。
【００７９】
【数５】
0006622481.tif 000006
【００８０】
ただしここで
【００８１】
【数６】
0006622481.tif 000007
【００８２】
であり、先ほど求めた色の算出データを用いる。
【００８３】
この補間部２０５の処理によって、各々が４×４の１６画素を有する、Ｒデータ、Ｇデータ、Ｂデータを得る。この補間部２０５が生成するＲデータ、Ｇデータ、Ｂデータは、解像データとカラーデータとを合成することによって生成される第１のデータである。
【００８４】
次に、図７を参照しながら、変換部２０６が行う処理について説明する。
【００８５】
図７は、カラーデータに対して、アップコンバート処理とモザイク処理を行い、ベイヤデータを出力する信号処理を示した図である。
【００８６】
図７（ａ）は前述の補間部２０５から入力されるデータである。まずこのデータを、図７（ｂ）に示すように、Ｒデータ、Ｇデータ、Ｂデータのそれぞれに分離する。
【００８７】
色分離されたそれぞれのカラーデータは、それぞれアップコンバート処理によって垂直方向および水平方向のそれぞれで２倍の解像度に変換される。アップコンバートの方法を説明するために、図７（ｂ）および図７（ｃ）および図７（ｄ）にはＸ座標Ｙ座標を付記してある。たとえば、左上のＲと表記した画素は（１，１）の座標のＲのデータであるため、Ｒ（１，１）と表記する。図７（ｃ）のＲ（１，１）は、図７（ｂ）のＲ（１，１）の画素をそのまま用いている。図７（ｃ）中、画素（１，２）、（２，１）、（２，２）はいずれも信号値が不明である。本実施例では、不明の信号値を補間する方法として、最近傍内挿法を用いる。よって、図７（ｃ）の（２，１）、（１，２）、（２，２）の信号値をＲ（１，１）と同じ値とする。
【００８８】
このようにして、図７（ｄ）に示すように、垂直方向および水平方向でそれぞれ２倍ずつ解像度が向上したＲデータ、Ｇデータ、Ｂデータのそれぞれが生成される。このアップコンバート処理によって得られたデータは、補間部２０５が生成した第１のデータをアップコンバート処理した第２のデータである。
【００８９】
次にモザイク処理をするために、図７（ｄ）のうちハッチがかかっている画素を抽出する。図７（ｄ）のＲデータでは、２×２の信号のうち、Ｘ座標値およびＹ座標値が最小の信号を用いる。つまり、Ｒ（１，１），Ｒ（３，１），Ｒ（５，１），Ｒ（７，１），Ｒ（３，１）・・・・の信号を用いる。Ｇデータでは、ベイヤ配列と同じ様に、市松模様状にデータを抽出する。Ｂデータでは、２×２の信号のうち、Ｘ座標値およびＹ座標値が最大の信号を用いる。つまり、Ｂ（２、２），Ｂ（４，２），Ｂ（６，２），Ｂ（８，１），Ｂ（４，２）・・・・の信号を用いる。
【００９０】
このようにして、変換部２０６は、図７（ｅ）に示すモザイクデータを得る。変換部２０６は、モザイクデータを画像処理部２０３に出力する。このモザイクデータは、画像処理部２０３による画像の精製に用いられる、所定の配列のデータである。本実施例では、画像処理部２０３に入力されるデータの所定の配列は、ベイヤ配列である。
【００９１】
画像処理部２０３は、図１を参照しながら説明した動作を行う。これにより、画像処理部２０３は、被写体の撮影画像を生成する。
【００９２】
以上の処理を行う撮像装置を用いて評価撮影を行った。解像感を評価するために解像度チャートを用いてＴＶ解像度の評価を行った。また、比較例として、図８に示すように、変換部２０６に図７の処理の内、アップコンバート処理を行わずにモザイクデータを生成させた。そして、比較例では、このモザイクデータを用いて画像処理部２０３が撮影画像を生成した。
【００９３】
以上のような方法で比較した結果、本実施例の図７に示した処理によって得られた撮影画像では、ＴＶ水平解像度が１０００本以上であった。一方で、比較例の撮影画像ではＴＶ水平解像度が９００本であった。
【００９４】
上記の画素信号数は、撮像素子の画素数の場合もあるが、撮像素子の信号出力する領域を限定（部分読み出し、クロップなどと呼ばれる場合もある）することや、撮像素子２０１の内部で加算（ビニングと呼ばれる場合もある）することで、画素数よりも少ない画素信号を出力する場合もある。本実施例で述べた処理では、出力された画素信号をアップコンバートすることで発揮されるものであり、撮像素子２０１の総画素数にはよらない。
【００９５】
本実施例の信号処理部２０２、画像処理部２０３のそれぞれは半導体基板に実装された集積回路とすることができる。
【００９６】
また、本実施例の撮像装置は、信号処理部２０２が形成された半導体基板と撮像素子２０１が形成された半導体基板とを積層した積層型センサとして利用することができる。
【００９７】
尚、本実施例では画像処理部２０３が撮像装置の外部に設けられた例を説明した。他の例として、撮像装置が画像処理部２０３を含むようにしても良い。
【００９８】
（実施例２）
本実施例の撮像装置について、実施例１とは異なる点を中心に説明する。
【００９９】
本実施例では、撮像素子２０１から出力される信号の数が、撮像素子２０１に配された画素数と異なる場合の処理を行う。具体的には、撮像素子２０１の一部の画素のみから画素信号を読み出すことにより、撮像素子２０１に配された画素数よりも少ない数の信号を撮像素子２０１が出力する場合を例として説明する。
【０１００】
撮像素子２０１の画素１００から画素信号を読み出すのに要する時間は、読み出す画素１００の数が増えるに従って長くなる。よって、画素信号を読み出す画素１００の数が増えるにつれて、動画の場合にはフレームレートが低下し、静止画の場合は１秒あたりの連射枚数が低下する。よって、動画のフレームレートの増加、静止画の連射枚数の増加に対応するために、撮像素子２０１が出力する信号の数を撮像素子２０１に配された画素数よりも少なくすることがある。
【０１０１】
また、像面位相差ＡＦとコントラストＡＦのように、画素信号を用いてフォーカスを合わせる場合には、部分的な撮像を行うとともにフレームレートを上げてフォーカス作業を高速にすることがある。
【０１０２】
本実施例の撮像素子２０１は水平１９２０×垂直１０８０の数の画素１００を有する。本実施例の撮像装置では、撮像素子２０１が、撮像素子２０１に配された画素１００のうちの中央部に位置する領域に含まれ、水平４８０×垂直２７０の数である画素１００から画素信号を読み出す。
【０１０３】
本実施例の処理は、実施例１の処理と同じとすることができる。この処理によって得られた解像度チャートの撮影画像を用いて評価を行った。本実施例の撮影画像では、ＴＶ水平解像度が２５０本以上であった。一方、比較例の出力データではＴＶ水平解像度が２００本であった。従って、本実施例の撮像装置もまた、実施例１と同じ効果を得ることができる。
【０１０４】
（実施例３）
本実施例の撮像装置について、実施例１と異なる点を中心に説明する。
【０１０５】
本実施例では、ＲＧＢＷ１２配列の撮像素子２０１を有する撮像装置において、実施例１よりもさらに色ノイズを低減した撮影画像を生成することができる。ＲＧＢＷ１２配列では、４×４の画素においてＲ画素とＢ画素がそれぞれ１画素ずつであり、Ｇ画素が２画素であるため、カラー画素の数がベイヤ配列の場合の１／４である。よって、ＲＧＢＷ１２配列ではベイヤ配列に比して、低照度での撮影時に色ノイズが目立ちやすい傾向がある。この色ノイズとは、ランダムショットノイズ、フォトショットノイズを総称したものである。この色ノイズは空間的な平均処理と時間的な平均処理との少なくとも一方を行って平均データを生成することによって、低減することができる。とくに人間の視覚特性は、色情報に関しての敏感度が、解像情報（輝度情報）に比べ空間的・時間的ともに鈍感であるため、空間的な平均処理、時間的な平均処理を行っても、画質の低下は人間の目には認識されにくい。
【０１０６】
図９は、本実施例の撮像装置が行う信号処理を示した図である。実施例１と異なる点は、補間部２０５が、カラーフレーム間処理を行う点である。補間部２０５はフレームメモリをさらに備える。
【０１０７】
図１０は、図９に示した信号処理のうち、補間部２０５、変換部２０６の処理の詳細を示した図である。
【０１０８】
補間部２０５のフレームメモリは、撮像素子２０１が１フレームに出力した出力信号に基づくカラーデータを保持する。尚、撮像素子２０１が出力する１フレームの信号とは、垂直走査回路２が、画素アレイ１の画素１００の垂直走査を１度行うことによって撮像素子２０１が出力する信号である。垂直走査回路２が複数回垂直走査を行うことによって、撮像素子２０１は複数フレームの信号を出力する。１つの画素１００に着目した場合、複数フレームの各々のフレーム期間は、入射光に基づく電荷を蓄積する電荷蓄積期間が互いに異なる期間である。そして、補間部２０５は、撮像素子２０１が別のフレームに出力した出力信号に基づくカラーデータと、フレームメモリが保持していたカラーデータとを用いたフレーム間処理を行う。このフレーム間処理は、複数フレームのカラーデータを用いた、空間的な平均処理と時間的な平均処理の少なくとも一方を行うことによって平均データを得る処理である。
【０１０９】
フレーム間処理では、移動平均処理、逐次型巡回処理（無限インパルス応答、ＩＩＲ：ｉｎｆｉｎｉｔｅ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅ）、非逐次型巡回処理（有限インパルス応答、ＦＩＲ：ｆｉｎｉｔｅ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅ）を適宜用いることができる。これにより、補間部２０５は、カラーデータに対するローパスフィルターを実現し、フレーム毎に変動する色ノイズを低減する。このようにして本実施例の撮像装置は、色ノイズを低減したカラーデータを得ることができる。
【０１１０】
その後、解像データであるＷデータと、カラーデータを合成する。この際には、局所領域においては色比率がほぼ一定に保たれることや強い色相関があることを仮定して処理を行う。すなわち、カラー画素の部分の補間された解像データの色比が、周囲の色と近いということから、解像データに色比をかけ合わせることで、カラーデータを作成する。
【０１１１】
図１１は、本実施例のＣＦ配列であるＲＧＢＷ１２配列の場合における信号処理の詳細を示した図である。
【０１１２】
図１１（ａ）は、補間部２０５に入力されるデータを示している。ここでは図３（ｂ）で示したＣＦ配列の内、繰り返しの１単位となる４×４画素を切り出して示している。このデータに対し、データ分離の処理を行う。これにより、図１１（ｂ）に示すように解像データと、図１１（ｄ）に示すカラーデータとが得られる。
【０１１３】
図１１（ｂ）に示す解像データに対する補間処理は実施例１と同じである。
【０１１４】
次に、カラーデータのフレーム平均処理について述べる。
【０１１５】
まず、１フレーム目のカラーデータを、予めフレームメモリに格納する。この１フレーム目のカラーデータには、後に説明する乗算、除算の処理を行わない。
【０１１６】
次に、２フレーム目のカラーデータについて説明する。図１１に示したように、補間部２０５は２フレーム目のカラーデータに対して、まず係数１／ｎを乗じる。ｎは、フレーム間処理を行うフレーム数である。本実施例では、ｎは２としている。よって、２フレーム目のＲ画素、Ｇ画素、Ｂ画素の各々の信号値は１／２となる。次に、補間部２０５は、フレームメモリに格納された、１フレーム目のカラーデータに、係数（ｎ−１）／ｎを乗じる。ｎは２であるため、１フレーム目のカラーデータのＲ画素、Ｇ画素、Ｂ画素の信号は、それぞれ１／２となる。そして補間部２０５は、１／２倍された１フレーム目の信号と、１／２倍された２フレーム目の信号を加算する。これにより、１フレーム目と２フレーム目のそれぞれのカラーデータを平均化したカラー平均データを取得することができる。
【０１１７】
尚、ｎが３以上の場合には、補間部２０５は、１フレーム目と２フレーム目のカラーデータで平均化されたカラーデータを２／３倍した信号と、３フレーム目に含まれるカラーデータを１／３倍したカラーデータとを加算する。これにより、３個のフレームに含まれるカラーデータを平均化したカラー平均データを取得することができる。
【０１１８】
図１１中のｎｒＲ、ｎｒＧ、ｎｒＢはフレーム間処理（ノイズリダクション）を行った後のＲ画素、Ｇ画素、Ｂ画素のカラーデータを示している。
【０１１９】
そして、補間部２０５は、図１１（ｃ）の補間後のＷデータと、図１１（ｅ）のノイズリダクション後のカラーデータとの合成を行う。合成は、もともとＲＧＢ画素が配置されている個所のＷの補間データｉＷと、当該個所のｎｒＲ、ｎｒＧ、ｎｒＢのＲＧＢそれぞれの色比を算出し、その色比と各画素のＷもしくはｉＷとを乗算したものが画素毎のＲＧＢの値となる。このようにして図１１（ｆ）のカラーデータを形成し、出力する。出力は以下の式で説明される。
【０１２０】
当該画素がＷの場合
【０１２１】
【数７】
0006622481.tif 000008
【０１２２】
当該画素がｉＷの場合
【０１２３】
【数８】
0006622481.tif 000009
【０１２４】
ここで、ｉＷｒ、ｉＷｇ、ｉＷｂは、Ｒ画素、Ｇ画素、Ｂ画素の部分のｉＷ値である。
【０１２５】
他の補間部２０５の信号処理および、変換部２０６、画像処理部２０３の信号処理は、実施例１と同じである。
【０１２６】
図１２は、上述の信号処理を行って生成した撮影画像について、ノイズ感と残像感の評価を行った結果を示した図である。図１２のノイズ評価と残像評価はそれぞれ優れた評価から順に○、△、×と表記している。
【０１２７】
また、評価の条件としては、撮影環境の明るさとカラー用データの処理のフレーム数として、前述の係数［１／ｎ］［（ｎ−１）／ｎ］のｎの値を変化させて評価を行った。
【０１２８】
条件Ｎｏ．１として、撮影シーンの明るさを１０ルクスとし、カラーデータの平均処理フレーム数のｎをｎ＝１とした。この条件において撮影された画像は、ノイズは殆ど無く、また、残像も見られなかった。よって、ノイズ評価、残像評価の両方ともに○となった。
【０１２９】
条件Ｎｏ．２として、撮影シーンの明るさを１０ルクスとし、ｎ＝４とした。この条件において撮影された画像は、ノイズは殆ど無かった。また、ｎ＝４としているため、ｎ＝１の条件Ｎｏ．１に比して、色が滲む残像が見える箇所があったが、許容できる範囲であった。よって、ノイズ評価は○、残像評価は△となった。
【０１３０】
条件Ｎｏ．３として、撮影シーンの明るさを１ルクスとし、ｎ＝１とした。この条件において撮影された画像には、撮影シーンの光量の減少により、解像データ、カラーデータのＳ／Ｎ比の低下によるノイズが若干見られた。また、この条件において撮影された画像には、残像は見られなかった。よって、ノイズ評価は△、残像評価は○となった。
【０１３１】
条件Ｎｏ．４として、撮影シーンの明るさを１ルクスとし、ｎ＝４とした。この条件では、カラーデータを複数フレームで平均処理することによって、条件Ｎｏ．３で撮影された画像に比してノイズの低減された画像が得られた。また、残像は条件Ｎｏ．２で撮影された画像と同じレベルで、許容できる程度であった。よって、ノイズ評価は○、残像評価は△となった。
【０１３２】
条件Ｎｏ．５として、撮影シーンの明るさを０．１ルクスとし、ｎ＝１とした。この条件では、条件Ｎｏ．３に比してさらに解像データ、カラーデータのＳ／Ｎ比の低下が生じたため、ノイズの目立つ画像が撮影された。一方、ｎ＝１のため、残像は見られなかった。よって、ノイズ評価は×、残像評価を○となった。
【０１３３】
条件Ｎｏ．６として、撮影シーンの明るさを０．１ルクスとし、ｎ＝４とした。この条件では、カラーデータを複数フレームで平均処理することによって、条件Ｎｏ．５で撮影された画像に比してノイズの低減された画像が得られた。また、カラーデータの処理フレーム数ｎ＝４を行っているが、残像感は許容できる程度であった。よって、図１２では、ノイズ評価を△、残像評価を△とした。
【０１３４】
このように、複数フレームに含まれるカラーデータを平均処理することによって、本実施例の撮像装置はノイズを低減しながら、残像を抑えた画像を生成することができる。
【０１３５】
本実施例の撮像装置は、ｎ個のフレームに含まれるＲＧＢ画素のデータを平均処理して得たカラー平均データと、ｎ個よりも少ない１個のフレームに含まれるＷ画素のデータとを用いて画像を生成する。このｎの値は、Ｗ画素の数が、光が入射する全ての画素の数に占める割合をＸとして、１／Ｘ以上の数とすることが好ましい。これにより、Ｗ画素の数が増えるに従って増加する偽色の発生を抑制することができる。
【０１３６】
なお、本実施例の撮像装置は、ｎの値を被写体の環境、例えば明るさ、コントラスト、動きの速度に応じて適宜変更してもよい。
【０１３７】
（実施例４）
本実施例の撮像装置について、実施例３の撮像装置とは異なる点を中心に説明する。本実施例の撮像装置は、複数フレームに含まれるカラーデータを処理したカラーデータと、カラーデータの処理よりも少ない複数のフレームに含まれる解像データを処理した解像データとを用いて、１枚の画像を生成する。
【０１３８】
図１３は、本実施例の撮像装置の動作を示したフロー図である。
【０１３９】
補間部２０５は、撮像素子２０１が出力する信号を解像データとカラーデータとに分離する。その後、解像データについてはｍ個のフレームに含まれる解像データを処理した解像データを生成する。また、カラーデータについては、ｍ個よりも多いｎ個のフレームに含まれるカラーデータを処理したカラーデータを生成する。
【０１４０】
人間の目は、解像に対する残像よりも、色に対する残像の方が認識しにくい。そのため、１枚の画像の生成に用いる解像データの平均処理フレーム数を、カラーデータの平均処理フレーム数よりも、少なくする。これにより、本実施例の撮像装置は、画像に生じる残像を人間の目には認識しにくいものとしつつ、ノイズを低減させた画像を生成することができる。
【０１４１】
他の補間部２０５の信号処理および、変換部２０６、画像処理部２０３の信号処理は、実施例１と同じである。
【０１４２】
図１４に本実施例の評価結果を示す。図１４のノイズ評価と残像評価はそれぞれ優れた評価から順に○、△、塗りつぶし△、×と表記している。
【０１４３】
条件Ｎｏ．１として、撮影シーンの明るさを１０ルクスとし、ｍ＝１、ｎ＝１とした。この条件で撮影された画像のノイズ評価と残像評価は双方とも○であった。
【０１４４】
条件Ｎｏ．２として、撮影シーンの明るさを１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は○、残像評価は△であった。
【０１４５】
条件Ｎｏ．３として、撮影シーンの明るさを１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は○、残像評価は塗りつぶし△であった。条件Ｎｏ．２で得られた画像に比して、条件Ｎｏ．３で得られた画像には、残像の許容範囲内での増加が見られた。
【０１４６】
条件Ｎｏ．４として、撮影シーンの明るさを０．１ルクスとし、ｍ＝１、ｎ＝１とした。この条件で撮影された画像のノイズ評価は×、残像評価は○であった。
【０１４７】
条件Ｎｏ．５として、撮影シーンの明るさを０．１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は塗りつぶし△、残像評価は△であった。条件Ｎｏ．４で撮影された画像に比して、条件Ｎｏ．５で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
【０１４８】
条件Ｎｏ．６として、撮影シーンの明るさを０．１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は△、残像評価は塗りつぶし△であった。条件Ｎｏ．５で撮影された画像に比して、条件Ｎｏ．６で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
【０１４９】
条件Ｎｏ．７として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝１、ｎ＝４とした。この条件で撮影された画像のノイズ評価は×、残像評価は△であった。
【０１５０】
条件Ｎｏ．８として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝２、ｎ＝４とした。この条件で撮影された画像のノイズ評価は塗りつぶし△、残像評価は塗りつぶし△であった。条件Ｎｏ．７で撮影された画像に比して、条件Ｎｏ．８で撮影された画像は、残像が許容範囲内で増加した一方で、ノイズが低減された画像であった。
【０１５１】
条件Ｎｏ９として、撮影シーンの明るさを０．０１ルクスとし、ｍ＝４、ｎ＝４とした。この条件で撮影された画像のノイズ評価は△、残像評価は×であった。条件Ｎｏ．８で撮影された画像に比して、条件Ｎｏ．９で撮影された画像は、ノイズが低減された一方、残像が許容範囲を越えて増加した。
【０１５２】
このように、本実施例の撮像装置は、例えば条件Ｎｏ．５と条件Ｎｏ．６の比較で明らかなように、１枚の画像の生成に、複数フレームに含まれる解像データを平均処理した解像平均データを用いることで、ノイズを低減した画像を生成することができる。また、１枚の画像の生成に用いる解像データとカラーデータのフレーム数を一致させた条件Ｎｏ．９では、残像が許容範囲を越えて増加した。本実施例の撮像装置は、１枚の画像の生成に用いる解像データのフレーム数が、カラーデータのフレーム数よりも少なくすることによって、残像の増加を抑制しながらノイズを低減した画像を生成することができる。
【０１５３】
一方、１枚の画像の生成に、複数フレームに含まれる解像データを平均処理した解像平均データを用いることで、残像が増加する場合がある。従って、被写体が静止している場合には、１枚の画像の生成に、フレーム数ｎ１のカラー平均データと、フレーム数ｍ１の解像平均データとを用いる。ｍ１はｎ１よりも少ない数である。一方、被写体に動きがある場合には、１枚の画像の生成に、被写体が静止している場合に比して少ないフレーム数の解像平均データを用いると良い。好ましくは、被写体に動きがある場合には、１枚の画像の生成に、１フレームのみに含まれる解像データを用いると良い。
【０１５４】
また、解像度に関してＴＶ解像度の評価を行った。本実施例の出力データでは、ＴＶ水平解像度が１０００本以上であった。
【０１５５】
なお、本実施例においては、解像度用のデータ処理フレーム数ｎ１を１とし、カラー用データの処理のフレーム数ｎ２を４として説明したが、ｎ１およびｎ２の値を被写体の環境（明るさやコントラストや移動速度）に応じて適宜変更することが好ましい。
【０１５６】
（実施例５）
本実施例の撮像装置について、実施例３とは異なる点を中心に説明する。本実施例では、ＣＦの配列が図３（ｄ）で表わされるＲＧＢＧ１２配列を用いている。ＲＧＢＧ１２の配列にすることで、ＲＧＢＷ１２に比べＷ画素がＧ画素に置き換わっている為に、感度が低下する。しかしながら、Ｗの画素はＲＧＢ画素に対して感度がかなり大きいため、被写体によってはＷ画素の飽和が早く生じてしまい、ダイナミックレンジが低下する場合があった。したがってＣＦ配列をＲＧＢＧ１２とすることで飽和と感度のバランスが取れる。
【０１５７】
図１５は、本実施例のＣＦ配列であるＲＧＢＧ１２データの補間部２０５におけるフローチャートである。
【０１５８】
図１５（ａ）に入力データを示す。ここでは図３（ｄ）で示すＣＦ配列の内、繰り返しの１単位となる４×４画素を切り出して示している。このデータをデータ分離し、図１５（ｂ）に示す解像データと、図１５（ｄ）に示すカラーデータに分離する。
【０１５９】
図１５（ｃ）に示すＧ画素のデータを基本とした解像データは、図１５（ｃ）のＲＢ画素の部分のデータは不明である（図中‘？’で示す）。この不明データの部分の補間処理を行い、図１５（ｃ）に示す補間後解像データを作成する。補間された画素の値はｉＧと表記する。
【０１６０】
図１５（ｃ）に示すカラーデータは、ＲＧＢの画素数が全画素の１／２しかないため、解像度の低いデータとなる。その後、カラーデータは複数のフレームからノイズリダクションを行う。本実施例では、ｎ＝２として処理を行った。図１５（ｅ）中のｎｒＲ、ｎｒＧ、ｎｒＢはノイズリダクション後のＲＧＢ画素データを示す。
【０１６１】
上述までで形成された図１５（ｃ）の補間後解像データと、図１５（ｅ）のノイズリダクション後カラーデータの合成を行い、図１５（ｆ）のＲＧＢデータを形成し、出力する。
【０１６２】
以上の処理を行った撮像装置を用いて評価撮影を行った。撮影した結果、実施例３の撮像装置に比べて、感度は低下したが、ＲＧＢ画素の飽和のバランスがとれた撮像装置を得ることができた。
【０１６３】
（実施例６）
本実施例の撮像装置について、実施例３とは異なる点を中心に説明する。本実施例では、ＣＦの配列が図４（ｂ）で表わされるＣＭＹＷ１２配列を用いている。感度の高い補色（Ｃ、Ｍ、Ｙ）フィルタを用いていることと、Ｗ画素を用いていることから、感度が向上する。
【０１６４】
図１６は、本実施例のＣＦ配列であるＣＭＹＷ１２配列データの補間部２０５におけるフローチャートである。
【０１６５】
図１６（ａ）に入力データを示す。ここでは図４（ｂ）で示すＣＦ配列の内、繰り返しの１単位の４×４画素を切り出して示している。このデータをデータ分離し、図１６（ｂ）に示す解像データと、図１６（ｄ）に示すカラーデータに分離する。
【０１６６】
図１６（ｃ）に示すＷ画素のデータを基本とした解像データは、図１６（ｃ）のＣＭＹ画素の部分のＷデータは不明である（図中‘？’で示す）。この不明データの部分の補間処理を行い、図１６（ｃ）に示す補間後解像データを作成する。補間された画素の値はｉＷと表記する。
【０１６７】
図１６（ｃ）に示すカラーデータは、ＲＧＢの画素数が全画素の１／４しかないため、解像度の低いデータとなる。その後、カラーデータは複数のフレームからノイズリダクションを行う。本実施例では、ｎ＝４として処理を行った。図１６（ｅ）中のｎｒＣ、ｎｒＭ、ｎｒＹはノイズリダクション後のＣＭＹ画素データを示す。
【０１６８】
上述までで形成された図１６（ｃ）の補間後解像データと、図１６（ｅ）のノイズリダクション後カラーデータを、実施例５と同じく合成を行い、その後ＣＭＹ−ＲＧＢ変換を行うことで、図１６（ｆ）のＲＧＢデータを形成し、出力する。
【０１６９】
以上の処理を行った撮像装置を用いて評価撮影を行った。撮影した結果、一部の画像において色再現性が低下するものの、実施例３の撮像装置より感度の画像が得られた撮像装置が得られた。
【０１７０】
また、解像度に関してＴＶ解像度の評価を行った。本実施例の出力データでは、ＴＶ水平解像度が１０００本以上であった。
【０１７１】
（実施例７）
本実施例は、実施形態、実施例１〜６で述べた撮像装置を適用した撮像システムについて述べる。撮像システムは撮像装置を用いて画像、動画等を取得する装置であり、その一例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどがある。図１７に、撮像システムの例としてデジタルスチルカメラに実施形態、実施例１〜実施例６の撮像装置を適用した場合のブロック図を示す。
【０１７２】
図１７において、撮像システムは被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３及びレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像システムは撮像装置３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。出力信号処理部３０５は、実施形態、実施例１〜６で説明した画像処理部２０３を有する。出力信号処理部３０５は、撮像装置３０１が形成された半導体基板とは別の半導体基板に形成されている。
【０１７３】
出力信号処理部３０５はデジタル信号処理部を有し、撮像装置３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。
【０１７４】
また、撮像システムは、画像データを一時的に記憶する為のバッファメモリ部３０６、記録媒体への記録又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部３０７を有する。さらに撮像システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の、着脱可能な、又は撮像システムに内蔵された、記録媒体３０９を有する。さらに、撮像システムは、外部のコンピュータ等と通信するための外部インターフェース（Ｉ／Ｆ）部３０８、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部３１０を有する。さらに撮像システムは、出力信号処理部３０５に、各種タイミング信号を出力するタイミングジェネレータ３１１を有する。なお、タイミング信号などの制御信号はタイミングジェネレータ３１１ではなく外部から入力されてもよい。すなわち、撮像システムは少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する出力信号処理部３０５とを有すればよい。
【０１７５】
以上のように、本実施例の撮像システムは、実施形態、実施例１〜６で述べた撮像装置３０１を適用して撮像動作を行うことが可能である。
【符号の説明】
【０１７６】
２０１  撮像素子
２０２  信号処理部
２０３  画像処理部
２０４  前段処理部
２０５  補間部
２０６  変換部
【図１】
0006622481.tif 000010
【図２】
0006622481.tif 000011
【図３】
0006622481.tif 000012
【図４】
0006622481.tif 000013
【図５】
0006622481.tif 000014
【図６】
0006622481.tif 000015
【図７】
0006622481.tif 000016
【図８】
0006622481.tif 000017
【図９】
0006622481.tif 000018
【図１０】
0006622481.tif 000019
【図１１】
0006622481.tif 000020
【図１２】
0006622481.tif 000021
【図１３】
0006622481.tif 000022
【図１４】
0006622481.tif 000023
【図１５】
0006622481.tif 000024
【図１６】
0006622481.tif 000025
【図１７】
0006622481.tif 000026