(57)【要約】【課題】画素加算のための画素構成が困難になることなく、画素の読み出しに必要な動作速度や消費電力を適正な範囲に維持しつつ、品質の良い画像信号を生成することができる。【解決手段】４つの光電変換素子２１に関して１つのＦＤ２４が共有されている。この４つの光電変換素子２１は、ベイヤー配列の２行２列の単位格子に対応する。信号転送部２２は、４つの光電変換素子２１のうち異色に対応する２つの光電変換素子２１からの出力信号を同時にＦＤ２４へと転送すると共に、残りの２つの光電変換素子２１からの出力信号を同時にＦＤ２４へと転送する。これによって画素信号が加算される。撮像素子２０は、加算された画素信号からＧとＭｇの画素信号からなるデジタル画像信号と、ＹｅとＣｙの画素信号からなるデジタル画像信号とを生成し、画像処理部３０へと出力する。【選択図】図１
2011109335.tif 000002
【特許請求の範囲】
【請求項１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、
前記単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、
前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、
前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを出力する、
ことを特徴とする撮像素子。
【請求項２】
前記信号加算回路が、前記単位格子ごとに、互いに異なる第１〜第３のパターンのいずれかで前記光電変換素子からの出力信号を加算し、
前記第１のパターンが、前記単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、Ｒ及びＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、
前記第２のパターンが、前記単位格子内において、行方向に並んだＧ及びＲの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、行方向に並んだＢ及びＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、
前記第３のパターンが、前記単位格子内において、列方向に並んだＧ及びＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲ及びＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンである、
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す、
ことを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記信号加算回路が、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す、
ことを特徴とする請求項２に記載の撮像素子。
【請求項５】
前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す、
ことを特徴とする請求項２に記載の撮像素子。
【請求項６】
前記信号加算回路が、前記第１〜第３のパターンの並び方が異なる第１及び第２の加算処理をフレームごとに交互に繰り返し、
前記第１の加算処理が、
行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す処理であり、
前記第２の加算処理が、
行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す処理である、
ことを特徴とする請求項２に記載の撮像素子。
【請求項７】
前記信号加算回路が、
前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させる、
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像素子。
【請求項８】
前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記単位格子の１行ごとに８本設けられ、
行方向に１つおきに隣接する複数の前記単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されている、
ことを特徴とする請求項７に記載の撮像素子。
【請求項９】
前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記単位格子の１行ごとに４本設けられ、
行方向に隣接する２つの前記単位格子同士で、前記４本の転送制御信号線が、そのうちの２本を入れ替えて共用されている、
ことを特徴とする請求項７に記載の撮像素子。
【請求項１０】
奇数行を出力する奇数フィールド出力と偶数行を出力する偶数フィールド出力とを交互に繰り返すインターレース出力に対応した撮像素子であって、
前記信号加算回路が、
行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返し、その後に、列方向に隣接する同色の信号を加算した信号を奇数フィールド出力として出力し、
行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返し、その後に、列方向に隣接する同色の信号を加算した信号を偶数フィールド出力として出力する、
ことを特徴とする請求項２に記載の撮像素子。
【請求項１１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、
前記信号加算回路からの出力信号が、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動装置。
【請求項１２】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、
前記信号加算回路からの出力信号が、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動方法。
【請求項１３】
請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成手段と、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成手段と、
前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成手段と、
を備えていることを特徴とする画像処理装置。
【請求項１４】
前記色差信号生成手段が、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに生成する画素信号生成手段と、
前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、
前記信号加算手段からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成する、
ことを特徴とする画像処理装置。
【請求項１６】
請求項１〜１０のいずれか１項に記載の撮像素子から出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成ステップと、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成ステップと、
前記輝度信号生成ステップにおいて生成された輝度信号と前記色差信号生成ステップにおいて生成された色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成ステップと、
を備えていることを特徴とする画像処理方法。
【請求項１７】
前記色差信号生成ステップにおいて、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成する、
ことを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタを透過した光の強度を示す画素信号を生成する画素信号生成ステップと、
前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算ステップとを備え、
前記信号加算ステップにおいて出力された信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成する、
ことを特徴とする画像処理方法。
【請求項１９】
請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成ステップと、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成ステップと、
前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成ステップとをコンピュータに実行させる、
ことを特徴とするプログラム。
【請求項２０】
前記色差信号生成ステップにおいて、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成する、
ことを特徴とする請求項１９に記載のプログラム。
【請求項２１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタを透過した光の強度を示す画素信号を生成する画素信号生成ステップと、
前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算ステップと、
前記信号加算ステップにおいて出力された信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項２２】
被写体像を結像させる撮像光学系と、
前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜１０のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、
を備えていることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、特に、カラーフィルタがベイヤー配列で配列された撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
近年、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ：高精細）動画などの高速動画記録に対応したデジタルカメラが提供されている。静止画の画像撮影の要求としては、１２Ｍ（メガ）ピクセルのイメージセンサが使用されている。一方、ＨＤ動画においては、出力画素数は横ピクセル数が１９２０で縦ピクセル数が１０８０であり、出力画素数は合計で２．１Ｍピクセルである。したがって、同一のイメージセンサを用いて高精細静止画とＨＤ動画とを撮影するデジタルカメラを実現するためには、動画撮影の際に、イメージセンサから出力される画素数を絞り込む構成とする必要がある。
【０００３】
イメージセンサから出力する画素数を絞りこむ方法としては、画面の一部を切りだして出力する切り出し出力が知られている。例えば、切り出し出力は、静止画１２Ｍピクセルのイメージセンサを用いている場合であれば、２．１Ｍピクセルの動画を出力する際に、画面の中央部約１／４を切り出して出力する方法である。しかし、この方法では、静止画像撮影時に比べて、動画撮影時の画角が狭くなってしまうという問題がある。
【０００４】
そこで、イメージセンサから出力する画素数を絞りこむ際の別の方法として、画素信号を間引いて出力する間引き出力や、同色の複数の画素信号を混合して出力する画素混合出力が知られている（特許文献１参照）。例えば、縦横それぞれ２画素につき、間引いたり画素混合を行ったりすることで１画素だけ出力し、出力データレートを１／４にできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２４４９９５号公報
【特許文献２】特開２００９−１５９１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、間引き出力は、イメージセンサから出力する画素数を絞りこむ際に、イメージセンサが受光した画素のうち読み出さない画素が発生することを意味し、出力画像データの感度を低下させる要因となる。
【０００７】
一方、特許文献１に開示された撮像装置においては、画素信号を間引かず、同色の画素信号を加算して出力している。しかし、ＣＭＯＳセンサの場合、垂直方向に同色の加算を行うとすると、離れた位置の画素信号を１つのＦＤ（Ｆｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ）に接続するための画素構成が難しく小型化が困難である。
【０００８】
その他の加算方法として、特許文献２で提案されている方法では、斜め方向に隣接するＧｒとＧｂの同色２画素に関して共有されたＦＤに対して、ＧｒとＧｂの２画素の電荷を同時に転送することにより加算して読み出している。そして、斜め方向に隣接するＲとＢの異色の２画素に関して共有されたＦＤに対して、ＲとＢの２画素のうちいずれかの画素の電荷を転送して読み出している。これによれば、ＧｒとＧｂの２画素の電荷は加算しているが、ＲとＢに関しては間引きして読み出しているので、色ノイズの点では画素を加算する場合と比較して不利であり、品質の良い画像信号を生成できない。
【０００９】
さらに、イメージセンサからの画素を複数のサンプリング位置に関して所定の比率で混合し、出力することも考えられるが、サンプリング位置が多くなると、センサにおいて読み出す画素が多くなり、画素の読み出しに必要な動作速度や消費電力が過大になるおそれがある。
【００１０】
本発明の目的は、画素加算のための画素構成が困難になることなく、画素の読み出しに必要な動作速度や消費電力を適正な範囲に維持しつつ、品質の良い画像信号を生成することができる撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、画像処理方法、プログラム、及び、撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
かかる目的を達成するためになされた請求項１に記載の撮像素子に係る発明は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを出力する。
【００１２】
請求項１に記載の撮像素子は、単位格子ごとに２つの光電変換素子からの出力信号を加算してから読み出すことにより、１フレーム当たりの読み出し画素数を減少できる。このため、例えばフレームレートを変えない場合には、撮像素子内の動作周波数やＡ／Ｄ変換レートを低下させ、消費電力を低減することができる。一方、動作周波数やＡ／Ｄ変換レートを変えない場合には、フレームレートを増加させることができる。また、単位格子内の隣接する画素同士を加算するので、画素構成が困難になることがない。また、画素を間引きせず、加算して出力するので、画素を読み出す際の感度が向上する。さらに、本発明の撮像素子が出力した第１のデジタル画像信号と第２のデジタル画像信号とを加算して輝度信号を生成すると、２つの画素を加算して輝度信号を生成するので、より感度が向上する。
【００１３】
また、請求項１に記載の撮像素子は、請求項２に記載の発明のように、前記信号加算回路が、前記単位格子ごとに、互いに異なる第１〜第３のパターンのいずれかで前記光電変換素子からの出力信号を加算し、前記第１のパターンが、前記単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、Ｒ及びＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、前記第２のパターンが、前記単位格子内において、行方向に並んだＧ及びＲの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、行方向に並んだＢ及びＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、前記第３のパターンが、前記単位格子内において、列方向に並んだＧ及びＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲ及びＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであってもよい。これによると、第１のパターンの加算結果からＧの画素データ及びＭｇの画素信号が生成され、第２のパターンの加算結果から行方向に並んだ画素の加算結果としてＣｙの画素信号及びＹｅの画素信号が生成され、第３のパターンの加算結果から列方向に並んだ画素の加算結果としてＣｙの画素信号及びＹｅの画素信号が生成される。したがって、これらの加算結果から生成される画素信号に基づいて、第１のデジタル画像信号と第２のデジタル画像信号とが適切に生成される。
【００１４】
また、請求項２に記載の撮像素子は、請求項３に記載の発明のように、前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返してもよい。これによると、第１のパターンと第３のパターンとを行方向に交互に繰り返すことにより、第１のデジタル画像信号の１行目と第２のデジタル画像信号の１行目とを生成できる。そして、第２のパターンと第１のパターンとを行方向に交互に繰り返すことにより、第１のデジタル画像信号の２行目と第２のデジタル画像信号の２行目とを生成できる。さらに、これらを列方向に繰り返すことで、第１のデジタル画像信号の全行及び第２のデジタル画像信号の全行を生成することができる。
【００１５】
また、請求項２に記載の撮像素子は、請求項４に記載の発明のように、前記信号加算回路が、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返してもよい。これによると、請求項３の発明とは異なるパターンで、第１のデジタル画像信号の全行及び第２のデジタル画像信号の全行を生成することができる。
【００１６】
また、請求項２に記載の撮像素子は、請求項５に記載の発明のように、前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返してもよい。これによると、請求項４の発明とも請求項５の発明とも異なるパターンで、第１のデジタル画像信号の全行及び第２のデジタル画像信号の全行を生成することができる。
【００１７】
また、請求項２に記載の撮像素子は、請求項６に記載の発明のように、前記信号加算回路が、前記第１〜第３のパターンの並び方が異なる第１及び第２の加算処理をフレームごとに交互に繰り返し、前記第１の加算処理が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す処理であり、前記第２の加算処理が、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す処理であってもよい。これによると、加算パターンの並び方が異なる２つの加算処理から、第１及び第２のデジタル画像信号が２組生成される。これらの２組のデジタル画像信号は、偽色の位相が互いに反対の位相となっており、これらを平均することで、偽色を抑制することができる。
【００１８】
また、請求項１〜６のいずれかに記載の撮像素子は、請求項７に記載の発明のように、前記信号加算回路が、前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させてもよい。これによると、基本構成として、４画素で１つのフローティングディフュージョンを共有する構成であり、小型化を実現するための既存の画素構成を採用できる。加算パターンは、転送方法を変更することで様々に実現される。
【００１９】
また、請求項７に記載の撮像素子は、請求項８に記載の発明のように、前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記単位格子の１行ごとに８本設けられ、行方向に１つおきに隣接する複数の前記単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されていてもよい。これによると、１つおきに隣接する単位格子で共用された４本の転送制御信号線により各転送トランジスタを制御すると共に、残りの単位格子においては別の４本の転送制御信号線により各転送トランジスタを制御できる。したがって、隣接する単位格子同士では様々に異なる転送制御を実行でき、様々に異なる加算パターンが設定可能である。
【００２０】
また、請求項７に記載の撮像素子は、請求項９に記載の発明のように、前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記単位格子の１行ごとに４本設けられ、行方向に隣接する２つの前記単位格子同士で、前記４本の転送制御信号線が、そのうちの２本を入れ替えて共用されていてもよい。これによると、単位格子の１行ごとに４本の転送トランジスタが共用されているので、転送制御信号線が少なくて済む。また、隣接する単位格子同士では２本の転送制御信号線が入れ替えて共用されているため、加算対象となる転送トランジスタを、隣接する単位格子同士で入れ替えることができる。
【００２１】
また、請求項２に記載の撮像素子は、請求項１０に記載の発明のように、奇数行を出力する奇数フィールド出力と偶数行を出力する偶数フィールド出力とを交互に繰り返すインターレース出力に対応した撮像素子であって、前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返し、その後に、列方向に隣接する同色の信号を加算した信号を奇数フィールド出力として出力し、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返し、その後に、列方向に隣接する同色の信号を加算した信号を偶数フィールド出力として出力してもよい。これによると、インターレース出力に対応した撮像素子が実現する。
【００２２】
また、請求項１１に記載の撮像素子の駆動装置は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、前記信号加算回路からの出力信号が、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを、前記撮像素子から出力させる。これによると、請求項１の発明と同様に撮像素子を機能させる駆動装置が実現する。
【００２３】
また、請求項１２の撮像素子の駆動方法は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、前記信号加算回路からの出力信号が、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを、前記撮像素子から出力させる。これによると、請求項１の発明と同様に撮像素子を機能させる駆動方法が実現する。
【００２４】
また、請求項１３に記載の画像処理装置は、請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成手段と、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成手段と、前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成手段と、を備えている。これによると、第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成しているので、輝度信号を生成する際の感度が向上する。また、輝度信号は、第１及び第２のデジタル画像信号同士で各画素の信号を加算することにより、補間することなく各画素について生成されるので、高解像度な画像を生成することができる。
【００２５】
また、請求項１３に記載の画像処理装置は、請求項１４に記載の発明のように、前記色差信号生成手段が、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成してもよい。これによると、ローパスフィルタを用いて色差信号を補間するので、偽色が抑制される。
【００２６】
また、請求項１５に記載の画像処理装置は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに生成する画素信号生成手段と、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、前記信号加算手段からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成する。これによると、単位格子ごとに２つの画素信号同士を加算するので、サンプリングの個数が限られており、画素の読み出しに必要な動作速度や消費電力が抑制される。また、画素を間引きせず、加算して出力するので、読み出しの感度が向上する。さらに、生成された第１のデジタル画像信号と第２のデジタル画像信号とを加算して輝度信号を生成すると、２つの画素を加算して輝度信号を生成するので、より感度が向上する。
【００２７】
また、請求項１６に記載の画像処理方法は、請求項１〜１０のいずれか１項に記載の撮像素子から出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成ステップと、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成ステップと、前記輝度信号生成ステップにおいて生成された輝度信号と前記色差信号生成ステップにおいて生成された色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成ステップと、を備えている。
【００２８】
また、請求項１６に記載の画像処理方法は、請求項１７に記載の発明のように、前記色差信号生成ステップにおいて、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成してもよい。
【００２９】
また、請求項１８に記載の画像処理方法は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタを透過した光の強度を示す画素信号を生成する画素信号生成ステップと、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算ステップとを備え、前記信号加算ステップにおいて出力された信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成する。
【００３０】
また、請求項１９に記載のプログラムは、請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成ステップと、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成ステップと、前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成ステップとをコンピュータに実行させる。
【００３１】
また、請求項１９に記載のプログラムは、請求項２０に記載の発明のように、前記色差信号生成ステップにおいて、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成してもよい。
【００３２】
また、請求項２１に記載のプログラムは、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタを透過した光の強度を示す画素信号を生成する画素信号生成ステップと、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算ステップと、前記信号加算ステップにおいて出力された信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成するステップと、をコンピュータに実行させる。
【００３３】
また、請求項２２に記載の撮像装置は、被写体像を結像させる撮像光学系と、前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜１０のいずれか１項に記載の撮像素子と、前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、を備えている。これによると、撮像素子から出力された第１及び第２のデジタル画像信号に基づいて、高品質な被写体像の再現が可能となる。
【発明の効果】
【００３４】
請求項１に記載の撮像素子によると、単位格子ごとに２つの光電変換素子からの出力信号を加算してから読み出すことにより、１フレーム当たりの読み出し画素数を減少できる。このため、例えばフレームレートを変えない場合には、撮像素子内の動作周波数やＡ／Ｄ変換レートを低下させ、消費電力を低減することができる。一方、動作周波数やＡ／Ｄ変換レートを変えない場合には、フレームレートを増加させることができる。また、単位格子内の隣接する画素同士を加算するので、画素構成が困難になることがない。また、画素を間引きせず、加算して出力するので、画素を読み出す際の感度が向上する。さらに、本発明の撮像素子が出力した第１のデジタル画像信号と第２のデジタル画像信号とを加算して輝度信号を生成すると、２つの画素を加算して輝度信号を生成するので、より感度が向上する。
【００３５】
また、請求項１に記載の撮像素子から出力される第１のデジタル画像信号と第２のデジタル画像信号とからは、互いの画素信号を画素ごとに加算するのみで輝度信号を生成できる。この輝度信号の生成においては、空間的な補間をする必要がないため、高解像度の画像を得ることができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態である第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図２（ａ）はベイヤー配列を、図２（ｂ）は画素信号の加算パターンを、図２（ｃ）は加算パターンの一配置例を、図２（ｄ）は、図２（ｃ）における加算パターンの配置例により生成される加算結果を配置する方法をそれぞれ示す模式図である。
【図３】画像処理部の構成を示すブロック図である。
【図４】画像処理部が実行する信号処理の各ステップを示す模式図である。
【図５】図２（ｃ）に示す加算パターンの配置を実現するための具体的な回路構成図である。
【図６】図６（ａ）〜図６（ｃ）は、図２（ｂ）に示す加算パターンに従って加算された信号を単位回路から出力させるために、転送制御信号線によって転送トランジスタに印加させる転送制御信号を示すシーケンス図である。
【図７】撮像装置が実行する処理の全体の流れを示したフローチャートである。
【図８】第２の実施形態に係る撮像素子の具体的な回路構成図である。
【図９】第３の実施形態に係る加算パターンの配置とその加算パターンの配置によって生成される画像信号とを示す模式図である。
【図１０】第４及び第５の実施形態に係る加算パターンの配置を示す模式図である。
【図１１】第５の実施形態において色差信号に発生する偽色を示す模式図である。
【発明を実施するための形態】
【００３７】
（第１の実施形態）
本発明に係る実施の形態の一つである第１の実施形態について、図面に基づいて説明する。
【００３８】
図１は、本発明の一実施の形態である第１の実施形態に係る撮像装置１の構成を示すブロック図である。図１に示すように、撮像装置１は、被写体像を撮像素子２０に導いて結像させる撮像光学系１０と、結像された被写体像を光電変換して出力する撮像素子２０と、撮像素子２０から出力された出力信号に対して所定の信号処理を加え、被写体像を再現する画像処理部３０とによって構成されている。画像処理部３０から出力される１フレームの画像に対応する画像データから静止画の画像データが生成され、画像処理部３０から時間的に連続して出力される複数のフレーム画像に対応する画像データから動画データが生成される。
【００３９】
撮像素子２０は、受光量に応じたアナログ信号を出力する複数の光電変換素子２１と、複数の光電変換素子２１に関して共有されたフローティングディフュージョン（以下、「ＦＤ（Ｆｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ）」とする）２４と、光電変換素子２１から出力されたアナログ信号をＦＤ２４へと転送する信号転送部２２と、信号転送部２２によるアナログ信号の転送を制御する転送制御部２３と、ＦＤ２４から出力されたアナログ信号をデジタル信号に変換して出力するＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）部２５とを備えている。
【００４０】
複数の光電変換素子２１には複数のカラーフィルタが光電変換素子２１ごとに備えられている。これらのカラーフィルタは、それぞれＲ（赤）、Ｇ（緑）及びＢ（青）の３原色の色成分のいずれかに対応するフィルタである。複数のカラーフィルタは、Ｒ、Ｇ及びＢの３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列されている。撮像光学系１０によって結像された被写体像からの光は、各色のカラーフィルタを透過し、単一色の光となって光電変換素子２１に受光される。光電変換素子２１は、各カラーフィルタを透過した単一色の光の強度に応じた量の電荷をアナログ電気信号として出力する。このように、撮像素子２０は、単板式撮像素子として構成されている。本実施の形態では、光電変換素子２１が横に４０００個、縦に３０００個配列されている。つまり、撮像素子２０が、横４０００ピクセルの画素からなり縦３０００ピクセルの画素からなる、合計で１２Ｍ（メガ）ピクセルの画素で構成されている。
【００４１】
図２（ａ）は上述のベイヤー配列を表している。ベイヤー配列で配列されたカラーフィルタは、Ｇ色フィルタとＲ色フィルタとが行方向に交互に配置された行と、ＧフィルタとＢフィルタとが行方向に交互に配置された行とが、列方向に交互に配置されている。このうちＧフィルタは、市松模様状に配置されている。本実施の形態では、行方向にＲと交互に並んだＧ色をＧｒと表し、行方向にＢと交互に並んだＧ色をＧｂと表す。
【００４２】
光電変換素子２１から出力された電荷は、信号転送部２２によってＦＤ２４に転送される。転送制御部２３は、信号転送部２２によってどの光電変換素子２１からどのタイミングでＦＤ２４へと電荷を転送させるかを制御する。これにより、撮像素子２０は、１フレームにつき全ての光電変換素子２１からＦＤ２４へと電荷を転送させることも、１フレームにつき任意の一部の光電変換素子２１からＦＤ２４へと電荷を転送させることも可能である。
【００４３】
ＦＤ２４は、光電変換素子２１から転送された電荷の量に応じた大きさの電圧を出力する。ＦＤ２４は、複数の光電変換素子２１に関して共有されている。具体的には、２行２列のベイヤー配列の単位格子に対応する４つの光電変換素子２１を一まとめにした光電変換素子群２１ａのそれぞれに関して１つのＦＤ２４が共有されている。図１では、光電変換素子群２１ａがそれぞれ破線で囲まれ、図２（ａ）では、光電変換素子群２１ａに対応する２行２列の単位格子が破線で囲まれている。ＦＤ２４は、光電変換素子２１から転送された電荷の量に応じた大きさの電圧信号を生成し、ＡＦＥ部２５へと出力する。
【００４４】
ＡＦＥ部２５は、ＦＤ２４から出力されたアナログ信号を相関二重サンプリングするＣＤＳ（Ｃｏｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）部２６、ＣＤＳ部２６によって相関二重サンプリングされたアナログ信号を増幅するＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）部２７、ＡＧＣ部２７によって増幅されたアナログ信号をデジタル画像信号に変換するＡＤＣ部２８（Ａ／Ｄ変換部）を有している。ＦＤ２４から出力されたアナログ信号は、ＡＦＥ部２５によってデジタル信号に変換され、画像処理部３０へと出力される。
【００４５】
以上のように、撮像素子２０は、１フレーム当たりに信号転送部２２がＦＤ２４へと電荷を転送した光電変換素子２１の数に対応したピクセル数のデジタル画像信号として出力する。撮像素子２０は、高精彩の静止画を撮影する際には、全ての光電変換素子２１から電荷を転送させる場合に対応する１２Ｍピクセルのデジタル画像信号を１フレーム当たりに出力する。一方、横ピクセル数が１９２０で縦ピクセル数が１０８０であるＨＤ動画を撮影する際は、撮像素子２０は、１２Ｍピクセルより少ない２．１Ｍピクセルの画素からなる画像を１フレーム当たりに出力すればよい。このため、例えば信号転送部２２がＦＤ２４へと電荷を転送する光電変換素子２１の数を２．１Ｍピクセルに相当する数まで減らすことが考えられる。しかし、電荷が転送される光電変換素子２１の数を１２Ｍピクセルから２．１Ｍピクセルに相当する数まで減らすことは、光電変換素子２１が受光した画素のうち、読み出さない画素を大量に発生させることに相当する。単に読み出さない画素を発生させるだけでは、撮像素子２０から出力されるデジタル画像信号の感度が低下するので好ましくない。
【００４６】
そこで、本実施の形態の撮像素子２０は、単に信号転送部２２がＦＤ２４へと電荷を転送する光電変換素子２１の数を減らすのではなく、以下のように、画素を加算することによって画素数を減少させたデジタル画像信号を出力するように構成されている。
【００４７】
転送制御部２３は、同時に複数の光電変換素子２１からＦＤ２４へと電荷を転送するように信号転送部２２を制御する。ＦＤ２４へと同時に転送された電荷は、ＦＤ２４において加算される。ＦＤ２４は、加算された電荷の量に応じた大きさの電圧をＡＦＥ部２５へと出力する。このように、信号転送部２２及びＦＤ２４は、複数の光電変換素子２１からの出力信号同士を加算し、加算した結果に応じた電圧信号を出力する信号加算回路として機能する。ＦＤ２４は、２行２列のベイヤー配列の単位格子に対応する４つの光電変換素子２１からなる各光電変換素子群２１ａによって共有されているので、撮像素子２０は、各光電変換素子群２１ａ内で画素信号を加算できる。
【００４８】
図２（ｂ）は、光電変換素子群２１ａ内で画素を加算する際の例である３つの加算パターンを表している。図２（ｂ）の加算パターン１Ｘ、２Ｈ及び２Ｖは、いずれも、１つの光電変換素子群２１ａに含まれるいずれか２つの光電変換素子２１から出力された信号を加算すると共に、残りの２つの光電変換素子２１から出力された信号を加算するパターンである。
【００４９】
具体的には、加算パターン１Ｘ（第１のパターン）では、１つの光電変換素子群２１ａ内で、斜めに並んだＧｒ及びＧｂに対応する２つの光電変換素子２１からの信号同士が加算されると共に、斜めに並んだＲ及びＢに対応する２つの光電変換素子２１からの信号同士が加算される。加算パターン２Ｈ（第２のパターン）では、１つの光電変換素子群２１ａ内で、行方向に並んだＧｒ及びＲに対応する２つの光電変換素子２１からの信号同士が加算されると共に、行方向に並んだＢ及びＧｂに対応する２つの光電変換素子２１からの信号同士が加算される。加算パターン２Ｖ（第３のパターン）では、列方向に並んだＧｒ及びＢに対応する２つの光電変換素子２１からの信号同士が加算されると共に、列方向に並んだＲ及びＧｂに対応する２つの光電変換素子２１からの信号同士が加算される。
【００５０】
図２（ｃ）は、加算パターン１Ｘ、２Ｈ及び２Ｖの配置例を表している。図２（ｃ）の配置例では、１行目において加算パターン１Ｘと加算パターン２Ｖとが交互に繰り返され、２行目において加算パターン２Ｈと加算パターン１Ｘとが交互に繰り返されている。そして、このように加算パターンが配列された１行目と２行目とが、列方向に交互に繰り返されて配置されている。
【００５１】
加算パターン１Ｘによると、ＧｒとＧｂの加算からＧ色を示す信号が生成されると共に、ＲとＢの加算からＭｇ（マゼンタ）色を示す信号が生成される。加算パターン２Ｈによると、ＧｒとＲの加算からＹｅ（イエロー）色を示す信号が生成されると共に、ＢとＧｂの加算からＣｙ（シアン）色を示す信号が生成される。加算パターン２Ｖによると、ＧｒとＢの加算からＣｙ色を示す信号が生成されると共に、ＲとＧｂの加算からＹｅ色を示す信号が生成される。なお、加算パターン２Ｈによる加算結果と加算パターン２Ｖによる加算結果とを区別するため、以下においては、加算パターン２Ｈによる加算結果から生成される色をＹｅＨ及びＣｙＨと記載し、加算パターン２Ｖによる加算結果から生成される色をＹｅＶ及びＣｙＶと記載する。
【００５２】
そして、加算パターン１Ｘ、２Ｈ及び２Ｖのそれぞれから生成される加算結果のうち、Ｇ色を示す信号とＹｅ色を示す信号とが図２（ｃ）の配置順に従って配列されると、図２（ｄ）に示すようなデジタル画像信号Ｄ１が生成される。また、加算パターン１Ｘ、２Ｈ及び２Ｖのそれぞれから生成される加算結果のうち、Ｍｇ色を示す信号とＣｙ色を示す信号とが図２（ｃ）の配置順に従って配列されると、図２（ｄ）に示すようなデジタル画像信号Ｄ２が生成される。図２（ｄ）の破線矢印は、図２（ｃ）において左上を加算パターン１Ｘとする２行２列の４つの加算パターンから生成される８つの加算結果をデジタル画像信号Ｄ１及びＤ２へと配置する方法を示している。
【００５３】
転送制御部２３は、図２（ｃ）に示す加算パターンの配置で画素信号が加算されるように、信号転送部２２に光電変換素子２１からＦＤ２４へと電荷を転送させる。つまり、転送制御部２３は、各光電変換素子群２１ａ内で画素信号が加算パターン１Ｘ、２Ｈ及び２Ｖのいずれかのパターンに従って加算されると共に、その加算パターンが図２（ｃ）に従って配置されるように、各信号転送部２２に光電変換素子群２１ａ内の光電変換素子２１からＦＤ２４へと電荷を転送させる。そして、ＡＦＥ部２５は、ＦＤ２４から出力される加算された画素信号に基づいて、図２（ｄ）に示すデジタル画像信号Ｄ１及びＤ２を画像処理部３０へと出力する。本実施の形態では、デジタル画像信号Ｄ１及びデジタル画像信号Ｄ２からなる２つのデジタル画像信号を一まとめにして２面補色ベイヤーと記載する。
【００５４】
次に、撮像素子２０から出力された２面補色ベイヤーのデジタル画像信号Ｄ１及びＤ２に所定の信号処理を加える画像処理部３０について説明する。図３は、画像処理部３０の構成を示すブロック図である。画像処理部３０は、デジタル画像信号Ｄ１及びＤ２から輝度信号Ｙを生成する輝度信号生成部３１と、デジタル画像信号Ｄ１及びＤ２から色差信号Ｃ１及びＣ２を生成する色差信号生成部３２と、輝度信号生成部３１が生成した輝度信号Ｙと色差信号生成部３２が生成した色差信号Ｃ１及びＣ２とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成するＲＧＢ信号生成部３４とを有している。画像処理部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）その他の各種のハードウェアと、ＲＯＭに格納されたプログラムその他のソフトウェアとから構成されている。このソフトウェアがハードウェアを、輝度信号生成部３１、色差信号生成部３２及びＲＧＢ信号生成部３４として機能させることにより、画像処理部３０が実現されている。
【００５５】
図４は、画像処理部３０が実行する信号処理の各ステップを順に示す模式図である。まず、輝度信号生成部３１は、ステップＳ１に示すように、デジタル画像信号Ｄ１の各画素信号とデジタル画像信号Ｄ２の各画素信号とを加算する。輝度信号生成部３１は、Ｄ１及びＤ２において互いに同じ位置に配置された画素信号同士を加算する。したがって、Ｄ１のＧの画素信号とＤ２のＭｇの画素信号とが加算されると共に、Ｄ１のＹｅの画素信号とＤ２のＣｙの画素信号とが加算される。
【００５６】
つまり、輝度信号生成部３１は、Ｙ＝（Ｇ＋Ｍｇ）／２、及び、Ｙ＝（Ｙｅ＋Ｃｙ）／２で表される加算処理を実行する。なお、輝度信号生成部３１は、加算結果を２で除算することで、平均を取っている。Ｇの画素信号はＧｒとＧｂの加算によって得られたものであり、Ｍｇの画素信号はＲとＢの加算によって得られたものである。このため、ＧとＭｇの加算から得られる輝度信号は、Ｙ＝（Ｇ＋Ｍｇ）／２＝（Ｇｒ＋Ｒ＋Ｂ＋Ｇｂ）／４で表される。ここで、撮像素子２０における（Ｇｒ＋Ｇｂ）などの加算結果が２で除算されることにより平均が取られているとする。また、Ｙｅの画素信号はＲとＧｒ又はＧｂとの加算によって得られたものであり、Ｃｙの画素信号はＢとＧｂ又はＧｒとの加算によって得られたものである。このため、ＹｅとＣｙの加算から得られる輝度信号は、Ｙ＝（Ｙｅ＋Ｃｙ）／２＝（Ｇｒ＋Ｒ＋Ｂ＋Ｇｂ）／４で表される。ここで、撮像素子２０における（Ｒ＋Ｇｒ）などの加算結果が２で除算されることにより平均が取られているとする。以上の処理により、輝度信号Ｙは、全てのサンプリング位置に関して取得される。
【００５７】
一方、色差信号生成部３２は、ステップＳ１に示すように、デジタル画像信号Ｄ１の各画素信号からデジタル画像信号Ｄ２の各画素信号を減算する。色差信号生成部３２は、Ｄ１及びＤ２において互いに同じ位置に配置された画素信号同士で減算する。したがって、Ｄ１のＧの画素信号からＤ２のＭｇの画素信号が減算されると共に、Ｄ１のＹｅの画素信号からＤ２のＣｙの画素信号が減算される。
【００５８】
つまり、色差信号生成部３２は、Ｃ１＝（Ｇ−Ｍｇ）／２、及び、Ｃ２Ｈ＝（ＹｅＨ−ＣｙＨ）／２、及び、Ｃ２Ｖ＝（ＹｅＶ−ＣｙＶ）／２で表される減算処理を実行する。なお、色差信号生成部３２は、加算結果を２で除算することで、平均を取っている。上式において、ＹｅＨ及びＣｙＨから得られる色差信号はＣ２Ｈと記載され、ＹｅＶ及びＣｙＶから得られる色差信号はＣ２Ｖと記載されている。ここで、Ｇの画素信号はＧｒとＧｂの加算によって得られたものであり、Ｍｇの画素信号はＲとＢの加算によって得られたものである。このため、ＧからＭｇを減算して得られる色差信号は、Ｃ１＝（Ｇ−Ｍｇ）／２＝（（Ｇｒ＋Ｇｂ）−（Ｒ＋Ｂ））／４で表される。なお、撮像素子２０における（Ｇｒ＋Ｇｂ）などの加算結果が２で除算されることにより平均が取られているとする。また、Ｙｅの画素信号はＲとＧｒ又はＧｂとの加算によって得られたものであり、Ｃｙの画素信号はＢとＧｂ又はＧｒとの加算によって得られたものである。このため、ＹｅからＣｙを減算して得られる色差信号は、Ｃ２Ｈ＝（ＹｅＨ−ＣｙＨ）／２＝（（Ｇｒ−Ｇｂ）＋（Ｒ−Ｂ））／４、及び、Ｃ２Ｖ＝（ＹｅＶ−ＣｙＶ）／２＝（（Ｇｂ―Ｇｒ）＋（Ｒ−Ｂ））／４で表される。なお、撮像素子２０における（Ｒ＋Ｇｒ）などの加算結果が２で除算されることにより平均が取られているとする。
【００５９】
ステップＳ１においてこのように生成される色差信号は、図４に示すようにＣ１とＣ２が行方向及び列方向に交互に繰り返す信号となる。したがって、色補間部３３は、ステップＳ２に示すように色差信号を補間する。まず、色補間部３３は、ステップＳ２１に示すように、ステップＳ１において生成される色差信号から色差信号Ｃ１と色差信号Ｃ２とを分離し、足りない画素を”０”として色差信号Ｃ１と色差信号Ｃ２とをそれぞれアップサンプリングする。そして、色補間部３３は、ステップＳ２２に示すように、アップサンプリングされた色差信号Ｃ１と色差信号Ｃ２にそれぞれローパスフィルタ（ＬＰＦ）を掛けて画素を補間する。つまり、色補間部３３は、色差信号Ｃ１の各画素に、１行目が（１，２，１）からなり、２行目が（２，４，２）からなり、３行目が（１，２，１）の３行３列からなるフィルタを掛け、全体を８で割って平均化する。また、色補間部３３は、色差信号Ｃ２の各画素に上記と同様のフィルタを掛け、全体を８で割って平均化する。このように、画素の補間にローパスフィルタが用いられるので、補間された色差信号に偽色が発生しにくい。
【００６０】
ステップＳ１及びステップＳ２により、全てのサンプリング位置に関して輝度信号Ｙと色差信号Ｃ１及びＣ２とが取得される。ＲＧＢ信号生成部３４は、ステップＳ３に示すように、ステップＳ１及びステップＳ２で取得された輝度信号Ｙと色差信号Ｃ１及びＣ２とに、３行３列の行列演算を施すことにより、各画素に関してＲ，Ｇ及びＢの各色の画素信号を算出する。この３行３列の行列演算は、Ｒ＝Ｙ−Ｃ１＋２＊Ｃ２、Ｇ＝Ｙ＋Ｃ１、及び、Ｂ＝Ｙ−Ｃ１−２＊Ｃ２で表される。
【００６１】
以上のように、本実施の形態では、まず撮像素子２０がＲ、Ｇ及びＢの各色からなるベイヤー配列の画像から２面補色ベイヤーを生成する。このとき、図２（ｄ）に示すように４行４列のベイヤー配列の画像から２行２列の２面補色ベイヤーが生成される。そして、画像処理部３０が２面補色ベイヤーから、各画素についてＲ，Ｇ及びＢの各色が決定された画像データを生成する。このとき、２行２列の２面補色ベイヤーから２行２列のＲ，Ｇ及びＢの各色が決定された画像データが生成される。つまり、撮像素子２０が、Ｒ、Ｇ及びＢのベイヤー配列の画像を縦横それぞれ１／２の大きさにした２面補色ベイヤーを出力すると共に、画像処理部３０が、この２面補色ベイヤーと同じ大きさのＲ，Ｇ及びＢの各色が決定された画像データを出力する。
【００６２】
したがって、横１９２０ピクセルで縦１０８０ピクセルであるＨＤ動画用の画像データを生成する場合には、まず、撮像素子２０が、横４０００ピクセルで縦３０００ピクセルのＲＧＢベイヤー配列のうち、横３８４０ピクセルで縦２１６０ピクセルの画像から２面補色ベイヤーを生成する。これによって、横１９２０ピクセルで縦１０８０ピクセルの２面補色ベイヤーが生成される。そして、画像処理部３０が、撮像素子２０から出力された２面補色ベイヤーから各画素についてＲ，Ｇ及びＢの各色が決定された画像データを生成する。これによって、画像処理部３０からは、横１９２０ピクセルで縦１０８０ピクセルのＨＤ動画用の画像データが出力される。
【００６３】
次に、２面補色ベイヤーを出力可能な撮像素子２０の具体的な回路構成とその回路の駆動方法について説明する。図５は、図２（ｃ）に示す加算パターンの配置を実現するための具体的な回路構成図である。図５は、ベイヤー配列の単位格子に対応する単位回路４０が行方向に３つ、列方向に２つ並んだ回路を表している。実際の回路構成は、図５に示す単位回路４０及びその周辺の回路構成が撮像素子２０の画素の総数に相当する数だけ行方向及び列方向に並んだものとなる。
【００６４】
図５において、Ｇｒ１１〜Ｇｒ３５はＧｒのカラーフィルタの下に配置されたフォトダイオードを、Ｒ１２〜Ｒ３６はＲのカラーフィルタの下に配置されたフォトダイオードを、Ｂ２１〜Ｂ４５はＢのカラーフィルタの下に配置されたフォトダイオードを、Ｇｂ２２〜Ｇｂ４６はＧｂのカラーフィルタの下に配置されたフォトダイオードをそれぞれ表している。ＦＤ１１〜ＦＤ３５はフローティングディフュージョンを表し、ＭＴ１１〜ＭＴ４６は、各フォトダイオードからＦＤ１１〜ＦＤ３５のいずれかへと電荷を転送する転送トランジスタを表している。
【００６５】
ＭＡ１１〜ＭＡ３５は、ＦＤからの出力信号を増幅する増幅トランジスタを表している。ＭＲ１１〜ＭＲ３５はフォトトランジスタにおいて光電変換電荷をリセットするリセットトランジスタを表している。ＭＳ１１〜ＭＳ３５は画素信号を出力させる単位回路４０を選択する列選択トランジスタを表している。Ｌ１〜Ｌ５は、各単位回路４０から画素信号が出力される垂直出力線を表し、Ｖｄｄは単位回路４０に供給される電圧を表している。Ｔｘ１１〜Ｔｘ４４は、転送トランジスタへと転送制御信号を送信する転送制御信号線を表し、Ｒｓｔ１及びＲｓｔ３はリセットトランジスタへとリセット制御信号を送信するリセット制御信号線を表し、Ｓｅｌ１及びＳｅｌ３は、列選択トランジスタへと列選択制御信号を送信する列選択制御信号線を表している。
【００６６】
各単位回路４０は、１つの光電変換素子群２１ａに対応する４つのフォトダイオードと、１つの信号転送部２２に対応する４つの転送トランジスタとを含んでいる。また、各単位回路４０は、ＦＤ、増幅トランジスタ、リセットトランジスタ及び列選択トランジスタのそれぞれを１つずつ含んでいる。一例として、図５において最も左上に配置された単位回路４０（以下、「単位回路４０ａ」とする）は、フォトダイオードＧｒ１１、Ｒ１２、Ｂ２１及びＧｂ２２と、転送トランジスタＭＴ１１、ＭＴ１２、ＭＴ２１及びＭＴ２２と、ＦＤ１１と、増幅トランジスタＭＡ１１と、リセットトランジスタＭＲ１１と、列選択トランジスタＭＳ１１とから構成されている。また、別の一例として、その右隣の単位回路４０（以下、「単位回路４０ｂ」とする）は、フォトダイオードＧｒ１３、Ｒ１４、Ｂ２３及びＧｂ２４と、転送トランジスタＭＴ１３、ＭＴ１４、ＭＴ２３及びＭＴ２４と、ＦＤ１３と、増幅トランジスタＭＡ１３と、リセットトランジスタＭＲ１３と、列選択トランジスタＭＳ１３とから構成されている。
【００６７】
各単位回路４０内の構成はいずれも同様である。一例として単位回路４０ａに着目すると、フォトダイオードＧｒ１１のアノードは接地され、カソードは転送トランジスタＭＴ１１を介してＦＤ１１に接続されている。これと同様に、フォトダイオードＲ１２、Ｂ２１及びＧｂ２２のアノードはそれぞれ接地され、カソードは転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２にそれぞれ接続されている。転送トランジスタＭＴ１１のゲートは、転送制御信号線Ｔｘ１１に接続されている。これと同様に、転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２のゲートは転送制御信号線Ｔｘ１２、Ｔｘ２１及びＴｘ２２にそれぞれ接続されている。
【００６８】
ＦＤ１１は、増幅トランジスタＭＡ１１のゲートに接続されている。増幅トランジスタＭＡ１１のドレイン・ゲート間にはリセットトランジスタＭＲ１１が接続され、増幅トランジスタＭＡ１１のソースは、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に接続されている。リセットトランジスタＭＲ１１のゲートは、リセット制御信号線Ｒｓｔ１に接続され、列選択トランジスタＭＳ１１のゲートは、列選択制御信号線Ｓｅｌｌに接続されている。増幅トランジスタＭＡ１１のドレインには電圧Ｖｄｄが供給されている。
【００６９】
図５の回路構成において、転送制御信号線は、行方向に並んだ単位回路４０の１行につき、８本ずつ設けられている。また、８本のうち、４本の転送制御信号線が、行方向に１つおきに並んだ単位回路４０同士で共用されている。一例として単位回路４０ａを含む行では、転送制御信号線Ｔｘ１１〜Ｔｘ２２の８本が、この各単位回路４０に共用されている。そして、これら８本のうち、転送制御信号線Ｔｘ１１は、単位回路４０ａの転送トランジスタＭＴ１１に接続されていると共に、単位回路４０ａとの間に単位回路４０ｂを挟んで右側に配置された単位回路４０（以下、「単位回路４０ｃ」とする）の転送トランジスタＭＴ１５に接続されている。同様に、転送制御信号線Ｔｘ１２、Ｔｘ２１及びＴｘ２２は、単位回路４０ａの転送トランジスタＭＴ１２、ＭＴ２１及びＭＴ２２にそれぞれ接続されていると共に、単位回路４０ｃの転送トランジスタＭＴ１６、ＭＴ２５及びＭＴ２６にそれぞれ接続されている。このように、転送制御信号線Ｔｘ１１〜Ｔｘ２２の８本のうち、転送制御信号線Ｔｘ１１、Ｔｘ１２、Ｔｘ２１及びＴｘ２２の４本は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。
【００７０】
また、単位回路４０ａの右隣の単位回路４０ｂでは、８本のうちの残りの４本である転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４が転送トランジスタＭＴ１３、ＭＴ１４、ＭＴ２３及びＭＴ２４にそれぞれ接続されている。この転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４は、単位回路４０ｂとの間に単位回路４０ｃを挟んで右側に配置された単位回路４０（不図示）の４つの転送トランジスタにもそれぞれ接続されている。このように、転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４の４本も、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。
【００７１】
図５の回路構成において、リセット制御信号線は、行方向に並んだ単位回路４０の１行につき、１本ずつ設けられており、１行の単位回路４０に含まれる各リセットトランジスタに接続されている。一例として、リセット制御信号線Ｒｓｔ１は、単位回路４０ａのリセットトランジスタＭＲ１１と単位回路４０ｂのリセットトランジスタＭＲ１３と単位回路４０ｃのリセットトランジスタＭＲ１５とに接続されている。また、列選択制御信号線も、行方向に並んだ単位回路４０の１行につき、１本ずつ設けられており、１行の単位回路４０に含まれる各列選択トランジスタに接続されている。一例として、列選択制御信号線Ｓｅｌ１は、単位回路４０ａの列選択トランジスタＭＳ１１と単位回路４０ｂの列選択トランジスタＭＳ１３と単位回路４０ｃの列選択トランジスタＭＳ１５とに接続されている。
【００７２】
図５の回路構成において、図２（ｃ）に示す加算パターンの配置に従って画素信号を加算させる駆動方法について説明する。図６（ａ）〜図６（ｃ）は、加算パターン１Ｘ、２Ｖ及び２Ｈに従って加算された信号を各単位回路４０から出力させるために、転送制御信号線Ｔｘ１１〜Ｔｘ４４によって転送トランジスタに印加させる転送制御信号を示すシーケンス図である。図６（ａ）が加算パターン１Ｘに、図６（ｂ）が加算パターン２Ｈに、図６（ｃ）が加算パターン２Ｖにそれぞれ対応する。以下では、図５の２行３列の単位回路４０が、図２（ｃ）において加算パターン１Ｘを左上とする２行３列の加算パターンと対応するように駆動されるものとする。
【００７３】
加算パターン１Ｘについて単位回路４０ａを例に挙げて説明する。まず、図６（ａ）に示すように、時刻ｔ２１において、リセット制御信号線Ｒｓｔ１にＨレベルを印加すると同時に、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２にＨレベルを印加して、フォトダイオードＧ１１とフォトダイオードＧ２２に蓄積された光電変換電荷のリセットを行う。この操作は電子シャッター動作に相当する。リセット制御信号線Ｒｓｔ１がＨレベルになると、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電される。また、転送制御信号線Ｔｘ１１及びＴｘ２２がＨレベルになると、転送トランジスタＭＴ１１及びＭＴ２２がオンとなり、フォトダイオードＧｒ１１及びＧｂ２２のカソード側に電圧Ｖｄｄが印加され、フォトダイオードＧ１１及びＧ２２に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１と転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２に印加されたＨレベルがＬレベルに変化すると、これらの制御信号線がオフとなり、フォトダイオードＧｒ１１及びＧｂ２２が、受光量に応じて電荷蓄積を開始する。
【００７４】
次に、時刻ｔ２２において、リセット制御信号線Ｒｓｔ１にＨレベルを印加すると同時に転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１にＨレベルを印加して、フォトダイオードＲ１２とフォトダイオードＢ２１に蓄積された光電変換電荷のリセットを行う。つまり、フォトダイオードＲ１２及びＢ１２のカソード側に電圧Ｖｄｄが印加され、これらのフォトダイオードに蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１と転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１に印加されたＨレベルがＬレベルに変化すると、リセットトランジスタＭＲ１１と転送トランジスタＭＴ１２と転送トランジスタＭＴ２１がオフとなり、フォトダイオードＲ１２及びＢ２１が、受光量に応じて電荷蓄積を開始する。
【００７５】
次に、時刻ｔ２３において、フォトダイオードＧｒ１１及びＧｂ２２について画素信号の読出動作を開始するため、列選択制御信号線Ｓｅｌ１にＨレベルを印加する。これにより、列選択トランジスタＭＳ１１がオンとなり、増幅トランジスタＭＡ１１のソースが垂直出力線Ｌ１に接続される。また、リセット制御信号線Ｒｓｔ１にＨレベルを印加する。これにより、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電されて、ＦＤ１１の充電電圧が初期化される。ＦＤ１１の初期化電圧は、増幅トランジスタＭＡ１１によって増幅され、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の初期化電圧は、ＣＤＳ部２６によって、基準レベルとしてクランプされる。
【００７６】
次に、リセットトランジスタＭＲ１１をオフにした後、時刻ｔ２４において、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２２にＨレベルを印加する。これにより、転送トランジスタＭＴ１１と転送トランジスタＭＴ２２がオンとなり、フォトダイオードＧｒ１１及びＧｂ２２の両方の光電変換電荷に応じてＦＤ１１の電圧が変化する。すなわち、Ｇｒ画素とＧｂ画素に応じたフォトダイオードＧｒ１１とフォトダイオードＧｂ２２の光電変換電荷は、ＦＤ１１で加算される。なお、電荷蓄積が開始される時刻ｔ２１からＦＤ２４への電荷が転送される時刻ｔ２４までが露光時間に相当する。ＦＤ１１で加算された電圧は増幅トランジスタＭＡ１１で増幅され、列選択トランジスタＭＳ１１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の電圧は、ＣＤＳ部２６によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２６から出力される。
【００７７】
次に、時刻ｔ２５において、フォトダイオードＲ１２と、フォトダイオードＢ２１について画素信号の読出動作を開始するため、リセット制御信号線Ｒｓｔ１にＨレベルを印加する。これにより、リセットトランジスタＭＲ１１がオンとなり、ＦＤ１１が電圧Ｖｄｄに充電され、ＦＤ１１の電圧が初期化される。垂直出力線Ｌ１に出力されたＦＤ１１の初期化電圧は、ＣＤＳ部２６によって、基準レベルとしてクランプされる。
【００７８】
次に、リセットトランジスタＭＲ１１をオフにした後、時刻ｔ２６において、転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２１にＨレベルを印加する。これにより、転送トランジスタＭＴ１２と転送トランジスタＭＴ２１がオンとなり、フォトダイオードＲ１２及びＢ２１の両方の光電変換電荷に応じてＦＤ１１の電圧が変化する。すなわち、Ｒ画素とＢ画素に応じたフォトダイオードＲ１２とフォトダイオードＢ２１の光電変換電荷は、ＦＤ１１で加算される。ここで、時刻ｔ２２〜ｔ２６の時間が露光時間に対応する。ＦＤ１１で加算された電圧は増幅トランジスタＭＡ１１で増幅され、列選択トランジスタＭＳ１１を介して垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ１１の電圧は、ＣＤＳ部２６によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２６から出力される。
【００７９】
以上のように単位回路４０ａにおいて、加算パターン１Ｘに従って画素信号が加算される。ここで、図５の回路構成において、転送制御信号線Ｔｘ１１、Ｔｘ１２、Ｔｘ２１及びＴｘ２２は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ａに関して加算パターン１Ｘに従った画素信号の加算処理がなされると、単位回路４０ａから１つおきに行方向に隣接する各単位回路４０においても同様に、加算パターン１Ｘに従った加算処理がなされる。単位回路４０ａより下方に位置する単位回路４０の各行に関してもまた同様に、１つおきに行方向に隣接する各単位回路４０において加算パターン１Ｘに従った加算処理が同時になされる。
【００８０】
加算パターン２Ｈについて、図５において単位回路４０ａの下に配置された単位回路４０（以下、「単位回路４０ｄ」とする）を例に挙げて説明する。なお、単位回路４０ｄにおける作用は単位回路４０ａにおける上記の作用と同様であるため、単位回路４０ｄにおける作用の詳細については適宜説明を省略する。図６（ｂ）に示すように、時刻ｔ３１において、リセット制御信号線Ｒｓｔ３、転送制御信号線Ｔｘ３１及び転送制御信号線Ｔｘ３２にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ３１が電圧Ｖｄｄに充電されると共に、フォトダイオードＧｒ３１とフォトダイオードＲ３２に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ３、転送制御信号線Ｔｘ３１及び転送制御信号線Ｔｘ３２に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＧｒ３１及びＲ３２が、受光量に応じて電荷蓄積を開始する。
【００８１】
次に、時刻ｔ３２において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ４１及び転送制御信号線Ｔｘ４２にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ３１が電圧Ｖｄｄに充電されると共に、フォトダイオードＢ４１とフォトダイオードＧｂ４２に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ３、転送制御信号線Ｔｘ４１及び転送制御信号線Ｔｘ４２に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＢ４１及びＧｂ４２が、受光量に応じて電荷蓄積を開始する。
【００８２】
次に、時刻ｔ３３において、列選択制御信号線Ｓｅｌ３及びリセット制御信号線Ｒｓｔ３にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ３１のソースが垂直出力線Ｌ１に接続されると共に、リセットトランジスタＭＲ３１がオンとなる。したがって、ＦＤ３１が電圧Ｖｄｄに充電されて、ＦＤ３１の充電電圧が初期化される。また、ＦＤ３１の初期化電圧は、増幅トランジスタＭＡ３１によって増幅されると共に、垂直出力線Ｌ１に出力され、ＣＤＳ部２６によって、基準レベルとしてクランプされる。
【００８３】
次に、リセットトランジスタＭＲ３１をオフにした後、時刻ｔ３４において、転送制御信号線Ｔｘ３１及びＴｘ３２にそれぞれＨレベルを印加する。これにより、Ｇｒ画素及びＲ画素に応じたフォトダイオードＧｒ３１及びＲ３２の光電変換電荷は、ＦＤ３１で加算される。ここで、露光時間は時刻ｔ３１〜ｔ３４の時間である。ＦＤ３１での加算結果は、加算結果に応じた電圧としてＦＤ３１から出力される。ＦＤ３１からの出力電圧は、増幅トランジスタＭＡ３１で増幅され、列選択トランジスタＭＳ３１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ３１の電圧は、ＣＤＳ部２６によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２６から出力される。
【００８４】
次に、時刻ｔ３５においてリセット制御信号線Ｒｓｔ３にＨレベルを印加する。これにより、増幅トランジスタＭＡ３１のソースが垂直出力線Ｌ１に接続されると共に、リセットトランジスタＭＲ３１がオンとなる。そして、ＦＤ３１が電圧Ｖｄｄに充電され、初期化される。垂直出力線Ｌ１に出力されたＦＤ３１の初期化電圧は、ＣＤＳ部２６によって、基準レベルとしてクランプされる。
【００８５】
次に、リセットトランジスタＭＲ３１をオフにした後、時刻ｔ３６において、転送制御信号線Ｔｘ４１及びＴｘ４２にそれぞれＨレベルを印加する。これにより、Ｂ画素とＧｂ画素に応じたフォトダイオードＢ４１及びＧｂ４２の光電変換電荷は、ＦＤ３１で加算される。ここで、露光時間は時刻ｔ３２〜ｔ３６の時間である。ＦＤ３１での加算結果は、加算結果に応じた電圧としてＦＤ３１から出力される。ＦＤ３１からの出力電圧は、増幅トランジスタＭＡ３１で増幅され、列選択トランジスタＭＳ３１を介して、垂直出力線Ｌ１に出力される。垂直出力線Ｌ１に出力されたＦＤ３１の電圧は、ＣＤＳ部２６によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２６から出力される。
【００８６】
以上のように単位回路４０ｄにおいて、加算パターン２Ｈに従って画素信号が加算される。ここで、図５の回路構成において、転送制御信号線Ｔｘ３１、Ｔｘ３２、Ｔｘ４１及びＴｘ４２は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ｄに関して加算パターン２Ｈに従った画素信号の加算処理がなされると、単位回路４０ｄから１つおきに行方向に隣接する各単位回路４０においても同様に、加算パターン２Ｈに従った加算処理がなされる。単位回路４０ｄより下方に位置する単位回路４０の各行に関してもまた同様に、１つおきに行方向に隣接する各単位回路４０において加算パターン２Ｈに従った加算処理が同時になされる。
【００８７】
加算パターン２Ｖについて単位回路４０ｂを例に挙げて説明する。なお、単位回路４０ｂにおける作用は単位回路４０ａにおける上記の作用と同様であるため、単位回路４０ｂにおける作用の詳細については適宜説明を省略する。図６（ｃ）に示すように、時刻ｔ４１において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１３及び転送制御信号線Ｔｘ２３にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ１３が電圧Ｖｄｄに充電されると共に、フォトダイオードＧｒ１３とフォトダイオードＢ２３に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１３及び転送制御信号線Ｔｘ２３に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＧｒ１３及びＢ２３が、受光量に応じて電荷蓄積を開始する。
【００８８】
次に、時刻ｔ４２において、リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１４及び転送制御信号線Ｔｘ２４にそれぞれ同時にＨレベルを印加する。これによって、ＦＤ１３が電圧Ｖｄｄに充電されると共に、フォトダイオードＲ１４とフォトダイオードＧｂ２４に蓄積された光電変換電荷がリセットされる。リセット制御信号線Ｒｓｔ１、転送制御信号線Ｔｘ１４及び転送制御信号線Ｔｘ２４に印加されたＨレベルがそれぞれＬレベルに変化すると、フォトダイオードＲ１４及びＧｂ２４が、受光量に応じて電荷蓄積を開始する。
【００８９】
次に、時刻ｔ４３において、列選択制御信号線Ｓｅｌ１及びリセット制御信号線Ｒｓｔ１にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ１３のソースが垂直出力線Ｌ２に接続されると共に、リセットトランジスタＭＲ１３がオンとなる。そして、ＦＤ１３が電圧Ｖｄｄに充電されて、ＦＤ１３の充電電圧が初期化される。また、増幅トランジスタＭＡ１３によって増幅されたＦＤ１３の初期化電圧は垂直出力線Ｌ２に出力され、ＣＤＳ部２６によって、基準レベルとしてクランプされる。
【００９０】
次に、リセットトランジスタＭＲ１３をオフにした後、時刻ｔ４４において、転送制御信号線Ｔｘ１３及びＴｘ２３にそれぞれＨレベルを印加する。これにより、Ｇｒ画素及びＢ画素に応じたフォトダイオードＧｒ１３及びＢ２３の光電変換電荷は、ＦＤ１３で加算される。ここで、露光時間は時刻ｔ４１〜ｔ４４の時間である。ＦＤ１３での加算結果は、加算結果に応じた電圧としてＦＤ１３から出力される。ＦＤ１３からの出力電圧は増幅トランジスタＭＡ１３で増幅され、列選択トランジスタＭＳ１３を介して、垂直出力線Ｌ２に出力される。垂直出力線Ｌ２に出力されたＦＤ１３の電圧は、ＣＤＳ部２６によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２６から出力される。
【００９１】
次に、時刻ｔ４５においてリセット制御信号線Ｒｓｔ１にそれぞれＨレベルを印加する。これにより、増幅トランジスタＭＡ１３のソースが垂直出力線Ｌ２に接続されると共に、リセットトランジスタＭＲ１３がオンとなり、ＦＤ１３が電圧Ｖｄｄに充電され、初期化される。垂直出力線Ｌ２に出力されたＦＤ１３の初期化電圧は、ＣＤＳ部２６によって、基準レベルとしてクランプされる。
【００９２】
次に、リセットトランジスタＭＲ１３をオフにした後、時刻ｔ４６において、転送制御信号線Ｔｘ１４及びＴｘ２４にそれぞれＨレベルを印加する。これにより、Ｒ画素とＧｂ画素に応じたフォトダイオードＲ１４及びＧｂ２４の光電変換電荷は、ＦＤ１３で加算される。ここで、露光時間は時刻ｔ４２〜ｔ４６の時間である。ＦＤ１３での加算結果は、加算結果に応じた電圧としてＦＤ１３から出力される。ＦＤ１３からの出力電圧は増幅トランジスタＭＡ１３で増幅され、列選択トランジスタＭＳ１３を介して、垂直出力線Ｌ２に出力される。垂直出力線Ｌ２に出力されたＦＤ１３の電圧は、ＣＤＳ部２６によってサンプリングされ、先にサンプリングされた基準レベルとの差分がＣＤＳ部２６から出力される。
【００９３】
以上のように単位回路４０ｂにおいて、加算パターン２Ｖに従って画素信号が加算される。ここで、図５の回路構成において、転送制御信号線Ｔｘ１３、Ｔｘ１４、Ｔｘ２３及びＴｘ２４は、行方向に１つおきに隣接した単位回路４０同士の間で、各単位回路４０に含まれる４つの転送トランジスタへの転送制御信号線として共用されている。したがって、単位回路４０ｂに関して加算パターン２Ｖに従った画素信号の加算処理がなされると、単位回路４０ｂから１つおきに行方向に隣接する各単位回路４０においても同様に加算パターン２Ｖに従った加算処理がなされる。単位回路４０ｂより下方に位置する単位回路４０の各行に関しても同様に、１つおきに行方向に隣接する各単位回路４０において加算パターン２Ｖに従った加算処理が同時になされる。
【００９４】
以下、各画素につきＲ，Ｇ及びＢの各色が決定された信号が出力されるまでに撮像装置１が実行する処理の全体の流れについて説明する。図７は、撮像装置１が実行する処理の全体の流れを示したフローチャートである。
【００９５】
まず、撮像素子２０において信号転送部２２が、ベイヤー配列の各単位格子に対応する各光電変換素子群２１ａ内で、２つの光電変換素子２１からの画素信号をＦＤ２４へと同時に転送する。これによって、２つの光電変換素子２１からの画素信号が加算される（ステップＴ１）。次に、信号転送部２２が、各光電変換素子群２１ａ内で、残りの２つの光電変換素子２１からの画素信号をＦＤ２４へと同時に転送する。これによって、残りの２つの光電変換素子２１からの画素信号が加算される（ステップＴ２）。ステップＴ１及びステップＴ２では、図２（ｃ）の加算パターンの配置に従って各光電変換素子群２１ａ内での画素加算が実行される。そして、撮像素子２０は、ステップＴ１での加算結果とステップＴ２での加算結果とから生成されたＧ，Ｙｅ，Ｍｇ及びＣｙの各信号から、２面補色ベイヤーを生成し、画像処理部３０へと出力する（ステップＴ３）。
【００９６】
次に、画像処理部３０の輝度信号生成部３１は、撮像素子２０からの２面補色ベイヤーにおいて、ＧとＭｇを加算して輝度信号Ｙを生成すると共に、ＹｅとＣｙを加算して輝度信号Ｙを生成する（ステップＴ４）。また、画像処理部３０の色差信号生成部３２は、撮像素子２０からの２面補色ベイヤーにおいて、ＧからＭｇを減算して色差信号Ｃ１を生成すると共に、ＹｅからＣｙを減算して色差信号Ｃ２を生成する（ステップＴ５）。色差信号生成部３２の色補間部３３は、さらに、ステップＴ５の減算結果にローパスフィルタをかけることで色差信号Ｃ１及びＣ２をそれぞれ補間する（ステップＴ６）。
【００９７】
次に、画像処理部３０のＲＧＢ信号生成部３４は、ステップＴ４において生成された輝度信号Ｙと、ステップＴ６において生成された色差信号Ｃ１及びＣ２とに、３行３列の行列演算を施して、各画素についてＲ，Ｇ及びＢの各色が決定された画像データを生成する（ステップＴ７）。そして、ＲＧＢ信号生成部３４は、生成した画像データを出力する（ステップＴ８）。なお、ステップＴ４〜ステップＴ７までの処理が、図４のステップＳ１、Ｓ２１、Ｓ２２及びＳ３の処理に対応する。
【００９８】
以上説明した第１の実施形態によると、以下の効果が奏される。まず、撮像素子２０が、同時に２つの光電変換素子２１からの電荷をＦＤ２４へと転送しているので、ＦＤ２４から出力される画素数を１／２に減少できる。このため、例えばフレームレートを変えない場合には、信号転送部２２による信号転送などの動作に係る動作周波数やＡＦＥ部２５によるＡ／Ｄ変換レートを１／２にできるため、消費電力を低減することができる。一方、動作周波数やＡ／Ｄ変換レートを変えない場合には、フレームレートを２倍に増加させることができる。
【００９９】
また、画素信号の加算は、ベイヤー配列における２行２列の単位格子に対応する光電変換素子群２１ａ内で行われる。そして、光電変換素子群２１ａ内で、光電変換素子２１からの異色の画素信号同士が加算される。これに対して、常に同色の画素が加算される構成とする場合、Ｂ同士やＲ同士の加算が行われるためには、異なる単位格子に対応する光電変換素子２１同士で画素が加算されなければならない。しかし、この場合は、複数の単位格子を跨いで画素加算のための配線が施される必要があり、画素を加算するための画素構成が困難になる。しかし、本実施形態によると、光電変換素子群２１ａ内で、光電変換素子２１からの異色の画素信号同士が加算されるので、画素を加算するための画素構成が容易である。
【０１００】
また、撮像素子２０は、単に光電変換素子２１から読み出さない画素を発生させることで画素数を減らすのではなく、２つの画素を加算して画素数を減らしている。したがって、２つの画素のうち一方を読み出さないことにより画素数を１／２に減らす場合と比べて、読み出しの感度が２倍になる。さらに、撮像素子２０から出力される２面補色ベイヤーには、Ｇの画素とＭｇの画素からなるデジタル画像信号Ｄ１と、Ｙｅの画素とＣｙの画素からなるデジタル画像信号Ｄ２とが含まれる。この２面補色ベイヤーからは、画像処理部３０における処理のように、ＧとＭｇを加算すると共に、ＹｅとＣｙを加算することによって、輝度信号Ｙを画素ごとに生成することが可能である。この輝度信号Ｙを生成する画素加算によって、感度がさらに２倍になる。したがって、撮像素子２０における画素加算の際と輝度信号を生成する際の画素加算の際とで、合計で４倍の感度が得られる。
【０１０１】
また、ベイヤー配列の単位格子に対応する４つの光電変換素子２１に関して１つのＦＤが共有されている。このような基本構成は、撮像素子の小型化を実現するための既存の画素構成である。本実施の形態では、このような既存の画素構成において転送制御信号線の配線と転送トランジスタの駆動方法を調整することにより、適切な画素加算が実行されている。したがって、既存の回路構成から大きく変更されることなく、小型化された撮像素子２０が実現する。
【０１０２】
また、図５に示す具体的な回路構成によると、単位回路４０の１行につき、８本の転送制御信号線が設けられており、そのうちの４本の転送制御信号線が、１つおきに隣接する単位回路４０で共用されている。また、残りの４本の転送制御信号線は、その他の単位回路４０に共用されている。そして、各単位回路４０では４本の転送制御信号線から各転送トランジスタに転送制御信号を供給させることにより、加算パターン１Ｘ、２Ｖ及び２Ｈのうちいずれの加算パターンに対応する画素加算も実行可能である。したがって、図５の回路構成によると、行方向に同じ加算パターンが並ぶ様々な加算処理も実行可能であるし、２つの異なる加算パターンが行方向に交互に並ぶ様々な加算処理も実行可能である。例えば、図５の単位回路４０ａに加算パターン２Ｖに従った加算処理を実行させる場合は、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ２１とを同時に制御にすることでＧｒ＋Ｂの画素加算を実行させると共に、転送制御信号線Ｔｘ１２と転送制御信号線Ｔｘ２２とを同時に制御することでＧｒ＋Ｒの画素加算を実行させればよい。また、図５の単位回路４０ａに加算パターン２Ｈに従った加算処理を実行させる場合は、転送制御信号線Ｔｘ１１と転送制御信号線Ｔｘ１２とを同時に制御にすることでＧｒ＋Ｒの画素加算を実行させると共に、転送制御信号線Ｔｘ２１と転送制御信号線Ｔｘ２２とを同時に制御することでＢ＋Ｇｂの画素加算を実行させればよい。
【０１０３】
また、画像処理部３０の輝度信号生成部３１において、２面補色ベイヤーの２つの画素信号が加算されることにより、全てのサンプリング位置に関して輝度信号Ｙが生成される。すなわち、撮像素子２０から出力される２面補色ベイヤーからは、画素信号を補間することなく輝度信号Ｙが画素ごとに生成される。このため、撮像素子２０から出力される２面補色ベイヤーからは高解像度な輝度成分が生成される。一方、色差信号Ｃ１及びＣ２は色差信号生成部３２において補間処理を経て生成されるため、色解像度が多少は落ちる。しかし、人間における視覚の特性上、色解像度の劣化は輝度解像度と比べて認識されにくいため、色差信号Ｃ１及びＣ２の補間は、最終的な画像の品質には影響しにくい。
【０１０４】
また、画像処理部３０において、輝度信号Ｙは、Ｙ＝（Ｇ＋Ｍｇ）／２＝（Ｇｒ＋Ｒ＋Ｂ＋Ｇｂ）／４で表されるように、サンプリング重心がベイヤー配列の単位格子の中心に配置される。また、色差信号Ｃ１及びＣ２も、Ｃ１＝（Ｇ−Ｍｇ）／２＝（（Ｇｒ＋Ｇｂ）−（Ｒ＋Ｂ））／４、及び、Ｃ２Ｖ＝（ＹｅＶ−ＣｙＶ）／２＝（（Ｇｂ―Ｇｒ）＋（Ｒ−Ｂ））／４で表されるように、それぞれサンプリング重心がベイヤー配列の単位格子の中心に配置される。したがって、輝度信号Ｙ、色差信号Ｃ１及び色差信号Ｃ２のいずれも、画素を加算する際のサンプリングの重心位置が行方向及び列方向に等間隔になり、且つ、行方向のピッチと列方向のピッチとが等しくなるように生成される。一方、画素を加算する際のサンプリングの重心位置が等間隔の位置からずれると、画素加算によって減少した解像度よりも画像の実効解像度がさらに減少したり、折り返しノイズが画像に発生したりするおそれがある。しかし、第１の実施形態によると、輝度信号Ｙ、色差信号Ｃ１及び色差信号Ｃ２のいずれも、サンプリングの重心位置が行方向及び列方向に等間隔になり、且つ、行方向のピッチと列方向のピッチとが等しくなるため、上記の実効解像度の低下や折り返しノイズの発生が防止される。
【０１０５】
（第２の実施形態）
以下、本発明に係る、第１の実施形態とは別の実施形態である第２の実施形態について図８を参照しつつ説明する。第２の実施形態において第１の実施形態と異なるのは、撮像素子２０における具体的な回路構成とその制御方法であり、その他の構成については第１の実施形態の構成と同じであるので、説明を省略する。
【０１０６】
図８は、第２の実施形態に係る撮像素子の具体的な回路構成図である。図８では、ベイヤー配列の単位格子に対応する単位回路１４０が行方向に３つ、列方向に２つ並んだ回路を表している。実際の回路構成は、図８に示す単位回路１４０及びその周辺の回路構成が第２の実施形態の撮像素子における画素の総数に相当する数だけ行方向及び列方向に並んだものである。第３の実施形態において第１の実施形態と同じ構成には同一の符号を付し、その説明を適宜省略する。なお、単位回路１４０内の回路構成は、単位回路４０の回路構成と同じである。
【０１０７】
第２の実施形態では、第１の実施形態と異なり、行方向に並んだ単位回路１４０の１行につき、転送制御信号線が４本ずつ設けられている。例えば、転送制御信号線Ｔｙ１１、Ｔｙ１２、Ｔｙ２１及びＴｙ２２の４本は、図８において上から１行目の単位回路１４０において、各単位回路１４０に含まれる４つの転送トランジスタにそれぞれ接続されている。これら４本の転送制御信号線のうち、転送制御信号線Ｔｙ１１は、各単位回路１４０においてＧｒのフォトダイオードからの電荷を転送する転送トランジスタに接続されている。転送制御信号線Ｔｙ１２は、各単位回路１４０においてＲのフォトダイオードからの電荷を転送する転送トランジスタに接続されている。つまり、転送制御信号線Ｔｙ１１と転送制御信号線Ｔｙ１２とは、それぞれ同色のフォトダイオードに対応する転送トランジスタに用いる制御信号線として、行方向に並んだ単位回路１４０間で共用されている。
【０１０８】
これに対して転送制御信号線Ｔｙ２１と転送制御信号線Ｔｙ２２とは、行方向に並んだ単位回路１４０間で共用されていると共に、行方向に隣接する２つの単位回路１４０同士で、接続される転送トランジスタが入れ替えられている。例えば、転送制御信号線Ｔｙ２１は、フォトダイオードＢ２１からの電荷を転送する転送トランジスタＭＴ２１と、フォトダイオードＧｂ２４からの電荷を転送する転送トランジスタＭＴ２４と、フォトダイオードＢ２５からの電荷を転送する転送トランジスタＭＴ２５とに接続されている。また、転送制御信号線Ｔｙ２２は、フォトダイオードＧｂ２２からの電荷を転送する転送トランジスタＭＴ２１と、フォトダイオードＢ２３からの電荷を転送する転送トランジスタＭＴ２４と、フォトダイオードＧｂ２６からの電荷を転送する転送トランジスタＭＴ２６とに接続されている。このように、転送制御信号線Ｔｙ１１、Ｔｙ１２、Ｔｙ２１及びＴｙ２２のうち、転送制御信号線Ｔｙ２１と転送制御信号線Ｔｙ２２との２本は、行方向に関して、接続される転送トランジスタが単位回路１４０ごとに交互に入れ替えられている。
【０１０９】
転送制御信号線Ｔｙ３１、Ｔｙ３２、Ｔｙ４１及びＴｙ４２においては、これら４本の転送制御信号線のうち、転送制御信号線Ｔｙ３１は、いずれの単位回路１４０においてもＧｒのフォトダイオードに対応する転送トランジスタに接続され、転送制御信号線Ｔｙ４１は、いずれの単位回路１４０においてもＢのフォトダイオードに対応する転送トランジスタに接続されている。一方、転送制御信号線Ｔｙ３２と転送制御信号線Ｔｙ４２とは、行方向に関して、接続される転送トランジスタが単位回路１４０ごとに交互に入れ替えられている。例えば、転送制御信号線Ｔｙ３２は、Ｒのフォトダイオードに対応する転送トランジスタとＧｂのフォトダイオードに対応する転送トランジスタとに、行方向に交互に接続されている。転送制御信号線Ｔｙ４２は、転送制御信号線Ｔｙ３２とは逆の順序で、Ｇｂのフォトダイオードに対応する転送トランジスタとＲのフォトダイオードに対応する転送トランジスタとに、行方向に交互に接続されている。
【０１１０】
このような回路構成を有する第２の実施形態では、転送制御信号線Ｔｙ１１と転送制御信号線Ｔｙ２２とに同時に転送トランジスタへと転送制御信号を供給させることにより、転送トランジスタＭＴ１１、ＭＴ１３、及び、ＭＴ１５にそれぞれ同時にフォトダイオードからの電荷を転送させると共に、転送トランジスタＭＴ２２、ＭＴ２３、及び、ＭＴ２６にそれぞれ同時にフォトダイオードからの電荷を転送させることができる。これにより、各単位回路４０において、Ｇｒ及びＧｂの加算とＧｒ及びＢの加算とを行方向に交互に実行させることができる。また、転送制御信号線Ｔｙ１２と転送制御信号線Ｔｙ２１とに同時に転送トランジスタへと転送制御信号を供給させることにより、転送トランジスタＭＴ１２、ＭＴ１４、及び、ＭＴ１６にそれぞれ同時にフォトダイオードからの電荷を転送させると共に、転送トランジスタＭＴ２１、ＭＴ２４、及び、ＭＴ２５にそれぞれ同時にフォトダイオードからの電荷を転送させることができる。これにより、各単位回路１４０において、Ｒ及びＢの加算とＲ及びＧｂの加算とを行方向に交互に実行させることができる。
【０１１１】
つまり、図８の回路構成において、転送制御信号線Ｔｙ１１と転送制御信号線Ｔｙ２２とに同時に転送トランジスタへと転送制御信号を供給させることと、転送制御信号線Ｔｙ１２と転送制御信号線Ｔｙ２１とに同時に転送制御信号を転送トランジスタへと供給させることとを組み合わせれば、加算パターン１Ｘと加算パターン２Ｖとを行方向に交互に繰り返すように画素加算を実行することができる。また、これと同様に、転送制御信号線Ｔｙ３１と転送制御信号線Ｔｙ３２とに同時に転送トランジスタへと転送制御信号を供給させることと、転送制御信号線Ｔｙ４１と転送制御信号線Ｔｙ４２とに同時に転送制御信号を転送トランジスタへと供給させることとを組み合わせれば、加算パターン２Ｈと加算パターン１Ｘとを行方向に交互に繰り返すように画素加算を実行することができる。したがって、図８の回路構成も、図５の回路構成と同様に、図２（ｃ）の加算パターンの配置に従った加算処理が可能である。
【０１１２】
この他、転送制御信号線Ｔｙ１１と転送制御信号線Ｔｙ２１とに同時に転送制御信号を転送トランジスタへと供給させることと、転送制御信号線Ｔｙ１２と転送制御信号線Ｔｙ２２とに同時に転送制御信号を転送トランジスタへと供給させることとを組み合わせれば、加算パターン２Ｖと加算パターン１Ｘとを行方向に交互に繰り返すように画素加算を実行することができる。また、転送制御信号線Ｔｙ３１と転送制御信号線Ｔｙ４２とに同時に転送制御信号を転送トランジスタへと供給させることと、転送制御信号線Ｔｙ３２と転送制御信号線Ｔｙ４１とに同時に転送制御信号を転送トランジスタへと供給させることとを組み合わせれば、加算パターン１Ｘと加算パターン２Ｈとを行方向に交互に繰り返すように画素加算を実行することができる。
【０１１３】
以上説明した第２の実施形態によると、単位回路１４０の１行ごとに４本の転送制御信号線が設けられている。そして、４本の転送制御信号線のうちの２本が、行方向に関して、隣接する単位回路１４０同士で交互に入れ替えて共用されることにより、図２（ｃ）に対応する加算処理が実行できるように構成されている。したがって、図２（ｃ）に対応する加算処理が、図５の回路構成における本数の半分の転送制御信号線により実行可能である。したがって、第２の実施形態は、例えば、画素サイズの小型化の要請により転送制御信号線の配線数に制限がある場合に有効である。また、第２の実施形態では、上記に述べた加算パターンの配列を様々に組み合わせることで、種々の加算処理に対応することが可能である。
【０１１４】
（第３の実施形態）
以下、本発明に係るさらに別の実施形態である第３の実施形態について図９を参照しつつ説明する。第３の実施形態において第１の実施形態と異なるのは、撮像素子が、奇数行を出力する奇数フィールド出力と偶数行を出力する偶数フィールド出力とを交互に繰り返すインターレース出力に対応していることである。そして、第３の実施形態では、撮像素子において画素信号の加算パターンを第１の実施形態とは違う配置とすることにより、撮像素子をインターレース出力に対応させている。
【０１１５】
図９（ａ）及び図９（ｆ）は、第３の実施形態において図２（ｃ）の代わりに用いられる、画素信号を加算する際の加算パターンの配置を示している。図９（ａ）は、奇数フィールド出力に対応した加算パターンの配置を表し、図９（ｆ）は、偶数フィールド出力に対応した加算パターンの配置を表している。
【０１１６】
図９（ａ）に示す加算パターンの配置に従って画素信号が加算されると共に、その加算結果のうちＧ及びＹｅの信号が図９（ａ）に示す配置で配列されると、図９（ｂ）に示すデジタル画像信号が生成される。また、図９（ａ）に示す加算パターンの配置に従って画素信号が加算されると共に、その加算結果のうちＭｇ及びＣｙの信号が図９（ａ）に示す配置で配列されると、図９（ｃ）に示すデジタル画像信号とが生成される。そして、図９（ｂ）に示すデジタル画像信号において、列方向に同色の画素信号が加算されることにより、図９（ｄ）に示す画像信号が奇数行ごとに出力される。また、図９（ｃ）に示すデジタル画像信号において、破線に囲まれた列方向に同色の画素信号が加算されることにより、図９（ｅ）に示す画像信号が奇数行ごとに出力される。
【０１１７】
一方、図９（ｆ）に示す加算パターンの配置に従って画素信号が加算されると共に、その加算結果のうちＧ及びＹｅの信号が図９（ｆ）に示す配置で配列されると、図９（ｇ）に示すデジタル画像信号が生成される。また、図９（ｆ）に示す加算パターンの配置に従って画素信号が加算されると共に、その加算結果のうちＭｇ及びＣｙの信号が図９（ｆ）に示す配置で配列されると、図９（ｈ）に示すデジタル画像信号とが生成される。そして、図９（ｇ）に示すデジタル画像信号において、列方向に同色の画素信号が加算されることにより、図９（ｉ）に示す画像信号が偶数行ごとに出力される。また、図９（ｈ）に示すデジタル画像信号において、破線に囲まれた列方向に同色の画素信号が加算されることにより、図９（ｊ）に示す画像信号が偶数行ごとに出力される。
【０１１８】
第３の実施形態によると、図９（ｄ）、図９（ｅ）、図９（ｉ）及び図９（ｊ）に示すように、２面補色ベイヤーのデジタル画像信号が奇数行と偶数行とに分けて撮像素子から出力されるので、インターレース出力に対応することが可能である。
【０１１９】
（第４の実施形態）
以下、本発明に係るさらに別の実施形態である第４の実施形態について図１０（ａ）及び図１０（ｂ）を参照しつつ説明する。第４の実施形態において第１の実施形態と異なるのは、撮像素子における画素信号の加算パターンの配置である。第１の実施形態では、加算パターン１Ｘ、２Ｖ及び２Ｈがいずれも含まれた配置であるのに対し、第４の実施形態では、加算パターン１Ｘと加算パターン２Ｖのみが配置されている。加算パターン１Ｘと加算パターン２Ｖは、図１０（ａ）に示すように、行方向及び列方向のそれぞれに交互に配置されている。あるいは、第４の実施形態では、図１０（ｂ）に示すように、加算パターン１Ｘと加算パターン２Ｈのみが行方向及び列方向のそれぞれに交互に配置されてもよい。
【０１２０】
上記のように図１０（ａ）に従って加算処理が実行された場合、各加算パターン２ＶからはＹｅの画素信号とＣｙの画素信号が生成される。また、図１０（ｂ）に従って加算処理が実行された場合、各加算パターン２ＨからはＹｅの画素信号とＣｙの画素信号が生成される。このため、第４の実施形態によると、図１０（ａ）及び図１０（ｂ）のうちいずれの加算パターンを使用した場合でも、第１の実施形態の２面補色ベイヤーと同じ色配列のデジタル画像信号を生成することができる。
【０１２１】
（第５の実施形態）
以下、本発明に係るさらに別の実施形態である第５の実施形態について図１０（ｃ）及び図１０（ｄ）を参照しつつ説明する。第５の実施形態において第１の実施形態と異なるのは、撮像素子２０において、互いに異なる２つの加算処理をフレームごとに交互に繰り返すことである。図１０（ｃ）は、ｎ（ｎ：自然数）フレーム目の加算処理（第１の加算処理）に対応する加算パターンの配置を表し、図１０（ｄ）は、ｎ＋１フレーム目の加算処理（第２の加算処理）に対応する加算パターンの配置を表している。図１０（ｃ）の配置は図２（ｃ）の配置と同様であり、図１０（ｄ）の配置は図１０（ｃ）において加算パターン２Ｖと加算パターン２Ｈを逆にしたものに相当する。この第５の実施形態では、ｎフレーム目の色差信号Ｃ２とｎ＋１フレーム目の色差信号Ｃ２とが加算されて平均されることにより、補間後の色差信号Ｃ２において偽色が発生しなくなる。その理由は以下の通りである。
【０１２２】
色差信号Ｃ２に発生する偽色は、撮像素子のサンプリング周波数をＦｓとすると、（１）輝度変化の方向（縦縞又は横縞）と加算の方向（行方向又は列方向）が同一であり、（２）輝度変化の周期が１／４Ｆｓであり、且つ、（３）位相が９０°ずれているときに最大となる。一例として、図１１（ａ）に示すような縦縞が表れたとする。図１０（ｃ）の加算処理を実行した場合、上記の（１）〜（３）を満たす、偽色が最大となる画素が、色差信号Ｃ２において発生する。つまり、Ｃ２＝Ｙｅ−Ｃｙ＝（Ｒ＋Ｇｒ）−（Ｂ＋Ｇｂ）であるので、図１１（ａ）に示す輝度変化では、加算パターン２Ｖの箇所において色差信号Ｃ２における偽色の評価値が、（０＋０）―（１＋１）＝−２となる。一方、加算パターン２Ｈの箇所では、輝度変化の方向と加算の方向が直交しており、偽色の評価値は（１＋０）−（０＋１）＝０となるので、偽色の発生はない。
【０１２３】
そして、図１０（ｄ）の加算処理を実行した場合には、図１０（ｃ）の加算処理と比べて加算パターン２Ｖの位置と加算パターン２Ｈの位置とが入れ替わるので、加算パターン２Ｖの箇所では、偽色の評価値は、（１＋１）−（０＋０）＝２となる。一方、加算パターン２Ｈの箇所では、（１＋０）−（０＋１）＝０となる。
【０１２４】
したがって、図１０（ｃ）に示すフレームｎの加算処理から得られる色差信号Ｃ２には、図１１（ｂ）の配置図５１に示す配置で偽色が表れる。また、図１０（ｄ）に示すフレームｎ＋１の加算処理から得られる色差信号Ｃ２においては、図１１（ｂ）の配置図５２に示す配置で偽色が表れる。そして、フレームｎの色差信号Ｃ２にそのままローパスフィルタをかけると、配置図５４に示すように、各画素に偽色−１が表れる。また、フレームｎ＋１の色差信号Ｃ２にそのままローパスフィルタをかけると、配置図５６に示すように、各画素に偽色＋１が表れる。配置図５４と配置図５６に示すように、フレームｎとフレームｎ＋１では、偽色の位相が１８０°反転する。そこで、ｎフレームとｎ＋１フレームとの平均を取ると、配置図５３に示すように偽色が配置される。そして、さらにその平均結果にローパスフィルタをかけると、配置図５５に示すように、各画素に表れる偽色が平均化され、全て０となる。このように、図１０（ｃ）の加算処理によるｎフレーム目の色差信号Ｃ２と図１０（ｄ）の加算処理によるｎ＋１フレーム目の色差信号Ｃ２とが加算されて平均されることにより、補間後の色差信号Ｃ２において偽色が発生しなくなる。
【０１２５】
（変形例）
以下、上述の第１〜第５の実施形態に係る変形例について説明する。
【０１２６】
［１］上述の第１の実施形態では、光電変換素子２１からの電荷を転送する信号転送部２２を制御する転送制御部２３が、撮像素子２０内に設けられている。しかし、この転送制御部２３が撮像素子２０を駆動装置として撮像素子２０とは独立に設けられてもよい。例えば、撮像素子２０に転送制御信号線と接続された外部端子が設けられており、この外部端子を介して、上記の駆動装置が各転送制御信号線と接続される。そして、この駆動装置が、第１の実施形態の転送制御部２３と同様に転送制御信号線を通じて転送トランジスタを駆動することで、撮像素子２０から２面補色ベイヤーを出力させるように構成されていてもよい。この場合、転送制御信号線が、各光電変換素子２１からの出力信号を加算して２面補色ベイヤーを出力できるように配線されていれば、既存の画素構成の撮像素子が用いられてよい。
【０１２７】
［２］上述の第１〜第５の実施形態では、撮像素子内で画素を加算する構成が採用されている。しかし、本発明は、撮像素子から出力されたＲ，Ｇ及びＢの各色からなるベイヤー配列の画素信号を加算することにより、画像処理によって２面補色ベイヤーを生成する画像処理装置として実現されてもよい。この場合、撮像素子としては、Ｒ，Ｇ及びＢの各色からなるベイヤー配列の画素信号を出力する従来の撮像素子が用いられてよい。この画像処理装置は、撮像素子からの画像信号において、ベイヤー配列の単位格子ごとに２つの画素信号同士をサンプリングすると共に、サンプリングした画素を加算することで２面補色ベイヤーを生成する。このため、この画像処理装置では、画素を加算する際のサンプリングの個数が限られており、サンプリング数が多い従来技術と比べて、１フレーム当たりにおけるサンプリング画素の読み出しに必要な処理量や画素を加算する処理量が少ない。したがって、例えば従来と同じフレームレートで画像が処理される場合には、単位時間当たりの処理量が少ないため消費電力が低減される。また、単位時間当たりの処理量が従来の場合と同じである場合には、フレームレートを増加させることができる。
【０１２８】
また、この画像処理装置では、第１の実施形態と同様に、画素数を減少させるのに画素加算を用いていると共に、２面補色ベイヤーの画素を加算して輝度信号Ｙを生成するため、感度が向上する。また、輝度信号Ｙを生成する際に画素を補間する必要がないため、高解像度の輝度成分が生成される。
【０１２９】
［３］上述の第１〜第５の実施形態では、２面補色ベイヤーとして、Ｇの信号及びＹｅの信号からなるデジタル画像信号と、Ｍｇの信号及びＣｙの信号からなるデジタル画像信号とが撮像素子から出力される。しかし、撮像素子において画素が加算された結果が、上記とは異なる色の組み合わせで出力されてもよい。つまり、２面補色ベイヤーとして、Ｇの信号及びＣｙの信号からなるデジタル画像信号と、Ｍｇの信号及びＹｅの信号からなるデジタル画像信号とが、撮像素子から出力されてもよい。
【０１３０】
［４］上述の第１の実施形態では、横４０００ピクセルで縦３０００ピクセルの撮像素子から、横１９２０ピクセルで縦１０８０ピクセルのＨＤ動画用の２面補色ベイヤーが出力される。しかし、横２５９２ピクセルで縦１９４４ピクセルの撮像素子から、横１２８０ピクセルで横７２０ピクセルのＨＤ動画用の２面補色ベイヤーが出力されてもよい。この場合、撮像素子において横２５６０ピクセルで縦１４４０ピクセル分の光電変換素子から出力された画素が第１の実施形態と同様に加算され、縦横それぞれ１／２にされた２面補色ベイヤーが出力されればよい。
【０１３１】
［５］上述の第１の実施形態では、画像処理部３０において図４に示す画像処理がなされている。しかし、図４に示す画像処理が撮像素子２０においてなされてもよい。つまり、撮像素子２０において、２面補色ベイヤーから、各画素についてＲ，Ｇ及びＢの３色が決定された画像データが生成されてもよい。そして、撮像素子２０において、各画素についてＲ，Ｇ及びＢの３色が決定された画像データが、さらに、ローパスフィルタを用いてダウンサンプリングされることにより、Ｒ，Ｇ及びＢの３色からなるベイヤー配列が生成されてもよい。ここで、各画素についてＲ，Ｇ及びＢの３色が決定された２行２列の画像データからは、Ｒ，Ｇ及びＢの３色からなる２行２列のベイヤー配列の画像データが生成される。これによると、光電変換素子２１から出力されたＲ，Ｇ及びＢのベイヤー配列の画像信号から、縦横それぞれ１／２にされたＲ，Ｇ及びＢのベイヤー配列の画像データが生成され、そのベイヤー配列の画像データが撮像素子２０から出力されることとなる。
【０１３２】
この変形例によると、撮像素子２０より後段において、撮像素子２０から出力されたベイヤー配列の画像データに補間処理を施すことにより、各画素についてＲ，Ｇ及びＢが決定された画像データを生成する必要がある。しかし、撮像素子２０からは従来どおりの配列であるベイヤー配列の画像データが出力されるため、撮像素子２０の後段において画像データを補間する信号処理は、既存の処理が流用されればよい。なお、撮像素子２０の後段の信号処理によっては、輝度信号の高周波成分が劣化したり、偽色が発生したりする可能性がある。
【０１３３】
この変形例において用いられるローパスフィルタは、既存の撮像系の構成で言えば、光学ローパスフィルタに相当する。このデジタルフィルタの係数を変えることで、撮像素子２０から出力されるベイヤー画像の特性を制御できる。上述の通り、図４の画像処理で生成される輝度信号Ｙと色差信号Ｃ１及びＣ２とは、それぞれのサンプリングの重心位置が、行方向及び列方向に等間隔になり、且つ、行方向のピッチと列方向のピッチとが等しくなる。そして、輝度信号Ｙと色差信号Ｃ１及びＣ２とから生成される、各画素についてＲ，Ｇ及びＢの３色が決定された画像データに関しても同様である。したがって、この画像データから生成されるベイヤー配列の画像データに関しても、そのサンプリングの重心位置が均等に配置される。このため、本変形例によると、いわゆる２ｘ２ビニングと比較して高画質な画像を生成できる。
【０１３４】
以上は、本発明の好適な実施形態についての説明であるが、本発明は上述の実施形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて様々な変更が可能なものである。
【符号の説明】
【０１３５】
Ｙ…輝度信号、Ｃ１・Ｃ２…色差信号、１…撮像装置、１Ｘ・２Ｈ・２Ｖ…加算パターン、１０…撮像光学系、２０…撮像素子、２１…光電変換素子、２２…信号転送部、２３…転送制御部、２６…ＣＤＳ部、２７…ＡＧＣ部、２８…ＡＤＣ部、３０…画像処理部、３１…輝度信号生成部、３２…色差信号生成部、３３…色補間部、３４…信号生成部
【図１】
2011109335.tif 000003
【図２】
2011109335.tif 000004
【図３】
2011109335.tif 000005
【図４】
2011109335.tif 000006
【図５】
2011109335.tif 000007
【図６】
2011109335.tif 000008
【図７】
2011109335.tif 000009
【図８】
2011109335.tif 000010
【図９】
2011109335.tif 000011
【図１０】
2011109335.tif 000012
【図１１】
2011109335.tif 000013
【手続補正書】
【提出日】平成22年3月15日(2010.3.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
そこで、イメージセンサから出力する画素数を絞り込む際の別の方法として、画素信号を間引いて出力する間引き出力や、同色の複数の画素信号を混合して出力する画素混合出力が知られている（特許文献１、２、３参照）。例えば、縦横それぞれ２画素につき、間引いたり画素混合を行ったりすることで１画素だけ出力し、出力データレートを１／４にできる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２００５−２４４９９５号公報
【特許文献２】特開２００９−１５９１８６号公報
【特許文献３】特開２００９−１４７４８９号公報
【手続補正書】
【提出日】平成22年6月8日(2010.6.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、
前記単位格子ごとに、４つの前記カラーフィルタのうち異なる色の２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算し、それぞれの加算結果に応じたアナログ信号を出力する信号加算回路と、
前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備え、
前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを出力する、
ことを特徴とする撮像素子。
【請求項２】
前記信号加算回路が、前記単位格子ごとに、互いに異なる第１〜第３のパターンのいずれかで前記光電変換素子からの出力信号を加算し、
前記第１のパターンが、前記単位格子内において、２つのＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、Ｒ及びＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、
前記第２のパターンが、前記単位格子内において、行方向に並んだＧ及びＲの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、行方向に並んだＢ及びＧの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンであり、
前記第３のパターンが、前記単位格子内において、列方向に並んだＧ及びＢの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算すると共に、列方向に並んだＲ及びＧのカラーフィルタに対応する２つの前記光電変換素子からの出力信号を加算するパターンである、
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す、
ことを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記信号加算回路が、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す、
ことを特徴とする請求項２に記載の撮像素子。
【請求項５】
前記信号加算回路が、行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す、
ことを特徴とする請求項２に記載の撮像素子。
【請求項６】
前記信号加算回路が、前記第１〜第３のパターンの並び方が異なる第１及び第２の加算処理をフレームごとに交互に繰り返し、
前記第１の加算処理が、
行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第２及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す処理であり、
前記第２の加算処理が、
行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返す処理である、
ことを特徴とする請求項２に記載の撮像素子。
【請求項７】
前記信号加算回路が、
前記光電変換素子が発生させた電荷を転送する前記光電変換素子ごとに設けられた転送トランジスタを有し、１つの前記単位格子に対応する４つの前記転送トランジスタに関して共有されたフローティングディフュージョンに対して、２つの前記転送トランジスタから同時に電荷を転送させる、
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像素子。
【請求項８】
前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記単位格子の１行ごとに８本設けられ、
行方向に１つおきに隣接する複数の前記単位格子同士で、前記８本の転送制御信号線のうちの４本が、各単位格子における４つの前記転送トランジスタ用として共用されている、
ことを特徴とする請求項７に記載の撮像素子。
【請求項９】
前記転送トランジスタに転送制御信号を送信する転送制御信号線が、前記単位格子の１行ごとに４本設けられ、
行方向に隣接する２つの前記単位格子同士で、前記４本の転送制御信号線が、そのうちの２本を入れ替えて共用されている、
ことを特徴とする請求項７に記載の撮像素子。
【請求項１０】
奇数行を出力する奇数フィールド出力と偶数行を出力する偶数フィールド出力とを交互に繰り返すインターレース出力に対応した撮像素子であって、
前記信号加算回路が、
行方向に関して前記第１及び第３のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返し、その後に、列方向に隣接する同色の信号を加算した信号を奇数フィールド出力として出力し、
行方向に関して前記第３及び第１のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算すること、並びに、行方向に関して前記第１及び第２のパターンを交互に繰り返して前記単位格子ごとに前記光電変換素子からの出力信号を加算することを、列方向に関して交互に繰り返し、その後に、列方向に隣接する同色の信号を加算した信号を偶数フィールド出力として出力する、
ことを特徴とする請求項２に記載の撮像素子。
【請求項１１】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動装置であって、
前記信号加算回路からの出力信号が、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動装置。
【請求項１２】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、前記カラーフィルタを透過した光の強度に応じたアナログ信号を出力する前記カラーフィルタごとに設けられた光電変換素子と、前記光電変換素子からの出力信号同士を加算し、その加算結果に応じたアナログ信号を出力する信号加算回路と、前記信号加算回路からの出力信号をデジタル信号に変換して出力するＡ／Ｄ変換部とを備えている撮像素子を駆動する駆動方法であって、
前記信号加算回路からの出力信号が、前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記光電変換素子からの出力信号同士を加算した結果となるように、前記信号加算回路を制御し、
前記信号加算回路からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを、前記撮像素子から出力させる、
ことを特徴とする撮像素子の駆動方法。
【請求項１３】
請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成手段と、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成手段と、
前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成手段と、
を備えていることを特徴とする画像処理装置。
【請求項１４】
前記色差信号生成手段が、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
Ｒ（赤）、Ｇ（緑）及びＢ（青）の３原色からなる２行２列の単位格子が並んだベイヤー（Ｂａｙｅｒ）配列で配列された複数のカラーフィルタと、
前記カラーフィルタを透過した光の強度を示す画素信号を前記カラーフィルタごとに生成する画素信号生成手段と、
前記単位格子ごとに、４つの前記カラーフィルタのうち２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算すると共に、残りの２つの前記カラーフィルタに対応する２つの前記画素信号同士を加算し、それぞれの加算結果に応じた信号を出力する信号加算手段とを備え、
前記信号加算手段からの出力信号に基づいて、Ｙｅ（黄）及びＣｙ（シアン）のうちいずれか１色とＧとが交互に並んだ第１のデジタル画像信号と、Ｙｅ及びＣｙのうち前記１色とは別の１色とＭｇ（マゼンタ）とが交互に並んだ第２のデジタル画像信号とを生成する、
ことを特徴とする画像処理装置。
【請求項１６】
請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成ステップと、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成ステップと、
前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成ステップとをコンピュータに実行させる、
ことを特徴とするプログラム。
【請求項１７】
前記色差信号生成ステップにおいて、
前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成する、
ことを特徴とする請求項１６に記載のプログラム。
【請求項１８】
被写体像を結像させる撮像光学系と、
前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜１０のいずれか１項に記載の撮像素子と、
前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、
を備えていることを特徴とする撮像装置。 
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、撮像素子、特に、カラーフィルタがベイヤー配列で配列された撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置に関する。 
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の目的は、画素加算のための画素構成が困難になることなく、画素の読み出しに必要な動作速度や消費電力を適正な範囲に維持しつつ、品質の良い画像信号を生成することができる撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置を提供することにある。 
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、請求項１６に記載のプログラムは、請求項１〜１０のいずれか１項に記載の撮像素子からの出力された前記第１及び第２のデジタル画像信号同士で各画素の信号を加算して輝度信号を生成する輝度信号生成ステップと、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算して色差信号を生成する色差信号生成ステップと、前記輝度信号生成手段が生成した輝度信号と前記色差信号生成手段が生成した色差信号とから、１画素ごとにＲ、Ｇ及びＢの３色の成分が決定された画像データを生成する画像データ生成ステップとをコンピュータに実行させる。 
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
また、請求項１６に記載のプログラムは、請求項１７に記載の発明のように、前記色差信号生成ステップにおいて、前記第１及び第２のデジタル画像信号同士で各画素の信号を減算した結果を、ローパスフィルタを用いて補間することで、前記色差信号を生成してもよい。 
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、請求項１８に記載の撮像装置は、被写体像を結像させる撮像光学系と、前記撮像光学系が結像させた被写体像を光電変換して出力する請求項１〜１０のいずれか１項に記載の撮像素子と、前記撮像素子から出力された出力信号に対して所定の画像処理を加え、前記被写体像を再現する画像処理装置と、を備えている。これによると、撮像素子から出力された第１及び第２のデジタル画像信号に基づいて、高品質な被写体像の再現が可能となる。