(57)【要約】【課題】固体撮像装置の画素数を増大させることなく、減数画像データを生成できるようにする。【解決手段】画素データを所定数ずつ混合して複数の混合画素データを生成する複数の混合部４６１，…４６４からなる第１混合部群Ｇ１を設ける。各混合部４６１，…４６４は、画素アレイ２１を複数の領域に区画する単位領域９０がそれぞれ設定され、該単位領域９０の単位で複数の混合画素データを生成する。そして、複数の混合部４６１，…４６４の少なくとも１つは、設定された単位領域９０の一部分が互いに重複し、重複単位領域９０内の所定画素２２からの画素データを混合画素データの生成に重複して使用する。【選択図】図４
2011030181.tif 000002
【特許請求の範囲】
【請求項１】
入射光を光電変換して画素データを出力する画素が二次元状に配置された画素アレイを備えた固体撮像装置であって、
前記画素データを所定数ずつ混合して複数の混合画素データを生成する複数の混合部からなる第１混合部群を有し、各画素から得た全ての画素データを前記混合画素データの生成に使用して該混合画素データが二次元状に並ぶ減数画像データを生成する減数画像生成部を備え、
各混合部は、前記画素アレイを複数の領域に区画する単位領域がそれぞれ設定され、該単位領域の単位で前記複数の混合画素データを生成し、
前記複数の混合部の少なくとも１つは、設定された単位領域の一部分が互いに重複し、重複領域内の所定画素からの画素データを前記混合画素データの生成に重複して使用することを特徴とする固体撮像装置。
【請求項２】
請求項１の固体撮像装置において、
前記減数画像生成部は、それぞれの混合画素データの前記減数画像データにおける位置が、垂直方向が等間隔、且つ水平方向が等間隔で、水平方向の間隔と垂直方向の間隔が等しくなるように該混合画素データを生成することを特徴とする固体撮像装置。
【請求項３】
請求項２の固体撮像装置において、
前記減数画像生成部は、前記画素アレイの１／（２×ｎ）の画素密度（ただし、ｎは自然数）の前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項４】
請求項２の固体撮像装置において、
前記減数画像生成部は、前記画素アレイの１／（２×ｍ）２の画素密度（ただし、ｍは自然数）の前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項５】
請求項１の固体撮像装置において、
前記減数画像生成部は、それぞれの混合画素データの前記減数画像データにおける位置が、垂直方向が等間隔、且つ水平方向が等間隔で、水平方向の間隔と垂直方向の間隔が異なるように、該混合画素データを生成することを特徴とする固体撮像装置。
【請求項６】
請求項５の固体撮像装置において、
前記減数画像生成部は、前記画素アレイの１／（２ｎ×（２ｍ＋１））の画素密度（ただし、ｎ，ｍ  は自然数）の前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項７】
請求項２又は請求項５の固体撮像装置において、
前記混合部の少なくとも１つは、それぞれの画素データに対し所定の重み付けを行って、各画素データを混合することを特徴とする固体撮像装置。
【請求項８】
請求項２又は請求項５の固体撮像装置において、
前記減数画像生成部は、生成する減数画像データの画素密度を変更可能に構成されていることを特徴とする固体撮像装置。
【請求項９】
請求項２又は請求項５の固体撮像装置において、
前記減数画像生成部は、前記画素データで構成された原画像データの出力と前記減数画像データの出力とを切り替え可能に構成されていることを特徴とする固体撮像装置。
【請求項１０】
請求項１の固体撮像装置において、
減数画像生成部は、前記第１混合部群の混合部とは別の混合部からなり、前記第１混合部群とは異なる画素密度の減数画像データを生成する第２混合部群を備え、前記第１及び第２混合部群がそれぞれ生成した減数画像データを選択的に出力することを特徴とする固体撮像装置。
【請求項１１】
請求項１０の固体撮像装置において、
前記第１混合部群は、前記画素アレイの、１／（ｎ×ｍ）の画素密度（ただし、ｍ，ｎは自然数で少なくとも一方が偶数）の前記減数画像データを生成し、
第２混合部群は、前記画素アレイの１／（ｎ×ｍ）の画素密度（ただし、ｍ，ｎは自然数で何れも奇数）の前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項１２】
請求項１１の固体撮像装置において、
前記第１混合部群は、ｎ＝ｍの場合に、垂直方向が等間隔、且つ水平方向が等間隔で、水平方向の間隔と垂直方向の間隔が等しくなるように該混合画素データを生成することを特徴とする固体撮像装置。
【請求項１３】
請求項２の固体撮像装置において、
前記減数画像生成部は、前記画素アレイの１／ｎ２の画素密度（ただし、ｎは自然数）の前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項１４】
請求項１３の固体撮像装置において、
減数画像生成部は、前記第１混合部群の混合部とは別の混合部からなり、前記第１混合部群とは異なる画素密度の減数画像データを生成する第２混合部群を備え、
第１混合部群は、前記画素アレイの、１／（２ｍ）２の画素密度（ただし、ｍは自然数）の前記減数画像データを生成し、
第２混合部群は、前記画素アレイの１／（２ｍ＋１）２の画素密度（ただし、ｍは自然数）の前記減数画像データを生成し、
前記第２混合部群を構成する混合部は、それぞれに設定された単位領域が他の単位領域とは重複しないことを特徴とする固体撮像装置。
【請求項１５】
請求項１０の固体撮像装置において、
前記減数画像生成部は、複数の混合部からそれぞれ構成された第３から第Ｎ混合部群（ただし、Ｎは自然数)を備え、Ｎ種類の画素密度の混合画素データを出力することを特徴とする固体撮像装置。
【請求項１６】
請求項１１の固体撮像装置において、
ｎ，ｍの少なくとも一方は素数であることを特徴とする固体撮像装置。
【請求項１７】
請求項１の固体撮像装置において、
減数画像生成部は、前記第１混合部群の混合部とは別の混合部からなる他の混合部群を１つ以上備え、前記第１混合部群及び前記他の混合部群から２つ以上組み合わせて、前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項１８】
請求項１７の固体撮像装置において、
減数画像生成部は、所定の画素密度の減数画像データを生成するための、第１混合部群及び前記他の混合部群の組み合わせが複数種類ある場合に、該組み合わせの選択が可能であることを特徴とする固体撮像装置。
【請求項１９】
請求項２の固体撮像装置において、
前記減数画像生成部は、前記減数画像データの画素密度が垂直帰線期間毎に一定、かつ前記減数画像データの各画素位置が垂直帰線期間毎に一致するように、前記減数画像データを生成することを特徴とする固体撮像装置。
【請求項２０】
請求項１の固体撮像装置において、
所定のカラーフィルタが二次元状に配置された単位配列の繰り返しパターンで構成され、それぞれのカラーフィルタが前記画素アレイのそれぞれの画素にそれぞれ対応して配置されたカラーフィルターアレイをさらに備えたことを特徴とする固体撮像装置。
【請求項２１】
請求項２０の固体撮像装置において、
前記単位配列は、２行×２列のカラーフィルタで構成されていることを特徴とする固体撮像装置。
【請求項２２】
請求項２０の固体撮像装置において、
前記減数画像生成部は、前記減数画像データの色配列が、単位配列の繰り返しパターンで構成されるように、該減数画像データを生成することを特徴とする固体撮像装置。
【請求項２３】
請求項２０の固体撮像装置において、
各混合部は、前記減数画像データの所定画素の色が周期的に変更され、且つそれぞれの混合画素データの前記減数画像データにおける位置が一定となるように、前記単位領域の位置を変更することを特徴とする固体撮像装置。
【請求項２４】
請求項２０の固体撮像装置において、
各混合部は、前記単位領域の位置を垂直方向に周期的に変更することを特徴とする固体撮像装置。
【請求項２５】
請求項２０の固体撮像装置において、
各混合部は、前記減数画像データの所定画素の色、及び、それぞれの混合画素データの前記減数画像データにおける位置が周期的に変更されるように、前記単位領域の位置を変更することを特徴とする固体撮像装置。
【請求項２６】
請求項２３の固体撮像装置において、
前記カラーフィルタの単位配列は、ベイヤ配列であり、
各混合部は、輝度信号に寄与度の高い色成分の前記混合画素データが、複数枚の前記減数画像データを合成した合成画像データの各画素に合成されるように、前記単位領域の位置を変更することを特徴とする固体撮像装置。
【請求項２７】
請求項２３の固体撮像装置において、
前記カラーフィルタの単位配列は、ベイヤ配列であり、
各混合部は、複数枚の前記減数画像データを合成した合成画像データの各画素に、該合成画像データに含めるべき色の全種類が合成されるように、前記単位領域の位置を変更することを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体からの入射光を撮像信号として出力する固体撮像装置、それを用いた撮像モジュール及び撮像システムに関するものである。
【背景技術】
【０００２】
二次元状に画素が配列された撮像装置において、撮像装置からの画素信号読み出しの速度の向上、或いは感度向上の手段として、画素を混合して読み出す技術がある。そして、このような画素を混合して読み出す技術として、２×２の４画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子において、（２Ｎ＋１）２（Ｎは自然数）の画素データを混合して読み出し、混合後の画素重心が等間隔になるようにしたものがある（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３-２３００５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画素混合では、１画素分の混合画素を得るために少なくとも９画素の混合が必要となり、ＨＤ動画で使用される２００万画素相当の画素数を出力するには、全画素独立読み出し時に１８００万画素のイメージセンサが必要となる。そして、これは固体撮像装置のコストの増大、延いては撮像システムのコストの増大に繋がる可能性がある。
【０００５】
本発明は上記の問題に着目してなされたものであり、固体撮像装置の画素数を増大させることなく、減数画像データを生成できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、第１の発明は、
入射光を光電変換して画素データを出力する画素が二次元状に配置された画素アレイを備えた固体撮像装置であって、
前記画素データを所定数ずつ混合して複数の混合画素データを生成する複数の混合部からなる第１混合部群を有し、各画素から得た全ての画素データを前記混合画素データの生成に使用して該混合画素データが二次元状に並ぶ減数画像データを生成する減数画像生成部を備え、
各混合部は、前記画素アレイを複数の領域に区画する単位領域がそれぞれ設定され、該単位領域の単位で前記複数の混合画素データを生成し、
前記複数の混合部の少なくとも１つは、設定された単位領域の一部分が互いに重複し、重複領域内の所定画素からの画素データを前記混合画素データの生成に重複して使用することを特徴とする。
【０００７】
この構成では、第１混合部群を構成する混合部の少なくとも１つは、混合画素データの生成に所定の画素データを重複して使用する。
【発明の効果】
【０００８】
本発明によれば、所定の混合部において、混合画素データの生成に、所定の画素データが重複して使用されるので、固体撮像装置の画素数を増大させることなく、減数画像データを生成することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の実施形態１に係るデジタルビデオカメラの構成を示すブロック図である。
【図２】図２は、イメージセンサの構成例を示す図である。
【図３】図３は、行制御部の構成例を示すブロック図である。
【図４】図４は、第２混合部の構成例を示すブロック図である。
【図５】図５は、第１混合部の構成例を示すブロック図である。
【図６】図６は、第４混合部の構成例を示すブロック図である。
【図７】図７は、第３混合部の構成例を示すブロック図である。
【図８】図８は、第２混合部が画素データの混合を行う画素アレイ上の単位領域の形状を示す図である。
【図９】図９は、第１混合部が画素データの混合を行う単位領域の形状を示す図である。
【図１０】図１０は、第４混合部が画素データの混合を行う単位領域の形状を示す図である。
【図１１】図１１は、（Ａ）が、第３混合部が画素データの混合を行う単位領域の形状を示す図であり、（Ｂ）が１つの単位領域を抜き出したものである。
【図１２】図１２は、４種類の混合部によりそれぞれ画素混合に使用される画素の位置関係を示す図である。
【図１３】図１３は、実施形態１におけるカラーフィルタの単位配列を示す図である。
【図１４】図１４は、（Ａ）がイメージセンサ６０におけるカラーフィルターアレイ７０の色配置を示す図であり、（Ｂ）が（Ａ）に対応する減数画像データを示す図である。
【図１５】図１５（Ａ）〜（Ｄ）は、第３混合部の加算器での画素加算における重み付けの例を説明する図である。
【図１６】図１６は、実施形態２に係るカラーフィルターアレイにおける単位配列を示す図である。
【図１７】図１７（Ａ）〜図１７（Ｅ）は、単位配列の他の構成例を示す図である。
【図１８】図１８は、垂直帰線期間毎の単位領域の位置を示す図である。
【図１９】図１９は、垂直帰線期間毎の単位領域の位置を示す図である。
【図２０】図２０は、実施形態６における第１混合部の構成例を示すブロック図である。
【図２１】図２１は、実施形態６における第２混合部の構成例を示すブロック図である。
【図２２】図２２は、実施形態６における第３混合部の構成例を示すブロック図である。
【図２３】図２３は、実施形態６における第４混合部の構成例を示すブロック図である。
【図２４】図２４は、（Ａ）が実施形態６における第１混合部が画素データの混合を行う画素アレイ上の単位領域の形状を示す図であり、（Ｂ）が、１つの単位領域を抜き出したものである。
【図２５】図２５（Ａ）は、第２混合部が画素データの混合を行う単位領域の形状を示す図であり、（Ｂ）は、１つの単位領域を抜き出したものである。
【図２６】図２６は、第３混合部が画素データの混合を行う単位領域の形状を示す図である。
【図２７】図２７は、第４混合部が画素データの混合を行う単位領域の形状を示す図である。
【図２８】図２８は、４種類の混合部によりそれぞれ画素混合に使用される画素の位置関係を示す図である。
【図２９】図２９は、実施形態６におけるカラーフィルタの単位配列を示す図である。
【図３０】図３０は、（Ａ）がイメージセンサにおけるカラーフィルタの色と、減数画像データとの関係を示す図であり、（Ｂ）が（Ａ）に対応する減数画像データを示す図である。
【図３１】図３１（Ａ）〜（Ｄ）は、第１、２混合部のそれぞれの加算器での画素加算における重み付けの例を説明する図である。
【図３２】図３２（Ａ）及び（Ｂ）は、第３、４混合部のそれぞれの加算器での画素加算における重み付けの例を説明する図である。
【図３３】図３３は、実施形態７に係るカラーフィルターアレイにおける単位配列を示す図である。
【図３４】図３４（Ａ）〜（Ｃ）は、単位配列の他の構成例を示す図である。
【図３５】図３５は、垂直帰線期間毎の単位領域の位置を示す図である。
【図３６】図３６は、第５混合部の構成を示すブロック図である。
【図３７】図３７は、第６混合部の構成を示すブロック図である。
【図３８】図３８は、第５混合部における単位領域を説明する図である。
【図３９】図３９は、第６混合部における単位領域を説明する図である。
【図４０】図４０は、（Ａ）がイメージセンサにおけるカラーフィルターアレイの色配置を示す図であり、（Ｂ）が、図４０（Ａ）に対応する減数画像データを示す図である。
【図４１】図４１は、実施形態１０に係る列制御部の構成例を示すブロック図である。
【図４２】図４２は、実施形態１１に係る列制御部の構成例を示すブロック図である。
【図４３】図４３は、実施形態１２に係る列制御部の構成例を示すブロック図である。
【図４４】図４４は、実施形態１３のイメージセンサで得られる減数画像データを説明する図である。
【図４５】図４５は、実施形態１６に係る列制御部の構成例を示すブロック図である。
【図４６】図４６は、実施形態１６に係る第１混合部の画素混合によって得た減数画像データと原画像のデータとの関係を示す図である。
【図４７】図４７は、実施形態１６に係る第２混合部の画素混合によって得た減数画像データと原画像のデータとの関係を示す図である。
【図４８】図４８は、実施形態１６に係る第３混合部の画素混合によって得た減数画像データと原画像のデータとの関係を示す図である。
【図４９】図４９は、実施形態１６に係る第４混合部の画素混合によって得た減数画像データと原画像のデータとの関係を示す図である。
【図５０】図５０は、実施形態１６に係る列制御部の他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。また、以下の各実施形態や変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００１１】
《発明の実施形態１》
本発明に係る撮像システムの実施形態として、デジタルビデオカメラ（電子ムービーカメラ）の例を説明する。
【００１２】
〈デジタルビデオカメラの概要〉
図１は、本発明の実施形態１に係るデジタルビデオカメラ１の構成を示すブロック図である。このデジタルビデオカメラ１は、同図に示すように、デジタル信号処理回路１０（図中ではＤＳＰと略記）、ＣＰＵ２０、ＳＤＲＡＭ３０、ＳＤカード４０、ＬＣＤ４１、及び撮像モジュール５０を備えている。この撮像モジュール５０はイメージセンサ６０（固体撮像装置）を有している。
【００１３】
デジタルビデオカメラ１では、撮影が行われると、撮像モジュール５０が被写体からの入射光を光電変換し、撮像信号Ｓ１としてデジタル信号処理回路１０に出力する。デジタル信号処理回路１０は、その撮像信号Ｓ１に所定の信号処理を行い、記録媒体として装着されているＳＤカード４０（例えばＳＤメモリーカード）に記録したり、表示媒体であるＬＣＤ４１（例えば液晶ディスプレイ）に表示したりする。ＳＤＲＡＭ３０は、デジタル信号処理回路１０での信号処理において使用される記録媒体である。なお、ＣＰＵ２０は、イメージセンサ６０やデジタル信号処理回路１０の動作を制御する。
【００１４】
上記のイメージセンサ６０には２つの動作モードがある。一方の動作モードは、イメージセンサ６０の画素（後述の画素２２）からの信号（撮像信号）をデジタル化した画素データをそのまま出力する動作モードである（以下、この動作モードを原画像出力モード、原画像出力モードにより構成された画像を原画像データという）。また、もう一方の動作モードは、複数の画素からの画素データを混合した混合画素データを出力する動作モードである（以下、この動作モードを画素混合モード、画素混合モードにより構成された画像を減数画像データという）。デジタルビデオカメラ１は、画素混合モードでは原画像データの１／（２×ｍ）２の密度（ただし、ｍは自然数）、あるいは１／（２×ｎ）の密度（ただし、ｎは自然数）の減数画像データを生成するようになっている。以下では、ｍ＝１の例、すなわち、原画像データの１／４の密度の減数画像データを生成する例を説明する。以下、デジタルビデオカメラ１の構成要素について説明する。
【００１５】
〈デジタル信号処理回路１０（ＤＳＰ）〉
デジタル信号処理回路１０は、メモリコントローラ１１、レベル検出部１２、ＹＣ処理部１３、圧縮処理部１４、及びデジタル信号処理部１５を備え、イメージセンサ６０からの出力（撮像信号Ｓ１）を処理する。このデジタル信号処理回路１０は、本発明の信号処理回路の一例である。
【００１６】
-メモリコントローラ１１-
メモリコントローラ１１は、レベル検出部１２、ＹＣ処理部１３、圧縮処理部１４、及びデジタル信号処理部１５（以下これらの各部を総称して機能ブロックと呼ぶ）のそれぞれと、ＳＤＲＡＭ３０との間のデータの転送（ＳＤＲＡＭ３０からの読出しや書き込み）を行う。このデジタル信号処理回路１０では、それぞれの機能ブロックにおける処理に必要な画素数分の撮像信号Ｓ１が揃うまで、ＳＤＲＡＭ３０に撮像信号Ｓ１を書き込むことで保持する。そして、必要な画素数分の撮像信号Ｓ１が揃うと、メモリコントローラ１１は適宜必要に応じ、ＳＤＲＡＭ３０から撮像信号Ｓ１を読み出し、撮像信号Ｓ１を必要とする機能ブロックに出力する。また、デジタルビデオカメラ１では、撮像信号Ｓ１だけでなく、ＹＣ処理部１３で処理されることで得られる輝度信号や色信号、さらには圧縮処理部１４で処理されることで得られる符号データ等もＳＤＲＡＭ３０に記録される。そのため、メモリコントローラ１１は、これらの種類のデータや信号の読出しや書き込みも行う。
【００１７】
-レベル検出部１２-
レベル検出部１２は、撮像信号Ｓ１のレベルを検出し、該撮像信号Ｓ１のレベルをＣＰＵ２０に通知する。詳しくは、このレベル検出部１２は、イメージセンサ６０から出力される撮像信号Ｓ１について、イメージセンサ６０の画面全体、或いは一部分の平均値等から、撮像信号Ｓ１のレベルを算出し、その算出結果をＣＰＵ２０に通知する。
【００１８】
-ＹＣ処理部１３-
ＹＣ処理部１３は、撮像信号Ｓ１に対して、同時化、フィルタリング処理、周波数補正等を行うとともに、輝度信号と色差信号を生成する（以下これらの信号をまとめてＹＣ信号Ｓ２と呼ぶ）。
【００１９】
-圧縮処理部１４-
圧縮処理部１４は、ＹＣ信号Ｓ２（ＹＣ処理部１３によって生成された輝度信号と色差信号）を所定のフォーマットに従って圧縮する。具体的には、例えば、静止画ならばＪＰＥＧのフォーマットに従い、動画ならばＨ．２６４等のフォーマットに従ってデータ量の圧縮を行う。
【００２０】
-デジタル信号処理部１５-
デジタル信号処理部１５は、画角サイズの調整のための拡大縮小処理（いわゆるズーム処理）、傷補正、照明光色温度検出等のデジタルビデオカメラとしての動作に必要な信号処理を行う。さらに、デジタル信号処理部１５は、装着されているＳＤカード４０に対して、データの読み込み及び書き出しを行う。また、さらに、デジタル信号処理部１５は、表示媒体であるＬＣＤ４１に対してプレビュー等の画像を表示する。
【００２１】
〈ＣＰＵ２０〉
ＣＰＵ２０は、デジタルビデオカメラ１がユーザの期待する動作を実現するのに必要な制御信号を、イメージセンサ６０、及びデジタル信号処理回路１０の各機能ブロックに対して出力する。例えば、ＣＰＵ２０は、撮像モジュール５０やデジタル信号処理回路１０に配置されている各機能ブロックに対して、イメージセンサ６０の画素から得たデータを混合した撮像信号Ｓ１を出力するか、イメージセンサ６０の画素から得たデータをそのまま出力するかの切り替えや、ＹＣ処理部１３における画像処理のパラメータ等の設定等を行う。なお、このＣＰＵ２０には、レリーズボタンやデジタルビデオカメラ１の動作を設定するための信号（外部入力Ｓ３）が外部から入力されている。
【００２２】
〈撮像モジュール５０〉
撮像モジュール５０は、レンズ５１、タイミングジェネレータ５２、及びイメージセンサ６０を備えている。レンズ５１は、被写体からの光をイメージセンサ６０上に結像させる。また、タイミングジェネレータ５２は、イメージセンサ６０を駆動するのに必要な制御信号を生成する。
【００２３】
-イメージセンサ６０-
本実施形態のイメージセンサ６０は、いわゆるＭＯＳイメージセンサであり、レンズ５１からの入射光を光電変換し、撮像信号Ｓ１としてデジタル信号処理回路１０へ出力する。すなわち、イメージセンサ６０は本発明の固体撮像装置の一例である。このイメージセンサ６０には、２つの動作モードがある。一方の動作モードは、画素（後述の画素２２）からの信号（撮像信号）をデジタル化した画素データで構成された画像（原画像データ）を出力する動作モードである。また、もう一方の動作モードは、複数の画素からの画素データを混合した混合画素データで構成された減数画像データを出力する動作モード（以下、画素混合モード）である。図２は、イメージセンサ６０の構成例を示す図である。このイメージセンサ６０は、同図に示すように、画素アレイ２１、カラーフィルターアレイ７０、行制御部２３、列信号処理部２５、及び列制御部２７を備えている。
【００２４】
-画素アレイ２１-
画素アレイ２１は、複数の画素２２が二次元状（具体的にはＮ行×Ｍ列の行列状）に配置されている。そして、それぞれの画素２２が光電変換を行って、入射した光を電荷に変換している。なお、図２は、イメージセンサ６０の概略構造を示すものであり、イメージセンサ６０は、実際には同図に示したよりもさらに多数の画素２２を有している。
【００２５】
-行制御部２３-
行制御部２３は、各画素２２に対して露光及び行方向の読み出し制御を行う。
【００２６】
-列信号処理部２５-
列信号処理部２５は、画素アレイ２１の各列に１つずつ配置されている。そして、各列信号処理部２５は、対応した列における列方向の読み出し制御と、行制御部２３によって読み出しされた行における画素２２から得た画素データを処理する。図３は、行制御部２３の構成例を示すブロック図である。この例では、それぞれの列信号処理部２５は、Ａ／Ｄ変換部３１（図中ではＡ／Ｄと略記）、及びフリップフロップ３２（図中ではＦＦと略記）を備えている。この列信号処理部２５では、対応した列の画素２２が出力した信号を、Ａ／Ｄ変換部３１でデジタル信号（前記画素データ）に変換した後、フリップフロップ３２でラッチする。この列信号処理部２５には、列制御部２７が接続されている。
【００２７】
-列制御部２７-
列制御部２７は、列信号処理部２５が出力した画素データに対して所定の処理を行ない、イメージセンサ６０より出力する。また、この列制御部２７は、前記原画像データの出力と、前記減数画像データの出力とを切り替え可能に構成されている。この列制御部２７は、本発明の減数画像生成部の一例である。
【００２８】
具体的に本実施形態の列制御部２７は、複数のフリップフロップ２７ａ、第１混合部４６１、第２混合部４６２、第３混合部４６３、第４混合部４６４、及び画素データ転送部４５を備えている。図４、図５、図６、及び図７は、この列制御部２７を分割して図示したものであり、図４は第２混合部４６２の構成、図５は第１混合部４６１の構成、図６は第４混合部４６４の構成、図７は第３混合部４６３の構成をそれぞれ示すブロック図である。すなわち、これらの図は、図の可読性を向上させるためにそれぞれの混合部４６１，…４６４の構成を別個の図に図示したものであり、実際の回路構成としては統合された態様である。なお、図４等では、フリップフロップ２７ａは、図中においてＦＦと略記してあり、一部のフリップフロップ２７ａのみに符号を付してある。
【００２９】
-フリップフロップ２７ａ-
本実施形態では、フリップフロップ２７ａは、５行×Ｍ列の行列状に配置され、画素アレイ２１の５行分の撮像信号を保持するようになっている。図４等では、第４ｐ列目から第４ｐ＋９列目までのフリップフロップ２７ａを図示してある。
【００３０】
列制御部２７に第ｎ行目の各画素２２に蓄積されている画素データが入力された後に、さらに第ｎ＋１行目の各画素２２に蓄積されている画素データが入力されることで、列制御部２７内のフリップフロップ２７ａには、第ｎ行目と第ｎ＋１行目の画素データがラッチされる。同様の動作が行われることで第ｎ＋ｉ行目（ｉ：０以上の整数）の画素データがラッチされる。このようにして、列制御部２７には、第ｎ＋ｉ行目、第ｎ＋ｉ＋１行目、第ｎ＋ｉ＋２行目、第ｎ＋ｉ＋３行目、及び第ｎ＋ｉ＋４行目の画素データが保持されることになる。この列制御部２７は、これらのフリップフロップ２７ａから行単位で画素データを画素データ転送部４５に出力する。
【００３１】
-第１混合部４６１，…第４混合部４６４-
第１混合部４６１，…第４混合部４６４は、画素アレイ２１における所定の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。具体的には、各混合部は、それぞれ所定のフリップフロップ２７ａの出力を加算して画素データ転送部４５に出力するようになっている。以下、各混合部について説明する。
【００３２】
〈第１混合部４６１〉
第１混合部４６１は、図５に示すように、複数の加算器４６ｂを備え、画素アレイ２１の２行×２列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４６ｂは、図５に示すように、フリップフロップ２７ａの４列置きに配置されている。図５では、２つの加算器４６ｂを図示しており、一方の加算器４６ｂは、フリップフロップ２７ａの第４ｐ＋３列に隣接して配置され、もう一方の加算器４６ｂは、第４ｐ＋７列に隣接して配置されている。例えば、第４ｐ＋３列に隣接した加算器４６ｂは、（第ｎ＋ｉ＋１行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋５列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第１混合部４６１の各加算器４６ｂでは４画素分の画素データが加算される。そして、第４ｐ＋３列に隣接した加算器４６ｂは、この加算結果を、原画像データの（第ｎ＋ｉ＋２行目，第４ｐ＋４列目）の位置に対応した位置の混合画素データとして出力する。すなわち、各加算器４６ｂは、それぞれが対応した単位領域の中心位置に対応した位置の混合画素データを出力するのである。
【００３３】
〈第２混合部４６２〉
第２混合部４６２は、図４に示すように、複数の加算器４６ａを備え、画素アレイ２１の２行×２列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４６ａは、図４に示すように、フリップフロップ２７ａの４列置きに配置されている。図４では、２つの加算器４６ａを図示しており、一方の加算器４６ａはフリップフロップ２７ａの第４ｐ＋１列（ｐは０以上の整数、以下同様）に隣接して配置され、もう一方の加算器４６ａは、第４ｐ＋５列に隣接して配置されている。そして、例えば、第４ｐ＋１列に隣接した加算器４６ａは、（第ｎ＋ｉ＋１行目，第４ｐ＋１列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋１列目）、（第ｎ＋ｉ＋１行目，第４ｐ＋３列目）、及び（第ｎ＋ｉ＋３行目，第４ｐ＋３列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算する。すなわち、第２混合部４６２の各加算器４６ａでは４画素分の画素データが加算される。そして、第４ｐ＋１列に隣接した加算器４６ａは、この加算結果を、原画像データの（第ｎ＋ｉ＋２行目，第４ｐ＋２列目）の位置に対応した位置の混合画素データとして出力する。すなわち、各加算器４６ａは、それぞれが対応した単位領域の中心位置に対応した位置の混合画素データを出力するのである。
【００３４】
〈第３混合部４６３〉
第３混合部４６３は、複数の加算器４６ｄを備え、画素アレイ２１の５行×５列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４６ｄは、図７に示すように、フリップフロップ２７ａの４列置きに配置されている。図７では、３つの加算器４６ｄを図示しており、フリップフロップ２７ａの第４ｐ列、第４ｐ＋４列、第４ｐ＋８列にそれぞれ隣接して配置されている。
【００３５】
そして、例えば、第４ｐ＋４列に隣接した加算器４６ｄは（第ｎ＋ｉ＋０行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋６列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第３混合部４６３の各加算器４６ｃでは９画素分の画素データが加算される。そして、第４ｐ＋４列に隣接した加算器４６ｄ、この加算結果を、原画像データの（第ｎ＋ｉ＋２行目，第４ｐ＋４列目）の位置に対応した位置の混合画素データとして出力する。すなわち、各加算器４６ｄは、それぞれが対応した単位領域の中心位置に対応した位置の混合画素データを出力するのである。
【００３６】
また、第３混合部４６３では、各加算器４６ｄにおいて、所定以上の範囲の画素２２の画素データを、複数の混合画素データの生成に重複して使用する。具体的には、ある単位領域における混合では、下方向に隣接した単位領域と（第ｎ＋ｉ＋０行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋６列目）を重複して使用し、上方向に隣接した単位領域と（第ｎ＋ｉ＋４行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋６列目）を重複して使用し、右方向に隣接した単位領域と（第ｎ＋ｉ＋０行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋６列目）を重複して使用し、左方向に隣接した単位領域と（第ｎ＋ｉ＋０行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋２列目）を重複して使用し、左下方向に隣接した単位領域と（第ｎ＋ｉ＋０行目，第４ｐ＋２列目）を重複して使用し、左上方向に隣接した単位領域と（第ｎ＋ｉ＋４行目，第４ｐ＋２列目）を重複して使用し、右下方向に隣接した単位領域と（第ｎ＋ｉ＋０行目，第４ｐ＋６列目）を重複して使用し、右上方向に隣接した単位領域と（第ｎ＋ｉ＋４行目，第４ｐ＋６列目）を重複して使用している。
【００３７】
〈第４混合部４６４〉
第４混合部４６４は、複数の加算器４６ｃを備え、画素アレイ２１の２行×２列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４６ｃは、図６に示すように、フリップフロップ２７ａの４列置きに配置されている。図６では、２つの加算器４６ｃを図示しており、一方の加算器４６ｃは、フリップフロップ２７ａの第４ｐ＋１列に隣接して配置され、もう一方の加算器４６ｃは、第４ｐ＋５列に隣接して配置されている。そして、例えば、第４ｐ＋１列に隣接した加算器４６ｃは、（第ｎ＋ｉ＋１行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋１列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋３列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第４混合部４６４の各加算器４６ｃでは４画素分の画素データが加算される。そして、第４ｐ＋１列に隣接した加算器４６ｃは、この加算結果を、原画像データの（第ｎ＋ｉ＋２行目，第４ｐ＋２列目）の位置に対応した位置の混合画素データとして出力する。すなわち、各加算器４６ｃは、それぞれが対応した単位領域の中心位置に対応した位置の混合画素データを出力するのである。
【００３８】
以上のように、各混合部４６１，…４６４が画素データの混合を繰り返して混合画素データをそれぞれ生成すことで、これらの混合画素データで構成された減数画像データを生成することができる。図８、図９、図１０、及び図１１は、各混合部４６１，…４６４における単位領域を説明する図であり、これらの図では黒丸の位置の画素が混合に用いられることを示している。例えば、図８は、第２混合部４６２（加算器４６ａ）が画素データの混合を行う画素アレイ２１上の単位領域９０の形状を示している。なお、以下では説明の便宜上、画素アレイ２１の左端最上部の画素を基準画素と呼ぶ。
【００３９】
また、図９は、第１混合部４６１（加算器４６ｂ）が画素データの混合を行う単位領域９１の形状を示している。また、図１０は、第４混合部４６４（加算器４６ｃ）が画素データの混合を行う単位領域９２の形状を示している。図１１（Ａ）は、第３混合部４６３（加算器４６ｄ）が画素データの混合を行う単位領域９３の形状を示している。図１１（Ｂ）は、１つの単位領域９３を抜き出したものであり、この単位領域９３の所定の画素データを加算したものが、減数画像データの１画素に対応する。図１１（Ｂ）において、破線の円に含まれる黒丸部の画素が実際に画素混合に利用され、ハッチングを付した黒丸部の画素は、近傍の加算器４６ｄにおいて画素混合結果を算出するために重複して利用される画素を示している。
【００４０】
図１２は、第１混合部４６１，…第４混合部４６４によりそれぞれ画素混合に使用される画素２２の位置関係を示す図である。図１２は複雑に見えるが、図８、図９、図１０、及び図１１の全てが重なっているものに相当する。
【００４１】
-画素データ転送部４５-
画素データ転送部４５は、各混合部４６１，…４６４の出力（混合画素データ）、及びフリップフロップ２７ａの出力（画素データ）の何れかを選択し、選択したデータを１行分ずつイメージセンサ６０の外部に出力する。これにより、列制御部２７では、前記原画像データの出力と、前記減数画像データの出力の切り替えが可能になる。すなわち、高解像度、低感度かつ低速な撮影動作と、低解像度、高感度かつ高速な撮影動作とを切り替えることが可能になる。
【００４２】
このとき、画素データ転送部４５は、出力として混合画素データを選択した場合には、出力のゲイン補正を行う。ゲイン補正は、例えば次の式（１）に示すように、各混合部４６１，…４６４の混合する画素データ数に応じて行うのが好ましい。
【００４３】
ゲイン＝１／（Σ重み付け）…式（１）
なお、本実施形態では、（Σ重み付け）は減数画像データを生成するための画素混合対象の画素数を採用している。この式（１）によると、第１、第２、第４混合部４６４では、それぞれ４画素分の画素データが加算されるのでゲインは１／４となる。また、第３混合部４６３では９画素分の画素データが加算されるのでゲインは１／９となる。
【００４４】
-カラーフィルターアレイ７０-
カラーフィルターアレイ７０は、所定のカラーフィルタ７２が二次元状に配置された単位配列７１の繰り返しパターンで構成されている。また、本実施形態では、カラーフィルターアレイ７０を有機材料で構成している。
【００４５】
カラーフィルターアレイ７０のそれぞれのカラーフィルタ７２は、画素アレイ２１のそれぞれの画素２２に１対１に対応して配置され、対応した画素２２へ入射する光を濾光するようになっている。図１３は、実施形態１におけるカラーフィルタ７２の単位配列７１を示す図である。図１３中のＲ，Ｇ，Ｂは、それぞれのカラーフィルタ７２が濾光する色を示し、Ｒが赤、Ｇが緑、Ｂが青をそれぞれ示している。すなわち、この単位配列７１はいわゆる原色ベイヤ配列と呼ばれるカラーフィルタの配列で構成されている。そして、本実施形態では画素アレイ２１の基準画素（図８等を参照）の位置が赤のカラーフィルタ７２となるように、単位配列７１が配置されている。これにより、第２混合部４６２における混合対象が赤のカラーフィルタ７２に対応した画素２２の信号となる。
【００４６】
このカラーフィルターアレイ７０が設けられたことにより、イメージセンサ６０では、画素データを混合しない場合には、被写体からの入射光がそれぞれのカラーフィルタ７２によって濾光され、画素２２において光電変換された後、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画素データとして読み出されることになる。
【００４７】
また、画素データを混合する場合でも、被写体からの入射光がそれぞれのカラーフィルタ７２によって濾光され、画素２２において光電変換された後、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画素信号となり、画素混合された結果の混合画素データも、後述するようにＲ（赤）、Ｇ（緑）、Ｂ（青）になる。
【００４８】
《デジタルビデオカメラ１の動作》
以下、デジタルビデオカメラ１の動作について説明する。
【００４９】
〈動作の概要〉
デジタルビデオカメラ１により撮影を行うと、被写体からの光は、レンズ５１を通してイメージセンサ６０に入光し、イメージセンサ６０上の画素２２において光電変換される。そして、イメージセンサ６０は、光電変換した信号を撮像信号Ｓ１としてデジタル信号処理回路１０へ出力する。デジタル信号処理回路１０では、メモリコントローラ１１がＳＤＲＡＭ３０への撮像信号Ｓ１の書き込みや、ＳＤＲＡＭ３０からの読み出し行い、レベル検出部１２、ＹＣ処理部１３、圧縮処理部１４、デジタル信号処理部１５、記録媒体であるＳＤカード４０、表示媒体であるＬＣＤ４１に対して、信号の入出力が実現される。次に、イメージセンサ６０における画像データの出力について、原画像データを出力する場合と減数画像データを出力する場合とに分けて説明する。
【００５０】
〈原画像データを出力する場合〉
画素２２において所定の露光時間分の露光が完了すると、行制御部２３からｎ行目の画素２２に対して撮像信号の読み出しを行うための行選択信号が出力される。この行選択信号により、ｎ行目の画素２２に蓄積されている撮像信号が読み出されることが決定される。さらに、列制御部２７が列選択信号を出力することで、ｎ行目の画素２２の撮像信号（アナログ信号）が列信号処理部２５に出力される。
【００５１】
列信号処理部２５では、ｎ行目の画素２２から読み出されたアナログの撮像信号を、Ａ／Ｄ変換部３１がデジタル信号に変換し、そのデジタル信号をフリップフロップ３２がラッチする。フリップフロップ３２がラッチしているデジタル信号（画素データ）は列制御部２７へ出力される。列制御部２７に入力された撮像信号は、列制御部２７内のフリップフロップ２７ａでラッチされる。原画像データを出力する場合には、画素データ転送部４５は、フリップフロップ２７ａでラッチされている画素データを選択して出力する。
【００５２】
行制御部２３から行選択信号が出力されてから、デジタル化された撮像信号（画素データ）がフリップフロップ２７ａでラッチされるまでの上記の動作を、水平帰線期間毎にｎをインクリメントしながらに繰り返す。これにより、画素アレイ２１の各行の撮像信号が列制御部２７に読み出され、各行からの画素データ（撮像信号Ｓ１）がイメージセンサ６０から出力される。そして、垂直帰線期間毎にｎをリセットすることで、イメージセンサ６０からは原画像データが出力されたことになる。本実施形態のカラーフィルターアレイ７０の単位配列７１は、原色ベイヤ配列なので、原画像データは原色ベイヤ配列のデータである。
【００５３】
〈減数画像データを出力する場合〉
画素２２における露光完了からｎ行目の撮像信号（アナログ信号）がデジタル化されて列制御部２７に入力されるまでの動作は、原画像データを出力する場合と同様なので、以下差異についてのみ説明を行なう。
【００５４】
列信号処理部２５から出力された撮像信号が列制御部２７のフリップフロップ２７ａで保持されると、第１混合部４６１，…第４混合部４６４は、それぞれが接続されたフリップフロップ２７ａの信号を混合（加算）する。図１４は（Ａ）がイメージセンサ６０におけるカラーフィルターアレイ７０の色配置を示す図であり、（Ｂ）が（Ａ）に対応する減数画像データを示す図である。図１４の（Ａ）は、イメージセンサ６０（カラーフィルターアレイ７０）の一部分のみを図示しており、一部の画素２２については、他の画素２２と識別するために、符号に枝番を付してある。また、図１４の（Ｂ）は、減数画像データを示している。図１４の（Ｂ）に示す減数画像データは、白抜きで色名（Ｒなど）を表示した部分が、混合画素データが存在する位置を示している。
【００５５】
この例では画素２２-２（４箇所）は、加算器４６ａ（第２混合部４６２）によって加算され、画素２２-１（４箇所）は、加算器４６ｂ（第１混合部４６１）によって加算され、画素２２-４（４箇所）は、加算器４６ｃ（第４混合部４６４）によって加算される。また、画素２２−３（９箇所）は、加算器４６ｄ（第３混合部４６３）によって加算される。このように、本実施形態では、第１混合部４６１は、緑色のカラーフィルタに対応した画素の画素データを混合し、第２混合部４６２は、赤色のカラーフィルタに対応した画素の画素データを混合する。また、第３混合部４６３は、青色のカラーフィルタに対応した画素の画素データを混合する。
【００５６】
このとき、第１混合部４６１，…第４混合部４６４がそれぞれ出力する混合画素データは、図１４の右側に示した減数画像データ上のＰ１，…Ｐ４の位置の混合画素データとしてそれぞれ出力される。この図からわかるように、本実施形態で減数画像データを出力する場合には、垂直方向に１画素、水平方向に１画素それぞれ間引かれた状態である。すなわち、この減数画像データは図１４に示すように、原画像データの１／４の密度を有している。そして、この減数画像データは、垂直方向の混合画素データ同士は等間隔であり、水平方向の混合画素データ同士も等間隔になっている。また、垂直方向の間隔と垂直方向の間隔も等しくなっている。
【００５７】
また、減数画像データにおける色の配列は原色ベイヤ配列になっている。すなわち、この例では、減数画像データも、図１４に示すように、２×２の単位配列の繰り返しパターンで構成され、それぞれの単位配列では、同図における右上と左下の対角位置に、単位領域９１、単位領域９２に対応した混合画素データがそれぞれ生成されている。
【００５８】
《本実施形態における効果》
以上のように、本実施形態では、混合画素データの生成に所定の画素データを重複して使用するので、画素アレイ２１の画素数を増大させることなく、減数画像データを生成することが可能になる。そして、減数画像データでは垂直方向の混合画素データ同士は等間隔、水平方向の混合画素データ同士も等間隔、且つ垂直方向の間隔と垂直方向の間隔も等しくなっているので、画素混合後も所定の解像度を得ることが可能になる。しかも、減数画像データにおける色の配列が、原画像データと同じ単位配列７１の繰り返しパターンとなるので、画素混合後の解像度をより確実に確保することが可能になる。
【００５９】
また、全ての単位領域の形状が、対称性を有しているので、解像度の劣化をより効果的に防ぐことが可能になる。
【００６０】
また、本実施形態では、青（Ｂ）に関しては、加算器４６ｄ（第３混合部４６３）による画素混合が施されるので、他の色成分と比較して高周波成分が制限されて出力される。このように輝度信号に寄与率が小さく、他の色と比較して感度の低い青（Ｂ）の高周波成分が制限されることで、Ｓ／Ｎの向上が実現される。また、緑（Ｇ）は、加算器４６ｂ（第２混合部４６２）及び加算器４６ｃ（第４混合部４６４）による画素混合が施されるので、他の色成分と比較して高周波成分が保たれて出力されるようになる。このように、輝度信号に寄与率の大きい緑（Ｇ）の高周波成分が保持されることで、解像度の向上が実現される。また、列制御部２７（減数画像生成部）は、減数画像データの画素密度が垂直帰線期間毎に一定、かつ前記減数画像データの各画素位置が垂直帰線期間毎に一致するように、減数画像データを生成することになる。
【００６１】
《実施形態１の変形例》
〈１〉なお、カラーフィルターアレイ７０は、基準画素の位置に単位配列７１の青（Ｂ）が配置されるようにしてもよい。このようにすれば、赤成分を多く含む人間の顔等の解像度を意図的に下げることが可能になる。そして、期待されないディテールを再現しないようにでき、より好ましい撮像結果を得ることが可能になる。
【００６２】
〈２〉また、４種類の混合部における画素加算における重み付けは全て１として画素混合を実施したが、重み付けを１以外の値としても良い。
【００６３】
例えば、加算器４６ｄ（第３混合部４６３）においては、図１５（Ａ）に示されるような重み付けとなっているが、図１５の（Ｂ），（Ｃ），（Ｄ）に示すような重み付けとしても良い。例えば、図１５（Ｂ）の重み付けを採用した場合には、第３混合部４６３の単位領域において、水平方向と垂直方向の特性を近づけることが可能になり、折り返し等の画質劣化の要因を低減することが可能になる。なお、図１５の（Ｂ），（Ｃ），（Ｄ）のそれぞれの重み付けに対しては、加算器４６ｄのゲインはそれぞれ、１／１６、１／１２、１／１２であると好適である。
【００６４】
〈３〉また、出力のゲイン補正では、上記の式（１）に代えて、例えば次の式（２）から求めたゲインを採用してもよい。
【００６５】
ゲイン＝１／（２のベキ乗）…式（２）
〈４〉また、カラーフィルターアレイ７０は無機材料で構成してもよい。このようにすれば、カラーフィルターアレイ７０の生成工程を簡略化でき、さらに、カラーフィルターアレイ７０の耐環境性を向上することが可能になる。また、無機材料でカラーフィルターアレイ７０を構成した場合には、カラーフィルタの濾光特性を制御するために多層膜構造としてもよいし、単層膜構造であってもよい。多層膜構造では、カラーフィルタの濾光特性を向上させつつ、耐環境性を向上させることが可能になる。
【００６６】
〈５〉また、上記においては、イメージセンサ６０をＭＯＳイメージセンサとして説明したが、ＣＣＤイメージセンサであってもよいし、ＮＭＯＳイメージセンサであってもよい。
【００６７】
〈６〉また、上記においては、撮像システムの例としてデジタルビデオカメラを説明したが、デジタルスチルカメラにも適用できる。
【００６８】
〈７〉また、減数画像データは、原画像データの１／（２×ｎ）の密度（ただし、ｎは自然数）とすると好適である。このようにすれば、偶数画素単位での減数画像データを生成可能になる。
【００６９】
〈８〉また、減数画像データは、原画像データの１／（２×ｍ）２の密度（ただし、ｍは自然数）としてもよい。例えば、上記実施形態と同様の処理をさらに行って、原画像データの１／１６の密度減数画像データを生成するようにしてもよい。これには、例えば、それぞれの混合部４６１，…４６４をシリアルに配置すれば実現できる。そして、シリアルに配置した前段又は後段の一方のみを使用するモードと、２段とも使用するモードとを選択できるようにしておけば、減数画像データの画素密度が可変になる。
【００７０】
《発明の実施形態２》
次に実施形態２に係るデジタルビデオカメラについて説明する。実施形態２のデジタルビデオカメラは、カラーフィルターアレイ７０の構成が実施形態１のデジタルビデオカメラ１と相違している。
【００７１】
図１６は、実施形態２に係るカラーフィルターアレイ７０における単位配列８０を示す図である。単位配列８０は、２行×２列の補色カラーフィルタの配列からなる。補色カラーフィルタでは、感度、及び解像度で有利な撮像信号を得ることが可能になる。また、単位配列の大きさを２行×２列とすることで、カラーフィルタの周期を最小限にすることが可能になり、容易に画像処理を行うことが可能になる。
【００７２】
具体的に本実施形態のカラーフィルターアレイ７０は、この単位配列８０の繰り返しパターンで構成されている。同図において、Ｍｇ、Ｙｅ、Ｃｙ、Ｇは、それぞれのカラーフィルタ７２が濾光する色を示し、Ｍｇがマゼンタ、Ｙｅがイエロー、Ｃｙがシアン、Ｇがグリーン（緑）をそれぞれ示している。そして、本実施形態では、基準画素（図８等を参照）に単位配列８０のイエローが配置されている。
【００７３】
本実施形態においても被写体からの入射光がそれぞれのカラーフィルタによって濾光され、画素２２において光電変換された後、Ｍｇ（マゼンタ）、Ｇ（グリーン）、Ｙｅ（イエロー）、Ｃｙ（シアン）の撮像信号として各画素２２から出力される。そして、原画像データを読み出す場合には、それぞれの画素２２からの信号が混合されずに出力される。
【００７４】
一方、減数画像データを出力する場合には、基準画素に単位配列８０のイエローが配置されているので、各混合部４６１，…４６４で画素混合された結果の混合画素データは、Ｍｇ＋Ｇ（マゼンタ＋グリーン）、Ｙｅ（イエロー）、Ｃｙ（シアン）になる。マゼンタは（赤＋青）の成分で構成されているので、混合画素データ（Ｍｇ＋Ｇ）の色成分は、赤：緑：青＝１：１：１となり、概ね輝度信号の成分比と一致している。
【００７５】
《実施形態２の変形例》
〈１〉なお、カラーフィルターアレイ７０は、基準画素の位置に単位配列８０のシアン（Ｃｙ）が配置されるようにしてもよい。
【００７６】
〈２〉また、カラーフィルターアレイ７０は、基準画素の位置にマゼンタ（Ｍｇ）を配置したり、グリーン（Ｇ）を配置することも可能である。基準画素の位置にＭｇ、或いはＧを配置した場合には、各混合部４６１，…４６４による画素混合データは、Ｙｅ＋Ｃｙ（イエロー＋シアン）、Ｍｇ、Ｇとなる。Ｙｅ（イエロー）はＲ＋Ｇ、ＣｙはＢ＋Ｇの成分でそれぞれ構成されているので、Ｙｅ＋Ｃｙ（イエロー＋シアン）の色成分は、赤：緑：青＝１：２：１となり、概ね輝度信号の成分比と一致している。
【００７７】
〈３〉また、上記においては、画素混合の際の画素データの重み付けに関して限定をしていないが、例えば、照明光色温度を補正するためのゲインを各色成分に乗じる構成としてもよい。さらに、暗電流信号成分を推定する際の遮光領域での画素混合でも同様の処理を行うことが好ましい。
【００７８】
〈４〉また、カラーフィルタの単位配列は、例えば図１７（Ａ）〜図１７（Ｅ）に示す構成（単位配列８１，…８５）も可能である。特に、（Ｃ）の単位配列を採用した場合には、加算器４６ｂ（第１混合部４６１）、及び加算器４６ｃ（第４混合部４６４）でＹ（人間の輝度に対する分光特性（分光視感度効率、或いは標準比視感度とも呼ぶ）が高い色）を画素混合するような形態であると好ましい。ここで、人間の分光視感度効率（標準比視感度）は、等エネルギーの各波長の光を人間が見た場合に感じる強さの比率を意味しており、横軸を光の波長、縦軸を分光視感度効率としてグラフに表示すると、概ね５５０ｎｍの波長にピークを有する曲線となる。
【００７９】
また、単位配列を構成するカラーフィルタの種類は、上記に限定されるものではなく、原色、補色、無彩色、或いは人間の視感度特性に近い特性の色等を組み合わせたものであってもよい。原色のみ或いは補色のみのカラーフィルタと比較して、例えば、ホワイト、グレー、或いは人間の視感度特性に近い特性の色を含む場合には、感度及び解像度で有利な撮像信号を得ることが可能になる。
【００８０】
〈５〉また、上記においては、カラーフィルタの単位配列を２×２で構成したが、これ以外のｓ×ｔ（ｓ，ｔ：自然数）の単位配列であってもよい。
【００８１】
〈６〉また、上記においては、画素混合を行なうための加算器を各列に配置していたが、画素データ転送部４５の最終段に加算器を配置して回路の合理化を図ってもよい。
【００８２】
《発明の実施形態３》
次に実施形態３に係るデジタルビデオカメラについて説明する。実施形態３のデジタルビデオカメラは、列制御部２７の構成が実施形態１のデジタルビデオカメラ１と相違している。
【００８３】
具体的に本実施形態では、各混合部４６１，…４６４における混合対象の画素２２が、垂直帰線期間毎に変化する。より詳しくは、垂直帰線期間毎に、各混合部４６１，…４６４は、単位領域の位置として、初期の位置（実施形態１を参照）と、該初期の位置から右斜め下方向に２画素ずらした位置とを交互に選択する。図１８は、垂直帰線期間毎の単位領域の位置を示した図である。同図に示すように、この動作により、加算器４６ａ（第２混合部４６２）の単位領域は、図１８において白丸と破線部に示すように右斜め下方向に２画素ずれる。これにより、図１８において三角印で示した混合画素データ（Ａ）、（Ｂ）のように、加算器４６ａが出力する混合画素データの位置も右斜め下方向に２画素ずれることになる。
【００８４】
同様に、他の加算器（混合部）による画素混合の結果も右斜め下方向に２画素ずれることになる。その結果、垂直帰線期間毎に、減数画像データの各画素アドレスに、Ｇ（緑）とＧ（緑）、Ｒ（赤）とＢ（青）、Ｂ（青）とＲ（赤）が交互に生成されるようになり、Ｒ、Ｇ、及びＢがより密に配置される。すなわち、減数画像データ上の同一位置の画素データに対し垂直帰線期間毎に、異なる周波数特性、異なる色成分の混合画素データを対応させることが可能になる。それゆえ、少なくとも２垂直帰線期間のデータを利用すれば、解像度の向上、及び色信号の折り返しの低減を実現することが可能になる。
【００８５】
《実施形態３の変形例》
〈１〉なお、単位領域の位置変更の周期は、上記の例に限定されるものではない。また、単位領域の変更位置は２種類であったが、変更位置の種類はこれに限定されるものではない。
【００８６】
〈２〉また、単位領域の位置の変更方向は例示である。例えば、下方向２画素ずらした位置に変更してもよい。単位領域を下方向２画素ずらした位置に変更して、少なくとも２垂直帰線期間のデータを利用すると、Ｇ（緑）が減数画像データの全ての位置に生成される。これにより、解像度の向上を実現することが可能になる。また、単位領域を垂直帰線期間毎に、垂直方向、水平方向、及び斜め方向に２画素ずれた位置に変更して、少なくとも４垂直帰線期間のデータを利用すれば、減数画像データの全ての位置において、Ｒ（赤）、Ｇ（緑）、及びＢ（青）が生成される。これにより、解像度をより向上させ、色の折り返しをより軽減することが可能になる。また、擬似的な三板カメラの撮影を実現でき、より高精細な撮像データを得ることが可能になる。
【００８７】
また、例えば、垂直帰線期間毎に、基準画素の位置に赤（Ｒ）と青（Ｂ）が交互に入れ替わるように、基準画素の位置に適用される単位領域を変更してもよい。
【００８８】
《発明の実施形態４》
次に実施形態４に係るデジタルビデオカメラについて説明する。実施形態４のデジタルビデオカメラは、列制御部２７の構成が実施形態２のデジタルビデオカメラと相違している。
【００８９】
具体的に本実施形態では、各混合部４６１，…４６４における混合対象の画素２２が、垂直帰線期間毎に変化する。より詳しくは、垂直帰線期間毎に、各混合部４６１，…４６４は、単位領域の位置として、初期の位置（実施形態１を参照）と、該初期の位置から右斜め下方向に２画素ずらした位置とを交互に選択する。この動作により、加算器４６ａ（第２混合部４６２）の画素混合による減数画像データの画素位置は右斜め下方向に２画素ずれる。
【００９０】
同様に、他の加算器（混合部）による画素混合の結果も右斜め下方向に２画素ずれることになる。その結果、垂直帰線期間毎に、減数画像データの各画素アドレスに、Ｍｇ＋ＧとＭｇ＋Ｇ、ＹｅとＣｙ、ＣｙとＹｅがより密に配置される。そのため、少なくとも２垂直帰線期間のデータを利用すれば、解像度の向上、色信号の折り返しの低減を実現することが可能になる。
【００９１】
《実施形態４の変形例》
〈１〉なお、単位領域の位置変更の周期は、上記の例に限定されるものではない。さらに、単位領域の位置を２種類で変更していたが、変更の位置の種類はこれに限定されるものではない。
【００９２】
〈２〉また、単位領域の位置の変更方向は例示である。例えば、水平方向にずらしてもよい。
【００９３】
《発明の実施形態５》
次に実施形態５に係るデジタルビデオカメラについて説明する。実施形態５のデジタルビデオカメラは、単位領域の位置変更方向の量が実施形態４のデジタルビデオカメラと相違している。具体的に本実施形態では、垂直帰線期間毎に、各混合部４６１，…４６４は、単位領域の位置として、初期の位置（実施形態１を参照）と、該初期の位置から下方向に１画素ずらした位置とを交互に選択する。この動作により、加算器４６ａ（第２混合部４６２）の画素混合による減数画像データの画素位置は、図１９において白丸と破線部に示すように下方向に１画素ずれる。
【００９４】
同様に、他の加算器（混合部）による画素混合の結果も下方向に１画素ずれることになる。その結果、垂直帰線期間毎に、Ｍｇ＋Ｇ、Ｙｅ、Ｃｙの組み合わせによる減数画像データ、及びＹｅ＋Ｃｙ、Ｍｇ、Ｇの組み合わせによる減数画像データが、垂直方向に減数画素のハーフピッチ分ずれた位置に順次に出力される。これにより、複数の垂直帰線期間毎に得られる減数画像データを組み合わせて画像処理を行うことで、より高精細な撮像データを得ることが可能になる。また、インタレース撮影を実現することが可能になる。
【００９５】
《実施形態１から５に係るその他の実施形態》
なお、画素からの信号の混合は、上記のようにデジタルのデータによる混合には限定されない。例えば、画素からの信号を電荷、電圧、或いは電流として得て、それを加算や平均することで画素混合を実現してもよい。特に、全画素独立読み出し時のカラーフィルタの単位配列と減数画素データのカラーフィルタの単位配列が同一になる場合には、その他の既知の画素を混合する方式と組み合わせてもよい。
【００９６】
《発明の実施形態６》
本発明に係る撮像システムの実施形態６として、デジタルビデオカメラ２（電子ムービーカメラ）を説明する。本発明の実施形態６に係るデジタルビデオカメラ２は、図１に示したデジタルビデオカメラ１と同様の構成要素を有している。すなわちデジタルビデオカメラ２も、デジタル信号処理回路１０、ＣＰＵ２０、ＳＤＲＡＭ３０、ＳＤカード４０、ＬＣＤ４１、及び撮像モジュール５０を備えている。また、本実施形態の撮像モジュール５０もイメージセンサ６０（固体撮像装置）を有している。このイメージセンサ６０も実施形態１等の例と同様に、原画像出力モードと画素混合モードの２つの動作モードがある。デジタルビデオカメラ２は、画素混合モードでは、原画像データの１／（２ｎ×（２ｍ＋１））の密度（ただし、ｎ，ｍは自然数）の減数画像データを生成するようになっている。以下では、ｎ＝ｍ＝１の例、すなわち、原画像データの１／６の密度の減数画像データを生成する例を説明する。
【００９７】
デジタルビデオカメラ２では、撮像モジュール５０の構成、より詳しくは列制御部２７の構成がデジタルビデオカメラ１と異なっている。具体的に本実施形態の列制御部２７は、画素データ転送部４５の構成が実施形態１のものと異なっている。また、列制御部２７は、前記第１から第４混合部４６１，…４６４に代えて、第１混合部４７１、第２混合部４７２、第３混合部４７３、及び第４混合部４７４を備えている。図２０、図２１、図２２、及び図２３は、この列制御部２７を分割して図示したものであり、図２０は第１混合部４７１の構成、図２１は第２混合部４７２の構成、図２２は第３混合部４７３の構成、図２３は第４混合部４７４の構成をそれぞれ示すブロック図である。すなわち、これらの図は、図の可読性を向上させるためにそれぞれの混合部４７１，…，４７４の構成を別個の図に図示したものであり、実際の回路構成としては統合された態様である。なお、図２０等では、フリップフロップ２７ａは、図中においてＦＦと略記してあり、一部のフリップフロップ２７ａのみに符号を付してある。
【００９８】
-フリップフロップ２７ａ-
本実施形態では、フリップフロップ２７ａは、６行×Ｍ列の行列状に配置され、画素アレイ２１の５行分の撮像信号を保持するようになっている。図２０等では、第４ｐ列目から第４ｐ＋９列目までのフリップフロップ２７ａを図示してある。
【００９９】
列制御部２７に第ｎ行目の各画素２２に蓄積されている画素データが入力された後に、さらに第ｎ＋１行目の各画素２２に蓄積されている画素データが入力されることで、列制御部２７内のフリップフロップ２７ａには、第ｎ行目と第ｎ＋１行目の画素データがラッチされる。同様の動作が行われることで第ｎ＋ｉ行目（ｉ：０以上の整数）の画素データがラッチされる。このようにして、列制御部２７には、第ｎ＋ｉ行目、第ｎ＋ｉ＋１行目、第ｎ＋ｉ＋２行目、第ｎ＋ｉ＋３行目、第ｎ＋ｉ＋４行目、及び第ｎ＋ｉ＋５行目の画素データが保持されることになる。この列制御部２７は、これらのフリップフロップ２７ａから行単位で画素データを画素データ転送部４５に出力する。
【０１００】
-第１混合部４７１，…，第４混合部４７４-
第１混合部４７１，…，第４混合部４７４は、画素アレイ２１における所定の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。具体的には、各混合部は、それぞれ所定のフリップフロップ２７ａの出力を加算して画素データ転送部４５に出力するようになっている。以下、各混合部について説明する。
【０１０１】
〈第１混合部４７１〉
第１混合部４７１は、図２０に示すように、複数の加算器４７ａを備え、画素アレイ２１の５行×５列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４７ａは、図２０に示すように、フリップフロップ２７ａの４列置きに配置されている。図２０では、３つの加算器４７ａを図示しており、フリップフロップ２７ａの第４ｐ列（ｐは０以上の整数、以下同様）、第４ｐ＋４列、及び第４ｐ＋８列にそれぞれ隣接して配置されている。そして、例えば、第４ｐ＋４列に隣接した加算器４７ａは、（第ｎ＋ｉ＋１行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋５行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋１行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋５行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋１行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋６列目）、及び（第ｎ＋ｉ＋５行目，第４ｐ＋６列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算する。すなわち、第１混合部４７１の各加算器４７ａでは９画素分の画素データが加算される。そして、それぞれの加算器４７ａは、この加算結果を、減数画像データにおける第２ａ＋１行目（ただし、ａ：０以上の整数、以下同様）の混合画素データとして出力する。
【０１０２】
また、この第１混合部４７１では、各加算器４７ａにおいて、所定以上の範囲の画素２２の画素データを、複数の混合画素データの生成に重複して使用する。具体的には、ある単位領域における混合では、右方向に隣接した単位領域と（第ｎ＋ｉ＋５行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋６列目）、及び（第ｎ＋ｉ＋１行目，第４ｐ＋６列目）を重複して使用し、左方向に隣接した単位領域と（第ｎ＋ｉ＋５行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋２列目）、及び（第ｎ＋ｉ＋１行目，第４ｐ＋２列目）を重複して使用している。
【０１０３】
〈第２混合部４７２〉
第２混合部４７２は、図２１に示すように、複数の加算器４７ｂを備え、画素アレイ２１の５行×５列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４７ｂは、図２１に示すように、フリップフロップ２７ａの４列置きに配置されている。図２１では、３つの加算器４７ｂを図示しており、フリップフロップ２７ａの第４ｐ列、第４ｐ＋４列、及び第４Ｐ＋８列にそれぞれ隣接して配置されている。例えば、第４ｐ＋４列に隣接した加算器４７ｂは、（第ｎ＋ｉ＋０行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋４列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋６列目）、及び（第ｎ＋ｉ＋４行目，第４ｐ＋６列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算する。そして、それぞれの加算器４７ａは、この加算結果を、減数画像データにおける第２ａ行目の混合画素データとして出力する。
【０１０４】
また、第２混合部４７２では、各加算器４７ｂにおいて、所定以上の範囲の画素２２の画素データを、複数の混合画素データの生成に重複して使用する。具体的には、ある単位領域における混合では、右方向に隣接した単位領域と（第ｎ＋ｉ＋４行目，第４ｐ＋６列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋６列目）、及び（第ｎ＋ｉ＋０行目，第４ｐ＋６列目）を重複して使用し、左方向に隣接した単位領域と（第ｎ＋ｉ＋４行目，第４ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋２列目）、及び（第ｎ＋ｉ＋０行目，第４ｐ＋２列目）を重複して使用している。
【０１０５】
〈第３混合部４７３〉
第３混合部４７３は、複数の加算器４７ｃを備え、画素アレイ２１の５行×３列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４７ｃは、図２２に示すように、フリップフロップ２７ａの４列置きに配置されている。図２２では、３つの加算器４７ｃを図示しており、フリップフロップ２７ａの第４ｐ列、第４ｐ＋４列、及び第４Ｐ＋８列にそれぞれ隣接して配置されている。そして、例えば、第４ｐ＋４列に隣接した加算器４７ｃは、（第ｎ＋ｉ＋１行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋５行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋１行目，第４ｐ＋５列目）、（第ｎ＋ｉ＋３行目，第４ｐ＋５列目）、及び（第ｎ＋ｉ＋５行目，第４ｐ＋５列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第３混合部４７３の各加算器４７ｃでは６画素分の画素データが加算される。そして、それぞれの加算器４７ｃは、この加算結果を、減数画像データにおける第２ａ＋１行目の混合画素データとして出力する。
【０１０６】
〈第４混合部４７４〉
第４混合部４７４は、複数の加算器４７ｄを備え、画素アレイ２１の５行×３列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器４７ｄは、図２３に示すように、フリップフロップ２７ａの４列置きに配置されている。図２３では、３つの加算器４７ｄを図示しており、フリップフロップ２７ａの第４ｐ列、第４ｐ＋４列、及び第４Ｐ＋８列にそれぞれ隣接して配置されている。
【０１０７】
そして、例えば、第４ｐ＋４列に隣接した加算器４７ｄは、（第ｎ＋ｉ＋０行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋４行目，第４ｐ＋３列目）、（第ｎ＋ｉ＋０行目，第４ｐ＋５列目）、（第ｎ＋ｉ＋２行目，第４ｐ＋５列目）、及び（第ｎ＋ｉ＋４行目，第４ｐ＋５列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第４混合部４７４の各加算器４７ｃでは６画素分の画素データが加算される。そして、それぞれの加算器４７ｄ、この加算結果を、減数画像データにおける第２ａ行目の混合画素データとして出力する。
【０１０８】
以上のように、各混合部４７１，…，４７４が画素データの混合を繰り返して混合画素データをそれぞれ生成すことで、これらの混合画素データで構成された減数画像データを生成することができる。図２４、図２５、図２６、及び図２７は、各混合部４７１，…，４７４における単位領域を説明する図であり、これらの図では黒丸の位置の画素が混合に用いられることを示している。例えば、図２４（Ａ）は、第１混合部４７１（加算器４７ａ）が画素データの混合を行う画素アレイ２１上の単位領域９０の形状を示している。また、図２４の（Ｂ）は、１つの単位領域９０を抜き出したものであり、この単位領域９０の所定の画素データを加算したものが、減数画像データの１画素に対応する。図２４の（Ｂ）において、破線の円に含まれる黒丸部の画素が実際に画素混合に利用され、ハッチングを付した黒丸部の画素は、近傍の加算器４７ａにおいて画素混合結果を算出するために重複して利用される画素である。
【０１０９】
図２５の（Ａ）は、第２混合部４７２（加算器４７ｂ）が画素データの混合を行う単位領域９１の形状を示している。また、図２５の（Ｂ）は、１つの単位領域９１を抜き出したものであり、この単位領域９１の所定の画素データを加算したものが、減数画像データの１画素に対応する。図２５の（Ｂ）において、破線の円に含まれる黒丸部の画素が実際に画素混合に利用され、ハッチングを付した黒丸部の画素は、近傍の加算器４７ｂにおいて画素混合結果を算出するために重複して利用される画素を示している。
【０１１０】
また、図２６は、第３混合部４７３（加算器４７ｃ）が画素データの混合を行う単位領域９２の形状を示し、図２７は、第４混合部４７４（加算器４７ｄ）が画素データの混合を行う単位領域９３の形状を示している。
【０１１１】
図２８は、第１混合部４７１，…，第４混合部４７４によりそれぞれ画素混合に使用される画素２２の位置関係を示す図である。図２８は複雑に見えるが、図２４、図２５、図２６、及び図２７の全てが重なっているものに相当する。なお、以下では説明の便宜上、画素アレイ２１の左端最上部の画素を基準画素と呼ぶ。
【０１１２】
-画素データ転送部４５-
このデジタルビデオカメラ２でも、画素データ転送部４５は、各混合部４７１，…，４７４の出力（混合画素データ）、及びフリップフロップ２７ａの出力（画素データ）の何れかを選択し、選択したデータを１行分ずつイメージセンサ６０の外部に出力する。これにより、列制御部２７では、前記原画像データの出力と、前記減数画像データの出力の切り替えが可能になる。すなわち、高解像度、低感度かつ低速な撮影動作と、低解像度、高感度かつ高速な撮影動作とを切り替えることが可能になる。
【０１１３】
このとき、画素データ転送部４５は、出力として混合画素データを選択した場合には、出力のゲイン補正を行う。ゲイン補正は、例えば前記の式（１）に示すように、各混合部４７１，…，４７４が混合する画素データ数に応じて行うのが好ましい。
【０１１４】
なお、本実施形態では、（Σ重み付け）は減数画像データを生成するための画素混合対象の画素数を採用している。式（１）によると、第１混合部４７１及び第２混合部４７２では、それぞれ９画素分の画素データが加算されるのでゲインは１／９となる。また、第３混合部４７３及び第４混合部４７４では６画素分の画素データが加算されるのでゲインは１／６となる。
【０１１５】
-カラーフィルターアレイ７０-
カラーフィルターアレイ７０は、実施形態１と同じ色配列のカラーフィルターアレイである。すなわち、本実施形態でもカラーフィルターアレイ７０は、図２９に示したのと同じ、いわゆる原色ベイヤ配列と呼ばれる単位配列７１の繰り返しパターンで構成されている。
【０１１６】
そして、本実施形態では画素アレイ２１の基準画素（図２４等を参照）の位置が赤のカラーフィルタ７２となるように、単位配列７１が配置されている。これにより、第１混合部４７１における混合対象が赤のカラーフィルタ７２に対応した画素２２の信号となる。
【０１１７】
このカラーフィルターアレイ７０が設けられたことにより、イメージセンサ６０では、画素データを混合しない場合には、被写体からの入射光がそれぞれのカラーフィルタ７２によって濾光され、画素２２において光電変換された後、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画素データとして読み出されることになる。
【０１１８】
また、画素データを混合する場合でも、被写体からの入射光がそれぞれのカラーフィルタ７２によって濾光され、画素２２において光電変換された後、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画素信号となり、画素混合された結果の混合画素データも、後述するようにＲ（赤）、Ｇ（緑）、Ｂ（青）になる。
【０１１９】
《デジタルビデオカメラ２の動作》
デジタルビデオカメラ２においても、イメージセンサ６０が原画像データを出力する原画像出力モードでの動作はデジタルビデオカメラ１と同様であり、また、イメージセンサ６０から出力された撮像信号Ｓ１に対するデジタル信号処理回路１０の処理、ＳＤカード４０やＬＣＤ４１に対する信号の入出力等もデジタルビデオカメラ１と同様である。そこで、以下では、デジタルビデオカメラ２において減数画像データを出力する画素混合モードでの動作について説明する。
【０１２０】
画素混合モードでは、列信号処理部２５から出力された撮像信号が列制御部２７のフリップフロップ２７ａで保持されると、第１混合部４７１，…，第４混合部４７４は、それぞれが接続されたフリップフロップ２７ａの信号を混合（加算）する。図３０の（Ａ）はイメージセンサ６０におけるカラーフィルターアレイ７０の色配置を示す図であり、図３０の（Ｂ）は、図３０の（Ａ）に対応する減数画像データを示す図である。図３０の（Ａ）では、イメージセンサ６０（カラーフィルターアレイ７０）の一部分のみを図示しており、一部の画素２２については、他の画素２２と識別するために、丸、三角、逆三角、もしくは二重丸で色名（Ｒなど）を囲んで表示している。以下の説明では、丸で囲んだ画素を画素２２-１とし、以下同様に、三角、逆三角、二重丸で囲んだ画素を、それぞれ画素２２-２、３、４とする。また、図３０の（Ｂ）では、５行分の減数画像データを示している。図３０の（Ｂ）に示す減数画像データは、白抜きで色名（Ｒなど）を表示した部分が、混合画素データが存在する位置を示している。
【０１２１】
この例では画素２２-１（９箇所）は、加算器４７ａ（第１混合部４７１）によって加算され、画素２２-２（９箇所）は、加算器４７ｂ（第２混合部４７２）によって加算される。また、画素２２-３（６箇所）は、加算器４７ｃ（第３混合部４７３）によって加算され、画素２２−４（６箇所）は、加算器４７ｄ（第４混合部４７４）によって加算される。このようにして、本実施形態では、加算器４７ａ（第１混合部４７１）は、赤色のカラーフィルタに対応した画素の画素データを混合し、加算器４７ｄ（第４混合部４７４）は、青色のカラーフィルタに対応した画素の画素データを混合する。また、加算器４７ｂ（第２混合部４７２）、及び加算器４７ｃ（第３混合部４７３）は、それぞれ、緑色のカラーフィルタに対応した画素の画素データを混合する。
【０１２２】
このとき、第１混合部４７１，…，第４混合部４７４がそれぞれ出力する混合画素データは、図３０の（Ｂ）に示した減数画像データのＰ１，…，Ｐ４の位置の混合画素データとしてそれぞれ出力される。この図からわかるように、本実施形態で減数画像データを出力する場合には、垂直方向に２画素、水平方向に１画素それぞれ間引かれた状態である。すなわち、この減数画像データは、図３０に示すように、原画像データの１／６の密度を有している。この減数画像データは、垂直方向の混合画素データ同士は等間隔であり、水平方向の混合画素データ同士も等間隔になっている。しかしながら、垂直方向の間隔と垂直方向の間隔は等しくない。また、減数画像データは、図３０の（Ｂ）に示すように、２×２の単位配列の繰り返しパターンで構成されている。より詳しくは、減数画像データにおける色の配列は原色ベイヤ配列になっている。
【０１２３】
《本実施形態における効果》
以上のように、本実施形態では、第１、第２混合部４７１，４７２のそれぞれにおいて、混合画素データの生成に所定の画素データを重複して使用するので、イメージセンサ６０の画素数を増大させることなく、減数画像データを生成することが可能になる。そして、減数画像データでは垂直方向の混合画素データ同士は等間隔、且つ水平方向の混合画素データ同士も等間隔になっているので、画素混合後も所定の解像度を得ることが可能になる。しかも、減数画像データにおける色の配列が、原画像データと同じ単位配列７１の繰り返しパターンとなるので、画素混合後の解像度をより確実に確保することが可能になる。
【０１２４】
また、本実施形態では、カラーフィルターアレイ７０が原色フィルタで構成されているので、色信号のＳ／Ｎの向上を図ることが可能になる。
【０１２５】
また、原画像データにおける色の配列と減数画像データにおける色の配列は同じなので、デジタル信号処理回路１０における画像処理のセクションを原画像データと減数画像データで共用することが可能になり、画像処理に関する開発コストを低減することが可能になる。
【０１２６】
また、本実施形態では、赤（Ｒ）が加算器４７ａ（第１混合部４７１）により画素混合され、青（Ｂ）に関しては、加算器４７ｄ（第４混合部４７４）による画素混合が施される。すなわち、この例では、赤（Ｒ）と青（Ｂ）とは何れも、垂直方向は３画素分が混合されるので、これらの色の垂直方向の解像度は同じである。一方、水平方向では、赤（Ｒ）は３画素分が混合され、青（Ｂ）は２画素分が混合される。そのため、水平方向の解像度は、赤（Ｒ）よりも青（Ｂ）の方が大きくなる。そのため、たとえば赤成分を多く含む人の肌等を撮影する場合に、ディテールを意図的に落とした撮影結果を得ることが可能になる。
【０１２７】
また、緑（Ｇ）は、加算器４７ｂ（第２混合部４７２）及び加算器４７ｃ（第３混合部４７３）による画素混合が施されるので、他の色成分と比較して高周波成分が保たれて出力されるようになる。このように、輝度信号に寄与率の大きい緑（Ｇ）の高周波成分が保持されることで、解像度の向上が実現される。また、減数画像生成部は、減数画像データの画素密度が垂直帰線期間毎に一定、かつ前記減数画像データの各画素位置が垂直帰線期間毎に一致するように、減数画像データを生成することになる。
【０１２８】
《実施形態６の変形例》
〈１〉なお、カラーフィルターアレイ７０は、基準画素の位置に単位配列７１の青（Ｂ）或いは緑（Ｇ）が配置されるようにしてもよい。このようにすれば、青成分の解像度を意図的に下げることが可能になる。例えば、空が広範に写る画像を撮影した場合などに、その空の部分ノイズを低減して画質を向上させることが可能になる。
【０１２９】
〈２〉また、４種類の混合部における画素加算における重み付けは、全て１として画素混合を実施したが、重み付けを１以外の値としてもよい。例えば、加算器４７ａ、加算器４７ｂにおいては、図３１（Ａ）に示されるような重み付けとなっているが、図３１の（Ｂ），（Ｃ），（Ｄ）に示すような重み付けとしてもよい。それぞれの場合における、加算器４７ａ及び加算器４７ｂのゲインは、１／１６、１／１２、１／１２であると好適である。
【０１３０】
〈３〉また、例えば、加算器４７ｃ、加算器４７ｄにおいては、図３２の（Ａ），（Ｂ）に示すような重み付けとしてもよい。それぞれの場合における加算器４７ｃ及び加算器４７ｄのゲインは、１／８であると好適である。例えば、図３２（Ｂ）に示す重み付けを採用した場合には、水平方向と垂直方向の特性を近づけることが可能になり、折り返し等の画質劣化の要因を低減することが可能になる。
【０１３１】
〈４〉また、出力のゲイン補正では、上記の式（１）に代えて、例えば次の式（２）から求めたゲインを採用してもよい。
【０１３２】
ゲイン＝１／（２のベキ乗）…式（２）
〈５〉また、カラーフィルターアレイ７０は無機材料で構成してもよい。このようにすれば、カラーフィルターアレイ７０の製造工程を簡略化でき、さらに、カラーフィルターアレイ７０の耐環境性を向上することが可能になる。また、無機材料でカラーフィルターアレイ７０を構成した場合には、カラーフィルタの濾光特性を制御するために多層膜構造としてもよいし、単層膜構造であってもよい。多層膜構造では、カラーフィルタの濾光特性を向上させつつ、耐環境性を向上させることが可能になる。また、単層膜構造では、カラーフィルタ生成工程をより簡略化でき、さらに、カラーフィルタの耐環境性を向上させることが可能になる。
【０１３３】
〈６〉また、減数画像データの密度は例示である。例えば、減数画像データは、原画像データの１／（２ｎ×（２ｍ＋１））の密度（ただし、ｎ，ｍは自然数）としてもよい。これには、例えば、それぞれの混合部４７１，…，４７４をシリアルに配置すれば実現できる。そして、シリアルに配置した前段又は後段の一方のみを使用するモードと、２段とも使用するモードとを選択できるようにしておけば、減数画像データの画素密度が可変になる。このようにすれば、感度と解像度の優先度に応じた減数画像データを得ることが可能になる。
【０１３４】
《発明の実施形態７》
次に実施形態７に係るデジタルビデオカメラについて説明する。実施形態７のデジタルビデオカメラは、カラーフィルターアレイ７０の構成が実施形態６のデジタルビデオカメラ２と相違している。
【０１３５】
図３３は、実施形態７に係るカラーフィルターアレイ７０における単位配列８０を示す図である。単位配列８０は、２行×２列の補色カラーフィルタの配列からなる。補色カラーフィルタでは、感度、及び解像度で有利な撮像信号を得ることが可能になる。また、単位配列の大きさを２行×２列とすることで、カラーフィルタの周期を最小限にすることが可能になり、容易に画像処理を行うことが可能になる。
【０１３６】
具体的に本実施形態のカラーフィルターアレイ７０は、この単位配列８０の繰り返しパターンで構成されている。同図において、Ｍｇ、Ｙｅ、Ｃｙ、Ｇは、それぞれのカラーフィルタ７２が濾光する色を示し、Ｍｇがマゼンタ、Ｙｅがイエロー、Ｃｙがシアン、Ｇがグリーン（緑）をそれぞれ示している。そして、本実施形態では、基準画素（図２４等を参照）に単位配列８０のイエローが配置されている。
【０１３７】
本実施形態においても被写体からの入射光がそれぞれのカラーフィルタによって濾光され、画素２２において光電変換された後、Ｍｇ（マゼンタ）、Ｇ（グリーン）、Ｙｅ（イエロー）、Ｃｙ（シアン）の撮像信号として各画素２２から出力される。そして、原画像データを読み出す場合には、それぞれの画素２２からの信号が混合されずに出力される。
【０１３８】
また、減数画像データを出力する場合にも、Ｍｇ（マゼンタ）、Ｇ（グリーン）、Ｙｅ（イエロー）、Ｃｙ（シアン）になる。
【０１３９】
〈１〉なお、カラーフィルターアレイ７０は、基準画素の位置に単位配列８０のＹｅ（イエロー）以外の色が配置されるようにしてもよい。
【０１４０】
〈２〉また、上記においては、画素混合の際の画素データの重み付けに関して限定をしていないが、例えば、照明光色温度を補正するためのゲインを各色成分に乗じる構成としてもよい。さらに、暗電流信号成分を推定する際の遮光領域での画素混合でも同様の処理を行うことが好ましい。
【０１４１】
〈３〉また、カラーフィルタの単位配列は、例えば図３４（Ａ）〜図３４（Ｃ）に示す構成（単位配列８１，８２，８３）も可能である。
【０１４２】
特に、図３４（Ｃ）の単位配列を採用した場合には、加算器４７ｂ（第２混合部４７２）、及び加算器４７ｃ（第３混合部４７３）でＹ（人間の輝度に対する分光特性（分光視感度効率、或いは標準比視感度とも呼ぶ）が高い色）を画素混合するような形態であると好ましい。ここで、人間の分光視感度効率（標準比視感度）は、等エネルギーの各波長の光を人間が見た場合に感じる強さの比率を意味しており、横軸を光の波長、縦軸を分光視感度効率としてグラフに表示すると、概ね５５０ｎｍの波長にピークを有する曲線となる。
【０１４３】
また、単位配列を構成するカラーフィルタの種類は、上記に限定されるものではなく、原色、補色、無彩色、或いは人間の視感度特性に近い特性の色等を組み合わせたものであってもよい。原色のみ或いは補色のみのカラーフィルタと比較して、例えば、ホワイト、グレー、或いは人間の視感度特性に近い特性の色を含む場合には、感度及び解像度で有利な撮像信号を得ることが可能になる。
【０１４４】
〈４〉また、上記においては、カラーフィルタの単位配列を２×２で構成したが、これ以外のｓ×ｔ（ｓ，ｔ：自然数）の単位配列であってもよい。
【０１４５】
〈５〉また、上記においては、画素混合を行なうための加算器を各列に配置していたが、画素データ転送部４５の最終段に加算器を配置して回路の合理化を図ってもよい。
【０１４６】
《発明の実施形態８》
次に実施形態８に係るデジタルビデオカメラについて説明する。実施形態８のデジタルビデオカメラは、列制御部２７の構成が実施形態６のデジタルビデオカメラ２と相違している。
【０１４７】
具体的に本実施形態では、各混合部４７１，…，４７４における混合対象の画素２２が、垂直帰線期間毎に変化する。より詳しくは、垂直帰線期間毎に、各混合部４７１，…，４７４は、単位領域の位置として、初期の位置（実施形態６を参照）と、該初期の位置から右方向に２画素ずらした位置とを交互に選択する。図３５は、第３混合部４７３の単位領域の垂直帰線期間毎の位置を示した図である。同図に示すように、この動作により、第３混合部４７３（加算器４７ｃ）の単位領域は、図３５において白丸と破線部で示すように右方向に２画素ずれる。これにより、図３５において三角印で示した混合画素データ（Ａ）、（Ｂ）のように、加算器４７ｃが出力する混合画素データの位置も右方向に２画素ずれることになる。
【０１４８】
同様に、他の加算器（混合部）による画素混合の結果も右方向に２画素ずれることになる。その結果、垂直帰線期間毎に、減数画像データの各画素アドレスに、Ｇ（緑）とＲ（赤）、Ｇ（緑）とＢ（青）が交互に生成されるようになり、Ｒ、Ｇ、及びＢがより密に配置される。すなわち、同一の位置において、異なる周波数特性、異なる色成分の減数画像データを得ることが可能になる。また、少なくとも２垂直帰線期間のデータを利用すれば、解像度の向上、及び色信号の折り返しの低減を実現することが可能になる。
【０１４９】
《実施形態８の変形例》
〈１〉なお、単位領域の位置変更の周期は、上記の例に限定されるものではない。また、単位領域の変更位置は２種類であったが、変更位置の種類はこれに限定されるものではない。
【０１５０】
〈２〉また、上記の例では、垂直帰線期間毎に単位領域の位置を右方向に２画素ずらしていたが、他の位置に変更してもよい。他の位置に単位領域の位置をずらして画素混合動作を行い、少なくとも２垂直帰線期間のデータを利用することで、Ｒ、Ｇ、Ｂの画素情報を密に利用することが可能になるなり、解像度の向上を実現することが可能になる。
【０１５１】
〈３〉また、単位領域の形状を９０度回転させたものを組み合わせてもよい。特に、単位領域の形状を９０度回転させて、単位領域を垂直方向に１画素ずらした減数画像データを生成すれば、いわゆるインタレース形式の撮影が可能になる。
【０１５２】
《実施形態６から８に係るその他の実施形態》
〈１〉また、上記の各例においては、イメージセンサ６０をＭＯＳイメージセンサとして説明したが、ＣＣＤイメージセンサであってもよいし、ＮＭＯＳイメージセンサであってもよい。
【０１５３】
〈２〉また、上記の各例においては、撮像システムの例としてデジタルビデオカメラを説明したが、デジタルスチルカメラにも適用できる。
【０１５４】
〈３〉また、イメージセンサ６０に配置されているカラーフィルタ７２の単位配列は、例えば上下左右反転させたものであってもよいし、色成分の入れ替えを行ってもよい。
【０１５５】
〈４〉また、上記の各例では、画素信号の混合をデジタル信号によって行っていたが、アナログ信号、或いは電荷の形態で加算を行ってもよい。これには、例えば、画素信号の混合、或いは平均を行うためのコンデンサをイメージセンサ６０上に配置してもよいし、水平転送ＣＣＤや垂直転送ＣＣＤ等において画素信号の混合、或いは平均を行ってもよい。
【０１５６】
〈５〉また、レベル検出部１２から得られる被写体の明るさを基準として、画素混合を行う画素数の切り替えを行ってもよい。
【０１５７】
〈６〉また、上記の例では画素混合が撮像素子（イメージセンサ６０）上で行われているが、画素混合の一部、或いは全てを撮像素子の外部で行ってもよい。
【０１５８】
《発明の実施形態９》
次に本発明の実施形態９に係るデジタルビデオカメラについて説明する。本実施形態のイメージセンサ６０も実施形態１等の例と同様に、原画像出力モードと画素混合モードの２つの動作モードがある。本実施形態のデジタルビデオカメラは、画素混合モードでは原画像データの１／（２ｊ）２の密度、又は１／（２ｋ＋１）２の密度（ただし、ｊ，ｋは自然数）の減数画像データを選択的に生成するようになっている。以下では、ｊ＝ｋ＝１の例、すなわち、原画像データの１／４の密度、１／９の減数画像データを生成する例を説明する。
【０１５９】
具体的に実施形態９のデジタルビデオカメラは、列制御部２７の構成が実施形態１のデジタルビデオカメラ１と相違している。具体的に本実施形態の列制御部２７は、画素データ転送部４５の構成が実施形態１のものと異なっている。そして、本実施形態の列制御部２７は、実施形態１の第１から第４混合部４６１，…４６４を備えつつ、これらの混合部とは異なる単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する第５、第６混合部６０１，６０２を備えている（図３６，３７を参照）。第５混合部６０１，第６混合部６０２は、画素アレイ２１における所定の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データをそれぞれ出力する。具体的には、第５、第６混合部６０１，６０２は、それぞれ所定のフリップフロップ２７ａの出力を加算して画素データ転送部４５に出力するようになっている。以下、第５、第６混合部６０１，６０２について説明する。
【０１６０】
〈第５混合部６０１〉
図３６は、第５混合部６０１の構成を示すブロック図である。第５混合部６０１は、図３６に示すように、複数の加算器６０１ａを備え、画素アレイ２１の６行×６列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器６０１ａは、図３６に示すように、フリップフロップ２７ａの６列置きに配置されている。図３６では、２つの加算器６０１ａを図示しており、一方の加算器６０１ａは、フリップフロップ２７ａの第６ｐ＋１列に隣接して配置され、もう一方の加算器６０１ａは、第６ｐ＋７列に隣接して配置されている。例えば、第６ｐ＋１列に隣接した加算器６０１ａは、（第ｎ＋ｉ＋０行目，第６ｐ＋０列目）、（第ｎ＋ｉ＋２行目，第６ｐ＋０列目）、（第ｎ＋ｉ＋４行目，第６ｐ＋０列目）、（第ｎ＋ｉ＋０行目，第６ｐ＋２列目）、（第ｎ＋ｉ＋２行目，第６ｐ＋２列目）、（第ｎ＋ｉ＋４行目，第６ｐ＋２列目）、（第ｎ＋ｉ＋０行目，第６ｐ＋４列目）、（第ｎ＋ｉ＋２行目，第６ｐ＋４列目）、（第ｎ＋ｉ＋４行目，第６ｐ＋４列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第５混合部６０１の各加算器６０１ａでは９画素分の画素データが加算される。そして、第６ｐ＋１列に隣接した加算器６０１ａは、この加算結果を、原画像データの（第ｎ＋ｉ＋２行目，第６ｐ＋２列目）の位置に対応した位置の混合画素データとして出力する。すなわち、各加算器６０１ａは、それぞれが対応した単位領域の中心位置に対応した位置の混合画素データを出力するのである。このように中心位置の混合画素データを出力した後は、第５混合部６０１は、フリップフロップ２７ａのデータがイメージセンサ６０から読み出された画素データにより５行分更新された時点で同様に混合画素データを生成する。
【０１６１】
〈第６混合部６０２〉
図３７は、第６混合部６０２の構成を示すブロック図である。第６混合部６０２は、図３７に示すように、複数の加算器６０２ａを備え、画素アレイ２１の６行×６列の単位領域ごとに、該単位領域の所定の画素２２から得た画素データを混合して混合画素データを出力する。各加算器６０２ａは、図３７に示すように、フリップフロップ２７ａの６列置きに配置されている。図３７では、１つの加算器６０２ａを図示しており、加算器６０２ａは、フリップフロップ２７ａの第６ｐ＋４列に隣接して配置されている。例えば、第６ｐ＋４列に隣接した加算器６０２ａは、（第ｎ＋ｉ＋０行目，第６ｐ＋３列目）、（第ｎ＋ｉ＋２行目，第６ｐ＋３列目）、（第ｎ＋ｉ＋４行目，第６ｐ＋３列目）、（第ｎ＋ｉ＋０行目，第６ｐ＋５列目）、（第ｎ＋ｉ＋２行目，第６ｐ＋５列目）、（第ｎ＋ｉ＋４行目，第６ｐ＋５列目）、（第ｎ＋ｉ＋０行目，第６ｐ＋７列目）、（第ｎ＋ｉ＋２行目，第６ｐ＋７列目）、（第ｎ＋ｉ＋４行目，第６ｐ＋７列目）のフリップフロップ２７ａにそれぞれ保持されている画素データを加算した混合画素データを出力する。すなわち、第６混合部６０２の各加算器６０２ａでは９画素分の画素データが加算される。そして、第６ｐ＋４列に隣接した加算器６０２ａは、この加算結果を、原画像データの（第ｎ＋ｉ＋２行目，第６ｐ＋５列目）の位置に対応した位置の混合画素データとして出力する。すなわち、各加算器６０２ａは、それぞれが対応した単位領域の中心位置に対応した位置の混合画素データを出力するのである。このように中心位置の混合画素データを出力した後は、第６混合部６０２は、フリップフロップ２７ａのデータがイメージセンサ６０から読み出された画素データにより５行分更新された時点で同様に混合画素データを生成する。
【０１６２】
以上のように、第５、第６混合部６０１，６０２が画素データの混合を繰り返して混合画素データをそれぞれ生成すことで、これらの混合画素データで構成された減数画像データを生成することができる。図３８、図３９は、第５、第６混合部６０１，６０２における単位領域を説明する図であり、これらの図では黒丸の位置の画素が混合に用いられることを示している。例えば、図３８は、第５混合部６０１（加算器６０１ａ）が画素データの混合を行う画素アレイ２１上の単位領域６０３の形状を示している。同様に、図３９は、第６混合部６０２（加算器６０２ａ）が画素データの混合を行う単位領域６０４の形状を示している。なお、以下では説明の便宜上、画素アレイ２１の左端最上部の画素を基準画素と呼ぶ。
【０１６３】
〈画素データ転送部４５〉
画素データ転送部４５は、第１から第４混合部４６１，…４６４による混合画素データ、第５、第６混合部６０１，６０２による混合画素データ、及び原画像データ（フリップフロップ２７ａの出力）の何れかを選択し、選択したデータを１行分ずつイメージセンサ６０の外部に出力する。
【０１６４】
この構成により、列制御部２７では、原画像データ、第１から第４混合部４６１，…４６４により生成された減数画像データ、及び第５、第６混合部６０１，６０２により生成された減数画像データの何れを出力するかの切り替えが可能になる。すなわち、中庸な解像度、中庸な速度の撮影動作と、高解像度、低感度かつ低速な撮影動作と、低解像度、高感度かつ高速な撮影動作とを切り替えることが可能になる。
【０１６５】
このとき、画素データ転送部４５は、出力として混合画素データを選択した場合には、出力のゲイン補正を行う。ゲイン補正は、例えば上記の式（１）に示すように、各混合部で混合する画素データ数に応じて行うのが好ましい。具体的に本実施形態では、（Σ重み付け）は減数画像データを生成するための画素混合対象の画素数を採用している。この式（１）によると、第１、第２、第４混合部４６１，４６２，４６４では、それぞれ４画素分の画素データが加算されるのでゲインは１／４となる。また、第３混合部４６３では９画素分の画素データが加算されるのでゲインは１／９となる。また、第５、第６混合部６０１，６０２では、それぞれ９画素分の画素データが加算されるのでゲインは１／９となる。
【０１６６】
《本実施形態に係るデジタルビデオカメラの動作》
原画像データを出力する場合の動作や、第１から第４混合部４６１，…４６４により生成された減数画像データを出力する場合の動作は実施形態１のデジタルビデオカメラ１と同様である。そこで、以下では、第５、第６混合部６０１，６０２により生成された減数画像データを出力する場合についてのみ説明する。
【０１６７】
各画素２２における露光完了からｎ行目の撮像信号（アナログ信号）がデジタル化されて列制御部２７に入力されるまでの動作は、原画像データを出力する場合と同様である。この撮像信号が列制御部２７に入力されて、フリップフロップ２７ａで保持されると、第５、第６混合部６０１，６０２は、それぞれが接続されたフリップフロップ２７ａの信号を混合（加算）する。
【０１６８】
図４０（Ａ）はイメージセンサ６０におけるカラーフィルターアレイ７０の色配置を示す図であり、図４０（Ｂ）は図４０（Ａ）に対応する減数画像データを示す図である。図４０（Ａ）は、イメージセンサ６０（カラーフィルターアレイ７０）の一部分のみを図示しており、一部の画素２２については、他の画素２２と識別するために、符号に枝番を付してある。また、図４０（Ｂ）に示す減数画像データは、白抜きで色名（Ｒなど）を表示した部分が、混合画素データが存在する位置を示している。この例では、画素２２-３１（９箇所）と画素２２-３２（９箇所）は、加算器６０１ａによって加算され、画素２２-３３（９箇所）と画素２２-３４（９箇所）は、加算器６０２ａによって加算される。このように、本実施形態では、第５混合部６０１は、赤色と緑色のカラーフィルタに対応した画素の画素データを混合し、第６混合部６０２は、緑色と青色のカラーフィルタに対応した画素の画素データを混合する。
【０１６９】
このとき、第５、第６混合部６０１，６０２がそれぞれ出力する混合画素データは、図４０（Ｂ）に示した減数画像データ上のＰＰ１，…ＰＰ４の位置の混合画素データとしてそれぞれ出力される。この図からわかるように、本実施形態で減数画像データを出力する場合には、垂直方向に２画素、水平方向に２画素それぞれ間引かれた状態で出力される。すなわち、この減数画像データは図４０に示すように、原画像データの１／９の密度を有している。そして、それぞれの混合画素データの、減数画像データにおける位置が等間隔になっている。また、減数画像データにおける色の配列は原色ベイヤ配列になっている。すなわち、この例では、減数画像データも、図４０（Ｂ）に示すように、２×２の単位配列の繰り返しパターンで構成される。
【０１７０】
《本実施形態における効果》
以上のように、本実施形態では、画素密度が原画像に対して１／（２ｊ）２、（ただしｊは自然数）となる減数画像生成においては、画素２２の画素データを、複数の混合画素データの生成に重複して使用する。これにより、本実施形態のデジタルビデオカメラでも、実施形態１のデジタルビデオカメラ１で得られる効果を得ることが可能になる。
【０１７１】
しかも、上記のように種々の密度の減数画像データを生成することができるので、種々の撮像条件に対して、感度重視、動解像度重視、静止解像度重視等の最適な撮影方法を提供することが可能になる。
【０１７２】
《実施形態９の変形例》
〈１〉なお、カラーフィルターアレイ７０は、基準画素の位置に単位配列７１の青（Ｂ）が配置されるようにしてもよい。このようにすれば、赤成分を多く含む人間の顔等の解像度を意図的に下げることが可能になる。そして、期待されないディテールを再現しないようにでき、より好ましい撮像結果を得ることが可能になる。
【０１７３】
〈２〉また、各混合部における画素加算における重み付けは全て１として画素混合を実施したが、重み付けを１以外の値としてもよい。例えば、加算器４６ｄ（第３混合部４６３）においては、図１５の（Ａ）に示されるような重み付けとなっているが、図１５の（Ｂ），（Ｃ），（Ｄ）に示すような重み付けとしてもよい。例えば、図１５（Ｂ）の重み付けを採用した場合には、第３混合部４６３の単位領域において、水平方向と垂直方向の特性を近づけることが可能になり、折り返し等の画質劣化の要因を低減することが可能になる。なお、図１５の（Ｂ），（Ｃ），（Ｄ）のそれぞれの重み付けに対しては、加算器４６ｄのゲインはそれぞれ、１／１６、１／１２、１／１２であると好適である。
【０１７４】
〈３〉また、出力のゲイン補正では、上記の式（１）に代えて、例えば上記の式（２）から求めたゲインを採用してもよい。
【０１７５】
〈４〉また、カラーフィルターアレイ７０は無機材料で構成してもよい。このようにすれば、カラーフィルターアレイ７０の生成工程を簡略化でき、さらに、カラーフィルターアレイ７０の耐環境性を向上することが可能になる。また、無機材料でカラーフィルターアレイ７０を構成した場合には、カラーフィルタの濾光特性を制御するために多層膜構造としてもよいし、単層膜構造であってもよい。多層膜構造では、カラーフィルタの濾光特性を向上させつつ、耐環境性を向上させることが可能になる。
【０１７６】
〈５〉また、上記においては、イメージセンサ６０をＭＯＳイメージセンサとして説明したが、ＣＣＤイメージセンサであってもよいし、ＮＭＯＳイメージセンサであってもよい。
【０１７７】
〈６〉また、上記においては、撮像システムの例としてデジタルビデオカメラを説明したが、デジタルスチルカメラにも適用できる。
【０１７８】
〈７〉また、上記においては、カラーフィルターアレイ７０は原色の成分により構成されるものとして説明したが、補色成分で構成してもよいし、グレーを含むものであってもよいし、人間の分光視感度効率（標準比視感度）に近い特性を含むものであってもよい。さらに、原色、補色、グレー、人間の分光視感度効率（標準比視感度）に近い特性が混在するものであってもよい。
【０１７９】
〈８〉また、上記においては、カラーフィルタの単位配列を２×２で構成したが、これ以外のｓ×ｔ（ｓ，ｔ：自然数）の単位配列であってもよい。
【０１８０】
〈９〉また、上記においては、画素混合を行なうための加算器を各列に配置していたが、画素データ転送部４５の最終段に加算器を配置して回路の合理化を図ってもよい。
【０１８１】
《発明の実施形態１０》
次に本発明の実施形態１０に係るデジタルビデオカメラについて説明する。実施形態１０のデジタルビデオカメラは、列制御部２７の構成が実施形態９のデジタルビデオカメラと相違している。図４１は、本実施形態の列制御部２７の構成例を示すブロック図であり、同図に示すように、列制御部２７は、第１混合部群Ｇ１，第２混合部群Ｇ２、３つのセレクタ７０１，…，７０３を備えている。第１混合部群Ｇ１は、第１から第４混合部４６１，…４６４で構成され、第２混合部群Ｇ２は、第５、第６混合部６０１，６０２で構成されている。すなわち、第１混合部群Ｇ１は、画素密度が画素アレイ２１の１／（２×２）の減数画像データを生成し、第２混合部群Ｇ２は、画素密度が画素アレイ２１の１／（３×３）の減数画像データを生成する。なお、図４１では、第１及び第２混合部群Ｇ１，Ｇ２の混合動作を示すため、それぞれの混合部群は「２×２ｍｉｘ」、「３×３ｍｉｘ」と表示してある。
【０１８２】
セレクタ７０２とセレクタ７０３は、列信号処理部２５の出力、第１混合部群Ｇ１の出力、第２混合部群Ｇ２の出力がそれぞれ入力されている。そして、セレクタ７０２は、動作設定指示部（図示は省略）の指示に応じて、これらの入力を選択して第１混合部群Ｇ１（第１から第４混合部４６１，…４６４）に出力する。同様に、セレクタ７０３は、前記動作設定指示部の指示に応じて、これらの入力を選択して第２混合部群Ｇ２（第５、第６混合部６０１，６０２）に出力する。また、セレクタ７０１は、列信号処理部２５の出力、第１から第６混合部４６１，…，６０２の出力がそれぞれ入力され、前記動作設定指示部の指示に応じて、これらの入力を選択して画素データ転送部４５へ出力する。
【０１８３】
《本実施形態に係るデジタルビデオカメラの動作》
実施形態９でも説明したように、第１から第６混合部４６１，…，６０２による混合画素データは、減数画像データにおける位置が等間隔で、且つカラーフィルターアレイ７０の単位配列を保持している。そのため、第１から第６混合部４６１，…，６０２の各出力も、イメージセンサ６０の信号（列信号処理部２５の出力）と同様に扱うことができる。以下では、原画像出力モード、種々の密度による画素混合モードについてデジタルビデオカメラの動作を説明する。
【０１８４】
〈原画像出力モードの動作〉
イメージセンサ６０から画素データが読み出されるまでの動作は、実施形態９と差異は無い。読み出された画素データを混合しないで出力する場合、すなわち、原画像出力モードでは、セレクタ７０１で列信号処理部２５からの出力を選択し、画素データ転送部４５へ出力する。これにより、原画像データを出力することができる。
【０１８５】
〈画素密度を１／４にする場合〉
画素データを混合して画素密度を１／４にする場合には、セレクタ７０２で列信号処理部２５からの出力を選択する。そして、セレクタ７０１では、第１混合部群Ｇ１（第１から第４混合部４６１，…４６４）からの出力を選択して画素データ転送部４５へ出力する。
【０１８６】
〈画素密度を１／９にする場合〉
画素データを混合して画素密度を１／９にする場合は、セレクタ７０３で列信号処理部２５からの出力を選択する。そして、セレクタ７０１では、第２混合部群Ｇ２（第５、第６混合部６０１，６０２）からの出力を選択して画素データ転送部４５へ出力する。
【０１８７】
〈画素密度を１／１６にする場合〉
画素データを混合して画素密度を１／１６にする場合は、セレクタ７０２で列信号処理部２５の出力を選択し、第１混合部群Ｇ１によって、画素密度が１／４の減数画像データを生成する。その後、セレクタ７０２において第１混合部群Ｇ１の出力を選択する。選択した第１混合部群Ｇ１の出力は、画素密度が１／４の減数画像データであり、この減数画像データを再び第１混合部群Ｇ１に入力して画素データの混合動作を行なうことで、さらに画素密度が１／４となる。すなわち、第１混合部群Ｇ１は、画素密度が１／１６の減数画像データを出力する。そして、セレクタ７０１で第１混合部群Ｇ１の出力を選択すれば、画素データ転送部４５には、画素密度が１／１６の画素データが出力される。
【０１８８】
〈画素密度を１／８１にする場合〉
画素密度を１／８１にする場合は、セレクタ７０３で列信号処理部２５の出力を選択し、第２混合部群Ｇ２（第５、第６混合部６０１，６０２）によって、画素密度が１／９の減数画像データを生成する。その後、セレクタ７０３において第２混合部群Ｇ２の出力を選択する。選択した第２混合部群Ｇ２の出力は、画素密度が１／９の減数画像データであり、この減数画像データを再び第２混合部群Ｇ２に入力して画素データの混合動作を行なうことで、さらに画素密度が１／９となる。すなわち、第２混合部群Ｇ２は、画素密度が１／８１の減数画像データを出力する。そして、セレクタ７０１で第２混合部群Ｇ２の出力を選択すれば、画素データ転送部４５には、画素密度が１／８１の画素データが出力される。
【０１８９】
〈画素密度を１／３６にする場合（１）〉
画素密度を１／３６にするには、セレクタ７０２で列信号処理部２５の出力を選択し、第１混合部群Ｇ１によって、画素密度が１／４の減数画像データを生成する。その後、セレクタ７０３において第１混合部群Ｇ１の出力を選択する。選択した第１混合部群Ｇ１の出力は、画素密度が１／４の減数画像データであり、この減数画像データを第２混合部群Ｇ２に入力して画素データの混合動作を行なうことで、さらに画素密度が１／９となる。すなわち、第２混合部群Ｇ２は、画素密度が１／３６の減数画像データを出力する。そして、セレクタ７０１で第２混合部群Ｇ２の出力を選択すれば、画素データ転送部４５には、画素密度が１／３６の画素データが出力される。
【０１９０】
〈画素密度を１／３６にする場合（２）〉
次の動作でも、画素密度が１／３６の減数画像データを得ることができる。すなわち、セレクタ７０３では列信号処理部２５の出力を選択し、第２混合部群Ｇ２によって、画素密度が１／９の減数画像データを生成する。その後、セレクタ７０２において、第２混合部群Ｇ２の出力を選択する。選択した第２混合部群Ｇ２の出力は、画素密度が１／９の減数画像データであり、この減数画像データを第１混合部群Ｇ１に入力して画素データの混合動作を行なうことで、さらに画素密度が１／４となる。すなわち、第１混合部群Ｇ１は、画素密度が１／３６の減数画像データを出力する。そして、セレクタ７０１で第１混合部群Ｇ１の出力を選択すれば、画素データ転送部４５には、画素密度が１／３６の画素データが出力される。
【０１９１】
《本実施形態における効果》
以上のように、本実施形態では、画素密度が原画像に対して１／（２ｊ）２、（ただしｊは自然数）となる減数画像生成においては、画素２２の画素データを、複数の混合画素データの生成に重複して使用する。これにより、本実施形態のデジタルビデオカメラは、実施形態１のデジタルビデオカメラ１で得られる効果を得ることができる。
【０１９２】
しかも、上記のように、種々の密度の減数画像データを生成することができるので、種々の撮像条件に対して、感度重視、動解像度重視、静止解像度重視等の最適な撮影方法を提供することが可能になる。
【０１９３】
《実施形態１０の変形例》
〈１〉上記においては、減数画像の画素密度の一例を示したに過ぎず、これらを組み合わせて減数画像の画素密度を１／（（４ｐ）（９ｑ））（ｐ、ｑ：自然数）としてもよい。
【０１９４】
〈２〉また、上記においては、減数画像を生成する際に使用する混合部の順番の一例を示したに過ぎず、第１から第６混合部４６１，…，６０２の使用の順番が如何なる順番であってもよい。特に、第１から第４混合部４６１，…４６４のグループ（G1）、第５、第６混合部６０１，６０２のグループ（G2）の両グループを少なくとも一回ずつ使用する場合には、第５、第６混合部６０１，６０２を先に使用することで、一回の画素信号の混合動作により生成される減数画像データの画素数の減少数を大きくすることができるので、画素データの混合動作における消費電力の低減を期待できる。
【０１９５】
〈３〉さらに、第１から第４混合部４６１，…４６４のグループ（G1）、第５、第６混合部６０１，６０２のグループ（G2）の両方を少なくとも一回ずつ使用する場合に、第１から第４混合部４６１，…４６４のグループ（G1）を先に使用することで、解像度の劣化を低減することが可能になる。
【０１９６】
〈４〉また、画素データを混合する処理動作中に少しでも高解像度の画像データが必要になる場合は、セレクタ７０２，７０３を、処理中のデータのうち解像度の高い画像データが読み出されるように切り換えるとよい。
【０１９７】
〈５〉また、減数画像データの画素密度の大小に応じて、イメージセンサ６０から読み出す間隔（フレームレート）を変更するようにしてもよい。
【０１９８】
《発明の実施形態１１》
次に本発明の実施形態１１に係るデジタルビデオカメラについて説明する。実施形態１１のデジタルビデオカメラは、列制御部２７の構成が実施形態９のデジタルビデオカメラと相違している。本実施形態の列制御部２７は、密度が原画像データの１／（素数２）の減数画像データをそれぞれ生成する混合部群を備えている。図４２は、本実施形態に係る列制御部２７の構成例を示すブロック図である。同図に示すように、この列制御部２７は、第１から第Ｎまでの混合部群Ｇ１，…，Ｇｎ、各混合部群Ｇ１，…，Ｇｎに対応したＮ個のセレクタ７５０−１，…，７５０−ｎ、及びセレクタ７５１を備えている。なお、図４２では、各混合部群の混合動作を示すため、それぞれの混合群は、「２×２ｍｉｘ」、「３×３ｍｉｘ」「５×５ｍｉｘ」等と表示してある。
【０１９９】
第１及び第２混合部群Ｇ１，Ｇ２は、実施形態１０のものと同じ構成である。既述の通り、第１混合部群Ｇ１は密度が１／（２×２）の減数画像データを生成する混合部群であり、１／（素数２）の減数画像データを生成する混合部群の１つである。また、第２混合部群Ｇ２は、密度が１／（３×３）の減数画像データを生成する混合部群であり、１／（素数２）の減数画像データを生成する混合部群の一例である。
【０２００】
また、第３から第Ｎ混合部群Ｇ３，…，Ｇｎも、それぞれ複数の混合部を備えている。これらの混合部群Ｇ３，…，Ｇｎのうち、例えば、混合部群Ｇ３は、密度が原画像データの１／（５×５）の減数画像データを生成する。なお、２以外の素数について、密度が原画像データの１／（素数２）となるような画素混合方法については、例えば特許文献１に示されている方法で単位領域を設定することで実現することが可能である。
【０２０１】
セレクタ７５０−１，…，７５０−ｎは、対応した混合部群Ｇ１，…，Ｇｎの出力と列信号処理部２５の出力とが入力され、これらの入力の何れか一つを選択して対応した混合部群Ｇ１，…，Ｇｎに出力するようになっている。また、セレクタ７５１は、Ｎ個の混合部群Ｇ１，…，Ｇｎ、及び列信号処理部２５の出力の何れか一つを選択して画素データ転送部４５に出力するようになっている。
【０２０２】
本実施形態では、上記の各混合部群Ｇ１，…，ＧｎをＮ個のセレクタ７５０−１，…，７５０−ｎ、及びセレクタ７５１で適宜組み合わせることで種々の密度の減数画像データを生成することができる。例えば、密度が原画像データの１／（奇数２）（ただし、この奇数は素数ではない）となるような混合方法については、例えば特許文献１に示されている方法から単位領域を設定し、実施形態９、１０に示した画素データの混合方法を拡張することで実現することができる。また、一般的に、減数画像データの画素密度が１／（偶数２）となるような一般的な画素混合方法は、実施形態９、１０に示した混合方法を複数組み合わせることで実現することができる。
【０２０３】
《本実施形態における効果》
以上の構成により、本実施形態では、画素密度が原画像データの１／（２ｊ＋１）２となる減数画像データの生成においては、画素２２の画素データを重複して混合画素データの生成に使用しないが、画素密度が原画像データの１／（２ｊ）２（ｊ：自然数）となる減数画像データの生成においては、画素２２の画素データを重複して混合画素データの生成に使用する。これにより、画素アレイ２１の画素数を増大させることなく、混合画素データの減数画像データにおける位置を等間隔にできる。すなわち、本実施形態によれば、イメージセンサ６０の画素数を増大させることなく、減数画像データにおいて所定の解像度を得ることが可能になる。また、減数画像データにおける色の配列をカラーフィルターアレイ７０（単位配列７１）における色の配列と同じにできる。
【０２０４】
しかも、本実施形態では、全ての単位領域の形状が、対称性を有しているので、解像度の劣化をより効果的に防ぐことが可能になる。
【０２０５】
また、さらに、減数画像の画素密度を段階的に詳細に設定することができる。これにより、種々の撮像条件に対して、感度重視、動解像度重視、静止解像度重視等の最適な撮影方法を提供することが可能になる。
【０２０６】
《実施形態１１の変形例》
なお、上記実施形態１１においては、減数画像の画素密度の一例を示したに過ぎず、実際に使用するアプリケーションに応じて混合部の個数を設定してもよい。
【０２０７】
《発明の実施形態１２》
次に実施形態１２に係るデジタルビデオカメラについて説明する。実施形態１２のデジタルビデオカメラは、列制御部２７の構成、より詳しくは混合部群Ｇ１，…，Ｇｎの構成が実施形態１１のデジタルビデオカメラと相違している。図４３は、本実施形態に係る列制御部２７の構成例を示すブロック図である。本実施形態の各混合部群Ｇ１，…，Ｇｎで生成する減数画像データは、密度が原画像データの１／（整数２）である。
【０２０８】
これらの混合部群Ｇ１，…，Ｇｎのなかには、画素密度が１／（素数２）の減数画像データを生成する混合部群を設けている。これは、生成する画素密度が１／（素数２）の減数画像データは、実施形態１０に示したように混合部群を組み合わせる方法で実現できないからである。
【０２０９】
生成する減数画像データの画素密度が、１／（ｐ２），（ｐ＝非素数）であり、所定の混合部群の画素密度がその画素密度の因数となるような場合、すなわち、所定の混合部群を組み合わせて得られる場合であっても、その画素密度の減数画像データを生成する混合部群を設けている場合がある。本実施形態では、画素密度が１／（４×４）の減数画像データを生成する混合部群Ｇ３がこれに該当する。この混合部群Ｇ３では、画素密度が１／（２×２）の減数画像データを生成する混合部群Ｇ１を２回実施した際に画素混合に使用される領域を前記単位領域として設定している。
【０２１０】
そして、本実施形態では、各混合部群Ｇ１，…，Ｇｎを組み合わせることで、これらの混合部群Ｇ１，…，Ｇｎの何れかの画素密度を因数とする画素密度の減数画像データを生成することができる。具体的には、特許文献１に示されている方法と実施形態９、１０に示した画素信号の混合方法を組み合わせて減数画像データの生成を実現することができる。
【０２１１】
なお、複数の混合部群を組み合わせる際には、各画素の重み付けを変更してもよいし、単位領域の大きさを変えるようにしてもよい。単位領域の大きさを変えるようにする場合は、ある混合部群における画素混合時に、隣接する単位領域と全ての混合画素が重複する画素を有する形状になっていてもよい。
【０２１２】
《本実施形態における効果》
以上のように、本実施形態では、画素密度が原画像データの１／（２ｊ＋１）２となる減数画像データの生成において、画素２２の画素データを重複して混合画素データの生成に使用しないが、画素密度が原画像データの１／（２ｊ）２（ｊ：自然数）となる減数画像データの生成において、画素２２の画素データを重複して混合画素データの生成に使用する。これにより、画素アレイ２１の画素数を増大させることなく、混合画素データの減数画像データにおける位置を等間隔にできる。すなわち、本実施形態によれば、イメージセンサ６０の画素数を増大させることなく、減数画像データにおいて所定の解像度を得ることが可能になる。しかも、本実施形態では、減数画像データにおける色の配列をカラーフィルターアレイ７０（単位配列７１）における色の配列と同じにできる。
【０２１３】
しかも、全ての単位領域の形状が、対称性を有しているので、解像度の劣化をより効果的に防ぐことが可能になる。
【０２１４】
また、さらに、減数画像の画素密度を段階的に詳細に設定することができる。これにより、種々の撮像条件に対して、感度重視、動解像度重視、静止解像度重視等の最適な撮影方法を提供することが可能になる。
【０２１５】
特に、本実施形態では、減数画像データの画素密度が原画像データの１／（非素数２）となる場合には、実施形態１０や実施形態１１に示したような複数の混合部を組み合わせて出力する方法と比べて、混合時の画素の重み付けをより詳細に設定できるようになり、画質の向上を実現できる。
【０２１６】
《実施形態１２の変形例》
なお、上記実施形態１２においては、減数画像の画素密度の一例を示したに過ぎず、実際に使用するアプリケーションに応じて混合部の個数を設定してもよい。
【０２１７】
《発明の実施形態１３》
次に実施形態１３に係るデジタルビデオカメラについて説明する。実施形態１３のデジタルビデオカメラは、実施形態１０と比べ、ＹＣ処理部１３の構成が相違している。
【０２１８】
まず、このデジタルビデオカメラでは、イメージセンサ６０において、減数画像データの画素密度が１／４になる画素混合動作と、減数画像データの画素密度が１／３６になる画素混合動作を行い、異なる画素密度を有する２フレーム分の撮像データを生成する。この動作により、図４４に示される減数画像データが得られる。なお、減数画像データの画素密度を１／４、１／３６にする方法は、実施形態１０に示した構成で実現できる。図４４に示した減数画像データは、白抜きで色名（Ｒなど）を表示した部分は、画素密度が１／４になった混合画素データが存在する位置を示している。一方で、丸で囲まれ色名（Ｒなど）を表示した部分は、画素密度が１／３６になった混合画素データが存在する位置を示している。各丸印から派生している実線、点線等は、各丸印の画素位置に混合後の画素データを生成するために使用した画素データを示している。
【０２１９】
図４４に示したように、減数画像データの画素密度が１／３６となっているフレームの画素データと、減数画像データの画素密度が１／４となっているフレームの画素データとは、カラーフィルタ７２の位相が一致している。また、減数画像の画素密度が１／３６となっているフレームの画素データのカラーフィルタ７２の各色成分と減数画像の画素密度が１／４となっているフレームの画素データのカラーフィルタ７２の色成分が一致している。そこで、本実施形態では、ＹＣ処理部１３において、カラーフィルタ７２の位相が一致していることを利用して、Ｒａｗデータの状態で加算し、その加算結果を通常データとして処理をする。
【０２２０】
《本実施形態における効果》
上記ようにすることで、減数画像データは、その画素密度が大きいほど、感度が低く、解像度が高くなっている。また、減数画像データの画素密度が小さいほど、感度が高く、解像度が低いという性質を有している。そのため、本実施形態では、ある被写体において光量の十分あるところと不足している部分において、それぞれの撮像信号を組み合わせて使用することで、回路規模の増大を図ることなく、ダイナミックレンジを容易に拡大することが可能になる。
【０２２１】
《実施形態１３の変形例》
〈１〉上記においては、減数画像の画素密度の一例を示したに過ぎず、実際に使用するアプリケーションに応じて混合部の減数画像の画素密度を変更してもよい。
【０２２２】
〈２〉上記においては、２以上のフレームを使用してもよいし、２以上の減数画像の画素密度を使用してもよい。また、使用するフレームの数と使用する減数画像の画素密度の種類の数が異なっていてもよい。
【０２２３】
〈３〉ＹＣ処理部１３においては、加算する前にＯＢデータ（暗電流成分）のクランプや照明光色温度の補正、イメージセンサ６０の画素２２のキズを補正してもよい。
【０２２４】
〈４〉上記においては、各フレームを撮影する際に、各フレームで露光時間に差を設けてもよい。この場合は、ＹＣ処理部１３において単純にＲａｗデータを加算するのではなく、各フレームの露光時間比に基づいて重み付けの加算を行ってもよい。さらに、各フレームの光量不足による黒つぶれ、各フレームの光量オーバーによる白とび等を検出して、各フレームデータを撮像信号の領域毎に選択的に使用してもよい。
【０２２５】
〈５〉夜間時のフラッシュを利用した撮影においては、フラッシュの届く距離は減数画像データの画素密度が大きいフレームデータから生成し、フラッシュの届かない距離は減数画像データの画素密度が小さいフレームデータから生成するようにすると好適である。
【０２２６】
〈６〉本実施形態においては、全フレーム間で各減数画像データにおいてカラーフィルタ７２の位相が一致するようにしたが、全てのフレームにおいて一致する必要は無く、少なくとも２つのフレーム間で一致しすればよい。
【０２２７】
〈７〉また、本実施形態においては、全てのカラーフィルタ７２の色成分に対して同様の操作を行うとしたが、色成分毎に異なる操作をしてもよい。例えば、全てのカラーフィルタ７２の色成分が各フレーム間で一致していない場合でも、一致している色成分のみに対して本実施形態の操作を行う方式であってもよい。
【０２２８】
《発明の実施形態１４》
次に実施形態１４に係るデジタルビデオカメラについて説明する。実施形態１４のデジタルビデオカメラは、実施形態１０と比べ、のＹＣ処理部１３の構成が相違している。
【０２２９】
まず、このデジタルビデオカメラでは、イメージセンサ６０において、減数画像データの画素密度が１／４になる画素混合動作と、減数画像データの画素密度が１／３６になる画素混合動作を行い、異なる画素密度を有する２フレーム分の撮像データを生成する。
【０２３０】
そして、ＹＣ処理部１３は、連続する各フレーム間に、時間方向に対して強い相関があることを利用して、減数画像データの画素密度が１／３６のフレームの画像データを、減数画像データの画素密度が１／４になるように補間動作を行う。具体的には、ある時間Ｔの撮像データと、その前の時間（Ｔ−１）とその後の時間（Ｔ＋１）の撮像データでは概ね同様の撮像データとなることを利用する。ここでは、減数画像データの画素密度の大きいフレームの時間Ｔの撮像データと、減数画像データの画素密度の小さいフレームの時間（Ｔ＋１）の撮像データを用いて具体例を説明する。
【０２３１】
このデジタルビデオカメラでは、まず、時間Ｔのフレームデータを、時間（Ｔ＋１）と同じ減数画像データの画素密度になるように縮小ズームを行ない時間ＴのフレームデータＴ’を生成する。
【０２３２】
そして、フレームデータＴ’と時間（Ｔ＋１）の撮像データの部分領域毎の動きを検出する。検出する方法は、Ｈ．２６４等で用いられている方式を使用する。この操作により、フレームデータＴ’と時間（Ｔ＋１）の撮像データの部分領域ごとの動きが検出されるので、時間Ｔの撮像データを検出結果に合わせて移動させる。この操作により生じている空白領域は、フレームデータＴ’と時間（Ｔ＋１）の撮像データにおいて差分が大きいことから、動きが大きいと判断され、高解像度化を行わないで時間（Ｔ＋１）の撮像データの拡大ズームしたデータで補間する。また、Ｔ’と時間（Ｔ＋１）の撮像データにおいて差分が中庸である部分は、周囲の動き検出結果の平均値分だけ時間Ｔの撮像データを移動したものと時間（Ｔ＋１）の撮像データの拡大ズームしたデータの重み付け加算をしたデータで補完する。
【０２３３】
以上の操作により、減数画像データの画素密度が小さいフレームの撮像データの解像度を補償することが可能になる。なお、説明の簡単化のために時間軸で一方向の補間を行ったが、双方向で行ってもよい。
【０２３４】
《本実施形態における効果》
以上のように、本実施形態では、互いに画素密度が異なるフレームデータ同士を組み合わせることで、画素密度の小さい方のフレームデータの解像度を画素密度が大きい方のフレームデータの解像度に一致させている。それゆえ、イメージセンサ６０からのデータの読み出し量を削減することが可能になり、消費電力の削減を実現することが可能になる。
【０２３５】
《実施形態１４の変形例》
〈１〉上記においては、減数画像データの画素密度の一例を示したに過ぎず、実際に使用するアプリケーションに応じて混合部の減数画像の画素密度を変更してもよい。
【０２３６】
〈２〉また、上記においては、減数画像データの画素密度の大きい方に解像度の補間を行ったが、これに限らず、被写体の光量が十分でない場合は、減数画像の画素密度の小さいほうに解像度を合わせるような補間を行ってもよい。また、減数画像の画素密度が小くても被写体の光量が不足しているような場合は、さらに画素密度の小さい方に解像度の補間を行ってもよい。
【０２３７】
〈３〉また、画素密度の大きい方の減数画像データではなく、二つの減数画像データの中間の画素密度、或いは二つの減数画像データの画素密度を上限と下限にした画素密度になるようにしてもよい。
【０２３８】
〈４〉また、減数画像データの画素密度の大小と撮影時間の関係を定めていないが、どちらが先であってもよい。
【０２３９】
〈５〉上記においては、ＹＣ処理部１３において２フレーム分のデータを使用したが、２以上のフレームを使用してもよいし、２以上の減数画像の画素密度を使用してもよい。また、使用するフレームの数と、使用する減数画像データの画素密度の種類の数が異なっていてもよい。
【０２４０】
〈６〉上記においては、最終的に生成される画像データを減数画像データの画素密度の大きい方としたが、複数のフレームの撮影結果の画素位置が各フレームにおける画素を相互に補う画素位置になるような場合は、減数画像の画素密度の大きいものより大きくしてもよい。
【０２４１】
〈７〉上記においては、イメージセンサ６０から読み出されるフレーム数分だけ補間したフレームを生成するとしたが、イメージセンサ６０から読み出されるフレーム数と補完した結果のフレーム数が異なっていてもよい。
【０２４２】
〈８〉上記においては、イメージセンサ６０から読み出される減数画像データの画素密度の周期について言及していないが、上記の説明に限らず、例えば、被写体の動きが検出されないような場合は、減数画像データの画素密度が小さいものが長期間出力され、動きを検出している場合は、その期間が短縮される方式であってもよい。
【０２４３】
《発明の実施形態１５》
次に実施形態１５に係るデジタルビデオカメラについて説明する。実施形態１５のデジタルビデオカメラは、実施形態１１と比べ、デジタル信号処理部１５が相違している。
【０２４４】
まず、このデジタルビデオカメラでは、イメージセンサ６０において、画素混合動作により、少なくとも２フレーム分以上の減数画像データを撮影する。その際に、各減数画像データの画素密度が互いに異なるように混合する。画素データの混合動作により、画素位置が変動することは、実施形態３や実施形態４に示した通りである。また、各減数画像データの画素位置が互いに重ならない画素密度としては、１／（２２）と１／（４２）等の組み合わせがあり、それぞれの減数画像データの画素位置において、一部が重なり一部が重ならないようになる。
【０２４５】
一方、通常の画像処理におけるズーム処理では、整数画素位置（元の画素位置と重心が完全に一致する画素）以外にも小数画素位置（元の画素位置と重心が完全に一致しない画素）に対して新しい画素を生成する必要がある。この場合は、近隣の複数の画素データに対して適当な重み付けを行いフィルタリング処理することで新たな画素を生成している。その際に、画素データを混合していない信号が元の画素であるならば、原理上全ての混合後の画素を生成することが可能である。しかし、動画撮影のように高速読み出しが必要なモードにおいては、全ての画素データを混合せずに読み出すことが難しいため、本実施形態のように画素データが混合されて読み出されている。このような場合は、画素データが混合され、リサンプリングされているために、本来の被写体の映像情報から情報が失われており、そのような画素を利用して拡大や縮小のズームを行うことは解像度劣化等の画質の劣化につながる。そこで、本実施形態のデジタル信号処理部１５は、複数フレームの減数画像データをズームの際のフィルタリングに使用される小数画素位置の画素データとして使用する。
【０２４６】
《本実施形態における効果》
以上のように、本実施形態では、互いに異なる画素密度の複数のフレームデータを組み合わせて、拡大や縮小ズームを行う際に使用される画素情報として使用しているので、解像度の劣化の低減を図ることが可能になる。
【０２４７】
《実施形態１５の変形例》
〈１〉上記においては、減数画像データの画素密度が互いに異なる例を説明したが、画素密度が同一で、生成される画素位置が互いに異なるフレームを組み合わせるようにしてもよい。
【０２４８】
〈２〉上記においては拡大や縮小ズームの例を説明したが、得られた減数画像データの画素密度の最も大きいものよりも解像度があがる処理を行うようにしてもよい。このような場合は、例えば、減数画像データの画素密度が１／４となるようにして、画素位置を元の画像データの画素位置から垂直、水平、斜め方向に各１画素ずつずれた位置に生成した４フレーム分の減数画像データを得ると好適である。
【０２４９】
《発明の実施形態１６》
〈概要〉
本発明の実施形態１６に係るデジタルビデオカメラは、図１に示したデジタルビデオカメラ１と同様の構成要素を有している。すなわち、このデジタルビデオカメラも、デジタル信号処理回路１０、ＣＰＵ２０、ＳＤＲＡＭ３０、ＳＤカード４０、ＬＣＤ４１、及び撮像モジュール５０を備えている。また、本実施形態の撮像モジュール５０もイメージセンサ６０（固体撮像装置）を有している。このイメージセンサ６０も実施形態１等の例と同様に、原画像出力モードと画素混合モードの２つの動作モードがある。
【０２５０】
このデジタルビデオカメラは、撮像モジュール５０の構成、より詳しくは列制御部２７の構成がデジタルビデオカメラ１等と異なっている。図４２は、実施形態１６に係る列制御部２７の構成例を示すブロック図である。列制御部２７は、図４５に示すように、デジタルビデオカメラ１の列制御部２７における第１から第４混合部４６１，…４６４に代えて、第１から第４混合部群８０１，…，８０４の４つの混合部群、セレクタ８２０、及び各混合部群８０１，…，８０４に対応した４つのセレクタ８１１，８１２，８１３，８１４を備えている。また、図４５では図示は省略しているが、この列制御部２７は、実施形態１等と同様に、複数のフリップフロップ２７ａ、及び画素データ転送部４５を備えている。
【０２５１】
この列制御部２７でも各混合部群８０１，…，８０４は、所定のフリップフロップ２７ａの出力を加算して減数画像データをそれぞれ生成するようになっている。そして、セレクタ８１１，…，８１４には、各混合部群８０１，…，８０４の出力と列信号処理部２５の出力とがそれぞれ入力され、これらの入力の何れか一つを選択して対応した混合部群８０１，…，８０４に出力するようになっている。また、セレクタ８２０は、４つのセレクタ８１１，…，８１４のそれぞれの出力、及び列信号処理部２５の出力の何れか一つを選択して画素データ転送部４５に出力するようになっている。
【０２５２】
〈各混合部群の構成〉
次に、各混合部群８０１，…，８０４の構成について詳述する。
【０２５３】
-第１混合部群８０１-
第１混合部群８０１は、着目している画素２２と、その水平方向に存在する画素２２の画素データを加算するための混合部のグループである。なお、第１混合部群８０１を構成する加算器等は、実施形態１等で説明した加算器と類似の構造を示しているので図示を省略する（以下、他の混合部群も同様に加算器等の図示を省略）。
【０２５４】
図４６は、第１混合部群８０１の画素混合によって得た減数画像データと原画像データとの関係を示す図であり、（Ａ）が原画像データ、（Ｂ）が減数画像データをそれぞれ示している。なお、図４６の（Ａ）は、実際には図より多く存在する画素２２の一部を抜き出した図であり、原画像データと記されている画素２２上にある同じマーク（例えば、白抜きの単線の丸同士）の画素データの３画素分を加算することで減数画像データを生成していることを示している。図４６に示すように、第１混合部群８０１による画素データの混合動作では、斜線で覆われている画素２２に相当する重心位置には、減数画像データは生成されず、白抜きされている画素２２に相当する重心位置にのみ減数画像データが生成される。この例では、それぞれの重心位置に生成される減数画像データを構成する原画像データは、減数画像データの重心位置にあるマークと原画像データの画素２２にあるマークと一致している。第１混合部群８０１の上記動作により、原画像データは水平方向に２画素間引かれて、画素密度が１／３となる減数画像データが生成される。
【０２５５】
-第２混合部群８０２-
第２混合部群８０２は、着目している画素２２と、その水平方向に存在する画素２２の画素データを加算するための混合部のグループである。この第２混合部群８０２では、２種類の加算方式を用いて減数画像データを生成する。図４７は、第２混合部群８０２の画素混合によって得た減数画像データと原画像のデータとの関係を示す図であり、同図の（Ａ）、（Ｂ）は、第２混合部群８０２で行われる２種類の加算方式を説明するものである。また、図４７の（Ｃ）は、前記２種類の加算方式を用いて最終的に得た減数画像データと原画像のデータとの関係を示している。
【０２５６】
図４７（Ａ）は、実際には図より多く存在する画素２２の一部を抜き出した図であり、原画像データと記されている画素２２上にある同じマーク（例えば、白抜きの単線の丸同士）の画素データの３画素分を加算することで減数画像データを生成していることを示している。図４７（Ａ）に示した加算方式では、原画像データにおいて斜線で覆われて表示されている画素２２の画素データは、左右に隣接する画素データを使用して減数画像データを生成する際に重複して使用される。例えば、白抜きの三角印の画像データを使用して減数画像データを生成する場合には、白抜きの三角印の画素データと、２画素左の斜線で覆われた画素２２-ｄと、２画素右の斜線で覆われた画素２２-ｅが使用される。また、白抜きの丸印の画素データを使用して減数画像データを生成する場合には、白抜きの丸印の画素データと、２画素左の画素データ（不図示）と、２画素右の画素２２-ｄからの画素データが使用される。このように、画素２２-ｄは２つの減数画像データを生成する際に両方の生成に使用、すなわち重複して使用されるのである。そして、これにより、図４７（Ａ）の減数画像データが得られる。
【０２５７】
以上のように、図４７（Ａ）に示した減数画像データでは、斜線で覆われている画素２２に相当する重心位置には減数画像データは生成されず、白抜きされている画素２２に相当する重心位置にのみ画像データが生成される。それぞれの減数画像データを構成する原画像データは、図４７（Ａ）に示すように、減数画像データの重心位置にあるマークと原画像データの画素２２にあるマークと一致している。すなわち、第２混合部群８０２の上記動作により、原画像データは水平方向に３画素間引かれて、画素密度が１／４となる減数画像データが生成される。
【０２５８】
図４７（Ｂ）は、実際には図より多く存在する画素２２の一部を抜き出した図であり、原画像データと記されている画素２２上にある同じマーク（例えば、縦線単線の丸同士）の画素データの３画素分を加算することで減数画像データを生成していることを示している。図４７（Ｂ）に示した減数画像データでは、斜線で覆われている画素２２に相当する重心位置には減数画像データは生成されず、白抜きされている画素２２に相当する重心位置にのみ減数画像データが生成される。それぞれの重心位置に生成される減数画像データを構成する原画像データは、図４７（Ｂ）に示すように、減数画像データの重心位置にあるマークと原画像データの画素２２にあるマークと一致している。すなわち、第２混合部群８０２の上記動作により、原画像データは水平方向に３画素間引かれて、画素密度が１／４となる減数画像データが生成される。
【０２５９】
そして、この第２混合部群８０２は、図４７の（Ａ）に示した減数画像データと、（Ｂ）に示した減数画像データが交互に配置されるように画素データの加算を行う。第２混合部群８０２のこの動作により、原画像データは水平方向に１画素間引かれて、画素密度が１／２となる減数画像データが生成される（図４７（Ｃ）を参照）。
【０２６０】
-第３混合部群８０３-
第３混合部群８０３は、垂直方向の画素データの加算を行う。具体的に第３混合部群８０３は、着目している画素２２と、その垂直方向に存在する画素２２の画素データを加算するための混合部のグループである。図４８は、第３混合部群８０３の画素混合によって得た減数画像データと原画像のデータとの関係を示す図であり、（Ａ）が原画像データ、（Ｂ）が減数画像データをそれぞれ示している。なお、図４８の（Ａ）は、実際には図より多く存在する画素２２の一部を抜き出した図であり、原画像データと記されている画素２２上にある同じマーク（例えば、白抜きの単線の丸同士）の３画素分の画素データを加算することで減数画像データを生成していることを示している。
【０２６１】
この第３混合部群８０３では、図４８（B）の斜線で覆われている画素２２に相当する重心位置には減数画像データは生成されず、白抜きされている画素２２に相当する重心位置にのみ減数画像データが生成される。それぞれの重心位置に生成される減数画像データを構成する原画像データは、減数画像データの重心位置にあるマークと原画像データの画素２２にあるマークと一致している。第３混合部群８０３の上記動作により、原画像データは垂直方向に２画素間引かれて、画素密度が１／３となる減数画像データが生成される。
【０２６２】
-第４混合部群８０４-
第４混合部群８０４は、垂直方向の画素データの加算を行う。具体的に第４混合部群８０４は、着目している画素２２と、その垂直方向に存在する画素２２の画素データを加算するための混合部のグループである。この第４混合部群８０４では、２種類の加算方式を用いて減数画像データを生成する。図４９は、第４混合部群８０４の画素混合によって得た減数画像データと原画像のデータとの関係を示す図であり、同図の（Ａ）、（Ｂ）は、第２混合部群８０２で行われる２種類の加算方式を説明するものである。また、図４９の（Ｃ）は、前記２種類の加算方式を用いて最終的に得た減数画像データと原画像のデータとの関係を示している。
【０２６３】
図４９の（Ａ）は、実際には図より多く存在する画素２２の一部を抜き出した図であり、原画像データと記されている画素２２上にある同じマーク（例えば、白抜きの単線の丸同士）の３画素分の画素データを加算することで減数画像データを生成していることを示している。図４９（Ａ）に示した加算方式では、原画像データにおいて斜線で覆われて表示されている画素２２の画素データは、上下に隣接する画素データを使用して減数画像データを生成する際に重複して使用される。例えば、白抜きの三角印の画像データを使用して減数画像データを生成する場合には、白抜きの三角印の画素データと、２画素下の斜線で覆われた画素２２-ｄと、２画素上の斜線で覆われた画素２２-ｅが使用される。一方、白抜きの丸印の画素データを使用して減数画像データを生成する場合には、白抜きの丸印の画素データと、２画素上の画素データ（不図示）と、２画素下の斜線で覆われた画素２２-ｅの画素データが使用される。このように、画素２２-ｄは２つの減数画像データを生成する際に両方の生成に使用、すなわち重複して使用されるのである。
【０２６４】
以上のように、図４９（Ａ）に示した減数画像データでは、斜線で覆われている画素２２に相当する重心位置には減数画像データは生成されず、白抜きされている画素２２に相当する重心位置にのみ減数画像データが生成される。それぞれの重心位置に生成される減数画像データを構成する原画像データは、減数画像データの重心位置にあるマークと原画像データの画素２２にあるマークと一致している。すなわち、第４混合部群８０４の上記動作により、原画像データは垂直方向に３画素間引かれて、画素密度が１／４となる減数画像データが生成される。
【０２６５】
図４９（Ｂ）は、実際には図より多く存在する画素２２の一部を抜き出した図であり、原画像データと記されている画素２２上にある同じマーク（例えば、縦線単線の丸同士）の画素データ３画素分を加算することで減数画像データを生成していることを示している。図４９（Ｂ）の減数画像データにおいて、斜線で覆われている画素２２に相当する重心位置には減数画像データは生成されず、白抜きされている画素２２に相当する重心位置にのみ減数画像データが生成される。それぞれの重心位置に生成される減数画像データを構成する原画像データは、減数画像データの重心位置にあるマークと原画像データの画素２２にあるマークと一致している。すなわち、第４混合部群８０４の上記動作により、原画像データは垂直方向に３画素間引かれて、画素密度が１／４となる減数画像データが生成される。
【０２６６】
そして、この第４混合部群８０４は、図４９（Ａ）に示した減数画像データと、（Ｂ）に示した減数画像データとが交互に配置されるように画素データの加算を行う。第４混合部群８０４のこの動作により、原画像データは垂直方向に１画素間引かれて、画素密度が１／２となる減数画像データが生成される（図４９（Ｃ）を参照）。
【０２６７】
《本実施形態に係るデジタルビデオカメラの動作》
〈減数画像データの読み出し〉
このデジタルビデオカメラにおいて、画素データを加算し、減数画像データを読み出す場合について説明する。このデジタルビデオカメラでは、混合部群８０１，…，８０４により生成された減数画像データは、垂直方向、或いは水平方向の縮小が発生する。しかしながら、原画像データのカラーフィルターアレイ７０がベイヤ配列（２×２の単位配列）であるので、それぞれの減数画像データにおけるカラーフィルタのパターンもベイヤ配列を維持している。そして、各混合部群８０１，…，８０４はベイヤ配列の画素データに対して減数画像データを生成することが可能であるので、カラーフィルタのパターンがベイヤ配列である減数画像に対しても、同様の操作を行うことが可能となる。つまり、このイメージセンサ６０では、図４５に示すようなシグナルフロウの概念が適用可能になり、以下のような操作を行うことで、種々の減数画像データを生成可能になる。
【０２６８】
<画素データを混合しない場合>
画素アレイ２１から画素データが読み出されるまでの動作は実施形態１と差異は無い。画素アレイ２１から読み出された画素データを混合しないで出力する場合は、セレクタ８２０で列信号処理部２５の出力を選択し、画素データ転送部４５へ出力することで混合されていない画素データを出力することができる。
【０２６９】
〈画素密度を１／３（＝（水平３×垂直１））にする場合〉
この場合も、画素アレイ２１から画素データが読み出されるまでの動作は、実施形態１と差異は無い。画素アレイ２１から読み出された画素データを混合して画素密度を１／３（＝（水平３×垂直１））にする場合は、セレクタ８１１で列信号処理部２５の出力を選択するとともに、セレクタ８２０で第１混合部群８０１からの出力を選択し、画素データ転送部４５へ出力することで実現できる。
【０２７０】
〈画素密度を１／２（＝（水平１×垂直２））にする場合〉
この場合も、画素アレイ２１から画素データが読み出されるまでの動作は実施形態１と差異は無い。画素アレイ２１から読み出された画素データを混合して垂直方向の画素密度を１／２（＝（水平１×垂直２））にする場合は、セレクタ８１４で列信号処理部２５の出力を選択するとともに、セレクタ８２０で第４混合部群８０４の出力を選択し、画素データ転送部４５へ出力することで実現できる。
【０２７１】
〈画素密度を１／６（＝（水平２×垂直３））にする場合〉
画素アレイ２１から画素データが読み出されるまでの動作は、実施形態１と差異は無い。画素アレイ２１から読み出された画素データを混合して画素密度を１／６（＝（水平２×垂直３））にする場合は、セレクタ８１２で列信号処理部２５の出力を選択して、第２混合部群８０２において、水平方向の画素密度が１／２（＝（水平２×垂直１））の減数画像データを生成する。一方で、セレクタ８１３で第２混合部群８０２から出力された減数画像データを選択し、第３混合部群８０３で垂直方向の画素密度が１／３（＝（水平１×垂直３））の減数画像データを生成する。このように、第２混合部群８０２と第３混合部群８０３の両方の作用により、第３混合部群８０３からは、画素密度が１／６（＝（水平２×垂直３））の減数画像データが出力される。そして、セレクタ８２０で第３混合部群８０３の出力を選択し、画素データ転送部４５へ出力することで、画素密度を１／６（＝（水平２×垂直３））とした画素データを出力することができる。
【０２７２】
《本実施形態における効果》
以上の構成により、本実施形態では、その一方で、画素密度が原画像データの１／（２ｊ＋１）となる減数画像生成においては、画素２２の画素データを重複して混合画素データの生成に使用しないが、画素密度が原画像データの１／（２ｊ）（ｊ：自然数）となる減数画像データの生成において、画素２２の画素データを重複して合画素データの生成に使用する。これにより、画素アレイ２１の画素数を増大させることなく、混合画素データの減数画像データにおける位置を等間隔にできる。すなわち、本実施形態によれば、イメージセンサ６０の画素数を増大させることなく、減数画像データにおいて所定の解像度を得ることが可能になる。しかも、本実施形態では、減数画像データにおける色の配列をカラーフィルターアレイ７０（単位配列７１）における色の配列と同じにできる。
【０２７３】
しかも、本実施形態では、上記のように、さらに、減数画像の画素密度を細かく設定することができる。すなわち、本実施形態のデジタルビデオカメラは、種々の撮像条件に対して、感度重視、動解像度重視、静止解像度重視等の最適な撮影方法を提供することが可能になる。
【０２７４】
《実施形態１６の変形例》
〈１〉なお、各混合部における画素加算における重み付けは全て１として画素混合を実施したが、重み付けを１以外の値としてもよい。
【０２７５】
〈２〉また、上記においては、各混合部群を一度しか使用していないが、何れの混合部群により減数画像データを得た場合でも、減数画像データは、カラーフィルターアレイ７０の単位配列を保持するので、使用するアプリケーションに応じて、必要回数使用する形態としてもよい。
【０２７６】
〈３〉また、上記においては、各混合部群を使用する順番を特に言及していないが、各混合部群が使用されるタイミングで画素加算における重み付けの値が異なる場合は、減数画像データにおける折り返し成分が小さくなるように使用する混合部群の順番を決定してもよいし、折り返し成分を許容して解像度を重視する場合は、折り返し成分を無視してベースバンドの帯域を保持する順番であってもよい。
【０２７７】
〈４〉また、列信号処理部２５を構成する混合部群には、他の混合方式の混合部群を採用することも可能である。図５０は、列信号処理部２５の他の構成例を示すブロック図である。図５０に示す例では、第１混合部群８０１、第２混合部群８０２の代わりに、前記第１混合部群Ｇ１、第２混合部群Ｇ２をそれぞれ採用している。既述の通り、第１混合部群Ｇ１は、密度が１／（２×２）の減数画像データを生成し、第２混合部群Ｇ２は、密度が１／（３×３）の減数画像データを生成するように構成されている。このような混合方式の組み合わせにより、画素密度が原画像データの１／（ｎ２）の減数画像データを生成することが可能になる。また、実施形態１６における混合部群８０１，…，８０４を、減数画像データの画素密度が１／（ｎ２）となるように、組み合わせで使用してもよい。
【０２７８】
〈５〉また、上記においては、水平、或いは垂直方向に画素密度が１／２ｎとなる場合において、ｎ＝２の場合に、第２混合部群８０２、或いは第４混合部群８０４を２回使用することで、目的の減数画像データを得る形態を説明したが、１／２ｎの画素密度を得る混合方式の組み合わせはこれに限らない。例えば、水平、或いは垂直方向に画素密度が１／２ｎとなる混合部群を別途設ける形態であってもよい。この場合は、画素データ加算時のタップ係数選択の自由度があがるため、より好ましい画質を得ることが可能になる。
【０２７９】
〈６〉また、上記においては、水平、或いは垂直方向に画素密度を１／（２ｎ＋１）とする例としてｎ＝１の場合のみしか言及していないが、１／（２ｎ＋１）の画素密度を得る混合方式の組み合わせはこれに限らない。例えば、水平、或いは垂直方向に画素密度が１／（２ｎ＋１）となる混合部群を別途設ける形態であってもよい。この場合は、画素データ加算時のタップ係数選択の自由度があがるため、より好ましい画質を得ることが可能になる。
【０２８０】
また、２ｎ＋１＝（２ｓ＋１）×（２ｔ＋１）のように因数分解できる場合は、
水平、或いは垂直方向に画素密度が１／（２ｓ＋１）となる混合部群と、水平、或いは垂直方向に画素密度が１／（２ｔ＋１）となる混合部群とを別途設けて、これらを組み合わせて使用する形態であってもよい。この場合は、減数画像データの画素密度の選択幅が増えるため、よりアプリケーションに適した画素密度を選択することが可能になる。
【０２８１】
また、水平、或いは垂直方向に画素密度が１／（２ｓ＋１）となる混合部群と、水平、或いは垂直方向に画素密度が１／（２ｔ＋１）となる混合部群と、水平、或いは垂直方向に画素密度が１／（２ｎ＋１）となる混合部群とが全て配置された構成であった場合でも、アプリケーションに応じて、水平、或いは垂直方向に画素密度が１／（２ｓ＋１）となる混合部群と、水平、或いは垂直方向に画素密度が１／（２ｔ＋１）となる混合部群を組み合わせて使用してもよいし、水平、或いは垂直方向に画素密度が１／（２ｎ＋１）となる混合部群のみで所望の減数画像データの画素密度を実現してもよい。
【０２８２】
〈７〉なお、上記の２ｎ＋１は素数であることが好ましい。非素数の場合は、減数画像データの画素密度が１／（因数）となる混合部群の組み合わせで実現することが可能であるが、素数の場合は、その方法が選択できないためアプリケーションに応じて、減数画像データの画素密度が１／素数となる必要な混合部群を備えておくと、より好適である。
【０２８３】
〈８〉なお、説明の簡便化のために、実施形態１６の混合部群は、１次元方向の画素密度変更しか行えないものとしているが、これには限らない。例えば、減数画像データの画素密度が、１／（Ｖ×Ｗ）（Ｖ，Ｗ：自然数で、Ｖが水平方向の減数画像データの画素密度で、Ｗが垂直方向の減数画像データの画素密度）となる減数画像データを生成する画素混合部群を備えていてもよい。
【０２８４】
《実施形態９から１６に係るその他の実施形態》
なお、画素２２からの信号の混合は、上記のようにデジタルのデータによる混合には限定されない。例えば、画素からの信号を電荷、電圧、或いは電流として得て、それを加算や平均することで画素混合を実現してもよい。
【０２８５】
なお、上記の各実施形態や変形例では、画素混合の際に画素データを重複して使用する混合部と、重複して使用しない混合部の両方を含んでいたが、重複して使用する混合部のみで固体撮像装置を構成してもよい。
【産業上の利用可能性】
【０２８６】
本発明は、固体撮像装置の画素数を増大させることなく、減数画像データを生成することが可能になるという効果を有し、被写体からの入射光を撮像信号として出力する固体撮像装置、それを用いた撮像モジュール及び撮像システム等として有用である。
【符号の説明】
【０２８７】
１，２              デジタルビデオカメラ（撮像システム）
１０                デジタル信号処理回路（信号処理回路）
２１                画素アレイ
２２                画素
２７                列制御部（減数画像生成部）
５０                撮像モジュール
５１                レンズ
６０                イメージセンサ（固体撮像装置）
７０                カラーフィルターアレイ
７１                単位配列
７２                カラーフィルタ
９０，…，９３      単位領域
４６１，…，４６４  第１，…，第４混合部
４７１，…，４７４  第１，…，第４混合部
６０１，６０２      第５、第６混合部
８０１，…，８０４  第１，…，第４混合部
Ｇ１，…，Ｇｎ      第Ｇ１，…，Ｇｎ混合部群
【図１】
2011030181.tif 000003
【図２】
2011030181.tif 000004
【図３】
2011030181.tif 000005
【図４】
2011030181.tif 000006
【図５】
2011030181.tif 000007
【図６】
2011030181.tif 000008
【図７】
2011030181.tif 000009
【図８】
2011030181.tif 000010
【図９】
2011030181.tif 000011
【図１０】
2011030181.tif 000012
【図１１】
2011030181.tif 000013
【図１２】
2011030181.tif 000014
【図１３】
2011030181.tif 000015
【図１４】
2011030181.tif 000016
【図１５】
2011030181.tif 000017
【図１６】
2011030181.tif 000018
【図１７】
2011030181.tif 000019
【図１８】
2011030181.tif 000020
【図１９】
2011030181.tif 000021
【図２０】
2011030181.tif 000022
【図２１】
2011030181.tif 000023
【図２２】
2011030181.tif 000024
【図２３】
2011030181.tif 000025
【図２４】
2011030181.tif 000026
【図２５】
2011030181.tif 000027
【図２６】
2011030181.tif 000028
【図２７】
2011030181.tif 000029
【図２８】
2011030181.tif 000030
【図２９】
2011030181.tif 000031
【図３０】
2011030181.tif 000032
【図３１】
2011030181.tif 000033
【図３２】
2011030181.tif 000034
【図３３】
2011030181.tif 000035
【図３４】
2011030181.tif 000036
【図３５】
2011030181.tif 000037
【図３６】
2011030181.tif 000038
【図３７】
2011030181.tif 000039
【図３８】
2011030181.tif 000040
【図３９】
2011030181.tif 000041
【図４０】
2011030181.tif 000042
【図４１】
2011030181.tif 000043
【図４２】
2011030181.tif 000044
【図４３】
2011030181.tif 000045
【図４４】
2011030181.tif 000046
【図４５】
2011030181.tif 000047
【図４６】
2011030181.tif 000048
【図４７】
2011030181.tif 000049
【図４８】
2011030181.tif 000050
【図４９】
2011030181.tif 000051
【図５０】
2011030181.tif 000052