(57)【要約】      （修正有）【課題】エイリアジングが目立たず、鮮鋭感、解像感の高い出力を得る。【解決手段】第１の色成分の画素が全画素の半分の密度で斜め方向に隣接する様に配置され、第２、第３の色成分の画素が第１の色成分の画素の密度の半分の密度で均等に配置されるカラーフィルタを持つ撮像素子で、第１行目の第１の色成分と第２行目の第１の色成分の画素信号とを加算し、第２の色成分と第３行目の第２の色成分の画素信号とを加算し、加算された第１の色成分の画素信号と加算された第２の色成分の画素信号とを１つの行の画素の値として出力する処理と、第３行目の第１の色成分と第４行目の第１の色成分の画素信号とを加算し、第２行目の第３の色成分と第４行目の第３の色成分の画素信号とを加算し、加算された第１の色成分の画素信号と加算された第３の色成分の画素信号とを１つの行の画素の値として出力する処理とを４行単位に繰り返し、撮像素子出力を生成する処理を行う。【選択図】図３
2010193200.tif 000002
【特許請求の範囲】
【請求項１】
縦横に画素が配置され、第１の色成分の画素が全画素の密度の半分の密度で斜め方向に隣接するように配置され、第２の色成分の画素と第３の色成分の画素が各々前記第１の色成分の画素の密度の半分の密度で均等に配置される配列のカラーフィルタを有する撮像素子と、
前記撮像素子の第１行目の第１の色成分の画素信号とそれに隣接する第２行目の第１の色成分の画素信号とを加算し、第１行目の第２の色成分の画素信号と第３行目の第２の色成分の画素信号とを加算し、前記加算された第１の色成分の画素信号と前記加算された第２の色成分の画素信号とを１つの行の画素の値として出力する処理と、
前記撮像素子の第３行目の第１の色成分の画素信号とそれに隣接する第４行目の第１の色成分の画素信号とを加算し、第２行目の第３の色成分の画素信号と第４行目の第３の色成分の画素信号とを加算し、前記加算された第１の色成分の画素信号と前記加算された第３の色成分の画素信号とを１つの行の画素の値として出力する処理と、
前記第１行目から第４行目に対する処理を前記撮像素子の各行において４行単位に繰り返すことによって、元の撮像素子と同じカラーフィルタ配列を有し、縦方向に１／２間引かれた撮像素子出力を生成する処理と
を実行する撮像素子出力制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画素信号を加算する第１行目の第１の色成分の画素と第２行目に存在する第１の色成分の画素は、第1の斜め方向に沿って隣接しており、
前記画素信号を加算する第３行目の第１の色成分の画素と第４行目に存在する第１の色成分の画素は、前記第1の斜め方向とは異なる第２の斜め方向に沿って隣接しており、
前記画素信号を加算する第１行目の第２の色成分の画素と第３行目の第２の色成分の画素は同一の列にあり、
前記画素信号を加算する第２行目の第３の色成分の画素と第４行目に存在する第３の色成分の画素は同一の列にあることを特徴とする撮像装置。
【請求項３】
縦横に画素が配置され、第１の色成分の画素が全画素の密度の半分の密度で斜め方向に隣接するように配置され、第２の色成分の画素と第３の色成分の画素が各々前記第１の色成分の画素の密度の半分の密度で均等に配置される配列のカラーフィルタを有する撮像素子と、
前記撮像素子の第１行目の第１の色成分の画素信号とそれに隣接する第２行目の第１の色成分の画素信号とを加算し、その加算された画素信号と第１行目の第２の色成分の画素信号とを１つの行の画素の値として出力する処理と、
前記撮像素子の第３行目の第１の色成分の画素信号とそれに隣接する第４行目の第１の色成分の画素信号とを加算し、その加算された画素信号と第４行目の第３の色成分の画素信号とを１つの行の画素の値として出力する処理と、
前記第１行目から第４行目に対する処理を前記撮像素子の各行において４行単位に繰り返すことによって、元の撮像素子と同じカラーフィルタ配列を有し、縦方向に１／２間引かれた撮像素子出力を生成する処理と
を実行する撮像素子出力制御手段と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記画素信号を加算する第１行目の第１の色成分の画素と第２行目に存在する第１の色成分の画素は、第1の斜め方向に沿って隣接しており、
前記画素信号を加算する第３行目の第１の色成分の画素と第４行目に存在する第１の色成分の画素は、前記第1の斜め方向とは異なる第２の斜め方向に沿って隣接していることを特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか１項に記載の撮像装置において、
色成分間の画素信号の加算方法の違いによって生じた、第１の色成分の重心位置に対する第２の色成分と第３の色成分の重心位置の縦横格子からの空間的なずれを補正する補正手段をさらに備えることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記補正手段は、前記第１の色成分の重心位置に対する第２の色成分と第３の色成分の重心位置の縦横格子からの空間的なずれを、第２の色成分と第３の色成分に対して、第１の成分の色情報を用いて補正することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記補正手段は、第１の色成分面から得られる第１の色成分の凹凸情報を用いて、第２の色成分と第３の色成分を補正することを特徴とする撮像装置。
【請求項８】
請求項５から７のいずれかに記載の撮像装置において、
前記補正手段により補正された色成分を有する撮像素子データに対し、各々の画素に第１から第３の全ての色成分が揃うように色補間処理を行う色補間手段をさらに備え、
前記色補間手段は、前記撮像素子データ面上で異なる色成分間の類似度を算出し、前記類似度に基づいて類似する方向を判定し、類似性の強い方向から色成分を補間することを特徴とする撮像装置。
【請求項９】
縦横に画素が配置され、第１の色成分の画素が全画素の密度の半分の密度で斜め方向に隣接するように配置され、第２の色成分の画素と第３の色成分の画素が各々前記第１の色成分の画素の密度の半分の密度で均等に配置される配列のカラーフィルタを有する撮像素子の出力を制御する撮像素子出力制御方法であって、
前記撮像素子の第１行目の第１の色成分の画素信号とそれに隣接する第２行目の第１の色成分の画素信号とを加算し、第１行目の第２の色成分の画素信号と第３行目の第２の色成分の画素信号とを加算し、前記加算された第１の色成分の画素信号と前記加算された第２の色成分の画素信号とを１つの行の画素の値として出力する処理を実行し、
前記撮像素子の第３行目の第１の色成分の画素信号とそれに隣接する第４行目の第１の色成分の画素信号とを加算し、第２行目の第３の色成分の画素信号と第４行目の第３の色成分の画素信号とを加算し、前記加算された第１の色成分の画素信号と前記加算された第３の色成分の画素信号とを１つの行の画素の値として出力する処理を実行し、
前記第１行目から第４行目に対する処理を前記撮像素子の各行において４行単位に繰り返すことによって、元の撮像素子と同じカラーフィルタ配列を有し、縦方向に１／２間引かれた撮像素子出力を生成する処理を実行することを特徴とする撮像素子出力制御方法。
【請求項１０】
縦横に画素が配置され、第１の色成分の画素が全画素の密度の半分の密度で斜め方向に隣接するように配置され、第２の色成分の画素と第３の色成分の画素が各々前記第１の色成分の画素の密度の半分の密度で均等に配置される配列のカラーフィルタを有する撮像素子の出力を制御する撮像素子出力制御方法であって、
前記撮像素子の第１行目の第１の色成分の画素信号とそれに隣接する第２行目の第１の色成分の画素信号とを加算し、その加算された画素信号と第１行目の第２の色成分の画素信号とを１つの行の画素の値として出力する処理を実行し、
前記撮像素子の第３行目の第１の色成分の画素信号とそれに隣接する第４行目の第１の色成分の画素信号とを加算し、その加算された画素信号と第４行目の第３の色成分の画素信号とを１つの行の画素の値として出力する処理を実行し、
前記第１行目から第４行目に対する処理を前記撮像素子の各行において４行単位に繰り返すことによって、元の撮像素子と同じカラーフィルタ配列を有し、縦方向に１／２間引かれた撮像素子出力を生成する処理を実行することを特徴とする撮像素子出力制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像素子出力制御方法に関する。
【背景技術】
【０００２】
従来、撮像素子では、低速で全画素を読み出すモードの他に、読み出し速度を上げるため、複数画素を加算して画素データを間引くことによって高速に読み出す画素加算モードを設ける工夫がなされてきた。例えば、特許文献１では、ベイヤ（Ｂａｙｅｒ）配列のようなカラー撮像素子データを、垂直方向に２画素離れて存在する同色画素を混合して２行読み出し、次の２行は間引くことによって、再度同じカラーフィルタ配列を持つデータに変換する方法を提案している。
【０００３】
しかしながら、特許文献１の方法では、上下に２画素離れた全ての色成分を平均化してしまうため、全画素モードの垂直方向のナイキスト周波数に対して１／２にある中間周波数帯を完全に死滅させることになる。これにより、縦横を変倍によって１／２画素数程度になるように等方化した後の出力解像度の内側にある周波数帯のＭＴＦを著しく損ない、全体的に鮮鋭感のないぼけた画質しか提供できないという問題があった。
【０００４】
また、特許文献２では、全画素読み出しの静止画モードに対し、約１／２画素数程度の動画モード用として、縦横共に３ラインにつき２ラインを出力することによって４／９画素数の画像データにする２：１混合動画モードというものを提案している。この方式は、具体的には、ベイヤ配列の６ｘ６画素から４ｘ４画素のベイヤ配列を作ることを基本処理単位とする。
【０００５】
すなわち、最初に左上に吐き出す２ｘ２画素のベイヤ基本格子に対しては全画素面で３ｘ３画素内に含まれる同色画素を水平及び垂直方向に２画素離れたもの同士で加算し、次に右上に出力する２ｘ２画素のベイヤ基本格子に対しては３ｘ１画素内に含まれる２画素離れた同色画素を垂直方向に加算し、左下に吐き出す２ｘ２画素のベイヤ基本格子に対しては１ｘ３画素内に含まれる２画素離れた同色画素を水平方向に加算し、残りの右下に吐き出す２ｘ２画素のベイヤ基本格子に対しては画素混合せずにそのまま出力するという方法である。
【０００６】
特許文献２の方法では、上下、あるいは左右に２画素離れた同色色成分を混合して、特許文献１と同じように中間周波数帯を一部死滅させるものの、混合しない割合も水平・垂直の両方向に対して平均的に半分存在するため、全体的なＭＴＦは残り、鮮鋭感が低下する問題は生じない。しかしながら、約半分の比率が画素混合しない間引き処理であるため、高周波成分の折り返しによってエイリアジング問題が生じるという難点があった。
【０００７】
特に、画素混合による縮小と間引きによる縮小を４画素出力単位で周期的に繰り返すため、斜め線ではブロック状にガタガタとした偽解像が目立ち、セーターのようなテキスチャでは全く実際とは異なる偽構造が出現するというような問題があり、静止画として利用するには不十分な画質であった。すなわち、画質的に重要な、ＭＴＦを死滅しえなかった中間周波数帯域を中心として、その周辺周波数帯域に渡ってこのブロック化現象が生じる。更に、６ｘ６画素を１つの単位として複数の画素加算パターンを用意しなければならないという回路的な負担の大きさもあった。
【０００８】
一方、特許文献３では、高解像度モードでベイヤ配列とは異なるＧ成分がストライプ状に並び、その間の列をＲＲＢＢのように同色が２画素ずつ続けて交互に並ぶカラーフィルタ配列を採用し、隣接同色２画素を混合することによって低解像度モードではベイヤ配列、ないしはそれを４５度回転した配列になるようにする方式を提案している。  
【０００９】
特許文献３は、画素加算後の画質は優れているが、全画素モードと画素加算モードの２つのモードに対応したデモザイク回路を必要とし、ハードウェアの負荷が大きいという問題があった。また、全画素モードのカラーフィルタ配列がＲＧＢをくまなく均等配分したベイヤ配列に比べて不均一であることから、全画素モード時の画質がベイヤ配列に劣る点が指摘される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平９−５５９５２号公報
【特許文献２】特開２００４−９６６１１号公報
【特許文献３】国際公開２００２／０８５００２号
【発明の概要】
【発明が解決しようとする課題】
【００１１】
今日、デジタルカメラの画素数が１０００万画素、２０００万画素と増えるに従い、連写性能の低い全画素モードの他に画素加算モードを設けることによって、約半分程度の画素数で高速連写が可能で、かつ、静止画としても従来機種の同画素数程度のカメラと同等の画質をもったカメラを実現することが期待される状況にある。しかし、従来は、輝度のエイリアジングが目立ちにくく、かつ鮮鋭感、解像感の高い静止画画質にも適した撮像素子出力を得ることは困難であった。
【課題を解決するための手段】
【００１２】
請求項１の発明は、撮像装置に適用され、縦横に画素が配置され、第１の色成分の画素が全画素の密度の半分の密度で斜め方向に隣接するように配置され、第２の色成分の画素と第３の色成分の画素が各々第１の色成分の画素の密度の半分の密度で均等に配置される配列のカラーフィルタを有する撮像素子と、撮像素子の第１行目の第１の色成分の画素信号とそれに隣接する第２行目の第１の色成分の画素信号とを加算し、第１行目の第２の色成分の画素信号と第３行目の第２の色成分の画素信号とを加算し、加算された第１の色成分の画素信号と加算された第２の色成分の画素信号とを１つの行の画素の値として出力する処理と、撮像素子の第３行目の第１の色成分の画素信号とそれに隣接する第４行目の第１の色成分の画素信号とを加算し、第２行目の第３の色成分の画素信号と第４行目の第３の色成分の画素信号とを加算し、加算された第１の色成分の画素信号と加算された第３の色成分の画素信号とを１つの行の画素の値として出力する処理と、第１行目から第４行目に対する処理を撮像素子の各行において４行単位に繰り返すことによって、元の撮像素子と同じカラーフィルタ配列を有し、縦方向に１／２間引かれた撮像素子出力を生成する処理とを実行する撮像素子出力制御手段とを備えることを特徴とするものである。
請求項３の発明は撮像装置に適用され、縦横に画素が配置され、第１の色成分の画素が全画素の密度の半分の密度で斜め方向に隣接するように配置され、第２の色成分の画素と第３の色成分の画素が各々第１の色成分の画素の密度の半分の密度で均等に配置される配列のカラーフィルタを有する撮像素子と、撮像素子の第１行目の第１の色成分の画素信号とそれに隣接する第２行目の第１の色成分の画素信号とを加算し、その加算された画素信号と第１行目の第２の色成分の画素信号とを１つの行の画素の値として出力する処理と、撮像素子の第３行目の第１の色成分の画素信号とそれに隣接する第４行目の第１の色成分の画素信号とを加算し、その加算された画素信号と第４行目の第３の色成分の画素信号とを１つの行の画素の値として出力する処理と、第１行目から第４行目に対する処理を撮像素子の各行において４行単位に繰り返すことによって、元の撮像素子と同じカラーフィルタ配列を有し、縦方向に１／２間引かれた撮像素子出力を生成する処理とを実行する撮像素子出力制御手段とを備えることを特徴とするものである。
【発明の効果】
【００１３】
本発明は以上のように構成することにより、輝度のエイリアジングが目立ちにくく、かつ鮮鋭感、解像感の高い静止画画質にも適した撮像素子出力を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態のデジタルカメラ１００の構成を示す図である。
【図２】カラーフィルタのベイヤ配列を示す図である。
【図３】撮像素子２からの各画素の読み出しおよび加算を説明する図である。
【図４】第１の実施の形態の撮像素子の周波数解像域およびＭＴＦ特性を示す図である。
【図５】特許文献１の撮像素子の周波数解像域およびＭＴＦ特性を示す図である。
【図６】特許文献２の撮像素子の周波数解像域およびＭＴＦ特性を示す図である。
【図７】Ｒ，Ｂの色ずれ補正処理の様子を説明する図である。
【図８】Ｇ補間を説明する図である。
【図９】Ｒ補間を説明する図である。
【図１０】Ｂ補間を説明する図である。
【図１１】高速連写低解像度モード、高解像度モード、低解像度モードの処理の流れを示す図である。
【図１２】第２の実施の形態における画素加算の様子を説明する図である。
【発明を実施するための形態】
【００１５】
−第１の実施の形態−
図１は、第１の実施の形態のデジタルカメラ（電子カメラ）１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１、撮像素子２、読み出し制御部３、ＡＤ変換部４、画像処理部５、制御部６などから構成される。デジタルカメラ１００にはメモリカード１０が着脱可能に搭載され、メモリカード１０には撮像素子２で撮像された画像が所定の画像処理を経たのち格納される。
【００１６】
デジタルカメラ１００は一眼レフデジタルカメラないしはコンパクトカメラ、あるいは動画カメラであり、撮影レンズ１は交換可能なレンズもしくは固定レンズである。撮像素子２は、ベイヤ配列のＲＧＢカラーフィルタが配置された単板カラー撮像素子であり、ＣＭＯＳセンサなどから構成される。図２はカラーフィルタのベイヤ配列を示す図である。ベイヤ配列は、図に示す通り、Ｇ成分が市松状に半分の密度を占め、他のＲ成分Ｂ成分が残りの画素を均等に配分し合う密度で配置されている。
【００１７】
読み出し制御部３は、撮像素子２の各画素からの蓄積電荷（画素信号）の読み出しおよび加算を制御する。本発明は、撮像素子２からの各画素からの蓄積電荷の読み出しおよび加算に特徴を有する（後述）。ＡＤ変換部４は、撮像素子２から出力され各種のアナログ処理を経たアナログ画像信号をＡ／Ｄ変換する。ただし、ＡＤ変換器はこの他に撮像素子２の内部の列毎に設けられていてもよいし、画素毎に設けられていてもよい。従って、画素加算の演算は、それらの状況に応じてアナログ加算方式かデジタル加算方式を採用することになる。画像処理部５は、ＡＤ変換部４でＡ／Ｄ変換された後のデジタル信号からなるＲＧＢ表色系の画像データに対してホワイトバランス調整や圧縮処理などの各種の画像処理を行う。ＲＧＢ表色系のＧ成分は輝度を担う色成分でもある。制御部６は、デジタルカメラ１全体の制御を行ったり、画像処理部５での画像処理後の画像データを、外部装置に出力したり、メモリカード１０などの記録媒体に記録したりする。
【００１８】
読み出し制御部３、画像処理部５は、ＡＳＩＣやＤＳＰ、ＦＰＧＡ等のデジタル信号処理回路などで構成され、制御部６はマイクロコンピュータおよびメモリを含む周辺回路などで構成される。
【００１９】
本実施の形態のデジタルカメラ１００は、撮影モードとして、［１］高速連写低解像度モード、［２］高解像度モード、［３］低速連写低解像度モードの３つのモードを有する。高速連写低解像度モードは、高速な連写を実現するための低解像度モードであり、撮像素子２からの読み出しに工夫をし低解像度の画像を高速に生成するモードである。高解像度モードでは、各画素のデータを使用して高解像度の画像を生成するモードである。低速連写低解像度モードは、高速連写のような処理の高速性はそれほど要求されず、また解像度も低い低解像度の画像を生成するモードである。
【００２０】
高速連写低解像度モードは、本実施の形態のデジタルカメラ１００における特徴のあるモードである。高解像度モードおよび低速連写低解像度モードは、従来からある技術を利用するモードである。撮影者は、これらのモードから適宜１つのモードを選択して撮影を行う。以下、この高速連写低解像度モードを中心に説明を行う。
【００２１】
［１］高速連写低解像度モード（画素加算モード）
１）撮像素子の読み出し
図３は、カラーフィルタがベイヤ配列の撮像素子２からの各画素（の信号）の読み出しおよび加算を説明する図である。本実施の形態の撮像素子２では、図のように全画素面の４行を１つの単位として、４行からたて方向に１／２間引かれた低解像度のベイヤ配列を出力することによって、高速読み出しを可能とする。撮像素子２内部には、以下で説明する加算を実現する配線と加算回路が設けられ、読み出し制御部３は、撮像素子２の各画素からの読み出しおよび加算を制御する。
【００２２】
具体的には、第１行目のＧ画素と第２行目のＧ画素を斜め１３５度方向に加算して、その結果を第１行目のＧ画素のメモリに蓄える。Ｂ成分については、第１行目のＢ画素は第３行目のＢ画素とを縦方向に加算して、その結果を第１行目のＢ画素のメモリに蓄える。一方、第３行目のＧ画素と第４行目のＧ画素は斜め４５度方向に加算して、その結果を第４行目のＧ画素のメモリに蓄える。Ｒ成分については、第２行目のＲ画素と第４行目のＲ画素とを縦方向に加算して、その結果を第４行目のＲ画素のメモリに蓄える。
【００２３】
こうして得られた加算結果を、第１行目と第４行目から水平方向に読み出し、水平解像度が元画像と同じで垂直解像度が１／２に間引かれたベイヤ配列を生成する。
【００２４】
なお、加算結果を蓄えるメモリは第１行目と第４行目に限らず、第２行目と第３行目を採用したりしてもよい。また、Ｇ成分の斜め４５度方向の加算と斜め１３５度方向の加算は相互に入れ替わってもよい。
【００２５】
このように、輝度解像を担うＧ成分を、従来技術のように２画素も離れた間で加算せずに、最隣接に存在する斜め２方向に半分ずつの画素を分散して加算するようにした。これにより、画素加算によるＭＴＦ低下する周波数帯域を平均的に出力解像度に近い所にまで広げ、ＭＴＦを完全に死滅させずにその位置で半分は残すＭＴＦ特性となる。したがって、出力解像度域内で保つＭＴＦは非常に高く鮮鋭感の高い画質を得ることができ、従来のようなボケ感の問題はなくなる。
【００２６】
一方、斜め２方向の各々は半分の画素が平滑化されていないので、特許文献２の課題で指摘したような、高周波折り返し成分の影響は出てくるはずである。しかし、その周波数帯域が丁度、平均的に出力解像度の限界解像領域と一致しているので、従来のような中周波帯域の損傷はなく、高周波帯域の一部に留まるので、実質的に画質への影響は問題にならない程度に抑えられる。したがって、偽解像・輝度モアレのようなエイリアジングの視認性の少なく極めて鮮鋭感の高い静止画画質に適した縮小画像が得られる。
【００２７】
図４（ａ）は、本実施の形態の撮像素子２（画素ピッチａ）の周波数解像域をｋ空間（ただし、２π倍の定数因子は省いて表示）において示した図であり、図４（ｂ）は、そのＭＴＦ特性を示す図である。図４（ａ）において、外側の四角形は元の全画素モード画像の解像度域を示し、内側の四角形は上記高速連写低解像度モードにおける画素加算による低解像度画像の出力解像度域を示す図である。
【００２８】
図４（ａ）では、斜め交互にＭＴＦ死滅領域が走っていることが示されている。これは、上記の通り、ベイヤ配列の輝度を担うＧ成分を、最短に隣接する斜め方向に行単位で交互にその方向を直交する方向と交代させながら画素加算を行うためである。その結果、ＭＴＦ死滅領域で囲まれた範囲の面積と出力解像度域の範囲の面積とがほぼ一致する。これにより、画素加算によるＭＴＦ低下の周波数帯を平均的に出力解像度のナイキスト周波数と一致させることができる。また、出力解像度内のＭＴＦを高く保ったまま、高周波折り返し成分の出力解像度域内への影響も少なく、輝度モアレ・偽解像のエイリアジングが極めて抑制された滑らかな解像を実現することができる。
【００２９】
一方、図５（ａ）は、図４と対比させるために、特許文献１の撮像素子（画素ピッチａ）の場合の周波数解像域をｋ空間において示した図であり、図５（ｂ）は、そのＭＴＦ特性を示す図である。図４と同様に、図５（ａ）において、外側の四角形は元の全画素画像の解像度域を示し、内側の四角形は画素加算による低解像度画像の出力解像度域を示す図である。
【００３０】
特許文献１の方法では、前述したように、上下に２画素離れた全ての色成分を平均化してしまうため、全画素モードの垂直方向のナイキスト周波数に対して１／２にある中間周波数帯を完全に死滅させることになる。これにより、出力解像度の内側にある周波数帯のＭＴＦを著しく損ない、全体的に鮮鋭感のないぼけた画質しか提供できない。図５は、この様子を説明している。
【００３１】
図６（ａ）は、図４と対比させるために、特許文献２の撮像素子（画素ピッチａ）の場合の周波数解像域をｋ空間において示した図であり、図６（ｂ）は、そのＭＴＦ特性を示す図である。図４と同様に、図６（ａ）において、外側の四角形は元の全画素画像の解像度域を示し、内側の四角形は画素加算による低解像度画像の出力解像度域を示す図である。
【００３２】
特許文献２の方法では、前述したように、上下、あるいは左右に２画素離れた同色色成分を混合して、上述のような中間周波数帯を一部死滅させるものの、混合しない割合も水平・垂直の両方向に対して平均的に半分存在する。従って、全体的なＭＴＦは残り、鮮鋭感が低下する問題は生じない。しかしながら、約半分の比率が画素混合しない間引き処理であるため、高周波成分の折り返しによるエイリアジング問題が生じるという難点がある。
【００３３】
すなわち、平均的にはＭＴＦは高いが、画素加算のなされないＧ成分が、出力解像度（元解像度の２／３）を中心に、それより低周波側に全くＭＴＦを落とさずに激しく折り返して、輝度のエイリアジングを生成し、ブロック状のガタガタ構造を生みやすくなっている。図６は、この様子を説明している。
【００３４】
上述のＧ成分の議論に対し、ＲとＢ成分については、本実施の形態では２画素離れた縦方向の加算を行っているが、Ｒ，Ｂ成分としてはこの距離が全画素ベイヤ配列面内での最短距離に相当するので、Ｒ，Ｂ成分の高周波折り返しを抑制する、すなわち色モアレを抑制する意味では最良の選択となっている。また、Ｒ，Ｂ成分の平滑化の仕方は、輝度解像へはほとんど影響を与えない。
【００３５】
２）Ｒ，Ｂの色ずれ補正処理
画素加算によってＲ，Ｇ，Ｂ成分の重心位置は相互に位相がずれて矩形格子をなさない。上記の通り、メモリ上は強制的に矩形格子のベイヤ配列となるように押し込めているのであるが、これをそのままデモザイク処理（補間処理）をすると色ずれが偽色となって現れる。すなわち、横縞線のエッジ部に赤色や青色の偽色が、局所的にあたかもレンズの倍率色収差と同じような見えの色づき現象として生じたり、縦縞線のエッジ部に緑色の偽色が同様な色づき現象として生じたりする。
【００３６】
したがって、本実施の形態では、ＲＧＢ間の重心を矩形格子に合わせる補正処理を、加算後のベイヤ配列に対して行う。Ｇ成分を基準に考えれば、Ｇ成分の生成される位置は均等に矩形格子状に並んでいる。これに対し、上述のような方向にＲ、Ｂ成分を画素加算した場合は、Ｂ成分が全画素に対して左に１／２画素、下に１／２画素ずれており、Ｒ成分は全画素に対して左に１／２画素、上に１／２画素ずれている。
【００３７】
通常、このような変位処理として同じ色面内の隣接同色画素４点を用いて、間の点を予測するキュービック補間が考えられる。しかし、同じ色面内のキュービック補間は、このようなデモザイク前のサブピクセル単位の予測には適していないということが実験的に判った。そこで、ここでは、他の色面（Ｇ面）から高周波成分を抽出して、Ｒ，Ｂ面の微細な凹凸情報を予測する手法を採用する。すなわち、加算後にｉ行、ｊ列目に存在するＢ成分に対しては以下の式で右上方向への補正をする。
B'[i,j]=(7*B[i,j]+B[i-2,j])/8+δG
ただし
δG=   +(1/2)*{(1/2)*(G[i,j-1]-(G[i-1,j]+G[i+1,j-2])/2)/4
+(1/2)*(G[i,j-1]-(G[i-1,j-2]+G[i+1,j])/2)/4}
+(1/2)*{(1/2)*(G[i,j+1]-(G[i-1,j+2]+G[i+1,j])/2)/4
+(1/2)*(G[i,j+1]-(G[i-1,j]+G[i+1,j+2])/2)/4}
【００３８】
上記式の(7*B[i,j]+B[i-2,j])/8は、縦方向へずらすことのみ考慮したものである。また、δＧはＲ，Ｂ面の変位後の目的位置における微細な凹凸情報を予測する式であり、Ｇ面の２次微分によって取得する。ここで、最初のＢ成分の平均項に対しても横方向へずらすことも考慮すると次式の通りとなる。
B'[i,j]={(3/4)*(7*B[i,j]+B[i-2,j])/8+(1/4)*(7*B[i,j+2]+B[i-2,j+2])/8}+δG
【００３９】
あるいは、次式のように、Ｒ，Ｂ面の微細な凹凸情報のみを考慮した補正式で右上変位したものであってもよい。
B'[i,j]=B[i,j]+δG
【００４０】
同様に加算後にｉ行、ｊ列目に存在するＲ成分に対しては以下の式で右下方向への補正をする。δＧは変位後の目的位置における凹凸情報なので、Ｒ成分に対しては右下変位の効果として作用する。
R'[i,j]=(7*R[i,j]+R[i+2,j])/8+δG
もしくは
R'[i,j]={(3/4)*(7*R[i,j]+R[i+2,j])/8+(1/4)*(7*R[i,j+2]+R[i+2,j]+2)/8}+δG
もしくは
R'[i,j]=R[i,j]+δG
【００４１】
図７は、上記Ｒ，Ｂの色ずれ（位置ずれ）補正処理の様子を説明する図である。図７（ａ）は、前述した図３と同じ内容であるが、Ｇの加算による重心点が示されている。図７（ｂ）は、Ｒ、Ｇ、Ｂをそれぞれ加算した場合の縦方向（垂直方向）の重心位置の関係を示す図である。図７（ｃ）は、Ｒ、Ｇ、Ｂをそれぞれ加算した場合の重心位置および補正すべき方向が示されている。図７（ａ）（ｂ）（ｃ）ともに、位置関係が相関するように記載されている。
【００４２】
図７（ｃ）において、Ｒ、Ｇ、Ｂの加算後の値を使用して、Ｇについてはそのままを基準としてベイヤ配列の矩形格子（正方格子）を形成するように、Ｒ、Ｂを補正する。図７（ｃ）において、B[i,j]を矢印方向に補正する計算式が上記で説明したB'[i,j]の式である。
【００４３】
こうして、縦線・横線のエッジ部に色つきが生じるのを防いだ補正ベイヤ配列を出力する。
【００４４】
３）デモザイク処理（補間処理）
デモザイク処理としては多くの従来技術が存在するが、その中でもナイキスト周波数を分解する能力があるものを本実施形態の加算方式の場合は重要になる。なぜならば、出力解像度域内で高いＭＴＦを保っているので、一旦、垂直１／２解像度にしたときに元解像度の１／２の垂直周波数で色モアレの発生源ができるからである。これらを効果的に抑制する手法として、本願と同一発明者のＵＳＰ６，８３６，５７２号に示されるような、方向類似性を見るときに異なる色成分間による異色間類似度を合わせて用いて、ナイキスト周波数を分解させる技術がある。
【００４５】
また、更に本願と同一発明者によって示された、これらの異色間類似度の使い方を高性能化するとともに色差面を適応的に補正する、色判定法を用いた日本特許３９８５６７９号や色勾配判定法を用いたＵＳＰ７，３９１，９０３号がある。記述を簡潔にするため、これら中でも必要最低限の部分だけを最も簡略な形態でここに示しておく。正確にはこれらの文献を参照することとする。
【００４６】
ここからは、記号[i,j]は、上述まで用いていたｉ行ｊ列という意味ではなく、ｘ座標がｉ番目、ｙ座標がｊ番目と定義を変える。
【００４７】
１．方向判定
Ｒ位置、Ｂ位置の画素[i,j]に対して、縦方向の類似度Cv[i,j]、横方向の類似度Ch[i,j]を算出して、方向指標HV[i,j]に類似性判定結果を代入する。
【００４８】
（１）類似度算出
Cv[i,j]={|G[i,j-1]-G[i,j+1]|+(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2}/2
Ch[i,j]={|G[i-1,j]-G[i+1,j]|+(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2}/2
第１項が同色間類似度、第２項が異色間類似度に相当し、第２項は最隣接画素間の相関を見ているためナイキスト周波数を分解する能力がある。
【００４９】
（２）類似性判定
if  |Cv[i, j]-Ch[i, j]|≦Th      HV[i, j]=0    （方向不明）
else if  Cv[i, j]<Ch[i, j]       HV[i, j]=1  （縦相関）
else                             HV[i, j]= -1       （横相関）
ここで、閾値Ｔｈの値は、２５６階調の場合は３〜２０程度の値をとる。
【００５０】
２．Ｇ補間
Ｒ位置、Ｂ位置の画素[i,j]に対して、類似性判定結果に基づき、ＲないしＢ成分の凹凸情報を利用しながら補間値を算出する。図８は、下記式を説明する図である。
HV[i,j]=1の場合             G[i,j]=Gv[i,j]
HV[i,j]=-1の場合            G[i,j]=Gh[i,j]
HV[i,j]=0の場合             G[i,j]=(Gv[i,j]+Gh[i,j])/2
ここで
Gv[i,j]=(G[i,j-1]+G[i,j+1])/2+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4
Gh[i,j]=(G[i-1,j]+G[i+1,j])/2+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4
【００５１】
３．Ｒ補間
Ｒ位置[i,j]以外の画素[i+1,j]、[i,j+1]、[i+1,j+1]に対してＧ成分の凹凸情報を利用しながら補間値を算出する。図９は、下記式を説明する図である。
R[i+1,j]=(R[i,j]+R[i+2,j])/2+(2*G[i+1,j]-G[i,j]-G[i+2,j])/2
R[i,j+1]=(R[i,j]+R[i,j+2])/2+(2*G[i,j+1]-G[i,j]-G[i,j+2])/2
R{i+1,j+1]=(R[i,j]+R[i+2,j]+R[i,j+2]+R[i+2,j+2])/4
＋(4*G[i+1,j+1]-G[i,j]-G[i+2,j]-G[i,j+2]-G[i+2,j+2])/4
【００５２】
４．Ｂ補間
Ｂ位置[i,j]以外の画素[i+1,j]、[i,j+1]、[i+1,j+1]に対してＧ成分の凹凸情報を利用しながら補間値を算出する。図９は、下記式を説明する図である。
B[i+1,j]=(B[i,j]+B[i+2,j])/2+(2*G[i+1,j]-G[i,j]-G[i+2,j])/2
B[i,j+1]=(B[i,j]+B[i,j+2])/2+(2*G[i,j+1]-G[i,j]-G[i,j+2])/2
B{i+1,j+1]=(B[i,j]+B[i+2,j]+B[i,j+2]+B[i+2,j+2])/4
＋(4*G[i+1,j+1]-G[i,j]-G[i+2,j]-G[i,j+2]-G[i+2,j+2])/4
【００５３】
５．色差面補正
ＲＧＢをＹＣｂＣｒに変換して、日本特許３９８５６７９号の色判定法やＵＳＰ７，３９１，９０３号の色勾配判定法を用いて適応的な色差面補正を加える。
【００５４】
４）変倍処理
こうして出来上がった縦（垂直）１／２、横（水平）等倍の画素密度の画像に対して、縦横均等にかつ全体で１／２程度の画素数になるように変倍処理を行う。具体的には、ＲＧＢ面各々に対して、横方向に３／４倍、縦方向に３／２倍の画素密度になるような一次元変倍処理を行う。この結果、出力画素数は、全画素数に対して以下のような式により９／１６と約半分の画素数となる。
（１/２)（３／４）（３／２）＝９／１６
【００５５】
一次元変倍の例としては以下のような構文で表されるフィルタが考えられる。
横３／４変倍：一次元線形変倍
入力参照４画素に対し出力３画素となるようなフィルタを４画素単位で繰り返す。
for j
(1)(27/32,5/32,0,0)
(2)(0,1/2,1/2,0)
(3)(0,0,5/32,27/32)
set j=j+4
縦３／２変倍：一次元キュービック変倍
入力参照６画素に対し出力３画素となるようなフィルタを２画素単位で繰り返す。
for i
(1)(-5/432,57/432,405/432,-25/432,0,0)
(2)(0,-1/16,9/16,9/16,-1/16,0)
(3)(0,0,-25/432,405/432,57/432,-5/432)
set i=i+2
【００５６】
［２］高解像度モード（全画素モード）
全画素のベイヤ配列を読み出し、高速連写低解像度モードと同じデモザイク回路を通して、「３）デモザイク処理（補間処理）」と同様な処理を行ってＲＧＢ補間画像を得る。読み出し制御部３は、この場合全画素を読み出す制御を行い、加算処理は行わない。また、「４）変倍処理」は不要である。
【００５７】
［３］低速連写低解像度モード
「［２］高解像度モード（全画素モード）」と同様な処理によりＲＧＢ補間画像を得た後、変倍処理によって、出力画素数が１／２程度になるような変倍処理を行う。高速性が要求されない場合は、上記のようなＲＧＢ補間画像を得た後に低解像度の画像を生成したほうが、画質的には優れている。なお、変倍処理は高速連写低解像度モードの「４）変倍処理」の横３／４変倍処理と同じ処理を横方向にも縦方向にも行えばよい。
【００５８】
図１１は、上述した［１］高速連写低解像度モード、［２］高解像度モード、［３］低解像度モードの処理の流れを示す図である。図１１（ａ）は［１］高速連写低解像度モードの処理の流れを示す。ステップＳ１において、読み出し制御部３は、画素加算による撮像素子読み出し処理を行う。画素加算は撮像素子２内部の加算回路によって行われる。ステップＳ２において、画像処理部５は、ＡＤ変換後のデータを使用して、Ｒ、Ｂの色ずれ補正を行う。ステップＳ３において、画像処理部５は、デモザイク処理を行う。ステップＳ４において、画像処理部５は、変倍処理を行う。
【００５９】
図１１（ｂ）は［２］高解像度モードの処理の流れを示す。ステップＳ１１において、読み出し制御部３は、全画素読み出し処理を行う。ステップＳ１３において、画像処理部５は、デモザイク処理を行う。
【００６０】
図１１（ｃ）は［２］低速連写低解像度モードの処理の流れを示す。ステップＳ１１において、読み出し制御部３は、全画素読み出し処理を行う。ステップＳ１３において、画像処理部５は、デモザイク処理を行う。ステップＳ１４において、画像処理部５は、変倍処理を行う。
【００６１】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）縦横に画素が配置され、Ｇ成分の画素が半分の画素密度で斜め方向に隣接するように配置され、Ｂ成分の画素とＲ成分の画素がその半分の画素密度で均等に配置されたベイヤ配列のカラーフィルタを有する撮像素子において、第１行目と第２行目に存在するＧ成分を斜め１３５度方向に沿って２画素ずつ画素加算し、第１行目と第３行目に存在するＢ成分を縦方向に２画素ずつ画素加算し、２画素ずつ画素加算されたＧ成分とＢ成分を１つの行として出力し、第３行目と第４行目に存在するＧ成分を、第１行目と第２行目との間で行った方向と直交する斜め４５度方向に沿って２画素ずつ画素加算し、第２行目と第４行目に存在するＲ成分を縦方向に２画素ずつ画素加算し、２画素ずつ画素加算されたＲ成分とＧ成分を１つの行として出力し、これらの処理を４行単位に繰り返すことによって、元の撮像素子と同じベイヤ配列を持つ、たて方向に１／２間引かれた撮像素子出力を生成するようにした。
【００６２】
これにより、輝度のエイリアジングが目立ちにくく、かつ鮮鋭感、解像感の高い静止画画質にも適した撮像素子出力を得ることができる。
【００６３】
具体的には、ベイヤ配列の輝度を担うＧ成分を最短に隣接する斜め方向に行単位で交互にその方向を直交する方向と交代させながら画素加算を行うので、画素加算によるＭＴＦ低下の周波数帯を平均的に出力解像度のナイキスト周波数と一致させることができる。また、出力解像度内のＭＴＦを高く保ったまま、高周波折り返し成分の出力解像度域内への影響も少なく、輝度モアレ・偽解像が極めて抑制された滑らかな解像を実現することができる。
【００６４】
また、ベイヤ配列からベイヤ配列への変換を基本とするので、元画像をそのまま使用する高解像度モードの画質にも優れ、高速連写低解像度モードと高解像度モードとの間でデモザイク回路も共用できる。更に、画素加算の方式が２画素のみを非常に少ないパターン数で実現するので撮像素子回路制御も簡便になる。また、その後の画像処理により、Ｒ、Ｂ成分の高周波成分の低周波への折り返しによる色モアレ、偽色の発生を十分に抑制するので、輝度・色差ともに静止画品質に見合った高精細な低解像度モードの画質を提供することができる。
【００６５】
（２）Ｇ成分とＲ、Ｂ成分間の画素加算方法の違いによって生じた、Ｇ成分の重心位置に対するＢ成分とＲ成分の重心位置の縦横格子からの空間的なずれを補正するようにした。すなわち、画素加算によってＲ，Ｇ，Ｂ成分の重心位置が相互に位相がずれて矩形格子をなさないようになっている状態を、矩形格子をなすように補正するようにした。これにより、縦線・横線のエッジ部に色つきが生じるのを防いだベイヤ配列を出力することができる。
【００６６】
（３）Ｇ成分の重心位置に対するＢ成分とＲ成分の重心位置の縦横格子からの空間的なずれを、Ｂ成分とＲ成分に対して、Ｇ成分の色情報を用いて補正するようにした。具体的には、Ｇ成分面から得られるＧ成分の凹凸情報を用いて、Ｂ成分とＲ成分を補正するようにした。これにより、縦線・横線のエッジ部に色つきが生じるのをより確実に防いだベイヤ配列を出力することができる。
【００６７】
（４）各画素が、Ｇ成分および重心位置が補正されたＲ、Ｂ成分のいずれかを有する撮像素子データに対し、各々の画素にＲＧＢの全ての色成分が揃うように色補間処理を行うようにした。このときの色補間方法は、撮像素子データ面上で異なる色成分間の類似度（異色間類似度）を算出し、算出した類似度に基づいて類似する方向を判定し、類似性の強い方向から色成分を補間するようにした。すなわち、ナイキスト周波数を分解する能力がある補間方法を採用するようにした。このような補間方法は、本実施の形態の低解像度の出力解像度域内で高いＭＴＦを保つ解像度変換方法に適し、色モアレの発生源を効果的に抑制することができる。
【００６８】
（５）本実施の形態は上記のように構成するので、デモザイク回路（補間回路）は従来からのＡＳＩＣやＤＳＰ、ＦＰＧＡ等のデジタル信号処理回路を使うことができる。また、撮影モードとして新たに高速連写低解像度モード（画素加算モード）を設けることにより、撮像素子ではそれ用の加算回路を設け、さらに読み出し制御部３を設け、画像処理部５のデジタル信号処理回路には「２）Ｒ、Ｂの色ずれ補正」によりベイヤ配列データを補正する回路を別に設けるだけでよい。したがって、従来の信号処理回路はほとんど変更する必要はない。
【００６９】
（６）なお、上述してきた発明の実施形態では、従来技術に比べ、輝度解像力が高く、鮮鋭感の高い画質が得られる分、多少色モアレが生じやすいというトレードオフが生じる。しかし、現在の一眼レフカメラでは画素ピッチが６μｍ／ｐｉｘｅｌから更にどんどんと小さくなる世界に入りつつあり、ナイキスト周波数におけるレンズのＭＴＦがどんどん下がる傾向にある。従って、レンズＭＴＦの低下を救済する意味では本実施の形態は非常に整合が取れた解決手段と言える。また、ＭＴＦが全体的に下がれば、色モアレは生じにくく、実験的に一眼レフカメラのレンズＭＴＦ特性の場合、少なくとも４μｍ／ｐｉｘｅｌ以下の環境では如何に高性能レンズを付けても実質、問題のない範囲にあることを確認した。
【００７０】
したがって、このような画素加算が求められる環境に突入すればするほど、本実施形態の画素加算方式は、レンズのＭＴＦ特性との整合性の高い最適な解決手段を、従来に比べ提供しているといえる。いいかえると、従来の画素加算によるＭＴＦ低下の損傷の大きい方式は、高画素数・微細画素ピッチ化していったときのレンズＭＴＦ特性との相性が悪く、また、従来の画素加算の仕方によって生み出される輝度面の偽解像・解像モアレは、レンズＭＴＦ特性が低下しても、消されるほどには大きく作用しない。一方の色モアレは、ナイキスト周波数を分解する能力のあるデモザイク処理を採用していれば、レンズのＭＴＦ低下で容易に消滅する。なお、本実施形態の画素加算方式の画質は、一眼レフレンズの場合、４μｍ／ｐｉｘｅｌにおいて、特許文献３の画素加算方式とほぼ同等性能にあることを実験的に確認した。なお、このような作用は、一眼レフカメラに限らず、コンパクト系カメラや動画カメラの場合についても当てはまる。
【００７１】
−第２の実施の形態−
第１の実施形態では、Ｇ成分を斜め方向に加算するのに対して、ＲとＢ成分は縦方向に加算している。第２の実施形態では、第１の実施形態のように直交性のない２つの異なる方向に加算することが、配線構造の複雑さからフォトダイオード部の受光面積の割合低下への影響等が大きすぎると判断された場合に、次善策として対処する方法を示す。
【００７２】
第２の実施の形態のデジタルカメラ１００は、第１の実施の形態と同様な構成であるのでその説明を省略する。また、第２の実施の形態のデジタルカメラ１００も、第１の実施の形態と同様に、撮影モードとして、［１］高速連写低解像度モード、［２］高解像度モード、［３］低解像度モードの３つのモードを有する。
【００７３】
［１］高速連写低解像度モード（画素加算モード）
１）撮像素子の読み出し
図１２は、第２の実施の形態における画素加算の様子を説明する図である。図のように全画素面の４行を１つの単位として、４行から垂直方向に１／２間引かれた低解像度のベイヤ配列を出力する。
【００７４】
具体的には、第１行目のＧ画素と第２行目のＧ画素を斜め１３５度方向に加算して、その結果を第１行目のＧ画素のメモリにを蓄える。Ｂ成分については、第１行目のＢ画素をそのまま第１行目のＢ画素のメモリに蓄える。一方、第３行目のＧ画素と第４行目のＧ画素は斜め４５度方向に加算して、その結果を第４行目のＧ画素のメモリに蓄える。Ｒ成分については、第４行目のＲ画素をそのまま第４行目のＲ画素のメモリに蓄える。
【００７５】
こうして得られたＧ成分の加算結果とＲ，Ｂ成分の間引き結果を、第１行目と第４行目から水平方向に読み出し、水平解像度が元画像と同じで垂直解像度が１／２に間引かれたベイヤ配列を生成する。
【００７６】
２）Ｒ，Ｂの色ずれ補正処理
第１の実施形態では、Ｂ成分は加算によってＧ成分の重心位置よりも左下方向に、Ｒ成分は左上方向にずれ、Ｂ成分は右上方向に、Ｒ成分は右下方向に補正する例を示した。しかし、第２の実施形態では、Ｒ，Ｂ成分の加算を行わないので、上下方向に関して重心は第１の実施形態とは逆方向に振れる。すなわち、Ｂ成分は左上方向に、Ｒ成分は左下方向に振れるので、それらを逆補正する式は第１の実施形態とは少し異なる（図１２（ｂ）参照）。
【００７７】
第１の実施形態のＧ成分による補正項は、上に振れたものも下に振れたものも中央に戻す役割を果たすとともに左方向に振れた画素を中央に戻す役割をも果たしているので、今回もこの部分の式は変えなくてよい。変更を必要とするのはＲ，Ｂ各々の色成分の上下方向への変位の役割を果たす第一項の平近項の参照する方向を変える部分である。すなわち、以下のようになる。
【００７８】
加算後にｉ行、ｊ列目に存在するＢ成分に対しては下式で右下方向への補正をする。δGは、第１の実施の形態と同様な補正項である。
B'[i,j]=(7*B[i,j]+B[i+2,j])/8+δG
【００７９】
加算後にｉ行、ｊ列目に存在するＲ成分に対しては下式で右上方向への補正をする。
R'[i,j]=(7*R[i,j]+R[i-2,j])/8+δG
【００８０】
このようにして色ずれ補正されたベイヤ配列の画像データが出力されると、第１の実施の形態と同様に、「３）デモザイク処理（補間処理）」、「４）変倍処理」が行われ、高速連写低解像度モード（画素加算モード）で使用される低解像度の画像が出力される。
【００８１】
［２］高解像度モード、および［３］低速連写低解像度モードは、第１の実施の形態と同様である。
【００８２】
以上説明した第２の実施の形態によれば、以下のような作用効果を得ることができる。
（１）第１の実施の形態と異なり、第１行目と第２行目に存在するＧ画素を斜め１３５度方向に沿って２画素ずつ画素加算し、２画素ずつ画素加算されたＧ画素と第１行目に存在するＢ画素とを合わせて１つの行として出力するよう制御し、第３行目と第４行目に存在するＧ画素を、第１行目と第２行目との間で行った方向と直交する斜め４５度方向に沿って２画素ずつ画素加算し、第４行目に存在するＲ画素と前記２画素ずつ画素加算されたＧ画素とを合わせて１つの行として出力するよう制御するようにした。すなわち、Ｇ画素のみ加算を行い、Ｂ画素およびＲ画素は加算を行わないようにした。
【００８３】
これにより、第２の実施形態では、輝度成分に関しての効果は第１の実施形態と全く同様である。異なるのは色モアレ対策が第１の実施形態よりも多少劣る点だけである。その分、回路的な配線の実現の容易性やフォトダイオード部の受光面積の増加に利点を与えている。その他の利点は全て第１の実施形態を踏襲する。
【００８４】
―変形例―
なお、上述した実施の形態は、以下のように変形することもできる。
（１）上記実施の形態では、図２に示すようなベイヤ配列のカラーフィルタが設けられた撮像素子２の例で説明した。しかし、上述の記載は、全画素モードがベイヤ配列を４５度回転させた配列（ハニカム配列と呼ばれたりもする）や、ベイヤ配列の原色の一部乃至は全てが補色（シアン、マゼンタ、イエロー）に置き換わったような配列であっても同様に適用することができる。
【００８５】
なお、全画素モードがベイヤ配列を４５度回転させた配列（ハニカム配列）の場合、この撮像素子を４５度回転させて見れば、上記説明したような、縦横に画素が配置され、Ｇ成分の画素が半分の画素密度で斜め方向に隣接するように配置され、Ｂ成分の画素とＲ成分の画素がその半分の画素密度で均等に配置されたベイヤ配列のカラーフィルタを有する撮像素子と言える。
【００８６】
（２）上記実施の形態では縦（垂直）方向に間引く例を示したが、横（水平）方向に間引く場合にも上記説明した内容は適用できる。ただし、横（水平）方向に間引く場合も、横（水平）方向に間引くべき撮像素子を９０度回転して考えれば、上記で説明した内容がそのまま適用できる。すなわち、ハニカム配列の撮像素子や横（水平）方向に間引くべき撮像素子も、その撮像素子を４５度や９０度回転して考えれば、すべて上記説明した内容がそのまま適用できる。
【００８７】
（３）上記実施の形態では、すべてデジタルカメラ１００内で処理する例で説明をした。しかし、「２）Ｒ、Ｂの色ずれ補正処理」までを行ったＲＡＷデータをデジタルカメラ１００から外部へ出力し、「３）デモザイク処理（補間処理）」以降をデジタルカメラ１００外部のパソコンなどで実行するようにしてもよい。また、「２）Ｒ、Ｂの色ずれ補正処理」以降からデジタルカメラ１００外部のパソコンなどで実行するようにしてもよい。
【００８８】
（４）上記実施の形態では、撮影モードとして、［１］高速連写低解像度モード、［２］高解像度モード、［３］低速連写低解像度モードの３つのモードを有する例を説明した。しかし、高速連写低解像度モードで生成する低解像度の画像は、必ずしも連写にのみ使用されるものではない。連写は一例であり、連写以外にも、低解像度の画像でよいが、生成スピードに高速性が要求されるすべての応用に使用できる。
【００８９】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【符号の説明】
【００９０】
１  撮影レンズ
２  撮像素子
３  読み出し制御部
４  ＡＤ変換部
５  画像処理部
６  制御部
１０  メモリカード
１００  デジタルカメラ
【図１】
2010193200.tif 000003
【図２】
2010193200.tif 000004
【図３】
2010193200.tif 000005
【図４】
2010193200.tif 000006
【図５】
2010193200.tif 000007
【図６】
2010193200.tif 000008
【図７】
2010193200.tif 000009
【図８】
2010193200.tif 000010
【図９】
2010193200.tif 000011
【図１０】
2010193200.tif 000012
【図１１】
2010193200.tif 000013
【図１２】
2010193200.tif 000014