(57)【特許請求の範囲】
【請求項１】
予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、
生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算する画素加算手段と、
画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、
を備えた撮像装置。
【請求項２】
前記ライン画像データ生成手段は、前記基本配列パターン内において前記同一配列ラインが複数組存在する場合、前記第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成する
請求項１記載の撮像装置。
【請求項３】
前記ライン画像データ生成手段は、前記基本配列パターン内において前記同一配列ラインが複数組存在する場合、全ての組の同一配列ラインのライン画像データを各々生成し、
前記画素加算手段は、前記全ての組毎に、前記同一配列ラインのライン画像データの前記第１の色の画素同士を画素加算する
請求項１又は請求項２記載の撮像装置。
【請求項４】
前記ライン画像データ生成手段は、前記第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成する
請求項１〜請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記ライン画像データ生成手段は、前記撮像素子から前記複数の画素における画素信号を読み出す前記設定された周期として、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインの前記画素信号を読み出して前記ライン画像データを生成する
請求項１〜請求項４の何れか１項に記載の撮像装置。
【請求項６】
前記第１のフィルタは、前記カラーフィルタ面内において、前記第１の方向と、前記第２の方向と、前記第１の方向及び前記第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、
前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内において、前記第１の方向及び前記第２の方向の各ライン内に１つ以上配置された
請求項１〜請求項５の何れか１項に記載の撮像装置。
【請求項７】
前記カラーフィルタは、前記第１のフィルタからなる２×２画素に対応する正方配列を含む
請求項１〜請求項６の何れか１項に記載の撮像装置。
【請求項８】
前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）である
請求項１〜請求項７の何れか１項に記載の撮像装置。
【請求項９】
前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
請求項８記載の撮像装置。
【請求項１０】
前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、
前記カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に前記第１の方向及び前記第２の方向に配列されて構成されている
請求項８記載の撮像装置。
【請求項１１】
前記カラーフィルタは、前記基本配列パターンの中心に対して点対称である
請求項１〜１０の何れか１項に記載の撮像装置。
【請求項１２】
予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の第１の同一配列ラインと、前記第１の同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる複数の第２の同一配列ラインとを少なくとも含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、前記読み出した画素信号から、前記配列ラインのうち前記第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するライン画像データ生成手段と、
前記ライン画像データ生成手段により生成したライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、
を備えた撮像装置。
【請求項１３】
予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
を備えた撮像装置の制御方法であって、
前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出し、
前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成し、
生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算し、
画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出する
を備えた撮像装置の制御方法。
【請求項１４】
予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、
前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、
を備えた撮像装置を制御するコンピュータに、
前記撮像素子から、前記複数の画素における画素信号を設定された周期で読出すステップと、
前記読み出した画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算するステップと、
画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、
を含む処理を実行させるための制御プログラム。
【請求項１５】
コンピュータに、
予め定めた第１の方向及び前記第１の方向と交差する第２の方向に配列された複数の光電変換素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとを前記第２の方向に少なくとも一つずつ含む前記第２の方向に沿った配列ラインであって、前記第１のフィルタの前記第２の方向における位置が同一となる複数の同一配列ラインと、前記同一配列ラインとは前記第２の方向における前記第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、前記複数の画素における画素信号を設定された周期で読み出された画素信号から、前記複数の画素のうち前記基本配列パターン内における前記同一配列ラインのライン画像データを各々生成するステップと、
生成した前記同一配列ラインのライン画像データのうち少なくとも前記第１の色の画素同士を画素加算するステップと、
画素加算した前記ライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、
を含む処理を実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、及び制御プログラムに係り、特に、カラー撮像素子を備えた撮像装置、撮像装置の制御方法、及び制御プログラムに関する。
【背景技術】
【０００２】
カラー撮像素子で広く用いられている色配列である原色系ベイヤー配列（例えば特許文献１〜３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１３５７９３号公報
【特許文献２】特許第３９６０９６５号公報
【特許文献３】特開２００４−２６６３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のベイヤー配列を採用したカラー撮像素子では、例えば動画用の画像データを生成するために、垂直方向に間引き読み出しする場合、例えば垂直方向に２ｎ（ｎは自然数）ライン毎に１ライン分の画像データを読み出した場合（垂直方向１／２ｎ間引き、偶数間引き）、ＧとＲ又はＧとＢの２色しか含まないライン画像データが読み出されることになり色再現できない。このため、（２ｎ＋１）ライン毎に１ライン分の画像データを読み出す間引き読出し（垂直方向１／（２ｎ＋１）間引き、奇数間引き）が一般的である。また、それ以外の間引き読出しを行う場合においても、色再現を得るために、ＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読み出す必要があり、読出し方が非常に制限される。【０００５】
ところで、ＡＦ（オートフォーカス）方式として、画像のコントラストに基づいてピントを合わせる所謂コントラストＡＦ方式が知られている。このコントラストＡＦ方式では、輝度信号を得るために最も寄与するＧ画素に基づいてＡＦ評価値を算出してピント合わせをする。このため、ＡＦ評価値の精度を高くすることが、ピント合わせの精度を高くすることにつながる。特に、低照度の撮影条件下では輝度値が低く精度の高い評価値が得られずＡＦの精度が悪くなる場合があり、ＡＦ評価値の精度を高くすることが求められる。一般的にコントラストＡＦは、処理高速化のためにスルー画（ライビュー画像）に用いられる間引かれた低解像度の画像に基づいて行われる。【０００６】
しかしながら、従来のベイヤー配列では、間引かれた低解像度画像を生成する際に、前述のようにＧとＲを含む水平ラインとＧとＢを含む水平ラインを交互に読出す必要があり、読出し方が制限されるため、低照度の撮影条件下で精度のよいＡＦ評価値を得ることが困難である、という問題があった。【０００７】
本発明は上記問題点を解決するためになされたものであり、精度良くＡＦ評価値を算出することができる撮像装置、撮像装置の制御方法、及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するライン画像データ生成手段と、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算する画素加算手段と、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、を備えたことを特徴とする。【０００９】
この発明によれば、第１のフィルタの第２の方向における位置が同一となる同一配列ラインのライン画像データを各々生成し、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算してコントラストＡＦの評価値を算出する。これにより、精度の高いＡＦ評価値を得ることができる。【００１０】
なお、ライン画像データ生成手段は、基本配列パターン内において同一配列ラインが複数組存在する場合、第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するようにしてもよい。【００１１】
この発明によれば、第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成して、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算してコントラストＡＦの評価値を算出する。これにより、より精度の高いＡＦ評価値を得ることができる。【００１２】
また、ライン画像データ生成手段は、基本配列パターン内において同一配列ラインが複数組存在する場合、全ての組の同一配列ラインのライン画像データを各々生成し、画素加算手段は、全ての組毎に、同一配列ラインのライン画像データの第１の色の画素同士を画素加算するようにしてもよい。【００１３】
この発明によれば、同一配列ラインが複数組存在する場合には、全ての組の同一配列ラインのライン画像データを各々生成し、全ての組毎に、同一配列ラインのライン画像データの第１の色の画素同士を画素加算する。これにより、より精度の高いＡＦ評価値を得ることができる。【００１４】
また、ライン画像データ生成手段は、第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成するようにしてもよい。
【００１５】
この発明によれば、第１の方向に最も近い位置の同一配列ラインのライン画像データを各々生成して画素加算するので、精度の良いＡＦ評価値が得られる。【００１６】
また、ライン画像データ生成手段は、撮像素子から複数の画素における画素信号を読み出す設定された周期として、複数の画素のうち基本配列パターン内における同一配列ラインの画素信号を読み出してライン画像データを生成するようにしてもよい。【００１７】
また、第１のフィルタは、カラーフィルタ面内において、第１の方向と、第２の方向と、第１の方向及び第２の方向と交差する第３の方向と、の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置された構成としてもよい。【００１８】
この発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ内において、第１の方向〜第３の方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタについては、基本配列パターン内において、第１の方向及び第２の方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。【００１９】
また、カラーフィルタは、第１のフィルタからなる２×２画素に対応する正方配列を含むようにしてもよい。【００２０】
この発明によれば、２×２画素に対応する正方配列の４画素の各画素間の画素値の差分値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。【００２１】
また、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）である構成としてもよい。【００２２】
また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３ ×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成してもよい。【００２３】
この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。【００２４】
また、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、かつ、カラーフィルタは、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に第１の方向及び第２の方向に配列されて構成してもよい。【００２５】
この発明によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。【００２６】
また、カラーフィルタは、基本配列パターンの中心に対して点対称である構成としてもよい。【００２７】
この発明によれば、後段の処理回路の回路規模を小さくすることが可能になる。【００２８】
本発明の撮像装置は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の第１の同一配列ラインと、第１の同一配列ラインとは第２の方向における第１のフィルタの配列が異なる複数の第２の同一配列ラインとを少なくとも含む基本配列パターンが、繰り返し配置されたカラーフィルタと、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、配列ラインのうち第１のフィルタの数が最も多い組の同一配列ラインのライン画像データを生成するライン画像データ生成手段と、ライン画像データ生成手段により生成したライン画像データに基づいて、コントラストＡＦの評価値を算出する算出手段と、を備えたことを特徴とする。【００２９】
この発明によれば、第１のフィルタの数が最も多い組の同一配列ラインのライン画像データに基づいてコントラストＡＦの評価値を算出するので、画素加算せずに、精度良くコントラストＡＦの評価値を算出することができる。【００３０】
本発明の撮像装置の制御方法は、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置の制御方法であって、撮像素子から、複数の画素における画素信号を設定された周期で読出し、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成し、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算し、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出することを特徴とする。【００３１】
本発明の制御プログラムは、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子を含む撮像素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像装置を制御するコンピュータに、撮像素子から、複数の画素における画素信号を設定された周期で読出すステップと、読み出した画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算するステップと、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、を含む処理を実行させることを特徴とする。【００３２】
本発明の制御プログラムは、コンピュータに、予め定めた第１の方向及び第１の方向と交差する第２の方向に配列された複数の光電変換素子と、複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとを第２の方向に少なくとも一つずつ含む第２の方向に沿った配列ラインであって、第１のフィルタの第２の方向における位置が同一となる複数の同一配列ラインと、同一配列ラインとは第２の方向における第１のフィルタの配列が異なる少なくとも１つの配列ラインとを複数含む基本配列パターンが、繰り返し配置されたカラーフィルタと、を備えた撮像素子から、複数の画素における画素信号を設定された周期で読み出された画素信号から、複数の画素のうち基本配列パターン内における同一配列ラインのライン画像データを各々生成するステップと、生成した同一配列ラインのライン画像データのうち少なくとも第１の色の画素同士を画素加算するステップと、画素加算したライン画像データに基づいて、コントラストＡＦの評価値を算出するステップと、を含む処理を実行させることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、精度良くＡＦ評価値を算出することができる、という効果を有する。
【図面の簡単な説明】
【００３４】
【図１】第１実施形態に係る撮像装置の概略ブロック図である。
【図２】第１実施形態に係るカラーフィルタの構成図である。
【図３】第１実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。
【図４】第１実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。
【図５】第１実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。
【図６】第１実施形態に係る画素加算処理について説明するための図である。
【図７】制御部で実行される処理を示すフローチャートである。
【図８】第２実施形態に係るカラーフィルタの構成図である。
【図９】第２実施形態に係るカラーフィルタに含まれる基本配列パターンを示す図である。
【図１０Ａ】第２実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。
【図１０Ｂ】第２実施形態に係るカラーフィルタによるＧ画素の特徴的な配置を示す図である。
【図１１】第２実施形態に係る画素加算処理について説明するための図である。
【図１２】カラーフィルタの変形例を示す図である。
【図１３】カラーフィルタの変形例を示す図である。
【図１４】カラーフィルタの変形例を示す図である。
【図１５】カラーフィルタの変形例を示す図である。
【図１６】カラーフィルタの変形例を示す図である。
【図１７】カラーフィルタの変形例を示す図である。
【図１８】Ｇ画素の多いラインを読み出してＡＦ評価値を算出する場合について説明するための図である。
【図１９】Ｇ画素の多いラインを読み出してＡＦ評価値を算出する場合について説明するための図である。
【図２０】カラーフィルタの変形例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照して本発明の実施形態について説明する。
【００３６】
（第１実施形態）
【００３７】
図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。
【００３８】
光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。
【００３９】
撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。
【００４０】
図２には、本実施形態に係るカラーフィルタの一部を示した。各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
【００４１】
＜カラーフィルタ配列の特徴＞
【００４２】
第１実施形態のカラーフィルタは、下記の特徴(1)〜(6)を有している。
【００４３】
〔特徴(1)〕
【００４４】
カラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のフィルタが、垂直方向及び水平方向に（Ｎ×Ｍ）画素（Ｎ，Ｍ：３以上の整数）の予め定めたパターンで、かつ、緑（Ｇ）のフィルタと、赤（Ｒ）及び青（Ｂ）の少なくとも一方の色のフィルタと、が垂直方向及び水平方向に各々配置された基本配列パターンが、繰り返し配置されたものとなっている。
【００４５】
本実施形態に係る図２に示すカラーフィルタは、一例として６×６画素（Ｎ＝Ｍ＝６）に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが垂直方向（第１の方向）及び水平方向（第２の方向）に繰り返し配置されている。即ち、このカラーフィルタは、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
【００４６】
このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理ともいう。以下同じ）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
【００４７】
〔特徴(2)〕
【００４８】
図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の第１の方向である垂直方向、第２の方向である水平方向、及びカラーフィルタ面内において、第１の方向及び第２の方向と交差する第３の方向、すなわち斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に配置されている。なお、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり、長辺・短辺の長さに応じてその角度は変わりうる。
【００４９】
輝度系画素に対応するＧフィルタが、カラーフィルタ配列の垂直方向、水平方向、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
【００５０】
〔特徴(3)〕
【００５１】
図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。
【００５２】
Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。
【００５３】
これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルターを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【００５４】
〔特徴(4)〕
【００５５】
図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
【００５６】
図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【００５７】
Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【００５８】
また、Ａ配列とＢ配列の４隅のＧフィルタは、図４に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
【００５９】
すなわち、図２に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
【００６０】
いま、図５に示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図５に示す配置になっている。
【００６１】
図５に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。
【００６２】
これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。
【００６３】
いま、図４又は図５に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。判別された相関方向は、同時化処理等を行う際に利用することができる。
【００６４】
〔特徴(5)〕
【００６５】
図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
【００６６】
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
【００６７】
〔特徴(6)〕
【００６８】
図２に示すカラーフィルタ配列を構成する基本配列パターンＰは、Ｇフィルタの水平方向における位置が同一となる、水平方向に沿った同一配列ラインを複数含んでいる。例えば、図６に示すように、垂直方向に１ライン目、３ライン目、４ライン目、６ライン目は、何れも水平方向におけるＧフィルタの位置が同一となっている。また、２ライン目と５ライン目も、水平方向におけるＧフィルタの位置が同一となっている。従って、ＡＦ方式としてコントラストＡＦ方式を採用し、Ｇ画素の画素値に基づいてＡＦ評価値を算出する際には、水平方向におけるＧフィルタの位置が同一の同一配列のライン画像データを読み出して、水平方向における位置が同一のＧ画素同士を画素加算する。これにより、ＡＦ評価値の精度を高めることができる。
【００６９】
撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画像データとして画像処理部２０に出力する。
【００７０】
画像処理部２０は、撮像処理部１６から出力された画像データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画像データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画像データを生成する。そして、生成したＲ，Ｇ，Ｂの画像データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。
【００７１】
駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。
【００７２】
制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。
【００７３】
撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。
【００７４】
撮影モードとしては、静止画を撮影する静止画モードや、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画（ライブビュー画像）を図示しない表示部に出力するスルー動画モード（ライブビューモード）等の動画モードがあるが、撮影モードの種類はこれらに限られるものではない。
【００７５】
次に、本実施形態の作用として、制御部２４で実行される処理について、図７に示すフローチャートを参照して説明する。
【００７６】
なお、図７に示す処理は、例えばユーザーが静止画撮影時にシャッターボタン（またはシャッタースイッチ）を半押しすることにより被写体にピントを合わせようとした場合に実行される。また、以下では、垂直方向において予め定めた位置のライン画像データを読み出す場合、すなわち、垂直方向における予め定めた位置のライン以外のラインを間引いて（除いて）読み出す場合について説明する。また、この場合のライン画像データとは、水平方向に沿って並ぶ画素の画素データの集合である。
【００７７】
まず、ステップ１００では、撮影モードに応じた間引き方法で画像データを読み出すように駆動部２２に指示する。
【００７８】
本実施形態では、撮像素子１４から基本配列パターンＰ内においてＧフィルタの水平方向における位置が同一の水平方向に沿った同一配列ラインのライン画像データを各々読み出すように駆動部２２に指示する（本実施形態では、駆動部２２及び制御部２４が、ライン画像データ生成手段に対応する）。
【００７９】
図６に示すカラーフィルタの場合、基本配列パターンＰ内において１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データは、Ｇフィルタの水平方向における位置が同一である。また、２ライン目と５ライン目のライン画像データも、Ｇフィルタの水平方向における位置が同一である。ここで、１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データの第１の組は、２ライン目と５ライン目のライン画像データの第２の組と比較すると、基本配列パターンＰ内における水平方向のＧ画素の数が多い。従って、本実施形態では、Ｇ画素の数が多い第１の組の４個のラインのライン画像データを読み出すように駆動部２２に指示する。
【００８０】
ステップ１０２では、読み出されたＧフィルタの水平方向における位置が同一配列のライン画像データのＧ画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに基づいて、ＡＦ評価値を算出する処理を実行するよう画像処理部２０に指示する（本実施形態では、画像処理部２０及び制御部２４が、画素加算手段及び算出手段に対応する）。
【００８１】
これにより、図６に示すように、基本配列パターンＰ毎に、１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データの水平方向における位置が同一のＧ画素同士が画素加算されたライン画像データが生成される（第１ライン）。そして、基本配列パターンＰ毎に画素加算されたライン画像データに基づく画像データがＡＦ評価値算出用の画像データとなり、この画像データに基づいて、コントラストＡＦ用のＡＦ評価値が算出される。
【００８２】
このように、Ｇ画素の位置が同一配列のラインの組が複数組存在する場合には、Ｇ画素の数が多い方の同一配列ラインのライン画像データのＧ画素同士を画素加算するので、精度の高いＡＦ評価値を算出することが可能となる。
【００８３】
なお、制御部２４及び画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。
【００８４】
このように、本実施形態では、カラーフィルタが基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列のラインを複数含み、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行するので、精度の高いＡＦ評価値を算出することが可能となる。
【００８５】
なお、上記のように、基本配列パターンＰ内にＧ画素の水平方向における位置が同一となる同一配列ラインが３ライン以上存在する場合に、全ての同一配列ラインのライン画像データの水平方向における位置が同一のＧ画素同士を画素加算するようにしてもよいが、一部の同一配列ラインについて画素加算するようにしてもよい。この場合、少なくとも垂直方向に最も近い位置の同一配列ラインのライン画像データを各々読み出して、水平方向における位置が同一のＧ画素同士を画素加算することが好ましい。これにより、良好な画質の画像が得られる。
【００８６】
また、上記では、Ｇ画素の位置が同一配列のラインの組が複数組存在する場合に、Ｇ画素の数が多い方の同一配列ラインのライン画像データのＧ画素同士を画素加算するようにしたが、例えば図６に示すように、Ｇ画素の数が少ない方の２ライン目と５ライン目の同一配列ラインのライン画像データのＧ画素同士を画素加算する（第２ライン）ようにしてもよい。
【００８７】
また、全ての組毎に、同一配列ラインのライン画像データのＧ画素の画素同士を画素加算するようにしてもよい。すなわち、Ｇ画素の数が多い方の第１の組のライン画像データのＧ画素同士を画素加算した第１ラインのライン画像データと、Ｇ画素の数が少ない第２の組のライン画像データのＧ画素同士を画素加算した第２ラインのライン画像データと、を垂直方向に交互に配置した画像データに基づいてＡＦ評価値を算出するようにしてもよい。
【００８８】
また、本実施形態では、水平方向における位置が同一のＧ画素同士の画素値を単純に加算する場合について説明したが、これに限らず、重み付け加算するようにしてもよい。
【００８９】
また、静止画の撮影時に限らず、動画の撮影時に上記の処理を実行するようにしてもよい。
【００９０】
（第２実施形態）
【００９１】
次に、本発明の第２実施形態について説明する。本実施形態では、カラーフィルタの変形例について説明する。
【００９２】
図８には本実施形態に係るカラーフィルタを示した。同図に示すように、本実施形態に係るカラーフィルタは、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
【００９３】
また、図８に示すカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の垂直方向及び水平方向の各ライン内に配置されている。
【００９４】
また、図８に示すカラーフィルタ配列は、Ｒフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の垂直方向及び水平方向の各ライン内に１つ以上配置されている。
【００９５】
図９は、図８に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
【００９６】
図９に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
【００９７】
Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【００９８】
図１０Ａに示すように、第１実施形態のカラーフィルタは、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。
【００９９】
いま、図１０Ａに示すように、撮像素子１４から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図１０Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ３Ｇ４が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。
【０１００】
従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。
【０１０１】
即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、垂直方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。
【０１０２】
これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化処理等を行う際に利用することができる。
【０１０３】
また、図８に示すカラーフィルタを構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。
【０１０４】
図９に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＢフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。
【０１０５】
また、図８に示すカラーフィルタ配列を構成する基本配列パターンＰは、Ｇフィルタの水平方向における位置が同一となる、水平方向に沿った同一配列ラインを複数含んでいる。例えば、図１１に示すように、垂直方向に１ライン目、３ライン目、４ライン目、６ライン目は、何れも水平方向におけるＧフィルタの位置が同一となっている。また、２ライン目と５ライン目も、水平方向におけるＧフィルタの位置が同一となっている。
【０１０６】
このように本実施形態に係るカラーフィルタは、第１実施形態に係るカラーフィルタの特徴(1)、(3)〜(6)と同じ特徴を有している。
【０１０７】
ここで、図１１に示すように、１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データの第１の組は、２ライン目と５ライン目のライン画像データの第２の組と比較すると、基本配列パターンＰ内における水平方向のＧ画素の数が少ない。従って、本実施形態では、制御部２４は、図７のステップ１００において、Ｇ画素の数が多い第２の組の２個のラインのライン画像データを読み出すように駆動部２２に指示する。
【０１０８】
そして、図７のステップ１０２では、制御部２４は、読み出されたＧフィルタの水平方向における位置が同一配列のライン画像データのＧ画素同士を画素加算する画素加算処理を実行すると共に、画素加算処理後の画像データに基づいて、ＡＦ評価値を算出する処理を実行するよう画像処理部２０に指示する。
【０１０９】
これにより、図１１に示すように、基本配列パターンＰ毎に、２ライン目と５ライン目のライン画像データの水平方向における位置が同一のＧ画素同士が画素加算されたライン画像データが生成される（第１ライン）。そして、基本配列パターンＰ毎に画素加算されたライン画像データに基づく画像データがＡＦ評価値算出用の画像データとなり、この画像データに基づいて、コントラストＡＦ用のＡＦ評価値が算出される。
【０１１０】
このように、Ｇ画素の位置が同一配列のラインの組が複数組存在する場合には、Ｇ画素の数が多い方の同一配列ラインのライン画像データのＧ画素同士を画素加算するので、精度の高いＡＦ評価値を算出することが可能となる。
【０１１１】
なお、図１１に示すように、Ｇ画素の数が少ない方の１ライン目、３ライン目、４ライン目、及び６ライン目のライン画像データのＧ画素同士を画素加算する（第２ライン）ようにしてもよい。
【０１１２】
また、全ての組毎に、同一配列ラインのライン画像データのＧ画素の画素同士を画素加算するようにしてもよい。すなわち、Ｇ画素の数が多い方の第２の組のライン画像データのＧ画素同士を画素加算した第１ラインのライン画像データと、Ｇ画素の数が少ない第１の組のライン画像データのＧ画素同士を画素加算した第２ラインのライン画像データと、を垂直方向に交互に配置した画像データに基づいてＡＦ評価値を算出するようにしてもよい。
【０１１３】
また、カラーフィルタ配列は、上記各実施形態で説明したものに限られるものではなく、以下のようなカラーフィルタ配列の撮像素子を有する撮像装置にも、本発明は適用できる。
【０１１４】
例えば、上記特徴(1)、(2)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１２に示すように、基本配列パターンＰが３×３画素のカラーフィルタ配列がある。このカラーフィルタ配列は、３×３画素のうち中心と４隅にＧフィルタが配置され、残りの５画素にＲまたはＢが同数配置された基本配列パターンが繰り返されたものである。
【０１１５】
また、上記特徴(1)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１３に示すように、基本配列パターンＰが４×４画素のカラーフィルタ配列がある。このカラーフィルタ配列は、４×４画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が４×４画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。
【０１１６】
また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１４に示すように基本配列パターンＰが５×５画素のカラーフィルタ配列がある。このカラーフィルタ配列は、５×５画素のなかの２つの対角線上にＧが配置され、残りの画素位置にＲ、Ｂ画素が５×５画素のなかの水平、及び垂直方向の各ライン内に１つ以上配置されるように配置され、Ｇの数がＲ，Ｂの数より多くなるように設定された基本配列パターンが繰り返されたものである。
【０１１７】
また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１５に示すように基本配列パターンＰが６×６画素のカラーフィルタ配列がある。このカラーフィルタ配列は、ＧがＲまたはＢの外周に矩形状に配置された第１サブ配列と、Ｇが中央部に配置された第２サブ配列とがそれぞれ２つずつ水平方向、垂直方向に交互に互いに隣接するように配置された基本配列パターンが繰り返されたものである。この配列においては、特徴(3)において、Ｒ及びＢもカラーフィルター配列の斜め（ＮＥ，ＮＷ）方向（第３の方向）の各ライン内に１つ以上配置される特徴も有する。
【０１１８】
また、上記特徴(1)、(2)、(3)、(4)、(5)、(6)を有するカラーフィルタ配列として、図１６に示すように基本配列パターンＰが７×７画素のカラーフィルタ配列、図１７に示すように基本配列パターンＰが８×８画素のカラーフィルタ配列等がある。
【０１１９】
これらのカラーフィルタは、特徴(6)を有しているので、水平方向におけるＧ画素の位置が同一配列のライン画像データを読み出してＧ画素同士を画素加算することにより、精度の高いＡＦ評価値を算出することができる。
【０１２０】
なお、同時化処理や動画撮影時の間引き処理等の画像処理の容易さを考慮すると、Ｎ、Ｍは１０以下であることが好ましい。
【０１２１】
また、上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタ、例えば図２０に示すようなカラーフィルタにも適用できる。また、他の色として白色または透明（Ｗ）フィルタを有するカラーフィルタにも本発明を適用できる。例えば図２０のエメラルドに代えてＷフィルタを配置しても良い。この場合、ＷとＧの組み合わせ、又はＷが輝度信号に最も寄与する第１の色となる。
【０１２２】
また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。
【０１２３】
また、上記各実施形態では、垂直方向に予め定めた周期で、水平方向に沿ったライン画像データを読み出す場合について説明したが、水平方向に予め定めた周期で、垂直方向に沿ったライン画像データを読み出す場合にも本発明を適用可能である。
【０１２４】
また、本実施形態では、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列のラインを読み出し、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行する場合について説明したが、画素加算せずに、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列ラインのうち、Ｇフィルタの数が最も多い組の同一配列ラインのライン画像データを読み出して、読み出したライン画像データに基づいて、コントラストＡＦの評価値を算出するようにしてもよい。これにより、画素加算せずに、精度良くコントラストＡＦの評価値を算出することができる。
【０１２５】
例えば、図１８に示すように、垂直方向に１／３間引きでライン画像データを読み出した場合の各ラインは、水平方向におけるＧフィルタの位置が同一となる同一配列ラインのうち、Ｇフィルタの数が最も多い組の同一配列ラインとなる。従って、これらの同一配列ラインのライン画像データを画素加算せずに、これらのライン画像データに基づいてコントラストＡＦの評価値を算出するようにしてもよい。
【０１２６】
また、図１９に示すように、Ｇフィルタの数が最も多い組の同一配列ラインのライン画像データを全て読み出して、これらのライン画像データを画素加算せずに、これらのライン画像データに基づいてコントラストＡＦの評価値を算出するようにしてもよい。
【０１２７】
また、本実施形態では、撮像素子１４から、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列のラインを読み出し、読み出された同一配列のライン画像データの同色画素同士を画素加算する画素加算処理を実行する場合について説明したが、全ライン分の画素の画素信号を読み出して、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列ラインのライン画像データを選択的に使って（その他のラインのライン画像データを使わず又は記憶せず）、これらを画素加算するようにしても良い。また、全ライン分の画素の画素信号を読み出してＲＡＭ等のメモリに一時記憶し、基本配列パターンＰ内においてＧ画素の水平方向における位置が同一となる同一配列ラインのライン画像データを選択的に使って画素加算するようにしても良い（この形態の場合、撮像処理部１６又は画像処理部２０がライン画像データ生成手段に対応する）。
【０１２８】
また、本実施形態では、撮像素子１４から基本配列パターンＰ内における同一配列ラインのライン画像データを各々読み出してライン画像データを生成し、これらを画素加算する場合について説明したが、画素加算は撮像素子１４内で行うようにしても良い。特に、撮像素子１４において読み出した直後に画素加算（画素混合）を行うことで動画の処理時間をより短縮することが可能である（この形態の場合、撮像素子１４及び駆動部２２がライン画像データ生成手段及び画素加算手段に対応する）。
【０１２９】
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１３０】
１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
Ｐ 基本配列パターン
【図１】
0005624227.tif 000002
【図２】
0005624227.tif 000003
【図３】
0005624227.tif 000004
【図４】
0005624227.tif 000005
【図５】
0005624227.tif 000006
【図６】
0005624227.tif 000007
【図７】
0005624227.tif 000008
【図８】
0005624227.tif 000009
【図９】
0005624227.tif 000010
【図１０Ａ】
0005624227.tif 000011
【図１０Ｂ】
0005624227.tif 000012
【図１１】
0005624227.tif 000013
【図１２】
0005624227.tif 000014
【図１３】
0005624227.tif 000015
【図１４】
0005624227.tif 000016
【図１５】
0005624227.tif 000017
【図１６】
0005624227.tif 000018
【図１７】
0005624227.tif 000019
【図１８】
0005624227.tif 000020
【図１９】
0005624227.tif 000021
【図２０】
0005624227.tif 000022