(57)【要約】【課題】撮像画素の画素サイズ縮小による、撮像素子の高画素化、チップサイズ縮小化および画像品質向上を確保しながら、焦点検出画素による高精度な焦点検出性能を確保する。【解決手段】撮像素子２１２に配置される焦点検出画素３１１の画素サイズを、撮像画素３１０の４個分の画素サイズとすることにより、焦点検出性能を確保する。また、撮像素子２１２上で斜め４５度の方向に焦点検出画素３１１を配列することにより、該焦点検出画素３１１の位置の画像データを補完するのに用いる周囲の撮像画素２１２の個数が多く確保される。したがって、焦点検出画素３１１の画素サイズを撮像画素３１０よりも大きくすることに伴う画像品質劣化を防止する。【選択図】図４
2010181485.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる分光感度特性を有し、光学系を通過する光束が形成する像に対応する出力信号を生成する複数種類の撮像画素と、前記光学系を通過する一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とが２次元的に配置された撮像素子と、
前記一対の出力信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段と、
前記複数の焦点検出画素の位置に前記複数種類の撮像画素を配置した場合に該複数種類の撮像画素が生成する出力信号を、前記複数の焦点検出画素の周囲に配置された前記複数種類の撮像用画素の出力信号に基づき補間することにより、補間値を生成する補間手段とを備え、
前記複数種類の撮像画素は所定の配置規則に従って配置され、
前記複数の焦点検出画素の各々は、前記複数種類の撮像画素の各々よりも大きく、前記撮像素子上、斜め方向に連続した配列に従って配置されることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数種類の撮像画素は正方格子を形成するように配置され、
前記複数の焦点検出画素の各々は、前記複数種類の撮像画素のうちの隣接する縦横２画素ずつで形成される４画素全体の大きさと略等しく、
前記斜め方向は、前記正方格子の対角方向であることを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記複数種類の撮像画素は赤画素、緑画素、青画素であるとともに、
前記所定の配置規則はベイヤー配列に基づく配置規則であることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記斜め方向は、前記複数の焦点検出画素の位置に前記複数種類の撮像画素を配置した場合に前記赤画素と前記青画素とが連続して配置される斜め方向であることを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記複数の焦点検出画素の周囲に配置された前記複数種類の撮像画素の出力信号と前記複数の焦点検出画素の出力信号とに基づき前記複数の焦点検出画素の各々の位置に点像が存在するか否かを判定する点像判定手段をさらに備え、
前記補間手段は、前記複数の焦点検出画素の位置に前記所定の配置規則に従って前記複数種類の撮像画素を配置した場合に該複数種類の撮像画素の各々の前記補間値を、前記点像判定手段による判定結果に応じて前記複数の焦点検出画素の周囲に配置された前記複数種類の撮像画素の出力信号に基づき算出することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記複数の焦点検出画素の周囲に配置された前記複数種類の撮像画素の出力信号に基づき前記複数の焦点検出画素の各々の近傍における像の連続性の高い方向を判定する方向判定手段をさらに備え、
前記補間手段は、前記補間値を、前記点像判定手段による判定結果と前記方向判定手段の判定結果とに応じて前記複数の焦点検出画素の周囲に配置された前記複数種類の撮像画素の出力信号と前記焦点検出画素の出力信号とに基づき算出することを特徴とする撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記複数の焦点検出画素の各々の分光感度特性を示す波長領域は、可視光の全波長領域と略等しいことを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記複数の焦点検出画素の各々は、マイクロレンズと、光電変換部と、前記マイクロレンズへ入射した入射光の光量を前記入射光が前記光電変換部へ到達するまでの間に減衰させる減光手段とを備えることを特徴とする撮像装置。
【請求項９】
請求項１に記載の撮像装置において、
前記複数の焦点検出画素の各々は、第１のマイクロレンズと、第１の光電変換部と、第１のマイクロレンズと第１の光電変換部との間に配置されたインナーレンズとから構成され、
前記複数種類の撮像画素の各々は、第２のマイクロレンズと、第２の光電変換部とから構成され、
前記第１の光電変換部と前記第２の光電変換部とは同一平面上に配設されるとともに、
前記第１のマイクロレンズと前記第２のマイクロレンズとは略同一平面上に配設されることを特徴とする撮像装置。
【請求項１０】
請求項１に記載の撮像装置において、
前記複数種類の撮像画素の各々は１つの光電変換部を備え、
前記複数の焦点検出画素の各々は一対の光電変換部を備え、
２次元的に配設された前記複数種類の撮像画素と前記複数の焦点検出画素とが備える複数の光電変換部に対して規則的に配線された信号線が、前記一対の光電変換部の周囲を迂回するように配線されることを特徴とする撮像装置。
【請求項１１】
請求項１〜１０に記載の撮像装置において、
撮像画素の最大長は７μｍであることを特徴とする撮像装置。
【請求項１２】
互いに異なる分光感度特性を有し、光学系を通過する光束が形成する像に対応する出力信号を生成する複数種類の撮像画素と、
焦点検出のため、前記光学系を通過する一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とを備え、
前記複数種類の撮像画素と前記複数の焦点検出画素とが２次元的に配置され、
前記複数種類の撮像画素は所定の配置規則に従って配置され、
前記複数の焦点検出画素の各々は、前記複数種類の撮像画素の各々よりも大きく、斜め方向に連続した配列に従って配置されることを特徴とする撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像素子に関する。
【背景技術】
【０００２】
複数個の焦点検出画素の配列を有する撮像素子を備え、いわゆる瞳分割型位相差検出方式の焦点検出機能を備えた撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８９３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような撮像装置の撮像素子において、焦点検出画素、撮像画素はマイクロレンズとその背後に形成された光電変換部とから構成されている。上述した従来の撮像装置の撮像素子においては、撮像画素の画素サイズが縮められていくと、マイクロレンズの開口径が可視光の波長オーダーに近づくにつれ回折効果が急激に増大するために、焦点検出画素による瞳分割作用が不完全となる。このため、撮像装置は、焦点検出性能低下あるいは焦点検出不能を引き起こしてしまうという問題がある。
【課題を解決するための手段】
【０００５】
請求項１の発明による撮像装置は、互いに異なる分光感度特性を有し、光学系を通過する光束が形成する像に対応する出力信号を生成する複数種類の撮像画素と、光学系を通過する一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とが２次元的に配置された撮像素子と、一対の出力信号に基づいて、光学系の焦点調節状態を検出する焦点検出手段と、複数の焦点検出画素の位置に複数種類の撮像画素を配置した場合に該複数種類の撮像画素が生成する出力信号を、複数の焦点検出画素の周囲に配置された複数種類の撮像用画素の出力信号に基づき補間することにより、補間値を生成する補間手段とを備え、複数種類の撮像画素は所定の配置規則に従って配置され、複数の焦点検出画素の各々は、複数種類の撮像画素の各々よりも大きく、撮像素子上、斜め方向に連続した配列に従って配置されることを特徴とする。
請求項１２の発明による撮像素子は、互いに異なる分光感度特性を有し、光学系を通過する光束が形成する像に対応する出力信号を生成する複数種類の撮像画素と、焦点検出のため、光学系を通過する一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とを備え、複数種類の撮像画素と複数の焦点検出画素とが２次元的に配置され、複数種類の撮像画素は所定の配置規則に従って配置され、複数の焦点検出画素の各々は、複数種類の撮像画素の各々よりも大きく、斜め方向に連続した配列に従って配置されることを特徴とする撮像素子。
【発明の効果】
【０００６】
本発明によれば、撮像装置における良好な画像生成と良好な焦点検出とを可能とする撮像素子と、その撮像素子を備えて良好な画像生成と良好な焦点検出とを行う撮像装置とを提供することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のレンズ交換式デジタルスチルカメラの構成を示す横断面図。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図。
【図３】瞳分割型位相差検出方式の原理について説明する図。
【図４】撮像素子の詳細な構成を示す正面図。
【図５】焦点検出画素と、本来その位置にベイヤー配列の配置規則に従って配置されるべき撮像画素（赤画素、緑画素、青画素）との位置関係を示した図。
【図６】撮像画素と焦点検出画素の正面図。
【図７】緑画素、赤画素および青画素の分光特性を示す図。
【図８】焦点検出画素の分光特性を示す図。
【図９】撮像画素と焦点検出画素の断面図。
【図１０】焦点検出画素による瞳分割型位相差検出方式の原理を説明するための図。
【図１１】撮像画素が受光する撮影光束の様子を説明するための図。
【図１２】撮像画素および焦点検出画素が有する光電変換部の基本回路構成を示す図。
【図１３】撮像素子において、６行６列の撮像画素の領域に対応する半導体基板上の回路配線レイアウトを示した図。
【図１４】デジタルスチルカメラの撮像動作を示すフローチャート。
【図１５】一対のデータのシフト量ｋに対する相関量Ｃ（ｋ）の関係を示す図。
【図１６】６行６列の撮像画素の領域に、右上がり斜め４５度方向に焦点検出画素が配置された場合を示す図。
【図１７】デジタルスチルカメラの撮像動作に伴う焦点検出画素位置の画像データの補間処理を示すフローチャート。
【図１８】撮像素子の詳細な構成を示す正面図。
【図１９】６行６列の撮像画素の領域に、右上がり斜め４５度方向に焦点検出画素が配置された場合を示す図。
【図２０】撮像素子の詳細な構成を示す正面図。
【図２１】撮像素子の詳細な構成を示す正面図。
【図２２】焦点検出画素の断面図。
【発明を実施するための形態】
【０００８】
本発明の一実施の形態の撮像装置および撮像素子を説明する。図１は一実施の形態のレンズ交換式デジタルスチルカメラの構成を示す横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、種々の交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１３】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１４】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１５】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１６】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリア１０１〜１０３は、撮影画面１００において斜め右上がり方向に延在し、各焦点検出エリアの長手方向に焦点検出画素が直線的に配列される。
【００１８】
撮像素子２１２の詳細な構成について説明する前に、特許文献１に開示されている瞳分割型位相差検出方式の原理について、図３を用いて説明する。
【００１９】
撮像面１１０上に焦点検出画素１１１が複数配列される。焦点検出画素１１１はマイクロレンズ１１２と一対の光電変換部１１３，１１４を有している。一対の光電変換部１１３，１１４はマイクロレンズ１１２により撮像面１１０から前方の距離ｄにある測距瞳面１２０に投影され、一対の測距瞳１２３，１２４が形成される。逆に言うと、撮像面１１０から前方の距離ｄにある測距瞳面１２０上を通過する光束のうち測距瞳１２３の光束が、焦点検出画素１１１の光電変換部１１３により受光され、測距瞳面１２０上を通過する光束のうち測距瞳１２４の光束が、焦点検出画素１１１の光電変換部１１４により受光される。焦点検出画素１１１の配列の光電変換部１１３の系列の像信号と、光電変換部１１４の系列の像信号との相対的なズレ量（位相差、像ズレ量）は、撮像面１１０上に像を形成する光学系の焦点調節状態に応じて変化するので、このズレ量を焦点検出画素が生成する一対の像信号を演算処理することによって求めれば、光学系の焦点調節状態を検出することができる。
【００２０】
ところで上記一対の測距瞳１２３，１２４は一対の光電変換部１１３，１１４を単純に投影した分布とはならず、マイクロレンズ１１２の開口径（画素サイズと略一致）に応じた光の回折効果により、ボケを生じて裾野を引いた分布となる。図３において一対の測距瞳１２３，１２４の並び方向と垂直な方向のスリットを用いて一対の測距瞳１２３，１２４を並び方向に走査すると、一対の測距瞳分布１３３，１３４が得られる。上記回折効果により一対の測距瞳分布１３３，１３４は隣接した部分で互いに重畳部１３５を有する。測距瞳分布１３３あるいは１３４の全体に対して、重畳部１３５の割合が増えるほど、一対の測距瞳１２３，１２４の分離が不完全となり、焦点検出性能は低下する。特に光学系の絞り値Ｆ値が大きく、絞り開口径が小さくなってきた場合には、光学系を透過した一対の光束は、一対の測距瞳１２３，１２４内の光軸近傍の領域を通過して焦点検出画素１１１に入射する。このため、重畳部１３５の割合が増え、焦点検出に用いる一対の光束の分離が不完全になるので、焦点検出性能が低下したり、焦点検出が不能になってしまう。
【００２１】
表１は光学系の絞りＦ値と回折による点像分布の広がりの直径との関係を示したものであって、エアリーディスクの式（点像の直径＝１．２２×２×波長×Ｆ値とし、波長＝５００ｎｍとした場合）より求めたものである。明るい光学系（絞りＦ値が小さい）に対しては点像の直径がμｍオーダーとなるために、撮像画素の画素サイズは点像の直径以下にすることにより、解像度の向上が期待できる。
【表１】
2010181485.tif 000003
【００２２】
一方前述したように、画素サイズが小さくなると回折の影響が増大して測距瞳の分離が不完全になるために、焦点検出性能は低下する。
【００２３】
表２は画素サイズ（マイクロレンズの開口径Ｄ）と図３の距離ｄを一対の測距瞳分布の重畳部１３５の寸法ｘで除して求めた重畳部１３５に対応するＦ値との関係を示したものであって、エアリーディスクの式（Ｆ＝Ｄ／（１．２２×２×波長）とし、波長＝５００ｎｍとした場合）より求めたものである。画素サイズ７μｍ以下においては重畳部１３５のＦ値が５．７以下となる。
【表２】
2010181485.tif 000004
【００２４】
多くのカメラ用交換レンズの開放Ｆ値がＦ５．６と設定されているので、これらの交換レンズを使用した場合には、焦点検出画素の画素サイズを７μｍ以下とすると、Ｆ５．６の開口を通る一対の焦点検出光束が全体に亘って重畳するため、焦点検出性能の低下が顕在化してくる。さらに焦点検出画素の画素サイズを４μｍ以下とすると、略Ｆ２．８の開口を通る一対の焦点検出光束が全体に亘って重畳するため、焦点検出性能の低下が顕著になる。
【００２５】
以上のように画素サイズについては、撮像画素と焦点検出画素とに対しては相反する要求があり、撮像画素と焦点検出画素の画素サイズを揃えたままではこの課題を解決することは困難である。
【００２６】
そこで本実施の形態の撮像装置の撮像素子においては、撮像画素の画素サイズを縮小するとともに、焦点検出画素の画素サイズを撮像画素の４個分の画素サイズとすることにより、焦点検出性能を維持する。
【００２７】
図４は、撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０１に対応する位置には撮像画素３１０の４個分の画素サイズを有する焦点検出用の焦点検出画素３１１が、本来赤画素と青画素が連続的に配置されるべき右上がり斜め４５度方向の直線上に連続して配列される。
【００２８】
図５は焦点検出画素３１１と、本来その位置にベイヤー配列の配置規則に従って配置されるべき撮像画素（赤画素、緑画素、青画素）との位置関係を示した図である。焦点検出画素３１１を斜め方向に配置している理由は、焦点検出画素３１１を水平または垂直方向に連続して配置した場合と比較して、焦点検出画素３１１の周囲を取り囲む撮像画素３１０の数が増加するためである。これにより、焦点検出画素３１１の周囲には、焦点検出画素３１１を水平または垂直方向に連続して配置した場合と比較して撮像画素３１０が配置される。これらの撮像画素３１０を用いた画素補間が可能となるため、画素補間の性能が向上し、高品質な画像が得られる。
【００２９】
撮像画素３１０の画素サイズは、理論上の最小値として可視光の波長オーダーの値を取り得るが、ここでは製造技術上の最小限界とされる２μｍとし、焦点検出画素３１１の画素サイズは４μｍとする。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。
【００３０】
撮像画素３１０は、図６（ａ）に示すようにマイクロレンズ１９、光電変換部１１、および色フィルター（不図示）を有している。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列の配置規則に従って配置されている。
【００３１】
焦点検出画素３１１は、図６（ｂ）に示すようにマイクロレンズ１０と一対の光電変換部１３，１４を有している。焦点検出画素３１１には光量低減フィルターとして後述するＮＤフィルター（ニュートラルデンシティフィルター）が配置されており、その分光特性は光電変換を行うフォトダイオードの分光特性と、赤外カットフィルター（不図示）の分光特性とを合わせ持つ（図８参照）。つまり、図７に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、高い分光感度を示す光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括し、可視光のほぼ全波長領域に等しい。
【００３２】
撮像画素３１０の光電変換部１１は、マイクロレンズ１９によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１１の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳（射出瞳径は、例えばＦ１．０）の所定の領域を通過する光束をすべて受光するような形状に設計される。
【００３３】
図９（ａ）、図９（ｂ）は撮像画素３１０と焦点検出画素３１１の断面図（斜め右上がり４５度方向の断面）を並べて示した図である。図９（ａ）の撮像画素３１０では撮像用の光電変換部１１の上方にマイクロレンズ１９が配置され、マイクロレンズ１９により光電変換部１１の形状が上方に投影される。光電変換部１１は半導体回路基板２９上に形成される。光電変換部１１の上には平坦化層３０，３１が形成され、平坦化層３１の上に色フィルター３３が形成され、その上に平坦化層３２が形成され、その上にマイクロレンズ１９が形成される。
【００３４】
図９（ｂ）の焦点検出画素３１１において、光電変換部１３、１４の上方にインナーレンズ３５と上層レンズ３６からなるマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３、１４の形状が上方に投影される。光電変換部１３、１４は半導体回路基板２９上に形成される。光電変換部１３，１４の上には平坦化層３０が形成され、平坦化層３０の上にインナーレンズ３５が形成され、インナーレンズ３５の上には平坦化層３１が形成され、平坦化層３１の上にＮＤフィルター３４が形成され、その上に平坦化層３２が形成され、その上に上層レンズ３６が形成される。
【００３５】
焦点検出画素３１１のマイクロレンズを上層レンズ３６とインナーレンズ３５とに分割して形成している理由は、撮像画素３１０と焦点検出画素３１１の光入射面（マイクロレンズ１９と上層レンズ３６とが形成される面である平坦化層３２の上面）と光電変換面（光電変換部１１，１３，１４が形成される半導体回路基板２９の上面）との間の距離を同一にしたほうが製造上好ましいが、撮像画素３１０のマイクロレンズ１９をそのまま画素サイズを２倍にした焦点検出画素３１１に適用することができないためである。
【００３６】
上記光入射面と光電変換面との間の距離は、隣接画素からの斜入射迷光を防止するために、なるべく短くなるように設定されている。それに合わせて撮像画素３１１のマイクロレンズ１９の曲率半径は焦点距離が概略前記光入射面と光電変換面との間の距離と等しくなるように小さく作られており、マイクロレンズ１９の周辺部ではかなり傾斜を持った形状となる。従って焦点検出画素３１１のマイクロレンズ１０が撮像画素３１０のマイクロレンズ１９と同じ焦点距離を有するように、マイクロレンズ１９と同じ曲率半径を持つレンズをマイクロレンズ１０に適用しても、撮像画素３１０の２倍の画素サイズを持つ焦点検出画素３１１の光入射面の全域をカバーすることができない。
【００３７】
そこで、マイクロレンズ１０を上層レンズ３６とインナーレンズ３５とに分離し、上層レンズ３６の曲率半径を大きくして、上層レンズ３６とインナーレンズ３５との合成焦点距離が概略前記光入射面と光電変換面との間の距離になるようにする。これにより、撮像画素３１０の２倍の画素サイズを持つ焦点検出画素３１１の光入射面の全域をカバーできる。
【００３８】
焦点検出画素３１１にＮＤフィルター３４を設置している理由は、後述するようなライブビュー表示動作を行う場合に、同一の露光量条件において焦点検出画素の出力が撮像画素の出力と略等しいか、それ以下になるように調整するためである。これにより、１回の露光動作において、ライブビュー表示用の画像データと焦点検出用のデータとが良好に得られる。
【００３９】
ＮＤフィルターがない場合、白色の入射光に対する焦点検出画素３１１の出力は、撮像画素３１０の出力に比して、色フィルタの有無により約２倍（白色光を構成する各色のうちで最も出力が高い緑色のフィルタを備える撮像画素３１０の出力に対し、色フィルタの無い撮像画素３１０の出力は約２倍になる点に基づく）、画素サイズの違いにより約４倍、光電変換部の受光領域の広さの違いにより約１／２（焦点検出画素３１１の光電変換部は２分割されている点に基づく）となり、合計で約４倍となる。この場合、撮像画素の出力レベルとして適切なレベルとなるような露光条件（電荷蓄積時間）では、焦点検出画素の出力が飽和する可能性が高い。
【００４０】
そこで、焦点検出画素３１１に光量を１／４〜１／８に減光するＮＤフィルターを設置して、撮像画素３１０と同一露光条件でも焦点検出画素３１１の出力が飽和しないようにする。ここで、光学系の口径蝕の状態によっては、焦点検出画素３１１への入射光が２つの光電変換部１３，１４の一方に集中する場合があるため、ＮＤフィルターの減光率は、１／４〜１／８であることが好ましい。
【００４１】
図１０は、図４に示す撮像素子２１２の焦点検出画素３１１による瞳分割型位相差検出方式の原理を説明するための図である。光学系の射出瞳９０は、交換レンズの予定結像面に配置された焦点検出画素３１１ａ，３１１ｂの前方へ距離ｄの位置に設定される。ここで、距離ｄは、マイクロレンズ５０，６０の曲率半径、屈折率、マイクロレンズ５０，６０と光電変換部との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。図１０には他に、交換レンズの光軸９１、焦点検出画素３１１ａ，３１１ｂにおける対を成す光電変換部（５３，５４）、（６３，６４）、焦点検出用光束７３，７４、８３，８４が示されている。
【００４２】
さらに、測距瞳９３は、光電変換部５３，６３の形状がマイクロレンズ５０、６０により投影されて形成される。同様に、測距瞳９４は、光電変換部５４，６４の形状がマイクロレンズ５０、６０により投影されて形成される。図１７では、光軸９１上にある焦点検出画素３１１ａ（マイクロレンズ５０と一対の光電変換部５３、５４を有する）と、一つおいて隣の焦点検出画素３１１ｂ（マイクロレンズ６０と一対の光電変換部６３、６４を有する）を模式的に例示しているが、撮像面上、周辺に配置された他の焦点検出用画素３１１の各々においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４からマイクロレンズに到来する光束を受光する。焦点検出画素３１１の配列方向は一対の測距瞳９３、９４の並び方向と一致させる。
【００４３】
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。またマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状がマイクロレンズ６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素３１１の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素３１１におけるマイクロレンズと光電変換部の相対的位置関係が決定されている。
【００４４】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【００４５】
このような焦点検出画素３１１を直線状に多数配置し、各焦点検出画素３１１の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４とを各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００４６】
図１１は、図４に示す撮像素子２１２の撮像画素３１１が受光する撮影光束の様子を図１０と比較して説明するための図であって、図１０と重複する部分の説明は省略する。
【００４７】
撮像画素３１０は、マイクロレンズ５９とその背後に配置された光電変換部５１から構成され、光電変換部５１の形状がマイクロレンズ５９から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３、９４に略外接する領域９２を形成する。
【００４８】
光電変換部５１は、領域９２を通過してマイクロレンズ５９へ向う撮影光束７１によってマイクロレンズ５１上に形成される像の強度に対応した信号を出力する。
【００４９】
本実施の形態において、撮像素子２１２は、ＣＭＯＳイメージセンサーとして構成されている。図１２は、撮像画素３１０および焦点検出画素３１１が有する１つの光電変換部の基本回路構成を示す図である。
【００５０】
光電変換部はフォトダイオードＰＤで構成される。ＰＤで蓄積された電荷は浮遊拡散層ＦＤ（フローティングディフュージョン）に蓄積される。ＦＤは増幅ＭＯＳトランジスタＡＭＰのゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。ＦＤはリセットＭＯＳトランジスタＳＷ１を介し、電源電圧Ｖｄｄに接続されている。制御信号ΦＲｎによりリセットＭＯＳトランジスタＳＷ１がＯＮすることにより、ＦＤおよびＰＤに溜まった電荷がクリアされリセット状態となる。ＡＭＰの出力端子は行選択ＭＯＳトランジスタＳＷ２を介して垂直出力線Ｖｏｕｔに接続されており、制御信号ΦＳｎにより行選択ＭＯＳトランジスタＳＷ２がＯＮすることにより、ＡＭＰの出力が垂直出力線Ｖｏｕｔに出力される。なお、ここでは省略したが、ＰＤとＦＤとの間には、転送トランジスタが配置されている。
【００５１】
図１３は、図４に示した撮像素子２１２において、６行６列の撮像画素３１０の領域に対応する半導体基板上の回路配線レイアウトを示した図である。右上がり斜め４５度方向に焦点検出画素３１１が配置され、ＰＤは撮像画素３１０の光電変換部、ＰＤ１とＰＤ２は焦点検出画素３１１の一対の光電変換部、ＣＭは撮像画素３１０の画素回路（図１２のＣＭとして示す破線領域の回路に相当）、ＣＭ１、ＣＭ２は焦点検出画素３１１の一対の画素回路、Ｖｏｕｔ１〜Ｖｏｕｔ６は第１列〜第６列の画素に対応する垂直出力線、Ｈ１〜Ｈ６は第１行〜第６行の画素に対応する水平制御信号線（図１２のＨとして示す破線領域の制御信号線に相当）を示す。
【００５２】
焦点検出画素３１１の一対の光電変換部ＰＤ１、ＰＤ２はＦ値が暗い交換レンズにも対応して焦点検出を行うために極めて狭い間隔で隣接させる必要がある。垂直出力線Ｖｏｕｔ３と水平制御信号線Ｈ３は、その他の垂直制御信号線および水平制御信号線と同様にレイアウトとすると、焦点検出画素３１１の光電変換部ＰＤ１、ＰＤ２との干渉が生じるおそれがあるために、焦点検出画素３１１の光電変換部ＰＤ１、ＰＤ２の周囲を迂回して配線される。これにより、焦点検出画素３１１がない撮像画素３１０のみの撮像素子２１２と同様な画素信号読み出し動作により、高精度に焦点検出画素３１１の信号を読み出すことができる。
【００５３】
図１４は、本実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において撮像画素３１０のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップＳ１２０では、焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。
【００５４】
ステップＳ１３０では、読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップＳ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００５５】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００５６】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。
【００５７】
ステップＳ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素３１１の周囲の撮像画素３１０のデータに基づいて画素補間する。続くステップＳ１９０では、撮像画素３１０のデータおよび補間されたデータからなる画像データをメモリカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００５８】
図１４のステップＳ１３０における像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について以下説明する。
【００５９】
焦点検出画素３１１が検出する一対の像は、測距瞳９３，９４がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列（Ａ１１，・・・，Ａ１Ｍ，Ａ２１，・・・，Ａ２Ｍ：Ｍはデータ数）に対し本出願人の出願に基づく特開２００７−３３３７２０号公報に開示された式（１）により相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ・Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ・Ａ１ｎ＋１｜            （１）
【００６０】
式（１）において、Σ演算はｎについて累積される。ｎのとる範囲は、像シフト量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像シフト量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
【００６１】
式（１）の演算結果は、図１５（ａ）に示すように、一対のデータの相関が高いシフト量（図１５（ａ）ではｋ＝ｋｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。式（２）〜（５）による３点内挿の手法を用いて相関量を連続的とみなした場合の極小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ                                        （２）
Ｃ（ｘ）＝ Ｃ（ｋｊ）−｜Ｄ｜                                 （３）
Ｄ＝｛Ｃ（ｋｊ−１）-Ｃ（ｋｊ＋１）｝／２                     （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）-Ｃ（ｋｊ），Ｃ（ｋｊ−１）-Ｃ（ｋｊ）｝  (５）
【００６２】
式（２）で算出されたシフト量ｘの信頼性があるかどうかは、以下のようにして判定される。図１５（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｘ）の値が大きくなる。したがって、Ｃ（ｘ）が所定の閾値以上の場合は算出されたシフト量ｘの信頼性が低いと判定し、算出されたシフト量ｘをキャンセルする。あるいは、Ｃ（ｘ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｘ）を除した値が所定値以上の場合は、算出されたシフト量ｘの信頼性が低いと判定し、算出されたシフト量ｘをキャンセルする。
【００６３】
あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたシフト量ｘの信頼性が低いと判定し、算出されたシフト量ｘをキャンセルする。図１５（ｃ）に示すように、一対のデータの相関度が低く、シフト範囲ｋｍｉｎからｋｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｘ）を求めることができず、このような場合は焦点検出不能と判定する。算出されたシフト量ｘの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・ｘ                                     （６）
【００６４】
式（６）において、ＰＹは焦点検出画素３１１の斜め４５度方向の画素ピッチ（検出ピッチ）である。式（６）で算出された像ズレ量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝Ｋｄ・ｓｈｆｔ                                        （７）
【００６５】
図１４のステップＳ１８０における焦点検出画素位置の画像データの算出の詳細について、図１６、図１７を用いて以下に説明する。なお、以下の説明においては、ある焦点検出画素３１１に注目した処理について説明するが、同様な処理を全ての焦点検出画素位置の画像データの算出に適用する。
【００６６】
図１６は、６行６列の撮像画素３１０の領域に、右上がり斜め４５度方向に焦点検出画素３１１が配置された場合における撮像画素３１０のデータ（Ｇ１１〜Ｇ６６）と中央の焦点検出画素３１１の一対のデータ（Ａ１、Ａ２）を画素のレイアウトに対応して示している。Ｇ３３ａ、Ｒ３４ａ、Ｂ４３ａ、Ｇ４４ａは中央の焦点検出画素位置に撮像画素が４つ配置されているとした場合の各撮像画素のデータ（後述の処理によって補間されるべき撮像画素データ）である。
【００６７】
図１４のステップＳ１８０より図１７のステップ１８１に進み、焦点検出画素３１１周辺の撮像画素データに基づき色毎に画像の連続性の高い方向の判定を以下のようにして行う。緑色に対する垂直方向評価値Ｓｇｖは、図１６において垂直方向に離れた緑色の画素データの差の絶対値を図１６の範囲で積算した値を所定の規格化定数ｋｇｖで割った値である。差分を取る画素間の距離は全ての場合（緑色の撮像画素の場合は垂直方向に１画素おき、３画素おきの差分が可能）について積算され、焦点検出画素を挟んだ撮像画素間での差分も含まれる。
Ｓｇｖ＝（｜Ｇ１１−Ｇ３１｜＋｜Ｇ２２−Ｇ４２｜＋｜Ｇ１３−Ｇ５３｜＋｜
Ｇ２４−Ｇ６４｜＋｜Ｇ３５−Ｇ５５｜＋｜Ｇ４６−Ｇ６６｜）／ｋｇｖ  （８）
【００６８】
なお規格化定数ｋｇｖ（および後述の規格化定数）は積算個数、差分を取る画素データ間の距離、色に応じて定められた値であり、積算値の値が積算個数、差分する画素間の距離、色に応じて変動しないように規格化するための定数である。
【００６９】
同様にして緑色に対する水平方向評価値Ｓｇｈ、右上がり斜め４５度方向評価値Ｓｇｃ、左上がり斜め４５度方向評価値Ｓｇｄが求まる。
Ｓｇｈ＝（｜Ｇ１１−Ｇ１３｜＋｜Ｇ２２−Ｇ２４｜＋｜Ｇ３１−Ｇ３５｜＋｜
Ｇ４２−Ｇ４６｜＋｜Ｇ５３−Ｇ５５｜＋｜Ｇ６４−Ｇ６６｜）／ｋｇｈ  （９）
Ｓｇｃ＝（｜Ｇ１３−Ｇ２２｜＋｜Ｇ２２−Ｇ３１｜＋｜Ｇ２４−Ｇ４２｜＋
｜Ｇ３５−Ｇ５３｜＋｜Ｇ４６−Ｇ５５｜＋｜Ｇ５５−Ｇ６４｜）／ｋｇｃ（１０）
Ｓｇｄ＝（｜Ｇ１１−Ｇ２２｜＋｜Ｇ１３−Ｇ２４｜＋｜Ｇ３１−Ｇ４２｜＋
｜Ｇ３５−Ｇ４６｜＋｜Ｇ５３−Ｇ６４｜＋｜Ｇ５５−Ｇ６６｜）／ｋｇｄ（１１）
【００７０】
赤色に対する垂直方向評価値Ｓｒｖは、図１６において垂直方向に離れた赤色の撮像画素データの差の絶対値を図１６の範囲で積算した値を所定の規格化定数ｋｒｖで割った値である。
Ｓｒｖ＝（｜Ｒ１２−Ｒ３２｜＋｜Ｒ１４−Ｒ５４｜＋｜Ｒ３６−Ｒ６６｜）／ｋｒｖ                                                     （１２）
【００７１】
同様にして赤色に対する水平方向評価値Ｓｒｈ、右上がり斜め４５度方向評価値Ｓｒｃ、左上がり斜め４５度方向評価値Ｓｒｄが求まる。
Ｓｒｈ＝（｜Ｒ１２−Ｒ１４｜＋｜Ｒ３２−Ｒ３６｜＋｜Ｒ５４−Ｒ５６｜）／ｋｒｈ                                                     （１３）
Ｓｒｃ＝（｜Ｒ１４−Ｒ３２｜＋｜Ｒ３６−Ｒ５４｜）／ｋｒｃ  （１４）
Ｓｒｄ＝（｜Ｒ１４−Ｒ３６｜＋｜Ｒ３２−Ｒ５４｜）／ｋｒｄ  （１５）
【００７２】
赤色と同様にして青色に対する垂直方向評価値Ｓｂｖ、水平方向評価値Ｓｂｈ、右上がり斜め４５度方向評価値Ｓｂｃ、左上がり斜め４５度方向評価値Ｓｂｄが求まる。
Ｓｂｖ＝（｜Ｂ２１−Ｂ４１｜＋｜Ｂ２３−Ｂ６３｜＋｜Ｂ４５−Ｂ６５｜）／ｋｂｖ                                                     （１６）
Ｓｂｈ＝（｜Ｂ２１−Ｂ２３｜＋｜Ｂ４１−Ｂ４５｜＋｜Ｂ６３−Ｂ６５｜）／ｋｂｈ                                                     （１７）
Ｓｂｃ＝（｜Ｂ４１−Ｂ２３｜＋｜Ｂ６３−Ｂ４５｜）／ｋｂｃ  （１８）
Ｓｂｄ＝（｜Ｂ４１−Ｂ６３｜＋｜Ｂ２３−Ｒ４５｜）／ｋｂｄ  （１９）
【００７３】
各色の連続性の高い方向の判定は以下のようにして行われる。緑色の場合、評価値Ｓｇｖ、Ｓｇｈ、Ｓｇｃ、Ｓｇｄの中で最も小さい値の評価値に対応する方向を連続性の高い方向と判定する。ただし最も小さい値の評価値の値が所定の閾値以上の場合は方向性がないと判定する。同様にして評価値Ｓｒｖ、Ｓｒｈ、Ｓｒｃ、Ｓｒｄ、評価値Ｓｂｖ、Ｓｂｈ、Ｓｂｃ、Ｓｂｄに基づいて、赤色の連続性が高い方向および青色の連続性が高い方向が判定される。
【００７４】
ステップＳ１８２では各色の方向性判定結果に基づいてＢ３３ａ、Ｇ３４ａ、Ｇ４３ａ、Ｒ４４ａに対応する第１補間画素データが以下のように求められる。
Ｇ３３ａ＝（Ｇ１３＋Ｇ５３）／２  垂直方向に連続性あり
Ｇ３３ａ＝（Ｇ３１＋Ｇ３５）／２  水平方向に連続性あり
Ｇ３３ａ＝（Ｇ２４＋Ｇ４２）／２  右上がり４５度方向に連続性あり
Ｇ３３ａ＝（Ｇ２２＋Ｇ５５）／２  左上がり４５度方向に連続性あり
Ｇ３３ａ＝（Ｇ２４＋Ｇ４２＋Ｇ２２＋Ｇ５５）／４  連続性なし
Ｇ４４ａ＝（Ｇ２４＋Ｇ６４）／２  垂直方向に連続性あり
Ｇ４４ａ＝（Ｇ４２＋Ｇ４６）／２  水平方向に連続性あり
Ｇ４４ａ＝（Ｇ３５＋Ｇ５３）／２  右上がり４５度方向に連続性あり
Ｇ４４ａ＝（Ｇ２２＋Ｇ５５）／２  左上がり４５度方向に連続性あり
Ｇ４４ａ＝（Ｇ３５＋Ｇ５３＋Ｇ２２＋Ｇ５５）／４  連続性なし
Ｒ３４ａ＝（Ｒ１４＋Ｒ５４）／２  垂直方向に連続性あり
Ｒ３４ａ＝（Ｒ３２＋Ｒ３６）／２  水平方向に連続性あり
Ｒ３４ａ＝（Ｒ１４＋Ｒ５４＋Ｒ３２＋Ｒ３６）／４  右上がり４５度方向に連続性あり
Ｒ３４ａ＝（Ｒ１２＋Ｒ５６）／２  左上がり４５度方向に連続性あり
Ｒ３４ａ＝（Ｒ１４＋Ｒ５４＋Ｒ３２＋Ｒ３６＋Ｒ１２＋Ｒ５６）／６  連続性なし
Ｂ４３ａ＝（Ｂ２３＋Ｂ６３）／２  垂直方向に連続性あり
Ｂ４３ａ＝（Ｂ４１＋Ｂ４５）／２  水平方向に連続性あり
Ｂ４３ａ＝（Ｂ２３＋Ｂ６３＋Ｂ４１＋Ｂ４５）／４  右上がり４５度方向に連続性あり
Ｂ４３ａ＝（Ｂ２１＋Ｂ６５）／２  左上がり４５度方向に連続性あり
Ｂ４３ａ＝（Ｂ２３＋Ｂ６３＋Ｂ４１＋Ｂ４５＋Ｂ２１＋Ｂ６５）／６  連続性なし
【００７５】
以上のようにステップＳ１８２では、画像の連続性を前提にして第１補間画素データを４つの方向に対して焦点検出画素３１１を挟む撮像画素３１０のデータから補間することが可能になり、良好な補間結果が得られる。
【００７６】
ステップＳ１８３では、焦点検出画素位置に点像が存在するか否か判定する。これはステップＳ１８２で求めた第１補間画素データは画像の連続性を前提にして求めたデータであるので、焦点検出画素位置に孤立的に点像が存在した場合には、正確な補間画素データが得られないからである。
【００７７】
上記点像判定は、焦点検出画素３１１の一対の光電変換部１３および１４の出力信号データＡ１とＡ２の和が焦点検出画素位置の輝度を表しており、ステップＳ１８２で求めたＲ、Ｇ、Ｂの第１補間データの線型和からも同様に輝度を表す値を算出できるので、２つの輝度値を比較することにより、その違いが大きい場合には点像が存在すると判定することにより行われ、例えば点像判定評価値Ｐは以下の式で定められる。
Ｐ＝Ｐ１−Ｐ２                                              （２０）
Ｐ１＝（Ａ１＋Ａ２）・ｋａ                                  （２１）
Ｐ２＝Ｇ３３ａ・ｋｇ＋Ｇ４４ａ・ｋｇ＋Ｒ３４ａ・ｋｒ＋Ｂ４３ａ・ｋｂ  （２２）
【００７８】
上式において係数ｋａ、ｋｇ、ｋｒ、ｋｂは予め白色およびその他の色の光源の一様照明状態にて、焦点検出画素３１１の一対の光電変換部１３および１４の出力信号データＡ１とＡ２の和と第１補間画素データ（Ｇ３３ａ、Ｇ４４ａ、Ｒ３４ａ、Ｂ４３ａ）の線型和が略等しくなるように求めたものである。点像判定評価値Ｐの絶対値が所定の閾値より大きい場合には点像があると判定し、小さいときは点像なしと判定する。
【００７９】
ステップＳ１８４で点像の有無によって処理フローが分岐し、点像がない場合にはステップＳ１８５で第１補間画素データを最終的に焦点検出画素位置に撮像画素３１０が４つ配置されているとした場合の各撮像画素データとして割り当てられる補間画素データとし、図１４のステップＳ１９０に移る。点像ありの場合はステップＳ１８６に進み、以下のようにして第１補間画素データに対して補正を施して最終的な補間画素データとして、図１４のステップ１９０に移る。
Ｇ３３ａ＝Ｇ３３ａ・Ｐ１／Ｐ２                              （２３）
Ｇ４４ａ＝Ｇ４４ａ・Ｐ１／Ｐ２                              （２４）
Ｒ３４ａ＝Ｒ３４ａ・Ｐ１／Ｐ２                              （２５）
Ｂ４３ａ＝Ｂ４３ａ・Ｐ１／Ｐ２                              （２６）
【００８０】
以上のような補正を施すことにより、第１補間画素データ（Ｇ３３ａ、Ｇ４４ａ、Ｒ３４ａ、Ｂ４３ａ）の線型和から求めた輝度が、焦点検出画素３１１の一対の光電変換部１３および１４の出力信号データＡ１とＡ２の和から求めた輝度と一致するので、点像が存在した場合でも良好な補間結果が得られる。
【００８１】
焦点検出画素３１１を水平または垂直方向に連続して配置した場合には、１つの焦点検出画素３１１に水平方向および垂直方向及び斜め方向に最も近接する撮像画素３１０の数は８であるが、焦点検出画素３１１を斜め方向に連続して配置した場合には、焦点検出画素３１１に最も近接する撮像画素３１０の数は１０となるので、その分画素補間精度が向上する。
【００８２】
さらに焦点検出画素３１１を斜め方向に連続して配置した場合には、焦点検出画素３１１の位置に仮想的に撮像画素３１０を配置したと仮定すると、画素補間されるべき仮想撮像画素に近接し、かつ水平方向および垂直方向に該仮想撮像画素を挟む位置に、必ず仮想撮像画素と同じ色の撮像画素が存在するので、水平方向と垂直方向の画素補間性能が焦点検出画素３１１を水平または垂直方向に連続して配置した場合に比較して優れている。一般の画像における画素補間のパターンは、水平方向および垂直方向のパターンが多いので、画素補間性能の向上が期待できる。
【００８３】
上述の実施形態においては焦点検出画素３１１の画素サイズを撮像画素３１０より大きくすることにより瞳分割性能を向上するとともに、焦点検出画素３１１を、撮像画素３１０が正方格子状に配置された撮像素子２１２において、斜め方向に配置することにより、画素補間による画像品質の劣化を防止している。
《発明の他の実施の形態》
【００８４】
図１７に示す補間処理フローにおいては、点像ありと判定された場合は焦点検出画素３１１の周囲の撮像画素３１０のデータによって求められた第１補間画素データを補正して最終的な補間画素データとしているが、点像ありと判定された場合には連続性の方向の判定に関わらず、連続性なしとして求めた第１補間画素データに対して補正を行って最終的な補間画素データとするようにしてもよい。
【００８５】
図１７に示す補間処理フローにおいては、一旦焦点検出画素３１１の周囲の撮像画素３１０のデータによって第１補間画素データを求め、この第１補間画素データと焦点検出画素３１１のデータを比較することにより点像の有無判定を行っているが、焦点検出画素３１１の周囲の撮像画素データと焦点検出画素データとを直接比較することにより、以下のようにして点像の有無判定を行うようにしても良い。
【００８６】
焦点検出画素３１１の一対の光電変換部１３，１４の出力信号データＡ１とＡ２の和が焦点検出画素位置の輝度を表しており、焦点検出画素３１１の周囲の３色の撮像画素データの線型和が焦点検出画素３１１の周囲の輝度を表しているので、２つの輝度値を比較することにより、その違いが大きい場合には点像が存在すると判定することができる。例えば、点像判定評価値Ｐは以下の式で定められる。
Ｐ＝Ｐ１−Ｐ２                                              （２７）
Ｐ１＝（Ａ１＋Ａ２）・ｋａ                                  （２８）
Ｐ２＝Ｇｗ・ｋｇ＋Ｒｗ・ｋｒ＋Ｂｗ・ｋｂ                    （２９）
【００８７】
上式においてＧｗは図１６に示す範囲に含まれる１２個の緑の撮像画素３１０のデータの和を６で割ったものであり、Ｒｗは図１６に示す範囲に含まれる６個の赤の撮像画素３１０のデータの和を６で割ったものであり、Ｂｗは図１６に示す範囲に含まれる６個の青の撮像画素３１０のデータの和を６で割ったものである。
【００８８】
上式において、係数ｋａ、ｋｇ、ｋｒ、ｋｂは、予め白色およびその他の色の光源の一様照明状態にて、焦点検出画素３１１の一対の光電変換部１３，１４の出力信号データＡ１とＡ２の和と焦点検出画素３１１の周囲の撮像画素データの線型和が略等しくなるように求めたものである。点像判定評価値Ｐの絶対値が所定の閾値より大きい場合には焦点検出画素位置にその周囲と輝度差がある点像があると判定し、小さいときは点像なしと判定する。
【００８９】
上記の判定では、焦点検出画素位置の輝度と焦点検出画素３１１の周囲の平均輝度との差だけに注目しているので、焦点検出画素３１１の周囲の輝度が変動していた場合に誤った判定を行う可能性がある。そこで、焦点検出画素３１１の周囲の輝度変動の有無を判定し、輝度変動があった場合には、点像有無判定を行わずに点像なしと判定し、輝度変動がない場合のみ点像有無判定を行うようにしてもよい。
【００９０】
図１７に示す補間処理フローにおいては、一旦焦点検出画素３１１の周囲の撮像画素データによって求められた第１補間画素データを点像の有無判定に応じて、点像ありの場合は補正して最終的な補間画素データとしているが、第１補間画素データを算出する前に上記のような点像有無判定を行い、点像がない場合にはそのまま第１補間画素データを算出して、これを最終的な補間画素データとし、点像がある場合には別途以下のようにして補間画素データを算出するようにしてもよい。
【００９１】
即ち焦点検出画素３１１に隣接する１０個の撮像画素３１０のデータより焦点検出画素３１１の最も近傍の色調を求め、該色調を焦点検出画素データから求めた輝度値に調整することで、最終的な補間画素データを求める。
【００９２】
下式において、係数ｋａ、ｋｇ、ｋｒ、ｋｂは、予め白色およびその他の色の光源の一様照明状態にて、焦点検出画素の一対の光電変換部１３，１４の出力信号データＡ１とＡ２の和と３色の撮像画素データの線型和が略等しくなるように求めたものである。
Ｇｓ＝（Ｇ２２＋Ｇ２４＋Ｇ３２＋Ｇ３５＋Ｇ５３＋Ｇ５５）／６（３０）
Ｒｓ＝（Ｒ３２＋Ｒ５４）／２                                （３１）
Ｂｓ＝（Ｂ２３＋Ｂ４５）／２                                （３２）
Ｇ３３ａ＝Ｇ４４ａ
＝Ｇｓ・ｋａ・（Ａ１＋Ａ２）／（ｋｇ・Ｇｓ＋ｋｒ・Ｒｓ＋ｋｂ・Ｂｓ）  （３３）
Ｒ３４ａ＝Ｒｓ・ｋａ・（Ａ１＋Ａ２）／（ｋｇ・Ｇｓ＋ｋｒ・Ｒｓ＋ｋｂ・Ｂｓ）
（３４）
Ｂ４３ａ＝Ｂｓ・ｋａ・（Ａ１＋Ａ２）／（ｋｇ・Ｇｓ＋ｋｒ・Ｒｓ＋ｋｂ・Ｂｓ）
（３５）
【００９３】
図９（ｂ）に示した焦点検出画素３１１の構造においては、同一の露光条件において焦点検出画素３１１の光電変換部１３，１４の出力と撮像画素３１０の光電変換部１１の出力とが略等しくなるようにＮＤフィルター３４を設置しているが、ＮＤフィルターを設けない代わりに、図１２に示す画素の基本回路構成において、焦点検出画素３１１の増幅ＭＯＳトランジスタＡＭＰと撮像画素３１０の増幅ＭＯＳトランジスタＡＭＰとの増幅度を異ならせることにより、同一の露光条件において焦点検出画素３１１の光電変換部１３，１４の出力と撮像画素３１０の光電変換部１１の出力が略等しくなるようにしてもよい。
【００９４】
撮像素子３１０における焦点検出エリア１０１〜１０３の配置は図２に限定されることはなく、また焦点検出画素３１１の配列方向は左上がり斜め４５度方向でもよい。
【００９５】
図４および図１６に示す焦点検出画素３１１の配列においては、焦点検出画素３１１は上述した仮想撮像画素である青画素と赤画素が斜め４５度方向に連続する直線上に該仮想撮像画素に代わって配置されているが、図１８および図１９に示すように焦点検出画素３１１を仮想撮像画素である緑画素が斜め４５度方向に連続する直線上に該仮想撮像画素に代わって配置するようにしてもよい。
【００９６】
図１９は図１８の拡大図に対応しており、６行６列の撮像画素３１０の領域に、右上がり斜め４５度方向に焦点検出画素３１１が配置された場合における撮像画素データ（Ｒ１１〜Ｂ６６）と中央の焦点検出画素３１１の一対の光電変換部１３，１４の出力信号データ（Ａ１、Ａ２）を画素のレイアウトに対応して示している。Ｒ３３ａ、Ｇ３４ａ、Ｇ４３ａ、Ｂ４４ａは中央の焦点検出画素位置３１１に撮像画素３１０が４つ配置されているとした場合の各撮像画素３１０のデータ（後述の処理によって補間されるべき撮像画素データ）である。
【００９７】
このような焦点検出画素配置における画素補間処理の動作を図１７のフローチャートに沿って説明する。まずステップＳ１８１に進み、焦点検出画素３１１周辺の撮像画素データに基づき色毎に画像の連続性の高い方向の判定を以下のようにして行う。緑色に対する垂直方向評価値Ｓｇｖは、図１９において垂直方向に離れた緑色の画素データの差の絶対値を図１９の範囲で積算した値を所定の規格化定数ｋｇｖで割った値である。差分を取る画素間の距離は全ての場合（緑色の撮像画素３１０で垂直の場合は１画素おき、３画素おきの差分が可能）について積算され、焦点検出画素を挟んだ撮像画素３１０間での差分も積算される。
Ｓｇｖ＝（｜Ｇ２１−Ｇ４１｜＋｜Ｇ１２−Ｇ３２｜＋｜Ｇ２３−Ｇ６３｜＋
｜Ｇ１４−Ｇ５４｜＋｜Ｇ４５−Ｇ６５｜＋｜Ｇ３６−Ｇ５６｜）／ｋｇｖ（３６）
【００９８】
なお規格化定数ｋｇｖ（および後述の規格化定数）は積算個数、差分を取る画素データ間の距離、色に応じて定められた値であり、積算値の値が積算個数、差分する画素間の距離、色に応じて変動しないように規格化するための定数である。
【００９９】
同様にして緑色に対する水平方向評価値Ｓｇｈ、右上がり斜め４５度方向評価値Ｓｇｃ、左上がり斜め４５度方向評価値Ｓｇｄが求まる。
Ｓｇｈ＝（｜Ｇ１２−Ｇ１４｜＋｜Ｇ２１−Ｇ２３｜＋｜Ｇ３２−Ｇ３６｜
＋｜Ｇ４１−Ｇ４５｜＋｜Ｇ５４−Ｇ５６｜＋｜Ｇ６３−Ｇ６５｜）／ｋｇｈ（３７）
Ｓｇｃ＝（｜Ｇ１２−Ｇ２１｜＋｜Ｇ４１−Ｇ３２｜＋｜Ｇ３２−Ｇ２３｜
＋｜Ｇ２３−Ｇ１４｜＋｜Ｇ６３−Ｇ５４｜＋｜Ｇ５４−Ｇ４５｜
＋｜Ｇ４５−Ｇ３６｜＋｜Ｇ６５−Ｇ５６｜）／ｋｇｃ                    （３８）
Ｓｇｄ＝（｜Ｇ１４−Ｇ３６｜＋｜Ｇ１２−Ｇ２３｜＋｜Ｇ２３−Ｇ４５｜
＋｜Ｇ４５−Ｇ５６｜＋｜Ｇ２１−Ｇ３２｜＋｜Ｇ３２−Ｇ５４｜
＋｜Ｇ５４−Ｇ６５｜＋｜Ｇ４１−Ｇ６３｜）／ｋｇｄ                    （３９）
【０１００】
赤色に対する垂直方向評価値Ｓｒｖは図１９において垂直方向に離れた赤色の撮像画素データの差の絶対値を図１９の範囲の範囲で積算した値を所定の規格化定数ｋｒｖで割った値である。
Ｓｒｖ＝（｜Ｒ１１−Ｒ３１｜＋｜Ｒ１３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜）／ｋｒｖ
（４０）
【０１０１】
同様にして赤色に対する水平方向評価値Ｓｒｈ、右上がり斜め４５度方向評価値Ｓｒｃ、左上がり斜め４５度方向評価値Ｓｒｄが求まる。
Ｓｒｈ＝（｜Ｒ１１−Ｒ１３｜＋｜Ｒ３１−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜）／ｋｒｈ
（４１）
Ｓｒｃ＝（｜Ｒ３１−Ｒ１３｜＋｜Ｒ５３−Ｒ３５｜）／ｋｒｃ  （４２）
Ｓｒｄ＝（｜Ｒ１３−Ｒ３５｜＋｜Ｒ１１−Ｒ５５｜＋｜Ｒ３１−Ｒ５３｜）／ｋｒｄ
（４３）
【０１０２】
赤色と同様にして青色に対する垂直方向評価値Ｓｂｖ、水平方向評価値Ｓｂｈ、右上がり斜め４５度方向評価値Ｓｂｃ、左上がり斜め４５度方向評価値Ｓｂｄが求まる。
Ｓｂｖ＝（｜Ｂ２２−Ｂ４２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ４６−Ｂ６６｜）／ｋｂｖ
（４４）
Ｓｂｈ＝（｜Ｂ２２−Ｂ２４｜＋｜Ｂ４２−Ｂ４６｜＋｜Ｂ６４−Ｂ６６｜）／ｋｂｈ
（４５）
Ｓｂｃ＝（｜Ｂ４２−Ｂ２４｜＋｜Ｂ６４−Ｂ４６｜）／ｋｂｃ  （４６）
Ｓｂｄ＝（｜Ｂ２４−Ｂ４６｜＋｜Ｂ２２−Ｒ６６｜＋｜Ｂ４２−Ｒ６４｜）／ｋｂｄ
（４７）
【０１０３】
各色の連続性の高い方向の判定は以下のようにして行われる。緑色の場合、評価値Ｓｇｖ、Ｓｇｈ、Ｓｇｃ、Ｓｇｄの中で最も小さい値の評価値に対応する方向を連続性の高い方向と判定する。ただし最も小さい値の評価値の値が所定の閾値以上の場合は方向性がないと判定する。同様にして評価値Ｓｒｖ、Ｓｒｈ、Ｓｒｃ、Ｓｒｄ、評価値Ｓｂｖ、Ｓｂｈ、Ｓｂｃ、Ｓｂｄに基づいて、赤色の連続性が高い方向および青色の連続性が高い方向が判定される。
【０１０４】
ステップＳ１８２では、各色の方向性判定結果に基づいてＢ３３ａ、Ｇ３４ａ、Ｇ４３ａ、Ｒ４４ａに対応する第１補間画素データが以下のように求められる。
Ｇ３４ａ＝（Ｇ１４＋Ｇ５４）／２  垂直方向に連続性あり
Ｇ３４ａ＝（Ｇ３２＋Ｇ３６）／２  水平方向に連続性あり
Ｇ３４ａ＝（Ｇ１４＋Ｇ５４＋Ｇ３２＋Ｇ３６＋Ｇ２３＋Ｇ４５）／６  右上がり４５度方向に連続性あり
Ｇ３４ａ＝（Ｇ２３＋Ｇ４５）／２  左上がり４５度方向に連続性あり
Ｇ３４ａ＝（Ｇ１４＋Ｇ５４＋Ｇ３２＋Ｇ３６）／４  連続性なし
Ｇ４３ａ＝（Ｇ２３＋Ｇ６３）／２  垂直方向に連続性あり
Ｇ４３ａ＝（Ｇ４１＋Ｇ４５）／２  水平方向に連続性あり
Ｇ４３ａ＝（Ｇ２３＋Ｇ６３＋Ｇ４１＋Ｇ４５＋Ｇ３２＋Ｇ５４）／６  右上がり４５度方向に連続性あり
Ｇ４３ａ＝（Ｇ３２＋Ｇ５４）／２  左上がり４５度方向に連続性あり
Ｇ４３ａ＝（Ｇ２３＋Ｇ６３＋Ｇ４１＋Ｇ４５）／４  連続性なし
Ｒ３３ａ＝（Ｒ１３＋Ｒ５３）／２  垂直方向に連続性あり
Ｒ３３ａ＝（Ｒ３１＋Ｒ３５）／２  水平方向に連続性あり
Ｒ３３ａ＝（Ｒ１３＋Ｒ５３＋Ｒ３１＋Ｒ３５）／４  右上がり４５度方向に連続性あり
Ｒ３３ａ＝（Ｒ１１＋Ｒ５５）／２  左上がり４５度方向に連続性あり
Ｒ３３ａ＝（Ｒ１３＋Ｒ５３＋Ｒ３１＋Ｒ３５＋Ｒ１１＋Ｒ５５）／６  連続性なし
Ｂ４４ａ＝（Ｂ２４＋Ｂ６４）／２  垂直方向に連続性あり
Ｂ４４ａ＝（Ｂ４２＋Ｂ４６）／２  水平方向に連続性あり
Ｂ４４ａ＝（Ｂ２４＋Ｂ６４＋Ｂ４２＋Ｂ４６）／４  右上がり４５度方向に連続性あり
Ｂ４４ａ＝（Ｂ２２＋Ｂ６６）／２  左上がり４５度方向に連続性あり
Ｂ４４ａ＝（Ｂ２４＋Ｂ６４＋Ｂ４２＋Ｂ４６＋Ｂ２２＋Ｂ６６）／６  連続性なし
【０１０５】
以上のようにステップＳ１８２では画像の連続性を前提にして第１補間画素データを４つの方向に対して焦点検出画素３１１を挟む撮像画素３１０のデータから補間することが可能になり、良好な補間結果が得られる。
【０１０６】
ステップＳ１８３では、焦点検出画素位置に点像が存在するか否か判定する。これはステップＳ１８２で求めた第１補間画素データは画像の連続性を前提にして求めたデータであるので、焦点検出画素位置に孤立的に点像が存在した場合には、正確な補間画素データが得られないからである。
【０１０７】
上記点像判定は、焦点検出画素３１１の一対の光電変換部１３，１４の出力信号データＡ１とＡ２の和が焦点検出画素位置の輝度を表しており、ステップＳ１８２で求めたＲ、Ｇ、Ｂの第１補間データの線型和からも同様に輝度を表す値を算出できるので、２つの輝度値を比較することにより、その違いが大きい場合には点像が存在すると判定することにより行われる。例えば点像判定評価値Ｐは以下の式で定められる。
Ｐ＝Ｐ１−Ｐ２                                              （４８）
Ｐ１＝（Ａ１＋Ａ２）・ｋａ                                  （４９）
Ｐ２＝Ｇ３４ａ・ｋｇ＋Ｇ４３ａ・ｋｇ＋Ｒ３３ａ・ｋｒ＋Ｂ４４ａ・ｋｂ  （５０）
【０１０８】
上式において、係数ｋａ、ｋｇ、ｋｒ、ｋｂは、予め白色およびその他の色の光源の一様照明状態にて、焦点検出画素３１１の一対の光電変換部１３，１４の出力信号データＡ１とＡ２の和と第１補間画素データ（Ｇ３４ａ、Ｇ４３ａ、Ｒ３３ａ、Ｂ４４ａ）の線型和が略等しくなるように求めたものである。点像判定評価値Ｐの絶対値が所定の閾値より大きい場合には点像があると判定し、小さいときは点像なしと判定する。
【０１０９】
ステップＳ１８４で点像の有無によって分岐し、点像がない場合にはステップＳ１８５で第１補間画素データを最終的に焦点検出画素位置に撮像画素３１０が４つ配置されているとした場合の各撮像画素データとして割り当てられる補間画素データとし、図１４のステップ１９０に移る。点像ありの場合はステップＳ１８６に進み、以下のようにして第１補間画素データに対して補正を施して最終的な補間画素データとして、図１４のステップ１９０に移る。
Ｇ３４ａ＝Ｇ３４ａ・Ｐ１／Ｐ２                              （５１）
Ｇ４３ａ＝Ｇ４３ａ・Ｐ１／Ｐ２                              （５２）
Ｒ３３ａ＝Ｒ３３ａ・Ｐ１／Ｐ２                              （５３）
Ｂ４４ａ＝Ｂ４４ａ・Ｐ１／Ｐ２                              （５４）
【０１１０】
以上のような補正を施すことにより、第１補間画素データ（Ｇ３４ａ、Ｇ４３ａ、Ｒ３３ａ、Ｂ４４ａ）の線型和から求めた輝度が、焦点検出画素３１１の一対の光電変換部１３，１４の出力信号データＡ１とＡ２の和から求めた輝度と一致するので、点像が存在した場合でも良好な補間結果が得られる。
【０１１１】
画素補間に関して図４および図１６の焦点検出画素３１１の配置と図１８および図１９の焦点検出画素３１１の配置とを比較する。仮想撮像画素である赤画素に最も近接する周囲の赤画素の数は、どちらの配置の場合も６（水平方向２、垂直方向２、左斜め方向２）であり、青画素についても同様である。一方、仮想撮像画素である緑画素に最も近接する周囲の緑画素の数は、前者の配置の場合が７（水平方向２、垂直方向２、右斜め方向２、左斜め方向１）、後者の配置の場合が６（水平方向２、垂直方向２、左斜め方向２）であるので、前者の配置のほうが画素補間後の画像品質の点では好ましい。
【０１１２】
図４に示す撮像素子２１２では、焦点検出画素３１１に一対の光電変換部１３，１４を備える例を示したが、ひとつの焦点検出画素３１１内にひとつの光電変換部を備えるようにしてもよい。図２０は、このような撮像素子２１２の部分拡大図であり、焦点検出画素３１３と焦点検出画素３１４は焦点検出画素３１１の一対の光電変換部１３，１４のおのおのに対応した光電変換部をそれぞれ備える。図２０に示す焦点検出画素３１３と焦点検出画素３１４のペアが、図４に示す焦点検出画素３１１に相当した機能を果たす。同じく図２１は図１８に示した撮像素子２１２の焦点検出画素３１１を焦点検出画素３１３と焦点検出画素３１４に置換した図である。図２０、図２１に示す焦点検出画素３１３、３１４においては、図９（ｂ）と同様に光電変換部１３，１４の形状をマイクロレンズ１０により前方に投影することにより、一対の測距瞳が形成される。
【０１１３】
また焦点検出画素３１３、３１４を図２２のように構成することも可能である。図２２においては光電変換部１５の形状をマイクロレンズ３６により前方に投影する代わりに、光電変換部１５の直前に配置された遮光マスク４０の開口部４３、４４をマイクロレンズ３６により前方に投影することにより、一対の測距瞳が形成される。この場合焦点検出画素３１３、３１４の光電変換部１５はそれぞれ開口部４３，４４を通過した光束を受光することになる。
【０１１４】
図２０、図２１に示した撮像素子２１２においても、焦点検出画素位置における撮像画素データを、図１７で説明した思想に基づいて補間処理により求めることが可能である。ただし図２０、図２１においては一対となるべき光電変換部の一方しか各焦点検出画素に備えられていないので、点像判定評価値Ｐを求める際のＰ１＝Ａ１＋Ａ２の演算においてＡ１，Ａ２の一方は焦点検出画素の光電変換部のデータを用いるとともに、もう一方は該焦点検出画素を挟む２つの焦点検出画素の光電変換部のデータを平均したものを用いる。
【０１１５】
上述した実施形態においては撮像素子２１２と光学系との間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば赤外カットフィルターや光学的ローパスフィルターやハーフミラーなどを設置してもよい。
【０１１６】
図４のような撮像素子２１２の構成の場合には、光学的ローパスフィルターの高周波カット効果が焦点検出画素３１１の並び方向と垂直な方向より焦点検出画素の並び方向に強く効くように光学的ローパスフィルターの特性を設定することによって、高周波成分を持った像が焦点検出画素３１１の間に入った場合の焦点検出精度に対する悪影響を緩和することができる。
【０１１７】
上述した実施形態における撮像素子２１２では撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また上述した実施形態における撮像素子２１２では焦点検出画素３１１、３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。
【０１１８】
また、上述した実施形態における焦点検出画素３１１，３１３，３１４では、光電変換部の形状を矩形にした例を示したが、焦点検出画素３１１，３１３，３１４の光電変換部の形状はこれらに限定されず、他の形状であってもよく、例えば、半円形、楕円または多角形であっても良い。
【０１１９】
また、上述した実施形態における焦点検出画素２１１，３１３，３１４では、焦点検出画素３１１，３１３，３１４のサイズを撮像画素３１０の４個分のサイズ（水平方向２画素、垂直方向２画素）としているが、撮像画素３１０の４個分のサイズの領域に入るサイズであればこれより若干大きくても小さくても構わない。
【０１２０】
なお、本発明に係る撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラまたはフィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１２１】
１０、１９  マイクロレンズ、１１、１３、１４、１５  光電変換部、２９  半導体回路基板、３０、３１、３２  平坦化層、３３  色フィルター、３４  ＮＤフィルター、３５  インナーレンズ、３６  上層レンズ、４０  遮光マスク、４３、４４  開口部、５０、５９、６０  マイクロレンズ、５１、５３、５４、６３、６４  光電変換部、７１  撮影光束、７３、７４、８３、８４  焦点検出用光束、９０  射出瞳、９１  交換レンズの光軸、９２  測距瞳に略外接する領域、９３、９４  測距瞳、１００  撮影画面、１０１〜１０３、焦点検出エリア、１１０  撮像面、１１１  焦点検出画素、１１２  マイクロレンズ、１１３、１１４  光電変換部、１２０  測距瞳面、１２３、１２４  測距瞳、１３３、１３４  測距瞳分布、１３５  重畳部、２０１  デジタルスチルカメラ、２０２  交換レンズ、２０３  カメラボディ、２０４  マウント部、２０６  レンズ駆動制御装置、２０８  ズーミング用レンズ、２０９  レンズ、２１０  フォーカシング用レンズ、２１１  絞り、２１２  撮像素子、２１３  電気接点、２１４  ボディ駆動制御装置、２１５  液晶表示素子駆動回路、２１６  液晶表示素子、２１７  接眼レンズ、２１９  メモリカード、３１０  撮像画素、３１１、３１１ａ、３１１ｂ、３１３、３１４  焦点検出画素
【図１】
2010181485.tif 000005
【図２】
2010181485.tif 000006
【図３】
2010181485.tif 000007
【図４】
2010181485.tif 000008
【図５】
2010181485.tif 000009
【図６】
2010181485.tif 000010
【図７】
2010181485.tif 000011
【図８】
2010181485.tif 000012
【図９】
2010181485.tif 000013
【図１０】
2010181485.tif 000014
【図１１】
2010181485.tif 000015
【図１２】
2010181485.tif 000016
【図１３】
2010181485.tif 000017
【図１４】
2010181485.tif 000018
【図１５】
2010181485.tif 000019
【図１６】
2010181485.tif 000020
【図１７】
2010181485.tif 000021
【図１８】
2010181485.tif 000022
【図１９】
2010181485.tif 000023
【図２０】
2010181485.tif 000024
【図２１】
2010181485.tif 000025
【図２２】
2010181485.tif 000026