(57)【特許請求の範囲】
【請求項１】
分光感度特性が異なる複数種類の撮像画素を第１の分光感度特性配列パターンで二次元状に配列するとともに、該配列中の一部の前記撮像画素に代えて前記撮像画素と異なる非撮像画素を複数配列した撮像素子において、
前記非撮像画素に隣接する前記撮像画素を前記第１の分光感度特性配列パターンと異なる第２の分光感度特性配列パターンで配列することを特徴とする撮像素子。
【請求項２】
請求項１に記載の撮像素子において、
前記第２の分光感度特性配列パターンで配置した前記撮像画素は、前記第１の分光感度特性配列パターンにおける前記撮像画素のうち、前記非撮像画素の位置に相当する前記撮像画素と同一の分光感度特性を有することを特徴とする撮像素子。
【請求項３】
請求項２に記載の撮像素子において、
前記複数の非撮像画素は直線上に配列され、該非撮像画素の配列の両側に配置された前記撮像画素の前記第２の分光感度特性配列パターンは、前記非撮像画素の配列方向に互いにずれて配置されることを特徴とする撮像素子。
【請求項４】
請求項３に記載の撮像素子において、
前記第１の分光感度特性配列パターンで配列した前記撮像画素は、赤色、緑色および青色の分光感度特性を有する３種類の赤画素、緑画素および青画素をベイヤー配列したものであり、
前記非撮像画素は、前記撮像画素のうち直線上に配列された前記緑画素と前記青画素に代えて配置され、
前記非撮像画素の配列に隣接する前記第２の分光感度特性配列パターンで配列した前記撮像画素には前記青画素が含まれることを特徴とする撮像素子。
【請求項５】
請求項１〜４のいずれか一項に記載の撮像素子において、
前記非撮像画素は、マイクロレンズと光電変換部を有し、撮像素子の受光面に像を結像する光学系の焦点調節状態を検出するための信号を出力する焦点検出画素であることを特徴とする撮像素子。
【請求項６】
請求項５に記載の撮像素子において、
前記焦点検出画素は、マイクロレンズと該マイクロレンズに対応して設けられた第１の光電変換部とを有する第１の焦点検出画素と、マイクロレンズと該マイクロレンズに対応して設けられた第２の光電変換部とを有する第２の焦点検出画素とを含み、
前記非撮像画素は、前記第１の焦点検出画素と前記第２の焦点検出画素とが直線上に沿って交互に配置されていることを特徴とする撮像素子。
【請求項７】
請求項５に記載の撮像素子において、
前記焦点検出画素は、マイクロレンズと該マイクロレンズに対応して設けられた一対の光電変換部とを有することを特徴とする撮像素子。
【請求項８】
請求項５〜７のいずれか一項に記載の撮像素子と、
前記焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項９】
請求項８に記載の焦点検出装置と、
前記焦点検出手段により検出された焦点調節状態に応じて前記光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする焦点調節装置。
【請求項１０】
請求項１〜７のいずれか一項に記載の撮像素子と、
前記非撮像画素の位置における画像信号を、前記第２の分光感度特性配列パターンで配置した前記撮像画素の画素信号に基づいて演算する演算手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子、焦点検出装置、焦点調節装置および撮像装置に関する。
【背景技術】
【０００２】
撮像画素配列の一部に焦点検出画素を配列した撮像素子において、焦点検出画素位置の撮像用の画素信号を焦点検出画素の周囲の撮像画素の画素信号に基づいて画素補間により算出するようにした撮像装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００７−２７９５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の撮像装置では、焦点検出画素位置の撮像用の画素信号を求める際に、焦点検出画素位置から離れた撮像画素の画素信号に基づいて画素補間により算出しなければならない場合があり、画像品質が劣化するという問題がある。
例えば、赤画素、緑画素および青画素がベイヤー配列された撮像素子において、複数の焦点検出画素を緑画素と青画素が直線状に配列されるべき位置に配置した場合に、青画素が配置されるべき画素位置の画素信号を求めるときには、その画素位置から１画素おいた隣の青画素の画素信号を用いる必要があり、焦点検出画素配列に青色の直線像やエッジ像が重畳した場合には、青画素が配置されるべき画素位置の画素信号の誤差量が大きくなってしまう。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明は、分光感度特性が異なる複数種類の撮像画素を第１の分光感度特性配列パターンで二次元状に配列するとともに、該配列中の一部の撮像画素に代えて撮像画素と異なる非撮像画素を複数配列した撮像素子において、非撮像画素に隣接する撮像画素を第１の分光感度特性配列パターンと異なる第２の分光感度特性配列パターンで配列する。
（２）  請求項２の発明は、請求項１に記載の撮像素子において、第２の分光感度特性配列パターンで配置した撮像画素は、第１の分光感度特性配列パターンにおける撮像画素のうち、非撮像画素の位置に相当する撮像画素と同一の分光感度特性を有する。
（３）  請求項３の発明は、請求項２に記載の撮像素子において、複数の非撮像画素は直線上に配列され、該非撮像画素の配列の両側に配置された撮像画素の第２の分光感度特性配列パターンは、非撮像画素の配列方向に互いにずれて配置される。
（４）  請求項４の発明は、請求項３に記載の撮像素子において、第１の分光感度特性配列パターンで配列した撮像画素は、赤色、緑色および青色の分光感度特性を有する３種類の赤画素、緑画素および青画素をベイヤー配列したものであり、非撮像画素は、撮像画素のうち直線上に配列された緑画素と青画素に代えて配置され、非撮像画素の配列に隣接する第２の分光感度特性配列パターンで配列した撮像画素には青画素が含まれる。
（５）  請求項５の発明は、請求項１〜４のいずれか一項に記載の撮像素子において、非撮像画素は、マイクロレンズと光電変換部を有し、撮像素子の受光面に像を結像する光学系の焦点調節状態を検出するための信号を出力する焦点検出画素である。
（６）  請求項６の発明は、請求項５に記載の撮像素子において、焦点検出画素は、マイクロレンズと該マイクロレンズに対応して設けられた第１の光電変換部とを有する第１の焦点検出画素と、マイクロレンズと該マイクロレンズに対応して設けられた第２の光電変換部とを有する第２の焦点検出画素とを含み、非撮像画素は、第１の焦点検出画素と第２の焦点検出画素とが直線上に沿って交互に配置されている。
（７）  請求項７の発明は、請求項５に記載の撮像素子において、焦点検出画素は、マイクロレンズと該マイクロレンズに対応して設けられた一対の光電変換部とを有する。
（８）  請求項８の発明は、請求項５〜７のいずれか一項に記載の撮像素子と、焦点検出画素の画素信号に基づいて、光学系の焦点調節状態を検出する焦点検出手段とを備える焦点検出装置である。
（９）  請求項９の発明は、請求項８に記載の焦点検出装置と、焦点検出手段により検出された焦点調節状態に応じて光学系の焦点調節を行う焦点調節手段とを備える焦点調節装置である。
（１０）  請求項１０の発明は、請求項１〜７のいずれか一項に記載の撮像素子と、非撮像画素の位置における画像信号を、第２の分光感度特性配列パターンで配置した撮像画素の画素信号に基づいて演算する演算手段とを備える撮像装置である。
【発明の効果】
【０００６】
本発明によれば、焦点検出画素位置の撮像用の画素信号を焦点検出画素の周囲の撮像画素の画素信号に基づいて補間する際に、画像品質の劣化を防止することができる。
【発明を実施するための最良の形態】
【０００７】
一実施の形態の撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラ（撮像装置）の構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００８】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【０００９】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１０】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１１】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１２】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１３】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１４】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１５】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１６】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域、すなわち焦点検出エリア、焦点検出位置の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１、１０２、１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
【００１７】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１，１０２、１０３の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１、１０２、１０３においては焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。
【００１８】
撮像画素３１０は、図４(ａ)に示すようにマイクロレンズ１０、光電変換部１１および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。各色フィルターを備えた撮像画素３１０が４画素一組となり図４(ｂ)に示すベイヤー配列を構成し、この構成が撮像素子２１２において二次元状に配置されている。なお、焦点検出画素配列を挟む撮像画素の配列では、撮像画素３１０の配置がベイヤー配列とは異なる配置になっている。
【００１９】
一方、焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。同様に、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。焦点検出画素３１３と焦点検出画素３１４は、焦点検出エリア１０１において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。
【００２０】
焦点検出画素３１３、３１４には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となる。そして、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２１】
焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０の青画素Ｂと緑画素Ｇが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０の青画素Ｂと緑画素Ｇが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
【００２２】
撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２３】
図８は撮像画素３１０の断面図である。撮像画素３１０において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。色フィルター（不図示）はマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２４】
図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。
【００２５】
図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。
【００２６】
図１０は、撮影画面中央の焦点検出エリア１０１におけるマイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図であり、焦点検出画素の部分を拡大して示す。９０は交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された瞳面（以下では測距瞳面と呼ぶ）であり、距離ｄはマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離（以下では測距瞳距離と呼ぶ）である。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３、７４、８３、８４は焦点検出光束である。９３はマイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、以下では測距瞳と呼ぶ。９４はマイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、以下では測距瞳と呼ぶ。
【００２７】
図１０においては、撮影光軸９１に隣接する４つの焦点検出画素（画素３１３ａ、３１４ａ、３１３ｂ、３１４ｂ）を模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また撮影画面周辺の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致している。
【００２８】
マイクロレンズ１０ａ〜１０ｄは交換レンズの予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１４ａ、１３ｂ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｄから測距瞳距離ｄだけ離間した測距瞳面９０上に投影され、その投影形状は測距瞳９３、９４を形成する。すなわち、投影距離ｄにある測距瞳面９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３、９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
【００２９】
光電変換部１３ａは、測距瞳９３を通過してマイクロレンズ１０ａに向かう光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは、測距瞳９３を通過してマイクロレンズ１０ｃに向かう光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは、測距瞳９４を通過してマイクロレンズ１０ｂに向かう光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１４ｂは、測距瞳９４を通過してマイクロレンズ１０ｄに向かう光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００３０】
上述したような２種類の焦点検出画素を直線上に多数配置し、各画素の光電変換部の出力を測距瞳９３と測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００３１】
図１１は、図１に示すデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされるとステップ１１０以降の動作を開始する。ステップ１１０で撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示する。続くステップ１２０で焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者がエリア選択スイッチ（不図示）により選択している。
【００３２】
ステップ１３０において、読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０では合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを調べる。合焦近傍でないと判定した場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。
【００３３】
ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、レリーズボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合はステップ１１０へ戻って上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）に設定する。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素および全ての焦点検出画素から画像データを読み出す。
【００３４】
ステップ１８０において焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０で撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９へ保存し、ステップ１１０へ戻って上述した動作を繰り返す。
【００３５】
次に、図１１のステップ１３０における像ズレ検出演算処理（相関演算処理）の詳細を説明する。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列（Ａ１1〜Ａ１M、Ａ２1〜Ａ２M：Ｍはデータ数）に対し（１）式による相関演算を行い、相関量Ｃ(k)を演算する。
Ｃ(k)＝Σ｜Ａ１n・Ａ２n+1+k−Ａ２n+k・Ａ１n+1｜  ・・・（１）
（１）式において、Σ演算はｎについて累積され、ｎのとる範囲は像ずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
【００３６】
（１）式の演算結果は、図１２(ａ)に示すように、一対のデータの相関が高いシフト量（図１２(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が極小（小さいほど相関度が高い）になる。（２）式〜（５）式に示す３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ  ・・・（２），
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜  ・・・（３），
Ｄ＝｛Ｃ(ｋj-1)−Ｃ(ｋj+1)｝／２  ・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-1)−Ｃ(ｋj)｝・・・（５）
【００３７】
（２）式で算出されたずらし量ｘの信頼性があるかどうかは、次のようにして判定される。図１２(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。
【００３８】
図１２(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。
【００３９】
なお、相関演算式は（１）式に限定されず、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算であればよい。例えば、
Ｃ(ｋ)＝Σ｜(Ａ１n／Ａ１n+1)−(Ａ２n+k／Ａ２n+1+k)｜  ・・・（６）
（６）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。あるいは、
Ｃ(ｋ)＝Σ｜Ａ１n／Ａ２n+k−Ａ１n+1／Ａ２n+1+k｜  ・・・（７）
（７）式において、Σ演算はｎについて累積され、ｎのとる範囲はずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。上述したように、焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できる相関演算式であればどのような演算式でもよい。
【００４０】
算出されたずらし量ｘの信頼性があると判定された場合は、（８）式により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・ｘ  ・・・（８）
（８）式において、ＰＹは検出ピッチである。(８)式で算出された像ズレ量に所定の変換係数ｋを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝ｋ・ｓｈｆｔ  ・・・（９）
【００４１】
図１３は、図３に示す撮像素子２１２の焦点検出画素配列の近傍を拡大した図である。図１１のステップ１８０における焦点検出画素位置の画像データの算出方法の詳細について説明する。図１３において、網掛けをした位置（本来はＧ画素とＢ画素が配置されるべき配列）に焦点検出画素が配列されている。各画素の添え字は左上のＲ画素を基点とした行と列を示す数字であり、Ｒ、Ｇ、Ｂは各撮像画素の分光特性を示す。
【００４２】
焦点検出画素が配置されている列の左右の列は、ベイヤー配列ではＲ画素とＧ画素が交互に配置されるはずであるが、この一実施の形態ではＲ画素が１つおきにＢ画素に置換されるとともに、焦点検出画素の左右の列においてその配列が垂直方向に２画素ずらして配置される。
【００４３】
（１）焦点検出画素のうち本来Ｇ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求めるには、焦点検出画素を挟む左右の撮像画素配列の近傍の４つのＧ画素を加算平均する。例えばＧ３２の位置の画素信号ｇ３２は以下のように求められる。
ｇ３２＝（ｇ２１＋ｇ２３＋ｇ４１＋ｇ４３）／４  ・・・（１０）
（２）焦点検出画素のうち本来Ｂ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求めるには、焦点検出画素を挟む左右の撮像画素配列の近傍の２つのＢ画素を加算平均する。例えばＢ３３の位置の画素信号ｂ３３は以下のように求められる。
ｂ３３＝（ｂ２２＋ｂ４４）／２  ・・・（１１）
なお、Ｂ１３、Ｂ５３の位置の画素信号ｂ１３、ｂ５３を含めた４つの画素信号ｂ１３、ｂ２２、ｂ４４、ｂ５３の平均としてもよい。
（３）焦点検出画素を挟む左右の撮像画素配列のうち本来Ｒ画素が配置されるべき位置に配置されたＢ画素の撮像用画素信号を求めるには、水平方向および垂直方向の最近傍の４つのＲ画素を加算平均する。例えばＢ２２の位置の画素信号ｒ２２は以下のように求められる。
ｒ２２＝（ｒ２０＋ｒ０２＋ｒ４２＋ｒ２４）／４  ・・・（１２）
【００４４】
以上の実施例においては、本来はＧ画素とＢ画素が配置されるべき配列に焦点検出画素が配列されている場合に、焦点検出画素を挟む撮像画素配列（ベイヤー配列のままだとＧ画素とＲ画素が配置される配列）にＢ画素を配置することによって、本来Ｂ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求める際に近傍のＢ画素の画素信号を用いることができる。
【００４５】
焦点検出画素を挟む撮像画素配列をベイヤー配列のままにした場合は、本来Ｂ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求める際に、焦点検出画素配列の左右１列おいた次の列のＢ画素（図１３に示す例ではＢ１１、Ｂ１３、Ｂ１５、Ｂ５１、Ｂ５３、Ｂ５５）の画素信号を用いる必要があり、焦点検出画素配列上に青色の細線やエッジが重畳した場合には、求めた撮像用画素信号の誤差が大きくなってしまうが、この一実施の形態では焦点検出画素配列に接した撮像画素配列のＢ画素の画素信号を用いることができるため、求めた撮像用画素信号の精度が向上し、ひいては画像信号の品質が向上する。
【００４６】
なお、図１には図示していないが、撮像素子２１２の前には通常点像がベイヤー配列の大きさ（２画素×２画素）程度に拡大するように光学的なローパスフィルターが配置されるので、焦点検出画素配列上に青色の極めて細い細線や極めてシャープなエッジが重畳した場合にも、焦点検出画素配列を挟む左右の撮像画素の配列で検知することが可能である。
【００４７】
《発明の他の実施の形態》
焦点検出画素を挟む撮像画素の配列パターンは図１３に示す配列パターンに限定されることはなく、例えば図１４に示すような配列パターンでもよい。図１４は撮像素子の焦点検出画素配列の近傍を拡大した図である。図１４において、網掛けをした位置（本来はＧ画素とＢ画素が配置されるべき配列）に焦点検出画素が配列されている。焦点検出画素が配置されている列の左右の列は、ベイヤー配列においてはＲ画素とＧ画素が交互に配置されるはずであるが、この一実施の形態ではＲ画素が１つおきにＢ画素に置換されるとともに、焦点検出画素の左右の列においてその配列は同一である。
【００４８】
（１）焦点検出画素のうち本来Ｇ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求めるには、焦点検出画素を挟む左右の撮像画素配列の近傍の４つのＧ画素を加算平均する。例えばＧ３２の位置の画素信号ｇ３２は以下のように求められる。
ｇ３２＝（ｇ２１＋ｇ２３＋ｇ４１＋ｇ４３）／４  ・・・（１３）
（２）焦点検出画素のうち本来Ｂ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求めるには、焦点検出画素を挟む左右の撮像画素配列の近傍の２つのＢ画素を加算平均する。例えばＢ３１、Ｂ３３の位置の画素信号ｂ３３は以下のように求められる。
ｂ３１＝ｂ３３＝（ｂ２２＋ｂ４２）／２  ・・・（１４）
なお、Ｂ１３、Ｂ５３の位置の画素信号ｂ１３、ｂ５３を含めた４つの画素信号ｂ１３、ｂ２２、ｂ４４、ｂ５３の平均としてもよい。
（３）焦点検出画素を挟む左右の撮像画素配列のうち本来Ｒ画素が配置されるべき位置に配置されたＢ画素の撮像用画素信号を求めるには、水平方向および垂直方向の最近傍の３つのＲ画素を加算平均する。例えばＢ２２の位置の画素信号ｒ２２は以下のように求められる。
ｒ２２＝（ｒ２０＋ｒ０２＋ｒ２４）／３  ・・・（１５）
あるいは、水平方向および垂直方向の斜め方向の近傍の３つのＲ画素を加算平均する。例えばＢ２２の位置の画素信号ｒ２２は以下のように求められる。
ｒ２２＝（ｒ００＋ｒ２０＋ｒ４０＋ｒ０２＋ｒ０４＋ｒ２４＋ｒ４４）／７  ・・・（１６）
【００４９】
本発明はＲＧＢの原色フィルタを有する撮像画素を配列した撮像素子に限定されることはなく、以下に説明するような補色フィルターを有する撮像画素を配列した撮像素子にも適用することができる。図１５は補色フィルターを有する撮像画素の配列を示す図である。補色フィルターを有する撮像画素の配列は、緑画素（Ｇ画素）、イエロー画素（Ｙ画素）、シアン画素（Ｃ画素）およびマゼンタ画素（Ｍ画素）の４画素が図のように配列された構成となっており、この配列パターンが撮像素子上に二次元状に配置される。イエロー画素（Ｙ画素）、シアン画素（Ｃ画素）、マゼンタ画素（Ｍ画素）の分光感度を図１６に示す。
【００５０】
図１７は、撮像画素を補色配列した撮像素子の焦点検出画素配列の近傍を拡大した図である。図１７において、網掛けをした位置（本来はＧ画素とＭ画素が配置されるべき配列）に焦点検出画素が配列されている。焦点検出画素が配置されている列の左右の列は、図１５に示す配列ではＹ画素とＣ画素が交互に配置されるはずであるが、この一実施の形態では左列においてはＹ画素の代わりにＧ画素が配置され、右列においてはＣ画素の代わりにＭ画素が配置される。
【００５１】
（１）焦点検出画素のうち本来Ｇ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求めるには、焦点検出画素の左となりのＧ画素を用いる。例えばＧ３２の位置の画素信号ｇ３２は以下のように求められる。
ｇ３２＝ｇ２２  ・・・（１７）
（２）焦点検出画素のうち本来Ｍ画素が配置されるべき位置に配置された焦点検出画素の撮像用画素信号を求めるには、焦点検出画素の右となりのＭ画素を用いる。例えばＭ３３の位置の画素信号ｍ３３は以下のように求められる。
ｍ３３＝ｍ４３  ・・・（１８）
【００５２】
（３）焦点検出画素の左隣の撮像画素配列のうち本来Ｙ画素が配置されるべき位置に配置されたＧ画素の撮像用画素信号を求めるには、図１６に示す分光特性よりＧ画素、Ｙ画素、Ｃ画素、Ｍ画素の画素信号間にｃ＋ｙ＝２ｇ＋ｍの関係があることに基づき、水平方向および垂直方向の最近傍の５つのＧ画素、Ｍ画素、Ｃ画素を用いて求める。例えばＧ２２の位置の画素信号ｙ２２は以下のように求められる。
ｙ２２＝２・ｇ１２＋（ｍ１１＋ｍ１３）／２―（ｃ２１＋ｃ２３）／２  ・・・（１９）
（４）焦点検出画素の右隣の撮像画素配列のうち本来Ｃ画素が配置されるべき位置に配置されたＭ画素の撮像用画素信号を求めるには、図１６に示す分光特性よりＧ画素、Ｙ画素、Ｃ画素、Ｍ画素の画素信号間にｃ＋ｙ＝２ｇ＋ｍの関係があることに基づき、水平方向および垂直方向の最近傍の５つのＧ画素、Ｍ画素、Ｙ画素を用いて求める。例えばＧ４３の位置の画素信号ｃ４３は以下のように求められる。
ｃ４３＝（ｇ５２＋ｇ５４）＋ｍ５３―（ｙ４２＋ｙ４４）／２  ・・・（２０）
【００５３】
撮像素子における焦点検出エリアの配置は図２に示す配置に限定されることはなく、対角線方向やその他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。
【００５４】
図３に示す撮像素子２１２では、焦点検出画素３１３、３１４がひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えるようにしてもよい。図１８は変形例の撮像素子２１２Ａを示す部分拡大図であり、焦点検出画素３１１がひとつの画素内に一対の光電変換部を備える。この焦点検出画素３１１が、図３に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たす。
【００５５】
焦点検出画素３１１は、図１９に示すようにマイクロレンズ１０と一対の光電変換部１３，１４からなる。焦点検出画素３１１には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性を総合した分光特性（図７参照）となり、図６に示す緑画素、赤画素、青画素の分光特性を加算したような分光特性となる。そして、その感度の光波長領域は緑画素、赤画素、青画素の感度の光波長領域を包括している。
【００５６】
図２０により、図１９に示す焦点検出画素による瞳分割方式の焦点検出方法を説明する。９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０，６０はマイクロレンズ、（５３、５４）（６３、６４）は焦点検出画素の一対の光電変換部、７３，７４、８３，８４は焦点検出光束である。
【００５７】
また、９３は、マイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、測距瞳と呼ぶ。同様に、９４は、マイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、測距瞳と呼ぶ。図２０では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４からなる）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４からなる）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。なお、焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。
【００５８】
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。同様に、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。
【００５９】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０に向う焦点検出光束７３によりマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０に向う焦点検出光束７４によりマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０に向う焦点検出光束８３によりマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０に向う焦点検出光束８４によりマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【００６０】
このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対し像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。像ズレ量に所定の変換処理を施し、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００６１】
図３に示す撮像素子２１２では、焦点検出画素に色フィルターを設けない例を示したが、撮像画素と同色の色フィルターのうちひとつのフィルター（例えば緑フィルター）を備えるようにした場合でも、本発明を適用することができる。
【００６２】
図５および図１９において、焦点検出画素の光電変換部の形状を半円形や矩形とした例を示したが、光電変換部の形状はこれに限定されず、他の形状であってもよい。例えば、焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。
【００６３】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置などにも適用できる。カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。
【図面の簡単な説明】
【００６４】
【図１】一実施の形態のカメラ（撮像装置）の構成を示すカメラの横断面図
【図２】交換レンズの撮影画面上における焦点検出位置を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像画素の構成と配置を示す図
【図５】焦点検出画素の構成を示す図
【図６】撮像画素の分光特性を示す図
【図７】焦点検出画素の分光特性を示す図
【図８】撮像画素の断面図
【図９】焦点検出画素の断面図
【図１０】撮影画面中央の焦点検出エリアにおけるマイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図
【図１１】図１に示すデジタルスチルカメラ（撮像装置）の動作を示すフローチャート
【図１２】焦点検出結果の判定方法を説明するための図
【図１３】図３に示す撮像素子の焦点検出画素配列の近傍を拡大した図
【図１４】変形例の撮像素子の焦点検出画素配列の近傍を拡大した図
【図１５】補色配列を示す図
【図１６】補色フィルターを有する撮像画素の分光特性を示す図
【図１７】撮像画素を補色配列した撮像素子の焦点検出画素配列の近傍を拡大した図
【図１８】変形例の撮像素子を示す部分拡大図
【図１９】焦点検出画素の構成を示す正面図
【図２０】図１９に示す焦点検出画素による瞳分割方式の焦点検出方法を説明するための図
【符号の説明】
【００６５】
１０；マイクロレンズ、１１，１３，１４；光電変換部、２０１；カメラ、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４；ボディ駆動制御装置、３１０；撮像画素、３１３，３１４；焦点検出画素
【図１】
0005012495.tif 000002
【図２】
0005012495.tif 000003
【図３】
0005012495.tif 000004
【図４】
0005012495.tif 000005
【図５】
0005012495.tif 000006
【図６】
0005012495.tif 000007
【図７】
0005012495.tif 000008
【図８】
0005012495.tif 000009
【図９】
0005012495.tif 000010
【図１０】
0005012495.tif 000011
【図１１】
0005012495.tif 000012
【図１２】
0005012495.tif 000013
【図１３】
0005012495.tif 000014
【図１４】
0005012495.tif 000015
【図１５】
0005012495.tif 000016
【図１６】
0005012495.tif 000017
【図１７】
0005012495.tif 000018
【図１８】
0005012495.tif 000019
【図１９】
0005012495.tif 000020
【図２０】
0005012495.tif 000021