(57)【要約】【課題】焦点検出用画素の位置の画像データを正確に再現する。【解決手段】分光感度特性の異なる複数種類の撮像用画素３１０ａ、３１０ｂ、３１０ｃを二次元状に規則的に配列し、光学系により結像される像を撮像する撮像素子において、撮像用画素のうちの所定方向に沿った一部を焦点検出用画素３１１ａ、３１１ｂとして構成し、規則的な配列において焦点検出用画素の位置に位置する撮像用画素と同じ分光感度特性を有する撮像用画素が複数の焦点検出用画素の間に配置されるように、所定方向の画素配列上に撮像用画素と焦点検出用画素とを混在させて配置する。【選択図】図５
2008040087.tif 000002
【特許請求の範囲】
【請求項１】
分光感度特性の異なる複数種類の撮像用画素を二次元状に規則的に配列し、光学系により結像される像を撮像する撮像素子であって、
前記撮像用画素のうちの所定方向に沿った一部を焦点検出用画素として構成し、前記規則的な配列において前記焦点検出用画素の位置に位置する前記撮像用画素と同じ分光感度特性を有する前記撮像用画素が複数の前記焦点検出用画素の間に配置されるように、前記所定方向の画素配列上に前記撮像用画素と前記焦点検出用画素とを混在させて配置することを特徴とする撮像素子。
【請求項２】
分光感度特性の異なる複数種類の撮像用画素を二次元状に規則的に配列し、光学系により結像される像を撮像する撮像素子であって、
前記撮像用画素のうちの所定方向に沿った一部を焦点検出用画素として構成し、前記規則的な配列における前記所定方向の画素配列上の前記撮像用画素のすべての種類が複数の前記焦点検出用画素の間に配置されるように、前記所定方向の画素配列上に前記撮像用画素と前記焦点検出用画素とを混在させて配置することを特徴とする撮像素子。
【請求項３】
請求項１または請求項２に記載の撮像素子において、
前記複数種類の撮像用画素を正方配列し、前記所定方向は前記正方配列の各辺または対角線の方向とすることを特徴とする撮像素子。
【請求項４】
請求項１または請求項２に記載の撮像素子において、
前記焦点検出用画素は、前記光学系の射出瞳において前記所定方向に沿った異なる瞳部分を通る対の光束を受光することを特徴とする撮像素子。
【請求項５】
請求項１または請求項２に記載の撮像素子において、
前記焦点検出用画素はマイクロレンズと光電変換部を備え、前記マイクロレンズに関して前記光電変換部と前記光学系の射出瞳とが共役であることを特徴とする撮像素子。
【請求項６】
請求項５に記載の撮像素子において、
前記焦点検出用画素は対の光電変換部を備え、前記各光電変換部により前記光学系の異なる瞳部分を通る対の光束をそれぞれ受光することを特徴とする撮像素子。
【請求項７】
請求項５に記載の撮像素子において、
前記焦点検出用画素は、前記光電変換部により前記光学系の異なる瞳部分を通る対の光束の一方を受光することを特徴とする撮像素子。
【請求項８】
請求項７に記載の撮像素子において、
前記光学系の異なる瞳部分を通る対の光束をそれぞれ受光する対の前記焦点検出用画素が複数対配置されることを特徴とする撮像素子。
【請求項９】
請求項１〜８のいずれか１項に記載の撮像素子において、
前記焦点検出用画素は前記撮像用画素と異なる分光感度特性を有することを特徴とする撮像素子。
【請求項１０】
請求項１〜８のいずれか１項に記載の撮像素子において、
前記焦点検出用画素は、前記規則的な配列において前記焦点検出用画素の位置に位置する前記撮像用画素と同じ分光感度特性を有することを特徴とする撮像素子。
【請求項１１】
請求項１〜１０のいずれか１項に記載の撮像素子において、
ＲＧＢのそれぞれを受光する３種類の前記撮像用画素を備えることを特徴とする撮像素子。
【請求項１２】
請求項１１に記載の撮像素子において、
ＲＧＢのそれぞれを受光する３種類の前記撮像用画素をベイヤー配列することを特徴とする撮像素子。
【請求項１３】
請求項１〜１２のいずれか１項に記載の撮像素子において、
前記撮像用画素はマイクロレンズと光電変換部を備え、前記マイクロレンズに関して前記光電変換部と前記光学系の射出瞳とが共役であることを特徴とする撮像素子。
【請求項１４】
請求項１３に記載の撮像素子において、
前記撮像用画素のマイクロレンズの光学特性と、前記焦点検出用画素のマイクロレンズの光学特性とを異ならせることを特徴とする撮像素子。
【請求項１５】
請求項１〜１０のいずれか１項に記載の撮像素子と、
前記撮像素子の前記焦点検出用画素の出力データに基づいて前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項１６】
請求項１〜１４のいずれか１項に記載の撮像素子と、
前記撮像素子の前記焦点検出用画素の近傍の前記撮像用画素の出力データに基づいて、前記焦点検出用画素の位置の画像データを補間演算する補間演算手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子、撮像装置および焦点検出装置に関する。
【背景技術】
【０００２】
焦点検出用画素（以下、ＡＦ用画素という）を備えた撮像素子を用い、ＡＦ用画素の周辺の撮像用画素の画像データからＡＦ用画素の画像データを補間して求めるようにしたカラー撮像装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２０００−３０５０１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のカラー撮像装置には次のような問題がある。
図３０に示す撮像素子のＡＦ用画素列上に、緑色成分あるいは青色成分が背景の緑色成分あるいは青色成分と異なる細線パターン（図中に破線で示す）４０２が重畳した場合には、上記（１）式と（２）式による画像データの補間ではＡＦ用画素列上の画像データが背景と同じ色成分となってしまい、細線パターン４０２を画像データとして再現することができない。
また、細線パターンだけでなく、エッジパターンがＡＦ用画素列上に重畳した場合には、従来の画像データ補間ではエッジパターンを忠実に再現できず、偽色などのノイズが発生する場合がある。
【課題を解決するための手段】
【０００５】
（１）  請求項１の発明は、分光感度特性の異なる複数種類の撮像用画素を二次元状に規則的に配列し、光学系により結像される像を撮像する撮像素子であって、撮像用画素のうちの所定方向に沿った一部を焦点検出用画素として構成し、規則的な配列において焦点検出用画素の位置に位置する撮像用画素と同じ分光感度特性を有する撮像用画素が複数の焦点検出用画素の間に配置されるように、所定方向の画素配列上に撮像用画素と焦点検出用画素とを混在させて配置する。
（２）  請求項２の発明は、分光感度特性の異なる複数種類の撮像用画素を二次元状に規則的に配列し、光学系により結像される像を撮像する撮像素子であって、撮像用画素のうちの所定方向に沿った一部を焦点検出用画素として構成し、規則的な配列における所定方向の画素配列上の撮像用画素のすべての種類が複数の焦点検出用画素の間に配置されるように、所定方向の画素配列上に撮像用画素と焦点検出用画素とを混在させて配置する。
（３）  請求項３の撮像素子は、複数種類の撮像用画素を正方配列し、所定方向は正方配列の各辺または対角線の方向とする。
（４）  請求項４の撮像素子は、焦点検出用画素が光学系の射出瞳において所定方向に沿った異なる瞳部分を通る対の光束を受光する。
（５）  請求項５の撮像素子は、焦点検出用画素がマイクロレンズと光電変換部を備え、マイクロレンズに関して光電変換部と光学系の射出瞳とが共役である。
（６）  請求項６の撮像素子は、焦点検出用画素が対の光電変換部を備え、各光電変換部により光学系の異なる瞳部分を通る対の光束をそれぞれ受光する。
（７）  請求項７の撮像素子は、焦点検出用画素が光電変換部により光学系の異なる瞳部分を通る対の光束の一方を受光する。
（８）  請求項８の撮像素子は、光学系の異なる瞳部分を通る対の光束をそれぞれ受光する対の焦点検出用画素が複数対配置される。
（９）  請求項９の撮像素子は、焦点検出用画素が撮像用画素と異なる分光感度特性を有する。
（１０）  請求項１０の撮像素子は、焦点検出用画素が、規則的な配列において焦点検出用画素の位置に位置する撮像用画素と同じ分光感度特性を有する。
（１１）  請求項１１の撮像素子は、ＲＧＢのそれぞれを受光する３種類の撮像用画素を備える。
（１２）  請求項１２の撮像素子は、ＲＧＢのそれぞれを受光する３種類の撮像用画素をベイヤー配列する。
（１３）  請求項１３の撮像素子は、撮像用画素がマイクロレンズと光電変換部を備え、マイクロレンズに関して光電変換部と光学系の射出瞳とが共役である。
（１４）  請求項１４の撮像素子は、撮像用画素のマイクロレンズの光学特性と、焦点検出用画素のマイクロレンズの光学特性とを異ならせる。
（１５）  請求項１５の焦点検出装置は、請求項１〜１４のいずれか１項に記載の撮像素子と、撮像素子の焦点検出用画素の出力データに基づいて光学系の焦点調節状態を検出する焦点検出手段とを備える。
（１６）  請求項１６の撮像装置は、請求項１〜１４のいずれか１項に記載の撮像素子と、撮像素子の焦点検出用画素の近傍の撮像用画素の出力データに基づいて、焦点検出用画素の位置の画像データを補間演算する補間演算手段とを備える。
【発明の効果】
【０００６】
本発明によれば、焦点検出用画素の位置の画像データを正確に再現して画像品質の劣化を防止することができる。
【発明を実施するための最良の形態】
【０００７】
本願発明の一実施の形態による撮像素子を、デジタルスチルカメラに適用した一実施の形態を説明する。図１は一実施の形態の構成を示す。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２はマウント部２０４によりカメラボディ２０３に装着される。
【０００８】
交換レンズ２０２はレンズ駆動制御装置２０６、ズーミング用レンズ２０８、レンズ２０９、フォーカシング用レンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６は、マイクロコンピューターとメモリなどの周辺部品から成り、フォーカシング用レンズ２１０と絞り２１１の駆動制御、絞り２１１、ズーミング用レンズ２０８およびフォーカシング用レンズ２１０の状態検出、後述するボディ駆動制御装置２１４に対するレンズ情報の送信とカメラ情報の受信などを行う。
【０００９】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には後述する画素が二次元状に配列されており、交換レンズ２０２の予定結像面に配置されて交換レンズ２０２により結像される被写体像を撮像する。なお、詳細を後述するが撮像素子２１２の所定の焦点検出位置には焦点検出用画素（以下、ＡＦ用画素という）が配列される。
【００１０】
ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成され、撮像素子２１２からの画像信号の読み出し、画像信号の補正、交換レンズ２０２の焦点調節状態の検出、レンズ駆動制御装置２０６からのレンズ情報の受信とカメラ情報（デフォーカス量）の送信、ディジタルスチルカメラ全体の動作制御などを行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６は、マウント部２０４の電気接点部２１３を介して通信を行い、各種情報の授受を行う。
【００１１】
液晶表示素子駆動回路２１５は、液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）の液晶表示素子２１６を駆動する。撮影者は接眼レンズ２１７を介して液晶表示素子２１６に表示された像を観察することができる。メモリカード２１９はカメラボディ２０３に脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。
【００１２】
交換レンズ２０２を通過して撮像素子２１２上に形成された被写体像は、撮像素子２１２により光電変換され、その出力はボディ駆動制御装置２１４へ送られる。ボディ駆動制御装置２１４は、撮像素子２１２上のＡＦ用画素の出力データに基づいて所定の焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力に基づいて生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、液晶表示素子２１６に画像を表示させる。
【００１３】
カメラボディ２０３には不図示の操作部材（シャッターボタン、焦点検出位置の設定部材など）が設けられており、これらの操作部材からの操作状態信号をボディ駆動制御装置２１４が検出し、検出結果に応じた動作（撮像動作、焦点検出位置の設定動作、画像処理動作）の制御を行う。
【００１４】
レンズ駆動制御装置２０６はレンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、レンズ２０８、２１０の位置と絞り２１１の絞り位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシングレンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動する。
【００１５】
図２は撮影画面上における焦点検出位置を示す。撮影画面１００の５カ所に焦点検出エリア１０１〜１０５が配置される。これらの焦点検出エリア１０１〜１０５は、後述する撮像素子２１２のＡＦ用画素が撮影画面１００上で被写体像をサンプリングする領域を示し、長方形で示した焦点検出エリア１０１〜１０５の長手方向にＡＦ用画素が直線的に配列される。撮影者は、複数の焦点検出エリア１０１〜１０５の中から撮影構図に応じて焦点検出エリア選択操作部材（不図示）により焦点検出エリアを手動で選択する。
【００１６】
図３は撮像素子２１２の撮像用画素の配列を示す。撮像素子２１２の基板上に二次元的に配列する撮像用画素には、図３に示すようなベイヤー配列の色フィルタが設けられる。なお、図３には４画素分（２×２）の撮像用画素に対する色フィルタの配列を示すが、撮像素子２１２上には図３に示すベイヤー配列をもつ４画素分の撮像用画素ユニットが二次元状に配置される。ベイヤー配列においては、緑色フィルタ（Ｇ）の２画素が対角線上に配置され、青色フィルタ（Ｂ）と赤色フィルタ（Ｒ）が１画素ずつ対角線上に配置される。ベイヤー配列では緑画素の密度が赤画素および青画素の密度より高い。
【００１７】
図８に、撮像素子２１２の撮像用緑画素、撮像用赤画素および撮像用青画素の分光特性を示す。この分光特性は、図３に示す各色フィルタの分光感度、光電変換を行うフォトダイオード（不図示）の分光感度、および赤外カットフィルタ（不図示）の分光特性を総合した分光特性であり、緑画素、赤画素、青画素は色分解を行うためにそれぞれの感度が異なる光波長領域（異なる分光感度を有する）となっている。特に、緑画素の分光特性は、図１０に示すように比視感度のピークに近い感度を有する。
【００１８】
なお、ＡＦ用画素には光量をかせぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオード（不図示）の分光感度と、赤外カットフィルタ（不図示）の分光特性とを総合した図９に示す分光特性となる。このＡＦ用画素の分光特性は、図８に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００１９】
図５は撮像素子２１２の詳細な構成を示す正面図である。なお、図５では撮像素子２１２上のひとつの焦点検出エリア近傍を拡大して示す。撮像素子２１２は撮像用画素（緑画素３１０ａ、青画素３１０ｂ、赤画素３１０ｃ）と、ＡＦ用画素（緑画素を置換したＡＦ用画素３１１ａ、青画素を置換したＡＦ用画素３１１ｂ）とから構成される。図６に示すように、撮像用画素３１０ａ、３１０ｂ、３１０ｃはマイクロレンズ１０、光電変換部１１および色フィルタ（不図示）を有する。また、図７に示すように、ＡＦ用画素３１１ａ、３１１ｂはマイクロレンズ１０と一対の光電変換部１２，１３を有する。
【００２０】
撮像用画素３１０ａ、３１０ｂ、３１０ｃの光電変換部１１は、マイクロレンズ１０によって明るい交換レンズの射出瞳（たとえばＦ１．０）を通過する光束をすべて受光するような形状に設計される。ＡＦ用画素３１１ａ、３１１ｂの一対の光電変換部１２、１３は、マイクロレンズ１０によって交換レンズの特定の射出瞳（たとえばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２１】
図５に示すように、二次元状に配置された撮像用画素３１０ａ、３１０ｂ、３１０ｃはＲＧＢのベイヤー配列の色フィルタが備えられる。ＡＦ用画素３１１ａ、３１１ｂは、撮像用画素の緑画素３１０ａと青画素３１０ｂが配置されるべき行（列）に直線上に配置され、ＡＦ用画素３１１ａ、３１１ｂの間は２画素分離れており、そこには緑画素３１０ａと青画素３１０ｂが１つずつ配置されている。
【００２２】
ＡＦ用画素３１１ａ、３１１ｂを撮像用画素の緑画素３１０ａと青画素３１０ｂが配置されるべき行（列）に配置することによって、後述する画素補間によりＡＦ用画素３１１の位置の画素信号を補間する場合に多少誤差が生じても人間の眼には目立たなくすることができる。この理由は、人間の目は青より赤に敏感であることと、緑画素の密度が青画素と赤画素より高いので緑画素の１画素の欠陥に対する画像劣化への寄与が小さいからである。
【００２３】
ＡＦ用画素３１１ａ、３１１ｂは焦点検出エリアの中に配列される。ＡＦ用画素３１１ａ、３１１ｂの間に緑画素３１０ａと青画素３１０ｂを配置することによって、この緑画素３１０ａと青画素３１０ｂの画像データをＡＦ用画素３１１ａ、３１１ｂの位置の画像データを補間する際に利用することができ、ＡＦ用画素列の配列上にエッジや細線などの画像パターンが重畳した場合でも良好に画像データの補間を行うことができる。
【００２４】
図１１は撮像用画素３１０ａ、３１０ｂ、３１０ｃの断面図である。撮像用画素３１０ａ、３１０ｂ、３１０ｃにおいて、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。上述した色フィルタ（不図示）はマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２５】
図１２はＡＦ用画素３１１ａ、３１１ｂの断面図である。ＡＦ用画素３１１ａ、３１１ｂにおいて、焦点検出用の光電変換部１２、１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２、１３が前方に投影される。光電変換部１２、１３は半導体回路基板２９上に形成される。
【００２６】
ここで、図１３により瞳分割型位相差検出方式による焦点検出原理を説明する。図において、９０は交換レンズの予定結像面に配置されたマイクロレンズの前方ｄ４の距離に設定された射出瞳である。なお、距離ｄ４は、マイクロレンズの曲率、屈折率およびマイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０、６０はマイクロレンズ、５２、５３は焦点検出用画素の一対の光電変換部、６１は撮像用画素の光電変換部、７２、７３は焦点検出光束、７４は撮像光束である。また、９２はマイクロレンズ５０により投影された光電変換部５２の領域（以下、測距瞳と呼ぶ）、９３はマイクロレンズ５０により投影された光電変換部５３の領域（以下、測距瞳と呼ぶ）、９４はマイクロレンズ６０により投影された光電変換部６１の領域（以下、測距瞳と呼ぶ）である。
【００２７】
図１３においては、光軸９１上にあるＡＦ用画素（マイクロレンズ５０と一対の光電変換部５２、５３を有する）と、隣接する撮像用画素（マイクロレンズ６０と光電変換部６１を有する）とを模式的に例示したが、その他のＡＦ用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９２、９３から各マイクロレンズに到来する光束を受光するとともに、その他の撮像用画素においても、光電変換部はそれぞれ一対の領域９４から各マイクロレンズに到来する光束を受光する。ＡＦ用画素の配列方向は一対の測距瞳の並び方向と一致させる。
【００２８】
マイクロレンズ５０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によりその背後に配置された一対の光電変換部５２、５３の形状がマイクロレンズ５０から投影距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄ４にある射出瞳９０上で各焦点検出用画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素の投影方向が決定されている。ＡＦ用画素において、マイクロレンズに関して光電変換部と交換レンズ（撮影光学系）の射出瞳とが共役である。
【００２９】
光電変換部５２は、測距瞳９２を通過しマイクロレンズ５０に向う焦点検出光束７２によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。一方、光電変換部５３は、測距瞳９３を通過しマイクロレンズ５０に向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。このようなＡＦ用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束がＡＦ用画素列上に形成する一対の像の強度分布に関する情報が得られる。
【００３０】
この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）を算出することができる。
【００３１】
マイクロレンズ６０は光学系の予定結像面近傍に配置されており、マイクロレンズ６０によりその背後に配置された光電変換部６１の形状がマイクロレンズ６０から投影距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は領域９４を形成する。すなわち、投影距離ｄ４にある射出瞳９０上で各撮像用画素の光電変換部の投影形状（領域９４）が一致するように、各画素の投影方向が決定されている。光電変換部６１は領域９４を通過してマイクロレンズ６０に向う撮影光束７４によって、マイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【００３２】
このような撮像用画素を二次元状に多数配置し、各画素の光電変換部の出力を検出することによって、画面上の像の二次元的な光強度分布に関する情報（画像データ）が得られる。
【００３３】
図１４は射出瞳面における投影関係を示す正面図である。マイクロレンズによりＡＦ用画素の一対の光電変換部を射出瞳面９０に投影した測距瞳９２，９３の外接円は、結像面から見た場合に所定の開口Ｆ値（測距瞳Ｆ値と称する。ここではＦ２．８）となる。また、マイクロレンズにより撮像用画素の光電変換部を射出瞳面９０に投影した領域９４は、測距瞳９２、９３を包含した広い領域となる。最も明るい絞り開口（Ｆ１）に対応した測距瞳面９０上の領域は９５、暗い絞り開口（Ｆ５．６）に対応した測距瞳面９０上の領域は９６である。
【００３４】
領域９４は領域９５、９６よりも広い領域となっているので、撮像用画素の受光する光束は絞り開口により制限され、撮像用画素のデータは絞り開口値に応じて変化する。測距瞳９２、９３は領域９５より狭く、領域９６より広くなっている。そのため、絞り開口値がＦ２．８より明るい場合は、絞り開口値が変化してもＡＦ用画素のデータは変化せず、絞り開口値がＦ２．８より暗い場合はＡＦ用画素のデータは絞り開口値に応じて変化する。
【００３５】
撮像用画素データ値／焦点検出用画素データ値を出力比係数（絞り開口値Ｆ２．８の時に１になるとして規格化）としてグラフ化すると、図１５に示すように、開口値がＦ２．８より暗い場合には開口値に因らず一定値１であり、開口値がＦ２．８より明るい場合には開口値が明るくなるにつれて増大する。
【００３６】
図１６は、一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。ボディ駆動制御装置２１４は、カメラの電源が投入されている間、この動作を繰り返し実行する。ステップ１００でカメラの電源がオンされるとステップ１１０へ進み、撮像用画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。撮像用画素のデータを間引き読み出しする際には、ＡＦ用画素がなるべく含まれないような設定で間引き読み出しをすることによって、表示品質を向上させることができる。
【００３７】
ステップ１２０ではＡＦ用画素列からデータを読み出す。ここで、焦点検出エリアは不図示の選択操作部材を用いてユーザーにより選択されているものとする。次に、ステップ１３０で、ＡＦ用画素列に対応した一対の像データに基づいて像ズレ検出演算処理を行い、像ズレ量を演算し、さらにデフォーカス量を算出する。
【００３８】
ここで、図１７を参照して像ズレ検出演算処理（相関アルゴリズム）について説明する。あるＡＦ用画素列に対応する一対のデータをそれぞれｅｉ，ｆｉ（ただしｉ＝１〜ｍ）とすると、まず次式に示す差分型相関アルゴリズムによって相関量Ｃ（Ｌ）を求める。
Ｃ（Ｌ）＝Σ｜ｅ（ｉ＋Ｌ）−ｆ（ｉ）｜  ・・・（１）
（１）式において、Σはｉ＝ｐ〜ｑの総和演算を表す。また、Ｌは整数であり、一対のデータの検出ピッチを単位とした相対的シフト量である。また、Ｌのとる範囲はＬｍｉｎ〜Ｌｍａｘ（図では−５〜＋５）である。さらに、パラメータｉのとる範囲はｐからｑまでであり、１≦ｐ＜ｑ≦ｍの条件を満足するように定められる。
【００３９】
（４）式の演算結果は、図１７(ａ)に示すように、一対のデータの相関が高いシフト量Ｌ＝ｋj（図１７(ａ)ではｋj＝２）において相関量Ｃ（Ｌ）が最小になる。次に、（２）式〜（５）式による３点内挿の手法を用いて連続的な相関量に対する最小値Ｃ（Ｌ）min＝Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ  ・・・（２），
Ｃ（ｘ）＝ Ｃ（ｋj）−｜Ｄ｜  ・・・（３），
Ｄ＝｛Ｃ（ｋj-1）−Ｃ（ｋj+1）｝／２  ・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj+1）−Ｃ（ｋj），Ｃ（ｋj-1）−Ｃ（ｋj）｝  ・・・（５）
また、（１）式で求めたシフト量ｘにより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを次式により求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ  ・・・（６）
（６）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
【００４０】
算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図１７(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ（Ｘ）の値が大きくなる。したがって、Ｃ（Ｘ）が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ（Ｘ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（Ｘ）を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。
【００４１】
図１７(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲Ｌｍｉｎ〜Ｌｍａｘの間で相関量Ｃ（Ｌ）の落ち込みがない場合は、最小値Ｃ（Ｘ）を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。
【００４２】
ステップ１４０において合焦近傍か否か、つまり算出されたデフォーカス量の絶対値が所定値以内であるかを調べる。合焦近傍でないと判定した場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２１６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０をデフォーカス量に基づいて合焦位置に駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。なお、焦点検出不能な場合もこのステップ１５０に分岐し、レンズ駆動制御装置２１６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２１０を無限から至近間でスキャン駆動させ、ステップ１１０へ戻って上述した記動作を繰り返す。
【００４３】
一方、合焦近傍であると判定した場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合はステップ１１０へ戻って上述した動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２１６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（ユーザーまたは自動により設定されたＦ値）に設定する。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像用画素および全てのＡＦ用画素から画像データを読み出す。
【００４４】
ステップ１８０において、ＡＦ用画素列の各画素位置の画素データをＡＦ用画素のデータおよび周囲の撮像用画素のデータに基づいて補間する。この補間処理については後述する。続くステップ１９０では撮像用画素のデータおよび補間されたデータからなる画像データをメモリーカードに保存し、ステップ１１０へ戻って上述した動作を繰り返す。
【００４５】
次に、画像データ補間処理について説明する。図１８は、一実施の形態の図５に示す撮像素子２１２の模式的な構成を示す図である。緑画素Ｇ３１０ａ、青画素Ｂ３１０ｂおよび赤画素Ｒ３１０ｃがベイヤー配列されており、その一部の焦点検出エリアに対応する行に、ＡＦ用画素Ａが一列に、間に２個の撮像用画素ＧとＢを挟んで配置される。緑画素Ｇのあるべき位置にＡＦ用画素Ａ３１１ａが、青画素Ｂのあるべき位置にＡＦ用画素Ａ３１１ｂが配置される。
【００４６】
図１９は、一実施の形態の撮像素子２１２に対する画像データ補間処理を説明する図である。図において、撮像用画素の緑画素ＧのデータをＧｎ、赤画素ＲのデータをＲｎ、青画素ＢのデータをＢｎ、焦点検出用画素ＡのデータをＡｎ（ｎ＝１、２、・・・）とする。なお、特定画素に注目して補間処理を説明するが、緑画素の位置に配置されたすべてのＡＦ用画素に対して同様な処理が施される。緑画素に配置されたＡＦ用画素（データＡ１）の位置における画像データＩ（Ａ１）は、次式により補間演算する。
Ｉ（Ａ１）＝（Ｇ２＋Ｇ４＋Ｇ５＋Ｇ６＋Ｇ７＋Ｇ９＋Ｇ１１＋Ｇ１２）／８  ・・・（７）
（７）式のように画像データを補間演算することによって、ＡＦ用画素配列上にエッジや細線のような画像パターン４００が重畳している場合でも、画像データＧ１１、Ｇ１２は画像パターン４００を反映したデータとなっているので、良好な画像補間結果を得ることができる。
【００４７】
なお、統計処理してＡＦ用画素の位置の画像データＩ（Ａ１）を算出する手法としては、（７）式に示すような単純平均演算だけでなく、ＡＦ用画素に対して垂直な方向の周辺の複数箇所にある画素データを線形補間、２次以上の多次式で補間して求めたり、メジアン処理で求めてもよい。
【００４８】
また、画像データの補間演算に焦点検出用画素データＡ１を用いるようにしてもよい。
Ｉ（Ａ１）＝｛ｋ１・（Ｇ２＋Ｇ４＋Ｇ５＋Ｇ６＋Ｇ７＋Ｇ９＋Ｇ１１＋Ｇ１２）／８｝＋ｋ２・ｋｓ・Ａ１  ・・・（８）
（８）式において、係数ｋｓは図１５に示す出力比係数であり、撮像時の制御Ｆ値（絞りＦ値）に応じた出力比係数が選択される。また、係数ｋ１、ｋ２は周囲画素データより補間したデータとＡＦ用画素データを混ぜ合わせる際の重み係数であり、ｋ１＋ｋ２＝１を満足する。ＡＦ用画素データＡ１はＡＦ用画素の位置の輝度に対応したデータとなっているので、（８）式のように画像データの補間演算にＡＦ用画素データＡ１を用いることによって、画像の高周波成分の再現性を向上させることができる。
【００４９】
図２０は、一実施の形態の撮像素子２１２に対する画像データ補間処理を説明する図である。図において、撮像用画素の緑画素のデータをＧｎ、赤画素のデータをＲｎ、青画素のデータをＢｎ、ＡＦ用画素のデータをＡｎ（ｎ＝１、２、・・・）とする。なお、以下の説明では特定画素に注目して補間処理を説明するが、青画素の位置に配置されたすべてのＡＦ用画素に対して同様な処理が施される。青画素の位置に配置されたＡＦ用画素（データＡ２１）の位置における画像データＩ（Ａ２１）は、次式により補間演算する。
Ｉ（Ａ２１）＝（Ｂ２１＋Ｂ２２＋Ｂ２３＋Ｂ２４＋Ｂ２５＋Ｂ２６＋Ｂ２７＋Ｂ２８）／８  ・・・（９）
（９）式で画像データを補間することによって、ＡＦ用画素配列上にエッジや細線のような画像パターン４００が重畳している場合でも、画像データＢ２７、Ｂ２８が画像パターン４００を反映したデータとなり、良好な画像補間結果を求めることができる。
【００５０】
（９）式と同様に画像データの補間演算にＡＦ用画素データＡ２１を用いるようにしてもよい。
Ｉ（Ａ２１）＝｛ｋ１・（Ｂ２１＋Ｂ２２＋Ｂ２３＋Ｂ２４＋Ｂ２５＋Ｂ２６＋Ｂ２７＋Ｂ２８）／８｝＋ｋ２・ｋｓ・Ａ２１  ・・・（１０）
【００５１】
《一実施の形態の変形例》
図２１は変形例の撮像素子２１２Ａの詳細な構成を示す正面図である。また、図２２は撮像素子２１２Ａの模式的な構成図である。図５に示す撮像素子２１２ではＡＦ用画素３１１の間に２つの撮像用画素（緑画素と青画素）が配置されているのに対し、図２１、図２２ではＡＦ用画素３１１の間に３つの撮像用画素（緑画素２個と青画素１個）が配置される。ＡＦ用画素３１１ａは緑画素３１０ａの位置に配置される。
【００５２】
図２１、図２２に示す撮像素子２１２Ａの構成においても、（１０）式、（１１）式により緑画素の位置に配置されたＡＦ用画素の画像データを補間演算することができる。この撮像素子２１２ＡではＡＦ用画素が緑画素のみを置換して配置されるため、画像の青成分、赤成分はＡＦ用画素の配置に影響されずに検出でき、画像の色再現性が向上する。
【００５３】
ＡＦ用画素の間隔をさらに広げることによって画像データの品質は更に向上するが、焦点検出精度の観点からはＡＦ用画素の間隔は狭いほうが望ましいので、両者のバランスを考慮してＡＦ用画素の間隔を決定することが肝要となるが、いずれにしてもＡＦ用画素とＡＦ用画素との間に画像データの補間演算に用いる撮像用画素を配置しておくことが最低限の必須要件となる。
【００５４】
図２３は他の変形例の撮像素子２１２Ｂの詳細な構成を示す正面図である。また、図２４は撮像素子２１２Ｂの模式的な構成を示す図である。図５に示す撮像素子２１２ではＡＦ用画素３１１が水平方向（緑画素と青画素からなる行）に配置されていたが、図２３、図２４に示す撮像素子２１２ＢではＡＦ用画素３１１ｃが斜め左上がり４５度方向に配置される。ＡＦ用画素３１１は緑画素に置換して配置され、並び方向に１画素おきに配置されている。ＡＦ用画素３１１ｃは、図７に示すＡＦ用画素３１１ａを４５度時計回りに回転したのと同様な光電変換部の構成を備えている。
【００５５】
図２５は、図２３、図２４に示す撮像素子２１２Ｂに対する画像データ補間処理を説明する図である。図において、撮像用画素の緑画素ＧのデータをＧｎ、赤画素ＲのデータをＲｎ、青画素ＢのデータをＢｎ、焦点検出用画素ＡのデータをＡｎ（ｎ＝１、２、・・・）とする。なお、以下の説明では特定画素に注目して補間処理を説明するが、緑画素の位置に配置されたすべてのＡＦ用画素に対して同様な処理が施される。緑画素の位置に配置されたＡＦ用画素（データＡ２）の位置における画像データＩ（Ａ２）は、次式により補間演算する。
Ｉ（Ａ２）＝（Ｇ１＋Ｇ３＋Ｇ４＋Ｇ５＋Ｇ６＋Ｇ７＋Ｇ８＋Ｇ１０）／８  ・・・（１１）
（１１）式で画像データを補間することによって、ＡＦ用画素配列上にエッジや細線のような画像パターン４０１が重畳している場合でも、画像データＧ３、Ｇ８が画像パターン４００を反映したデータとなり、良好な画像補間結果を求めることができる。
【００５６】
また、画像データの補間にＡＦ用画素データＡ２を用いて次式により演算してもよい。
Ｉ（Ａ２）＝｛ｋ１・（Ｇ１＋Ｇ３＋Ｇ４＋Ｇ５＋Ｇ６＋Ｇ７＋Ｇ８＋Ｇ１０）／８｝＋ｋ２・ｋｓ・Ａ２  ・・・（１２）
【００５７】
図２３、図２４に示す撮像素子２１２ＢのＡＦ用画素の配置では、ＡＦ用画素の間隔が図５に示すＡＦ用画素の配置より狭くできるので、画像品質の向上とともに焦点検出精度の向上が期待できる。
【００５８】
図２６は、他の変形例の撮像素子２１２Ｃの詳細な構成を示す正面図である。図５に示す撮像素子２１２、図２１に示す変形例の撮像素子２１２Ａ、および図２３に示す他の変形例の撮像素子２１２Ｂでは、ＡＦ用画素３１１がひとつの画素内に一対の光電変換部を備えていたが、図２６に示す撮像素子２１２Ｃでは、ＡＦ用画素３１３，３１４はひとつの画素内にひとつの光電変換部を備えている。図２６において、ＡＦ用画素３１３とＡＦ用画素３１４とが一対になっており、上述した撮像素子２１１、２１１Ａ、２１１ＢのＡＦ用画素３１１ａに相当する。
【００５９】
図２７は、図２６に示すＡＦ用画素の構成を示す図である。(ａ)に示すように、ＡＦ用画素３１３はマイクロレンズ１０と光電変換部１６を備えている。また、(ｂ)に示すように、焦点検出用画素３１４はマイクロレンズ１０と光電変換部１７を備えている。これらの光電変換部１６、１７はマイクロレンズ１０により交換レンズの射出瞳に投影され、図１４に示す測距瞳９２、９３を形成する。したがって、ＡＦ用画素３１３，３１４により焦点検出の用いる一対の像のデータを得ることができる。ＡＦ用画素内にひとつの光電変換部を備えることによって、撮像素子の読み出し回路構成の複雑化を防止することができる。
【００６０】
図２８は、他の変形例の撮像素子２１２Ｄの詳細な構成を示す正面図である。この撮像素子２１２Ｄは、図２１に示す撮像素子２１２ＡのＡＦ用画素３１１ａをＡＦ用画素３１３とＡＦ用画素３１４に置き換えたものである。
【００６１】
図２９は、他の変形例の撮像素子２１２Ｅの詳細な構成を示す図である。上述した撮像素子２１２〜２１２Ｄでは撮像用画素の配列をベイヤー配列とした例を示したが、この撮像素子２１２Ｅでは緑画素Ｇ、青画素Ｂ、赤画素Ｒが水平方向にＧＢＧＲの順番に並んだ配列を備えている。ＡＦ用画素Ａは緑画素Ｇの位置に配置され、ＡＦ用画素とＡＦ用画素との間には緑画素Ｇ、青画素Ｂ、赤画素Ｒの３画素を配置する。このような画素配置においても本発明を適用することができる。
【００６２】
なお、上述した撮像素子２１２〜２１２Ｄでは、撮像用画素の色フィルターをベイヤー配列とした例を示したが、撮像用画素の色フィルタの構成や配列はこれに限定されることはない。例えば、図４に示すような補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）を採用してもよい。
【００６３】
また、上述した撮像素子２１２〜２１２ＥではＡＦ用画素に色フィルタを設けない例を示したが、撮像用画素と同色の色フィルタの内、ひとつのフィルタ（たとえば緑フィルタ）を備えるようにした場合でも、本発明を適用することができる。このようにすれば、（１１）式の補間演算による、緑画素の位置に配置されたＡＦ用画素の画像データの補間精度が向上する。
【００６４】
上述した撮像素子２１２〜２１２Ｅは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして形成することができる。
【００６５】
上述した一実施の形態では、撮像用画素のマイクロレンズと焦点検出用画素のマイクロレンズとを同一の光学特性とする例を示したが、異なる光学特性としてもよい。これにより、撮影光学系の射出瞳距離を、撮像に最適な距離と、焦点検出に最適な距離とに別個に設定することができる。
【００６６】
《撮像装置》
上述した一実施の形態では交換レンズがカメラボディに装着されたデジタルスチルカメラを例に上げて説明したが、撮像装置は交換レンズとカメラボディから構成されるデジタルスチルカメラに限定されず、例えばレンズ一体型のデジタルスチルカメラやビデオカメラにも適用することができる。また、携帯電話などに内蔵される小型カメラモジュールや監視カメラなどにも、本発明を適用することができる。
【００６７】
このように、一実施の形態によれば、焦点検出用画素の位置の画像データを補間する際に、焦点検出用画素の配列方向における撮像用画素の画像データを利用できるので、画像データの補間精度が向上し、画像品質の劣化を防止することができる。また、焦点検出用画素の配列に細線パターンやエッジパターンが重畳した場合でも、これらのパターンが背景に埋もれることがない。
【図面の簡単な説明】
【００６８】
【図１】一実施の形態の構成を示す図
【図２】撮影画面上における焦点検出位置を示す図
【図３】撮像素子の撮像用画素のベイヤー配列を示す図
【図４】撮像素子の撮像用画素の補色配列を示す図
【図５】撮像素子の詳細な構成を示す正面図
【図６】撮像用画素の正面図
【図７】焦点検出用画素の正面図
【図８】撮像素子の撮像用緑画素、撮像用赤画素および撮像用青画素の分光特性を示す図
【図９】ＡＦ用画素の分光特性を示す図
【図１０】緑画素の分光特性を示す図
【図１１】撮像用画素の断面図
【図１２】ＡＦ用画素の断面図
【図１３】瞳分割型位相差検出方式による焦点検出原理を説明する図
【図１４】射出瞳面における投影関係を示す正面図
【図１５】絞りＦ値に対する出力比係数（撮像用画素データ値／焦点検出用画素データ値）を示す図
【図１６】一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャート
【図１７】像ズレ検出演算処理（相関アルゴリズム）を説明する図
【図１８】一実施の形態の撮像素子の模式的な構成を示す図
【図１９】一実施の形態の撮像素子に対する画像データ補間処理を説明する図
【図２０】一実施の形態の撮像素子に対する画像データ補間処理を説明する図
【図２１】変形例の撮像素子の詳細な構成を示す正面図
【図２２】撮像素子の模式的な構成図
【図２３】他の変形例の撮像素子の詳細な構成を示す正面図
【図２４】撮像素子の模式的な構成を示す図
【図２５】撮像素子に対する画像データ補間処理を説明する図
【図２６】他の変形例の撮像素子の詳細な構成を示す正面図
【図２７】図２６に示すＡＦ用画素の構成を示す図
【図２８】他の変形例の撮像素子の詳細な構成を示す正面図
【図２９】他の変形例の撮像素子の詳細な構成を示す図。
【図３０】従来の撮像素子の補間演算を示す図。
【符号の説明】
【００６９】
１０  マイクロレンズ
１１、１２、１３、１６、１７  光電変換部
２０２  交換レンズ
２１２、２１２Ａ〜２１２Ｅ  撮像素子
２１４  ボディ駆動制御装置
３１０ａ、３１０ｂ、３１０ｃ  撮像用画素
３１１ａ、３１１ｂ、３１３、３１４  焦点検出用画素
【図１】
2008040087.tif 000003
【図２】
2008040087.tif 000004
【図３】
2008040087.tif 000005
【図４】
2008040087.tif 000006
【図５】
2008040087.tif 000007
【図６】
2008040087.tif 000008
【図７】
2008040087.tif 000009
【図８】
2008040087.tif 000010
【図９】
2008040087.tif 000011
【図１０】
2008040087.tif 000012
【図１１】
2008040087.tif 000013
【図１２】
2008040087.tif 000014
【図１３】
2008040087.tif 000015
【図１４】
2008040087.tif 000016
【図１５】
2008040087.tif 000017
【図１６】
2008040087.tif 000018
【図１７】
2008040087.tif 000019
【図１８】
2008040087.tif 000020
【図１９】
2008040087.tif 000021
【図２０】
2008040087.tif 000022
【図２１】
2008040087.tif 000023
【図２２】
2008040087.tif 000024
【図２３】
2008040087.tif 000025
【図２４】
2008040087.tif 000026
【図２５】
2008040087.tif 000027
【図２６】
2008040087.tif 000028
【図２７】
2008040087.tif 000029
【図２８】
2008040087.tif 000030
【図２９】
2008040087.tif 000031
【図３０】
2008040087.tif 000032