(57)【要約】【課題】  撮影条件を取得する（例えば焦点検出や測距などを行う）際の低輝度時の応答性を改善できる撮像素子、焦点検出装置、および、撮像システムを提供すること。【解決手段】  撮影光学系による像を撮像する撮像素子１０において、入射光に応じて電荷を生成する第１の光電変換部１４を含む第１の画素セル１１と、入射光を集光する光学要素１５と該光学要素により集光された光に応じて電荷を生成する第２の光電変換部１６,１７とを含み、第１の画素セルに比べてセルサイズが大きい第２の画素セル１２とを備え、基板上に第１の画素セルと第２の画素セルとを２次元的に配置したものである。【選択図】      図１
2007103590.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系による像を撮像する撮像素子において、
入射光に応じて電荷を生成する第１の光電変換部を含む第１の画素セルと、
入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第２の光電変換部とを含み、前記第１の画素セルに比べてセルサイズが大きい第２の画素セルとを備え、
基板上に前記第１の画素セルと前記第２の画素セルとを２次元的に配置した
ことを特徴とする撮像素子。
【請求項２】
請求項１に記載の撮像素子において、
前記第２の画素セルは、そのセルサイズが前記第１の画素セルの整数倍である
ことを特徴とする撮像素子。
【請求項３】
請求項１に記載の撮像素子において、
前記第１および第２の画素セルは、入射光を前記第１および第２の光電変換部に集光する光学要素をそれぞれ含み、
前記第２の画素セルの光学要素は、前記第１の画素セルの光学要素に比べて開口サイズが大きい
ことを特徴とする撮像素子。
【請求項４】
撮影光学系による像を撮像する撮像素子において、
入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第１の光電変換部とを含む第１の画素セルと、
入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第２の光電変換部とを含む第２の画素セルとを備え、
基板上に前記第１の画素セルと前記第２の画素セルとを２次元的に配置し、
前記第２の画素セルの光学要素は、前記第１の画素セルの光学要素に比べて開口サイズが大きい
ことを特徴とする撮像素子。
【請求項５】
請求項１から請求項４の何れか１項に記載の撮像素子において、
前記第１の画素セルの光学要素は、その開口サイズが２０μｍより小さい
ことを特徴とする撮像素子。
【請求項６】
請求項１から請求項５の何れか１項に記載の撮像素子において、
前記第２の画素セルのそれぞれは、複数の前記第２の光電変換部を含み、
前記複数の第２の光電変換部のそれぞれは、前記第２の画素セルの光学要素を介して、前記撮影光学系の射出瞳とほぼ共役である
ことを特徴とする撮像素子。
【請求項７】
請求項６に記載の撮像素子において、
前記複数の第２の光電変換部のうち２つは対を成し、
前記対を成す２つの第２の光電変換部には、それぞれ、異なる色のフィルタが配置される
ことを特徴とする撮像素子。
【請求項８】
請求項１から請求項７の何れか１項に記載の撮像素子において、
前記第２の画素セルによって得られる光電出力に基づいて、前記撮影光学系の焦点調節状態を検出する
ことを特徴とする撮像素子。
【請求項９】
請求項１から請求項８の何れか１項に記載の撮像素子において、
入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第３の光電変換部とを含み、前記第２の画素セルとはセルサイズが異なる第３の画素セルをさらに備えた
ことを特徴とする撮像素子。
【請求項１０】
請求項９に記載の撮像素子において、
前記第３の画素セルは、そのセルサイズが前記第１の画素セルと等しい
ことを特徴とする撮像素子。
【請求項１１】
請求項９または請求項１０に記載の撮像素子において、
前記第２の画素セルおよび前記第３の画素セルによって得られる光電出力に基づいて、前記撮影光学系の焦点調節状態を検出する
ことを特徴とする撮像素子。
【請求項１２】
請求項８に記載の撮像素子と、
前記第２の画素セルの出力に基づいて焦点検出を行う検出手段とを備えた
ことを特徴とする焦点検出装置。
【請求項１３】
請求項１１に記載の撮像素子と、
前記第２の画素セルの出力と前記第３の画素セルの出力との少なくとも一方に基づいて焦点検出を行う検出手段とを備えた
ことを特徴とする焦点検出装置。
【請求項１４】
請求項１２または請求項１３に記載の焦点検出装置と、
前記撮像素子の物体側に配置される撮影光学系とを備え、
前記検出手段は、前記撮影光学系の焦点検出を行う
ことを特徴とする撮像システム。
【請求項１５】
請求項１４に記載の撮像システムにおいて、
前記第１の画素セルの出力に基づいて撮影画像を表示すると共に、前記第２の画素セルの位置を、前記検出手段が焦点検出を行う領域として前記撮影画像に重畳して表示する表示手段を備えた
ことを特徴とする撮像システム。
【請求項１６】
請求項１４に記載の撮像システムにおいて、
前記第１の画素セルの位置での画像信号を該第１の画素セルの出力に基づいて生成すると共に、前記第２の画素セルの位置での画像信号を該第２の画素セルの周囲の前記第１の画素セルの出力に基づく補間処理によって生成する生成手段を備えた
ことを特徴とする撮像システム。
【請求項１７】
請求項１６に記載の撮像システムにおいて、
前記生成手段は、前記第２の画素セルの位置での画像信号を生成する際、該画像信号の各色成分を前記補間処理によって生成し、前記画像信号の輝度成分を前記第２の画素セルの出力に基づいて生成する
ことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の取得と例えば焦点検出などの撮影条件（状態）の取得とを行える撮像素子、これを備えた焦点検出装置、および、撮像システムに関する。
【背景技術】
【０００２】
撮影画像用の画素セルを撮像素子の基板上に２次元的に配置して、その中に焦点検出用の画素セルを所定のレイアウトで配置することが提案されている（例えば特許文献１,２を参照）。また、特許文献１では、位相差検出方式の焦点検出を例に、その画素セルを撮影画像用の画素セルと同じサイズにしている。特許文献２では、コントラスト検出方式の焦点検出を例に、その画素セルを撮影画像用の画素セルより小さなサイズにしている。
【特許文献１】特開２００３−２５００８０号公報
【特許文献２】特開２００４−３６１６１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記の撮像素子では、焦点検出用の画素セルのサイズが撮影画像用の画素セルと同じ（または撮影画像用の画素セルより小さい）ため、低輝度時に焦点検出の応答性が低下するという問題があった。また、この問題は、焦点検出用の画素セルに限らず、測距用や測光用などの画素セルを配置する場合にも同様に発生し得る。
本発明の目的は、撮影条件を取得する（例えば焦点検出や測距などを行う）際の低輝度時の応答性を改善できる撮像素子、焦点検出装置、および、撮像システムを提供することにある。
【課題を解決するための手段】
【０００４】
本発明の撮像素子は、撮影光学系による像を撮像する撮像素子において、入射光に応じて電荷を生成する第１の光電変換部を含む第１の画素セルと、入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第２の光電変換部とを含み、前記第１の画素セルに比べてセルサイズが大きい第２の画素セルとを備え、基板上に前記第１の画素セルと前記第２の画素セルとを２次元的に配置したものである。
【０００５】
また、前記第２の画素セルは、そのセルサイズが前記第１の画素セルの整数倍であることが好ましい。
また、前記第１および第２の画素セルは、入射光を前記第１および第２の光電変換部に集光する光学要素をそれぞれ含み、前記第２の画素セルの光学要素は、前記第１の画素セルの光学要素に比べて開口サイズが大きいことが好ましい。
【０００６】
本発明の撮像素子は、撮影光学系による像を撮像する撮像素子において、入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第１の光電変換部とを含む第１の画素セルと、入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第２の光電変換部とを含む第２の画素セルとを備え、基板上に前記第１の画素セルと前記第２の画素セルとを２次元的に配置し、前記第２の画素セルの光学要素は、前記第１の画素セルの光学要素に比べて開口サイズが大きいものである。
【０００７】
また、前記第１の画素セルの光学要素は、その開口サイズが２０μｍより小さいことが好ましい。
また、前記第２の画素セルのそれぞれは、複数の前記第２の光電変換部を含み、前記複数の第２の光電変換部のそれぞれは、前記第２の画素セルの光学要素を介して、前記撮影光学系の射出瞳とほぼ共役であることが好ましい。
【０００８】
また、前記複数の第２の光電変換部のうち２つは対を成し、前記対を成す２つの第２の光電変換部には、それぞれ、異なる色のフィルタが配置されることが好ましい。
また、前記第２の画素セルによって得られる光電出力に基づいて、前記撮影光学系の焦点調節状態を検出することが好ましい。
また、入射光を集光する光学要素と、該光学要素により集光された光に応じて電荷を生成する第３の光電変換部とを含み、前記第２の画素セルとはセルサイズが異なる第３の画素セルをさらに備えることが好ましい。
【０００９】
また、前記第３の画素セルは、そのセルサイズが前記第１の画素セルと等しいことが好ましい。
また、前記第２の画素セルおよび前記第３の画素セルによって得られる光電出力に基づいて、前記撮影光学系の焦点調節状態を検出することが好ましい。
本発明の焦点検出装置は、上記の撮像素子と、前記第２の画素セルの出力に基づいて焦点検出を行う検出手段とを備えたものである。
【００１０】
本発明の焦点検出装置は、上記の撮像素子と、前記第２の画素セルの出力と前記第３の画素セルの出力との少なくとも一方に基づいて焦点検出を行う検出手段とを備えたものである。
本発明の撮像システムは、上記の焦点検出装置と、前記撮像素子の物体側に配置される撮影光学系とを備え、前記検出手段は、前記撮影光学系の焦点検出を行うものである。
【００１１】
また、前記第１の画素セルの出力に基づいて撮影画像を表示すると共に、前記第２の画素セルの位置を、前記検出手段が焦点検出を行う領域として前記撮影画像に重畳して表示する表示手段を備えることが好ましい。
また、前記第１の画素セルの位置での画像信号を該第１の画素セルの出力に基づいて生成すると共に、前記第２の画素セルの位置での画像信号を該第２の画素セルの周囲の前記第１の画素セルの出力に基づく補間処理によって生成する生成手段を備えることが好ましい。
【００１２】
また、前記生成手段は、前記第２の画素セルの位置での画像信号を生成する際、該画像信号の各色成分を前記補間処理によって生成し、前記画像信号の輝度成分を前記第２の画素セルの出力に基づいて生成することが好ましい。
【発明の効果】
【００１３】
本発明によれば、撮影条件（状態）を取得する（例えば焦点検出や測距や測光などを行う）際の低輝度時の応答性を改善することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、撮影画像の取得と焦点検出に関わる情報の取得とを行える撮像素子について説明する。また、位相差検出方式の焦点検出を例に説明する。焦点検出に関わる情報とは、撮影画像を取得する際の各種条件（撮影条件）の１つであって、撮像素子の物体側に配置される撮影光学系のデフォーカス量に相当する。撮影光学系が合焦状態（理想的にはデフォーカス量＝０）のとき、撮像素子上には鮮明な被写体像が形成される。
【００１５】
第１実施形態の撮像素子１０は、図１(ａ)に示す撮影画像用の画素セル１１と図１(ｂ)に示す焦点検出用の画素セル１２とを、図１(ｃ)に示すレイアウトで、基板上に配置したものである。図１(ｃ)では、分かりやすくするため、１つの画素セル１１,１２にそれぞれハッチングを付した。図１(ａ)〜(ｃ)は、撮影光学系の側から見た模式図である。なお、撮像素子１０には、画素セル１１,１２の他、不図示の垂直走査回路や水平走査回路なども設けられる。
【００１６】
本実施形態では、画素セル１１,１２の形状をそれぞれ正方形状とする。また、焦点検出用の画素セル１２は撮影画像用の画素セル１１に比べてセルサイズが大きく、１個の画素セル１２の大きさの中に４個の画素セル１１を稠密に配置できるような大きさとなっている。つまり、焦点検出用の画素セル１２のセルサイズは、撮影画像用の画素セル１１のセルサイズの４倍である。この場合、画素セル１２の一辺の長さＡ12は、画素セル１１の一辺の長さＡ11の２倍である。
【００１７】
撮像素子１０の基板上において、撮影画像用の画素セル１１は２次元的に略稠密に配置され、その中に焦点検出用の画素セル１２が周期的に埋め込まれている。画素セル１１の配置は略正方格子状である。
撮影画像用の画素セル１１（図１(ａ)）には、円形状のマイクロレンズ１３と、矩形状の光電変換部１４とが設けられる。マイクロレンズ１３は、入射光を集光して光電変換部１４に導く光学要素である。光電変換部１４は、マイクロレンズ１３により集光された光に応じて電荷を生成するフォトダイオードである。また図示省略したが、マイクロレンズ１３と光電変換部１４との間には、ＲＧＢのうち何れか１つの色フィルタが配置される。そして、複数の画素セル１１の色フィルタは所定のＲＧＢ配列（例えばベイヤー配列）となっている。
【００１８】
なお、この画素セル１１では、撮影光学系の射出瞳の大きさ（つまり撮影光学系の絞り径）に比例した出力を得ることができるように、マイクロレンズ１３のパワーを設定している。そのためには、射出瞳の大きさに拘わらず、射出瞳の全体からの光束を光電変換部１４に導く必要があり、絞り径を最大（例えばＦ１.４など）にしたときの射出瞳の大きさを基準にしてマイクロレンズ１３のパワーが設定される。
【００１９】
焦点検出用の画素セル１２（図１(ｂ)）には、円形状のマイクロレンズ１５と、矩形状の２つの光電変換部１６,１７とが設けられる。マイクロレンズ１５は、入射光を集光して光電変換部１６,１７に導く光学要素である。光電変換部１６,１７は、それぞれ、マイクロレンズ１５により集光された光に応じて電荷を生成するフォトダイオードである。これら２つの光電変換部１６,１７は対を成し、マイクロレンズ１５を用いた位相差検出方式の焦点検出に用いられる。
【００２０】
また、図２の断面図から分かる通り、一対の光電変換部１６,１７は、それぞれ、基板２２の表面ｐ＋層２３とｎ層２４とで構成される。基板２２の表面上にはゲート絶縁膜２５(ＳｉＯ2膜)が形成される。なお、このような断面構造は、上記した撮影画像用の画素セル１１も同様である。そして、焦点検出用の画素セル１２において、一対の光電変換部１６,１７とマイクロレンズ１５との間には、焦点検出に不要な赤外光を除去するために、赤外カットフィルタ２１が配置される。ちなみに、一対の光電変換部１６,１７には色フィルタが設けられないため、可視光の全波長領域の光束が入射することになる。
【００２１】
さらに、この画素セル１２では、位相差検出方式の焦点検出を実現するために、マイクロレンズ１５を介して、一対の光電変換部１６,１７と撮影光学系の射出瞳とが共役になっている。つまり、マイクロレンズ１５のパワーは、一対の光電変換部１６,１７を撮影光学系の射出瞳に投影できるように設定されている。
このような共役関係を図示すると、図３(ａ)のようになる。図３(ａ)では射出瞳１８を太い点線で示した。射出瞳１８を撮影光学系(不図示)の光軸１９の方向から見ると、図３(ｂ)のように略円形状である。射出瞳１８の中の領域８Ａ,８Ｂは、一対の光電変換部１６,１７がマイクロレンズ１５によって投影された領域であり、略矩形状である。
【００２２】
また、領域８Ａ,８Ｂは、光軸１９を中心に略対称に配置される。そして、射出瞳１８のうち領域８Ａを通過した光束は一方の光電変換部１６に入射し、領域８Ｂを通過した光束は他方の光電変換部１７に入射する。つまり、射出瞳１８を通過する光束を２分割して光電変換部１６,１７に導くことができる（瞳分割方式）。
なお、位相差検出方式の焦点検出の際には、一対の領域８Ａ,８Ｂが射出瞳１８から部分的にはみ出すと、一対の光電変換部１６,１７に導かれる光束（焦点検出に用いる光束）の一部がけられ、焦点検出の精度が悪化する。したがって、焦点検出用の画素セル１２では、射出瞳１８の大きさ（つまり撮影光学系の絞り径）に拘わらず、射出瞳１８の中に一対の領域８Ａ,８Ｂが収まるように、マイクロレンズ１５のパワーを設定している。そのため、絞り径が最小（例えばＦ２.８やＦ５.６）のときの射出瞳１８の大きさを基準にしてマイクロレンズ１５のパワーが設定される。
【００２３】
さらに、本実施形態では、マイクロレンズ１３,１５を円形状とし（図１(ａ),(ｂ)）、それぞれの開口サイズ（直径）が画素セル１１,１２の一辺の長さＡ11,Ａ12と等しくなるように構成した。したがって、上記のように画素セル１２の一辺の長さＡ12を画素セル１１の一辺の長さＡ11より長くすることで、焦点検出用のマイクロレンズ１５の開口サイズを撮影画像用のマイクロレンズ１３の開口サイズより大きくすることができる。そして、開口サイズを大きくした分だけ開口面積も大きくすることができ、マイクロレンズ１５を介して多くの光束を一対の光電変換部１６,１７に入射させることができる。
【００２４】
また、上記した撮影画像用の画素セル１１の光電変換部１４に蓄積された電荷と、焦点検出用の画素セル１２の一対の光電変換部１６,１７に蓄積された電荷とは、例えば図４に示すＭＯＳ型の回路構成によって読み出すことができる。図４には、画素セル１１の４×４画素分（つまり１２個の画素セル１１および１個の画素セル１２）と、その読み出し回路とを示す。
【００２５】
なお、焦点検出用の画素セル１２は２つの光電変換部１６,１７を有するため、画素セル１２の回路部分は撮影画像用の画素セル１１の２個分に相当する。また、画素セル１２のセルサイズは画素セル１１の４倍に相当するため、画素セル１２の回路部分に隣接して、画素セル１１の２個分に相当する箇所３０(１),３０(２)が空きとなる。これらの箇所３０(１),３０(２)をダミーとしてもよい。
【００２６】
撮影画像用の画素セル１１の光電変換部１４と、焦点検出用の画素セル１２の一対の光電変換部１６,１７とは、各々、転送スイッチ用のＭＯＳトランジスタ３１と、リセット用のＭＯＳトランジスタ３２と、ソースフォロワアンプ用のＭＯＳトランジスタ３３と、水平選択スイッチ用のＭＯＳトランジスタ３４とを介して、垂直出力線Ｖに接続されている。また、ＭＯＳトランジスタ３１,３２,３４は、各々、制御線Ｒ,Ｐ,Ｓを介して、垂直走査回路４１に接続されている。垂直走査回路４１は、ＭＯＳトランジスタ３１,３３などのオン／オフを制御する。
【００２７】
さらに、垂直出力線Ｖの一端には、負荷用のＭＯＳトランジスタ３５が接続されると共に、出力蓄積容量３７と水平転送用のＭＯＳトランジスタ３８とを介して、水平出力線Ｈが接続されている。また、水平出力線Ｈの一端には、出力アンプ４３が接続されている。さらに、ＭＯＳトランジスタ３８には、水平走査回路４２が接続されている。ＭＯＳトランジスタ３５は、ＭＯＳトランジスタ３３と同様のソースフォロワを構成し、制御線Ｌを介して、不図示の制御回路に接続されている。なお、水平走査回路４２は、ＭＯＳトランジスタ３８のオン／オフを制御する。
【００２８】
光電変換部１４,１６,１７に電荷を蓄積する際には、まず、制御線Ｌをハイレベルにして垂直出力線Ｖをリセットし、その後、制御線Ｌをローレベルにする。次いで、垂直走査回路４１が制御線Ｒ,Ｐをハイレベルにして光電変換部１４,１６,１７をリセットし、その後、制御線Ｒ,Ｐをローレベルにする。この動作によって光電変換部１４,１６,１７は所定電位にリセットされ、光電変換部１４,１６,１７への電荷の蓄積が開始される。
【００２９】
そして光電変換部１４,１６,１７の電荷を読み出す際には、まず、垂直走査回路４１が制御線ＰをハイレベルにしてＭＯＳトランジスタ３１をオンとし、光電変換部１４,１６,１７の電荷をＭＯＳトランジスタ３３のゲートに印加する。さらに、制御線ＳをハイレベルにしてＭＯＳトランジスタ３４をオンとし、この水平ラインの電荷を読み出し対象として選択する。このとき、ＭＯＳトランジスタ３３は、そのゲートに印加された電荷量に応じて増幅信号を発生し、垂直出力線Ｖを介して出力蓄積容量３７に出力する。
【００３０】
出力蓄積容量３７に蓄積された各出力は、水平走査回路４２からＭＯＳトランジスタ３８への走査タイミング信号により、ＭＯＳトランジスタ３８を介して水平出力線Ｈに転送される。さらに、水平出力線Ｈを介して出力アンプ４３に転送され、出力アンプ４３における信号の増幅を経て外部に読み出される。
このようにして読み出された画素セル１１の出力は、光電変換部１４に蓄積された電荷に起因し、第１実施形態の撮像素子１０を備えた撮像システムにおいて、撮影画像の表示などに用いられる。また、画素セル１２の出力は、一対の光電変換部１６,１７に蓄積された電荷に起因し、第１実施形態の撮像素子１０を備えた焦点検出装置および撮像システムにおいて、位相差検出方式の焦点検出などに用いられる。
【００３１】
画素セル１２の出力に基づいて位相差検出方式の焦点検出を行う場合、複数の画素セル１２の一方の光電変換部１６に関わる出力から第１の被写体像を取り込むと共に、他方の光電変換部１７に関わる出力から第２の被写体像を取り込み、この２つの被写体像の位置的位相差（つまり一対の光電変換部１６,１７の並び方向の位置ずれ量）を例えば相関演算によって求める。そして、この位相差を撮影光学系のデフォーカス量（つまり光軸方向の位置ずれ量）に換算することにより、焦点検出に関わる情報を生成する。
【００３２】
第１実施形態の撮像素子１０では、焦点検出用の画素セル１２のセルサイズを撮影画像用の画素セル１１のセルサイズより大きくするため、焦点検出用のマイクロレンズ１５の開口サイズを撮影画像用のマイクロレンズ１３の開口サイズより大きくすることができ、その分だけ開口面積も大きくすることができる。
したがって、焦点検出用の画素セル１２を撮影画像用の画素セル１１と同じセルサイズ（または画素セル１１より小さいセルサイズ）にする場合と比較し、マイクロレンズ１５を介して多くの光束を一対の光電変換部１６,１７に入射させることができる。その結果、低輝度時においても通常の電荷蓄積時間で焦点検出に必要な出力レベルを確保でき、低輝度時の応答性を改善することができる。
【００３３】
さらに、第１実施形態の撮像素子１０では、高画素化に伴って、撮影画像用の画素セル１１のセルサイズを縮小した場合（例えば波長オーダーまで縮小した場合）においても、撮影画像用の画素セル１１のマイクロレンズ１３と比較して焦点検出用の画素セル１２のマイクロレンズ１５の開口サイズを大きく確保でき、マイクロレンズ１５における回折の影響を軽減することができる。
【００３４】
ここで、マイクロレンズ１５の開口サイズと、マイクロレンズ１５における回折の影響との関係を説明するために、回折シミュレーション（図５〜図９）を行った。シミュレーションの条件は、Ｆ２.８に対応する円形状の射出瞳１８を想定し（図５(ａ)）、撮影光学系の光軸１９を原点とするＸＹ座標系を想定し、射出瞳１８からマイクロレンズ１５までの距離を１００ｍｍとし、射出瞳１８に共役な矩形状の光電変換部１６（図５(ｂ)）の大きさをＸ＝−２〜−１２ｍｍ,Ｙ＝−１０〜１０ｍｍとした。この大きさは、図５(ａ)に示す回折像８Ｃのように、回折の影響が全くない理想的な場合に、光電変換部１６が射出瞳１８に略内接して投影される大きさである。また、波長を５００ｎｍとした。
【００３５】
さらに、マイクロレンズ１５を円形状として（図１(ｂ)参照）、マイクロレンズ１５の開口サイズ（直径）を２０μｍ,１０μｍ,４μｍ,２μｍとした場合、各結果を図６〜図９に示す。図６(ａ)〜図９(ａ)は、各開口サイズのマイクロレンズ１５による光電変換部１６の回折像８Ｃの概略形状である。図６(ｂ)〜図９(ｂ)は、各回折像８ＣのＹ＝０における強度分布である。
【００３６】
図６(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が２０μｍの場合には、回折の影響が少なく、回折像８Ｃの大部分（約９６％）は、Ｆ２.８の射出瞳１８の内部に収まっている。
また、図７(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が１０μｍの場合は、回折の影響が増加し、回折像８Ｃの一部（裾野）がＦ２.８の射出瞳１８からはみ出す。射出瞳１８の内部に含まれる部分は約９２％である。
【００３７】
また、図８(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が４μｍの場合は、回折の影響がさらに増加し、回折像８Ｃのエッジがだれて、回折像８Ｃの周辺部がＦ２.８の射出瞳１８からはみ出す。射出瞳１８の内部に含まれる部分は約８１％である。
また、図９(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が２μｍの場合は、回折の影響がさらに増加し、回折像８Ｃは円形状に広がり、回折像８Ｃの約半分がＦ２.８の射出瞳１８からはみ出す。射出瞳１８の内部に含まれる部分は約６０％である。
【００３８】
このシミュレーションから分かるように、マイクロレンズ１５の開口サイズ（直径）が２０μｍ以下になると、マイクロレンズ１５の投影性能が悪化して、射出瞳１８に投影される回折像８Ｃの形状が回折の影響により崩れ始め、回折像８Ｃの一部が射出瞳１８の外側に広がり始める。そして、マイクロレンズ１５の開口サイズが小さくなるほど回折の影響は大きくなり、図９(ａ),(ｂ)のような直径２μｍでは回折像８Ｃの約半分が射出瞳１８の外側にはみ出てしまう。
【００３９】
すなわち、マイクロレンズ１５における回折の影響は、その開口サイズ（直径）が２０μｍより小さいときに顕著化する。このため、撮影画像用の画素セル１１のマイクロレンズ１３の開口サイズ（直径）が２０μｍより小さい場合に、このマイクロレンズ１３と比較して焦点検出用の画素セル１２のマイクロレンズ１５の開口サイズを大きく確保することが特に有効であり、マイクロレンズ１５における回折の影響を確実に軽減することができる。
【００４０】
そして、マイクロレンズ１５における回折の影響を軽減できれば、マイクロレンズ１５によって射出瞳１８に投影される一対の領域８Ａ,８Ｂ（図３）のうち、射出瞳１８の内部に含まれる部分を増加させる（例えば図８→図６）ことができ、焦点検出に用いる光束のけられを抑制できる。このため、上記した２つの被写体像の強度分布形状を略一致させることができ、２つの被写体像の位置的位相差を求める際の演算（例えば相関演算）の誤差を小さくすることができる。したがって、高画素化に伴って焦点検出精度が低下する事態を回避できる。
【００４１】
さらに、マイクロレンズ１５の開口サイズ（直径）を２０μｍより大きくしたときには、マイクロレンズ１５によって一対の光電変換部１６,１７を正確に射出瞳１８に投影することができ（図５(ａ)参照）、つまり、射出瞳１８の中に一対の領域８Ａ,８Ｂが収まるように投影することができ、焦点検出に用いる光束のけられを無くして良好な焦点検出の精度を維持できる。
【００４２】
また、第１実施形態の撮像素子１０では、焦点検出用の画素セル１２のセルサイズを、撮影画像用の画素セル１１のセルサイズの４倍とした（図１参照）ので、撮影画像用の画素セル１１のみから撮像素子を構成した場合の基本的な回路構成と比較して大幅な変更を行う必要がない。このため、焦点検出用の画素セル１２のセルサイズを大きくした場合でも、撮像素子１０の回路構成が容易になる。さらに、マイクロレンズ１５の作製も容易に行える。また、撮像素子１０の動作制御にも特別な変更は必要ない。
【００４３】
（第２実施形態）
ここでは、図１０〜図１２を参照し、上記の撮像素子１０（図１〜図４）を備えた撮像システム４０について説明する。
第２実施形態の撮像システム４０には、図１０に示す通り、撮影光学系４１、絞り４２、撮像素子１０、信号処理部４３、ＡＤ変換部４４、信号処理部４５、メモリ部４６、タイミング発生部４７、制御部４８、インターフェース(ＩＦ)４９,５０、および、操作部５１が設けられる。
【００４４】
撮影光学系４１は、撮像素子１０の撮像面上に被写体像を形成するレンズ群からなり、フォーカシング用のレンズを含む。絞り４２は、撮影光学系４１を通過する光束の光量を調整する。撮像素子１０は、撮影光学系４１による被写体像を撮像し、撮影画像用の信号や焦点検出用の信号を出力する。
信号処理部４３は、撮像素子１０の出力を増幅するゲイン可変アンプやゲイン値を補正するゲイン補正回路などを含む。ＡＤ変換部４４は、信号処理部４３を経た後の信号（アナログ信号）をデジタル信号に変換する。信号処理部４５は、ＡＤ変換部４４から出力されるデータに各種の補正を行う。メモリ部４６は、信号処理部４５を経た後のデータを一時的に記憶する。
【００４５】
また、タイミング発生部４７は、撮像素子１０と信号処理部４３,４５とＡＤ変換部４４とに対して各種のタイミング信号を出力する。制御部４８は、各種の演算と撮像システム４０の全体的な制御を行う。ＩＦ４９は、着脱可能な記録媒体９Ａに対するデータの記録や読み出しを行う。記録媒体９Ａは、例えば半導体メモリなどである。ＩＦ５０は、外部コンピュータ(不図示)などとの通信を行う。操作部５１は、外部からの操作に応じた指令を制御部４８に出力する。
【００４６】
第２実施形態の撮像システム４０の動作（図１１）を説明する。
まず（ステップＳ１）、メイン電源がオンされた後、コントロール系の電源がオンされ、ＡＤ変換部４４などの撮像系回路の電源がオンされる。その後、制御部４８は、露光量を制御するために、絞り４２を開放にする。撮像素子１０からの出力は、信号処理部４３とＡＤ変換部４４と信号処理部４５とを経た後、メモリ部４６に格納される。
【００４７】
そして、焦点調節（ステップＳ２〜Ｓ４）が開始されると、まず、メモリ部４６に格納されたデータのうち、焦点検出用の画素セル１２の出力に相当するデータを用いて、位相差検出方式の焦点検出を行う（ステップＳ２）。つまり、例えば周知の相関演算によって上記した２つの被写体像の位置的位相差を求めて、撮影光学系４１のデフォーカス量を算出する。
【００４８】
次に（ステップＳ３）、このデフォーカス量に基づいて撮影光学系４１が合焦状態か否かを判定し、まだ合焦状態でない場合には（ステップＳ３がＮｏ）、デフォーカス量に基づいて撮影光学系４１のフォーカシング用のレンズを駆動し、合焦位置に向けて移動させる（ステップＳ４）。その後、ステップＳ２の処理に戻り、デフォーカス量がゼロとなるまで焦点調整（ステップＳ２〜Ｓ４）の動作を繰り返す。
【００４９】
そして、撮影光学系４１が合焦状態であると判定された場合は（ステップＳ３Ｙｅｓ）、ステップＳ５の処理に進み、操作部５１のレリーズボタンが押されたことを検知すると、撮影動作を実行する（ステップＳ６）。すなわち、撮像素子１０からの出力をＡＤ変換部４４など介してメモリ部４６に格納する。
次に、制御部４８は、ステップＳ６の撮影動作によってメモリ部４６に格納されたデータのうち、撮影画像用の画素セル１１の出力に相当するデータを用いて、画像信号を生成する（ステップＳ７）。撮像素子１０の画素セル１１の位置での画像信号は、その画素セル１１のデータに基づいて生成される。また、焦点検出用の画素セル１２の位置での画像信号は、その画素セル１２の周囲の画素セル１１のデータに基づいて補間処理によって生成される。
【００５０】
画像信号の生成について一例を説明する。ここでは、複数の画素セル１１の色フィルタのＲＧＢ配列が、図１２(ａ)のようなベイヤー配列であるとする。この場合、画素セル１１の位置での１画素分の画像信号は、隣接する４個の画素セル１１（例えばＧ11ａ,Ｂ11,Ｒ11,Ｇ11ｂ）の出力から、次の式(１)〜(４)にしたがって生成することができる。
式(１)〜(４)では各画素セル１１の出力をＩ(Ｇ11ａ),Ｉ(Ｂ11),Ｉ(Ｒ11),Ｉ(Ｇ11ｂ)とした。式(１)は、画像信号の輝度成分Ｉy11である。式(２)〜(４)は、それぞれ、画像信号の緑色成分Ｉg11,赤色成分Ｉr11,青色成分Ｉb11である。ｋ１〜ｋ３は所定の係数である。
【００５１】
Ｉy11＝ｋ１×［Ｉ(Ｇ11ａ)＋Ｉ(Ｇ11ｂ)］＋ｋ２×Ｉ(Ｒ11)＋ｋ３×Ｉ(Ｂ11)…(１)
Ｉg11＝［Ｉ(Ｇ11ａ)＋Ｉ(Ｇ11ｂ)］／Ｉy11…(２)
Ｉr11＝Ｉ(Ｒ11)／Ｉy11…(３)
Ｉb11＝Ｉ(Ｂ11)／Ｉy11…(４)
さらに、画素セル１２の位置での１画素分の画像信号は、次のような補間処理によって生成することができる。まず、画素セル１２の位置に、図１２(ｂ)に示す４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）が配置されていると考え、画素セル１２の周囲４方向の画素セル１１（Ｇ12ａ,Ｇ21ａ,Ｇ23ａ,Ｇ32ａ,…など）の出力を次の式(５)〜(８)に代入して、図１２(ｂ)の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力に相当するデータを求める。式(５)〜(８)の計算は平均化処理に相当する。
【００５２】
Ｉ(Ｇ22ａ)＝［Ｉ(Ｇ12ａ)＋Ｉ(Ｇ21ａ)＋Ｉ(Ｇ23ａ)＋Ｉ(Ｇ32ａ)］／４…(５)
Ｉ(Ｇ22ｂ)＝［Ｉ(Ｇ12ｂ)＋Ｉ(Ｇ21ｂ)＋Ｉ(Ｇ23ｂ)＋Ｉ(Ｇ32ｂ)］／４…(６)
Ｉ(Ｒ22)＝［Ｉ(Ｒ12)＋Ｉ(Ｒ21)＋Ｉ(Ｒ23)＋Ｉ(Ｒ32)］／４…(７)
Ｉ(Ｂ22)＝［Ｉ(Ｂ12)＋Ｉ(Ｂ21)＋Ｉ(Ｂ23)＋Ｉ(Ｂ32)］／４…(８)
そして、式(５)〜(８)の結果を用い、次の式(９)〜(１２)にしたがって、画素セル１２の位置での１画素分の画像信号を生成することができる。式(９)は、画像信号の輝度成分Ｉy22である。式(１０)〜(１２)は、それぞれ、画像信号の緑色成分Ｉg22,赤色成分Ｉr22,青色成分Ｉb22である。
【００５３】
Ｉy22＝ｋ１×［Ｉ(Ｇ22ａ)＋Ｉ(Ｇ22ｂ)］＋ｋ２×Ｉ(Ｒ22)＋ｋ３×Ｉ(Ｂ22)…(９)
Ｉg22＝［Ｉ(Ｇ22ａ)＋Ｉ(Ｇ22ｂ)］／Ｉy22…(１０)
Ｉr22＝Ｉ(Ｒ22)／Ｉy22…(１１)
Ｉb22＝Ｉ(Ｂ22)／Ｉy22…(１２)
このようにして画像信号の生成（図１１のステップＳ７の処理）が終わると、これらのデータもメモリ部４６に書き込まれる。そして、次の撮影動作のために、ステップＳ２の処理に戻って焦点検出などの処理を繰り返す。一方、メモリ部４６に格納された画像信号（輝度成分,緑色成分,赤色成分,青色成分）は、制御部４８の制御によりＩＦ４９を介して記録媒体９Ａに記録される。また、ＩＦ５０を介して外部のコンピュータなどに出力し、画像信号の加工を行ってもよい。
【００５４】
このように、第２実施形態の撮像システム４０では、撮像素子１０に設けた焦点検出用の画素セル１２の出力に基づいて、撮影光学系４１の焦点検出を行う（図１１のステップＳ２）。したがって、低輝度時であっても応答性良く、かつ精度良く、撮影光学系４１の焦点調節を行うことができる。その結果、低輝度時であっても迅速にピントの合った撮影画像を得ることができる。
【００５５】
さらに、第２実施形態の撮像システム４０では、焦点検出用の画素セル１２の位置での画像信号を補間処理によって生成するため、画素セル１２の一対の光電変換部１６,１７に色フィルタを設けなくても、良好な撮影画像を得ることができる。
（変形例１）
ここでは、画素セル１２の位置での画像信号の生成の変形例について説明する。
【００５６】
図１２(ｂ)に示す４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力を補間処理によって求める際、画素セル１２の周囲８方向の画素セル１１（Ｇ11ａ,Ｇ12ａ,Ｇ13ａ,Ｇ21ａ,Ｇ23ａ,Ｇ31ａ,Ｇ32ａ,Ｇ33ａ…など）の出力を用いて、上記の式(５)〜(８)と同様の平均化処理を行ってもよい。さらに、平均化処理の際に、画素セル１２と周囲の画素セル１１との相対位置に応じた重み付けを行ってもよい。このような処理を行えば、補間処理の精度が向上する。
【００５７】
また、画素セル１２の位置での画像信号のうち輝度成分Ｉy22を生成する際、補間処理によって求めた４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力ではなく、画素セル１２の出力を用いてもよい。例えば、画素セル１２の一対の光電変換部１６,１７の各出力をＩ(Ｗ22ａ),Ｉ(Ｗ22ｂ)とし（図１２(ｃ)）、これらを次の式(１３)に代入すれば、輝度成分Ｉy22を生成することができる。ｋ４は所定の係数である。
【００５８】
Ｉy22＝ｋ４×［Ｉ(Ｗ22ａ)＋Ｉ(Ｗ22ｂ)］…(１３)
この場合、画像信号の各色成分Ｉg22,Ｉr22,Ｉb22は、上記の式(１０)〜(１２)に、画素セル１２の出力から求めた輝度成分Ｉy22（式(１３)）と、補間処理によって求めた４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力とを代入することで、生成される。
【００５９】
このように、画素セル１２の位置での画像信号の輝度成分Ｉy22を画素セル１２の出力に基づいて生成することによって、輝度成分Ｉy22や各色成分Ｉg22,Ｉr22,Ｉb22を生成する際の正確性が向上する。
（第３実施形態）
ここでは、上記の撮像素子１０（図１〜図４）を備えた撮像システム４０の具体例として、図１３のデジタルスチルカメラ６０の説明を行う。
【００６０】
デジタルスチルカメラ６０は、交換レンズ６１とカメラボディ６２とで構成され、マウント部６３により結合される。
交換レンズ６１には、撮影光学系(６４,６５)、絞り６６、駆動部６７,６８、および、レンズＣＰＵ６９が設けられる。撮影光学系(６４,６５)は、フォーカシング用のレンズ６５を含む。駆動部６７はフォーカシング用のレンズ６５を駆動する。駆動部６８は絞り６６を駆動する。レンズＣＰＵ６９は駆動部６７,６８の動作を制御する。
【００６１】
カメラボディ６２には、撮像素子１０、焦点検出部７１、ボディＣＰＵ７２、液晶表示素子７３、接眼レンズ７４、および、液晶駆動部７５が設けられる。撮像素子１０は、交換レンズ６１の撮影光学系(６４,６５)の予定結像面に配置される。焦点検出部７１は、撮像素子１０の画素セル１２の出力に基づいて撮影光学系(６４,６５)の焦点検出を行う。ボディＣＰＵ７２は、デジタルスチルカメラ６０の全体的な動作制御を行う。液晶表示素子７３と接眼レンズ７４は、液晶ビューファインダを構成する。液晶駆動部７５は、ボディＣＰＵ７２の指示にしたがって液晶表示素子７３を駆動する。
【００６２】
ボディＣＰＵ７２とレンズＣＰＵ６９は、マウント部６３に設けられた電気接点７６を介して、各種情報（開放Ｆ値などのレンズ特性の情報,レンズ駆動のための焦点調節の情報,絞り制御のための情報）を伝達する。
第３実施形態のデジタルスチルカメラ６０において、焦点検出部７１は、撮像素子１０の画素セル１２の出力に基づいて撮影光学系(６４,６５)の焦点検出を行うと、ボディＣＰＵ７２に対し、撮影光学系(６４,６５)の焦点調節状態を表すデフォーカス量を出力する。ボディＣＰＵ７２は、デフォーカス量に基づいて撮影光学系(６４,６５)が合焦状態か否かを判定し、非合焦の場合には、レンズＣＰＵ６９に対してデフォーカス量に応じたレンズ駆動情報を出力する。
【００６３】
レンズＣＰＵ６９は、そのレンズ駆動情報に基づいて駆動部６７を制御し、フォーカシング用のレンズ６５を合焦位置に向けて移動させる。
また、ボディＣＰＵ７２は、撮像素子１０の画素セル１１の出力に基づいて画像信号を生成し、この画像信号を液晶駆動部７５に出力して、液晶ビューファインダの液晶表示素子７３に撮影画像を表示させる。このとき、上記と同様の補間処理などを行い、焦点検出用の画素セル１２の位置での画像信号を生成して表示させることが好ましい。
【００６４】
このように、第３実施形態のデジタルスチルカメラ６０では、撮像素子１０の焦点検出用の画素セル１２の出力に基づいて、交換レンズ６１の撮影光学系(６４,６５)の焦点検出を行う。したがって、低輝度時であっても応答性良く、かつ精度良く、撮影光学系(６４,６５)の焦点調節を行うことができる。その結果、低輝度時であっても迅速にピントの合った撮影画像を得ることができる。
【００６５】
（第４実施形態）
ここでは、図１４〜図１６を参照し、焦点検出用の２種類の画素セルを備えた撮像素子の例を説明する。
第４実施形態の撮像素子８０には、図１(ａ),(ｂ)に示す画素セル１１,１２の他に、図１４(ａ)に示す画素セル８１が設けられる。つまり、撮像素子８０には、撮影画像用の画素セル１１と、焦点検出用の２種類の画素セル１２,８１とが設けられる。図１(ａ),(ｂ)に示す画素セル１１,１２の構成や動作は上記と同じであり、ここでの説明を省略する。
【００６６】
図１４(ｂ)には画素セル１１,１２,８１のレイアウトを示す。撮像素子８０の基板上において、撮影画像用の画素セル１１は２次元的に略稠密に配置され（正方格子状）、その中に焦点検出用の一方の画素セル１２が周期的に埋め込まれ、焦点検出用の他方の画素セル８１が所定領域に略稠密に配置されている。
図１４(ａ)に示す画素セル８１は、画素セル１１,１２と同様、正方形状である。また、この画素セル８１は、焦点検出用の画素セル１２とはセルサイズが異なり、撮影画像用の画素セル１１とセルサイズが等しい。画素セル８１の一辺の長さＡ81は、画素セル１１の一辺の長さＡ11と等しい。つまり、新たに設けた焦点検出用の画素セル８１は、既に説明した焦点検出用の画素セル１２より小型である。以下の説明では、必要に応じて、小型の画素セル８１、大型の画素セル１２と言う。
【００６７】
小型の画素セル８１には、円形状のマイクロレンズ８２と、矩形状の２つの光電変換部８３,８４とが設けられる。マイクロレンズ８２は、入射光を集光して光電変換部８３,８４に導く光学要素であり、その開口サイズ（直径）が画素セル８１の一辺の長さＡ81と等しい。光電変換部８３,８４は、それぞれ、マイクロレンズ８２により集光された光に応じて電荷を生成するフォトダイオードである。これら２つの光電変換部８３,８４は対を成し、マイクロレンズ８２を用いた位相差検出方式の焦点検出に用いられる。このため、一対の光電変換部８３,８４は、マイクロレンズ８２を介して撮影光学系(不図示)の射出瞳と共役に配置される（図３参照）。
【００６８】
また、画素セル８１の断面構造（図１５）は、上記の画素セル１２の断面構造（図２）と同様であり、光電変換部８３,８４が基板２２の表面ｐ＋層２３とｎ層２４とで構成され、基板２２の表面上にゲート絶縁膜２５が形成され、光電変換部８３,８４とマイクロレンズ８２との間に赤外カットフィルタ２１が配置される。
さらに、この画素セル８１では、一対の光電変換部８３,８４が基板２２のＰ型ウエルのフローティングディフュージョン(ＦＤ)部２Ａを挟んで形成される。そして、このＦＤ部２Ａを介して、一対の光電変換部８３,８４に蓄積された電荷を個別に（または加算して）読み出すため、ゲート絶縁膜２５の上に転送スイッチ用のＭＯＳトランジスタ８５,８６が設けられる。また、ＭＯＳトランジスタ８５,８６は、図１６に示す制御線Ｐ',Ｐ''を介して垂直走査回路(不図示)に接続される。
【００６９】
このため、垂直走査回路によるＭＯＳトランジスタ８５,８６のオン／オフに応じて、一対の光電変換部８３,８４に蓄積された電荷を個別に（または加算して）ＦＤ部２Ａに転送することができる。例えば、一方のＭＯＳトランジスタ８５を選択的にオンすれば、これに対応する光電変換部８３の電荷のみが選択的にＦＤ部２Ａに転送される。また、両方のＭＯＳトランジスタ８５,８６を同時にオンすれば、一対の光電変換部８３,８４の電荷が同時にＦＤ部２Ａに転送され、そこで加算される。
【００７０】
さらに、ＦＤ部２Ａは、リセット用のＭＯＳトランジスタ８７を介して制御線Ｒ'に接続され、ソースフォロワアンプ用のＭＯＳトランジスタ８８と水平選択用のＭＯＳトランジスタ８９とを介して制御線Ｓ'および垂直出力線Ｖに接続される。このため、ＦＤ部２Ａに転送された電荷は、ＭＯＳトランジスタ８８を介して増幅され、ＭＯＳトランジスタ８９を介して垂直出力線Ｖに転送される。
【００７１】
図１６に示した回路構成は小型の画素セル８１の１個分に相当し、この画素セル８１は撮影画像用の画素セル１１と同じセルサイズである。このため、画素セル８１の回路部分を図４の回路構成に組み込む際には、画素セル１１の回路部分と置き換えればよい。なお、図１６の制御線Ｐ',Ｐ'',Ｒ',Ｓ'は、それぞれ、図４の制御線Ｐ,Ｒ,Ｓと共通または独立に設けられる。
【００７２】
第４実施形態の撮像素子８０では、焦点検出用の２種類の画素セル１２,８１を有するため、様々な撮影条件に応じて２種類の画素セル１２,８１を使い分け、撮影条件に適した焦点検出を行うことができる。例えば低輝度時に焦点検出の応答性を確保したい場合には、大型の画素セル１２の出力を用いることが好ましい。また、高輝度時に焦点検出の精度を高めたい場合には、小型の画素セル８１の出力を用いることが好ましい。小型の画素セル８１は、検出ピッチが細かいため、細かい被写体に好適である。
【００７３】
さらに、第４実施形態の撮像素子８０では、大型の画素セル１２のセルサイズを撮影画像用の画素セル１１のセルサイズ４倍とし、小型の画素セル８１のセルサイズを画素セル１１のセルサイズと等しくしたので、撮影画像用の画素セル１１のみから撮像素子を構成した場合の基本的な回路構成と比較して大幅な変更を行う必要がない。このため、撮像素子８０の回路構成が容易になる。また、マイクロレンズ１５,８２の作製も容易に行える。
【００７４】
（第５実施形態）
ここでは、図１７のフローチャートを参照して、第４実施形態の撮像素子８０を備えた撮像システム（図１０,図１３参照）の動作を説明する。図１７に示す動作手順は、上記の図１１のステップＳ２に代えて、ステップＳ１１〜Ｓ１３を設けたものである。ここでは、焦点調節（ステップＳ１１〜Ｓ１３,Ｓ３,Ｓ４）の説明を行う。
【００７５】
ステップＳ１１では、撮像システムに設けられた測光センサ(不図示)の出力に基づいて、被写体の輝度が所定値より小さいか否かを判定する。そして、輝度が所定値より小さい場合には（ステップＳ１１がＹｅｓ）、低輝度性能が高い大型の画素セル１２の出力を用いて焦点検出を行う（ステップＳ１３）。一方、輝度が所定値以上の場合には（ステップＳ１１がＮｏ）、焦点検出精度が高い小型の画素セル８１の出力を用いて焦点検出を行う（ステップＳ１２）。
【００７６】
したがって、第５実施形態の撮像システムでは、低輝度時に応答性良く焦点調節を行うことができ、かつ、高輝度時に精度良く焦点調節を行うことができる。また、このような使い分けを自動で行うことができる。
なお、高輝度時には、大小２つのセルサイズの画素セル１２,８１を両方使用して焦点検出を行ってもよい。
【００７７】
（変形例２）
ここでは、セルサイズの異なる２種類の焦点検出用の画素セル１２,８１（図１４）を、手動やカメラの各種設定や交換レンズの特性などに応じて切り換える例を説明する。
焦点調節モードに応じて切り換える際は、ワンショットＡＦ（合焦後にレンズをロックするモード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、コンティニュアスＡＦ（合焦後もレンズをロックせずに被写体の前後の動きに追従してレンズ駆動を継続するモード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。
【００７８】
静止画／動画の撮影モードに応じて切り換える際は、静止画撮影モード（スチル画像を撮影するモード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、動画撮影モード（ビデオ画像を撮影するモード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。
単写／連写の撮影モードに応じて切り換える際は、単写モード（画像を１枚ずつ撮影するモード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、連写モード（画像を連続して撮影するモード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。
【００７９】
ポートレート／スポーツの撮影モードに応じて切り換える際は、ポートレート撮影モード（静止している被写体を撮影するのに適した撮影モード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、スポーツ撮影モード（移動する被写体を撮影するのに適した撮影モード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。
【００８０】
撮影時の絞り値に応じて切り換える際は、絞り値が所定値より明るいときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より暗いときに応答性を優先して大型の画素セル１２を選択することが考えられる。
撮影倍率に応じて切り換える際は、撮影倍率が所定値より小さいときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より大きいときに応答性を優先して大型の画素セル１２を選択することが考えられる。
【００８１】
装着された交換レンズの開放Ｆ値に応じて切り換える際は、開放Ｆ値が所定値より明るいときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より暗いときに応答性を優先して大型の画素セル１２を選択することが考えられる。
装着された交換レンズの焦点距離に応じて切り換える際は、焦点距離が所定値より短いときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より長いときに応答性を優先して大型の画素セル１２を選択することが考えられる。
【００８２】
ストロボの不使用／使用に応じて切り換える際は、ストロボを使用せずに撮影するときに焦点検出精度を優先して小型の画素セル８１を選択し、ストロボを使用して撮影するときに応答性を優先して大型の画素セル１２を選択することが考えられる。
三脚などの使用／不使用に応じて切り換える際は、三脚などにカメラを固定して撮影するときに焦点検出精度を優先して小型の画素セル８１を選択し、三脚などにカメラを固定せずに手持ちで撮影するときに応答性を優先して大型の画素セル１２を選択することが考えられる。
【００８３】
（変形例３）
ここでは、上記の撮像素子１０（図１(ｃ)），撮像素子８０（図１４(ｂ)）における各画素セルのレイアウトの変形例について説明する。
図１８のように、撮影画像用の画素セル１１を略稠密に配置して、その中に焦点検出用の画素セル１２を１列おきにずらして千鳥状に配置してもよい。このようなレイアウトの場合、被写体像のパターン（例えば線状パターン）のサイズが画素セル１２の配列ピッチＤ１,Ｄ２と同程度であっても、その位置に拘わらず焦点検出を行うことができる。
【００８４】
図１９のように、撮影画像用の画素セル１１を略稠密に配置して、その中の所定領域に焦点検出用の画素セル１２を略稠密に配置してもよい。このようなレイアウトの場合は、被写体像のパターン（例えば点状パターン）のサイズが画素セル１２の配列ピッチＤ１と同程度であっても、その位置に拘わらず焦点検出を行うことができる。
図２０のように、撮影画像用の画素セル１１を略稠密に配置して、その中の所定領域に焦点検出用の画素セル１２を略稠密に配置し、かつ行ごとに半ピッチずらして配置してもよい。この場合、被写体像のパターン（例えば線状パターンや点状パターン）のサイズが画素セル１２の配列ピッチＤ３,Ｄ１と同程度であっても、その位置に拘わらず焦点検出を行うことができる。
【００８５】
図２１のように、上記の画素セル１２とはセルサイズの異なる画素セル２６を焦点検出用として設け、この画素セル２６の一辺の長さＡ26を撮影画像用の画素セル１１の一辺の長さＡ11の２.５倍としてもよい。画素セル２６のセルサイズは画素セル１１の６.２５倍である。図２１では、撮影画像用の画素セル１１を略稠密に配置して、その中の所定領域に画素セル２６を略稠密に配置した。このように、焦点検出用の画素セルのセルサイズは撮影画像用の画素セル１１の整数倍に限らず、自由に設定することができる。回折の影響の緩和効果が不足している場合には、焦点検出用の画素セルと撮影画像用の画素セル１１とのセルサイズの比を適当に調整することで、所望の効果を得ることができる。
【００８６】
図２２のように、縦横比の異なる画素セル２７を焦点検出用として設け、この画素セル２７の横方向の一辺の長さＡ27を撮影画像用の画素セル１１の一辺の長さＡ11の２倍とし、縦方向の長さＡ28を画素セル１１の長さＡ11に等しくしてもよい。画素セル２７のセルサイズは画素セル１１の２倍である。焦点検出用の画素セル２７の縦方向の長さＡ27が撮影画像用の画素セル１１と等しいため、画像信号を生成する際に補間処理を行っても、画像品質を維持できる。また、画素セル２７を配置することにより回路構成を変更する必要がない。
【００８７】
図２３のように、撮影画像用の画素セル１１を略稠密に配置した中の所定領域に、焦点検出用の２種類の画素セル１２,８１（図１４参照）を略稠密に配置して、大型の画素セル１２を１列おきにずらして千鳥状に配置し（図１８参照）、その間に小型の画素セル８１を略稠密に配置してもよい。
図２４のように、撮影画像用の画素セル１１を略稠密に配置した中に、焦点検出用の画素セル１２を線枠状に配列してもよい。この場合、撮像システムの液晶ビューファインダの画面上には、画素セル１１の出力に基づいて撮影画像を表示すると共に、画素セル１２の位置を焦点検出領域（フォーカスフレーム）として撮影画像に重畳して表示することが好ましい。フォーカスフレーム表示は、例えば固定データによって行われる。このように画素セル１２の位置をフォーカスフレームとして表示するので、画素セル１２の位置での画像信号を周囲の画素セル１１の出力などから補間処理によって生成する必要がない。
【００８８】
（変形例４）
ここでは、焦点検出用の画素セルの光電変換部の変形例について説明する。
図２５に示す焦点検出用の画素セル９０のように、４つの光電変換部９１〜９４を設けてもよい。この場合、４つの光電変換部９１〜９４のうち任意の２つを選択的に組み合わせて一対の光電変換部とし、位相差検出方式の焦点検出に用いることができる。位相差検出方式の焦点検出では、上記した２つの被写体像の位置的位相差（つまり一対の光電変換部の並び方向の位置ずれ量）を例えば相関演算によって求める。このため、選択した一対の光電変換部の並び方向に応じて、異なる方向での焦点検出を行える。
【００８９】
例えば、図中横方向の焦点検出を行う場合、光電変換部９１,９３の各出力、または、光電変換部９２,９４の各出力が用いられる。また、光電変換部９１,９２の加算出力と光電変換部９３,９４の加算出力とを用いてもよい。縦方向の焦点検出を行う場合、光電変換部９１,９２の各出力、または、光電変換部９３,９４の各出力が用いられる。また、光電変換部９１,９３の加算出力と光電変換部９２,９４の加算出力とを用いてもよい。左上がり斜め方向の焦点検出の場合、光電変換部９１,９４の各出力が用いられる。右上がり斜め方向の焦点検出の場合、光電変換部９２,９３の各出力が用いられる。このように、１種類の画素セル９０で多方向の焦点検出が可能となる。
【００９０】
さらに、図２６に示す焦点検出用の画素セル１００のように、６つの光電変換部１０１〜１０６を設け、それぞれにＲＧＢのうち何れか１つの色フィルタを設けてもよい。この場合、焦点検出の方向（図中横方向）に沿って並ぶ２つの光電変換部１０１,１０４は同じＲ色成分とし、光電変換部１０２,１０５は同じＧ色成分とし、光電変換部１０３,１０６は同じＢ色成分とする。
【００９１】
画素セル１００を用いて位相差検出方式の焦点検出を行う場合には、焦点検出の方向に垂直な方向に沿って並ぶ３つの光電変換部１０１〜１０３の加算出力を求めると共に、光電変換部１０４〜１０６の加算出力を求め、これら２つの加算出力から上記した２つの被写体像の位置的位相差（ここでは図中横方向の位置ずれ量）を例えば相関演算によって求める。
【００９２】
また、画素セル１００の位置での画像信号を生成する際には、焦点検出の方向に沿って並ぶ２つの光電変換部１０１,１０４の加算出力（Ｒ色成分）を求めると共に、光電変換部１０２,１０５の加算出力（Ｇ色成分）を求め、さらに、光電変換部１０３,１０６の加算出力（Ｂ色成分）を求める。そして、これら３つの加算出力を、上記の補間処理によって求められる各色成分（式(５)〜(８)）の代わりに、式(９)〜(１２)に代入すればよい。
【００９３】
同様に、図２７に示す焦点検出用の画素セル１１０のように、６つの光電変換部１１１〜１１６を焦点検出の方向（図中横方向）に沿って並べ、それぞれにＲＧＢのうち何れか１つの色フィルタを設けてもよい。この場合、画素セル１１０の中心に対して対称な２つの光電変換部１１３,１１４は同じＲ色成分とし、光電変換部１１２,１１５は同じＧ色成分とし、光電変換部１１１,１１６は同じＢ色成分とする。
【００９４】
画素セル１１０を用いて位相差検出方式の焦点検出を行う場合には、焦点検出の方向にに沿って並ぶ３つの光電変換部１１１〜１１３の加算出力を求めると共に、光電変換部１１４〜１１６の加算出力を求め、これら２つの加算出力から上記した２つの被写体像の位置的位相差（ここでは図中横方向の位置ずれ量）を例えば相関演算によって求める。
また、画素セル１１０の位置での画像信号を生成する際には、画素セル１１０の中心に対して対称な２つの光電変換部１１３,１１４の加算出力（Ｒ色成分）を求めると共に、光電変換部１１２,１１５の加算出力（Ｇ色成分）を求め、さらに、光電変換部１１１,１１６の加算出力（Ｂ色成分）を求める。そして、これら３つの加算出力を、上記の補間処理によって求められる各色成分（式(５)〜(８)）の代わりに、式(９)〜(１２)に代入すればよい。
【００９５】
したがって、画素セル１００（または画素セル１１０）の位置での画像信号を生成する際に、画素セル１００（または画素セル１１０）の周囲の撮影画像用の画素セル１１の出力から補間する必要がなくなり、画素セル１００（または画素セル１１０）を大きな領域内に略稠密に配置しても画像品質が低下しない。
また、画素セル１００（または画素セル１１０）を用いて焦点検出を行う際、ＲＧＢの各色成分の出力を加算せずに、各色成分ごとに焦点検出を行ってもよい。このようにすることで、撮影光学系に色収差がある場合でも、正確な焦点検出が可能となる。また、同じ明るさでも色の変化がある被写体に対して焦点検出が可能となる。さらに、焦点検出に使用する色成分を手動または自動で選択し、選択された色成分の出力で焦点検出を行ってもよい。このようにすることで、特定の色の被写体について選択的に焦点検出を行うことが可能となる。
【００９６】
さらに、図２７の画素セル１１０を用いて焦点検出を行う場合、装着された交換レンズの開放Ｆ値に応じて、焦点検出に使用する色成分を変更してもよい。例えば、外側に位置するＢ色成分の光電変換部１１１,１１６は、撮影光学系の射出瞳の外側を通過した光束を取り込むため、開放Ｆ値が所定値より明るいレンズを装着した場合や、高い焦点検出精度が必要な場合に使用することが好ましい。内側に位置するＲ色成分の光電変換部１１３,１１４は、射出瞳の中心付近を通過した光束を取り込むため、開放Ｆ値が所定値より暗いレンズを装着した場合や、デフォーカス量が大きくなるレンズ（焦点距離の長いレンズ）を装着した場合に使用することが好ましい。
【００９７】
また、上記例では、焦点検出用の画素セルの一対の光電変換部１６,１７,９１〜９４,…をそれぞれ矩形状としたが、本発明はこれに限定されない。例えば、図２８に示す画素セル１２０のように、一対の光電変換部１２１,１２２をそれぞれ略半円形状とし、２つ合わせて略円形状となるようにすることが考えられる。この場合、撮影光学系の射出瞳（所定のＦ値）の内部の光束を無駄なく光電変換部１２１,１２２に取り込み、焦点検出に利用できる。このため、焦点検出時の光量確保の点で有利となる。なお、光電変換部１２１,１２２の大きさ自体は光量確保とは無関係である。
【００９８】
（変形例５）
ここでは、画素セルのマイクロレンズ１３,１５,…の変形例について説明する。
上記例では、マイクロレンズ１３,１５の開口サイズ（直径）が画素セル１１,１２の一辺の長さＡ11,Ａ12と等しい例を説明したが、本発明はこれに限定されない。マイクロレンズの開口サイズが画素セルの一辺の長さより小さくても構わない。この場合、撮影画像用の画素セルと焦点検出用の画素セルとが同じセルサイズでも、撮影画像用の画素セルにおけるマイクロレンズの開口サイズより、焦点検出用の画素セルにおけるマイクロレンズの開口サイズを大きくすることで、上記と同様の効果を得ることができる。
【００９９】
また、上記例では、マイクロレンズを正方形状の画素セルに内接するような円形状としたが、本発明はこれに限定されない。例えば図２９(ａ),(ｂ)に示す通り、画素セルよりも大きな円形状の４方向の部分（ハッチング部）を切り落とし、正方形状の中心部分を切り出して、画素セルと同じ形状に成形したマイクロレンズを用いてもよい。撮影画像用および焦点検出用のマイクロレンズに適用できる。この場合、マイクロレンズの開口サイズは正方形状の一辺の長さに相当する。このようにすることで、撮像素子に入射する光束を無駄なく撮影や焦点検出などに利用することが可能となる。
【０１００】
さらに、図２２のような縦横比の異なる焦点検出用の画素セル２７では、図２９(ｃ)のように、画素セル２７より大きな円形状の上下２方向の部分（ハッチング部）を１／４ずつ切り落とし、長方形状の中心部分を切り出して、画素セル２７と同じ形状に成形したマイクロレンズを用いてもよい。この場合でも、撮像素子に入射する光束を無駄なく焦点検出に利用することが可能となる。
【０１０１】
また、上記例では、画素セルへの入射光を集光して光電変換部に導く光学要素としてマイクロレンズを用いたが、本発明はこれに限定されない。マイクロレンズの代わりに、屈折率分布型の光学要素や反射型の光学要素を用いてもよい。ただし、マイクロレンズは製造が容易なため、コスト面で有利である。
さらに、上記例では、撮影画像用の画素セルにもマイクロレンズなどの光学要素を設けたが、これを省略した場合にも本発明を適用できる。
【０１０２】
（変形例６）
ここでは、その他の変形例について説明する。
上記例では、正方形状の画素セルを正方格子状に配置したが、本発明はこれに限定されない。画素セルが長方形状や六角形状の場合にも本発明を適用できる。画素セルが六角形状の場合には、一行ごとに半ピッチずらして２次元ハニカム状に配置することが考えられる。焦点検出用の画素セルは、隣接する複数の撮影画像用の画素セルに置き換えて配置すればよい。
【０１０３】
また、上記例では、位相差検出方式の焦点検出用の画素セルを例に説明したが、本発明はこれに限定されない。その他、コントラスト検出方式の焦点検出用の画素セルを設ける場合にも、本発明を適用できる。コントラスト検出方式の場合、画素セルの光電変換部は１つでよいが、２つ以上の光電変換部の出力を加算しても構わない。
さらに、上記例では、撮影画像用の画素セルと焦点検出用の画素セルを備えた撮像素子の例を説明したが、本発明はこれに限定されない。焦点検出用の画素セルの代わりに（または焦点検出用の画素セルと組み合わせて）測距用や測光用や調光用などの画素セルを配置する場合にも、本発明を適用できる。測距用や測光用や調光用などの画素セルであっても、そのセルサイズを撮影画像用の画素セルより大きくすることで、低輝度時の応答性を改善できる。
【０１０４】
測距用の画素セルを備えた撮像素子としては、例えば、パルス変調されたレーザ光などを被計測物に照射したときに、被計測物からの反射光を各画素セルごとに検知するようなものが考えられる（国際公開９７／０１１１１号公報）。被計測物までの距離を計測するためには、各画素セルごとに光の往復時間を計測し、これを距離に換算する。
被写体輝度を測定する測光用の画素セル、または、被写体から反射されるストロボ光を検出する調光用の画素セルには、測光用または調光用の特殊なフィルタ（視感度フィルタなど）を配置したり、非破壊でリアルタイムに蓄積電荷量をモニタできる特別な回路構成が付加されている。このような特別な回路構成を測光用または調光用の画素セルに付加する場合には、測光用または調光用の画素セルを撮影画像用の画素セルより大きくすることで、１画素あたりのチップ面積を広くすることができ、回路レイアウト上、有利になる。
【０１０５】
また、上記例では、撮影画像用の画素セルを２次元的に配置し、その中に撮影条件の取得用（焦点検出用,測距用,測光用,調光用など）の画素セルを配置したが、本発明はこれに限定されない。撮影画像用の画素セルを１次元的に配置し、その中に撮影条件の取得用の画素セルを配置してもよい。
さらに、上記例では、ＭＯＳ型の撮像素子（回路構成の図４を参照）を例に説明したが、本発明はこれに限定されない。その他、ＣＣＤ型の撮像素子でも本発明を適用できる。
【０１０６】
また、上記例では、撮像システムの具体例としてデジタルスチルカメラ（図１３参照）の説明を行ったが、本発明はこれに限定されない。その他、上記の撮像素子をデジタル顕微鏡や監視カメラなどの撮像システムに組み込む場合にも本発明を適用できる。
【図面の簡単な説明】
【０１０７】
【図１】第１実施形態の撮像素子１０の構成を示す図である。
【図２】画素セル１２の断面構造を示す図である。
【図３】一対の光電変換部１６,１７と射出瞳１８との共役関係を説明する図である。
【図４】撮像素子１０の回路構成を示す図である。
【図５】回折シミュレーションの条件を説明する図である。
【図６】回折シミュレーションの結果（マイクロレンズ１５の開口サイズが２０μｍの場合）を説明する図である。
【図７】回折シミュレーションの結果（マイクロレンズ１５の開口サイズが１０μｍの場合）を説明する図である。
【図８】回折シミュレーションの結果（マイクロレンズ１５の開口サイズが４μｍの場合）を説明する図である。
【図９】回折シミュレーションの結果（マイクロレンズ１５の開口サイズが２μｍの場合）を説明する図である。
【図１０】第２実施形態の撮像システム４０の構成を示すブロック図である。
【図１１】撮像システム４０の動作手順を示すフローチャートである。
【図１２】撮像素子１０における画像信号の生成を説明する図である。
【図１３】第３実施形態のデジタルスチルカメラ６０の構成を示す概略図である。
【図１４】第４実施形態の撮像素子８０の構成を示す図である。
【図１５】画素セル８１の断面構造を示す図である。
【図１６】画素セル８１の回路構成を示す図である。
【図１７】第５実施形態の撮像システムの動作手順を示すフローチャートである。
【図１８】画素セルのレイアウトの変形例を示す図である。
【図１９】画素セルのレイアウトの変形例を示す図である。
【図２０】画素セルのレイアウトの変形例を示す図である。
【図２１】画素セルのレイアウトの変形例を示す図である。
【図２２】画素セルのレイアウトの変形例を示す図である。
【図２３】画素セルのレイアウトの変形例を示す図である。
【図２４】画素セルのレイアウトの変形例を示す図である。
【図２５】焦点検出用の画素セルの光電変換部の変形例を示す図である。
【図２６】焦点検出用の画素セルの光電変換部の変形例を示す図である。
【図２７】焦点検出用の画素セルの光電変換部の変形例を示す図である。
【図２８】焦点検出用の画素セルの光電変換部の変形例を示す図である。
【図２９】マイクロレンズの変形例を示す図である。
【符号の説明】
【０１０８】
１０,８０ 撮像素子  ；  １１,１２,２６,２７,８１,９０,１００,１１０,１２０  画素セル  ；  １３,１５,８２ マイクロレンズ  ；  １４,１６,１７,８３,８４,９１〜９４,１０１〜１０６,１１１〜１１６,１２１,１２２ 光電変換部  ；  １８ 射出瞳  ；
４０ 撮像システム  ；  ４１,６４,６５ 撮影光学系  ；６０ デジタルスチルカメラ
【図１】
2007103590.tif 000003
【図２】
2007103590.tif 000004
【図３】
2007103590.tif 000005
【図４】
2007103590.tif 000006
【図５】
2007103590.tif 000007
【図６】
2007103590.tif 000008
【図７】
2007103590.tif 000009
【図８】
2007103590.tif 000010
【図９】
2007103590.tif 000011
【図１０】
2007103590.tif 000012
【図１１】
2007103590.tif 000013
【図１２】
2007103590.tif 000014
【図１３】
2007103590.tif 000015
【図１４】
2007103590.tif 000016
【図１５】
2007103590.tif 000017
【図１６】
2007103590.tif 000018
【図１７】
2007103590.tif 000019
【図１８】
2007103590.tif 000020
【図１９】
2007103590.tif 000021
【図２０】
2007103590.tif 000022
【図２１】
2007103590.tif 000023
【図２２】
2007103590.tif 000024
【図２３】
2007103590.tif 000025
【図２４】
2007103590.tif 000026
【図２５】
2007103590.tif 000027
【図２６】
2007103590.tif 000028
【図２７】
2007103590.tif 000029
【図２８】
2007103590.tif 000030
【図２９】
2007103590.tif 000031