(57)【特許請求の範囲】
【請求項１】
撮影レンズを通過する被写体像の光を受光する第１のマイクロレンズと、
所定の分光透過特性を有する第１のカラーフィルタと、
前記第１のマイクロレンズにより集光された光束を前記第１のカラーフィルタを通して受光する撮像受光素子と、
を各々備え、撮像素子面内に配列された複数の撮像用画素を有するとともに、
前記撮影レンズを通過する被写体像の光束を瞳分割する第２のマイクロレンズと、
可視光を構成する波長領域にわたって所定の値以上の透過率を有し、前記波長領域における分光透過率の積分が、複数の前記撮像用画素のいずれの前記第１のカラーフィルタにおける前記積分よりも大きくなるような分光透過特性を有する第２のカラーフィルタと、
前記第２のマイクロレンズにより瞳分割された光束対をそれぞれ前記第２のカラーフィルタを通して受光する２つの測距受光素子が前記撮像素子面内の所定の方向に配列された測距受光素子対と、
を各々備え、前記撮像素子面内に配列された複数の測距用画素を有し、
前記複数の測距用画素は、前記撮像素子面内において、前記所定の方向と略同一方向に所定の周期で配列されており、
前記複数の測距用画素の各々の周囲に少なくとも４つの前記撮像用画素が配置され、かつ、前記複数の測距用画素の各々の間に少なくとも１つの前記撮像用画素が配置され、
前記複数の撮像用画素は、
赤色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の赤色撮像用画素と、
緑色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の緑色撮像用画素と、
青色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の青色撮像用画素と、
を有し、
前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた第１の配列と、前記ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を高感度撮像用画素で置き換えた第２の配列とで構成され、
前記高感度撮像用画素の分光感度は前記測距用画素の分光感度と略同一であり、前記高感度撮像用画素に含まれる前記撮像受光素子の受光面積は、２つの前記測距受光素子の各々の受光面積の和と略同一である
ことを特徴とする撮像素子。
【請求項２】
２つの前記測距受光素子の各々の受光面積の和が、前記撮像受光素子の受光面積の１/３倍よりも大きく、１倍よりも小さいことを特徴とする請求項１に記載の撮像素子。
【請求項３】
請求項１に記載の撮像素子と、
前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、
前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、
を有することを特徴とする撮像装置。
【請求項４】
撮影レンズを通過する被写体像の光を受光する第１のマイクロレンズと、
所定の分光透過特性を有する第１のカラーフィルタと、
前記第１のマイクロレンズにより集光された光束を前記第１のカラーフィルタを通して受光する撮像受光素子と、
を各々備え、撮像素子面内に配列された複数の撮像用画素を有するとともに、
前記撮影レンズを通過する被写体像の光束を瞳分割する第２のマイクロレンズと、
可視光を構成する波長領域にわたって所定の値以上の透過率を有し、前記波長領域における分光透過率の積分が、複数の前記撮像用画素のいずれの前記第１のカラーフィルタにおける前記積分よりも大きくなるような分光透過特性を有する第２のカラーフィルタと、
前記第２のマイクロレンズにより瞳分割された光束対をそれぞれ前記第２のカラーフィルタを通して受光する２つの測距受光素子が前記撮像素子面内の所定の方向に配列された測距受光素子対と、
を各々備え、前記撮像素子面内に配列された複数の測距用画素を有し、
前記複数の測距用画素は、前記撮像素子面内において、前記所定の方向と略同一方向に所定の周期で配列されており、
前記複数の測距用画素の各々の周囲に少なくとも４つの前記撮像用画素が配置され、かつ、前記複数の測距用画素の各々の間に少なくとも１つの前記撮像用画素が配置され、
前記複数の撮像用画素は、
赤色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の赤色撮像用画素と、
緑色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の緑色撮像用画素と、
青色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の青色撮像用画素と、
を有し、
前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた配列であり、
前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、
前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、
を有し、
前記画像生成部は、前記測距用画素からの画素出力が所定のレベルよりも低い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力と、前記測距用画素からの画素出力とを用いて撮影画像を生成し、前記測距用画素からの画素出力が所定のレベルよりも高い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力とのみを用いて撮影画像を生成する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出機能を有する撮像素子および撮像装置に関する。
【背景技術】
【０００２】
近年、瞳分割位相差ＡＦを採用し、焦点検出素子としても兼用できるように構成された撮像素子が提案されている（例えば、特許文献１参照）。以下、図１５を用いて、特許文献１に記載された従来技術による瞳分割位相差ＡＦの動作について説明する。図１５は、特許文献１に記載された撮像素子の画素配列を示している。
【０００３】
図１５（ａ）に示す通り、特許文献１に開示された撮像素子では、被写体像を示す画像信号を形成するための撮像用信号を出力する撮像用画素とは別に、焦点調節状態を示すＡＦ信号を生成する測距用画素の列（焦点検出部２００Ａ、２００Ｂ）が複数配置されている。また、図１５ （ｂ）に示す通り、この撮像素子において、測距用画素は測距受光素子対（フォトダイオード２０１ａ、２０１ｂ）を有しており、測距受光素子対ごとに１つのマイクロレンズ２０６が設けられている。
【０００４】
測距受光素子対を構成する２つの測距受光素子の一方部分と他方部分に結像される像のずれ量（シフト量）は、撮像レンズのピントのずれ量（デフォーカス量）に応じて変化する。このシフト量を複数の測距用画素からの出力により検出して、撮像レンズを合焦にするためのレンズ駆動量を決定することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２９２６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された撮像素子では、測距用画素が並んだ部分では撮像用信号を得ることができないために、最終的に得られる画像の画質が劣化する。また、測距用画素が一列に配置されているため、測距用画素数を増やした場合、画質の劣化がさらに顕著となるという課題がある。
【０００７】
上記の課題を解決するため、測距用画素の位置に相当する撮像用信号を、撮像用画素からの撮像用信号を用いて補間することが考えられる。しかし、特許文献１に開示された撮像素子では、測距用画素が一列に配置されているため、それぞれの測距用画素に隣接する撮像用画素の数（測距用画素列の端の画素で３個、それ以外の画素で２個）が少なく、測距用画素の位置に相当する撮像用信号の補間を高精度に行うことができないという課題がある。
【０００８】
本発明は、上述した課題に鑑みてなされたものであって、測距用画素の位置に相当する撮像用信号の補間をより高精度に行うのに適した撮像用信号を取得することができる撮像素子および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するためになされたもので、撮影レンズを通過する被写体像の光を受光する第１のマイクロレンズと、所定の分光透過特性を有する第１のカラーフィルタと、前記第１のマイクロレンズにより集光された光束を前記第１のカラーフィルタを通して受光する撮像受光素子と、を各々備え、撮像素子面内に配列された複数の撮像用画素を有するとともに、前記撮影レンズを通過する被写体像の光束を瞳分割する第２のマイクロレンズと、可視光を構成する波長領域にわたって所定の値以上の透過率を有し、前記波長領域における分光透過率の積分が、複数の前記撮像用画素のいずれの前記第１のカラーフィルタにおける前記積分よりも大きくなるような分光透過特性を有する第２のカラーフィルタと、前記第２のマイクロレンズにより瞳分割された光束対をそれぞれ前記第２のカラーフィルタを通して受光する２つの測距受光素子が前記撮像素子面内の所定の方向に配列された測距受光素子対と、を各々備え、前記撮像素子面内に配列された複数の測距用画素を有し、前記複数の測距用画素は、前記撮像素子面内において、前記所定の方向と略同一方向に所定の周期で配列されており、前記複数の測距用画素の各々の周囲に少なくとも４つの前記撮像用画素が配置され、かつ、前記複数の測距用画素の各々の間に少なくとも１つの前記撮像用画素が配置され、前記複数の撮像用画素は、赤色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の赤色撮像用画素と、緑色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の緑色撮像用画素と、青色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の青色撮像用画素と、を有し、前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた第１の配列と、前記ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を高感度撮像用画素で置き換えた第２の配列とで構成され、前記高感度撮像用画素の分光感度は前記測距用画素の分光感度と略同一であり、前記高感度撮像用画素に含まれる前記撮像受光素子の受光面積は、２つの前記測距受光素子の各々の受光面積の和と略同一であることを特徴とする撮像素子である。
【００１１】
また、本発明の撮像素子において、２つの前記測距受光素子の各々の受光面積の和が、前記撮像受光素子の受光面積の１/３倍よりも大きく、１倍よりも小さいことを特徴とする。
【００１３】
また、本発明は、上記の撮像素子と、前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、を有することを特徴とする撮像装置である。
【００１４】
また、本発明は、撮影レンズを通過する被写体像の光を受光する第１のマイクロレンズと、所定の分光透過特性を有する第１のカラーフィルタと、前記第１のマイクロレンズにより集光された光束を前記第１のカラーフィルタを通して受光する撮像受光素子と、を各々備え、撮像素子面内に配列された複数の撮像用画素を有するとともに、前記撮影レンズを通過する被写体像の光束を瞳分割する第２のマイクロレンズと、可視光を構成する波長領域にわたって所定の値以上の透過率を有し、前記波長領域における分光透過率の積分が、複数の前記撮像用画素のいずれの前記第１のカラーフィルタにおける前記積分よりも大きくなるような分光透過特性を有する第２のカラーフィルタと、前記第２のマイクロレンズにより瞳分割された光束対をそれぞれ前記第２のカラーフィルタを通して受光する２つの測距受光素子が前記撮像素子面内の所定の方向に配列された測距受光素子対と、を各々備え、前記撮像素子面内に配列された複数の測距用画素を有し、前記複数の測距用画素は、前記撮像素子面内において、前記所定の方向と略同一方向に所定の周期で配列されており、前記複数の測距用画素の各々の周囲に少なくとも４つの前記撮像用画素が配置され、かつ、前記複数の測距用画素の各々の間に少なくとも１つの前記撮像用画素が配置され、前記複数の撮像用画素は、赤色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の赤色撮像用画素と、緑色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の緑色撮像用画素と、青色光の波長領域に分光透過特性のピークを有する前記第１のカラーフィルタを各々備えた複数の青色撮像用画素と、を有し、前記複数の赤色撮像用画素、前記複数の緑色撮像用画素、前記複数の青色撮像用画素、および前記複数の測距用画素が構成する配列は、ベイヤー配列を構成する単位配列内の一対の前記緑色撮像用画素のうち一方を前記測距用画素で置き換えた配列であり、前記測距用画素からの画素出力に基づき、被写体までの距離に応じた前記撮影レンズの焦点ずれ量を演算する測距演算部と、前記測距用画素を前記撮像用画素で置き換えた場合の画素出力を、前記測距用画素の周囲に配列された前記撮像用画素からの画素出力を用いて補間し、補間した画素出力および前記撮像用画素からの画素出力を用いて前記被写体像の撮影画像を生成する画像生成部と、を有し、前記画像生成部は、前記測距用画素からの画素出力が所定のレベルよりも低い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力と、前記測距用画素からの画素出力とを用いて撮影画像を生成し、前記測距用画素からの画素出力が所定のレベルよりも高い場合には、前記赤色撮像用画素、前記緑色撮像用画素、および前記青色撮像用画素からの画素出力と、前記補間した画素出力とのみを用いて撮影画像を生成することを特徴とする撮像装置である。
【発明の効果】
【００１５】
本発明によれば、複数の測距用画素の各々の周囲に少なくとも４つの撮像用画素が配置され、かつ、複数の測距用画素の各々の間に少なくとも１つの撮像用画素が配列されているため、各測距用画素の周囲に配置された撮像用画素から取得した撮像用信号を、各測距用画素の位置に相当する撮像用信号の補間に使用することが可能となる。したがって、測距用画素の位置に相当する撮像用信号の補間をより高精度に行うのに適した撮像用信号を取得することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態による撮像装置の動作シーケンスを示すフローチャートである。
【図３】本発明の第１の実施形態における撮像用画素の断面図である。
【図４】本発明の第１の実施形態における測距用画素の断面図である。
【図５】本発明の第１の実施形態における撮像素子の画素配列を示す平面図である。
【図６】本発明の第１の実施形態における測距用画素に入射する光線を説明するための参考図である。
【図７】本発明の第１の実施形態におけるＡＦユニットラインからの画素出力を示すグラフである。
【図８】本発明の第１の実施形態における画素出力のシフト量とデフォーカス量との関係を示すグラフである。
【図９】本発明の第１の実施形態におけるカラーフィルタの分光特性を示すグラフである。
【図１０】本発明の第１の実施形態における補正領域の画素配置を示す平面図である。
【図１１】本発明の第１の実施形態における撮像用画素と測距用画素の感度の関係を示すグラフである。
【図１２】本発明の第２の実施形態による撮像装置が備える撮像素子の画素配列を示す平面図である。
【図１３】本発明の各実施形態の変形例に係る撮像素子の画素配列を示す平面図である。
【図１４】本発明の各実施形態の変形例に係る撮像素子の画素配列を示す平面図である。
【図１５】従来の撮像素子の画素配列を示す平面図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照し、本発明の実施形態を説明する。
【００１８】
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
＜撮像装置の構成＞
図１は、本実施形態による撮像装置の構成を示している。図１に示す撮像装置ＣＡＭは、撮像光学系ＭＯと、信号処理装置ＣＰＵと、光学系駆動部ＯＤと、設定ボタンＳＢと、シャッターボタンＳＴと、表示装置ＤＤとで構成されている。
【００１９】
撮像光学系ＭＯは、被写体像を結像し、結像された被写体像を撮影する。この撮像光学系ＭＯは、交換が可能な撮影レンズＯＬと、撮像素子ＩＭＧとを有する。撮影レンズＯＬは、被写体に関する光束を撮像素子ＩＭＧに結像するための光学系である。この撮影レンズＯＬは、光学系駆動部ＯＤによって光軸方向に自在に駆動される。撮影レンズＯＬが光軸方向に移動することにより、撮影レンズＯＬの焦点位置が移動する。 
【００２０】
撮像素子ＩＭＧは、フォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置されたカラーエリアセンサである。撮像素子ＩＭＧは、撮影レンズＯＬを通って結像された被写体像に関する電気信号を、撮像素子ＩＭＧ上に設けられた撮像用画素により生成し、画像出力Ｖｏｕｔ（撮像用信号）として出力する。また、撮像素子ＩＭＧは、その撮像素子面において、位相差検出のための測距用画素を有しており、位相差検出による測距に必要な被写体像に関する電気信号を測距用画素により生成し、画像出力Ｖｏｕｔとして出力する。なお、撮像用画素ＳＰおよび測距用画素ＡＰならびに撮像素子ＩＭＧにおける詳細な説明は後述する。
【００２１】
信号処理装置ＣＰＵは、測距演算部ＡＦＵと、画像生成部ＰＧＵと、記録装置ＭＥＭとで構成されている。画像生成部ＰＧＵは、内部に補正部ＡＤＤを有する。
【００２２】
信号処理装置ＣＰＵには、設定ボタンＳＢと、シャッターボタンＳＴと、表示装置ＤＤと、撮像素子ＩＭＧと、光学系駆動部ＯＤとが接続されている。信号処理装置ＣＰＵは、設定ボタンＳＢおよびシャッターボタンＳＴから入力された信号と、撮像素子ＩＭＧから得られる画素出力Ｖｏｕｔとに基づき、撮像装置ＣＡＭの制御や信号処理等を行う。また、信号処理装置ＣＰＵは、光学系駆動部ＯＤに対する制御信号、および撮像素子ＩＭＧに対するコマンドＣＭＤを出力する。また、信号処理装置ＣＰＵは、信号処理を行った画像信号を表示装置ＤＤへ出力する。
【００２３】
信号処理のうち、測距演算に相当する処理は測距演算部ＡＦＵによって行われ、撮影画像の生成および表示用の画像処理は画像生成部ＰＧＵによって行われる。信号処理が行われた画像信号は必要に応じて記録装置ＭＥＭに保存される。また、撮影画像の生成において、測距用画素の位置における撮像用信号の補間やダイナミックレンジ拡大のための信号処理は補正部ＡＤＤによって行われる。
【００２４】
光学系駆動部ＯＤは、撮影レンズＯＬを光軸方向に自在に移動させる。具体的には、光学系駆動部ＯＤは、信号処理装置ＣＰＵで演算された結果に基づいて、撮影レンズＯＬの焦点を合焦とするために図示しないレンズ駆動モータを制御して、撮影レンズＯＬを光軸方向に移動させる。これによって、撮影レンズＯＬの結像位置が調節される。
【００２５】
シャッターボタンＳＴは、撮影者が撮影のタイミングを決定するために用いるボタンである。設定ボタンＳＢは、撮影者が撮像装置ＣＡＭの動作モードを決定するために用いるボタンである。表示装置ＤＤは、信号処理装置ＣＰＵで処理された画像信号に基づく画像を表示する。
【００２６】
＜撮影シーケンス＞
撮像装置ＣＡＭを用いた撮影のシーケンスについて、図２を用いて説明する。図２は、撮像装置ＣＡＭの撮影のシーケンスを示している。
【００２７】
撮影者が設定ボタンＳＢを用いて撮影開始を選択することにより、撮影モード（ステップＳ１）が開始される。撮影モードが開始された後、表示画像生成期間（ステップＳ２）が開始される。表示画像生成期間中、撮影レンズＯＬにより導かれた被写体像に関する光束は、撮像素子ＩＭＧに導かれる。被写体像に関する光束から得られる電気信号は撮像素子ＩＭＧから画素出力Ｖｏｕｔとして連続的に読み出され、信号処理装置ＣＰＵによって処理がなされた後、表示装置ＤＤで連続的に画像（動画像）が表示される。撮影者は、表示装置ＤＤに表示された画像を観察することにより、被写体の構図等を決定（フレーミング）することができる。
【００２８】
表示画像生成期間が終了すると、被写体選択期間（ステップＳ３）が開始される。撮影者が被写体選択期間にシャッターボタンＳＴを半分押すことにより、信号処理装置ＣＰＵは、被写体の特定部分（例えば、表示装置ＤＤの中央に表示された被写体の部分）に最適化した合焦動作および露光量（露出量）の調整を行う。被写体選択期間中にシャッターボタンＳＴが押されない場合、信号処理装置ＣＰＵは、自動的に被写体の特定部分（例えば、最も近くにある被写体の部分）に最適化した合焦動作および露光量の調整を行う。
【００２９】
被写体選択期間が終了すると、露光量調整期間（ステップＳ４）が開始される。露光量調整期間中、信号処理装置ＣＰＵは、画素出力Ｖｏｕｔを用いて被写体の明るさを計算し、この計算結果を、撮像素子ＩＭＧの露光量の制御のために用いる。露光量変更の指示は、信号処理装置ＣＰＵがコマンドＣＭＤを撮像素子ＩＭＧに出力することにより行われる。
【００３０】
露光量調整期間が終了すると、ＡＦ期間（ステップＳ５）が開始される。ＡＦ期間中、測距演算部ＡＦＵは、画素出力Ｖｏｕｔを用いて、被写体までの距離に応じた撮影レンズＯＬの焦点ずれ量を計算する。ＡＦ期間における光学系の状態と焦点ずれ量の計算方法については後で詳細に説明する。
【００３１】
ＡＦ期間が終了すると、レンズ駆動期間（ステップＳ６）が開始される。レンズ駆動期間中、信号処理装置ＣＰＵは、ＡＦ期間中に計算した焦点ずれ量に基づく信号を光学系駆動部ＯＤに出力する。光学系駆動部ＯＤは、入力された信号に基づいて、撮影レンズＯＬを合焦する位置に移動させる。 
【００３２】
レンズ駆動期間が終了すると、判定期間（ステップＳ７）が開始される。判定期間においてシャッターボタンＳＴが完全に押されると、撮影期間（ステップＳ８）が開始される。判定期間中にシャッターボタンＳＴが半分押された状態が解除されると、シーケンスは表示画像生成期間（ステップＳ２）に戻る。
【００３３】
判定期間（ステップＳ７）が終了すると、撮影期間（ステップＳ８）が開始される。撮影期間において、撮像装置ＣＡＭは撮影を行う。撮影を行うため、撮像素子ＩＭＧに蓄積された電荷はリセットされ、所定の時間だけ露光したことにより得られる画素出力Ｖｏｕｔが信号処理装置ＣＰＵ内の画像生成部ＰＧＵで処理され、記録装置ＭＥＭに保存される。画像生成部ＰＧＵにおける画像処理動作については後で詳細に説明する。
【００３４】
撮影期間が終了すると、第２判定期間（ステップＳ９）が開始される。第２判定期間において撮影者が設定ボタンＳＢを用いて撮影終了を選択することにより、撮影モードは終了する。設定ボタンＳＢを用いて撮影終了が選択されない場合、シーケンスは表示画像生成期間（ステップＳ２）に戻る。設定ボタンＳＢを用いて撮影終了が選択され、撮像装置ＣＡＭ内部を構成する各ブロックの終了動作が完了すると、撮影モードは終了する（ステップＳ１０）。
【００３５】
＜撮像素子ＩＭＧの構成＞
第１の実施形態による撮像素子ＩＭＧについて説明する。撮像素子ＩＭＧは、図３〜図５に示す撮像用画素ＳＰと測距用画素ＡＰとが撮像素子面内に所定の周期で配列されることにより構成される。以下では、撮像用画素ＳＰ、測距用画素ＡＰの順に構成を説明する。
【００３６】
先ず、図３を用いて撮像用画素ＳＰの断面構造について説明する。図３は撮像用画素ＳＰの断面図である。撮像用画素ＳＰは、第１のマイクロレンズＭＬ１と、第１のカラーフィルタＣＦ１と、透明平坦化層ＴＦＬと、Ｘ−Ｙ平面上に正方形状の開口部ＯＰを有する遮光層ＬＣＬと、被写体光を受光して当該被写体光の強度に応じた電気信号を生成する撮像受光素子ＰＤと、半導体基板ＳＳとで構成されている。
【００３７】
第１のマイクロレンズＭＬ１は所定の曲率および焦点距離を有しており、撮影レンズＯＬを通過した被写体光（被写体像の光束）を集光して、第１のカラーフィルタＣＦ１、透明平坦化層ＴＦＬ、撮像受光素子ＰＤに被写体光を導く働きをする。第１のカラーフィルタＣＦ１は第１のマイクロレンズＭＬ１の下層に設けられ、所定の分光透過特性を有しており、特定の波長領域の光を透過させる働きをする。本実施形態において、第１のカラーフィルタＣＦ１は、Ｒ、Ｇ、Ｂの何れかに相当する波長領域の光を透過させる働きをする。
【００３８】
第１のカラーフィルタＣＦ１を透過した光は、全波長領域の可視光を透過させる働きをする透明平坦化層ＴＦＬを経由して、撮像受光素子ＰＤに導かれる。撮像受光素子ＰＤは、ｐ型半導体の特性を有する半導体基板ＳＳ上に形成されるｎ型半導体拡散層であり、これらの特性の異なる半導体の接合面は、受光された光を電気信号に変換するフォトダイオードとして動作する。なお、撮像受光素子ＰＤのうち、光が入射する受光面以外の部分は遮光層ＬＣＬにより覆われている。遮光層ＬＣＬは、正方形状の開口部ＯＰが設けられており、開口部ＯＰ以外の部分に照射された光を遮る働きをする。なお、開口部ＯＰの中心は第１のマイクロレンズＭＬ１の中心ＣＰ１と重なるように配置されている。開口部ＯＰを通過した光が撮像受光素子ＰＤによって受光される。
【００３９】
以下、図４を用いて、測距用画素ＡＰの断面構造について説明する。図４は測距用画素ＡＰの断面図である。測距用画素ＡＰは、第２のマイクロレンズＭＬ２と、第２のカラーフィルタＣＦ２と、透明平坦化層ＴＦＬと、Ｘ−Ｙ平面上に形成された、Ｙ軸方向を長辺とし、Ｘ軸方向を短辺とする矩形状の開口部ＯＰａ、および、Ｘ−Ｙ平面上に形成された、Ｙ軸方向を長辺とし、Ｘ軸方向を短辺とする矩形状の開口部ＯＰｂを有する遮光層ＬＣＬと、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂで構成される測距受光素子対ＡＦＰＤＰと、半導体基板ＳＳとで構成されている。
【００４０】
第２のマイクロレンズＭＬ２は所定の曲率および焦点距離を有しており、撮影レンズＯＬを通過した被写体光を集光して、第２のカラーフィルタＣＦ２、透明平坦化層ＴＦＬ、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂに導く働きをする。第２のカラーフィルタＣＦ２は第２のマイクロレンズＭＬ２の下層に設けられており、可視光を構成する全波長領域にわたって所定の値以上の透過率を有する分光透過特性を持つ。したがって、第２のカラーフィルタＣＦ２を透明（Ｔ）カラーフィルタ若しくは白色光透過フィルタとみなすことができる。以下では、透明カラーフィルタをＴカラーフィルタと記載する。
【００４１】
第２のカラーフィルタＣＦ２を透過した光は、全波長領域の可視光を透過させる働きをする透明平坦化層ＴＦＬを経由して、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂに導かれる。第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂは、ｐ型半導体の特性を有する半導体基板ＳＳ上に形成されるｎ型半導体拡散層であり、これらの特性の異なる半導体の接合面は、受光された光を電気信号に変換するフォトダイオードとして動作する。なお、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂのうち、光が入射する受光面以外の部分は遮光層ＬＣＬにより覆われている。遮光層ＬＣＬは、開口部ＯＰａおよび開口部ＯＰｂ以外の部分に照射された光を遮る働きをする。また、開口部ＯＰａおよび開口部ＯＰｂは、第２のマイクロレンズＭＬ２の中心ＣＰ２を基準にして左方向（−Ｘ方向）と右方向（＋Ｘ方向）に偏って配置されている。開口部ＯＰａおよび開口部ＯＰｂを通過して瞳分割された光が第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂによって受光される。
【００４２】
以下、図５を用いて、撮像素子ＩＭＧを構成する画素の配列について説明する。図５は、撮像素子ＩＭＧの撮像素子面上の画素配列を示している。図５に示されるように、撮像素子ＩＭＧは、Ｘ−Ｙ平面において、撮像用画素ユニットＳＰＵと、測距用画素ユニットＡＰＵとが所定の周期で配置された構造を有する。
【００４３】
各撮像用画素ユニットＳＰＵは、複数の撮像用画素ＳＰで構成されている。本実施形態では、撮像用画素ＳＰのうち、撮像受光素子ＰＤ上に第１のカラーフィルタＣＦ１として赤（Ｒ) カラーフィルタを有するものを赤色撮像用画素ＲＰ、撮像受光素子ＰＤ上に第１のカラーフィルタＣＦ１として青（Ｂ）カラーフィルタを有するものを青色撮像用画素ＢＰと呼んでいる。本実施形態における撮像用画素ユニットＳＰＵは、フォトダイオード上に緑（Ｇ）カラーフィルタを有する撮像用画素ＳＰを２つ有するため、夫々を緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２と呼び、区別している。また、これらの画素からなる配列は、図５に記載の通り、所謂ベイヤー配列を構成している。
【００４４】
また、各測距用画素ユニットＡＰＵは、複数の撮像用画素ＳＰと１つの測距用画素ＡＰとで構成されている。本実施形態の測距用画素ユニットＡＰＵでは、１つの赤色撮像用画素ＲＰ、青色撮像用画素ＢＰ、緑色撮像用画素ＧＰ１が設けられるとともに、１つの測距用画素ＡＰが設けられている。測距用画素ユニットＡＰＵは、ベイヤー配列における４つの撮像用画素ＳＰからなる単位配列のうちの１つの緑色撮像用画素を測距用画素ＡＰに置き換えたものである。なお、測距用画素ＡＰにおけるカラーフィルタＣＦ２は、可視光に対する透明（Ｔ）カラーフィルタとみなすことができるため、図中にＴの記号を記載している。
【００４５】
Ｙ軸方向にエッジ（コントラスト）を有する被写体までの距離を求めるため、測距用画素ユニットＡＰＵはＸ軸方向に周期的に配列されており、測距用画素ユニットＡＰＵによるＡＦユニットラインＬＡを形成している。前述した測距受光素子対を構成する第１測距受光素子と第２測距受光素子の対（例えばａ１とｂ１、ａ２とｂ２、ａ３とｂ３）もＸ軸方向に配列されており、この第１測距受光素子と第２測距受光素子の対を有する測距用画素ＡＰがＸ軸方向に周期的に配列されている。
【００４６】
撮像素子ＩＭＧの撮像素子平面の端部に配置されている測距用画素ＡＰを除いて、各測距用画素ＡＰは、周囲を撮像用画素ＳＰで囲まれている。より具体的には、各測距用画素ＡＰは、Ｘ軸方向には２つの青色撮像用画素ＢＰに隣接するとともに、Ｙ軸方向には２つの赤色撮像用画素ＲＰに隣接している。また、各測距用画素ＡＰの紙面左上方、紙面右上方、紙面左下方、紙面右下方に４つの緑色撮像用画素ＧＰ１が配置されている。さらに、各測距用画素ＡＰは、互いに隣接しないように配置されており、測距用画素ＡＰ同士の間には１以上の撮像用画素ＳＰが配置されている。
【００４７】
測距用画素ユニットＡＰＵが配置されない行には撮像用画素ユニットＳＰＵがＸ軸方向に配置されており、撮像用画素ユニットＡＰＵによる撮像ユニットラインＬＳを形成している。なお、本実施形態において、ＡＦユニットラインＬＡと撮像ユニットラインＬＳは、Ｙ軸方向に交互に配置されている。また、図５に記載の補正領域ＭＡについては後で詳細な説明を行うため、ここでは説明を省略する。
【００４８】
＜瞳分割位相差ＡＦを用いた測距動作＞
以下、瞳分割位相差ＡＦを用いた測距動作について説明を行う。最初に図６を用いて、測距用画素ＡＰに入射する光線について説明する。図６は、測距用画素に入射する光線の様子を示している。図６に記載されている撮影レンズＯＬ、第２のマイクロレンズＭＬ２、第２のカラーフィルタＣＦ２、第１測距受光素子ＰＤａ、第２測距受光素子ＰＤｂ、遮光層ＬＣＬの配置およびその働きは前述した通りであり、説明を省略する。
【００４９】
図６に記載された測距用画素ＡＰにおいて、射出瞳の左（紙面下）側部分Ｑａからの光束Ｔａが第２のマイクロレンズＭＬ２、第２のカラーフィルタＣＦ２、遮光層ＬＣＬの開口部ＯＰａを通過して第１測距受光素子ＰＤａで受光される。また、射出瞳の右（紙面上）側部分Ｑｂからの光束Ｔｂが第２のマイクロレンズＭＬ２、第２のカラーフィルタＣＦ２、遮光層ＬＣＬの開口部ＯＰｂを通過して第２測距受光素子ＰＤｂで受光される。
【００５０】
以下、１本のＡＦユニットラインＬＡ（図５参照）において、Ｘ方向に配置された第１測距受光素子ａ１〜ａ３を含む画素配列からの出力を「ａ系列の画素出力」と呼び、第２測距受光素子ｂ１〜ｂ３を含む画素配列からの出力を「ｂ系列の画素出力」と呼び、これらのａ系列の画素出力とｂ系列の画素出力との関係について図７を用いて説明する。図７は、ＡＦユニットラインＬＡからの画素出力を示している。
【００５１】
ＡＦユニットラインＬＡでは、射出瞳の両側からの各光束Ｔａ、Ｔｂ（図６参照）が第１測距受光素子ａ１〜ａ３および第２測距受光素子ｂ１〜ｂ３で受光される。ここで、「ａ系列の画素出力」は図７のグラフＧａ（実線で図示）のように表される。一方、「ｂ系列の画素出力」は図７のグラフＧｂ（破線で図示）のように表される。図７に表されたグラフＧａとグラフＧｂとを比較すると、「ａ系列の画素出力」と「ｂ系列の画素出力」では、Ｘ方向（測距用画素ＡＰの配列方向）にずれ量（シフト量）Ｓｆだけ位相差が生じていることが分かる。
【００５２】
以下、画素出力のシフト量Ｓｆとデフォーカス量Ｄｆとの関係について図８を用いて説明する。図８は、画素出力のシフト量Ｓｆとデフォーカス量Ｄｆとの関係を示している。
【００５３】
図８に記載の通り、画素出力のシフト量Ｓｆと、撮像素子ＩＭＧの撮像素子面に対して焦点面がデフォーカスしている量（デフォーカス量）Ｄｆとの関係は１次関数のグラフＧｃで表される。よって、図１に記載された測距演算部ＡＦＵは、「ａ系列の画素出力」および「ｂ系列の画素出力」に基づき（図７参照）上記のシフト量Ｓｆを求めた後に、図８のグラフＧｃに基づきデフォーカス量Ｄｆを算出し、算出されたデフォーカス量Ｄｆに相当する駆動量に関する信号を、図１に記載された光学系駆動部ＯＤに与える。光学系駆動部ＯＤは、測距演算部ＡＦＵから受け取った駆動量に関する信号に基づき、撮影レンズＯＬを所定の値だけ駆動することにより、撮影レンズＯＬを合焦位置に移動させる。 このようにして、撮像装置ＣＡＭでは、撮像素子ＩＭＧの受光面に組み込まれた測距用画素ＡＰからの出力信号を用いた瞳分割位相差ＡＦが実現されている。
【００５４】
＜カラーフィルタの分光特性＞   
次に、撮像用画素ＳＰおよび測距用画素ＡＰが備える各カラーフィルタの分光特性（分光透過特性）について、図９を用いて説明する。図９は各カラーフィルタの分光特性を示している。
【００５５】
図９において、分光特性Ｔｒは第２のカラーフィルタＣＦ２の分光特性（Ｔカラーフィルタの分光特性）を示している。分光特性Ｒｄは、第１のカラーフィルタＣＦ１として、赤色撮像用画素ＲＰのフォトダイオード上に設けられたＲカラーフィルタの分光特性を示している。分光特性Ｇｒは、緑色撮像用画素ＧＰ１および緑色撮像用画素ＧＰ２のフォトダイオード上に設けられたＧカラーフィルタの分光特性を示している。分光特性Ｂｌは、青色撮像用画素ＢＰのフォトダイオード上に設けられたＢカラーフィルタの分光特性を示している。
【００５６】
Ｔカラーフィルタの分光特性Ｔｒは、Ｒカラーフィルタの分光特性Ｒｄによる成分と、Ｇカラーフィルタの分光特性Ｇｒによる成分と、Ｂカラーフィルタの分光特性Ｂｌによる成分とを含む全ての可視光成分を透過させる働きを持つ。更に、全波長領域における分光透過率が、Ｒカラーフィルタの分光特性Ｒｄ、Ｇカラーフィルタの分光特性Ｇｒ、Ｂカラーフィルタの分光特性Ｂｌのいずれの分光特性が示す分光透過率よりも大きくなっている。
【００５７】
また、Ｒカラーフィルタの分光特性Ｒｄは、赤色光の波長領域の波長である650nm付近に透過率のピークを有し、白色光が入射した場合における透過光の積分値は、Ｔカラーフィルタからの透過光の積分値の約１/３である。同様に、Ｇカラーフィルタの分光特性Ｇｒは、緑色光の波長領域の波長である550nm付近に透過率のピークを有し、白色光が入射した場合における透過光の積分値は、Ｔカラーフィルタからの透過光の積分値の約１/３である。同様に、Ｂカラーフィルタの分光特性Ｂｒは、青色光の波長領域の波長である450nm付近に透過率のピークを有し、白色光が入射した場合における透過光の積分値は、Ｔカラーフィルタからの透過光の積分値の約１/３である。
【００５８】
以上の説明から、Ｔカラーフィルタが設けられた画素と、Ｒカラーフィルタが設けられた画素と、Ｂカラーフィルタが設けられた画素とが近接して配置されている場合、Ｔカラーフィルタが設けられた画素の出力から、Ｒカラーフィルタが設けられた画素の出力とＢカラーフィルタが設けられた画素の出力とを引くことにより、Ｔカラーフィルタが設けられた画素における緑色（Ｇ）成分の強度を推定できることがわかる。この原理を用いた測距用画素の補間の方法を以下に示す。
【００５９】
＜画素補間および撮像画像の生成方法＞
以下、図１に記載の画像生成部ＰＧＵで行われる測距用画素ＡＰの画素補間および撮像画像の生成方法について、図１０を用いて説明する。図１０は、図５に記載された補正領域ＭＡの画素配置を示している。補正領域ＭＡは、撮像用画素ユニットＳＰU内の画素と測距用画素ユニットＡＰＵ内の画素とで構成されている。
【００６０】
測距用画素ＡＰｘの紙面上方には赤色撮像用画素ＲＰｕが配置され、紙面下方には赤色撮像用画素ＲＰｄが配置され、紙面左方には青色撮像用画素ＢＰｌが配置され、紙面右方には青色撮像用画素ＢＰｒが配置され、紙面左上方には緑色撮像用画素ＧＰｕｌが配置され、紙面右上方には緑色撮像用画素ＧＰｕｒが配置され、紙面左下方には緑色撮像用画素ＧＰｄｌが配置され、紙面右下方には緑色撮像用画素ＧＰｄｒが配置されている。
【００６１】
画像生成部ＰＧＵの補正部ＡＤＤは、撮像素子ＩＭＧから画素出力Ｖｏｕｔを読み出した後、補正領域ＭＡにおいて、以下の（１）式による演算を行い、測距用画素ＡＰｘにおける緑色の成分VG_APxを推定する。
VG_APx = α×V_APx - {β(V_RPu + V_ RPd)/2 + γ(V_BPl + V_ RPr)/2}  （１）
【００６２】
ただし、V_APxは、測距用画素ＡＰｘを構成する２つの測距受光素子（第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂ）の出力の和を表し、V_RPuは赤色撮像用画素ＲＰｕからの出力を表し、V_RPdは赤色撮像用画素ＲＰｄからの出力を表し、V_BPlは青色撮像用画素ＢＰｌからの出力を表し、V_BPrは青色撮像用画素ＢＰｒからの出力を表す。α、β、γは各画素出力を補正するための係数である。
【００６３】
このようにして、補正部ＡＤＤは、測距用画素ＡＰｘを緑色撮像用画素で置き換えた場合の画素出力を、各画素出力を用いて補間する。また、画像生成部ＰＤＵは、このようにして求められた測距用画素ＡＰｘにおける緑色の推定成分VG_APxを緑色撮像用画素の出力（撮像用信号）とみなして、測距用画素ＡＰｘ以外の撮像用画素ＳＰから得られた画素出力（撮像用信号）と共に用いて、最終的な撮像画像（写真）を生成する（第１の補間方法）。
【００６４】
一般的なデジタルカメラにおいて、写真のピクセル情報は、１つの青色画素、１つの赤色画素、２つの緑色画素とで構成されるベイヤー配列を１組として生成される。上述した方法により、高い精度で、測距用画素ＡＰｘにおける緑色の成分を補間できるため、撮像素子ＩＭＧは、瞳分割位相差ＡＦ用の画素を有するにもかかわらず、高画質な撮像画像（写真）を得ることができる。
【００６５】
また、上述した第１の補間方法以外に、緑色撮像用画素ＧＰｕｌ、緑色撮像用画素ＧＰｕｒ、緑色撮像用画素ＧＰｄｌ、緑色撮像用画素ＧＰｄｒからの出力の平均値を測距用画素ＡＰｘにおける緑色の推定成分VG_APxとみなす方法もあり、この方法でも高画質な撮像画像（写真）を得ることができる（第２の補間方法）。
【００６６】
また、上述した２つの補間方法を組み合わせて測距用画素ＡＰｘにおける緑色の推定成分ＶＧ＿ＡＰｘ）を推定することにより、より高精細な撮像画像（写真）を得ることができる。
【００６７】
＜ダイナミックレンジの拡大について＞
以下、撮像素子ＩＭＧを用いた撮影によるダイナミックレンジ（撮影可能な被写体の明るさの範囲）の拡大効果について説明する。本実施形態において、撮像用画素ＳＰの開口部ＯＰの面積を１とした場合、第１測距受光素子ＰＤａにおける開口部ＯＰａの面積が１/３となり、第２測距受光素子ＰＤｂにおける開口部ＯＰｂの面積も１/３となるように設計されている。したがって、測距用画素ＡＰを構成する第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂからの出力を加算して１つの画素出力として扱う場合、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂの組を、開口部面積が２/３の受光素子とみなすことができる。
【００６８】
図９を用いて説明した通り、Ｔカラーフィルタにおける分光透過率の積分値を１とした場合、Ｒカラーフィルタ、Ｇカラーフィルタ、Ｂカラーフィルタにおける分光透過率の積分値は夫々約１/３である。このことから、測距用画素ＡＰを構成する第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂからの出力を加算して１つの画素出力（以下、測距用画素ＡＰの加算出力と呼ぶ）として扱う際の画素感度と、撮像用画素ＳＰの画素感度との比は、１×２/３：１/３×１＝２：１となる。
【００６９】
図１１は、以上の説明で示した画素感度の関係を示している。図１１において、測距用画素ＡＰの加算出力（図中のＴで示す）の傾きが、赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１（緑色撮像用画素ＧＰ２）、青色撮像用画素ＢＰからの画素出力（図中のＲ，Ｇ，Ｂで示す）の傾きの２倍となっている。
【００７０】
このような感度を有する受光素子を用いて撮影を行った際に、図１に記載の画像生成部ＰＧＵおよび補正部ＡＤＤが行う画像生成について、図１１を用いて説明する。撮像素子ＩＭＧで太陽光などに照らされた明るい被写体を撮影した場合、測距用画素ＡＰを構成する第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂの信号電荷量が飽和するために、測距用画素ＡＰの加算出力がクリップすることがある（図１１の明るさ２での撮影に相当）。
【００７１】
また、月明かりなどに照らされた暗い被写体を撮影した場合、雑音レベルＶＮに対する赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、青色撮像用画素ＢＰからの画素出力の大きさが十分でないために、Ｓ/Ｎの低い撮像画像しか得られないという現象が発生することがある（図１１の明るさ１での撮影に相当）。
【００７２】
本実施形態では、図１に記載の撮像素子ＩＭＧから取得された画素出力Ｖｏｕｔが画像生成部ＰＧＵ内のメモリに展開される。画像生成部ＰＧＵ内の補正部ＡＤＤは、前述した（１）式による演算を行い、測距用画素ＡＰｘにおける緑色の成分VG_APxを推定した後、以下の処理を行う。
【００７３】
補正部ＡＤＤは、画像生成部ＰＧＵ内のメモリに展開された画素出力Ｖｏｕｔを逐次読み込み、逐次、閾値電圧ＶＴＨと比較する。測距用画素ＡＰの加算出力のレベルが閾値電圧ＶＴＨ以下である場合、補正部ＡＤＤは、測距用画素ユニットＡＰＵおよび撮像用画素ユニットＳＰＵ内の赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰの夫々の画素出力と、測距用画素ＡＰにおける緑色の推定成分と、測距用画素ＡＰの加算出力とを用いて撮影画像のピクセル信号の生成を行う（第１の画像生成モード）。
【００７４】
第１の画像生成モードにおいて、補正部ＡＤＤは、例えば、測距用画素ユニットＡＰＵおよび撮像用画素ユニットＳＰＵ内の赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰの夫々の画素出力と、測距用画素ＡＰにおける緑色の推定成分とに対して、測距用画素ＡＰの加算出力に応じて、出力レベルを増加させる補正を行う。第１の画像生成モードにおいて、感度の高い測距用画素ＡＰからの画素出力を用いることにより、低輝度被写体の撮像時における信号Ｓ/Ｎを高めることができる。したがって、撮影可能な被写体の明るさの範囲（ダイナミックレンジ）を拡大することができる。なお、閾値電圧ＶＴＨはＴ画素の飽和信号量付近に設定されていることが望ましい。
【００７５】
一方、測距用画素ＡＰの加算出力のレベルが閾値電圧ＶＴＨ以上（飽和）である場合、補正部ＡＤＤは、測距用画素ＡＰの加算出力を使用せず、測距用画素ユニットＡＰＵおよび撮像用画素ユニットＳＰＵ内の赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰの夫々の画素出力と、測距用画素ＡＰにおける緑色の推定成分とを用いて撮影画像のピクセル信号の生成を行う（第２の画像生成モード）。
【００７６】
第２の画像生成モードにおいて、感度の低い赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、緑色撮像用画素ＧＰ２、青色撮像用画素ＢＰからの画素出力、およびこれらの画素出力から推定される測距用画素ＡＰにおける緑色の推定成分のみを用いることにより、画素信号の飽和を抑えることができる。
【００７７】
実際に明暗の輝度差が大きな被写体を撮影する場合において、補正部ＡＤＤは、自動的に第１の画像生成モードまたは第２の画像生成モードを選択し、ピクセル信号を生成する。画像生成部ＰＧＵは、補正部ＡＤＤの生成したピクセル信号に基づき、必要な画像処理を行い、最終的なカラー映像を出力する。
【００７８】
上述したように、第１の実施形態の撮像素子ＩＭＧによれば、測距用画素ＡＰｘの周囲を囲む撮像用画素として配置されている、赤色撮像用画素ＲＰｕ、赤色撮像用画素ＲＰｄ、青色撮像用画素ＢＰｌ、青色撮像用画素ＢＰｒの組、若しくは緑色撮像用画素ＧＰｕｌ、緑色撮像用画素ＧＰｕｒ、緑色撮像用画素ＧＰｄｌ、緑色撮像用画素ＧＰｄｒの組から得られる撮像信号を用いて、測距用画素ＡＰｘの補間信号を高い精度で生成することが可能となる。このため、撮像素子ＩＭＧ中に配置された瞳分割位相差ＡＦ用の測距用画素ＡＰｘにおいて生じる画質の劣化を抑制し、高画質な撮影画像を得ることができる。
【００７９】
本実施形態において、撮像素子ＩＭＧに設けられたカラーフィルタが赤、緑、青の原色フィルタである場合について説明を行ったが、これらのカラーフィルタが、赤の補色であるシアン、緑の補色であるマゼンタ、青の補色である黄色からなる補色フィルタで構成されていても同様の効果を得ることができる。
【００８０】
また、第１の実施形態の撮像素子ＩＭＧによれば、分光透過率の積分結果が異なるカラーフィルタを通して受光された２種類の感度の異なる画素情報に基づいて画像生成を行うことが可能となる。このため、高いダイナミックレンジで画像を撮影することができる。
【００８１】
例えば、上記のように、赤色撮像用画素ＲＰ、緑色撮像用画素ＧＰ１、青色撮像用画素ＢＰに対して測距用画素ＡＰが２倍の感度を有する場合には、ダイナミックレンジを約２倍に拡大することができる。なお、本実施形態では、第１測距受光素子ＰＤａおよび第２測距受光素子ＰＤｂで構成される測距受光素子対ＡＦＰＤＰの受光部の面積が、撮像受光素子ＰＤの受光部の面積の２/３倍である場合の説明を行ったが、測距受光素子対ＡＦＰＤＰの受光部の面積が撮像受光素子ＰＤの受光部の面積の１/３倍よりも大きく１倍よりも小さければ、ダイナミックレンジ拡大の効果を得ることができる。
【００８２】
また、第１の実施形態の撮像素子ＩＭＧを撮像装置ＣＡＭに搭載することにより、測距用画素を用いた瞳分割位相差ＡＦによる高速な合焦動作を実現するとともに、精度の高い補間信号による高い解像度を有する撮像画像を得ることができる。さらに、第１の実施形態の撮像素子ＩＭＧを撮像装置ＣＡＭに搭載することにより、精度の高い補間信号による高い解像度を有する撮像画像と、高いダイナミックレンジを有する撮像画像との両方を得ることができる。
【００８３】
（第２の実施形態）
次に、本発明の第２の実施形態について、図１２を用いて説明する。図１２は、第２の実施形態による撮像素子ＩＭＧの撮像素子面上の画素配列を示している。第２の実施形態による撮像素子ＩＭＧは、第１の実施形態による撮像素子ＩＭＧを構成する撮像用画素ユニットＳＰＵに含まれる緑色撮像用画素ＧＰ１と緑色撮像用画素ＧＰ２のうち、緑色撮像用画素ＧＰ２を高感度撮像用画素ＴＰで置き換えた点のみが異なる。
【００８４】
高感度撮像用画素ＴＰにはＴカラーフィルタが用いられており、開口部の形状は正方形であり、その開口面積は、開口部ＯＰａと開口部ＯＰｂの和と略同一になるように設定されている。このようにすれば、撮像用画素ユニットＳＰＵおよび測距用画素ユニットＡＰＵを構成する画素に設けられたカラーフィルタの種類がＲ、Ｇ、Ｂ、Ｔに統一される。また、高感度撮像用画素ＴＰの画素出力における感度と、測距用画素ＡＰの加算出力における感度は、カラーフィルタの分光特性と開口部面積が同じために略同一となる。
【００８５】
このような撮像素子ＩＭＧを搭載した撮像装置ＣＡＭを構成する画像生成部ＰＧＵにおいて、撮像用画素ユニットＳＰＵを構成する画素からの出力を用いたピクセル情報の生成処理と、測距用画素ユニットＡＰＵを構成する画素からの出力を用いたピクセル情報の生成処理とを共通化することができる。これは、撮像装置ＣＡＭを構成する画像生成部ＰＧＵの補間信号生成および画像生成の演算アルゴリズムの共通化につながり、画像生成部ＰＧＵの回路規模を小さくする効果がある。
【００８６】
上述したように、第２の実施形態の撮像素子ＩＭＧによれば、撮像用画素ユニットＳＰＵと測距用画素ユニットＡＰＵを構成する画素に設けられたカラーフィルタの種類と、各カラーフィルタに対応した画素の感度を統一することが可能となる。このため、撮像用画素ユニットＳＰＵと測距用画素ユニットＡＰＵに対する補間信号生成および画像生成の演算アルゴリズムを共通化することができる。即ち、瞳分割位相差ＡＦによる焦点検出素子としても兼用できるように構成された、高い解像度を有する撮像素子でありながら、補間信号および画像生成の容易な撮像素子を供給することができる。したがって、本撮像素子を搭載した撮像装置において、補間信号生成および画像生成を行う画像生成部の回路規模を削減する効果がある。
【００８７】
（変形例）
次に、上述した各実施形態の変形例を説明する。以上の説明では、撮像用画素ユニットＳＰＵとおよび測距用画素ユニットＡＰＵがＸ方向に配列されている場合についての説明を行ったが、図１３に示す通り、撮像用画素ユニットＳＰＵおよび測距用画素ユニットＡＰＵがＹ方向に配列されていても良い。この場合、この撮像素子ＩＭＧは、Ｘ方向にエッジ（コントラスト）を有する被写体に対する測距を行うことができる。
【００８８】
また、図１４に示す通り、Ｘ方向に配列された測距用画素ユニットＡＰＵｘとＹ方向に配列された測距用画素ユニットＡＰＵｙとが組み合わされて配置されていても良い。図１４では、Ｘ方向に配列された測距用画素ユニットＡＰＵｘでＡＦユニットラインＬＡｘが構成され、Ｙ方向に配列された測距用画素ユニットＡＰＵｙでＡＦユニットラインＬＡｙが構成されている。このような撮像素子ＩＭＧを用いれば、Ｘ方向、Ｙ方向両方にエッジ（コントラスト）を有する被写体に対する測距を行うことができる。
【００８９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００９０】
ＣＡＭ・・・撮像装置、ＭＯ・・・撮像光学系、ＣＰＵ・・・信号処理装置、ＯＤ・・・光学系駆動部、ＳＢ・・・設定ボタン、ＳＴ・・・シャッターボタン、ＤＤ・・・表示装置、ＡＦＵ・・・測距演算部、ＰＧＵ・・・画像生成部、ＭＥＭ・・・記録装置、ＯＬ・・・撮影レンズ、ＩＭＧ・・・撮像素子、ＡＤＤ・・・補正部
【図１】
0005744556.tif 000002
【図２】
0005744556.tif 000003
【図３】
0005744556.tif 000004
【図４】
0005744556.tif 000005
【図５】
0005744556.tif 000006
【図６】
0005744556.tif 000007
【図７】
0005744556.tif 000008
【図８】
0005744556.tif 000009
【図９】
0005744556.tif 000010
【図１０】
0005744556.tif 000011
【図１１】
0005744556.tif 000012
【図１２】
0005744556.tif 000013
【図１３】
0005744556.tif 000014
【図１４】
0005744556.tif 000015
【図１５】
0005744556.tif 000016