(57)【要約】【課題】受光感度の低下を抑制して、複数の視差画像を取得する撮像素子。【解決手段】撮像素子は、結像光学系で形成された被写体の光学像を光電変換する光電変換手段をそれぞれが有する複数の画素を、所定数の画素の配列を単位として配列した画素配列と、各画素の光電変換手段の受光面側に配設され、結像光学系の瞳領域を瞳分割する瞳分割手段と、各画素の瞳分割手段と光電変換手段との間に配設され、光電変換手段の受光面の所定の領域を遮光する遮光部を有する遮光手段とを備え、所定数の画素の配列に含まれる各画素の所定の領域は、瞳分割手段により瞳領域が所定数の瞳分割領域に分割されたときのいずれか一つの瞳分割領域に対応し、受光面における所定の領域の割合は、受光面における遮光部により遮光されない領域の割合より小さい。【選択図】図２
2015184433.tif 000002
【特許請求の範囲】
【請求項１】
結像光学系で形成された被写体の光学像を光電変換する光電変換手段をそれぞれが有する複数の画素を、所定数の前記画素の配列を単位として配列した画素配列と、
各画素の前記光電変換手段の受光面側に配設され、前記結像光学系の瞳領域を瞳分割する瞳分割手段と、
各画素の前記瞳分割手段と前記光電変換手段との間に配設され、前記光電変換手段の受光面の所定の領域を遮光する遮光部を有する遮光手段と、
を備え、
前記所定数の画素の配列に含まれる各画素の前記所定の領域は、前記瞳分割手段により前記瞳領域が前記所定数の瞳分割領域に分割されたときのいずれか一つの瞳分割領域に対応し、前記受光面における前記所定の領域の割合は、前記受光面における前記遮光部により遮光されない領域の割合より小さいことを特徴とする撮像素子。
【請求項２】
各画素は、前記瞳分割手段と前記遮光手段との間にレンズ手段を有し、前記遮光手段と前記受光面との間に導光手段を有し、前記レンズ手段および前記導光手段は、高屈折率材料で構成されていることを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記瞳分割手段はマイクロレンズであることを特徴とする請求項１又は２に記載の撮像素子。
【請求項４】
各画素は、前記瞳分割手段と前記遮光手段との間に、カラーフィルターを有し、前記所定数の画素の配列に含まれる画素が有する前記カラーフィルターは、同じ分光感度を有することを特徴とする請求項１から３のいずれか一項に記載の撮像素子。
【請求項５】
前記所定数の画素の前記所定の領域と前記瞳分割領域との対応は、前記所定数の画素の配列を単位として繰り返されることを特徴とする請求項１から４のいずれか一項に記載の撮像素子。
【請求項６】
請求項１から５のいずれか一項に記載の撮像素子と、
前記撮像素子の各画素から出力された画素信号を処理する画像処理手段と、
前記画像処理手段を制御して、前記所定の領域に対応する瞳分割領域に対応する視差画像の画素信号を生成する制御手段と、
を備え、
前記視差画像の画素信号を生成するための制御は、前記複数の画素から出力される画素信号を、前記画素の所定数の配列ごとに加算して、前記被写体の撮影画像の画素信号を生成する制御、前記所定数の画素の配列ごとに所定の画素から出力された画素信号を取得して原視差画像の画素信号を生成する制御、および前記撮影画像の画素信号から、前記原視差画像の画素信号に所定の係数をかけて差し引くことにより視差画像の画素信号を生成する制御を含むことを特徴とする撮像装置。
【請求項７】
結像光学系で形成された被写体の光学像を光電変換する光電変換手段をそれぞれが有する複数の画素を、所定数の前記画素の配列を単位として配列した画素配列と、各画素の前記光電変換手段の受光面側に配設され、前記結像光学系の瞳領域を瞳分割する瞳分割手段と、各画素の前記瞳分割手段と前記光電変換手段との間に配設され、前記光電変換手段の受光面の所定の領域を遮光する遮光部を有する遮光手段とを備え、前記所定数の画素の配列に含まれる各画素の前記所定の領域は、前記瞳分割手段により前記瞳領域が前記所定数の瞳分割領域に分割されたときのいずれか一つの瞳分割領域に対応している撮像素子の各画素から出力された画素信号を処理する画像処理方法において、
前記複数の画素から出力される画素信号を、前記画素の所定数の配列ごとに加算して、前記被写体の撮影画像の画素信号を生成するステップと、
前記所定数の画素の配列ごとに所定の画素から出力された画素信号を取得して原視差画像の画素信号を生成するステップと、
前記撮影画像の画素信号から、前記原視差画像の画素信号に所定の係数をかけて差し引くことにより視差画像の画素信号を生成するステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータに、請求項７に記載の画像処理方法を実行させるためのプログラム。
【請求項９】
コンピュータに、請求項７に記載の画像処理方法を実行させるためのプログラムと記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関し、特に、複数の視差画像信号の取得を可能とする撮像素子およびそれを有する撮像装置に関する。
【背景技術】
【０００２】
従来、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に対応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。
【０００３】
特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に対応した複数の視差画像を生成することができる。特許文献２では、画素内で分割された光電変換部で受光した信号を、全て加算することにより被写体の撮像画像を生成することが開示されている。
【０００４】
撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ  Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１では、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
【０００５】
特許文献３では、各画素のマイクロレンズと光電変換部の受光面との間に開口部を有する遮光層を形成し、受光面の一部を除いた大半（半分以上）の領域を遮光した撮像素子を用いた撮像装置が開示されている。特許文献３では、１組の画素群に含まれる画素毎に、遮光層の開口部を所定のパターンに従って偏心させることで、撮影レンズの射出瞳の異なる瞳部分領域からの光を受光するよう構成された撮像素子が開示されている。これにより、撮影レンズの射出瞳の瞳分割を行い、分割された瞳部分領域に対応じた複数の視差画像を撮影している。このような画素構成は、通常の撮像画素に、配線層を利用して開口部を有する遮光層を形成すれば形成することができ、そのため、単純な構造で複数の視差画像を取得する撮像素子を作製することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許４４１０８０４
【特許文献２】特開２００１−０８３４０７号公報
【特許文献３】特開２００８−２９９１８４号公報
【非特許文献】
【０００７】
【非特許文献１】Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２，１（２００５）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の撮像素子では、各画素の光電変換部の受光面の一部を除いた大半（半分以上）の領域を遮光することにより瞳分割を行うため、撮像素子の受光感度が大幅に低下してしまうという課題がある。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、各画素の光電変換部の受光面に遮光層を形成して瞳分割を行う撮像素子において、受光感度の低下を抑制して複数の視差画像の取得を可能にする撮像素子および撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、撮像素子は、結像光学系で形成された被写体の光学像を光電変換する光電変換手段をそれぞれが有する複数の画素を、所定数の画素の配列を単位として配列した画素配列と、各画素の光電変換手段の受光面側に配設され、結像光学系の瞳領域を瞳分割する瞳分割手段と、各画素の瞳分割手段と光電変換手段との間に配設され、光電変換手段の受光面の所定の領域を遮光する遮光部を有する遮光手段とを備え、所定数の画素の配列に含まれる各画素の所定の領域は、瞳分割手段により瞳領域が所定数の瞳分割領域に分割されたときのいずれか一つの瞳分割領域に対応し、受光面における所定の領域の割合は、受光面における遮光部により遮光されない領域の割合より小さい。
【発明の効果】
【００１１】
本発明によれば、各画素の光電変換部の受光面に遮光層を形成して瞳分割を行う撮像素子において、受光感度の低下を抑制して複数の視差画像の取得を可能とする撮像素子及び撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施例に係わる撮像素子を適用した撮像装置の概略構成図
【図２】本発明の第１の実施例に係わる撮像素子の画素配列の概略平面図
【図３】本発明の第１の実施例に係わる撮像素子の副画素の概略平面図と概略断面図
【図４】本発明の第１の実施例に係わる単位画素を構成する副画素の概略平面図
【図５】従来技術に係わる単位画素を構成する副画素の概略平面図
【図６】本発明の第１の実施例に係わる撮像素子の副画素と受光瞳部分領域および非受光瞳部分領域との対応を説明するための図
【図７】本発明の第１の実施例に係わる単位画素を構成する複数の副画素と受光瞳部分領域および非受光瞳部分領域との対応を説明するための図
【図８】本発明の第１の実施例に係わる撮像素子による視差画像信号の取得概念を示す図
【図９】本発明の第１の実施例に係わる撮像素子の副画素の瞳強度分布の例を示す図
【図１０】本発明の第１の実施例に係わる撮像素子の単位画素を構成する副画素の瞳分割の概略平面図
【図１１】本発明の第１の実施例に係わる撮像素子を適用した撮像装置の視差画像生成動作のフローチャートを示す図
【図１２】本発明の第１の実施例の変形例に係わる撮像素子における画素配列の概略平面図
【図１３】本発明の第２の実施例に係わる撮像素子における画素配列の概略平面図
【図１４】本発明の第２の実施例に係わる撮像素子が有する副画素の概略平面図と概略断面図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を添付の図面を参照して詳細に説明する。
【実施例１】
【００１４】
本発明の第１の実施例について、図１から図１０を用いて説明する。
【００１５】
図１は、本実施例に係わる撮像素子を適用した撮像装置としてのカメラの構成を示す図である。なお、撮像装置は、図１に示すようにレンズ一体型の撮像装置でも良いし、被写体の光学像を形成する結像光学系を有するレンズ装置と、レンズ装置が着脱可能に装着される、撮像素子を有する撮像装置本体から構成されても良い。
同図において、１０１は結像光学系の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時における露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１６】
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺部からなる撮像素子であり、後述するように本実施例に従った構成を有する。
【００１７】
１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍動作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１８】
１１５は撮影時の照明手段としての被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段であり、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１９】
１２１はＣＰＵで、カメラの種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス部等を有する。当該ＣＰＵは、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種部を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。
【００２０】
１２２は電子フラッシュ制御部で、撮影動作に同期して照明手段１１５の点灯制御を行う。１２３は補助光駆動部で、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。１２４は撮像素子駆動部で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理部で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２１】
１２６はフォーカス駆動部であり、焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動制御を行って、第３レンズ群１０５を光軸方向に進退駆動し、結果として焦点調節を行なう。１２８は絞りシャッタ駆動部であり、絞りシャッタアクチュエータ１１２の駆動制御を行って絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動部であり、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２２】
１３１はＬＣＤ等の表示器であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
【００２３】
本実施例における撮像素子１０７（２次元ＣＭＯＳセンサー）の単位画素とそれを構成する副画素の画素配列の概略平面図を図２に示す。同図２は、本実施例の撮像素子の単位画素２００の配列を２行×２列の範囲で示している。単位画素２００は、所定数の副画素配列で構成され、図２は、一つの単位画素が３行×３列の副画素２０１〜２０９で構成されている例である。実際の撮像素子では、図２に示す２行×２列の単位画素（６行×６列副画素）を撮像面上に多数配置し、被写体の撮像画像の取得を可能としている。本実施例では、画素周期ΔＸが９μｍ、有効画素数が横４０００列×縦２６６７行＝１０６７万画素（副画素周期Δｘが３μｍ、有効副画素数が横１２０００列×縦８０００行＝９６００万画素）の撮像素子として説明を行う。しかし、撮像素子の具体的な構成規模についてはこれに限るものではない。
【００２４】
図２に示した２行×２列の単位画素群２００は、Ｒ（赤）の分光感度を有する単位画素２００Ｒが図の左上の位置に、Ｇ（緑）の分光感度を有する単位画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する単位画素２００Ｂが右下に配置されている。さらに、各単位画素は、Ｎ１×Ｎ２（３行×３列）の副画素２０１〜２０９の２次元配列で構成されている。
【００２５】
図２に示した撮像素子の１つの単位画素２００Ｇを構成する副画素２０１〜２０９の中の副画素２０５を例に、本実施例に係わる撮像素子の副画素の構成を、図３を用いて説明する。図３（ａ）は、当該副画素の受光面側（＋ｚ側）から見た平面図を示し、図３（ｂ）は、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を示す。なお、副画素２０５以外の副画素２０１〜２０４、２０５〜２０９も、遮光層の遮光部(後述する)の配置パターンが相違する他は、同じである。
【００２６】
図３に示すように、本実施例に係わる撮像素子の副画素２０５は、ｐ型層とｎ型層の間にｎ−イントリンシック層を挟んだｐｉｎ構造の光電変換部（フォトダイオード）３１０を有する。光電変換部３１０の領域は、図３のｎ−イントリンシック層に形成される空乏層とその周辺に少数キャリアの拡散距離だけ拡がった領域であり、概ね、ｎ−イントリンシック層とｎ型層を合わせた領域と重なる。必要に応じて、ｎ−イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。
【００２７】
副画素２０５の受光側には、入射光を集光するためのマイクロレンズ３１１を有し、マイクロレンズ３１１と光電変換部３１０との間に、カラーフィルター３１２を有する。単位画素を単位として同一の分光感度特性のカラーフィルターが副画素に配設されている。なお、必要に応じて、各副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。
【００２８】
さらに、副画素２０５は、マイクロレンズ３１１と光電変換部３１０との間に、光電変換部３１０の受光面の一部を遮光するために、開口部３０５ｂと遮光部３０５ａから構成される遮光層３０５を有する。図３（ａ）に示すように、本実施例では、遮光層３０５を、開口部３０５ｂの面積が遮光部３０５ａの面積より大きく構成する。なお、遮光層３０５は、必要に応じて配線層を兼ねても良く、遮光層と配線層を兼用することで作製プロセスを簡略化することができる。
【００２９】
図３に示した副画素２０５に入射した光は、マイクロレンズ３１１により集光され、カラーフィルター３１２で分光されたのち、遮光層３０５の遮光部３０５ａで一部遮光され、大部分は開口部３０５ｂを通過して光電変換部３１０で受光される。このように、本実施例では、受光面における開口部３０５ｂの割合が遮光部３０５ａの割合より大きいため、副画素の受光感度の低下をより少なく抑えることができる。
【００３０】
光電変換部３１０では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、正電荷のホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。
【００３１】
図４に、図２に示す画素２００Ｇを構成する副画素２０１〜２０９を図３に示す本実施例の構成を有する副画素とした場合の、撮像素子の受光面側（＋ｚ側）から見た平面図を示す。同図において、図２または３と同様の部分には同じ符号を付し、遮光層３０１〜３０９は、副画素２０１〜２０９のそれぞれに形成される遮光層である。図４で、遮光層３０１〜３０９の遮光部３０１ａ〜３０９ａは、光電変換部３１０の受光面を縦方向にＮ１（＝３）分割、横方向にＮ２（＝３）分割のＮ１×Ｎ２（＝９）分割した部分領域の中から、それぞれ、異なる部分領域を遮光するように構成される。遮光部以外の領域は、開口部３０１ｂ〜３０９ｂとして構成される。このように、本実施例では、光電変換素子３１０の受光面における開口部３０１ｂ〜３０９ｂの割合が、遮光部３０１ａ〜３０９ａの割合より大きくなうように遮光層が構成される。
【００３２】
ここで、本実施例との比較のために、図５に、単位画素２００Ｇを構成する副画素を従来の副画素とした場合の、撮像素子の受光面側（＋ｚ側）から見た平面図を示す。従来の例では、副画素に遮光層５３０１〜５３０９が形成されている。遮光層５３０１〜５３０９は、開口部５１０、５２０とそれ以外の領域である遮光部を有する。なお、遮光層５３０１から５３０９の左側の形成されている細長い長方形の開口部５２０は、左右２本の配線を短絡させないためのものである。また、副画素の構成において、遮光層を構成する遮光部のレイアウト以外は、本実施例と同様とする。
【００３３】
図５から明らかなように、従来の例では、遮光層５３０１〜５３０９において、光電変換部の受光面をＮ１×Ｎ２（＝９）分割した場合のそれぞれ異なる部分領域を遮光しないように開口部５１０が形成されている。よって、従来例では、遮光層５３０１〜５３０９は、開口部５１０の面積が遮光部の面積より小さくなる構成であり、副画素の受光感度の低下は免れない。
【００３４】
具体的には、従来の比較例では、光電変換部の受光面に対する遮光部の割案は、概ね、１−１／（Ｎ１×Ｎ２）（＝８／９）であり、これに対し、開口部の割合は１／（Ｎ１×Ｎ２）（＝１／９）と大変小さく、副画素の受光感度が大幅に低下してしまう。
【００３５】
一方、本実施例では、光電変換部の受光面に対する遮光部の割案は、概ね、１／（Ｎ１×Ｎ２）（＝１／９）であり、開口部の割案は１−１／（Ｎ１×Ｎ２）（＝８／９）と大きく、副画素の受光感度の低下を大いに抑制することができる。
【００３６】
次に、図６から図１０を用いて、本実施例に係わる撮像素子における瞳分割手段と視差画像の生成について説明する。
【００３７】
図６は、本実施例の副画素の受光瞳部分領域と非受光瞳部分領域を、図３に示した副画素２０５を例にして説明するための図である。同図において、図３（ａ）に示した副画素２０５のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を示す。なお、図６では、射出瞳面の座標軸との対応を取るため、副画素の断面図のｘ軸とｙ軸を図３に対して反転させている。
【００３８】
撮像装置においては、撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳を通過して、副画素に入射する。
【００３９】
図６において、撮像瞳領域６００は、マイクロレンズにより、光電変換部３１０の受光面と、概ね、共役関係にあり、遮光層３０５がない場合に副画素の光電変換部３１０が受光可能な瞳領域である。撮像瞳領域６００は、結像光学系の射出瞳６４０を通過した光束をより多く受光できるように、受光領域を可能な限り大きくし、また、撮像瞳領域６００の重心が、光軸と概ね一致するように構成されている。
【００４０】
非受光瞳部分領域６０５ａは、マイクロレンズにより、遮光層３０５の遮光部３０５ａと、概ね、共役関係にあり、遮光層３０５による遮光のために副画素２０５が受光しない瞳部分領域である。
【００４１】
一方、受光瞳部分領域６０５ｂは、マイクロレンズにより、遮光層３０５の開口部３０５ｂと、概ね、共役関係にあり、遮光層３０５によって遮光されずに副画素２０５で受光される瞳部分領域である。
【００４２】
射出瞳６４０は、結像光学系の絞り値と副画素の像高に従って変化し、射出瞳６４０と受光瞳部分領域６０５ｂの共通領域が、結像光学系の絞り値に応じた副画素２０５で受光される受光瞳部分領域となる。従って、図４に示す単位画素を構成する複数の副画素での遮光部３０１ａ〜３０９ａは射出瞳６４０の瞳分割領域のいずれか一つに対応し、開口部は残りの複数の瞳分割領域に対応する。図５の従来技術では開口部５１０が瞳分割領域のいずれか一つに対応しているので、開口部で受光した光の光電変換出力で一つの瞳分割領域に対応する視差画像を生成することが可能であった。他方、本実施例では、従来技術の開口部５１０が遮光部３０１ａ〜３０９ａになっているため、副画素の出力から直接視差画像信号を得ることはできない。そこで、本実施例では、後述するように開口部３０１ｂ〜３０９ｂの信号に画像処理を行なって瞳分割領域の一つに対応する視差画像の画素信号を生成する。これにより、副画素の受光感度の低下を大いに抑制して視差画像信号を得ることが可能となる。
【００４３】
図７に、本実施例の単位画素２００Ｇを構成する副画素２０１〜２０９の受光瞳部分領域と非受光瞳部分領域の概略平面図を示す。副画素２０５以外の副画素２０１〜２０４、２０６〜２０９での受光瞳部分領域と非受光瞳部分領域の関係は、図６の副画素２０５と同様の関係である。
【００４４】
図７の非受光瞳部分領域６０１ａ〜６０９ａは、マイクロレンズにより遮光層３０１〜３０９の各遮光部と、それぞれ概ね、共役関係にあり、副画素２０１〜２０９の各々で受光されない瞳部分領域である。非受光瞳部分領域６０１ａ〜６０９ａを全て加算すると撮影瞳領域６００となるように構成されている。
【００４５】
一方、図７の受光瞳部分領域６０１ｂ〜６０９ｂは、マイクロレンズにより、遮光層３０１〜３０９の各開口部と、それぞれ概ね、共役関係にあり、副画素２０１〜２０９の各々で受光される瞳部分領域である。
【００４６】
本実施例では、光電変換部の受光面における遮光部の割合は、概ね、１／（Ｎ１×Ｎ２）（＝１／９）であり、開口部の割合である１−１／（Ｎ１×Ｎ２）（＝８／９）の方が大きい。したがって、受光瞳部分領域６０１ｂ〜６０９ｂは、それぞれ、非受光瞳部分領域６０１ａ〜６０９ａの各々より大きく構成され、受光感度の低下の抑制を達成可能としている。
【００４７】
図７に示すように、本実施例に係わる撮像素子の各単位画素を構成する副画素２０１〜２０９により受光される受光瞳部分領域６０１ｂ〜５０９ｂについては、それぞれ、式（１−１）から式（１−９）の関係が成り立つ。
受光瞳部分領域６０１ｂ＝撮影瞳領域６００−非受光瞳部分領域６０１ａ  式（１−１）
受光瞳部分領域６０２ｂ＝撮影瞳領域６００−非受光瞳部分領域６０２ａ  式（１−２）
受光瞳部分領域６０３ｂ＝撮影瞳領域６００−非受光瞳部分領域６０３ａ  式（１−３）
受光瞳部分領域６０４ｂ＝撮影瞳領域６００−非受光瞳部分領域６０４ａ  式（１−４）
受光瞳部分領域６０５ｂ＝撮影瞳領域６００−非受光瞳部分領域６０５ａ  式（１−５）
受光瞳部分領域６０６ｂ＝撮影瞳領域６００−非受光瞳部分領域６０６ａ  式（１−６）
受光瞳部分領域６０７ｂ＝撮影瞳領域６００−非受光瞳部分領域６０７ａ  式（１−７）
受光瞳部分領域６０８ｂ＝撮影瞳領域６００−非受光瞳部分領域６０８ａ  式（１−８）
受光瞳部分領域６０９ｂ＝撮影瞳領域６００−非受光瞳部分領域６０９ａ  式（１−９）
【００４８】
受光瞳部分領域６０１ｂ〜６０９ｂを全て加算すると、式（１−１）から式（１−９）の関係と、非受光瞳部分領域６０１ａ〜６０９ａを全て加算すると撮影瞳領域６００となることから、式（２）の関係が成り立つ。
受光瞳部分領域６０１ｂ〜６０９ｂの和
＝（Ｎ１×Ｎ２−１）×撮影瞳領域６００      式（２）
【００４９】
したがって、単位画素毎に、副画素２０１〜２０９の信号を全て加算することで、有効画素数の解像度の画像の画素信号を生成することができる。なお、生成した画素信号は、必要に応じて、（Ｎ１×Ｎ２−１）で規格化しても良い。
【００５０】
さらに、図８に示すように、受光瞳部分領域６０１ｂ〜６０９ｂの和から、（Ｎ１×Ｎ２−１）倍の受光瞳部分領域６０５ｂを差し引くと、（Ｎ１×Ｎ２−１）倍の非受光瞳部分領域６０５ａが得られる（６０５ｃ）。これについても、必要に応じて、（Ｎ１×Ｎ２−１）で規格化しても良い。
以上から、瞳分割領域の一つに対応した視差画像の画素信号を、本実施例に係わる撮像素子の出力から得ることができる。
【００５１】
次に、上記視差画像の画素信号の取得を、瞳距度分布との関連から説明する。実際の撮像素子において、瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズの絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、撮像瞳領域６００、非受光瞳部分領域６０１ａ〜６０９ａ、および、受光瞳部分領域６０１ｂ〜６０１ｂは、明瞭な領域とならずに、瞳強度分布（受光率分布）を形成する。
【００５２】
図９に、図８で示した視差画像信号の取得の概念に対応する瞳強度分布の例を示す。図９の横軸は副画素への入射角度で、図８の瞳座標のＸ軸を瞳距離に応じて変換して反転したものに対応している。撮影瞳領域６００に対応する瞳強度分布（図９実線）から、受光瞳部分領域６０５ｂに対応する瞳強度分布（図９一点鎖線）を差し引くことで、非受光瞳部分領域６０５ａに対応する瞳強度分布（図９点線）を得ることができる。
【００５３】
同様に、受光瞳部分領域６０１ｂ〜６０９ｂの和から、受光瞳部分領域６０１ｂ〜６０１ｂのいずれかの（Ｎ１×Ｎ２−１）倍を差し引くことで、図１０に示す（Ｎ１×Ｎ２−１）倍の非受光瞳部分領域６０１ｃ〜６０９ｃのそれぞれを得ることができる。
【００５４】
次に、上述した視差画像の画素信号の取得を、本実施例に係わる撮像装置の処理動作で実現する場合を説明する。なお、本実施例では、視差画像信号の取得処理機能を撮像装置の画像処理部１２５またはＣＰＵ１２１にもたせている構成とするが、撮像装置の出力を取得できるＰＣなどの他の情報処理装置において実行される機能として構成してもよい。その場合、本発明は画像処理方法、当該画像処方法を実行するコンピュータプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な記憶媒体として実現される。
【００５５】
図１１を用いて、本実施例に係わる撮像素子の画素出力から視差画像の画素信号を得る処理動作を説明する。図１１は、当該処理動作のフローチャートを示す図である。
はじめに、ステップＳ１１１で、単位画素毎に、副画素(光電変換部)２０１〜２０９のうちの一つの画素の信号を取得する。これにより、結像光学系の瞳部分領域６０１ｂ〜６０９ｂのいずれか一つに対応する原視差画像の画素信号を取得する。例えば、単位画素毎に、副画素２０３の信号を選び出すことで、結像光学系の瞳部分領域６０３ｂに対応した有効画素数の解像度の原視差画像の画素信号を得ることができる。他の副画素についても同様である。
【００５６】
次に、ステップＳ１１２で、単位画素毎に、副画素２０１〜２０９の全ての信号を加算することで、有効画素数の解像度を有する被写体の撮影画像の画素信号を生成する。
【００５７】
最後に、ステップＳ１１３で、単位画素毎に、ステップＳ１１２で生成した撮影画像の画素信号から、ステップＳ１１１で生成した各原視差画像の画素信号に規格化の係数（Ｎ１×Ｎ２−１）をかけた信号を差し引く。これにより、結像光学系の非受光瞳部分領域６０１ａ〜６０９ａの一つに対応した視差画像の画素信号を生成する。
【００５８】
ステップＳ１１１〜１１３を、各単位画素内の副画素ごとに実行することで（ステップＳ１１４）、結像光学系の非受光瞳部分領域６０１ａ〜６０９ａに対応する複数（Ｎ１×Ｎ２）の視差画像の画素信号を得ることができる。
【００５９】
以上述べた本実施例に係わる撮像素子およびそれを適用した撮像装置によれば、撮像素子の受光感度の低下を抑制して、当該撮像素子の出力を用いて複数の視差画像を取得することが可能となる。
【００６０】
［実施例１の変形例］
次に、第１の実施例の変形例を、図１２を用いて説明する。本変形例は、第１の実施例では、単位画素を構成する副画素の数を変更した撮像素子の構成を提示する。図１２は、本変形例に係わる撮像素子の単位画素と副画素の配列の概略平面図である。遮光層の構成以外の副画素の構成および撮像装置の構成は、第１の実施例と同様であるので、ここでの説明を省略する。
図１２は、単位画素を副画素の４行×４列の配列で構成したときの撮像素子の単位画素を２行×２列の範囲で（副画素で８行×８列の範囲）示す図である。本変形例に係わる実際の撮像素子は、図１２に示す２行×２列の単位画素（８行×８列の副画素）の配列を撮像面上に多数配置し、被写体像の撮像(光電変換)を可能としている。本変形例では、画素周期ΔＸが１２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素（副画素周期Δｘが３μｍ、有効副画素数が横１２０００列×縦８０００行＝９６００万画素）の撮像素子として説明を行う。しかし、第１の実施例と同様に、撮像素子の具体的な構成規模についてはこれに限るものではない。
【００６１】
本変形例において、図１２に示した２行×２列の単位画素群１２００は、Ｒ（赤）の分光感度を有する画素１２００Ｒが図の左上の位置に、Ｇ（緑）の分光感度を有する画素１２００Ｇが右上と左下に配置されている。また、Ｂ（青）の分光感度を有する画素１２００Ｂが右下に配置されている。さらに、各単位画素は、Ｎ１×Ｎ２（４行×４列）の副画素１２０１〜１２１６から構成されている。
【００６２】
本変形例は、４×４＝１６の視差画像を取得する撮像素子の例であり、従って遮光層の遮光部の配置パターンは図１２に示すように、１６通りある。これら以外の構成は、第１の実施例と同様であるので、ここでの説明は省略する。
【００６３】
上述した本変形例の構成によれば、より多くの瞳分割数の瞳分割領域に対応した視差画像を、撮像素子の受光感度の低下を抑制して取得することが可能となる。
【実施例２】
【００６４】
本発明の第２の実施例に係わる撮像素子の構成を図１３および１４を用いて説明する。図１３は、本実施例に係わる撮像素子（２次元ＣＭＯＳセンサー）の単位画素の配列を４行×４列の範囲で示す図である。
本実施例においては、単位画素は２行×２列の副画素の配列から構成されものとし、従って射出瞳の分割数は２×２＝４であり、射光部の配置パターンも４通りである。また、副画素は後述するように、本発明に係わる遮光層に加え、光電変換効率を高めるために、入射光を集光して光電変換素子に導光するための層内レンズと光導波路を有する。
本実施例に係わる実際の撮像素子は、図１２に示す４行×４列の単位画素の配列（８行×８列の副画素の配列）を撮像面上に多数配置して被写体像の撮像(光電変換)を可能としている。本実施例では、画素周期ΔＸが５μｍ、有効画素数が横４５００列×縦３０００行＝１３５０万画素（副画素周期Δｘが２．５μｍ、有効副画素数が横９０００列×縦６０００行＝５４００万画素）の撮像素子として説明を行う。しかし、第１の実施例と同様に、撮像素子の具体的な構成規模についてはこれに限るものではない。
【００６５】
また、本実施例においては、図１３に示すように、４行×４列の単位画素群１３００は、Ｒ（赤）の分光感度を有する画素１３００Ｒが図の左上の位置に、Ｇ（緑）の分光感度を有する画素１３００Ｇが右上と左下に配置されている。また、Ｂ（青）の分光感度を有する画素１３００Ｂは右下に配置されている。さらに、各単位画素は、Ｎ１×Ｎ２（２行×２列）の副画素１３０１〜１３０４の２次元配列で構成される。
【００６６】
図１３に示す撮像素子の単位画素１３００Ｇの１つの副画素１３０４を例にして、本実施例に係わる撮像素子の副画素の構成を、図１４を用いて説明する。図１４（ａ）は、撮像素子の受光面側（＋ｚ側）から見た平面図を示し、図１４（ｂ）は、図１４（ａ）のｂ−ｂ断面を−ｙ側から見た断面図を示す。図１４において、第１の実施例と同様の部分は、同じ符号を付して示す。
【００６７】
図１４において、副画素１３０４は、光電変換部の受光面側に配設された入射光を集光するためのマイクロレンズ３１１を有し、マイクロレンズ３１１と光電変換部３１０との間に、カラーフィルター３１２を有する。なお、必要に応じて、副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。
【００６８】
図１４（ｂ）に示すように、本実施例に係わる撮像素子の副画素は、マイクロレンズ３１１と光電変換部３１０との間に、高屈折率材料により構成される層内レンズ１４１３と光導波路１４１４を有する。マイクロレンズ３１１と層内レンズ１４１３の合成系マイクロレンズの焦点深度内に、光導波路１４１４の受光面を配置することが望ましい。
【００６９】
さらに、副画素１３０４は、層内レンズ１４１３と光導波路１４１４との間に、開口部３０４ｂと遮光部３０４ａから構成される遮光層３０４を有し、光導波路１４１４の受光面の一部を遮光する。遮光層３０４による遮光をより効果的にするため、マイクロレンズ３１１と層内レンズ１４１３の合成系マイクロレンズの焦点深度内に、遮光層１４０４を形成することが望ましい。
図１４（ａ）に示すように、本実施例においても遮光層１４０４は、開口部１４０４ｂの面積が遮光部１４０４ａの面積より大きく構成される。遮光層１４０４を構成する遮光部１４０４ａのレイアウトは、単位画素を構成する副画素の数に応じて、第１実施例およびその変形例と同様に設定される。遮光部１４０４ａの配置位置が副画素の配列位置によって異なる以外は、図１３の副画素１３０１〜１３０４の構成は図１４の副画素１３０４と同様である。
【００７０】
上述したように、本実施例の撮像素子は、副画素が光導波路構造を有し、２×２＝４の視差画像を取得する撮像素子であり、これら以外の構成は第１の実施例と同様であるので、ここでの説明は省略する。
【００７１】
以上説明した第２の実施例に係わる撮像素子によっても、より複数の瞳分割領域のそれぞれに対応した視差画像を、撮像素子の受光感度の低下を抑制して取得することが可能となる。特に、副画素が層内レンズと光導波路を含むことで、受光感度の低下をより抑制することが可能となる。
【００７２】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
【００７４】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2015184433.tif 000003
【図６】
2015184433.tif 000004
【図７】
2015184433.tif 000005
【図８】
2015184433.tif 000006
【図９】
2015184433.tif 000007
【図１０】
2015184433.tif 000008
【図１１】
2015184433.tif 000009
【図２】
2015184433.tif 000010
【図３】
2015184433.tif 000011
【図４】
2015184433.tif 000012
【図５】
2015184433.tif 000013
【図１２】
2015184433.tif 000014
【図１３】
2015184433.tif 000015
【図１４】
2015184433.tif 000016