(57)【要約】【課題】画像を再構成しても画像のＳＮ比および解像度を復元することのできる固体撮像装置を提供する。【解決手段】本実施形態による固体撮像素子は、複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第１の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される像を、個々のマイクロレンズに対応する複数の画素ブロックに再結像する第２の光学系と、を備え、Ｄｍｌをマイクロレンズピッチとし、ｄｐを画素のピッチとするとき、隣接するマイクロレンズの中心間を結ぶ直線と、前記画素が配列された行方向または列方向とのなす角度θが、θ＞ｓｉｎ−１（２ｄｐ／Ｄｍｌ）を満たすように、前記複数のマイクロレンズが配置されている。【選択図】図６
2014099696.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、
被写体を結像面に結像する第１の光学系と、
前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される像を、個々のマイクロレンズに対応する複数の画素ブロックに再結像する第２の光学系と、
を備え、
Ｄｍｌをマイクロレンズピッチとし、ｄｐを画素のピッチとするとき、隣接するマイクロレンズの中心間を結ぶ直線と、前記画素が配列された行方向または列方向とのなす角度θが、
θ＞ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
を満たすように、前記複数のマイクロレンズが配置されている固体撮像装置。
【請求項２】
前記複数のマイクロレンズが六法最密配置されおり、前記角度θは、下記の範囲
３０°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦３０°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
６０°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦６０°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
を除く値である請求項１記載の固体撮像装置。
【請求項３】
前記複数のマイクロレンズが正方配列されおり、前記角度θは、下記の範囲
２６°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦２６°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
４５°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦４５°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
を除く値である請求項１記載の固体撮像装置。
【請求項４】
さらに、前記撮像素子からの出力信号を処理する処理部を備える請求項１乃至３のいずれか一項に記載の固体撮像装置。
【請求項５】
さらに、前記撮像素子を駆動する駆動部を備える請求項１乃至３のいずれか一項に記載の固体撮像装置。
【請求項６】
さらに、前記撮像素子に接続された電源を備えた請求項１乃至３のいずれか一項に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＭＯＳイメージセンサの開発が盛んに行われている。特に、半導体プロセスの微細化（デザインルール縮小化）に伴って、例えば１．４μｍの画素ピッチで１０００万画素を超える画素数の単板カラーイメージセンサが商品化されている。このような多画素化のトレンドのなかで、多画素を用いることでこれまで得ることのできなかった物理情報、例えば、被写体までの距離等を取得する試みがなされている。
【０００３】
結像レンズとイメージセンサとの間に、マイクロレンズアレイを複眼光学系として挿入することで、撮像素子から被写体までの距離情報を取得する撮像素子が知られている。しかし、この撮像素子では、個々のマイクロレンズが成す像を合成して１枚の画像を再構成する際に、画像のＳＮ比と解像度が十分に復元されない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７９６２０３３号明細書
【非特許文献】
【０００５】
【非特許文献１】K. Fife, A. E. Gamal, and H. Wong, “A 3D multi-aperture image sensor architecture,” Custom Integrated Circuits Conference, pp. 281-284, Sep.2006.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本実施形態は、画像を再構成しても画像のＳＮ比および解像度を復元することのできる固体撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本実施形態による固体撮像装置は、複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第１の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される像を、個々のマイクロレンズに対応する複数の画素ブロックに再結像する第２の光学系と、を備え、Ｄｍｌをマイクロレンズピッチとし、ｄｐを画素のピッチとするとき、隣接するマイクロレンズの中心間を結ぶ直線と、前記画素が配列された行方向または列方向とのなす角度θが、θ＞ｓｉｎ−１（２ｄｐ／Ｄｍｌ）を満たすように、前記複数のマイクロレンズが配置されていることを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】図１（ａ）、１（ｂ）は、一実施形態による固体撮像装置を示す図。
【図２】一実施形態の固体撮像装置において用いられるマイクロレンズアレイの六方最密配置を示す図。
【図３】一実施形態の固体撮像装置において用いられるマイクロレンズアレイの正方配列を示す図。
【図４】縮小率Ｎ＝０．５のときの像の重なりを説明する図。
【図５】像の重なりと加算箇所を説明する図。
【図６】２つの画素が重なる場合、それらの画素が同じ行上に存在する条件を説明する図。
【図７】六方最密配置における避けるべき角度θを説明する図。
【図８】正方配列における避けるべき角度θを説明する図。
【図９】六方最密配置における避けるべき角度θの例を示す図。
【図１０】正方配列における避けるべき角度θの例を示す図。
【図１１】他の実施形態による固体撮像装置を示すブロック図。
【発明を実施するための形態】
【０００９】
図面を参照しながら、実施形態を詳細に説明する。
【００１０】
一実施形態による固体撮像装置を図１（ａ）に示す。この実施形態の固体撮像装置は、結像光学系（結像レンズ）１０と、複数のマイクロレンズがアレイ状に配置されたマイクロレンズアレイ２０を含む光学系と、撮像素子３０と、を備えている。撮像素子３０は、複数の画素を含む複数の画素ブロックを有する撮像領域を備えている。各画素ブロックはＸ軸方向およびＹ軸方向にアレイ状に配置された複数の画素を有する。結像光学系１０は被写体１００を仮想結像面７０に結像する。マイクロレンズアレイ２０を含む光学系は、上記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有し、上記結像面７０に結像される像を、個々のマイクロレンズに対応する複数の画素ブロックに再結像する。
【００１１】
この実施形態による固体撮像装置の光学系（虚像光学系）における、同一被写体の像点のずれ量を図１（ｂ）に示す。
【００１２】
結像光学系（結像レンズ１０）のみを考えた場合、被写体１００からの主光線及びその同族光線は、結像光学系１０の焦点距離と、被写体１００からの距離によって決まる仮想結像面７０において、式（１）の関係を満たすように結像する。
【数１】
2014099696.tif 000003
ここで、ｆは結像レンズ１０の焦点距離、Ａは結像レンズ１０の物体側主面から被写体１００までの距離、Ｂは結像レンズ１０の像側主面から結像面７０までの距離を示す。結像レンズ１２の像倍率（横倍率）は次の式（２）で表される。
【数２】
2014099696.tif 000004
ここで、本実施形態では結像レンズ１０の仮想結像面７０を撮像素子３０よりも更に後方（結像レンズ１０に対して被写体１００と逆側）へ位置させる。このとき、仮想結像面７０よりも前方にマイクロレンズアレイ２０（以下、ＭＬとも記す）を配置するため、実際は仮想結像面７０よりも前方に位置する画素が設けられた撮像素子３０の面に集光する。このとき、光線群は虚像関係で縮小結像することになる。マイクロレンズアレイ２０を構成するマイクロレンズの結像系は次の式（３）で表される。
【数３】
2014099696.tif 000005
ここで、ｇはマイクロレンズの焦点距離、Ｃはマイクロレンズの物体側主面から仮想結像面７０までの距離、Ｄはマイクロレンズの像側主面から撮像素子３０の面までの距離を示す。このとき、マイクロレンズの結像系による像倍率は次の式（４）によって表される。
【数４】
2014099696.tif 000006
ここで、幾何関係により式（５）に表される変数Ｅを導入する。光学系が固定焦点光学系の場合、変数Ｅは固定設計値となる。
【数５】
2014099696.tif 000007
ここで、隣接したマイクロレンズを２個選択した場合の、マイクロレンズ１４の配列ピッチ、すなわちマイクロレンズ間の距離をＤＭＬとする。このとき、同一被写体から出た光線群８４ａ、８４ｂ、８４ｃ、８６が隣接した複数のマイクロレンズ１４にて個別に結像される。このときの距離ＤＭＬと片側の像ずれ量Δは、図１（ｂ）に示す各マイクロレンズにとっての主光線８４ａ、８４ｂ、８４ｃの幾何学的関係より式（６）で表される。
【数６】
2014099696.tif 000008
【００１３】
上記パラメータを用い、被写体１００の移動（Ａの変化）に対する各パラメータの変化量を示す。撮影可能なある被写体の結像レンズ１０からの距離をＡ０とし、右下に添え字０がついたパラメータ（Ｂ０、Ｃ０、Ｄ０、Δ０）は被写体との距離がＡ０のときの値を表すとする。Ａ０が決まれば、固定焦点光学系であれば、上記パラメータはＡ０が決まったとき一意に決まる。
【００１４】
ここで、被写体１００の結像レンズ１０からの距離がＡ０からＡに変化した際の、パラメータＤの変化量をＭ（結像レンズ倍率）で表す。式（１）〜式（５）より、結像レンズ倍率Ｍは式（７）に示す関係となる。
【数７】
2014099696.tif 000009
【００１５】
また、式（１）、（２）、（６）、（７）より被写体１００の結像レンズ１０からの距離Ａと像のずれ量Δと、倍率Ｍは、次の式（８）に示す関係となる。
【数８】
2014099696.tif 000010
【００１６】
すなわち、像のずれ量Δから被写体と結像レンズ１０との間の距離を求めることができる。
【００１７】
マイクロレンズアレイ２０が配置されず、仮想結像面７０に撮像素子１６が位置する場合は、仮想結像面７０では、被写体像が撮像される。一方、本実施形態のように複数のマイクロレンズによって同一被写体から出た光線群を分割し、仮想結像面７０よりも前方に位置する撮像素子３０の面へ結像した場合、同一被写体が視差に応じて複数撮像されることになる。よって、同一被写体部が複数回撮影された複数のマイクロレンズによる像の群（マイクロレンズ画像群）が画像として出力される。
【００１８】
マイクロレンズ画像群は、等ピッチのマイクロレンズが配列されたときの画像である。このマイクロレンズ像群は、仮想結像面７０に結像するはずだった画像から、マイクロレンズ結像系による像倍率Ｎ（式（４））だけ縮小される関係となる。また、得られたマイクロレンズ画像群は、読み出した各マイクロレンズの画像データを再構成処理することによって、重複箇所のない２次元画像に再構成する。再構成処理については後述する。
【００１９】
また、得られたマイクロレンズ画像群は、結像レンズ１０の口径内の視差を有するため、視差を利用した３次元画像処理が可能となる。
【００２０】
図２、図３に、本実施形態において用いられるマイクロレンズアレイ２０の平面配置方法を示す。図２はマイクロレンズアレイ２０のマイクロレンズ２１が六方最密配置されている例を示し、図３はマイクロレンズアレイのマイクロレンズ２１が正方配置されている例を示す図である。マイクロレンズ２１の中心２１１間の距離をＤｍｌとする。
【００２１】
ここで、マイクロレンズアレイ２０は、撮像素子３０に対して像入射側に配置されている。平面方向に重ねると、画素３１が並んだ一方向であるＸ軸と、マイクロレンズ２１の中心２１１を結ぶ直線で定義されるマイクロレンズアレイ２０のＸ’軸と、のなす角が角度θをなしている。
【００２２】
ここで、同一被写体が重複撮影されているマイクロレンズ画像群から、重複のない２次元画像を再構成する方法について図４を参照して説明する。
【００２３】
隣接する３個の第１乃至第３のマイクロレンズがあり、それらが図４に示すように、撮像素子３０の面にマイクロレンズ像９１ａ、９１ｂ、９１ｃをそれぞれ形成する場合を考える。マイクロレンズ像９１ａ、９１ｂ、９１ｃが結像する視野は、仮想結像面７０においては視野９３ａ、視野９３ｂ、視野９３ｃとなり、重複した範囲となる。図４では、像縮小率Ｎが０．５の場合を描いており、各視野が０．５倍された結果、どの被写体点も２回以上重複されて撮像される関係となる。Ｎ＝０．５の関係にあるときは、各マイクロレンズ像を１／Ｎ倍（Ｎ＝０．５のときはは１／Ｎ＝２倍）することで、仮想結像面７０の像を再現できることになる。なお、図４において、符号９２ａは第１のマイクロレンズの像中心を示し、符号９４ａは、仮想結像面７０における第１のマイクロレンズの視野中心を示す。
【００２４】
本実施形態では、重複した視野部分は、画素から出力された輝度値の平均化によって処理する。これにより、重複した部分の存在するデータから、１枚の画像を再構成することができる。
【００２５】
図５は、再構成時の各マイクロレンズ画像データの重複について示している。７個の円は、各マイクロレンズ像を、各マイクロレンズ像中心を中心として拡大処理した像範囲を示す。ここで例えば斜線部分９６ａ、９６ｂがマイクロレンズ画像データの重複部分である。重複部分では、該当する２個〜３個の画素データを平均化することで、１枚の画像を構成するが、このとき、平均化の過程で、各マイクロレンズ像が有しているランダムノイズが緩和される作用がある。
【００２６】
一般的に、互いに相関の無いランダムノイズをＮ回平均化すると、ノイズの標準偏差は、１／Ｎ１／２となる。したがって、重複数Ｎが多ければ多いほど、画像のノイズは緩和されることになる。
【００２７】
しかし、互いに相関のあるランダムノイズを平均化しても、ノイズは緩和されない。例えば図５にて、横筋状のノイズが存在する場合、斜線で示した加算部分９６ａ、９６ｂでは、加算されるマイクロレンズの像同士が共通の横筋ノイズを有するため、ノイズ緩和効果が望めない。
【００２８】
一般的に撮像素子では、行順次で画素を選択し、列並列で読み出しを行うため、横筋状あるいは縦筋状のノイズが発生しやすい。
【００２９】
加算されるマイクロレンズの像同士が共通の横筋又は縦筋ノイズを有するケースは、マイクロレンズの中心同士を結ぶ直線と、撮像素子３０の画素アレイがなすＸ軸、Ｙ軸の方向が一致する場合である。以下、図６を参照して、軸方向の一致条件について説明する。
【００３０】
図６には３個のマイクロレンズ２１１、２１２、２１３を図示している。格子は画素アレイを表している。ここで、マイクロレンズの中心を結ぶ直線は、画素の水平方向軸と角度θをなしている。マイクロレンズの中心間距離（マイクロレンズピッチ）をＤｍｌとし、画素のピッチをｄｐとする。なお、Ｘ方向の画素のピッチとＹ方向の画素のピッチが異なる場合には、Ｙ方向のピッチをｄｐとする。ここで、マイクロレンズ２１１、２１２内に存在し、マイクロレンズ２１１、２１２の中心を結ぶ直線上に存在する画素２２１、２２２を考える。これらの画素２２１、２２２が距離１／２×Ｄｍｌ離れているとすると、各マイクロレンズの像を２（＝１／Ｎ）倍に拡大した際に、これらの画素においてマイクロレンズ像は重なり、加算されることになる。このとき、画素２２１と画素２２２が異なる行にあるための条件は、
１／２×Ｄｍｌ×ｓｉｎθ＞ｄｐ          （９）
である。例えば、Ｄｍｌ／ｄｐ＝２０とすると、ｓｉｎθ＞０．１となればよい。したがって、角度θが−ｓｉｎ−１（０．１）以上ｓｉｎ−１（０．１）以下の範囲にある場合には画素は重ならないことがある。ここで、１／２×Ｄｍｌ離れた画素を考えたのは、１／２×Ｄｍｌ以上離れた画素が重複するケースが多いためである。
【００３１】
次に、図７および図８を参照しながら、避けるべき角度θについて述べる。図７は六方最密充填配置されたマイクロレンズアレイを示している。ここで、マイクロレンズの中心を結ぶ直線を考える。マイクロレンズが最も密接して並んでいる方向を０°の方向とすると、画素アレイの水平方向の軸が０°の方向と一致している場合、上記のノイズ緩和効果は望めないことになる。図７に示すように、θが３０°、６０°の角度に関しても同様である。例えばマイクロレンズアレイの０°軸が、画素の水平方向軸に対して１５°ずれていれば、殆どのケースにおいて、異なる行の画素同士が重なり、加算されることになるため、好ましい。
【００３２】
図８からわかるように、正方配列されている場合は、角度θが０°、２６°、４５°のときは、上記のノイズ緩和効果は望めない。
【００３３】
六方最密配置されている場合に、避けるべき角度θを図９に示す。図９においては、ｄｐ／Ｄｍ１＝１／２０として求めた角度である。エラーバーは１／２×Ｄｍｌ離れた２つの画素が重なる場合、それらの画素が同じ行上に存在する条件を表しており、注目しているマイクロレンズの１個外のマイクロレンズとの重なりを考えた場合、式（９）から、
１／２×Ｄｍｌ×ｓｉｎθ≦ｄｐ
で決まる角度θの範囲を表す。すなわち、六方最密配置の場合、避けるべき角度θは、以下のようになる。
−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
３０°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦３０°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
６０°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦６０°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
【００３４】
また、図１０に、マイクロレンズが正方配列された場合の避けるべき角度を示す。図１０においては、ｄｐ／Ｄｍ１＝２０として求めた角度である。正方配列の場合、避けるべき角度θは、以下のようになる。
−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
２６°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦２６°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
４５°−ｓｉｎ−１（２ｄｐ／Ｄｍｌ）≦θ≦４５°＋ｓｉｎ−１（２ｄｐ／Ｄｍｌ）
【００３５】
このように、マイクロレンズの中心を結んだ直線がなす軸と、画素の水平軸とに一定の角度をつけて配置することによって、低ノイズの固体撮像装置を実現することができる。
【００３６】
以上説明したように、本実施形態によれば、画像を再構成しても画像のＳＮ比および解像度を復元することが可能な固体撮像装置を提供することができる。
【００３７】
また、本実施形態によれば、距離情報を取得することができ、高空間周波数の被写体を撮像する際に偽色の発生がなく、ＳＮＲが向上する固体撮像装置を得ることができる。
【００３８】
固体撮像装置は、図１１に示すように、撮像素子３０を駆動する駆動部３００や、撮像素子３０からの出力信号を処理する処理部３２０を備えていても良い。固体撮像装置は、撮像素子３０の駆動に必要な電源３３０を備えていても良い。固体撮像装置は、ディスプレイなどの出力部３４０を備えていても良い。また、外部に設けられる出力デバイス（図示せず）が固体撮像装置に接続されていても良い。撮像素子３０からの出力信号は出力部３４０あるいは出力デバイスによって表示される。
【００３９】
固体撮像装置は、例えば、携帯移動通信端末や、デジタルカメラや、パーソナルコンピュータや、監視カメラとすることができる。
【００４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４１】
１０  結像レンズ
２０  マイクロレンズアレイ
３０  撮像素子
７０  仮想結像面
【図２】
2014099696.tif 000011
【図３】
2014099696.tif 000012
【図４】
2014099696.tif 000013
【図５】
2014099696.tif 000014
【図６】
2014099696.tif 000015
【図７】
2014099696.tif 000016
【図８】
2014099696.tif 000017
【図９】
2014099696.tif 000018
【図１０】
2014099696.tif 000019
【図１１】
2014099696.tif 000020
【図１】
2014099696.tif 000021