(57)【特許請求の範囲】
【請求項１】
半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、
被写体を結像面に結像する結像レンズを有する第１の光学系と、
前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記複数のマイクロレンズのそれぞれは前記撮像素子に向かって凸形状の半凸形状を有し、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第２の光学系と、
前記マイクロレンズアレイが形成されたマイクロレンズアレイ基板と、
前記マイクロレンズアレイ基板と前記半導体基板との間に設けられ、前記撮像領域の周囲を囲むように位置するスペーサと、
を備え、
被写体が無限遠時に位置するときの前記第１の光学系による結像面が、前記第１の光学系からみて前記撮像素子よりも遠くにある固体撮像装置。
【請求項２】
前記被写体が無限遠時に位置するときの前記マイクロレンズの像縮小率が０．５以下である請求項１記載の固体撮像装置。
【請求項３】
前記マイクロレンズアレイが、赤外光を吸収もしくは反射しなおかつ可視光を透過する基板上に形成されている請求項１または２記載の固体撮像装置。
【請求項４】
前記撮像領域上に、画素毎に設けられるカラーフィルタを更に備えている請求項１乃至３のいずれかに記載の固体撮像装置。
【請求項５】
請求項１乃至４のいずれかに記載の固体撮像装置を備えている携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、２次元可視画像及び被写体奥行き距離情報を同時に取得することが可能な固体撮像装置および携帯情報端末に関する。
【背景技術】
【０００２】
２次元アレイ情報として被写体奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。
【０００３】
そこで多眼で多数視差を得ることができ、かつ解像度の低下を抑えるための構成として、結像レンズを持つ複眼構成の撮像装置が提案されている。この撮像装置は、例えば結像系レンズを有し、結像系レンズと撮像素子の中間に、再結像系光学系として複数光学系が配置される。例えば複数光学系としては、平面上に多数の微小レンズが形成されたマイクロレンズアレイなどが用いられる。各マイクロレンズの下部には複数の画素がその像を取得するため対応する位置に設けられている。結像レンズにおいて結像された像は、再結像マイクロレンズによって再度撮像素子へ結像し、その再結像した個眼像は、それぞれマイクロレンズの配置位置によって存在する視差の分、視点ずれした画像となる。
【０００４】
多数のマイクロレンズから得られた視差画像群を画像処理することで、三角測量の原理にて被写体の距離推定が可能であり、またつなぎ合わせの画像処理を行うことによって、２次元画像として再構成することも可能である。
【０００５】
しかし、上記複眼構成の撮像装置においては、結像レンズの被写体無限遠時の焦点面を撮像素子よりも前方（被写体側）へシフトさせることから、同等の性能を持つ結像レンズを用いた場合カメラ高さが増大する課題がある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】K. Fife, A. E. Gamal, and H. Wong, “A 3D multi-aperture image sensor architecture,” Custom Integrated Circuits Conference, pp. 281-284, Sep.2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、カメラ高さの増大を抑制することのできる固体撮像装置および携帯情報端末を提供することである。
【課題を解決するための手段】
【０００８】
本実施形態の固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第１の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第２の光学系と、を備えている。そして被写体が無限遠時に位置するときの前記第１の光学系による結像面が、前記第１の光学系からみて前記撮像素子よりも遠くにある。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態による固体撮像装置を示すブロック図。
【図２】第１実施形態の固体撮像装置の断面図。
【図３】図３（ａ）、３（ｂ）は第１実施形態における被写体の結像レンズからの距離と光線群の関係を説明する図。
【図４】図４（ａ）、４（ｂ）は、第１実施形態における結像レンズの光軸中心におけるマイクロレンズの幾何光学的関係を説明する図
【図５】図５（ａ）乃至図５（ｄ）は、第１実施形態の光学系で得られるマイクロレンズ画像群と画像再構成を説明する図。
【図６】図６（ａ）乃至図６（ｃ）は、第１実施形態における被写体の結像レンズからの距離とマイクロレンズ像倍率の対応関係を説明する図。
【図７】図７（ａ）乃至図７（ｃ）は、隣接マイクロレンズにおける重複視野の関係を説明する図。
【図８】第２実施形態による固体撮像装置を示す断面図。
【図９】第１または第２実施形態の固体撮像装置を用いた携帯情報端末の一例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を説明する。
【００１１】
（第１実施形態）
図１に、第１実施形態による固体撮像装置（カメラモジュール）１を示す。第１実施形態の固体撮像装置１は、撮像モジュール部１０と、撮像信号プロセッサ（以下、ＩＳＰ(Image Signal Processor)ともいう）２０と、を有する。
【００１２】
撮像モジュール部１０は、結像光学系１２と、マイクロレンズアレイ１４と、撮像素子１６と、撮像回路１８とを有する。結像光学系１２は、被写体からの光を撮像素子１６へ取り込む撮像光学系として機能する。撮像素子１６は、結像光学系１２により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。マイクロレンズアレイ１４は、例えば複数のマイクロレンズを有するマイクロレンズアレイもしくはプリズム等の微小光学系である。結像光学系１２によって結像面に結像する光線群を、個々のマイクロレンズと対応する画素ブロックに縮小再結像する光学系として機能する。撮像回路１８は、撮像素子１６の画素アレイの各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路などを有している。
【００１３】
ＩＳＰ２０は、カメラモジュールＩ／Ｆ（インターフェース）２２と、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。撮像モジュール部１０による撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２から画像取り込み部２４へ取り込まれる。  信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。
【００１４】
図２に第１実施形態による固体撮像装置１の断面を示す。図２に示すように、第１実施形態の固体撮像装置１においては、撮像素子１６は、半導体基板１６ａに形成され、この半導体基板１６ａ上に、フォトダイオードを有する複数の画素１６ｂが形成されるとともに、これらの画素１６ｂを駆動してこれらの画素１６ｂからの信号を読み出す駆動／読み出し回路（図示せず）が形成された構成を有している。画素１６ｂの上部には、画素１６ｂごとにＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタ１６ｃが、例えばベイヤー配列などの配列方法にて形成される。このカラーフィルタ１６ｃの上部には、１画素ごとに画素集光用のマイクロレンズ１６ｄが形成されていてもよい。
【００１５】
カラーフィルタ１６ｃの上方に、マイクロレンズアレイ１４が形成された、可視光を透過する可視光透過基板４０が設けられている。可視光透過基板４０は、可視光を透過するが近赤外光を反射する多層膜もしくは単層膜が形成されていても良い。マイクロレンズアレイ１４はマイクロレンズアレイ基板１４ｂ上に形成されたマイクロレンズ部１４ａを有している。このマイクロレンズ部１４ａは可視光透過基板４０から見て撮像素子１６側に配置され、複数のマイクロレンズを有している。各マイクロレンズは、半導体基板１６ａ上に設けられた複数の画素からなる画素ブロックに対応し、対応する画素ブロックに縮小結像する光学系として機能する。また、可視光透過基板４０は、画素１６ｂが形成された撮像領域の周囲に設けられた樹脂材料のスペーサ４２によって半導体基板１６ａと接合される。なお、半導体基板１６ａと可視光透過基板４０とを接合する際の位置合わせは、合わせマーク等を基準にして行う。可視光透過基板４０は、例えば不要な近赤外光をカットする材料であっても良いし、近赤外光をカットする膜が形成されていても良い。
【００１６】
また、半導体基板１６ａには、画素１６ｃの読出し用電極パッド４４が設けられ、この電極パッド４４の下部には半導体基板１６ｃを貫通する貫通電極４６が形成されている。そして半導体基板１６ａは、貫通電極４６およびバンプ４８を介してチップ５０と電気的に接続される。このチップ５０には、撮像装置を駆動し読み出された信号を処理する駆動処理回路（撮像回路１８）が形成されている。
【００１７】
また、可視光透過基板４０の上方には結像レンズ１２が設けられ、この結像レンズ１２はレンズ鏡筒６２に取り付けられ、このレンズ鏡筒６２はレンズホルダ６４に取り付けられる。レンズホルダ６４は可視光透過基板４０の周囲の領域上に接合される。この結像レンズ１２の取り付け時に、押し付け圧と出力像の関係からレンズ１２の焦点距離の調整をしても良い。なお、半導体基板１６ａ、可視光透過基板４０、およびチップ５０の周囲には、不要な光を遮断するための光遮蔽カバー５２が取り付けられる。そして、光遮蔽カバー５２にチップ５０と外部とを電気的に接続するモジュール電極５４が設けられる。なお、上記構成はこの限りではなく、例えば電極パッド４８はワイヤーボンディング等にて外部チップと電気的接続されていても良い。
【００１８】
（被写体距離と光線群の関係）
次に、本実施形態の固体撮像装置１の光学系（虚像光学系）における被写体距離と光線群との関係について図３（ａ）、３（ｂ）を参照して説明する。
【００１９】
一般的に、従来の固定焦点型の固体撮像装置（カメラモジュール）における結像レンズの像側主面と、撮像素子との間の距離は、結像光学系の焦点距離ｆと一致するよう配置される。これにより、撮影可能な被写体とカメラとの間の距離は、画像のボケが許容される最近接撮影距離から、無限遠距離までとなる。
【００２０】
これに対して、本実施形態の固体撮像装置１においては、図３（ａ）に示すように、結像レンズ１２の像側主面１２ａと撮像素子１６との間の距離は、結像光学系（結像レンズ１２）の焦点距離ｆよりも短い位置となるように、撮像素子１６を配置する。つまり、図３（ａ）に示すように、マイクロレンズアレイ１４ａが配置されない場合は、被写体の無限遠時の結像面７０は撮像素子１より後方となり、撮像素子１６においてはピントのあった画像が撮影されない。マイクロレンズアレイ１４ａが配置されていないときの結像面７０を、仮想結像面と呼ぶ。しかし、本実施形態においては、マイクロレンズアレイ１４ａを結像レンズ１２と、撮像素子１６との間に配置することにより、主光線８０および周辺光線８２からなる光線群を屈折させ、上記仮想結像面７０よりも前方に位置する撮像素子１の面上に光線群が結像するようにする。このとき、結像レンズ１２によって仮想結像面７０に形成されるはずの像は、複数のマイクロレンズ１４ａによって縮小され、撮像される関係となる。この縮小倍率が、光学的な解像度の劣化の指標となるが、これについては後述する。
【００２１】
また、図３（ｂ）に、被写体１００が有限距離Ａに位置しているときの、結像レンズ１２と仮想結像面７０との位置関係を示す。図３（ｂ）に示すように、被写体１００が無限遠よりも近い距離にある場合、仮想結像面７０は、被写体１００が無限遠にある場合よりも、更に撮像素子１６の後方へ移動する。このときも、本実施形態においては、仮想結像面７０に結像するはずの光線群は、複数のマイクロレンズ１４ａによって撮像素子１６の面に結像される。なお、図３（ａ）、３（ｂ）において、ＬＭＬはマイクロレンズ１４ａのピッチを示す。
【００２２】
なお、被写体１００が無限遠距離、有限距離にある場合のそれぞれにおいて、マイクロレンズ１４ａが再結像する距離Ｄも変化するが、この変化量は被写体１００から結像レンズ１２までの距離Ａの変化と比較し十分小さいため、距離Ｄの変化を像面の深度内にあるとみなす。
【００２３】
このように、結像レンズ１２の仮想結像面７０を撮像素子１よりも後方に位置させることで、仮想結像面７０がマイクロレンズアレイ１４ａよりも前方にある従来の場合と比較し、結像レンズ１２と撮像素子１６との間を短くすることができるため、同等の光学特性を持つ結像レンズを用いた場合、カメラモジュールの高さを低くすることが可能となる。
【００２４】
また、マイクロレンズを設けない従来のカメラ光学系と比較しても、結像レンズと撮像素子との間の距離は短い設計値となるため、同等の光学特性を持つ結像レンズを用いたカメラモジュールにおいて、その高さを低くすることが可能となる。
【００２５】
（第１実施形態の固体撮像装置における幾何光学の関係式）
次に、本実施形態の固体撮像装置１の光学系（虚像光学系）における幾何光学の関係について図３、図４（ａ）、４（ｂ）を参照して説明する。単純化のため、ここでは近軸領域の範囲のみを記述する。なお、図４（ｂ）は、図４（ａ）に示すマイクロレンズの近軸領域を拡大した図である。
【００２６】
結像光学系（結像レンズ）１２のみを考えた場合、被写体からの主光線８０およびその同族光線８２は、結像光学系１２の焦点距離ｆと、結像光学系１２と被写体１００との距離から決まる仮想結像面において、式（１）の関係を満たすように結像する。
【数１】
0005568150.tif 000002
ここでｆは結像レンズ１２の焦点距離、Ａは結像レンズ４０の物体側主面４０ａから被写体までの距離、Ｂは結像レンズ１２の像側主面１２ａから仮想結像面７０までの距離を示す。結像レンズ１２の像倍率（横倍率）は下式で表される。
【数２】
0005568150.tif 000003
ここで、本実施形態では結像レンズ１２の仮想結像面７０を撮像素子１６よりも更に後方（被写体１００と反対側）へ位置させる。このとき、仮想結像面７０よりも前方にマイクロレンズ１４ａを配置するため、仮想結像面７０よりも前方に位置する画素が設けられた撮像素子１６の面に集光する。このとき、光線群８０、８２は虚像関係で縮小結像することになる。マイクロレンズ１４ａの結像系は下式で表される。
【数３】
0005568150.tif 000004
ここで、ｇはマイクロレンズ１４ａの焦点距離、Ｃはマイクロレンズ１４ａの物体側主面から仮想結像面７０までの距離、Ｄはマイクロレンズ１４ａの像側主面から撮像素子１６の面までの距離を示す。このとき、マイクロレンズ１４ａの結像系による像倍率は次の式（４）によって表される。
【数４】
0005568150.tif 000005
ここで、幾何学的関係により式（５）の変数Ｅを導入する。光学系が固定焦点光学系の場合、変数Ｅは固定設計値となる。
【数５】
0005568150.tif 000006
ここで、隣接するマイクロレンズ１４ａを２個選択した場合の、マイクロレンズ１４ａの配列ピッチ、またはマイクロレンズ１４ａ間の距離をＬＭＬとする。このとき、同一被写体から出た光線群８４ａ、８４ｂ、８４ｃ、８６が隣接した複数のマイクロレンズ１４ａにおいて個別に結像される。このときのＬＭＬと片側の像ずれ量Δは、図４（ｂ）に示す各マイクロレンズ１４ａにとっての主光線８４ａ、８４ｂ、８４ｃの幾何学的関係より式（６）で表される。
【数６】
0005568150.tif 000007
【００２７】
上記パラメータを用い、被写体の移動（Ａの変化）に対する各パラメータ（Ｂ、Ｃ、Ｄ、Δ）の変化量を示す。撮影可能なある被写体の結像レンズ１２からの距離をＡ０とし、右下に添え字０がついたパラメータ（Ｂ０、Ｃ０、Ｄ０、Δ０）は被写体の結像レンズ１２からの距離がＡ０のときの値を表すとする。Ａ０が決まれば、固定焦点光学系であれば、上記パラメータはＡ０が決まったとき一意に決まる。
【００２８】
ここで、被写体の結像レンズ１２からの距離がＡ０からＡに変化した際の、パラメータＤの変化量をＭ（結像レンズ倍率）で表す。式（１）〜式（５）より、結像レンズ倍率Ｍは式（７）に示す関係となる。
【数７】
0005568150.tif 000008
また、式（１）、（２）、（６）、（７）より被写体の結像レンズ１２から距離Ａと像のずれ量Δは次の式（８）に示す関係となる。
【数８】
0005568150.tif 000009
ずれ量Δと倍率Ｍは、次の式（９）に示す関係となる。
【数９】
0005568150.tif 000010
【００２９】
被写体Ａが遠方に位置する、すなわちＡ→∞のとき、Ｍ→０となり、ずれ量Δは次の式（１０）に示す値に収束する。
【数１０】
0005568150.tif 000011
ここで、Ａの変化に対するΔの変化は、下式で表される。
【数１１】
0005568150.tif 000012
精度を示す式（１１）はＭ（＝Ｂ／Ａ）を含むため、精度は距離依存性を持つ。
【００３０】
（第１実施形態の光学系で得られるマイクロレンズ画像群と画像再構成の関係）
第１実施形態の光学系で得られる光学像関係について、図５（ａ）乃至５（ｄ）を参照して説明する。
【００３１】
マイクロレンズが光学系に配置されず、仮想結像面７０に撮像素子１６が位置する場合は、仮想結像面７０では、図５（ｃ）に示すように被写体像が撮像されるはずである。一方、本実施形態のように複数のマイクロレンズ１４ａによって同一被写体から出た光線群を分割し、仮想結像面７０よりも前方に位置する撮像素子１６の面へ結像した場合、同一被写体がレンズ口径内で生じる視差に応じて複数撮像されることになる。よって、図５（ｂ）に示すような、同一被写体が複数回撮影されたマイクロレンズによる像の群が画像として出力される。
【００３２】
図５（ｂ）において例として示したマイクロレンズ画像群は、等ピッチのマイクロレンズが六方細密配列されたときの画像である。図５（ｂ）に示すマイクロレンズ像群は、仮想結像面７０に結像するはずだった光学像から、マイクロレンズ結像系による像倍率Ｎ（式（４））だけ縮小される関係となる。この縮小倍率Ｎが、光学的な解像度劣化の指標となるが、これについては後述する。
【００３３】
また、得られたマイクロレンズ画像群は、読み出した各マイクロレンズの画像データを再構成処理することによって、図５（ｄ）に示すような重複箇所のない２次元画像に再構成する。再構成処理については後述する。
【００３４】
また、得られたマイクロレンズ画像群は、結像レンズ１２の口径内の視差を有するため、視差を利用した３次元画像処理が可能となる。
【００３５】
（被写体距離によるマイクロレンズ像倍率の変化と光学的解像度の関係）
（実像光学系と虚像光学系でのＭＬ像倍率変化の違い）
次に、本実施形態の光学系における、被写体の結像レンズからの距離に対するマイクロレンズ像倍率の変化を、図６（ａ）乃至図６（ｃ）を参照して説明する。
【００３６】
式（１）より、被写体の結像レンズからの距離Ａが減少するほど、結像レンズ１２の結像距離Ｂは増加し、その結果、仮想結像面７０がマイクロレンズ１４ａから遠ざかるので、マイクロレンズの像倍率は次式に従い減少する。
【００３７】
Ｎ＝Ｄ／（Ｂ−Ｅ）
一方、被写体の結像レンズからの距離Ａが増加するほど、結像レンズ１２の結像距離Ｂは減少し、仮想結像面７０は結像レンズ１２の焦点距離ｆに近づき、その結果、仮想結像面７０はマイクロレンズの面に近づくことになるので、マイクロレンズの像倍率Ｎは増加する。
【００３８】
被写体が無限遠時においては、結像距離Ｂは結像レンズ１２の焦点距離ｆに収束するため、無限遠時の像倍率Ｎ∞は下式のように収束する。
【００３９】
Ｎ∞＝Ｄ／（ｆ−Ｅ）  
図６（ｃ）に示すグラフは、Ｎ∞＝０．５のときの、結像レンズ１２の焦点距離ｆ＝５．０ｍｍのときの被写体の結像レンズからの距離Ａと、マイクロレンズの像倍率（像縮小率）Ｎの関係を示したグラフである。被写体が結像レンズに近い程、仮想結像面７０がマイクロレンズから遠ざかるので、マイクロレンズの像倍率Ｎが減少していく特性が分かる。
【００４０】
ここで、マイクロレンズによる像倍率Ｎによる画像の光学的解像度劣化特性について説明する。
【００４１】
マイクロレンズによる縮小倍率がＮのとき、光学解像度は像縮小率Ｎの２乗に比例して劣化する。これは、本来画素ピッチの逆数が光学サンプリング周波数となるが、同じ画素ピッチの画素を用いた場合、同じサンプリングサイズに対し縮小した画像をサンプルすることから、縦と横のサンプルピッチがそれぞれＮ倍粗くなったことに相当するためである。縦、横の乗算により、劣化はＮ２となる。
【００４２】
本実施形態おいては、マイクロレンズ画像群にて、どの被写体も少なくとも２回以上、多重に撮影される必要がある。少なくとも２回撮影できるマイクロレンズの像縮小倍率Ｎは０．５以下なので、マイクロレンズの像縮小倍率Ｎは０．５以下であることが好ましい。理論的な最大光学解像度は｛センサ画素数×（０．５）２｝以下となる
（２次元可視画像の再構成方法）
ここで、同一被写体が重複撮影されているマイクロレンズ画像群から、重複のない２次元画像を再構成する方法について図７（ａ）乃至７（ｃ）を参照して説明する。
【００４３】
隣接する３個のマイクロレンズがあり、それらが図７（ｂ）に示すように、撮像素子１６の面にマイクロレンズ像９１ａ、９１ｂ，９１ｃをそれぞれ形成する場合を考える。このように重複のないマイクロレンズ像を形成するには、結像レンズ１２のＦナンバーとマイクロレンズのＦナンバーが一致していれば良い。マイクロレンズの像９１ａ、９１ｂ，９１ｃが結像する視野は、仮想結像面７０においては視野９３ａ、視野９３ｂ、視野９３ｃとなり、図７（ｃ）に示すように重複した範囲となる。図７（ｂ）、７（ｃ）では、像縮小率Ｎが０．５の場合を描いており、各視野が０．５倍された結果、どの被写体点も２回以上重複されて撮像される関係となる。Ｎ＝０．５の関係にあるときは、各マイクロレンズ像を１／Ｎ倍、すなわち、２倍とすることで、仮想結像面７０の像を再現できることになる。
【００４４】
像縮小率Ｎを、撮影後のマイクロレンズ画像群から知るためには、式（６）の関係から、（１２）が導かれることを利用する。
【数１２】
0005568150.tif 000013
マイクロレンズのピッチＬＭＬは既知であるため、同一被写体のずれ量Δを画像から求めれば、像縮小率Ｎも求まることになる。
【００４５】
同一被写体のずれ量Δを画像から求めるには、隣接するマイクロレンズの像の間の画像マッチング処理を用いる。画像マッチング処理としては、例えば、２つの画像の類似度や相違度を調べる、周知のテンプレートマッチング法を用いることができる。また、更に精密にずれ位置を求める際には、画素単位ごとに得られた類似度や相似度を連続なフィッティング関数等で補間し、フィッティング関数の最大や最小を与えるサブピクセル位置を求めることで、更に高精度にずれ量を求めることができる。
【００４６】
（被写体奥行き距離情報を得る方法）
図６（ｃ）で説明したように、被写体の結像レンズからの距離Ａと、像縮小率Ｎとは相関関係がある。よって、前述の手法にて式（１２）より、ずれ量Δが求まった場合、マイクロレンズのピッチＬＭＬは設計固定値であるので像縮小率Ｎが求まり、その結果、被写体の結像レンズからの距離Ａを求めることができる。
【００４７】
以上説明したように、第１実施形態によれば、カメラ高さの増大を抑制することができる。
【００４８】
また、マイクロレンズにより視差をもった画像群が取得されるため、視差画像を利用した様々な３次元画像処理が可能となる。
【００４９】
（第２実施形態）
次に、第２実施形態による固体撮像装置（カメラモジュール）について図８を参照して説明する。図８は第２実施形態の固体撮像装置１Ａを示す断面図である。この第２実施形態の固体撮像装置１Ａは、第１実施形態の固体撮像装置１において、可視光透過基板４０を光学フィルタ４１に置き換えた構成となっている。すなわち、結像レンズ１２およびレンズ鏡筒６２を支えるレンズホルダ６４は、光学フィルタ４１の周辺領域上に接合される。光学フィルタ４１とは、可視光（Ｒ、Ｇ、Ｂ波長域）を透過しかつ不要な近赤外光をカットする基板材料であり、その片側面にマイクロレンズアレイ１４が形成された基板である。光学フィルタ４１の基板材料としては、例えば不要な近赤外光を吸収する材料であっても良いし、近赤外光を反射する多層膜もしくは単層膜が形成されていても良い。
【００５０】
マイクロレンズアレイ１４が形成された光学フィルタ基板４１は、マイクロレンズの面を撮像素子側に向けた方向に配置する。
【００５１】
この第２実施形態も第１実施形態と同様に、カメラ高さの増大を抑制することができるとともに、マイクロレンズにより視差をもった画像群が取得されるため、視差画像を利用した様々な３次元画像処理を行うことができうる。
【００５２】
また、第１および第２実施形態の固体撮像装置は、スチルカメラばかりでなく、図９に示す携帯情報端末２００に適用することができる。図９に示す携帯情報端末は一例であって、符号１０は第１または第２実施形態における固体撮像装置の撮像モジュールを示す。
【００５３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５４】
１０  撮像モジュール部  
１２  結像光学系（結像レンズ）
１４  マイクロレンズアレイ
１４ａ  マイクロレンズ
１６  撮像素子
１６ａ  半導体基板
１６ｂ  画素（フォトダイオード）
１６ｃ  カラーフィルタ
１６ｄ  画素集光用マイクロレンズ
１８  撮像回路
２０  撮像信号プロセッサ
２２  カメラモジュールＩ／Ｆ
２４  画像取り込み部
２６  信号処理部
２８  ドライバＩ／Ｆ
４０  可視光フィルタ基板
４２  スペーサ樹脂
４４  電極パッド
４８  バンプ
５０  チップ
５２  光遮蔽カバー
５４  モジュール電極
６２  レンズ鏡筒
６４  レンズホルダ
８０  主光線
８２  周辺光線
２００  携帯情報端末
【図１】
0005568150.tif 000014
【図２】
0005568150.tif 000015
【図３】
0005568150.tif 000016
【図４】
0005568150.tif 000017
【図６】
0005568150.tif 000018
【図７】
0005568150.tif 000019
【図８】
0005568150.tif 000020
【図９】
0005568150.tif 000021
【図５】
0005568150.tif 000022