(57)【要約】【課題】高解像度撮像モジュールを小型化しても設計や製造が容易である固体撮像装置、携帯情報端末、および固体撮像システムを提供する。【解決手段】本実施形態による固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像するメインレンズと、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有し、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに、Ｎｆ倍以下に縮小するマイクロレンズアレイと、前記複数のマイクロレンズの画像を拡大合成する画像処理部と、を有し、像空間周波数をｕとし、前記マイクロレンズのＭＴＦ関数をＭＴＦＭＬ（ｕ）とし、前記メインレンズのＭＴＦ関数をＭＴＦＭａｉｎ（ｕ）とするとき、       ＭＴＦＭａｉｎ（ｕ）≦ＭＴＦＭＬ（ｕ）≦ＭＴＦＭａｉｎ（ｕ×Ｎｆ）の関係を満たす。【選択図】図１２
2014164174.tif 000002
【特許請求の範囲】
【請求項１】
半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、
被写体を結像面に結像するメインレンズと、
前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有し、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに、Ｎｆ倍以下に縮小するマイクロレンズアレイと、
前記複数のマイクロレンズの画像を拡大合成する画像処理部と、
を有し、像空間周波数をｕとし、前記マイクロレンズのＭＴＦ関数をＭＴＦＭＬ（ｕ）とし、前記メインレンズのＭＴＦ関数をＭＴＦＭａｉｎ（ｕ）とするとき、
ＭＴＦＭａｉｎ（ｕ）≦ＭＴＦＭＬ（ｕ）≦ＭＴＦＭａｉｎ（ｕ×Ｎｆ）
の関係を満たすことを特徴とする固体撮像装置。
【請求項２】
前記メインレンズの絞り形状が円形であり、前記Ｎｆは０．００１以上０．８７以下であることを特徴とする請求項１記載の固体撮像装置。
【請求項３】
前記メインレンズの絞り形状が六角形であり、前記Ｎｆは０．００１以上１以下であることを特徴とする請求項１記載の固体撮像装置。
【請求項４】
波長が３８０ｎｍ〜７８０ｎｍの範囲において、
ＭＴＦＭａｉｎ（ｕ）≦ＭＴＦＭＬ（ｕ）≦ＭＴＦＭａｉｎ（ｕ×Ｎｆ）
の関係を満たすことを特徴とする請求項１記載の固体撮像装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の固体撮像装置を備えた携帯情報端末。
【請求項６】
複数の撮像モジュールであって、各撮像モジュールが、
半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像するメインレンズと、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有し、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに、Ｎｆ倍以下に縮小するマイクロレンズアレイと、前記複数のマイクロレンズの画像を拡大合成する画像処理部と、を有し、像空間周波数をｕとし、前記マイクロレンズのＭＴＦ関数をＭＴＦＭＬ（ｕ）とし、前記メインレンズのＭＴＦ関数をＭＴＦＭａｉｎ（ｕ）とするとき、
ＭＴＦＭａｉｎ（ｕ）≦ＭＴＦＭＬ（ｕ）≦ＭＴＦＭａｉｎ（ｕ×Ｎｆ）
の関係を満たす複数の撮像モジュールと、
前記複数の撮像モジュールを制御して、各撮像モジュールによって撮像された画像を取り込んで、画像処理を行う制御部と、
を備えていることを特徴とする固体撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置、携帯情報端末、および固体撮像システムに関する。
【背景技術】
【０００２】
２次元情報として被写体の奥行き方向の距離を得ることができる撮像技術は、参照光を使用して被写体からの反射光の強度または戻り時間を計測する技術、または複数のカメラを使用したステレオ測距技術など様々な技術が知られている。このような距離を得ることができる画像の情報（距離画像情報）によって、通常のカメラから得られる画像情報よりも高度な被写体認識が可能となる。このため、距離画像情報を得ることができるデバイスは、家電、ゲーム、産業用等の、比較的廉価な製品としてのニーズが高まっている。
【０００３】
距離画像情報を得る撮像技術の中で、単一のカメラで多数の視差が得られかつ三角測量に基づいた測距が可能となる構成として、結像レンズを持つ複眼構成の撮像装置が提案されている。この撮像装置は、例えば結像メインレンズを有し、結像メインレンズと撮像素子の中間に、再結像系光学系として複数の光学系が配置される。複数の光学系としては、例えば平面上に複数のマイクロレンズが形成されたマイクロレンズアレイなどが用いられる。各マイクロレンズの下部にはその像を取得するために、複数の画素が複数のマイクロレンズに対応する位置に設けられている。結像メインレンズにおいて結像された像は、再結像マイクロレンズによって撮像素子へ再結像され、その再結像された画像はそれぞれ、マイクロレンズの配置位置によって存在する視差の分だけ、視点がずれた画像群（視差画像群）となる。複数のマイクロレンズから得られた視差画像群を画像処理することで、三角測量の原理により被写体の距離推定が可能であり、またつなぎ合わせの画像処理を行うことによって、２次元画像として再構成することも可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２２８４４号公報
【特許文献２】特開２０１１−２３２７７２号公報
【非特許文献】
【０００５】
【非特許文献１】K. Fife, A. E. Gamal, and H. Wong, “A 3D multi-aperture image sensor architecture,” Custom Integrated Circuits Conference, pp. 281-284, Sep.2006.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本実施形態は、高解像度撮像モジュールを小型化しても設計や製造が容易である固体撮像装置、携帯情報端末、および固体撮像システムを提供する。
【課題を解決するための手段】
【０００７】
本実施形態による固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像するメインレンズと、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有し、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに、Ｎｆ倍以下に縮小するマイクロレンズアレイと、前記複数のマイクロレンズの画像を拡大合成する画像処理部と、を有し、像空間周波数をｕとし、前記マイクロレンズのＭＴＦ関数をＭＴＦＭＬ（ｕ）とし、前記メインレンズのＭＴＦ関数をＭＴＦＭａｉｎ（ｕ）とするとき、ＭＴＦＭａｉｎ（ｕ）≦ＭＴＦＭＬ（ｕ）≦ＭＴＦＭａｉｎ（ｕ×Ｎｆ）の関係を満たすことを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態による固体撮像装置を示すブロック図。
【図２】図２は、第１実施形態による固体撮像装置１を示す断面図。
【図３】図３（ａ）および図３（ｂ）は、第１実施形態の固体撮像装置の光学系における被写体までの距離と光線群との関係を示す図。
【図４】図４（ａ）乃至図４（ｃ）は、同一被写体が複数回撮影されているマイクロレンズ画像群から、重複のない２次元画像を再構成する方法を示す図。
【図５】図５（ａ）乃至図５（ｅ）は、２次元画像を再構成する画像合成方法を説明する図。
【図６】図６は、ＭＴＦの値の周波数特性を示す図。
【図７】図７（ａ）乃至図７（ｃ）にセンササンプリング限界を説明する図。
【図８】マイクロレンズにおいける縮小による像周波数変化を示す図。
【図９】センサ（像面）での像周波数を示す図。
【図１０】再構成後の画像が持つ像周波数特性を示す図。
【図１１】第１実施形態による固体撮像装置における像周波数の関係を示す図。
【図１２】第１実施形態の光学系（ＭＬＡ含）の一具体例を示す断面図。
【図１３】一具体例の光学系の数値例を示す図。
【図１４】一具体例の光学系のＭＴＦ特性を示す図。
【図１５】一具体例の光学系のＭＴＦスルーフォーカス特性を示す図。
【図１６】一具体例の光学系のＭＴＦスルーフォーカス特性を示す図。
【図１７】比較例の光学系（ＭＬＡ含）の一具体例を示す断面図。
【図１８】比較例の光学系の数値例を示す図。
【図１９】比較例の光学系のＭＴＦ特性を示す図。
【図２０】比較例の光学系のＭＴＦスルーフォーカス特性を示す図。
【図２１】比較例の光学系のＭＴＦスルーフォーカス特性を示す図。
【図２２】第２実施形態による携帯情報端末を示す図。
【図２３】第３実施形態による固体撮像システムを示す図。
【図２４】図２４（ａ）乃至２４（ｄ）は、像の拡大と加算のされ方の様子を示す図。
【発明を実施するための形態】
【０００９】
近年、小型、薄型（低背）、低消費電力であって、かつ単一モジュールの撮像装置で、高精度な距離画像と、良好な可視画像の両方を取得することが求められている。
【００１０】
また、情報携帯端末および携帯電話機等の携帯端末は、急速に普及している。これらの携帯端末に搭載される撮像モジュールは、高解像度の２次元可視画像を取得可能であることと共に、小型かつ低背（薄型）、低消費電力であることが要求される。
【００１１】
更に今後は、可視画像だけでなく、ジェスチャ入力や距離画像取得のような、高付加機能による新たな撮像モジュールの使い方が求められている。
【００１２】
一方、撮像モジュール内の撮像素子の画素ピッチは、可視光の波長オーダーに限りなく近づいており、微細化が進んでいる。光の集光スポットのサイズ径の限界である回折限界は、波長や光学系のＦナンバーに比例する。このため、画素ピッチに見合う高解像化を達成するには光学系の低Ｆナンバー化も同時に行わなければならない。しかし、光学系の低Ｆナンバー化の設計によって、開口収差が増加し、レンズ設計、製造が困難化し、またレンズの構成枚数が増加傾向にある。例えば、近年はＦナンバーが２前後の光学系として、レンズが４枚構成の光学系、レンズが５枚構成の光学系が提案されている。しかし、これらのレンズ構成では、収差補正が不十分であり、レンズ枚数の増加による部材および組み立てコストの増加、小型化の困難化等の課題がある。
【００１３】
以上のように、光学系は低Ｆナンバー化、高解像度、広画角が要求されるため、多数のレンズを用いて収差補正を行わなければならないのが現状である。その結果としてレンズ構成枚数が増加し、設計も複雑化している。特に、撮像モジュールとしても、その中で大きな体積を占めるレンズ系への小型化、薄型化の要求が強い。しかし、設計、製造マージンも厳しく、小型化および薄型化が困難であるのが現状である。以上のように、高解像度撮像モジュールを小型化する場合の設計や製造は、近年困難さを増している。
【００１４】
以下に、実施形態について図面を参照して説明する。
【００１５】
（第１実施形態）
第１実施形態による固体撮像装置（以下、カメラモジュールともいう）を図１に示す。第１実施形態の固体撮像装置１は、撮像モジュール部１０と、撮像信号プロセッサ（以下、ＩＳＰ(Image Signal Processor)ともいう）２０と、を有する。
【００１６】
撮像モジュール部１０は、結像光学系（メインレンズともいう）１２と、マイクロレンズアレイ１４（以下、ＭＬＡ(Micro Lens Array)ともいう）と、撮像素子１６と、撮像回路１８と、を有する。結像光学系１２は、被写体からの光を撮像素子１６へ取り込む撮像光学系として機能する。撮像素子１６は、結像光学系１２により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。マイクロレンズアレイ１４は、例えば複数のマイクロレンズを有するマイクロレンズアレイもしくはプリズム等の微小光学系である。結像光学系１２によって結像面に結像する光線群を、個々のマイクロレンズ（以下ＭＬと表記）と対応する画素ブロックに縮小再結像する光学系として機能する。撮像回路１８は、撮像素子１６の画素アレイの各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。あるいは、駆動回路部と画素信号処理回路部を合わせて駆動処理回路としてもよい。以降の実施形態においては、撮像回路１８は駆動処理回路を有することとする。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路となどを有している。
【００１７】
ＩＳＰ２０は、カメラモジュールＩ／Ｆ（インターフェース）２２と、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。撮像モジュール部１０による撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２から画像取り込み部２４へ取り込まれる。信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。
【００１８】
図２に第１実施形態による固体撮像装置１の断面を示す。図２に示すように、第１実施形態の固体撮像装置１においては、撮像素子１６は、半導体基板１６ａと、画素１６ｂと、カラーフィルタ１６ｃと、画素集光用マイクロレンズ１６ｄと、を有する。画素１６ｂは半導体基板１６ａ上に形成され、フォトダイオードを有する。半導体基板１６ａ上には、これらの画素１６ｂを駆動してこれらの画素１６ｂからの信号を読み出す駆動／読み出し回路（図示せず）も形成されている。
【００１９】
画素１６ｂの上部には、画素１６ｂごとにＲ（赤色波長光域の光に対して高い透過率を有する）、Ｇ（緑色波長光域の光に対して高い透過率を有する）、Ｂ（青色波長光域の光に対して高い透過率を有する）を有するカラーフィルタ１６ｃが形成される。もしくは、カラーフィルタ１６ｃはＷ（赤、緑、青色波長光透過）を有していても良い。このカラーフィルタ１６ｃの上部には、１画素ごとに画素集光用マイクロレンズ１６ｄが形成される。画素集光用マイクロレンズ１６ｄは設けなくても良い。
【００２０】
カラーフィルタ１６ｃの上方に、マイクロレンズアレイ１４が配置される。マイクロレンズアレイ１４は可視光透過基板１４ｂ上に形成されたマイクロレンズ部１４ａを有している。このマイクロレンズ部１４ａは可視光透過基板１４ｂから見て撮像素子１６側に配置され、複数の２次元アレイ状に配列したマイクロレンズを有している。アレイの配列は、アレイ中心部から4回（９０度）対称の縦横の正方配列、もしくはアレイ中心部から6回（６０度）対称の六方配列が用いられる。各マイクロレンズは、半導体基板１６ａ上に設けられた複数の画素からなる画素ブロックに対応し、対応する画素ブロックに縮小結像する光学系として機能する。
【００２１】
また、可視光透過基板１４ｂは、画素１６ｂが形成された撮像領域の周囲に設けられた樹脂材料等からなるスペーサ４２によって半導体基板１６ａと光軸方向（図では上下方向）で位置合わせして接合される。なお、半導体基板１６ａと可視光透過基板１４ｂとを接合する際の位置合わせは、合わせマーク等を基準にして行う。可視光透過基板１４ｂは、可視光を透過する機能の他に、例えば不要な近赤外光をカットする材料であっても良いし、可視光を透過するが近赤外光を反射する多層膜もしくは単層膜が形成されていていても良い。
【００２２】
また、マイクロレンズアレイ１４の上部には、必要に応じて光学フィルタ４０が設けられている。例えば、可視光透過基板１４ｂが近赤外光をカットする機能をもたない場合には、近赤外光をカットする機能をもつ光学フィルタ４０が配置される。
【００２３】
また、半導体基板１６ａには、画素１６ｃの読出し用電極パッド４４が設けられ、この電極パッド４４の下部には半導体基板１６ａを貫通し、撮像素子１６の下に設けられた処理／駆動チップ５０と導通する貫通電極４６が形成されている。半導体基板１６ａは、貫通電極４６および貫通電極４６と処理／駆動チップ５０との間に設けられたバンプ４８を介して処理および駆動チップ５０と電気的に接続される。この処理／駆動チップ５０には、撮像素子１６を駆動し読み出された信号を処理する駆動処理回路（図１に示す撮像回路１８）が形成されている。また、半導体基板１６ａと、処理／駆動チップ５０との電気的接続は、貫通電極４６を介してだけでなく、両チップに設けられた電極パッド間を金属ワイヤー等で結線しても良い。
【００２４】
また、可視光透過基板１４ｂの上方には結像光学系である、例えば複数枚からなる結像レンズ１２が設けられ、この結像レンズ１２はレンズ鏡筒６２に取り付けられ、このレンズ鏡筒６２はレンズホルダ６４に取り付けられる。このレンズホルダ６４の取り付け時に、押し付け圧と出力像の関係から結像レンズ１２の取り付け位置の調整をしても良い。なお、処理／駆動チップ５０、半導体基板１６ａ、可視光透過基板１４ｂ、およびレンズホルダ６４の周囲（側面）には、不要な光を遮断するための光遮蔽カバー５２が取り付けられる。そして、処理／駆動チップ５０の下部には、処理／駆動チップ５０と外部とを電気的に接続するモジュール電極５４が設けられる。
【００２５】
（被写体までの距離と光線群の関係）
次に、第１実施形態の固体撮像装置１の光学系（虚像光学系）における被写体までの距離と光線群との関係（幾何光学関係）について図３（ａ）、図３（ｂ）を参照して説明する。単純化のため、ここでは結像に関わる式は近軸領域で成立する式とし、図は光軸近傍の範囲のみを記述する。図３（ａ）は固体撮像装置１全体を表す図である。図３（ｂ）は、図３（ａ）に示すマイクロレンズの領域を拡大した図である。
【００２６】
結像光学系（結像レンズ）１２のみを考えた場合、光軸上の被写体１００からの主光線８０およびその同族光線である周辺光８２は、結像光学系１２の有効焦点距離ｆと、結像光学系１２と被写体１００との距離Ａから決まる仮想結像面７０において、式（１）の関係を満たすように結像する。
【数１】
2014164174.tif 000003
ここで、ｆは結像レンズ１２の有効焦点距離、Ａは結像レンズ１２の物体側主面から被写体点１００までの距離、Ｂは結像レンズ１２の像側主面から仮想結像面７０までの距離を示す。結像レンズ１２の像倍率（横倍率）Ｍは下式で表される。
【数２】
2014164174.tif 000004
ここで、本実施形態では結像レンズ１２の仮想結像面７０を撮像素子１６よりも後方（被写体１００と反対側）へ位置させる。このとき、仮想結像面７０よりも前方にマイクロレンズ１４ａを配置するため、撮像素子１６の面に集光する。このとき、光線群８０、８２は虚像関係で縮小結像することになる。マイクロレンズ１４ａの結像系は下式で表される。
【数３】
2014164174.tif 000005
ここで、ｇはマイクロレンズ１４ａの焦点距離、Ｃはマイクロレンズ１４ａの物体側主面から仮想結像面までの距離、Ｄはマイクロレンズ１４ａの像側主面からマイクロレンズによる結像点までの距離を示す。このとき、マイクロレンズ１４ａの結像系による像倍率は次の式（４）によって表される。
【数４】
2014164174.tif 000006
ここで、幾何学的関係により式（５）の変数Ｅを導入する。光学系が固定焦点光学系の場合、変数Ｅは固定設計値となる。
Ｅ＝Ｂ−Ｃ          （５）
【００２７】
また、隣接するマイクロレンズ１４ａを２個選択した場合の、マイクロレンズ１４ａの配列ピッチ、またはマイクロレンズ１４ａ間の中心間距離をＬＭＬとする。このとき、同一被写体１００から出た光線群８４ａ、８４ｂ、８４ｃ、８６が隣接した複数のマイクロレンズ１４ａにおいて、像点ｐ１、ｐ２、ｐ３へ分配して複数個所にて結像される。このときのＬＭＬと片側の像ずれ量Δは、図３（ｂ）に示す各マイクロレンズ１４ａにとっての主光線８４ａ、８４ｂ、８４ｃの幾何学的関係より式（６）で表される。
【数５】
2014164174.tif 000007
【００２８】
式（１）、（２）、（６）より被写体１００の結像光学系１２からの距離Ａと、像のずれ量Δは次の式（７）に示す関係となる。
【数６】
2014164174.tif 000008
【００２９】
式（７）において、ｆ、Ｅ、ＬＭＬは、設計時のパラメータであって固定値で既知である。ここで、Ｄの変化量はＡの変化量に対して非常に僅かのため、固定値Ｄ０とみなすとする。Ｄ０はマイクロレンズ１４ａの像側主面から撮像素子１６の面までの距離を示す。すなわち、Ａに対して一意にΔが決まる。このとき、式（７）は以下の式（８）に示すように表される。
【数７】
2014164174.tif 000009
ここでは、ｆ，Ｅ，Ｄ０，ＬＭＬは設計値のため既知であり、像のずれ量Δが撮像素子１６から検出できれば、被写体距離Ａが算出可能となる。
【００３０】
同一被写体１００から出た光線が、結像レンズ１２、マイクロレンズ１４ａにより像点ｐ１、ｐ２、ｐ３に結像した際の、相互の像のずれ量Δを求めるには、撮像素子１６が記録した隣接するマイクロレンズ１４ａの像の間の画像マッチング処理を用いる。画像マッチング処理としては、例えば、２つの画像の類似度や相違度を調べる、周知のテンプレートマッチング法を用いることができる。また、更に精密にずれ位置を求める際には、画素単位ごとに得られた類似度や相似度を連続なフィッティング関数等で補間し、フィッティング関数の最大や最小を与えるサブピクセル位置を求めることで、更に高精度にずれ量を求めることができる。
【００３１】
（２次元画像を再構成する方法）
ここで、同一被写体が複数個所（ｐ１、ｐ２、ｐ３、、、）で撮影されているマイクロレンズ画像群から、重複のない２次元画像を再構成する方法について図４（ａ）乃至図４（ｃ）を参照して説明する。図４（ａ）は図３（ａ）と同様に、第１実施形態の固体撮像装置１の光学系（虚像光学系）における被写体までの距離と光線群との関係を示す図である。図４（ｂ）、４（ｃ）は、隣接するマイクロレンズにおける重複視野の関係を説明する図である。
【００３２】
隣接する３個のマイクロレンズがあり、それらが図４（ｂ）、４（ｃ）に示すように、撮像素子１６の面にマイクロレンズ像９１ａ、９１ｂ，９１ｃをそれぞれ形成する場合を考える。このように重複のないマイクロレンズ像を形成するには、結像レンズ１２の実効Ｆナンバーとマイクロレンズ１４ａの実効Ｆナンバーが一致していれば良い。
【００３３】
マイクロレンズの像９１ａ、９１ｂ，９１ｃが結像する視野は、仮想結像面７０においては視野９３ａ、視野９３ｂ、視野９３ｃとなり、図４（ｃ）に示すように重複した範囲となる。図４（ｂ）、４（ｃ）では、マイクロレンズ像が隙間なく近接して配置されていてかつ像縮小率Ｎが０．５の場合を描いており、各視野が０．５倍された結果、どの被写体点も２回以上重複されて撮像される関係となる。Ｎ＝０．５の関係にあるときは、各マイクロレンズ像を１／Ｎ倍、すなわち、２倍とすることで、仮想結像面７０の像を再現できることになる。
【００３４】
像縮小率Ｎを、撮影後のマイクロレンズ画像群から知るためには、式（４）、（６）の関係から、（９）が導かれることを利用する。
【数８】
2014164174.tif 000010
【００３５】
マイクロレンズ１４ａのピッチＬＭＬは既知であるため、同一被写体１００のずれ量Δを画像から求めれば、像縮小率Ｎも求まることになる。
【００３６】
（２次元画像を再構成する合成処理方法）
次に、図５（ａ）乃至図５（ｅ）を参照して、２次元画像を再構成する画像合成方法を説明する。まず、ステップＳ１において、撮像素子１６から複眼ＲＡＷ画像を取り出す。この複眼ＲＡＷ画像は、撮像素子１６から出力された状態の画像であり、その一例を例えば図５（ｂ）に示す。この複眼ＲＡＷ画像に対して、Ｂ、Ｇ、Ｒ画素の信号バランスを調整するホワイトバランス処理を公知の技術を用いて行う（ステップＳ２）。続いて、例えばＲ画素の位置にはＧ、Ｂの信号情報がないため、その周りに配置された画素を参照し、それらから推測してＧ、Ｂ信号を作成するデモザイキング処理を行う（ステップＳ３）。簡単には、周囲の画素から平均値をとる処理を行えば良いが、必要に応じて参照する画素範囲を広げるなど、様々な方法を取ることが可能である（図５（ｃ）参照）。このデモザイキング処理は、Ｇ画素、Ｂ画素に対しても同様に行う。
【００３７】
図３（ａ）、３（ｂ）で示されるような被写体１００の１点Ｐに対応する像点ｐ１、ｐ２、・・・、ｐｎは、撮像素子１６にて記録した画素信号値Ｓｐ１、Ｓｐ２、・・・、Ｓｐｎとして記録されている。デモザイキング処理に続いて、これらの画素信号値Ｓｐ１、Ｓｐ２、・・・、Ｓｐｎを合成後の信号Ｓ’Ｐとｎ対１にて対応付けする（ステップＳ４および図５（ｄ）参照）。対応付けの方法は、前述の通り、像点のずれ量Δの関係や視野の重複関係を画像から検出することにより行う。もしくは、Δは被写体距離Ａを仮定すれば求まるので、Ａをある位置と仮定したときのΔを用いることも可能である。その後、ステップＳ５において、２次元画像合成方法により合成を行い、２次元画像を得て終了となる。このようにして得られた２次元画像の一例を図５（ｅ）に示す。
【００３８】
次に、２次元画像合成方法について説明する。ｎ個の画素の画素信号値をＳｐ１、Ｓｐ２、・・・、Ｓｐｎとし、それらの画素の持つノイズ値をＮｐ１、Ｎｐ２、・・・、Ｎｐｎとする。まず、各画素信号値とノイズ値に対し、輝度補正処理を行う。輝度補正処理は、各マイクロレンズ像内での輝度分布が外周部ほど低下していることに対して行う補正である。輝度補正係数ａ１、ａ２、・・・、ａｎを画素信号値Ｓｐ１、Ｓｐ２、・・・、Ｓｐｎにそれぞれ乗算する。続いて、乗算後の値ａｉＳｐｉ（ｉ＝１，・・・，ｎ）を、式（１０）を用いて加算平均し、加算平均後の値を合成後の信号値Ｓ’Ｐとする。また、このときの合成後の信号値Ｓ’Ｐに含まれるノイズ値Ｎ’Ｐは、式（１１）を用いて算出される。
【００３９】
Ｓ’Ｐ＝｛ａ１Ｓｐ１＋ａ２Ｓｐ２＋…＋ａｎＳｐｎ｝／ｎ          （１０）
Ｎ’Ｐ＝｛（ａ１Ｎｐ１）２＋（ａ２Ｎｐ２）２＋・・・＋（ａｎＮｐｎ）２｝１／２／ｎ
（１１）
【００４０】
なお、前記ステップは、合成手法により前後が異なる場合もある。例えば、デモザイキング処理を２次元画像合成の後に行う、など、ステップＳ１乃至ステップＳ５の順番を適宜入れ替える処理も可能である。
【００４１】
（２次元可視画像のＭＴＦの限界要因１：レンズ光学系での回折限界）
ＭＴＦ(Modulation Transfer Function)とは、光学系の変調度(Modulation)および像周波数の伝達能力を示す値である。以下、撮像装置が取得できる、２次元可視画像のＭＴＦ値を制限する２つの要因について説明する。
【００４２】
１つめとして、光学系の回折現象から決まる集光スポットサイズに限界がある。理想的な無収差レンズでも波動的には回折像の拡がりが生じており、集光サイズはある有限サイズが限界となる。円形絞りの無収差レンズの０次回折像強度の底面は円形部となり、エアリーディスクと呼ばれ、その半径ｒａは理論的に求められており、以下式で表される。
ｒａ＝１．２２λＦ
ここで、λは光の波長、ＦはＦナンバーである。
【００４３】
波動的な回折像の拡がりがある結果、像周波数の伝達能力であるＭＴＦの値は周波数ｕが増加するほど低下することになり、無収差レンズのＭＴＦの理論式として、以下の（１２）式が知られている。
【数９】
2014164174.tif 000011
【００４４】
この（１２）式からわかるように、ＭＴＦの値は高周波になるほど低下していき、集光スポット限界で決まるある周波数でＭＴＦの値は０となる。このときの周波数をカットオフ周波数ｕｃと呼ばれ、以下（１３）式で表される。
【数１０】
2014164174.tif 000012
【００４５】
この（１３）式より、Ｆナンバー（以下、Ｆ＃ともいう）が大きいほど、また長波長ほど、回折スポット半径ｒａが大きくなるため、ＭＴＦ特性は低下する。例として、３種類の波長λが４７０ｎｍ、５５５ｎｍ、６６０ｎｍである場合のそれぞれに対して３種類のＦ＃が１．４、２．８、８．０であるときの、（１３）式から求めたＭＴＦの値の周波数特性を図６のグラフｇ１〜ｇ９に示す。グラフｇ１は波長λが４７０ｎｍでＦ＃が１．４である場合、グラフｇ２は波長λが５５５ｎｍでＦ＃が１．４である場合、グラフｇ３は波長λが６６０ｎｍでＦ＃が１．４である場合の特性を示す。グラフｇ４は波長λが４７０ｎｍでＦ＃が２．８である場合、グラフｇ５は波長λが５５５ｎｍでＦ＃が２．８である場合、グラフｇ６は波長λが６６０ｎｍでＦ＃が２．８である場合の特性を示す。グラフｇ７は波長λが４７０ｎｍでＦ＃が８．０である場合、グラフｇ２は波長λが５５５ｎｍでＦ＃が８．０である場合、グラフｇ３は波長λが６６０ｎｍでＦ＃が８．０である場合の特性を示す。長波長ほど、またＦ＃が大きいほどＭＴＦの値は低下するため、図６からわかるように波長６００ｎｍ以上の赤色領域まで解像度を得るためには、低いＦ＃の光学設計とすることが必要となる。
【００４６】
（２次元可視画像のＭＴＦの限界要因２：撮像素子のサンプリング限界）
撮像装置が取得可能なＭＴＦの値を制限する２つ目の要因は、撮像素子の画素ピッチである。撮像素子の画素ピッチがｄのとき、撮像素子に投影された光学像に対してサンプリングできる最大周波数は、ナイキスト周波数ｆｎと呼ばれ、ｆｎ＝１／２ｄ（ＬＰ／ｍｍ）で表される。ＬＰは白黒の一対を意味し、Line Pairの略記号である。図７（ａ）乃至図７（ｃ）にセンササンプリング限界を説明する図である。図７（ａ）は空間周波数がｆｎ／２であるときの入力（光）とセンサ出力（電気信号）を示す図であり、図７（ｂ）は空間周波数がｆｎであるときの入力とセンサ出力を示す図であり、図７（ｃ）は空間周波数が２ｆｎであるときの入力とセンサ出力を示す図である。例えば、ｄ＝１．４μｍである画素を有する撮像素子では、ナイキスト周波数ｆｎは３５７ＬＰ／ｍｍであり、ｄ＝１．１μｍではｆｎは４５５ＬＰ／ｍｍとなり、画素ピッチが微細なほど、サンプリングできる最大周波数が高くなる。
【００４７】
（メインレンズとＭＬの光学的な像周波数関係）
第１実施形態による固体撮像装置におけるメインレンズのＭＴＦ特性と、メインレンズの像をマイクロレンズ（以下、ＭＬともいう）で縮小することによる像周波数の変化を図８に示す。ここでは、画素ピッチｄを１．４μｍとし、その画素ピッチを有する撮像素子のナイキスト周波数ｆｎ＝３５７ＬＰ／ｍｍ以上で解像力が無いメインレンズを仮定している。像を縮小することは、像が微細になる、つまり周波数が増加することを意味し、メインレンズがＭ倍（Ｍ＜１）で形成した像を、マイクロレンズが更にＮ倍縮小（Ｎ＜１）するとき、撮像素子上に投影される像周波数は、マイクロレンズが無くメインレンズのみであった場合と比較し、１／Ｎ倍増加する（１／Ｎ＞１）関係となる。図８はマイクロレンズによる縮小率Ｎが１／２．５のときの関係を表しており、このとき、マイクロレンズによる縮小後、周波数は１／Ｎ倍（２．５倍）増加する関係となる。
【００４８】
一方、サンプリング面であるセンサ面（像面）における像周波数を図９に示す。図８に示す関係において、マイクロレンズの解像性能が十分であれば、メインレンズの像がマイクロレンズにより縮小し（図８参照）、像面（センサ面）においてＮ倍だけ像周波数が増加する。ただし、実際の光学系では、前述のように、光学的回折限界や、収差により、マイクロレンズの周波数再現性（ＭＴＦ）に限界があるため、図９に示すように、マイクロレンズにおいて、ある周波数よりも低い像しか再現されないローパス作用が起こり、周波数増加は頭打ちになり制限がかかる。なお、図９に示すグラフｇ２、ｇ４は、波長λが５５５ｎｍ、マイクロレンズのＦ＃が３．５として計算されている。
【００４９】
再構成後の画像が持つ像周波数特性を図１０に示す。再構成は、前述したようにマイクロレンズによって像が縮小した分だけ、マイクロレンズの像を拡大し加算処理するため、拡大処理によって、再構成後の画像の周波数は低減することになる。
【００５０】
（メインレンズとＭＬの持つべき周波数特性）
前述のように、メインレンズのＭＴＦＭａｉｎ（ｕ）が像縮小時、実際にはマイクロレンズのＭＴＦＭＬ（ｕ）により頭打ちになる原理を考慮すると、メインレンズのＭＴＦＭａｉｎ（ｕ）がマイクロレンズのＭＴＦＭＬ（ｕ）より低く、縮小後のメインレンズのＭＴＦＭａｉｎ（ｕ）がマイクロレンズのＭＴＦＭＬ（ｕ）より高くなるような構成とすることが、最適な設計となる。メインレンズのＭＴＦＭＬ（ｕ）を低く設計するということは、各種収差の発生量を従来ほど厳しく要求しないということを意味する。収差要求を緩和することで、レンズ設計での設計自由度が増加し、低枚数化、低Ｆ＃化等の、従来困難だった領域の設計が可能となる。
【００５１】
次に、第１実施形態による固体撮像装置における像周波数の関係を図１１に示す。メインレンズのＭＴＦＭａｉｎ（ｕ）は、マイクロレンズのＭＴＦＭＬ（ｕ）より低く設計することが可能である。ただし、縮小後のＭＴＦＭａｉｎがマイクロレンズのＭＴＦＭＬより高い範囲となるためには、以下の（１４）式を満たす必要がある。
【００５２】
ＭＴＦＭａｉｎ（ｕ）≦ＭＴＦＭＬ（ｕ）≦ＭＴＦＭａｉｎ（ｕ×Ｎｆ）      （１４）
ここで、ｕは像空間周波数を示し、Ｎｆはマイクロレンズによる縮小率を示す。
【００５３】
Ｎｆは、０．８７未満であることが好ましく、０．５未満であることがより好ましい。この理由を図２４（ａ）乃至図２４（ｄ）を参照して説明する。図２４（ａ）乃至２４（ｄ）は、メインレンズ絞りが円形で、マイクロレンズ像も円形であり、全くギャップがなく像が配列している場合の像の拡大と加算のされ方の様子を示す図である。図２４（ａ）乃至図２４（ｄ）に示す像は、図４（ａ）乃至４（ｃ）の撮像素子１６における像に対応する。仮にマイクロレンズによる縮小がない場合、図４（ａ）乃至４（ｃ）の像面７０を再構成処理により再現する。再構成時の倍率は、図２４（ａ）に示すように、縮小倍率Ｎｆの逆数である１／Ｎｆ＝１．００となるが、この場合、図４（ａ）の像面７０で形成される像をマイクロレンズの視野が１００％カバーしておらず、再構成時の画像に撮影されない被写体領域が存在してしまう。
【００５４】
図２４（ｂ）に示すように、マイクロレンズ視野がメインレンズ像を１００％カバーするために必要な最低限の倍率（１／Ｎｆ）は２／３１／２（＝１．１５）となり、縮小倍率Ｎｆが０．８７（＝１／１．１５）となる。
【００５５】
図２４（ｃ）に示すように、１／Ｎｆの値が１．５０の場合は、マイクロレンズ像の中心部は１回しか撮影されないため、中心部に撮影された被写体点は距離の推定ができない。しかし、被写体のサイズがマイクロレンズ像と同等程度のサイズ（微小過ぎないサイズ）であれば、マイクロレンズの外周部のみのパターンを元に画像マッチングすることも可能である。
【００５６】
図２４（ｄ）に示すように、１／Ｎｆの値が２．００の場合を示している。マイクロレンズ像の中心部まで２回撮影されるには、１／Ｎｆの値が２より大きいこと、すなわちＮｆは、０．５未満であることが必要となる。
【００５７】
なお、図１１においては、Ｎｆ＝０．４の場合を示している。一般的に、像高が高くなるほど各種収差が増加する。このため、第１実施形態においては、メインレンズの結像性能は悪化するが、どの像高、波長でも上記（１４）式の関係を満たすようにするのが好ましい。すなわち、例えば、波長３８０ｎｍ〜７８０ｎｍの波長領域において上記（１４）式の関係を満たすようにする。あるいは、カラーフィルタ１６ｃを透過する光の波長領域において、上記（１４）式の関係を満たすようにする。具体的には、カラーフィルタ１６ｃがＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタを有する場合、Ｂのカラーフィルタを通過する光のピーク波長以上、Ｒのカラーフィルタを通過する光のピーク波長以下、の波長領域において、上記（１４）式の関係を満たすようにする。
【００５８】
像高は撮像エリア中心（光軸中心）位置を０％とするとき、撮像エリア四隅である１００％まで式の関係を満たすことが理想的である。しかし、例えばセンサ領域の長方形が縦と横の比が３：４であるとき、領域の横幅をカバーする像高８０％まで式の関係を満たしている場合でも、画面の大部分で良好な特性を発揮できることから好ましい。
【００５９】
また、波長範囲は可視光波長域である３８０〜７８０ｎｍをカバーしていることが好ましい。
なお、第１実施形態において、メインレンズの絞り形状が円形であり、Ｎｆが０．００１以上０．８７以下であることが好ましい。
【００６０】
また、メインレンズの絞り形状が六角形であり、Ｎｆが０．００１以上１以下であることが好ましい。メインレンズ絞り形状が六角形であれば、マイクロレンズ像の形状も六角形となるため、隙間なくマイクロレンズ像が充填している。よって、少しでも拡大すれば隣接像と重なるため、マイクロレンズ像の外周部を使った、前記のような部分的な画像マッチングが可能である。
【００６１】
（第１実施形態における光学系のレンズ構成の一具体例）
次に、第１実施形態における光学系（マイクロレンズアレイを含む）のレンズ構成の一具体例について図１２乃至図１６を参照して説明する。図１２に示すように、この具体例においては、全てのレンズは、球面レンズで構成した、単純な３群３枚構成（Ｌ１、Ｌ２、Ｌ３）のレンズである。図１２に示すように、レンズの光軸方向をｚ軸、光軸に対する法線方向をｙ軸（紙面上下）、ｘ軸（紙面垂直）とする。ｚ軸の正方向を、メインレンズ群の左側（物体側）から右側（像面）へと向かう方向とする。以下、レンズの構成（第１レンズ：Ｌ１、第２レンズＬ２、第３レンズＬ３）においては、各構成要素の面（面番号：１、２、３、・・・）と、その各レンズ面の中心（ｚ＝０）間の距離ｄ（ｍｍ）で表す。この一具体例においては、第３レンズＬ３の後に、マイクロレンズアレイを縮小倍率Ｎｆ＝０．５となるよう配置し、撮像面にはＣＭＯＳセンサ等の固体撮像素子が配置された構成である。レンズの構成要素の面の形状のｚ軸方向の座標ｚ’は、ｚ’＝ｃｒ２で表される。ここで、ｃは各レンズ面の曲率（１／ｍｍ）、ｒは光軸からの距離（ｒ＝（ｘ２＋ｙ２）１／２）である。なお、光軸（ｒ＝０）において、ｚ’＝０とする。マイクロレンズアレイについては、アレイ中の１個のマイクロレンズの曲率等を示しているが、構成上は図１２に示すレンズが平面状（ｘ，ｙ方向）に配列している構造となっている。なお、図１２においては、光線は、メインレンズ群の左側（物体側）から右側（像面）へと向かう方向とする。また、図１２中にはマイクロレンズアレイによって分割された光線の様子を拡大図として示している。
【００６２】
この一具体例の数値例を図１３に示す。この図１３においては、Ｎｄはレンズを構成する光学材料のｄ線（５８７．６ｎｍ）に関する屈折率を示し、νｄはレンズを構成する光学材料のｄ線に対するアッベ数を示し、Ｒは有効半径（ｍｍ）、すなわち光束が通る円領域の半径を示し、ｆは焦点距離（ｍｍ）を示す。なお、マイクロレンズアレイは図１３に示す形状のレンズが平面上に配列されている。
【００６３】
次に、図１２および図１３に示す光学系の画角が０度、１０度における白色ＭＴＦ特性を図１４に示す。以下、ＭＴＦ特性は白色領域（０．４０４７μｍ〜０．６５６３μｍで求めたＭＴＦ）における値を示す。画角１０度はタンジェンシャルを（Ｔ）、サジタルを（Ｓ）で表している。図１４からわかるように、マイクロレンズアレイによる像の縦（ｚ方向）および横（ｘ、ｙ方向）の光学的縮小によって結像光学レンズ（メインレンズ）で補正しきれなかった各種収差が縦および横共に縮小するため、特に画角０度および画角１０度のサジタル（Ｓ）ではほぼ回折限界性能まで出ている。
【００６４】
図１２および図１３に示す光学系のＭＴＦスルーフォーカス特性を図１５に示す。スルーフォーカス特性とは、像面位置（撮像素子位置）がシフトした際のある周波数でのＭＴＦ変化を示すものである。図１５は、画角が０度、１０度でかつ８９ＬＰ／ｍｍ（ピッチが１．４μｍの画素における１／４ナイキスト周波数）での特性値を示している。
【００６５】
また、図１２および図１３に示す光学系におけるＭＴＦスルーフォーカス特性を図１６に示す。この図１６は、画角が０度、１０度でかつ１７９ＬＰ／ｍｍ（ピッチが１．４μｍの画素における１／２ナイキスト周波数）での特性値を示している。
【００６６】
（比較例）
比較例の光学系を図１７に示す。この比較例の光学系は、図１２に示す光学系において、第３レンズの後にマイクロレンズアレイを配置しない構成を有している。すなわち、この比較例は、マイクロレンズアレイを有しない、結像光学レンズ（メインレンズ）のみからなる光学系となっている。マイクロレンズアレイを有しないため、通常の光学系のように光束群は１点に収束結像している。この比較例の数値例を図１８に示す。
【００６７】
次に、比較例の光学系（ＭＬＡ無）において画角０度、１０度でのＭＴＦ特性を図１９に示す。画角１０度はタンジェンシャルを（Ｔ）、サジタルを（Ｓ）で表している。図１９からわかるように、結像光学系（メインレンズ）で補正できていない残存収差により、ＭＴＦ特性は回折限界性能を下回っており、図１４に示す第１実施形態の一具体例よりも低い値となっている。これにより、本実施形態のように、マイクロレンズアレイを挿入し、像を縮小再結像することにより、図８に示すようなＭＴＦの増加を実現することができる。
【００６８】
次に、比較例の光学系（ＭＬＡ無）におけるＭＴＦスルーフォーカス特性を図２０に示す。図２０は、画角が０度、１０度でかつ８９ＬＰ／ｍｍ（ピッチが１．４μｍの画素における１／４ナイキスト周波数）での特性値を示している。また、比較例の光学系（ＭＬＡ無）におけるＭＴＦスルーフォーカス特性を図２１に示す。図２１は、画角が０度、１０度でかつ１７９ＬＰ／ｍｍ（ピッチが１．４μｍの画素における１／２ナイキスト周波数）での特性値を示している。
【００６９】
図１５、１６に示す第１実施形態の一具体例と、図２０、図２１に示す比較例からわかるように、第１実施形態の一具体例のＭＴＦよりも、比較例のＭＴＦが低い値となっている。このことからも、第１実施形態のように、マイクロレンズアレイを挿入し、像を縮小再結像することにより、ＭＴＦを増加させることができる。
【００７０】
以上のように、同一のメインレンズに対し、マイクロレンズアレイを配置した第１実施形態の一具体例は、比較例に比べて、像高０度で、１／４ナイキスト周波数（８９ＬＰ／ｍｍ）でのＭＴＦは５９％から７９％に向上し、１／２ナイキスト周波数（１７９ＬＰ／ｍｍ）でのＭＴＦは３４％から５９％に向上する。このような結果は、像の光学的幾何縮小とともに、収差も横方向（ｘ軸、ｙ軸方向）にＮｆ倍、縦方向（ｚ軸方向）にＮｆ２倍縮小することに由来するため、上記一具体例に限ったことではなく、様々な構成のレンズに対し同種の効果を発揮することができる。
【００７１】
一般に、携帯用等の小型レンズは、比較的広画角で、かつ薄型（低背）、高解像度化が求められており、収差補正や入射光線角度コントロールのため、レンズ枚数は増加傾向にある。
【００７２】
これに対して、第１実施形態によれば、結像光学系（メインレンズ）の後に配置したマイクロレンズアレイで像を再縮小し、像周波数を増加させる光学系のため、メインレンンには従来ほどの高周波像再現性をもたせる必要が無く、設計自由度が増加した結果として、低枚数での構成が可能となる。
【００７３】
また、第１実施形態によれば、光学系のレンズの構成枚数を減少させることが可能となり、また高周波像再現性への要求緩和によりメインレンズへの設計自由度が増加するため、薄型化設計が可能である。また、マイクロレンズによりメインレンズからの光束を集光するため、比較例のように、レンズと撮像素子とから構成される場合よりも、光学全長を短くすることができる。
【００７４】
また、第１実施形態による光学系は、メインレンズの像に対し、マイクロレンズが幾何的像縮小作用を持つため、幾何学的収差を縮小する効果がある。よって、メインレンズを低Ｆ＃の設計とした上で、センサ像面にて収差が大きくなるのを抑制することが可能となる。
【００７５】
以上説明したように、第１実施形態によれば、高解像度撮像モジュールを小型化しても設計や製造が容易である固体撮像装置を提供することができる。
【００７６】
（第２実施形態）
次に、第２実施形態による携帯情報端末を図９に示す。この第２実施形態の携帯情報端末２００は、第１実施形態の固体撮像装置を備えている。図９に示す携帯情報端末は一例であって、符号１０は第１または第２実施形態における固体撮像装置の撮像モジュールを示す。
【００７７】
なお、第１実施形態の固体撮像装置は、携帯情報端末ばかりでなく、スチルカメラにも適用することができる。
【００７８】
第２実施形態によれば、高解像度撮像モジュールを小型化しても設計や製造が容易である携帯情報端末を提供することができる。
【００７９】
（第３実施形態）
第３実施形態による固体撮像システムを図２３に示す。この第３実施形態の固体撮像システムは、複数の撮像モジュール部１０１〜１０３と、撮像信号プロセッサ（ＩＳＰ）２０Ａと、を有する。
【００８０】
各撮像モジュール部１０ｉ（ｉ＝１，・・・，３）は、第１実施形態における撮像モジュール部１０と同じ構成を有する。すなわち、結像光学系１２と、マイクロレンズアレイ１４と、撮像素子１６と、撮像回路１８と、を有する。
【００８１】
ＩＰＳ２０Ａは、第１実施形態におけるＩＰＳ２０のカメラモジュール２２をカメラモジュール２２Ａに置き換えた構成となっている。すなわち、ＩＳＰ２０Ａは、カメラモジュール２２Ａと、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。各撮像モジュール部１０ｉ（ｉ＝１，・・・，３）によって撮像されたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２Ａから画像取り込み部２４へ取り込まれる。信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。すなわち、ＩＰＳ２０Ａは複数の撮像モジュール部１０１〜１０３を制御して、各撮像モジュール部１０ｉ（ｉ＝１，・・・，３）によって撮像されたＲＡＷ画像を取り込んで、画像処理を行う。
【００８２】
このような構成とすることにより、単体の撮像モジュール、例えば撮像モジュール１０１のみで距離情報を取得することができるが、複数の撮像モジュール間同士でも、ステレオ測量を行うことができる。例えば、近距離、狭い範囲の距離情報は、単体モジュールで取得し、遠距離の距離情報は複数の撮像モジュール間の測量で取得する。このようにすることにより、距離情報の精度を高くすることができる。
【００８３】
そして、参照光源を使うような距離画像カメラと比較して、第３実施形態は光源を用いないため、光源同士の干渉等が起こらず、多数の撮像モジュールを連動したシステムとすることが可能である。
【００８４】
この第３実施形態も第１実施形態と同様に、結像光学系（メインレンズ）の後に配置したマイクロレンズアレイで像を再縮小し、像周波数を増加させる光学系のため、メインレンンには従来ほどの高周波像再現性をもたせる必要が無く、設計自由度が増加した結果として、低枚数での構成が可能となる。
【００８５】
また、第３実施形態も第１実施形態と同様に、光学系のレンズの構成枚数を減少させることが可能となり、また高周波像再現性への要求緩和によりメインレンズへの設計自由度が増加するため、薄型化設計が可能である。また、マイクロレンズによりメインレンズからの光束を集光するため、比較例のように、レンズと撮像素子とから構成される場合よりも、光学全長を短くすることができる。
【００８６】
また、第３実施形態も第１実施形態と同様に、メインレンズの像に対し、マイクロレンズが幾何的像縮小作用を持つため、幾何学的収差を縮小する効果がある。よって、メインレンズを低Ｆ＃の設計とした上で、センサ像面にて収差が大きくなるのを抑制することが可能となる。
【００８７】
以上説明したように、第１実施形態と同様に、第３実施形態によれば、高解像度撮像モジュールを小型化しても設計や製造が容易である固体撮像システムを提供することができる。
【００８８】
以上説明したように、各実施形態によれば、可視画像、距離画像を同時に単一の装置で得ることができる撮像装置を、より小型化、薄型化することを可能にする。小型化によって各種機器への埋め込み実装がより簡易となり、携帯情報端末や家電製品等の製品自体の小型化へ寄与する。
【００８９】
また各種産業用ロボット、ロボットアーム、内視鏡への搭載など、低消費電力でかつ小型かつ軽量で組み込みを行わなければならないようなマシンビジョン領域への応用を可能にする。
【００９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９１】
１  固体撮像装置
１０  撮像モジュール
１０１〜１０３  撮像モジュール
１２  結像光学系
１４  マイクロレンズアレイ
１６  撮像素子
１８  撮像回路
２０  撮像信号プロセッサ（ＩＳＰ）
２０Ａ  撮像信号プロセッサ（ＩＳＰ）
２２  カメラモジュールＩ／Ｆ
２２Ａ  カメラモジュールＩ／Ｆ
２４  画像信号取り込み部
２６  信号処理部
２８  ドライバＩ／Ｆ
【図１】
2014164174.tif 000013
【図２】
2014164174.tif 000014
【図３】
2014164174.tif 000015
【図４】
2014164174.tif 000016
【図６】
2014164174.tif 000017
【図８】
2014164174.tif 000018
【図９】
2014164174.tif 000019
【図１０】
2014164174.tif 000020
【図１１】
2014164174.tif 000021
【図１３】
2014164174.tif 000022
【図１４】
2014164174.tif 000023
【図１５】
2014164174.tif 000024
【図１６】
2014164174.tif 000025
【図１８】
2014164174.tif 000026
【図１９】
2014164174.tif 000027
【図２０】
2014164174.tif 000028
【図２１】
2014164174.tif 000029
【図２２】
2014164174.tif 000030
【図２３】
2014164174.tif 000031
【図２４】
2014164174.tif 000032
【図５】
2014164174.tif 000033
【図７】
2014164174.tif 000034
【図１２】
2014164174.tif 000035
【図１７】
2014164174.tif 000036