(57)【特許請求の範囲】
【請求項１】
複数の画素を含む画素ブロックを複数有する撮像素子と、
被写体を結像面に結像する第１の光学系と、
光透過基板と前記光透過基板上に形成された複数の第１マイクロレンズ及び前記第１マイクロレンズの周囲に形成された複数の第２マイクロレンズとを有するマイクロレンズアレイであって、前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離が実質的に等しく、かつ前記第１マイクロレンズの前記光透過基板に接する領域のサイズが前記第２マイクロレンズの前記光透過基板に接する領域のサイズよりも大きいマイクロレンズアレイを備え、前記撮像素子と前記第１の光学系の間に配置され、前記結像面に結像される像を前記マイクロレンズアレイを介して前記画素ブロックに縮小再結像する第２の光学系と、
前記第２マイクロレンズの像に基づいて、前記第１マイクロレンズの中心位置の座標を検出する処理を行う信号処理部と、
を備えている固体撮像装置。
【請求項２】
前記第２マイクロレンズは六角形または四角形の頂点に配置され、前記第１マイクロレンズは前記第２マイクロレンズが形成する六角形または四角形の中に配置される請求項１記載の固体撮像装置。
【請求項３】
前記第１マイクロレンズおよび第２マイクロレンズは、材料および曲率半径が等しく、前記光透過基板からの高さが異なっている請求項１または２記載の固体撮像装置。
【請求項４】
前記第１マイクロレンズおよび第２マイクロレンズは、材料および曲率半径がそれぞれ異なる請求項１または２記載の固体撮像装置。
【請求項５】
前記第２マイクロレンズと前記第１の光学系との間にはＲ、Ｇ、またはＢの少なくとも１色を有する第２カラーフィルタが設けられ、前記撮像素子は前記第２カラーフィルタと対向する領域に前記第２カラーフィルタと同じ色の第１カラーフィルタを有する請求項１乃至４のいずれかに記載の固体撮像装置。
【請求項６】
前記撮像素子の前記画素は、Ｒ画素、Ｇ画素、Ｂ画素、またはＷ画素のいずれかであり、前記第２マイクロレンズの像領域内の画素はＷ画素である請求項１乃至４のいずれかに記載の固体撮像装置。
【請求項７】
前記光透過基板の前記第２マイクロレンズが形成された面とは反対側の面又は前記撮像素子の前記第２マイクロレンズの対応する位置に偏光板を更に備えている請求項１乃至４のいずれかに記載の固体撮像装置。
【請求項８】
前記信号処理部は、検出された前記第１マイクロレンズの中心位置の座標を用いて、前記撮像素子によって撮像された画像から二次元画像を再生する処理を行う請求項１乃至７のいずれかに記載の固体撮像装置。
【請求項９】
請求項１乃至８のいずれかに記載の固体撮像装置を備えている携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置および携帯情報端末に関する。
【背景技術】
【０００２】
２次元アレイ情報として奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。
【０００３】
システムコストを抑えるため参照光を用いない測距撮像方式として、視差を利用した三角測量方式がある。この方式ではステレオカメラや複眼カメラが知られているが、これらの場合、カメラを複数用いることとなり、システムの巨大化や部品点数増大による故障率上昇といった問題が存在する。
【０００４】
マイクロレンズアレイを画素上方に配置し、各マイクロレンズの下部には複数の画素を配置する構造が提案されている。この構造により、画素ブロック単位で視差をもった画像群を取得することが可能であり、この視差により被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。上記構造を用いた固体撮像素子においては、マイクロレンズの結像位置の検出に関して、キャリブレーション画像を撮影し、二値化して輪郭フィッティングにより座標を求めている。しかし、この方法ではマイクロレンズやセンサ上のごみや汚れ、マイクロレンズ自体の個別バラつきにより中心座標が正確に求められない場合が存在する。また、本撮影前にキャリブレーション画像の撮影が必要となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】T. Georgiev and A. Lumsdaine, COMPUTER GRAPHICS forum, Volume 29 (2010), number 6 pp. 1955-1968, “Reducing Plenoptic Camera Artifacts”
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本実施形態は、マイクロレンズの中心座標の検出を高精度に行うことを可能にするとともに、キャリブレーションの撮影を不要とする固体撮像装置および携帯情報端末を提供する。
【課題を解決するための手段】
【０００７】
本実施形態の固体撮像装置は、複数の画素を含む画素ブロックを複数有する撮像素子と、被写体を結像面に結像する第１の光学系と、光透過基板と前記光透過基板上に形成された複数の第１マイクロレンズ及び前記第１マイクロレンズの周囲に形成された複数の第２マイクロレンズとを有するマイクロレンズアレイであって、前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離が実質的に等しく、かつ前記第１マイクロレンズの前記光透過基板に接する領域のサイズが前記第２マイクロレンズの前記光透過基板に接する領域のサイズよりも大きいマイクロレンズアレイを備え、前記撮像素子と前記第１の光学系の間に配置され、前記結像面に結像される像を前記マイクロレンズアレイを介して前記画素ブロックに縮小再結像する第２の光学系と、を備えていることを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態による固体撮像装置を示すブロック図。
【図２】固体撮像装置の第１例の光学系を示す図。
【図３】固体撮像装置の第２例の光学系を示す図。
【図４】マイクロレンズを説明する図。
【図５】図５（ａ）、５（ｂ）は、第１実施形態に用いられるマイクロレンズアレイを説明する図。
【図６】第１実施形態に用いられる第１例のマイクロレンズアレイの断面図。
【図７】第１実施形態に用いられる第２例のマイクロレンズアレイの断面図。
【図８】撮像マイクロレンズおよびマーカーマイクロレンズの像を説明する図。
【図９】マイクロレンズアレイ上にごみやキズなどがある場合のマイクロレンズ像を示す図。
【図１０】マイクロレンズアレイ上にごみやキズなどがある場合のマイクロレンズ像を示す図。
【図１１】図１１（ａ）乃至図１１（ｃ）は、マーカーマイクロレンズの像フィッティングに与える効果について説明する図。
【図１２】マーカーマイクロレンズを用いた二次元画像取得までの手順を説明するフローチャート。
【図１３】マーカーマイクロレンズを用いた二次元画像取得までの手順を説明するフローチャート。
【図１４】マイクロレンズアレイ上にカラーフィルタを設ける場合について説明する図。
【図１５】マーカーマイクロレンズの結像領域にホワイト画素を用いた場合の効果を説明する図。
【図１６】偏光板をマイクロレンズアレイのプレーンな面に設置した場合の光学系を示す図。
【図１７】偏光軸の異なる複数種類の偏光板が撮像マイクロレンズの周囲に設置されていることを示す図。
【図１８】マーカーマイクロレンズの光強度に関する偏光軸角度依存性を示す図。
【図１９】第１実施形態の固体撮像装置によって得られる二次元の偏光主軸分布を示す図。
【図２０】第２実施形態による携帯情報端末を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して実施形態を説明する。
【００１０】
（第１実施形態）
第１実施形態による撮像装置について図１乃至図１１（ｃ）を参照して説明する。第１実施形態による固体撮像装置（以下、カメラモジュール）を図１に示す。第１実施形態の固体撮像装置１は、撮像モジュール部１０と、撮像信号プロセッサ（以下、ＩＳＰ(Image Signal Processor)ともいう）２０と、を有する。
【００１１】
撮像モジュール部１０は、結像光学系１２と、マイクロレンズアレイ１４と、撮像素子１６と、撮像回路１８とを有する。結像光学系１２は、１または複数のレンズを有し、被写体からの光を撮像素子１６へ取り込む撮像光学系として機能する。撮像素子１６は、結像光学系１２により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。各画素は、例えば、赤色波長光域に対して高い透過率を有する層（赤色カラーフィルタ）を有するＲ画素、または緑色波長光域に対して高い透過率を有する層（緑色カラーフィルタ）を有するＧ画素、または青色波長光域に対して高い透過率を有する層（青色カラーフィルタ）を有するＢ画素である。
【００１２】
マイクロレンズアレイ１４は、例えば複数のマイクロレンズを有するマイクロレンズアレイもしくはプリズム等の微小光学系である。結像光学系１２によって結像面に結像する光線群を、個々のマイクロレンズと対応する画素ブロックに縮小再結像する光学系として機能する。画素ブロックとは、複数の画素から構成され、結合光学系１２の光軸に平行な方向（z方向）において１つのマイクロレンズと重なる。画素ブロックとマイクロレンズは１つずつ対応し、マイクロレンズと同じ大きさであるか、あるいはマイクロレンズよりも大きい。撮像回路１８は、撮像素子１６の画素アレイの各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路となどを有している。
【００１３】
ＩＳＰ２０は、カメラモジュールＩ／Ｆ（インターフェース）２２と、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。撮像モジュール部１０による撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２から画像取り込み部２４へ取り込まれる。信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。
【００１４】
次に、第１実施形態の固体撮像装置の光学系を図２に示す。ここでは結像光学系１２は１つの結像レンズからなることとする。被写体１００からの光線８０が結像レンズ（結像光学系）１２に入射され、結像レンズ１２によって結像面７０に結像される。この結像面７０に結像された像は、マイクロレンズアレイ１４に入射され、マイクロレンズアレイ１４を構成するマイクロレンズ１４ａによって撮像素子１６上に縮小結像される。図２において、また、Ａは結像レンズ１２と被写体１００との間の距離、Ｂは結像レンズ１２による結像距離、Ｃは結像レンズ１２の結像面７０とマイクロレンズアレイ１４との間の距離、Ｄはマイクロレンズアレイ１４と撮像素子１６との間の距離である。以下の説明では、ｆは結像レンズ１２の焦点距離、ｇはマイクロレンズ１４ａの焦点距離を表す。本明細書では、説明のため、結像レンズ１２の中心を通り光軸に垂直な面に対して被写体１００側を前方、撮像素子１６側を後方と定義する。光学系内でマイクロレンズアレイ１４は結像レンズ１２の光線を各視点の像に分離し、撮像素子１６上に縮小結像させる役割をもつ。
【００１５】
なお、本実施形態の固体撮像装置においては、図２に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面７０より結像レンズ１２に対して後方に設置されている。しかし、本実施形態では図２に示す光学系に限定されるものではなく、例えば図３に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面７０より前方に設置されていてもよい。
【００１６】
（マイクロレンズアレイ）
次に、第１実施形態で用いられるマイクロレンズアレイ１４について説明する。このマイクロレンズアレイ１４は、図４に示すように、可視光透過基板１４ｂ上に複数のマイクロレンズが形成された構成を有している。なお、図４では、１個のマイクロレンズ１４ａを示しているが、後述するように、大きさの異なる少なくとも２種類のマイクロレンズが可視光基板１４ｂ上に形成されている。ここで、マイクロレンズ１４ａの径ｄとは、マイクロレンズ１４ａが可視光透過基板１４ｂに接する領域の最大径を意味する。最大径とは、マイクロレンズ１４ａが可視光透過基板１４ｂに接する領域の周囲上の２点間の距離で最大の値を意味する。また、マイクロレンズ１４ａの高さｈとは、可視光基板１４ｂからマイクロレンズ１４ａの表面上の点までの距離で最大の値を意味する。すなわち、マイクロレンズ１４ａの高さｈとは、可視光基板１４ｂからマイクロレンズ１４ａの頂点までの距離である。マイクロレンズ１４ａの径ｄおよび高さｈを図４に示す。
【００１７】
マイクロレンズアレイ１４の平面図を図５（ａ）に示し、図５（ａ）の一部分の拡大図を図５（ｂ）に示す。図５（ａ）、５（ｂ）に示すように、本実施形態に用いられるマイクロレンズアレイ１４は、可視光透過基板１４ｂ上に形成された大きさの異なる第１マイクロレンズ１４ａ１および第２マイクロレンズ１４ａ２を備えている。第１マイクロレンズ１４ａ１は径ｄ１を有しており、第２マイクロレンズ１４ａ２はｄ１よりも小さな径ｄ２を有している。第２マイクロレンズ１４ａ２は第１マイクロレンズの周囲に形成されている。例えば、列方向（図５（ａ）の縦方向）に配置された第１マイクロレンズ１４ａ１の群においては、第１マイクロレンズ１４ａ１の中心が実質的に同一線上に位置し、隣接する第１マイクロレンズ１４ａ１間の間隔が実質的に同じとなるように配置される。それぞれが第１マイクロレンズ１４ａ１の群からなる隣接する第１列および第２列に関しては、行方向（図５（b）横方向）において、第１列の隣接する第１マイクロレンズ１４ａ１間の中心に第２列のマイクロレンズの１４ａ１の中心が位置する配置となっている。すなわち、第１列の第１マイクロレンズ１４ａ１は、第２列の第１マイクロレンズ１４ａ１とは、列方向にずれて配置されている。なお、上記説明で、列方向を行方向（図５（ａ）の横方向）に置き換えた配置であってもよい。第２マイクロレンズ１４ａ２は各第１マイクロレンズ１４ａ１を囲む６角形の頂点に配置され、かつ隣接する第１マイクロレンズ１４ａ１間で共有するように配置された構成となっている。すなわち、六角形の頂点に配置された第２マイクロレンズ１４ａ２の中に第１マイクロレンズ１４ａ１が配置されている。第１マイクロレンズ１４ａ１は撮像マイクロレンズともよばれ、第２マイクロレンズ１４ａ２はマーカーマイクロレンズともよばれる。
【００１８】
なお、図５（ａ）、５（ｂ）においては、マイクロレンズが２種類の場合について示しているが、実際にはこの限りではなく、マイクロレンズが３種類以上の場合であってもよい。また、マイクロレンズの並び方は図５（ａ）、５（ｂ）２に限定されるものではなく、例えば撮像マイクロレンズとマーカーマイクロレンズがそれぞれ四角形、あるいは正方格子状に並んでいてもよい。第１マイクロレンズ１４ａ１は、四角形あるいは正方格子の頂点に配置された第２マイクロレンズ１４ａ２の中に配置されている。撮像マイクロレンズ１４ａ１と、マーカーマイクロレンズ１４ａ２は、ともに同じ結像面、すなわち撮像素子１６に結像する構成となっている。言い換えると、撮像マイクロレンズ１４ａ１と、マーカーマイクロレンズ１４ａ２は、結像レンズ１２により結像面に結像される像を画素ブロックに縮小再結像する。
【００１９】
次に、マーカーマイクロレンズの詳細について図６乃至図７を参照して説明する。図６は、マーカーマイクロレンズの第１例を示す断面図であり、図７は、マーカーマイクロレンズの第２例を示す断面図である。
【００２０】
図６に示す第１例の場合では、撮像マイクロレンズ１４ａ１とマーカーマイクロレンズ１４ａ２の曲率半径は同一であり、撮像マイクロレンズ１４ａ１とマーカーマイクロレンズ１４ａ２は、例えば石英ガラス、プラスチックなど同じ材料で形成される。マーカーマイクロレンズ１４ａ２については可視光透過基板１４ｂからマーカーマイクロレンズの頂点までの距離、すなわち高さｈ２が撮像マイクロレンズ１４ａ１の高さｈ１よりも小さい。図６に示す第１例の場合は、マーカーマイクロレンズ１４ａ２と撮像マイクロレンズ１４ａ２の曲率半径がに同一であるため、焦点距離に等しくなる。
【００２１】
図７の第２例では、撮像マイクロレンズ１４ａ１とマーカーマイクロレンズ１４ａ２の曲率半径が異なる場合を示している。図７に示す第２例では、曲率半径が異なるが、レンズの近軸理論式を満たすようにマーカーマイクロレンズ１４ａ２と撮像マイクロレンズ１４ａ１の屈折率を材料などで調節することで、両マイクロレンズとも実質的に同じ焦点距離を実現する。図６および図７示すいずれの場合において、マーカーマイクロレンズ１４ａ２の径は撮像マイクロレンズ１４ａ１のそれよりも小さい。
【００２２】
次に、マイクロレンズアレイの一般的な製作方法について概要を述べる。マイクロレンズアレイの製作方法は各種存在する。図６に示す第１例のマイクロレンズアレイについては、フォトレジストを用いる方法を例に挙げる。より具体的には、フォトレジストを露光、現像してレジストパターンを形成し、熱融解して凸レンズ形状に成形する方法である。図６に示すように、マイクロレンズ高さｈ１、ｈ２（ＳＡＧ量）を変化させる場合は、レジスト塗布時にマーカーマイクロレンズ部分にグレースケールマスクなどを用いることによりＳＡＧ量を調節する。
【００２３】
次に、図７に示す第２例のマイクロレンズアレイの製作方向について説明する。図７に示す第２例のように、曲率半径が異なる場合はレジストパターンの底面半径が大小異なる２種類のマスクを作成し、図６に示す第１例の場合と同様に熱溶融でレンズ形状を作成する。このマイクロレンズの形成にはナノ粒子を透明材料の面内に分散させた基板を用いており、例えば、アクリル樹脂中に酸化チタンの粒子を、密度を変えて添加することにより、作成することが出来る。この基板は、粒子密度や粒子径等の変化により屈折率を部分々で制御されて形成されている。この基板に対してドライエッチングなどでマイクロレンズ形状を形成すれば、曲率半径と屈折率が異なる撮像マイクロレンズ１４ａ１とマーカーマイクロレンズ１４ａ２からなるマイクロレンズアレイを形成できる。
【００２４】
（撮像レンズ中心位置を得る方法）
撮像素子１６上に形成される撮像マイクロレンズ１４ａ１の像３６と、その周囲に配置されるマーカーマイクロレンズ１４ａ２の像３７を図８に示す。撮像マイクロレンズ１４ａ１の像３６の中心位置を求めるために、まずその周囲のマーカーマイクロレンズ１４ａ２の像３７それぞれについて円形フィッティングなどを用いて、マーカーマイクロレンズ１４ａ２の像３７の中心位置の座標を求めておく。図８に示すように、マーカーマイクロレンズが撮像マイクロレンズに対して均等に六方に存在している場合、６個のマーカーマイクロレンズ１４ａ２の像３７の中心Ｘ座標をｘ１、ｘ２、ｘ３、ｘ４、ｘ５、ｘ６とおくと、撮像マイクロレンズの像３６の中心Ｘ座標ｘ０は次式で表される。
【数１】
0005627622.tif 000002
【００２５】
ここで、各マーカーマイクロレンズ１４ａ２の中心Ｘ座標ｘｉ（ｉ＝１，・・・，６）の検出誤差の絶対値Δｘｉが
Δｘ１＝Δｘ２＝Δｘ３＝Δｘ４＝Δｘ５＝Δｘ６＝Δ          （２）
と表される時、誤差伝播より撮像マイクロレンズ１４ａ１の中心Ｘ座標の検出誤差Δｘ０は
【数２】
0005627622.tif 000003
【００２６】
と表される。Δは、マーカーマイクロレンズの検出誤差を表す。このように、マーカーマイクロレンズ単体よりも高い精度で撮像マイクロレンズの中心Ｘ座標を求めることが可能である。以上と同様の方法でＹ座標についても求める事ができ、得られた画像中の撮像マイクロレンズの像中心位置についての二次元座標を得ることができる。また、この方法で得た中心座標検出誤差Δｘ０およびΔｙ０はマーカーマイクロレンズの検出誤差Δよりも小さくなるため、後述する再構成した二次元画像中のアーティファクトなどを低減することができ、画質を改善することができる。
【００２７】
（不完全な撮像レンズ像から撮像レンズ像中心位置を得る方法）
図９にマイクロレンズアレイ上にごみやキズなどがある場合のマイクロレンズ像を示す。マーカーマイクロレンズが無い状態での撮像マイクロレンズ１４ａ１の像３６にマイクロレンズアレイ上のごみやキズによる像３８がオーバーラップしている場合、マイクロレンズ像の中心位置を円形フィッティングなどで検出することが困難になる。
【００２８】
これに対して、図１０に示す第１実施形態のように、撮像マイクロレンズ１４ａ１の周囲に複数のマーカーマイクロレンズ１４ａ２が設けられている場合は、複数のマーカーマイクロレンズ１４ａ２の像３７が検出困難な状態であっても、残りの検出可能なマーカーマイクロレンズ１４ａ２の像３７から撮像マイクロレンズ１４ａ１の像の中心位置を求めることが可能である。
【００２９】
（マーカーマイクロレンズによる像フィッティングへの効果）
図１１（ａ）乃至図１１（ｃ）を参照して、第１実施形態のように、複数のマーカーマイクロレンズ１４ａ２が撮像マイクロレンズ１４ａ１の周囲に配置されている場合の像フィッティングに与える効果について説明する。光学系の前方に被写体１００が存在し、撮像マイクロレンズ１４ａ１の視野４１と、マーカーマイクロレンズ１４ａ２の視野４２が図１１（ａ）に示すように位置していると仮定する。マーカーマイクロレンズ１４ａ２が設けられていない場合、得られる撮影画像は図１１（ｂ）に示す画像である。この場合、被写体像によってマイクロレンズ像内の輝度値は一様ではなく、像単体での輪郭による円フィッティングの精度が低下する。
【００３０】
これに対して、本実施形態のように、撮像マイクロレンズ１４ａ１の周囲にマーカーマイクロレンズ１４ａ２が設けられている場合に得られる撮影画像は図１１（ｃ）に示す画像となる。この場合、マーカーマイクロレンズ１４ａ２の視野が撮像マイクロレンズ１４ａ１よりも小さいため、比較的一様な輝度の被写体を撮影する確率が高くなる。したがって、この一様な輝度値のマーカーマイクロレンズ１４ａ２の像３７の輪郭を円フィッティングで近似し、その中心座標を求めれば、一度の撮影で再構成用の二次元画像と撮像マイクロレンズの中心位置座標を得ることが可能である。
【００３１】
さらに、複数のマーカーマイクロレンズ１４ａ２の像３７内に被写体が写りこみ、輝度値が一様で無い状態であったとしても、前述した方法を用いて同様の復元方法により残ったマーカーマイクロレンズ１４ａ２の像３７で撮像マイクロレンズ１４ａ１の像３６の中心座標を求めることができる。
【００３２】
（二次元画像を再構成により得る方法）
次に、二次元画像を再構成により得る方法について説明する。マーカーマイクロレンズを用いた二次元画像取得までのフローチャートを図１２に示す。
【００３３】
まず、マニュアル操作で再構成用画像を撮影する（ステップＳ１）。続いて、撮影した画像に二値化処理を行う（ステップＳ２）。マーカーマイクロレンズの輪郭を円形であるとしてフィッティングを行う（ステップＳ３）。マーカーマイクロレンズの像それぞれの円の中心座標を計算し、これらのマーカーマイクロレンズの像の中心座標を用いて撮像マイクロレンズの像の中心座標を計算する（ステップＳ４）。計算された撮像マイクロレンズの像の中心座標をメモリ等に保存する（ステップＳ５）。保存された中心座標を用いて、リフォーカス処理等を行う（ステップＳ６）。この中でユーザーが行うべきマニュアル操作は通常のカメラを用いるのと同様に、写真（再構成画像）を撮影するだけであり、中心座標検出のためのキャリブレーション作業等を省略することが可能となる。
【００３４】
次に、上記保存した中心座標および二値化された画像に基づいて、二次元画像を得るためのフローチャートを図１３に示す。
【００３５】
まず。撮像マイクロレンズ内の像について、シェーディングなどの補正処理により輝度の補正を行う（ステップＳ１１）。次に、撮像マイクロレンズ領域を抜き出す（ステップＳ１２）。続いて、上記保存した中心座標を用いて撮像マイクロレンズ内の画素それぞれの歪み補正処理を行い、位置を補正する（ステップＳ１３）。その後、撮像マイクロレンズの像を拡大する（ステップＳ１４）。続いて、マイクロレンズの重なり領域の有無を判定し、重なり領域がない場合は、画素の再配置を行わずに処理を終了する（ステップＳ１５）。マイクロレンズの重なり領域がある場合は、画素の再配置を行い、画像合成処理を行う（ステップＳ１６）。
【００３６】
このように、二次元画像を得るにはマーカーマイクロレンズにより計算した撮像レンズ中心座標を用いて撮像レンズ像を抽出し、拡大して撮像マイクロレンズ像同士の合成処理を行う。この合成画像が求める二次元画像となる。
【００３７】
（カラーフィルタを組み合わせた場合の光学系組み立て精度向上の効果）  次に、マイクロレンズアレイ１４上にカラーフィルタを設ける場合について述べる。図１４に、カラーフィルタ１５をマイクロレンズアレイ１４上のマーカーマイクロレンズ１４ａ２の面上と、撮像素子１６上の、マーカーマイクロレンズ１４ａ２の像面に設置した場合の光学系を示す。すなわち、第２マイクロレンズ１４ａ２と結像レンズ１２との間にはＲ（赤色）、Ｇ（緑色）、またはＢ（青色）の少なくとも１色を有する第２カラーフィルタが設けられ、撮像素子１６との第２マイクロレンズ１４ａ２と対向する側には第２カラーフィルタと同じ色の第１カラーフィルタが設けられている。言い換えると、撮像素子１６はマーカーマイクロレンズ１４ａ２の面上に設けられたカラーフィルタに対向する領域に、このカラーフィルタと同じ色を透過するカラーフィルタを有する画素を有している。
【００３８】
ここでカラーフィルタ１５が設けられる位置は、図１４に示す位置に限定されるものではなく、例えばより撮像素子１６に近い面へ設置してもよい。カラーフィルタ１５は１種類ではなく、例えばＲ（赤色）フィルタと、Ｇ（緑色）フィルタ、Ｂ（青色）など複数種類設置されており、マーカーマイクロレンズ１４ａ２の面とマーカーマイクロレンズ１４ａ２の像面とで同じ並び方、すなわち同じ色のフィルタが配置された構成となっている。この状態でマイクロレンズアレイ１４と撮像素子１６を組み合わせると、マーカーマイクロレンズ１４ａ２のカラーフィルタ１５の色と撮像素子１６上のカラーフィルタ１５の色が一致していない場合にはマーカーマイクロレンズの像はできないか、もしくは歪んだ形状となる。従って、ｘｙ方向の位置合わせをマーカーマイクロレンズの像の有無と像の歪みを調べることで行うことができる。
【００３９】
また、ｘｙ方向の位置合わせが行われ、全てのマーカーマイクロレンズ１４ａ２の像が得られている時、マーカーマイクロレンズ像内の像の倍率を求めることでｚ方向の位置合わせを行うことができる。したがって、３次元での位置合わせは、マーカーマイクロレンズ１４ａ２を用いて行うことが可能である。また、マーカーマイクロレンズ１４ａ２の像の大きさについて分布を調べることにより、マイクロレンズアレイ１４の傾きを求めることができる。これを用いて、組み合わせ時の撮像素子１６に対するマイクロレンズアレイ１４の傾き修正を行うことが可能となる。
【００４０】
マイクロレンズアレイ１４上のカラーフィルタ１５の製造方法の例としては、有機顔料レジストをマイクロレンズアレイ１４に塗布する方法がある。これは、可視光透過基板１４ｂのマイクロレンズ１４が設けられた面とは反対のプレーンな面に対して、有機顔料を分散したレジストを塗布し、マーカーマイクロレンズ１４ａ２の対応位置のみ露光し感光させてカラーフィルタ１５を形成するという方法である。撮像素子１６上のカラーフィルタ１５は通常の製造方法で形成するが、この際、マーカーマイクロレンズ１４ａ２と対応する領域のみマーカーマイクロレンズ１４ａ２上のカラーフィルタと対応する色のカラーフィルタを設置する必要がある。このカラーフィルタが形成されるマイクロレンズアレイ１４と、カラーフィルタ１５が形成された撮像素子とを組み合わせることで、撮像素子１とマイクロレンズアレイ１４の組み立て時の組み立て精度を向上することができる。
【００４１】
（ホワイト画素（Ｗ画素）によるマーカーマイクロレンズの検出率向上の効果）
本明細書では、Ｒ色のカラーフィルタが形成された画素をＲ画素、Ｇ色のカラーフィルタが形成された画素をＧ画素、Ｂ色のカラーフィルタが形成された画素をＢ画素、色フィルタが形成されていない画素をホワイト画素（Ｗ画素）と呼ぶ。
【００４２】
マーカーマイクロレンズ１４ａ２とホワイト画素との組み合わせの効果を述べる。通常、撮像素子の各画素にはカラーフィルタがベイヤー配列などの並び方で配置されており、このカラーフィルタによってＲ、Ｇ、Ｂ画素ごとの信号を取得することで二次元画像を撮影している。カラーフィルタを透過することで光は減衰するため、入射光よりも輝度値は小さく検出される。
【００４３】
これに対して、図１５に示すように、マーカーマイクロレンズ１４ａ２の像が結像される結像領域の画素をホワイト画素とする。すなわち、第２マイクロレンズ１４ａ２と結像レンズ１２との間にはカラーフィルタを設けず、第２マイクロレンズ１４ａ２と撮像素子１６との間にもカラーフィルタを設けない。この場合は入射光がそのまま画素に入射するため、Ｒ画素、Ｂ画素、Ｂ画素である場合よりも検出する輝度値は大きいものとなる。したがって、マーカーマイクロレンズ１４ａ２の結像領域１６ａの画素にホワイト画素を用いた場合、信号が飽和しやすくなる。このため一様なマーカーマイクロレンズ像が得られる可能性が高くなり、像の輪郭フィッティングが可能なマーカーマイクロレンズ１４ａ２の数が増加する。さらに、カラーフィルタ１５が設けられている状態よりも輝度値が大きくなるため、光量が少ない室内などでの環境下でもマーカーマイクロレンズ１４ａ２の像の輪郭を検出できるようになるという効果もある。したがって、ホワイト画素と組み合わせることで、マイクロレンズの中心座標の検出精度を向上することができる。合わせて、光量の低い場所でもマイクロレンズ１４ａ２の中心座標を検出出来るようになる。
【００４４】
（偏光板と組み合わせた場合の二次元偏光画像取得方法）
偏光板１７をマイクロレンズアレイのプレーンな面に設置した場合の光学系を図１６に示す。ここで偏光板１７が設けられる位置は、図１６に示す位置に限定されるものではなく、例えばより撮像素子１６に近い位置へ設置してもよいしマーカーマイクロレンズ１４ａ２上に設置してもよい。
【００４５】
今回用いる偏光板１７の一つの製造方法として、微細構造薄膜をスパッタ法で積層する方法が挙げられる。可視光透過基板１４ｂ上にスパッタ薄膜を積層して作成した偏光板アレイを、マーカーマイクロレンズの位置と偏光板アレイ位置を合わせてマイクロレンズアレイと張り合わせることで偏光板付きマーカーマイクロレンズを作成することができる。偏光板１７は１種類ではなく、例えば図１７に示すように、偏光軸の異なる複数種類が設置されており、マーカーマイクロレンズの面とマーカーマイクロレンズの像面とで同じ並び方をしている。この状態でマイクロレンズアレイと撮像素子を組み合わせると、マーカーマイクロレンズ１４ａ２に対応する偏光板１７の偏光軸と入射光の偏光主軸が一致していない場合、マーカーマイクロレンズの像の輝度値が低下する。
【００４６】
更に、例えば図１７に示すように、ある撮像マイクロレンズの周囲のマーカーマイクロレンズ上の偏光板１７の偏光軸１７ａの角度θが０°、３０°、６０°、９０°、１２０°、１５０°という６種類ある状態を仮定する。このとき図１８に示すように、横軸に偏光軸角度θ、縦軸に光強度を取ったグラフに、各マーカーマイクロレンズの値をプロットし、フィッティングを行うことで、マーカーマイクロレンズに囲まれた撮像マイクロレンズへ入る入射光の偏光主軸θ’を求めることができる。以上の操作を全てのマーカーマイクロレンズに対して行うことで、図１９に示すように、二次元の偏光主軸分布を得ることができる。すなわち、偏光板と組み合わせることで、二次元偏光角分布を求めることができる。
【００４７】
一様な物体表面にキズなどがある状態では、キズ部分と周辺の一様な部分とでは反射光の偏光特性が異なって観測される。また、後述するように、撮像マイクロレンズ像を用いて被写体までの距離を得ることが可能であるため、この被写体距離情報と、二次元偏光分布を使った検査装置などに応用が可能である。より具体的には撮像マイクロレンズ像で検査したい被写体へのレンズピント合わせを行うと同時に被写体の二次元画像を撮影し、マーカーマイクロレンズで得られる二次元偏光分布でキズの位置と範囲を測定する。この場合、例えば製品の出荷前検査などで、可視光による見た目の検査と、可視光で判別しにくい表面のキズに対するチェックを同時に行うことが可能な検査装置を実現することができる。
【００４８】
（被写体までの距離を得る方法）
図２に示す光学系を例にとって被写体１００までの距離を得る方法について説明する。レンズと被写体との距離Ａが変化すると、（４）式からわかるように、結像距離Ｂの値が変化する。
【数３】
0005627622.tif 000004
【００４９】
光学系の位置関係からＢ＋Ｃ＝Ｅであるため、結像距離Ｂの変化に伴って距離Ｃの値も変化する。マイクロレンズについて（５）式を用いると、距離Ｃの変化に伴ってさらに距離Ｄの値も変化することが分かる。
【数４】
0005627622.tif 000005
【００５０】
この結果、各マイクロレンズ１４を通って結像する像は結像レンズ１２の仮想イメージである結像面７０をＭ（Ｍ＝Ｄ／Ｃ）倍に縮小した画像が得られ、式で表すと（６）式で表される。
【数５】
0005627622.tif 000006
このように、被写体距離Ａの値が変化するとそれに伴ってＢ、Ｃ、Ｄの値も変化するため、マイクロレンズ像の縮小倍率Ｍも変わることとなる。
（６）式をＡについて整理すると
【数６】
0005627622.tif 000007
が得られる。したがってマイクロレンズによる像の縮小倍率Ｍを画像マッチング等により算出し、かつＤ、Ｅ、ｆの値が既知であれば、（７）式からＡの値を求めることが可能である。
【００５１】
図３に示す光学系の場合はＥ＋Ｃ＝Ｂであり、さらにマイクロレンズに関するレンズの式は次の（８）式で表される。
【数７】
0005627622.tif 000008
したがって、この場合ＡとＭの関係は、次の（９）式で表すことができる。
【数８】
0005627622.tif 000009
【００５２】
縮小倍率Ｍは光線の幾何的関係からマイクロレンズ間の像ずれ量をΔ’、マイクロレンズ間の中心間距離をＬとおくと
【数９】
0005627622.tif 000010
と表すことができる。したがって、縮小倍率Ｍを求めるにはＳＡＤやＳＳＤなどの評価値を用いて画像マッチングによるマイクロレンズ間の像のずれ量を求めればよい。
【００５３】
第１実施形態の方法では撮像マイクロレンズの中心座標を高精度に検出できるため、距離計算中のΔ’の値の精度が上がり、結果として被写体距離Ａを高精度で求めることが可能となる。
【００５４】
第１実施形態によれば、マイクロレンズの中心座標の、より高精度な算出が可能となる。これにより、二次元再構成画像のアーティファクト低減によって画質が向上する。また、距離推定の精度が向上する。さらに、撮影前のキャリブレーション撮影が不要となる。
【００５５】
以上説明したように、第１実施形態によれば、マイクロレンズの中心座標の検出を高精度に行うことを可能にするとともに、キャリブレーションの撮影を不要とする固体撮像装置を提供することができる。
【００５６】
なお、マーカーマイクロレンズは、全ての撮像マイクロレンズの周囲に設けなくともよく、一部の撮像マイクロレンズの周囲にマーカーマイクロレンズを配置することも許容する。
【００５７】
（第２実施形態）
第２実施形態による携帯情報端末を図２０に示す。この第２実施形態の携帯情報端末２００は、第１実施形態の固体撮像装置を適用したものである。図２０に示す携帯情報端末２００は一例であって、符号１０は第１実施形態における固体撮像装置の撮像モジュールを示す。このように、第１実施形態の固体撮像装置は、スチルカメラばかりでなく、携帯情報端末２００等に適用することができる。
【００５８】
以上説明したように、第２実施形態によれば、マイクロレンズの中心座標の検出を高精度に行うことを可能にするとともに、キャリブレーションの撮影を不要とする携帯情報端末を提供することができる。
【００５９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６０】
１  固体撮像装置
１０  撮像モジュール部  
１２  結像光学系（結像レンズ）
１４  マイクロレンズアレイ
１４ａ  マイクロレンズ
１４ａ１  第１マイクロレンズ（撮像マイクロレンズ）
１４ａ２  第２マイクロレンズ（マーカーマイクロレンズ）
１４ｂ  可視光透過基板
１６  撮像素子
１８  撮像回路
２０  撮像信号プロセッサ
２２  カメラモジュールＩ／Ｆ
２４  画像取り込み部
２６  信号処理部
２８  ドライバＩ／Ｆ
【図１】
0005627622.tif 000011
【図２】
0005627622.tif 000012
【図３】
0005627622.tif 000013
【図４】
0005627622.tif 000014
【図５】
0005627622.tif 000015
【図６】
0005627622.tif 000016
【図７】
0005627622.tif 000017
【図８】
0005627622.tif 000018
【図９】
0005627622.tif 000019
【図１０】
0005627622.tif 000020
【図１１】
0005627622.tif 000021
【図１２】
0005627622.tif 000022
【図１３】
0005627622.tif 000023
【図１４】
0005627622.tif 000024
【図１５】
0005627622.tif 000025
【図１６】
0005627622.tif 000026
【図１７】
0005627622.tif 000027
【図１８】
0005627622.tif 000028
【図１９】
0005627622.tif 000029
【図２０】
0005627622.tif 000030