(57)【要約】  レンズアレイ及びホルダーが環境条件の変化に伴って変形することに起因してセンサーアレイ上の各個眼像の位置ずれが生じる場合でも迅速かつ良好に画像処理が行える複眼撮像装置を提供する。画像処理回路８０が、少なくとも第１位置Ｔ１と第２位置Ｔ２との違いに関する情報、及びレンズアレイ１０の環境条件の変化に伴う変形の度合いを示す情報に基づいて、画像処理を実行する。例えば環境条件等の変化に伴って生じるセンサーアレイ６０上の各個眼像の位置の変化、すなわちセンサーアレイ６０上の光学像に対応して得られる画像の位置の変化を補正する。これにより、レンズ部１０ａの光軸ＯＡ方向から見たときのレンズアレイ１０及びホルダー５０の変形中心が一致していなくても、センサーアレイ６０上の各個眼像の位置ずれを迅速かつ正確に把握することができ、環境条件の変化に対して良好な画像処理を行うことができる。
2015001992.tif 000002
【特許請求の範囲】
【請求項１】
光軸に対して垂直な方向に２次元的に配列された複数のレンズ部を有するレンズアレイを含む複眼光学系と、
前記複眼光学系により前記複数のレンズ部に対応する複数の光学像が結像され、前記複数の光学像に対応する画像信号を出力するセンサーアレイと、
前記複眼光学系を前記センサーアレイに対向するように保持するホルダーと、
前記センサーアレイから出力される画像信号を処理するための画像処理回路と、
を備え、
基準環境条件において、前記光軸方向からみたときの、前記ホルダーの環境条件の変化に伴う変形の中心位置である第１位置と、前記光軸方向からみたときの、前記レンズアレイの環境条件の変化に伴う変形の中心位置である第２位置とが離れた状態で前記レンズアレイが前記ホルダーに固定され、
前記画像処理回路は、少なくとも、前記第１位置と前記第２位置との違いに関する情報、及び前記レンズアレイの環境条件の変化に伴う変形の度合いを示す情報に基づいて画像処理を行う複眼撮像装置。
【請求項２】
前記レンズアレイが、接着剤によって前記ホルダーに接着されている、請求項１に記載の複眼撮像装置。
【請求項３】
前記レンズアレイの被接着部は、前記レンズアレイのうち前記複数のレンズ部が設けられるレンズ部配列領域の中心に対して点対称な位置に設けられる、請求項２に記載の複眼撮像装置。
【請求項４】
前記レンズアレイの被接着部は、複数のレンズ部を囲むように連続する、請求項３に記載の複眼撮像装置。
【請求項５】
前記ホルダーは、天井部と該天井部を支える脚部とを有する、請求項１から４までのいずれか一項に記載の複眼撮像装置。
【請求項６】
前記レンズアレイは、前記ホルダーの前記天井部に固定される、請求項５に記載の複眼撮像装置。
【請求項７】
前記レンズアレイの物体側面が、前記ホルダーの前記天井部の像側面に固定される、請求項６に記載の複眼撮像装置。
【請求項８】
前記ホルダーは、環境条件の変化に伴って前記光軸に垂直な方向の形状変化を生じる際に、前記センサーアレイに対して実質的に相対位置が不変の変形中心を有するように配置されている、請求項１から７までのいずれか一項に記載の複眼撮像装置。
【請求項９】
前記センサーアレイが設けられた基板を備え、
前記ホルダーは、前記基板に固定される、請求項１から８までのいずれか一項に記載の複眼撮像装置。
【請求項１０】
前記センサーアレイが設けられた基板を備え、
前記ホルダーの脚部が前記基板に固定される、請求項５に記載の複眼撮像装置。
【請求項１１】
前記レンズアレイは、樹脂で形成される、請求項１から１０までのいずれか一項に記載の複眼撮像装置。
【請求項１２】
前記ホルダーは、樹脂で形成される、請求項１から１１までのいずれか一項に記載の複眼撮像装置。
【請求項１３】
前記ホルダーの線膨張係数α１、前記第１位置と前記第２位置との距離Ｌ、及びセンサーアレイの画素ピッチＰが、
３０Ｌ・α１＜５Ｐ
の関係を満たす、請求項１から１２までのいずれか一項に記載の複眼撮像装置。
【請求項１４】
前記ホルダーの線膨張係数α１、前記第１位置と前記第２位置との距離Ｌ、及びセンサーアレイの画素ピッチＰが、
３０Ｌ・α１＜２Ｐ
の関係を満たす請求項１から１２までのいずれか一項に記載の複眼撮像装置。
【請求項１５】
前記ホルダーの線膨張係数α１、及び前記レンズアレイの線膨張係数α２が、
１．２＞α２／α１＞０．８
の関係を満たす、請求項１から１４までのいずれか一項に記載の複眼撮像装置。
【請求項１６】
前記レンズアレイの線膨張係数α２、及び前記センサーアレイの線膨張係数α３が、
α２／α３＞５
の関係を満たす、請求項１から１５までのいずれか一項に記載の複眼撮像装置。
【請求項１７】
前記画像処理回路は、前記第１位置から前記第２位置への移動を示す第１ベクトルと、前記レンズアレイ内の位置ごとの変形を示す第２ベクトルとの合成ベクトルを用いて画像処理を行う、請求項１から１６までのいずれか一項に記載の複眼撮像装置。
【請求項１８】
前記画像処理回路は、前記第１位置及び前記第２位置の違いに関する情報と、前記レンズアレイの環境条件の変化に伴う変形の度合いを示す情報とに基づいて、環境条件に応じた各個眼像の前記センサーアレイ上の存在領域を推定し、推定された存在領域に対応する画像信号のパターンマッチングを実行して、環境条件の変化に伴う各個眼像の位置変化の補正量を求める、請求項１から１７までのいずれか一項に記載の複眼撮像装置。
【請求項１９】
前記基準環境条件は、環境温度を室温に設定することである、請求項１から１８までのいずれか一項に記載の複眼撮像装置。
【請求項２０】
前記複眼光学系は、前記レンズアレイを第１のレンズアレイとし、前記第１レンズアレイの前記光軸方向に重ねて配置される第２のレンズアレイをさらに備える、請求項１から１９までのいずれか一項に記載の複眼撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元的に配列された複数のレンズ部を有するレンズアレイを含む複眼撮像装置に関する。
【背景技術】
【０００２】
近年の撮像光学系に対する薄型化の要求は非常に高まっている。それに対応するために、光学設計による全長短縮やそれに伴う誤差感度増大に対応した製造精度向上を行ってきたが、さらなる薄型化の要求に対応するためには、従来の１つの光学系と撮像素子とによって像を得るという手法では不十分となっている。【０００３】
そこで、撮像素子の検出領域を分割して、それぞれに対応するように光学系を配置し、得られた画像を処理することで最終的な画像出力を行う複眼撮像装置に用いられる、複眼光学系と呼ばれる光学系が、薄型化への要求に対応するために注目されている。しかし、複眼光学系を含む撮像装置では、環境温度等の環境条件の変化により、撮像装置のレンズ部の配列ピッチ等が変化するため、これらに対処する必要があり、例えば、画像処理によって解決を図ることが考えられる。【０００４】
画像処理を行う複眼撮像装置の一例として、レンズアレイと撮像素子との間に各レンズに対応して矩形の孔をあけた遮光壁が配置された撮像装置であって、遮光壁を周囲温度の変化によるレンズアレイの形状変化に従うような形状や材質としておき、個眼像間において遮光壁の影を取り込むことができる撮像素子に入射した輝度情報から遮光壁の位置を反映した２値画像を取得し、これに基づいて周囲温度の変化に伴う遮光壁の歪み量を算出して補正するものが記載されている（特許文献１参照）。【０００５】
しかしながら、本発明者らの検討によれば、レンズアレイ又は遮光壁の変形に着目するだけでは、環境温度等の環境条件の変化に十分対応できない場合があることが判明している。これは、通常、レンズアレイが撮像素子に対向するようにホルダーによって保持されているところ、このホルダーが環境条件により変形すること等に起因して、撮像素子上の各個眼像の位置変化が見かけ上、複雑になって環境条件の変化に正確に対応することができなくなるためであると考えられる。より詳しくは、環境条件の変化に伴うホルダーの変形中心とレンズアレイの変形中心とを一致させることが現実的には難しいため、環境条件の変化に伴って生じる撮像素子に対するレンズ部のシフトが複雑になるものと考えられる。上記特許文献１では、遮光壁の影の位置を用いて温度変化に伴うレンズアレイの変形を間接的に把握しようとしているが、遮光壁の影の位置は、光源の状態や撮像装置の使用環境等によって影響を受けやすく検出結果が不安定になりやすい。また、遮光壁と撮像素子とを密着させることが難しく、撮像素子に投影される遮光壁の影がぼけやすくなる。従って、遮光壁の位置、特に四隅の位置を正確に求められないおそれがある。また、特許文献１では、遮光壁の変形から間接的にレンズアレイの変形を推定しているので、レンズアレイの変形やレンズアレイを保持する筺体の変形を正確に把握することができない。従って、特許文献１の撮像装置では、個々のレンズ部によって結像された同じ視野の画像から１つの高解像度の画像を得る超解像処理や、個々のレンズ部の視差の算出を高精度に実現することが難しい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１４７０７９号公報
【発明の概要】
【０００７】
本発明は、レンズアレイ及びホルダーが環境条件の変化に伴って変形することに起因してセンサーアレイ上の各個眼像の位置ずれが生じる場合でも迅速かつ良好に画像処理が行える複眼撮像装置を提供することを目的とする。
【０００８】
上記課題を解決するため、本発明に係る複眼撮像装置は、光軸に対して垂直な方向に２次元的に配列された複数のレンズ部を有するレンズアレイを含む複眼光学系と、複眼光学系により複数のレンズ部に対応する複数の光学像が結像され、複数の光学像に対応する画像信号を出力するセンサーアレイと、複眼光学系をセンサーアレイに対向するように保持するホルダーと、センサーアレイから出力される画像信号を処理するための画像処理回路と、を備え、基準環境条件において、光軸方向からみたときの、ホルダーの環境条件の変化に伴う変形の中心位置である第１位置と、光軸方向からみたときの、レンズアレイの環境条件の変化に伴う変形の中心位置である第２位置とが離れた状態でレンズアレイがホルダーに固定され、画像処理回路は、少なくとも、第１位置と第２位置との違いに関する情報、及びレンズアレイの環境条件の変化に伴う変形の度合いを示す情報に基づいて画像処理を行う。ここで、第１位置とは、レンズアレイを固定しているホルダーが環境条件の変化に伴って膨張又は収縮する際の、レンズ部の光軸方向から見たときの変形の中心となるホルダー上の位置である。センサーアレイやセンサーアレイが設けられた基板にホルダーを固定する場合、第１位置は、センサーアレイとの相対位置が実質的に変化しない箇所とすることができる。また、第２位置とは、ホルダーに対して固定されたレンズアレイが環境条件の変化に伴って膨張又は収縮する際の、レンズ部の光軸方向から見たときの変形の中心となるレンズアレイ上の位置である。第２位置は、ホルダーの固定箇所に対して相対位置が実質的に変化しない箇所とすることができる。第１位置と第２位置との違いに関する情報としては、例えば、第１位置から第２位置への移動を示すベクトルを用いることができる。レンズアレイの環境条件の変化に伴う変形の度合いを示す情報としては、例えば、レンズアレイの線膨張係数から導かれるレンズアレイ内の位置ごとの変形を示すベクトルを用いることができる。
【０００９】
上記複眼撮像装置では、画像処理回路が、少なくとも、第１位置と第２位置との違いに関する情報、及びレンズアレイの環境条件の変化に伴う変形の度合いを示す情報に基づいて、画像処理を実行する。例えば、環境温度の変動等の環境条件の変化に伴って生じるセンサーアレイ上の各個眼像の位置の変化、すなわちセンサーアレイ上の光学像に対応して得られる画像の位置の変化を補正する。これにより、レンズ部の光軸方向から見たときのレンズアレイ及びホルダーの変形中心が一致していなくても、センサーアレイ上の各個眼像の位置ずれを迅速かつ正確に把握することができ、環境条件の変化に対して良好な画像処理を行うことができる。
【００１０】
本発明の具体的な側面又は態様では、レンズアレイが、接着剤によってホルダーに接着されている。
【００１１】
本発明の別の側面では、レンズアレイの被接着部は、レンズアレイのうち複数のレンズ部が設けられるレンズ部配列領域の中心に対して点対称な位置に設けられる。
【００１２】
本発明のさらに別の側面では、レンズアレイの被接着部は、複数のレンズ部を囲むように連続する。
【００１３】
本発明のさらに別の側面では、ホルダーは、天井部と該天井部を支える脚部とを有する。  
【００１４】
本発明のさらに別の側面では、レンズアレイは、ホルダーの天井部に固定される。  
【００１５】
本発明のさらに別の側面では、レンズアレイの物体側面が、ホルダーの天井部の像側面に固定される。
【００１６】
本発明のさらに別の側面では、ホルダーは、環境条件の変化に伴って光軸に垂直な方向の形状変化を生じる際に、センサーアレイに対して実質的に相対位置が不変の変形中心を有するように配置されている。
【００１７】
本発明のさらに別の側面では、センサーアレイが設けられた基板を備え、ホルダーは、基板に固定される。
【００１８】
本発明のさらに別の側面では、センサーアレイが設けられた基板を備え、ホルダーの脚部が基板に固定される。
【００１９】
本発明のさらに別の側面では、レンズアレイは、樹脂で形成される。
【００２０】
本発明のさらに別の側面では、ホルダーは、樹脂で形成される。レンズアレイやセンサーアレイ等に合った形状のホルダーを容易に得ることができる。
【００２１】
本発明のさらに別の側面では、ホルダーの線膨張係数α１（１／℃）、第１位置と第２位置との距離Ｌ（ｍｍ）、及びセンサーアレイの画素ピッチＰ（ｍｍ）が、３０Ｌ・α１＜５Ｐの関係を満たす。ここで、上記関係式は、３０℃の温度変化を想定したものとなっている。
【００２２】
本発明のさらに別の側面では、ホルダーの線膨張係数α１、第１位置と第２位置との距離Ｌ、及びセンサーアレイの画素ピッチＰが、３０Ｌ・α１＜２Ｐの関係を満たす。
【００２３】
本発明のさらに別の側面では、ホルダーの線膨張係数α１、及びレンズアレイの線膨張係数α２が、１．２＞α２／α１＞０．８の関係を満たす。この場合、レンズアレイの線膨張係数とホルダーの線膨張係数とが近いため、環境条件変化時の両者の変形量が近くなるので、センサーアレイに結像される複数の光学像の相対的な位置ずれが比較的小さくなる。
【００２４】
本発明のさらに別の側面では、レンズアレイの線膨張係数α２、及びセンサーアレイの線膨張係数α３が、α２／α３＞５の関係を満たす。
【００２５】
本発明のさらに別の側面では、画像処理回路は、第１位置から第２位置への移動を示す第１ベクトルと、レンズアレイ内の位置ごとの変形を示す第２ベクトルとの合成ベクトルを用いて画像処理を行う。
【００２６】
本発明のさらに別の側面では、画像処理回路は、第１位置及び第２位置の違いに関する情報と、レンズアレイの環境条件の変化に伴う変形の度合いを示す情報とに基づいて、環境条件に応じた各個眼像のセンサーアレイ上の存在領域を推定し、推定された存在領域に対応する画像信号のパターンマッチングを実行して、環境条件の変化に伴う各個眼像の位置変化の補正量を求める。
【００２７】
本発明のさらに別の側面では、基準環境条件は、環境温度を常温に設定することである。
【００２８】
本発明のさらに別の側面では、複眼光学系は、レンズアレイを第１のレンズアレイとし、第１レンズアレイの光軸方向に重ねて配置される第２のレンズアレイをさらに備える。
【図面の簡単な説明】
【００２９】
【図１】図１Ａ及び１Ｂは、一実施形態の複眼撮像装置を説明する平面図及び断面図である。
【図２】複眼撮像装置のうちレンズアレイ積層体とホルダーとを説明する図である。
【図３】図３Ａ〜３Ｃは、環境条件が変化した場合のセンサーアレイに対する各レンズ部のシフトの様子を示す模式図である。
【図４】環境条件の変化に伴って生じるセンサーアレイ上の画像の位置ずれを示す実測結果を説明する図である。
【図５】図５Ａは、実施形態に係る複眼撮像装置の基本的構成を示すブロック図であり、図５Ｂは、デジタル処理回路に設けた画像処理回路を機能的に説明するブロック図である。
【図６】センサーアレイの光電変換面上に配列された多数の変換領域又は入力画像を説明する概念図である。
【図７】画像処理回路での動作の流れを表わすフローチャートである。
【図８】各合成レンズからの入力画像の温度変化による画素位置のずれを説明するための図である。
【図９】図７のステップＳ１２での、第１の位置ずれ推定処理工程としての位置ずれ概略推定処理の第１の具体例を説明するための図である。
【図１０】位置ずれ概略推定処理の第２の具体例を説明するための図である。
【図１１】位置ずれ概略推定処理の第３の具体例を説明するための図である。
【図１２】位置ずれ概略推定処理の変形例を説明するための図である。
【図１３】図１３Ａ〜１３Ｃは、図７のステップＳ１３での、第２の位置ずれ推定処理工程の具体例を説明するための図である。
【図１４】図７のステップＳ１４での超解像処理の流れを表わした図である。
【図１５】図１４のステップＳ３３で用いられる劣化情報を説明する図である。
【図１６】劣化情報の具体例を表わした図である。
【発明を実施するための形態】
【００３０】
〔撮像装置の像検出部〕
図１Ａ及び１Ｂは、本発明の一実施形態に係る複眼撮像装置のうち像検出を行うための像検出部を説明する平面図及び断面図である。
図１Ａ及び１Ｂ等に示すように、撮像装置１００（複眼撮像装置）は、レンズアレイ積層体１と、レンズアレイ積層体１を構成する個々の合成レンズ１ａに対応するセンサー領域６１を有するセンサーアレイ６０と、センサーアレイ６０によって検出された画像信号に対して視野分割方式又は超解像方式に適合する画像処理を行う画像処理回路８０を含むデジタル処理回路１０３と、センサーアレイ６０が実装される基板ＳＢとを備える。このうち、レンズアレイ積層体１、センサーアレイ６０、及び基板ＳＢは、像検出部として機能する。ここで、視野分割方式とは、個々のレンズによって結像された異なる視野の画像を、画像処理よって各視野の画像をつなぎ合わせることで１つの画像を得る方式を指す。また、超解像方式とは、個々のレンズによって結像された同じ視野の画像から画像処理によって１つの高解像度の画像を得る方式を指す。なお、本明細書において、画像処理とは、個々の個眼像から再構成画像を得るために、コンピューター等の演算装置を含む画像処理回路によって、画像データに対して施される補正や変換等の加工処理を指す。
【００３１】
図示のレンズアレイ積層体１は、複数（具体的には２つ）のレンズアレイ１０，２０を積み重ねた積層体であり、複眼光学系として用いられる。以下の説明においては、レンズアレイ積層体１をレンズアレイと呼ぶこともある。これらの第１及び第２レンズアレイ１０，２０は、ＸＹ面に平行に延びる四角平板状の部材であり、ＸＹ面に垂直なＺ軸方向に積み重ねられて相互に接合されている。
【００３２】
レンズアレイ積層体１は、センサーアレイ６０に対向した状態で矩形枠状のホルダー５０に収納されている。レンズアレイ積層体１において、物体側の第１レンズアレイ１０は、光学材料である光透過性の熱可塑性樹脂製の一体成形品、換言すれば、熱可塑性樹脂からなる一体物である。第１レンズアレイ１０は、中心軸ＡＸ方向又はＺ軸方向から見て矩形の輪郭を有する。ここで、中心軸ＡＸは、後述する複数のレンズ部１０ａの配列領域（レンズ部配列領域ＬＲ）の中心の軸を指す。第１レンズアレイ１０は、それぞれが光学素子である複数のレンズ部１０ａと、複数のレンズ部１０ａを周囲から支持する支持部１０ｂと、支持部１０ｂの外側に帯状に延在する四角枠状の縁部１０ｒとを有する。第１レンズアレイ１０を構成する複数のレンズ部１０ａは、ＸＹ面に平行に配列された正方の格子点（図示の例では４×４の１６点）上に２次元的に配置されている。各レンズ部１０ａは、物体側の第１主面１０ｐにおいて凸の第１光学面１１ａを有し、像側の第２主面１０ｑにおいて凸の第２光学面１１ｂを有する。第１及び第２光学面１１ａ，１１ｂは、例えば非球面となっている。支持部１０ｂは、平板状の部分であり、各レンズ部１０ａの周りをそれぞれ囲むように複数の周囲部分１０ｃを備える。支持部１０ｂの横方向の周辺又は外側にある四角枠状の縁部１０ｒは、第１レンズアレイ１０を第２レンズアレイ２０と接合するための部分となっている。なお、第１レンズアレイ１０において、支持部１０ｂ上にレンズ部１０ａが格子点上に配列されている領域と、レンズ部１０ａが設けられていない枠状の領域とが存在していると捉えることもできる。
【００３３】
像側の第２レンズアレイ２０は、熱可塑性樹脂製の一体成形品であり、中心軸ＡＸ方向から見て矩形の輪郭を有する。第２レンズアレイ２０は、それぞれが光学素子である複数のレンズ部２０ａと、複数のレンズ部２０ａを周囲から支持する支持部２０ｂと、支持部２０ｂの外側に帯状に延在する四角枠状の縁部２０ｒとを有する。複数のレンズ部２０ａは、ＸＹ面に平行に配列された正方の格子点（図示の例では４×４の１６点）上に２次元的に配置されている。各レンズ部２０ａは、物体側の第１主面２０ｐにおいて凹の第１光学面２１ａを有し、像側の第２主面２０ｑにおいて凸の第２光学面２１ｂを有する。第１及び第２光学面２１ａ，２１ｂは、例えば非球面となっている。支持部２０ｂは、平板状の部分であり、各レンズ部２０ａの周りをそれぞれ囲むように複数の周囲部分２０ｃを備える。支持部２０ｂの横方向の周辺又は外側にある四角枠状の縁部２０ｒは、第２レンズアレイ２０を第１レンズアレイ１０と接合するための部分となっている。なお、第２レンズアレイ２０において、支持部２０ｂ上にレンズ部２０ａが格子点上に配列されている領域と、レンズ部２０ａが設けられていない枠状の領域とが存在していると捉えることもできる。
【００３４】
以上のレンズアレイ１０，２０は、機械や手作業によって順次積み重ねることによって、自身の構造、及び自重や静電気力等によって互いに位置決めされる。つまり、セルフアライメントされる。ただし、レンズアレイに位置決め部を設けておき、片寄せして突き当てることで位置決めするようにしてもよい。また、レンズアレイ１０，２０は、積み重ねる際に縁部１０ｒ，２０ｒ間に例えば光硬化性樹脂を供給し積み重ねた後に光硬化性樹脂を硬化させることによって、互いに接合又は接着される。このような接合又は接着によって、２次元的にマトリックス状に配列された多数の合成レンズ１ａを備えるレンズアレイ積層体１が得られる。各合成レンズ１ａの光軸ＯＡは、複数のレンズ部１０ａ，２０ａの全体領域の中心軸ＡＸに平行になっている。
【００３５】
なお、第１レンズアレイ１０と第２レンズアレイ２０との間には、一対の支持部１０ｂ，２０ｂに挟持されて固定された薄い遮光性の第１絞り板４１が配置されている。この第１絞り板４１には、詳細な説明を省略するが、各レンズ部１０ａに対応して多数の開口が形成されている。第２レンズアレイ２０の像側には、接着等によって支持部２０ｂに固定された薄い遮光性の第２絞り板４２が配置されている。この第２絞り板４２には、詳細な説明を省略するが、各レンズ部２０ａ等に対応して多数の開口が形成されている。
【００３６】
以上のレンズアレイ１０，２０又はレンズアレイ積層体１は、樹脂製であることから、軽量かつ薄型で安価なものとなる。その半面、レンズアレイ１０，２０は、センサーアレイ６０に比べて線膨張係数が大きく、センサーアレイ６０上の各個眼像の位置ずれが大きくなる傾向がある。このため、レンズアレイ１０，２０又はレンズアレイ積層体１のホルダー５０への組付け方法が大切になり、かかる組付け方法が適切である場合、センサーアレイ６０上の各個眼像の位置ずれを補正する効果がより顕著に発現する。なお、レンズアレイ積層体１を用いる場合、各個眼が複数群のレンズ部１０ａ，２０ａからなる光学系で構成されるため、高画質化に有利になる。
【００３７】
ホルダー５０は、熱可塑性樹脂製の一体成形品であり、レンズアレイ積層体１の中心軸ＡＸ方向から見て矩形の輪郭を有する天井部５０ａと、この輪郭に沿って周状に配置され天井部５０ａから中心軸ＡＸ方向に延びる壁状の脚部５０ｂとを有する。ホルダー５０は、レンズアレイ積層体１、センサーアレイ６０等を天井部５０ａ及び脚部５０ｂによって囲むようにして配置した状態で、脚部５０ｂの底面全体を接着することによって基板ＳＢ上に固定されている。このようにホルダー５０を基板ＳＢ上に固定する場合、センサーアレイ６０に付随する回路を基板ＳＢ上にセンサーアレイ６０に近接して配置することも可能になり、撮像装置（複眼撮像装置）１００の性能向上を図ることができる。特に、ホルダー５０の脚部５０ｂを基板ＳＢに固定することにより、環境条件の変化に伴うホルダー５０の変形を把握しやすくなり、画像処理が容易になる。
天井部５０ａ及び脚部５０ｂを有する上記のようなホルダー５０を用いることにより、ホルダー５０内にセンサーアレイ６０の収容又は配置スペースを確保しつつ、センサーアレイ６０に対向する位置に、レンズアレイ積層体１を、これを構成する第１レンズアレイ１０の主面側から支持し得る天井部５０ａを配置することができる。また、ホルダー５０の天井部５０ａの像側に第１レンズアレイ１０の主面を接着して固定を行うことにより、レンズ部１０ａ，２０ａの光軸ＯＡに垂直な方向へのレンズアレイ積層体１又はレンズアレイ１０，２０の移動を含む変形を比較的妨げにくくなり、環境条件の変化に伴って生じるレンズアレイ１０，２０等の変形を把握しやすくなる。レンズアレイ積層体１を収納するホルダー５０の物体側には、ホルダー５０への接着等によって固定された入射絞り板４５が配置されている。ホルダー５０の天井部５０ａや入射絞り板４５には、詳細な説明を省略するが、各レンズ部１０ａ等に対応して多数の開口が形成されている。ホルダー５０は、その脚部５０ｂが基板ＳＢに接着固定されているため、環境温度の変化によって、主に天井部５０ａが変形することになる。このため、天井部５０ａの対角中心が変形中心にほぼ一致する。なお、ホルダー５０の天井部５０ａは接着されているレンズアレイ積層体１（レンズアレイ１０，２０）によっても拘束されるが、ホルダー５０のサイズを大きくしたり、柔軟性の高い接着剤を利用したりする等して、レンズアレイ１０，２０の拘束による影響を小さくすることができる。なお、レンズアレイ１０，２０をホルダー５０で保持することにより、センサーアレイ６０の周囲に他の部材を設けても複眼光学系がセンサーアレイ６０に対向する空間を確保することができる。
【００３８】
以上のホルダー５０は、樹脂製であることから、安価なものとなり、レンズアレイ１０，２０やセンサーアレイ６０等に合った形状を有するものを容易に得ることができる。その半面、センサーアレイ６０に比べて線膨張係数が大きく、センサーアレイ６０上の各個眼像の位置ずれが大きくなる傾向がある。このため、センサーアレイ６０上の各個眼像の位置ずれを補正する効果がより顕著に発現する。
【００３９】
センサーアレイ６０は、基板ＳＢ上に実装されている。センサーアレイ６０に設けられるセンサー領域６１は、光電変換を行う複数の画素を２次元的に配列したものであり、センサーアレイ６０上の個々の合成レンズ１ａに対応する局在的な領域に配置されていてもよいし、センサーアレイ６０の全体に配置されていてもよい。なお、基板ＳＢ上には、センサーアレイ６０の他に、後述するＡＤ変換部１０１ｂ等も実装されている。
【００４０】
以下、図１Ｂ、図２等を参照しつつ、レンズアレイ積層体１、ホルダー５０等について詳述する。図１Ｂ、図２等に示すように、レンズアレイ積層体１は、ホルダー５０の天井部５０ａの像側面に接着剤によって固定されている。これにより、レンズアレイ１０，２０からなるレンズアレイ積層体１は、ホルダー５０内に収容されるとともにホルダー５０内の適所に精度よく安定して固定され、結果的にセンサーアレイ６０に対しても精度よく安定して固定可能となる。本実施形態の場合、レンズアレイ積層体１の被接着部ＱＢは、レンズアレイ積層体１のうち複数のレンズ部１０ａ，２０ａが設けられる領域（レンズ部配列領域ＬＲ）の中心軸ＡＸに対して点対称な位置に配されている。具体的には、レンズアレイ積層体１のうち第１レンズアレイ１０の物体側の主面１０ｐと、ホルダー５０の天井部５０ａの像側面との間に、第１レンズアレイ１０の被接着部ＱＢが、複数のレンズ部１０ａを囲むように連続し平面視において略正方形となるように接着剤を配している（なお、図１Ａ、１Ｂ、及び図２において、被接着部ＱＢは、物体側からは直接観察されないため、破線で示してある）。ここで、レンズアレイ積層体１の中心軸ＡＸ上に、被接着部ＱＢに囲まれた領域の中心である支持基準点ＯＳが配置されている。被接着部ＱＢをこのように配置することにより、環境条件の変化によって、レンズアレイ積層体１は、中心軸ＡＸ又は支持基準点ＯＳから比較的歪みなく等方的に膨張変形又は収縮変形し、中心軸ＡＸ又は支持基準点ＯＳは、後述する第２位置Ｔ２とほぼ一致する。特に、レンズアレイ１０の被接着部ＱＢを複数のレンズ部１０ａ全体を囲むように連続して設けることで、等方的な変形を実現しやすくなる。レンズアレイ積層体１は、基準環境条件において、光軸ＯＡ方向から見たときのホルダー５０の環境変化に伴う変形の中心位置である第１位置Ｔ１と、レンズアレイ積層体１の環境変化に伴う変形の中心位置である第２位置Ｔ２とが距離Ｌだけ離れた状態となるように、ホルダー５０に固定されている。
【００４１】
ここで、基準環境条件とは、ホルダー５０及びレンズアレイ積層体１を、変形の度合いを規定するための基準となる形状にする環境条件である。例えば、ホルダー５０及びレンズアレイ積層体１の変形を生じさせる因子が環境温度であれば、ホルダー５０及びレンズアレイ積層体１が基準形状となる温度（例えば２０℃の常温）が基準環境条件である。この場合、レンズアレイ積層体１、ホルダー５０等を室温で組み立てることができ、撮像装置１００を容易に作製することができる。
また、第１位置Ｔ１は、レンズアレイ積層体１を固定しているホルダー５０が、環境条件の変化に伴って主に平面方向に変形する際の、ホルダー５０を支持する部材（本実施形態では基板ＳＢ）に対して光軸ＯＡ方向から見たときの相対位置が実質的に変化しないホルダー５０上の位置である。本実施形態の場合、第１位置Ｔ１は、ホルダー５０において、基板ＳＢに固定される部分の中心、すなわち平面視のホルダー５０において矩形枠の中心（対角線の交点）である。基板ＳＢとセンサーアレイ６０の環境変化における変形が、ホルダー５０の変形に比べて十分小さい場合、第１位置Ｔ１は、センサーアレイ６０に対して位置不変であると見ることもできる。このように、ホルダー５０にセンサーアレイ６０に対して位置不変の第１位置Ｔ１が存在することにより、環境条件の変化に伴うホルダー５０の変形を把握しやすくなり、画像処理が容易になる。
また、本実施形態では、第２位置Ｔ２は、ホルダー５０に対して固定されたレンズアレイ積層体１が、環境条件の変化に伴って主に平面方向に変形する際の、ホルダー５０に対して相対位置が実質的に変化しないレンズアレイ積層体１上の位置である。本実施形態の場合、第２位置Ｔ２は、レンズアレイ積層体１において、枠状の被接着部ＱＢの中心（対角線の交点）である。つまり、レンズ部配列領域ＬＲの中心軸ＡＸと変形中心とがほぼ一致する。
【００４２】
なお、第１位置Ｔ１と第２位置Ｔ２とが離れた状態としているのは、まず第１に、両者を正確に一致させることが難しいという理由による。第２に、次のような要因で、ホルダー５０の形状を、レンズアレイ積層体１のレンズ部配列領域ＬＲの縦横比と同じ形状にできないという理由による。具体的には、（１）センサーアレイ６０には、光電変換部以外に読み出し部等の機能部が必要であること、（２）センサーアレイ６０のワイヤーボンディングが４辺に配置されていない場合があること、（３）基板ＳＢ上にセンサーアレイ６０を実装する場合、センサーアレイ６０近傍に抵抗やコンデンサー等の他の電気部品を配置しなければならない場合があること、（４）複眼撮像装置のデザイン上の要請、（５）レンズアレイ１０，２０がプラスチック製である場合、射出成形のためのゲート部の近辺に射出の安定性を高めるために余白部を設ける結果、レンズアレイ１０，２０の形状がレンズ部配列領域に対して相似な形状でなくなること等である。これらの理由により、レンズアレイ積層体１のレンズ部配列領域ＬＲがホルダー５０に対して偏った位置に固定され、レンズアレイ積層体１のレンズ部配列領域ＬＲの中心位置とホルダー５０の中心とを一致させにくくなり、環境温度等の環境条件の変化に伴って、センサーアレイ６０上に結像される各光学像の位置が、レンズ部１０ａ，２０ａの配列の中心を起点とした等方的な変化とは異なる挙動を示すことになる。
【００４３】
既に説明した通り、レンズアレイ積層体１及びホルダー５０は、それぞれ樹脂で形成されている。レンズアレイ積層体１（レンズアレイ１０，２０）の線膨張係数α２とホルダー５０の線膨張係数α１は、１．２＞α２／α１＞０．８の関係を満たすことが好ましい。ホルダー５０やレンズアレイ積層体１の線膨張係数α１，α２は、センサーアレイ６０の線膨張係数よりも大きくなり（例えば５倍以上）、センサーアレイ６０上の各個眼像の位置ずれが大きくなる傾向がある。また、レンズアレイ積層体１の線膨張係数とホルダー５０の線膨張係数とが比較的近いため、環境条件変化時の変形中心位置が、ホルダー５０の第１位置Ｔ１と近くなるので、センサーアレイ６０に結像される複数の光学像の相対的な位置ずれが比較的小さくなる。これにより、位置ずれの前後で生じる非重複部分に相当する画素が多くなるのを防止でき、補正のための計算が簡単になる。
【００４４】
ホルダー５０の線膨張係数α１（１／℃）、第１位置Ｔ１と第２位置Ｔ２との距離Ｌ（ｍｍ）、及びセンサーアレイ６０の画素ピッチＰ（ｍｍ）は、３０Ｌ・α１＜５Ｐ、より好ましくは、３０Ｌ・α１＜２Ｐの関係を満たす。このようにすることで、レンズアレイ１０，２０のレンズ部１０ａ，２０ａ、ホルダー５０、及びセンサーアレイ６０の相対位置の関係で決まる画像取得のために必要な有効領域を確実に確保することができる。換言すれば、センサーアレイ６０の画素数を必要以上に多くする必要がなくなる。ここで、上記関係式は、３０℃の温度変化を想定したものとなっている。
【００４５】
レンズアレイ積層体１（レンズアレイ１０，２０）の線膨張係数α２、及びセンサーアレイ６０の線膨張係数α３は、α２／α３＞５の関係を満たす。このようにすることで、環境温度の変化に伴うレンズアレイ１０，２０の変形量に比べて、環境温度の変化に伴うセンサーアレイ６０の変形量を十分小さくすることができ、画像処理への負荷を軽減しやすくなる。
【００４６】
以下、環境条件変化時のレンズアレイ積層体１の変形や位置ずれの状態を説明する。以下では説明を簡単にするため、第１レンズアレイ１０の形状変化状態について説明するが、レンズアレイ積層体１の形状変化状態についても同様である。つまり、第１レンズアレイ１０について生じた変形や位置ずれは、レンズアレイ積層体１についても同様に生じる。この際、第１及び第２レンズアレイ１０，２０間に僅かな膨張率差がある場合、第１及び第２レンズアレイ１０，２０の膨張率を平均化した変形や位置ずれが生じる。
【００４７】
ホルダー５０が変形を生じないものであると仮定した場合、環境条件変化において、第１レンズアレイ１０のみが変形し、その変形中心である第２位置Ｔ２が支持中心（支持基準点ＯＳ）又は中心軸ＡＸと一致し、第１レンズアレイ１０は、支持中心（支持基準点ＯＳ）又は中心軸ＡＸを中心として等方的に変形する。従って、図３Ｂに示すように、センサーアレイ６０に対して第２位置Ｔ２を中心に等方的に放射状に位置ずれが生じる。なお、ホルダー５０の変形中心、レンズアレイ積層体１の変形中心、及びセンサーアレイ６０の中心位置を一致させた場合も同様になる。
【００４８】
一方、本実施形態のように、ホルダー５０の変形中心である第１位置Ｔ１と第１レンズアレイ１０の変形中心である第２位置Ｔ２とが距離Ｌ離れている場合（図２参照）、第１レンズアレイ１０は第１位置Ｔ１を中心に等方的に変形するとともに、ホルダー５０の変形によってセンサーアレイ６０に対して移動する。
【００４９】
図３Ａにおいて、ホルダー５０の変形による第２位置Ｔ２の移動を示すベクトルＭ１を一点鎖線で表し、第１レンズアレイ１０の変形を示すベクトルＭ２を二点鎖線で表している。ベクトルＭ１とベクトルＭ２とを合成した方向が、環境条件が変化した際の第１レンズアレイ１０の基板ＳＢやセンサーアレイ６０等に対する変形ベクトルＭ３となる。センサーアレイ６０側からは、あたかもある一点（図３Ａの座標ＳＰ０）を中心にして、放射状に各レンズ部１０ａが移動したように観察されることになる。環境条件の変化の度合いが図３Ａの１／２の場合、図３Ｃに示すように、第１レンズアレイ１０の変形ベクトルＭ３は半分の大きさとなる。なお、図３Ａ〜３Ｃにおいて、各ベクトルＭ１，Ｍ２，Ｍ３は理解を容易にするために誇張して図示してある。
【００５０】
従って、単純なモデルとしては、レンズアレイ１０自身の変形の度合いを示すベクトルＭ２と、レンズアレイ１０の移動を示すベクトルＭ１とを合成することにより、これらの影響による位置ずれをほぼ正確に把握することができる。例えば、基準環境条件におけるベクトルＭ１，Ｍ２を記憶しておき、環境条件の変化に合わせてベクトルＭ１，Ｍ２を補正することで、補正後のベクトルＭ１，Ｍ２の合成によって位置ずれを把握することができる。実際には、補正をより正確に行うため、２つのベクトルに基づいてずれを予測した後、領域を絞って画像解析することで補正を行うことが好ましい。このようにすることで、正確にしかも速く補正を行うことができる。なお、センサー領域６１は環境条件の変化による個眼像の位置ずれを十分カバーし得る画素数の領域を有している。
【００５１】
図４は、レンズアレイ積層体１の環境条件変化による変形や位置ずれを説明する実測結果を示す図である。実測に当たっては、４×４個のレンズ部が２．５ｍｍのピッチでマトリクス配列された１１ｍｍ角のプラスチック製レンズアレイ１０と、天井部５０ａのサイズが横（Ｘ方向）１３．９ｍｍ、縦（Ｙ方向）１３．７ｍｍのプラスチック製ホルダー５０とを使用した。レンズアレイ１０の材質は、環状ポリオレフィンである三井化学社製ＡＰＥＬ（線膨張係数７０×１０−６／℃）とし、ホルダー５０の材質はポリカーボネート（線膨張係数６０×１０−６／℃）とした。センサーアレイ６０としては、画素ピッチＰが１．７μｍで、線膨張係数が４×１０−６／℃のものを用いた。レンズアレイ１０は、第１位置Ｔ１と第２位置Ｔ２との距離Ｌが１．５ｍｍとなるように、熱硬化性接着剤を用いてホルダー５０に接着した。この際、複数のレンズ部１０ａの配列の中心に対して対称に複数のレンズ部１０ａを囲むように四角形状に接着剤を塗布してホルダー５０に接着した。ホルダー５０の脚部５０ｂをセンサーアレイ６０が実装された基板に接着固定した。そして、環境温度を２６℃から５８℃まで変化させ、得られた画像を解析することによって、各個眼像の中心位置の変化を測定した。図４は、各個眼に対応する１６個の画像データについて、中心画素付近のみを抜き出して並べたものである。環境温度が上昇するのに伴って位置ずれを生じており、見かけ上、レンズ部配列領域ＬＲの中心軸ＡＸからずれた位置（座標ＳＰ０）を中心とするように放射状に位置ずれが生じていることが観測された。
【００５２】
〔撮像装置の回路部分〕
図５Ａは、本実施形態に係る撮像装置の基本的な回路構成を説明するブロック図である。図示のように、撮像装置１００は、像検出部１０１と、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０３と、画像表示部１０４と、カードインターフェイス（Ｉ／Ｆ）１０７と、記憶部１０８と、操作キー１０９とを含む。
【００５３】
なお、撮像装置１００は、各部を独立の装置で具現化したシステムとして構成可能であるが、汎用的には、デジタルカメラ、パーソナルコンピューター、携帯通信端末等として具現化される。すなわち、デジタルカメラ等のユーザーは、撮像装置１００を用いて被写体を撮像することで、画像表示部１０４において高解像度の画像を視認することができ、記憶部１０８に高解像度の画像を保管することができる。具体的には、撮像装置１００において、像検出部１０１が被写体からの光を検出して被写体に相当する画像信号（入力画像）を生成し、デジタル処理回路１０３の画像処理回路８０がこの画像信号に対して後述するような画像処理を行うことで、入力画像よりも高周波数成分を有する高解像度の出力画像（以下、「高解像度画像」とも称する）を生成する。そして、デジタル処理回路１０３は、この高解像度画像を画像表示部１０４、記憶部１０８等へ出力する。
【００５４】
像検出部１０１は、被写体を撮像することで、データとして被写体の画像（被写体を映像化した入力画像）を生成する部分であり、カメラモジュールとも呼ばれる。像検出部１０１は、既に説明したように、図１Ａ及び１Ｂに示すような光学系を含む本体部分１０１ａと、この本体部分１０１ａに接続されたＡ／Ｄ（Analog to Digital）変換部１０１ｂとを含む。Ａ／Ｄ変換部１０１ｂは、本体部分１０１ａによって検出された被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。Ａ／Ｄ変換部１０１ｂすなわち像検出部１０１から出力されるデジタル信号には、被写体を映像化した入力画像に関する情報が含まれている。なお、像検出部１０１は、さらに撮像装置１００の各部分を制御するための制御処理回路等を含み得る。
【００５５】
ＣＰＵ１０２は、予めＲＯＭやＲＡＭに格納されたプログラムや設定値に基づいて処理を実行することで、像検出部１０１、デジタル処理回路１０３、画像表示部１０４、カードインターフェイス（Ｉ／Ｆ）１０７等の動作を統括的に制御しており、撮像装置１００の全体に撮像等のユーザーの要求に応じた動作又は状態監視等の既定の動作を行わせる。上述した第１位置Ｔ１、第２位置Ｔ２、ホルダー５０の線膨張係数α１、レンズアレイ積層体１（レンズアレイ１０，２０）の線膨張係数α２、センサーアレイ６０の線膨張係数α３、ベクトルＷ１，Ｗ２、及び環境温度の変化によるベクトルＷ１，Ｗ２の補正係数等は、ＲＯＭ又はＲＡＭに記憶されている。
【００５６】
デジタル処理回路１０３は、ＣＰＵ１０２の制御下で動作し、本実施形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０３は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）等によって構成される。このデジタル処理回路１０３は、像検出部１０１によって得た入力画像に対して超解像処理等を含む所期の画像処理を行って出力画像を生成する画像処理回路８０を含む。
【００５７】
画像表示部１０４は、像検出部１０１により提供される入力画像、デジタル処理回路１０３によって生成される出力画像、撮像装置１００に係る各種設定情報、制御用ＧＵＩ（Graphical User Interface）画面等を表示する。
【００５８】
カードインターフェイス（Ｉ／Ｆ）１０７は、デジタル処理回路１０３の画像処理回路８０によって生成された出力画像又は画像データを記憶部１０８に書き込み、或いは、記憶部１０８から画像データ等を読み出すためのインターフェイスである。記憶部１０８は、画像処理回路８０によって生成された画像データや、その他の各種情報（撮像装置１００の制御パラメーター、動作モード等の設定値）を格納する記憶デバイスである。この記憶部１０８は、フラッシュメモリ、光学ディスク、磁気ディスク等からなり、データを不揮発的に記憶する。
【００５９】
図５Ｂは、デジタル処理回路１０３に設けた画像処理回路８０を機能的に説明するブロック図である。画像処理回路８０は、像検出部１０１によって取得された入力画像に対して、本実施形態に従う画像処理方法を実施することで高解像度画像を生成する。より具体的には、画像処理回路８０は、後述する位置ずれ推定処理を行うための位置ずれ推定部８１と、超解像処理部８２と、入出力部８３とを含む。位置ずれ推定部８１は、さらに第１の位置ずれ推定処理工程を行うための第１推定部８１ａと第２の位置ずれ推定処理工程を行うための第２推定部８１ｂとを含む。第１推定部８１ａは、後述する探索エリアを設定するための設定部８１ｄを含む。また、超解像処理部８２は、推定された位置ずれ等に基づいて超解像処理に用いるパラメーターを算出するための算出部８２ａを含む。
【００６０】
超解像処理部８２は、入力画像に対して後述する超解像処理を行う。超解像処理とは、入力画像が持つナイキスト周波数を超える周波数情報を生成する処理である。その際に、位置ずれ推定部８１は、後述する第１の位置ずれ推定処理工程及び第２の位置ずれ推定処理工程を行って、入力画像それぞれについて、基準画像からの位置ずれを推定する。
【００６１】
〔動作概要〕
撮像装置１００では、カメラアレイとして機能する像検出部１０１によって撮影することで得られる、それぞれ異なる視点の複数の入力画像について超解像処理を施し、高解像度画像を得る。
【００６２】
撮像装置１００は、図６に示すセンサーアレイ６０の光電変換面ＰＣ上にマトリックス状に配列された多数の変換領域ＡＲにおいて検出された多数の入力画像ＩＧに対して、環境条件（温度変化等）による画素位置のずれを考慮して超解像処理を行う。この際、撮像装置１００は、センサーアレイ６０上に投射される画像に対応する入力画像ＩＧに関して、レンズアレイ積層体１等の温度変動に起因する周辺への一様な膨張又は中心への一様な収縮の現象だけでなく、ホルダー５０、レンズアレイ積層体１等に起因する温度依存性を有する空間的に一様なシフト現象を考慮して、画素位置のずれを予め高い確度で評価して超解像処理を行う。
【００６３】
〔動作フロー〕
（全体動作）
図７は、本実施形態に係る撮像装置１００での動作の流れを表わすフローチャートである。
まず、撮像装置１００では、像検出部１０１を構成する１６個の個眼カメラによってそれぞれ入力画像ＩＧを取得する処理が実行されることで、図６に示す１６枚の入力画像ＩＧが取得される（ステップＳ１１）。具体的には、図６のセンサーアレイ６０の１６個の変換領域ＡＲにおける光電変換によってそれぞれ得た入力画像ＩＧに対応するデジタル画像信号がデジタル処理回路１０３の画像処理回路８０に入力される。ここでは、例えば１０００×７５０画素程度の低解像度の画像が入力されるものとする。なお、画像処理回路８０では、得られたデジタル画像信号に対して前処理を行うことができ、これによって後述する位置ずれの検出や補正が容易になる。この前処理には、ガウシャンフィルターのような平滑化の処理が含まれ、デモザイク処理によって色ごと（ＲＧＢ）の画像を得ることもできる。
【００６４】
入力画像が取得されると、画像処理モードの選択を行う（ステップＳ１０）。高画質を求める場合はモード１を、高速性を求める場合はモード２が選択される。モードの選択は、予め、操作者の操作キーの操作によって指定された画像処理モードに合うように切替えたり、静止画撮影と動画撮影等の撮影の態様に応じて自動的に切り替えたりすることができる。
【００６５】
モード１が選択された場合はステップＳ１２へ移行し、モード２が選択された場合はステップＳ１６へ移行する。ステップＳ１２においては、画像処理回路８０の第１推定部８１ａにおいて、第１の位置ずれ推定処理工程として、位置ずれ概略推定処理が実行される。この処理工程では、ピクセル単位（整数画素）でのずれ量が推定される。なお、ここでは、レンズアレイ積層体１を構成する各合成レンズ１ａが温度変化によって位置が変化することによる、入力画像ＩＧごとの画素の位置ずれが推定される。
【００６６】
次に、ピクセル単位でのずれ量に基づいて、画像処理回路８０の第２推定部８１ｂにおいて、第２の位置ずれ推定処理工程が実行される（ステップＳ１３）。ここでは、サブピクセル単位（小数画素）でのずれ量が推定される。
【００６７】
そして、画像処理回路８０の超解像処理部８２において、ステップＳ１２，Ｓ１３で得た位置ずれ量を考慮して超解像処理が実行され（ステップＳ１４）、４０００×３０００画素程度の高解像度画像が出力画像ＯＧとして生成される。
【００６８】
（位置ずれ概略推定処理）
図８及び図９は、上記ステップＳ１２での、第１の位置ずれ推定処理工程としての位置ずれ概略推定処理の具体例を説明するための図である。以下、環境条件が温度であるものとして説明する。図８は、各合成レンズ１ａからの入力画像ＩＧの温度変化による画素位置のずれを説明するための図であって、一例として、温度が３０℃上昇する前後の入力画像ＩＧを模式的に表わした図である。また、図９は、１つの変換領域ＡＲに着目した入力画像ＩＧのシフト（拡大含む）を説明する図である。
【００６９】
図８の温度上昇前の図（左図）において、１６個の実線矩形は、センサーアレイ６０上の入力画像ＩＧ（Ａ〜Ｐ）をそれぞれ表わしている。図８の温度上昇後の図（右図）では、１６個の点線矩形が温度上昇前の入力画像Ａ〜Ｐを表わし、１６個の実線矩形が温度上昇後の入力画像Ａ〜Ｐを表わしている。入力画像の符号Ａ〜Ｐは、レンズアレイ積層体１を構成する合成レンズ１ａを識別するものともなっている。つまり、レンズアレイ積層体１を構成する１６個の合成レンズ１ａは、符号Ａ〜Ｐによって表される場合もある。
【００７０】
図８に示すように、温度が上昇すると、各合成レンズ１ａ及びホルダー５０が膨張するため、各入力画像の撮影範囲が全体的に変化する。本実施形態においては、撮像装置１００は、内側に配される４つのレンズ部のうちの一つの合成レンズ１ａからの入力画像ＩＧ（Ｋ）を上記ステップＳ１２での位置ずれ概略推定処理に際しての基準画像として用いる。なお、本処理においては、以上の伸縮に際して、すべての入力画像ＩＧ（Ａ〜Ｐ）は、相似形状として伸縮し、相対的には合同な関係を保つものと仮定して処理を実行する。
【００７１】
例えば、入力画像ＩＧ上の間隔の伸びが３０℃の温度上昇に対して１／１０００倍であるものとする。この場合、基準画像である入力画像ＩＧ（Ｋ）と、これから最も離れた入力画像ＩＧ（Ａ）との距離が、斜め方向（Ｘ方向、Ｙ方向それぞれ）に４０００画素であるとすると、入力画像ＩＧ（Ａ）が３０℃の温度変化によって斜め方向（Ｘ方向、Ｙ方向それぞれ）に４画素変化する。つまり、入力画像ＩＧ（Ａ）の入力画像ＩＧ（Ｋ）に対する相対位置は、標準温度±３０℃の環境下、９×９画素の範囲で変化することになる。
【００７２】
上記ステップＳ１２では、基準画像である入力画像ＩＧ（Ｋ）上の、図８において小円で表わした画素（基準画素）ＣＰを基準として、残りの入力画像ＩＧ（Ａ〜Ｊ，Ｌ〜Ｐ）上の対応する基準画素ＣＰ'について、温度に起因する膨張及び収縮による位置ずれをピクセル単位で推定する。ここで、入力画像ＩＧ（Ｋ）上の基準画素ＣＰは、第１位置Ｔ１及び第２位置Ｔ２に基づいて決定する。つまり、第１位置Ｔ１、第２位置Ｔ２、第１位置Ｔ１から第２位置Ｔ２に向かう第１ベクトルＷ１、及びレンズアレイ積層体１（レンズアレイ１０，２０）の線膨張係数α２を用いて、温度変化による移動が最も小さくなるような画素を算出して基準画素ＣＰを決める。基準画素ＣＰが温度変化による移動が小さいものであると、後述する探索エリアのマージン幅を狭くできる効果がある。
【００７３】
図９に示すように、基準画像である入力画像ＩＧ（Ｋ）を除いた入力画像ＩＧ（Ａ〜Ｊ，Ｌ〜Ｐ）のうち、例えば入力画像ＩＧ（Ａ）において、温度変化による位置ずれがない場合に対応する画素ＣＰ'が、予め適宜設定された座標位置として特定される（点線丸）。そして、±３０℃の温度変化による位置ずれを推定する場合、この画素ＣＰを中心に、±３０℃の温度変化に伴って入力画像ＩＧ（Ａ）に想定されるシフト量をカバーする範囲Ａ１が、基準画素ＣＰに対応する画素を探索するための最低限のエリアとなる。ここで、入力画像ＩＧ（Ａ）に想定されるシフト量をカバーする範囲Ａ１は、基準画素ＣＰから画素ＣＰ'までの距離をＤとし、単位温度あたりの伸縮率をβとした場合、画素ＣＰ'を中心として長さＤ×β×６０（６０は、温度で℃単位）の対角線によって規定される四角形の周囲に一定のマージン幅だけ広げたものとなる。図８に示されるように、範囲Ａ１で示す探索エリアは、入力画像ＩＧ（Ａ〜Ｊ，Ｌ〜Ｐ）ごとに設定される一組のものであり、基準画像である入力画像ＩＧ（Ｋ）から遠いほど広く、また放射状の方向に長く設定される。具体的には、範囲（探索エリア）Ａ１は、以下の表１のような値にマージン幅を追加した領域に設定される。
〔表１〕
2015001992.tif 000003
以上の表において、値ａ，ｂは、入力画像ＩＧのＸ方向のピッチをＰｘとし、Ｙ方向のピッチをＰｙとすると、伸縮率βを用いて、Ｐｘ×β×３０，Ｐｙ×β×３０に相当するものとなっている。
【００７４】
探索エリア（推定される存在領域とも呼ぶ）については、上記範囲Ａ１は例示であり、上記範囲Ａ１に限定されるものではない。入力画像ＩＧ（Ａ〜Ｊ，Ｌ〜Ｐ）において、基準画素ＣＰ'が上記範囲Ａ１を規定する対角線に沿ってシフトすることを考えると、範囲Ａ１全てを探索エリアとして設定するよりも、対角線に対応する線分ＴＬに沿った細長い範囲Ａ２を探索エリアとして設定する方が、探索の効率がより良くなる。すなわち、図９に示すように、３０℃温度低下した場合に画素ＣＰ'に対応する位置となる画素ＣＰ１と、３０℃温度上昇した場合に画素ＣＰ'に対応する位置となる画素ＣＰ２とを特定することで、画素ＣＰ１と画素ＣＰ２とをつなぐとともに一定のマージン幅だけ広げた範囲Ａ２を探索エリアとする。図１０は、検索の対象となるすべての入力画像ＩＧ（Ａ〜Ｊ，Ｌ〜Ｐ）について、探索エリアの範囲Ａ２を示したものである。この場合、範囲Ａ２は、入力画像ＩＧの軸Ｘ，Ｙに対して傾いたものとなる。
【００７５】
他の入力画像ＩＧ（Ｂ〜Ｊ，Ｌ〜Ｐ）についても、同様の手法で、入力画像ＩＧ（Ｂ〜Ｊ，Ｌ〜Ｐ）に想定されるシフト量をカバーする範囲Ａ１、より好ましくは±３０℃の上限と下限とをつなぐ線分ＴＬに沿って一定のマージン幅だけ広げた細長い範囲Ａ２を探索エリアとする。
【００７６】
なお、探索エリアを第１位置Ｔ１、第２位置Ｔ２、第１位置Ｔ１と第２位置Ｔ２との距離Ｌ、及びレンズアレイ積層体１（レンズアレイ１０，２０）の線膨張係数α２に基づいて決定してもよい。この場合、上述の手順が省略されるため、処理が高速になる。
【００７７】
以上では、像検出部１０１の温度が特定できないことを前提としたが、撮像装置１００が像検出部１０１周辺の温度を検出する温度センサーを備える場合、図１１に示すように、範囲Ａ２をより制限した正方形に近い範囲Ａ３を探索エリアとすることもできる。図示の範囲Ａ３は、標準温度よりも＋３０℃上昇した場合に相当する。つまり、範囲Ａ３は、像検出部１０１周辺の温度に対応して、範囲Ａ２内で移動する。
【００７８】
以上のような範囲Ａ１，Ａ２，Ａ３は、比較的簡易な方法で推定した個眼像の存在領域を前提としており、このような範囲Ａ１，Ａ２，Ａ３を探索エリアとしてパターンマッチングを実行することで、画像処理への負荷を比較的小さくすることができる。
【００７９】
なお、上記探索エリアに対応する範囲Ａ２，Ａ３等は、温度変化に加えて、例えば実際の合成レンズ１ａ間の距離等の設計値からのずれを考慮して、温度変化のみから想定されるマージン幅より大きく外側に広げた範囲とすることができる。
【００８０】
上記探索エリアすなわち範囲Ａ１，Ａ２，Ａ３（好ましくは範囲Ａ２，Ａ３）内おいて、入力画像ＩＧ（Ａ）の基準画素ＣＰ'を含む画像を用いてテンプレートマッチング処理が行われ、入力画像ＩＧ（Ｋ）の基準画素ＣＰと最も一致度が高い画素ＴＰが基準画素ＣＰに対応する位置にある画素として特定される。ここでのテンプレートマッチング処理の一例として、ＮＣＣ（Normalized Cross Correlation）が挙げられる。他の例として、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等であってもよい。そして、他の入力画像ＩＧ（Ｂ〜Ｊ，Ｌ〜Ｐ）についても、同様の探索エリアである範囲Ａ１，Ａ２，Ａ３（好ましくは範囲Ａ２，Ａ３）内において、上記テンプレートマッチング処理が行われて、各入力画像ＩＧ（Ａ〜Ｊ，Ｌ〜Ｐ）において、入力画像ＩＧ（Ｋ）の基準画素ＣＰに対応する位置にある画素が特定される。
【００８１】
図１２は、図９に対応するものであり、探索エリアの設定等の変形例を説明する図である。この場合、基準画素ＣＰは、入力画像ＩＧ（Ｋ）上にあるものの、温度による位置ずれがないとする点ＳＰから離れた位置に設定されている。結果的に、基準画素ＣＰも比較的広い範囲でシフトするが、撮像装置１００が像検出部１０１周辺の温度を検出する温度センサーを備える場合、像検出部１０１の周辺温度に応じて範囲Ａ２'中の特定箇所の画素ＣＰＶを選択して、この画素をテンプレートマッチング処理用の基準画素ＣＰとすればよい。
【００８２】
（位置ずれ推定処理１）
以下、図７のステップＳ１３における、第２の位置ずれ推定処理工程としての位置ずれ推定処理１について説明する。この位置ずれ推定処理１では、ステップＳ１２での概略推定をより精度的に高めたサブピクセル単位で位置ずれ推定が行われる。
【００８３】
図１３Ａ〜１３Ｃは、上記ステップＳ１３での位置ずれ推定処理１を説明するための図である。図１３Ａに示すように、温度変化後の１つの入力画像ＩＧ（Ａ）について、サブピクセル単位での位置ずれが推定される。上記ステップＳ１２の第１の位置ずれ推定処理工程によって特定された、入力画像ＩＧ（Ａ）において基準画素ＣＰ'に相当する画素ＴＰを中心とした例えば３×３画素の範囲の規定範囲Ａ４で、テンプレートマッチングにおける画素ごとの一致度（例えばＮＣＣ値）を元に２次曲面フィッティングが行われる（図１３Ｂ参照）。ステップＳ１３の位置ずれ推定処理１では、一例として、論文「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」（電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ．６５０−６６０、２００９、２００９年５月）に記載された手法を採用することができる。すなわち、図１３Ｂ及び１３Ｃに表わされたように、画素ごとの一致度のうち、最も一致度の高い画素の座標がずれ量として特定される。このように、探索エリアを設定してからパターンマッチングを行うので、全ての画像に対してパターンマッチングを行うのに比べて、高速に処理を行うことができる。
【００８４】
以上は、基準画像の入力画像ＩＧ（Ａ）について、精密な位置ずれ推定を行う処理について説明したが、他の入力画像ＩＧ（Ｂ〜Ｊ，Ｌ〜Ｐ）についても、上記ステップＳ１２の第１の位置ずれ推定処理工程によって特定された画素ＴＰを基準として、入力画像ＩＧ（Ａ）の場合と同様の処理を行うことで、精密な位置ずれ推定を行うことができる。
【００８５】
なお、ステップＳ１３では、上記の２次曲面フィッティングに替えて、Ｘ座標及びＹ座標それぞれで２次曲線にフィッティングする等の他の手法が採用されてもよい。
【００８６】
（位置ずれ推定処理２）
ステップＳ１０でモード２が選択された場合、ステップＳ１６において、簡易な位置ずれ推定処理である位置ずれ推定処理２が実行される。本ステップにおいては、第１位置Ｔ１と第２位置Ｔ２との差異に基づくベクトルＷ１と、レンズアレイ１０の等方的な変形に基づくベクトルＷ２とに基づいて、簡易に位置ずれを推定するものである。具体的には、撮像装置内に温度センサーを設けておき、両ベクトルＷ１，Ｗ２を測定した環境温度によって補正した上で、両者の合成ベクトルから画素ごとのずれ量を算出し、この算出結果が位置ずれを示すものと推定する。或いは、画像データの離れた複数の画素から温度変化を推定し、それに基づいて両ベクトルＷ１，Ｗ２を補正し、補正後の両ベクトルを合成して位置ずれを推定する。この方法によれば、上述したような探索エリアの設定やパターンマッチングによる正確な位置ずれ検出を行わないので、高速に位置ずれ推定を行うことができる。つまり、比較的簡易な演算により、環境条件の変化に伴う個眼像の位置ずれを把握することができ、迅速に良好な画像処理を行うことができる。なお、ベクトルＷ１の算出に当たっては、基準温度における、ホルダー形状及びレンズアレイ形状から、第１位置Ｔ１及び第２位置Ｔ２を算出してもよいし、ホルダー５０にレンズアレイ１０を接着した後に、温度を昇降させて第１位置Ｔ１及び第２位置Ｔ２を実測してもよい。ベクトルＷ２は、位置によってそれぞれ異なるものであるが、第２位置Ｔ２を中心とする等方的な変形とみなすことで、第２位置Ｔ２に対する位置の関数として容易に算出することができる。
【００８７】
（超解像処理）
図１４は、上記ステップＳ１４での超解像処理の流れを表わした図である。図１４では、具体例として、論文「Fast and Robust Multiframe Super Resolution」（IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 10, OCTOBER 2004 page.1327-1344）に記載された処理を行う場合の超解像処理の流れが示されている。
【００８８】
図１４に示すように、ステップＳ３１で、入力画像のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。
【００８９】
ステップＳ３２で、ノイズにロバストに収束させるためのＢＴＶ（Bilateral Total Variation）量が算出される。
【００９０】
ステップＳ３３で、上記生成された出力候補画像と１６枚分の入力画像とが比較されて、残差が算出される。すなわち、ステップＳ３３では、上記生成された出力候補画像が、各入力画像とその劣化情報（超解像後の画像と入力画像との間の関係を示す情報）とに基づいて入力画像サイズに変換（低解像度化）されて（図１５のステップＳ４１参照）、１６枚分の入力画像との差異が算出され、記録される（図１５のステップＳ４２参照）。そして、その差異が、超解像処理後のサイズに戻され（図１５のステップＳ４３参照）、残差とされる。
【００９１】
ステップＳ３４で、上記ステップＳ３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。
【００９２】
上記ステップＳ３１〜Ｓ３４の処理が、出力候補画像が収束するまで繰り返され、収束した出力候補画像が超解像処理後の出力画像として出力される。
【００９３】
繰り返しは、おおよそ充分に収束する回数（例えば２００回）等の、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。
【００９４】
図１５は、上記ステップＳ３３で用いられる劣化情報を説明するための図である。劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、例えば行列形式で表わされる。劣化情報には、上記ステップＳ１３で推定された入力画像それぞれのサブピクセルレベルでのずれ量、ダウンサンプリング量、及びぼけ量等が含まれる。
【００９５】
図１５を参照して、劣化情報は、入力画像及び超解像処理後の高解像度画像それぞれを１次元のベクトル表現した場合に、その変換を示す行列で規定される。撮像装置１００は、上記ステップＳ１２及びＳ１３の推定処理にて推定された位置ずれに基づいて超解像処理に用いるパラメーターを算出し、劣化情報として組み込む。
【００９６】
図１６は、劣化情報の具体例を表わした図である。撮像装置１００は、画素のずれ量が０．２５画素と推定され、ダウンサンプリング量が縦方向及び横方向それぞれに１／４であった場合に、図１６に表わされたような劣化情報を規定する。入力画像の内の１画素に対応した１か所と、超解像処理後の高解像度画像の１６か所の１６画素とが対応しているときに、劣化情報には、１６か所に１／１６の係数が記載されている。そのため、画素のずれ量が０．２５画素である場合、高解像度画像の１６画素それぞれに対してはそのずれ量の１／１６分、寄与することになる。
【００９７】
なお、上記ステップＳ１４での超解像処理は、図１４に表わされた処理に限定されるものではなく、複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。上記ステップＳ３２で算出される拘束項は、ＢＴＶ量に替えて、例えば４近傍ラプラシアン等の他のものが用いられてもよい。
【００９８】
以上説明した複眼撮像装置によれば、画像処理回路８０が、少なくとも、第１位置Ｔ１と第２位置Ｔ２との違いに関する情報、及びレンズアレイ積層体１（レンズアレイ１０，２０）の環境条件の変化に伴う変形の度合いを示す情報に基づいて、画像処理を実行する。例えば、環境温度の変動等の環境条件の変化に伴って生じるセンサーアレイ６０上の各個眼像の位置の変化、すなわちセンサーアレイ６０上の光学像に対応して得られる画像の位置の変化を補正する。これにより、レンズ部１０ａ，２０ａの光軸ＯＡ方向から見たときのレンズアレイ１０，２０及びホルダー５０の変形中心が一致していなくても、センサーアレイ６０上の各個眼像の位置ずれを迅速かつ正確に把握することができ、環境条件の変化に対して良好な画像処理を行うことができる。
【００９９】
以上では、センサーアレイ６０や基板ＳＢが殆ど膨張収縮しないことを前提としたが、センサーアレイ６０や基板ＳＢもホルダー５０に比べて少ないものの温度に伴う若干の膨張収縮があり、これも加味して、計算を行ってもよい。
【０１００】
また、上記実施形態では、ホルダー５０、レンズアレイ積層体１又は第１レンズアレイ１０の変形によって像の形成位置が撮像面に沿って位置ずれする場合について説明したが、像の形成位置が環境温度に伴って光軸ＯＡ方向に微少変位（焦点ずれ）する可能性もある。この場合、環境温度に伴って発生する局所的な焦点ずれを補償するような処理も可能である。具体的には、図１３Ａ〜１３Ｃに示す第２の位置ずれ推定処理工程の際にぼけ度合い推定処理を行って、入力画像それぞれについて、基準画像からのぼけ度合いを推定する。つまり、上記変形後のステップＳ１３では、サブピクセル単位（小数画素）でのずれ量が推定される際にぼけ度合いも推定される。そして、上記ステップＳ１４では、位置ずれ量及びぼけ度合いを考慮して、超解像処理が実行される。
【０１０１】
上記実施形態では、ホルダー５０やレンズアレイ積層体１等の温度変形が線形的であるとしたが、これらの部材間の固定条件やホルダー５０の形状に起因して非線形的成分を持つ可能性もある。この場合、このような非線形的成分も加味して収縮の方位を算定することができ、この場合、例えば上記探索エリアの範囲Ａ２が曲線的に延びるとして画像処理を行うこともできる。
【０１０２】
以上、実施形態に係る複眼撮像装置について説明したが、本発明に係る複眼撮像装置は、上記例示のものには限られない。例えば、各レンズアレイ１０，２０を構成するレンズ部１０ａ，２０ａの配列やその光学面１１ａ，１１ｂ等の形状等は、レンズアレイ積層体１又は撮像装置１００の用途又は仕様に応じて適宜変更することができる。例えばレンズ部１０ａ，２０ａは、４×４の格子点に配列するものに限らず、例えば３×３、５×５等の格子点に配列することができる。また、格子は、正方の格子に限らず、長方の格子でもよい。
【０１０３】
上記各実施形態においては、環境条件が環境温度であるとして説明したが、これに限るものではなく、周辺環境の湿度、周辺環境における特定成分の濃度、或いはこれらのうち複数の要素の組み合わせであってもよい。必要に応じて湿度センサーやガスセンサー等を設けるようにしてもよい。
【０１０４】
また、上記実施形態において、レンズアレイを２枚積層したが、積層せず、単層のレンズアレイとしてもよい。また、レンズアレイを３枚以上積層してもよい。
【０１０５】
レンズアレイ積層体１のホルダー５０に対する被接着部ＱＢを平面視において、略正方形としたが、矩形や円形にしてもよい。
【０１０６】
上記実施形態において、レンズアレイ１０，２０は、樹脂製としたが、ガラス製であってもよい。また、樹脂としては、熱可塑性樹脂に限らず、熱硬化性樹脂や光硬化性樹脂等を用いることができる。また、レンズアレイ１０，２０は、例えばガラスの基板上に樹脂のレンズ部を２次元的に配列したウェハーレベルレンズであってもよい。
【０１０７】
また、上記実施形態おいて、ホルダー５０を基板ＳＢに固定したが、センサーアレイ６０に固定してもよい。
【０１０８】
また、上記実施形態おいてレンズアレイ１０，２０の支持基準点ＯＳを中心軸ＡＸに一致させているが、支持基準点ＯＳを中心軸ＡＸから積極的にずらして配置することもできる。
【図１】
2015001992.tif 000004
【図２】
2015001992.tif 000005
【図３】
2015001992.tif 000006
【図４】
2015001992.tif 000007
【図５】
2015001992.tif 000008
【図６】
2015001992.tif 000009
【図７】
2015001992.tif 000010
【図８】
2015001992.tif 000011
【図９】
2015001992.tif 000012
【図１０】
2015001992.tif 000013
【図１１】
2015001992.tif 000014
【図１２】
2015001992.tif 000015
【図１３】
2015001992.tif 000016
【図１４】
2015001992.tif 000017
【図１５】
2015001992.tif 000018
【図１６】
2015001992.tif 000019
【国際調査報告】
2015001992.tif 000020
2015001992.tif 000021