(57)【要約】      （修正有）【課題】短時間で望ましい高解像度の画像生成を行う画像処理が可能な複眼撮像装置を提供する。【解決手段】複数の個眼撮像光学系と、個眼撮像光学系に対応する複数の物体像が結像される撮像素子６０と、撮像素子６０から出力される複数の物体像に対応する複数の個眼像を処理する画像生成処理部９１ｂと、複数の個眼撮像光学系の解像力に関する解像力情報が予め記憶された解像力記憶部９２ａと、記憶された解像力情報に基づき、画像生成処理部９１ｂでの処理に使用する個眼像を選択する個眼選択部９１ａと、を備える。【選択図】図４
2015216428.tif 000002
【特許請求の範囲】
【請求項１】
複数の個眼撮像光学系と、
前記個眼撮像光学系に対応する複数の物体像が結像される撮像素子と、
前記撮像素子から出力される複数の物体像に対応する複数の個眼像を処理する画像生成処理部と、
前記複数の個眼撮像光学系の解像力に関する解像力情報が予め記憶された解像力記憶部と、
記憶された前記解像力情報に基づき、前記画像生成処理部での処理に使用する個眼像を選択する個眼選択部と、
を備えることを特徴とする複眼撮像装置。
【請求項２】
前記解像力情報は、変調伝達関数及び空間周波数応答のいずれか一方であることを特徴とする請求項１に記載の複眼撮像装置。
【請求項３】
前記解像力情報は、前記個眼撮像光学系から撮像素子の撮像面までの像側距離に関連付けられており、
前記像側距離に対応した解像力データに基づいて、使用する個眼像を選択することを特徴とする請求項１及び２のいずれか一項に記載の複眼撮像装置。
【請求項４】
注目被写体を認識する注目被写体認識部を有することを特徴とする請求項１から３までのいずれか一項に記載の複眼撮像装置。
【請求項５】
前記解像力情報は、前記注目被写体の対応像高と関連付けられており、
前記対応像高を取得し、前記対応像高に対応した解像力データに基づいて、使用する個眼像を選択することを特徴とする請求項４に記載の複眼撮像装置。
【請求項６】
前記解像力情報は、前記注目被写体までの撮影距離に関連付けられており、
前記撮影距離を取得し、前記撮影距離に対応した解像力データに基づいて、使用する個眼像を選択することを特徴とする請求項４及び５のいずれか一項に記載の複眼撮像装置。
【請求項７】
複数の個眼撮像光学系を有する像検出部から得た複数の第１画像データを用いて、前記第１画像データよりも高解像度の第２画像データを生成する画像処理装置であって、
前記複数の第１画像データに対応する前記複数の個眼撮像光学系に関連付けられた解像力情報が予め記憶される解像力記憶部と、
前記複数の第１画像データから、予め記憶された前記解像力情報に基づいて、使用する前記第１画像データを選択する個眼選択部と、
前記個眼選択部により選択された第１画像データから前記第２画像データを生成する画像生成処理部と、
を備えることを特徴とする画像処理装置。
【請求項８】
複数の個眼撮像光学系を有する像検出部から得た複数の第１画像データを用いて、前記第１画像データよりも高解像度の第２画像データを生成する画像処理方法であって、
前記複数の第１の画像データから、予め記憶された前記第１画像データに対応する前記複数の個眼撮像光学系に関連付けられた解像力情報に基づいて、使用する前記第１画像データを選択し、取り込む個眼画像取込工程と、
前記個眼画像取込工程により選択された複数の第１画像データから前記第２画像データを生成する画像生成工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理や距離測定等の画像処理を行う複眼撮像装置、当該複眼撮像装置に組み込まれる画像処理装置、及び当該複眼撮像装置を用いた画像処理方法に関する。
【背景技術】
【０００２】
撮像光学系の薄型化への要求に対応するために、複数の個眼撮像光学系を有する複眼撮像装置及び当該複眼撮像装置に対応する画像処理方法等が提案されている。具体的には、複数の個眼撮像光学系により同一の被写体を撮影し、撮像装置から出力される複数の低解像度画像を画像処理で合成することで、１枚の高解像度画像を出力する超解像処理を行う複眼撮像装置である。また、複数の個眼撮像光学系で撮影された個眼像は、互いに視差を有するため、距離測定を行うこともできる。ここで、超解像処理により生成される高解像度画像の画質は、合成される複数の低解像度画像の個々の画質に大きく依存する。よって、複数の低解像度画像の中に、画質の悪い個眼像が含まれると、超解像処理後の画質も劣化する。また、距離測定では、視差を有する個眼像間の対応点探索を行うが、画質の悪い個眼像がある場合には、対応点探索の精度が低下し、距離精度も低下してしまう。そこで、これらの前処理として、例えば画質の良い個眼像を選択する以下の技術がある。
【０００３】
超解像処理等の前処理として、空間周波数情報によって個眼像の削減を行う方法がある（特許文献１参照）。具体的には、まず、各個眼像の空間周波数分布から全個眼像の平均空間周波数分布（平均値）を計算する。その後、各個眼像の空間周波数分布と平均値との差分をとり、その差分値がある閾値以上である個眼像を削除する。つまり、特許文献１の方法では、撮影後の画像を加工した後に画像の選択を行う。
【０００４】
また、超解像処理等の別の前処理として、使用する個眼像を限定するのではなく、基準画像として画質の良好な画像を利用する方法がある（特許文献２参照）。これは、フーリエ変換を用いずに、高周波成分の抽出を行うものである。例えば、ラプラシアンフィルターによるエッジ抽出を行い、抽出後の出力値の積算値を比較することで、ぼけ量の小さい画像を選択し、超解像処理時の基準画像に使用する。
【０００５】
しかしながら、特許文献１の前処理では、一般的に、空間周波数分布の計算、すなわちフーリエ変換に時間がかかり、また平均値や差分を比較する処理も必要であり、処理の高速化の弊害となる。また、特許文献２の前処理では、空間フィルタリング処理を行うため、計算速度はフーリエ変換を行う場合に比較して短縮できるものの、最終的にぼけ量の大きい画像も超解像処理に用いるため、画質の劣化が懸念される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６０８４３号公報
【特許文献２】特開２００９−１９４８９６号公報
【発明の概要】
【０００７】
本発明は、短時間で望ましい高解像度の画像生成を行う画像処理が可能な複眼撮像装置を提供することを目的とする。
【０００８】
また、本発明は、当該複眼撮像装置に組み込まれる画像処置装置、及び当該複眼撮像装置を用いた画像処理方法を提供することを目的とする。
【０００９】
上記課題を解決するため、本発明に係る複眼撮像装置は、複数の個眼撮像光学系と、個眼撮像光学系に対応する複数の物体像が結像される撮像素子と、撮像素子から出力される複数の物体像に対応する複数の個眼像を処理する画像生成処理部と、複数の個眼撮像光学系の解像力に関する解像力情報が予め記憶された解像力記憶部と、記憶された解像力情報に基づき、画像生成処理部で使用する個眼像を選択する個眼選択部と、を備える。
【００１０】
上記複眼撮像装置では、撮影後の個眼像に処理を施して個々の個眼像の画質を判断するのではなく、光学系と撮像素子との組み付けの段階において、各個眼撮像光学系の解像力を測定し、画像処理時に利用する個眼像を選択判断するための解像力情報を予め記憶している。各個眼撮像光学系の解像力の優劣を予め把握しておくことで、撮影後の個眼像選択のための前処理を不要とし、全体の画像処理を高速化することができる。また、解像力が低い個眼像を予め排除することにより超解像処理等に使用する個眼像が限定され、超解像処理等をする場合に対応点探索精度の向上とともに、生成後の画質低下を抑制することができる。また、よりＦナンバーの小さい明るい光学系において、焦点深度が浅くなるため、個眼撮像光学系間のピント位置のばらつきに対する解像力のばらつきが増大しても、個眼像を選択することにより、良好な画質を維持することができる。
【００１１】
本発明の具体的な側面又は態様では、解像力情報は、変調伝達関数（ＭＴＦ（modulation transfer function））及び空間周波数応答（ＳＦＲ（spatial frequency response））のいずれか一方である。この場合、ＭＴＦ又はＳＦＲを測定することにより、複眼撮像光学系の解像力を定量化することができる。
【００１２】
本発明の別の側面では、解像力情報は、個眼撮像光学系から撮像素子の撮像面までの像側距離に関連付けられており、像側距離に対応した解像力データに基づいて、使用する個眼像を選択する。この場合、被写体までの撮影距離が様々な距離にある被写体を一括して撮影する際に比較的良好な画像を得ることができる。なお、像側距離は、予め決まっていてもよいし、撮影のたびに変化させてもよい。像側距離が予め決まっている場合、選択される個眼撮像光学系は固定的なものとなる。また、像側距離が撮影のたびに変化する場合は、個眼撮像光学系から撮像素子の撮像面までの像側距離に関連するものとして個眼撮像光学系の光軸方向の移動量が用いられる。
【００１３】
本発明のさらに別の側面では、注目被写体を認識する注目被写体認識部を有する。ここで、注目被写体とは、ユーザーがピントを合わせたい被写体を意味する。この場合、注目被写体を認識することで、被写体の対応像高や被写体までの撮影距離を把握することができ、参照すべき解像力データをより注目被写体に適合したものとすることができる。
【００１４】
本発明のさらに別の側面では、解像力情報は、注目被写体の対応像高と関連付けられており、対応像高を取得し、対応像高に対応した解像力データに基づいて、使用する個眼像を選択する。この場合、対応像高を把握して参照すべき解像力データをより適切なものとすることができ、注目被写体の良好な画質を得ることができる。
【００１５】
本発明のさらに別の側面では、解像力情報は、注目被写体までの撮影距離に関連付けられており、撮影距離を取得し、撮影距離に対応した解像力データに基づいて、使用する個眼像を選択する。ここで、撮影距離とは、被写体距離を意味する。この場合、異なる距離にある複数の被写体を同時に撮影しても、被写体までの撮影距離に応じて最適な個眼像を使用することで、被写体までの撮影距離に応じて、良好な画質を得ることができる。なお、注目被写体までの撮影距離は、予め決まっていてもよいし、撮影のたびに変化させてもよい。
【００１６】
上記課題を解決するため、本発明に係る画像処理装置は、複数の個眼撮像光学系を有する像検出部から得た複数の第１画像データを用いて、第１画像データよりも高解像度の第２画像データを生成する画像処理装置であって、複数の第１画像データに対応する複数の個眼撮像光学系に関連付けられた解像力情報が予め記憶される解像力記憶部と、複数の第１画像データから予め記憶された解像力情報に基づいて、使用する第１画像データを選択する個眼選択部と、個眼選択部により選択された第１画像データから第２画像データを生成する画像生成処理部と、を備える。
【００１７】
上記画像処理装置では、各個眼撮像光学系の解像力の優劣を予め把握することで、撮影後の個眼像選択のための前処理を不要とし、全体の画像処理を高速化することができる。また、解像力が低い個眼像を予め排除することにより超解像処理等に使用する個眼像が限定され、超解像処理等をする場合に対応点探索精度の向上とともに、生成後の画質低下を抑制することができる。
【００１８】
上記課題を解決するため、本発明に係る画像処理方法は、複数の個眼撮像光学系を有する像検出部から得た複数の第１画像データを用いて、第１画像データよりも高解像度の第２画像データを生成する画像処理方法であって、複数の第１の画像データから、予め記憶された第１画像データに対応する複数の個眼撮像光学系に関連付けられた解像力情報に基づいて、使用する第１画像データを選択し、取り込む個眼画像取込工程と、個眼画像取込工程により選択された複数の第１画像データから第２画像データを生成する画像生成工程と、を備える。
【００１９】
上記画像処理方法では、各個眼撮像光学系の解像力の優劣を予め把握することで、撮影後の個眼像選択のための前処理を不要とし、全体の画像処理を高速化することができる。また、解像力が低い個眼像を予め排除することにより超解像処理等に使用する個眼像が限定され、超解像処理等をする場合に対応点探索精度の向上とともに、生成後の画質低下を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る第１実施形態の複眼撮像装置を説明するブロック図である。
【図２】（Ａ）及び（Ｂ）は、図１に示す複眼撮像装置のうち、像検出部を説明する平面図及び断面図である。
【図３】（Ａ）〜（Ｃ）は、個眼撮像光学系間の特性のバラツキを説明する図である。
【図４】図１に示す複眼撮像装置のうち画像処理回路等の回路部分を説明するブロック図である。
【図５】画像処理回路における処理の流れを表わすフローチャートである。
【図６】光センサーにおけるセンサー領域の配列例を説明する平面図である。
【図７】画像処理のうちガウシャンフィルター処理を説明する図である。
【図８】（Ａ）〜（Ｃ）は、ピクセル位置ずれ推定処理を概念的に説明する図である。
【図９】（Ａ）及び（Ｂ）は、サブピクセル位置ずれ推定処理の具体例を説明するための図である。
【図１０】図５のステップＳ１５での超解像処理の流れを表わした図である。
【図１１】図１０のステップＳ３３で用いられる劣化情報を説明する図である。
【図１２】劣化情報の具体例を表わした図である。
【図１３】第２実施形態の複眼撮像装置のうち画像処理回路等の回路部分を説明するブロック図である。
【図１４】図１３に示す画像処理回路における処理の流れを表わすフローチャートである。
【図１５】第３実施形態の複眼撮像装置のうち画像処理回路等の回路部分を説明するブロック図である。
【図１６】図１５に示す画像処理回路における処理の流れを表わすフローチャートである。
【図１７】撮影範囲内の複数の被写体について説明する図である。
【図１８】図１５に示す画像処理回路で用いる解像力のデータテーブルを説明する図である。
【発明を実施するための形態】
【００２１】
〔第１実施形態〕
〔複眼撮像装置〕
図１に示すように、第１実施形態の複眼撮像装置３００は、像検出部１００と、駆動処理部８１と、インターフェース８２と、ディスプレイ８３とを有する。ここで、インターフェース８２やディスプレイ８３は、必須のものではなく、省略することもできる。
【００２２】
像検出部１００は、多数の被写体像を並列的に形成するレンズアレイ積層体３０と、レンズアレイ積層体３０によって形成された多数の被写体像を並列的に検出する撮像素子６０とを備える。本実施形態において、複眼撮像装置３００は、パンフォーカス（固定焦点距離）系を想定したものとなっており、レンズアレイ積層体３０と撮像素子６０との間の距離は固定されている。レンズアレイ積層体３０は、同様の構造を有する個眼撮像光学系３０ａをマトリックス状に２次元配列したものである。撮像素子６０は、これを構成するセンサー領域（光電変換面）６１上に形成された各画像をそれぞれ電気信号に変換し、駆動処理部８１に出力する。駆動処理部８１は、入力された信号を駆動処理部８１内に設けた記憶部に含まれるＲＯＭ等に格納された所定の処理プログラムに基づいて処理し、各画像を１つの画像に再構成する。その後、駆動処理部８１は、インターフェース８２を介してディスプレイ８３等へ再構成された１つの画像を出力する。また、駆動処理部８１は、上記処理プログラムに基づく処理を実行する際の種々の演算結果を内蔵された記憶部に含まれるＲＡＭ等に一時記憶させる。なお、駆動処理部８１による画像の再構成処理としては、例えば、各画像から必要な矩形領域を切り出す処理だけでなく、切り出した矩形画像から各々の視差情報等に基づいて画像を再構成する処理等が含まれる。画像の再構成処理には、超解像方式による画像処理等が含まれる。ここで、超解像方式による処理とは、個々のレンズによって結像された同じ視野の画像から画像処理によって１つの高解像度の画像を得る処理を指す。
【００２３】
〔像検出部〕
図２（Ａ）及び２（Ｂ）は、図１に示す複眼撮像装置３００のうち像検出部１００を概念的に説明する平面図及び断面図である。図示のように、像検出部１００は、レンズアレイ積層体３０と、レンズアレイ積層体３０を構成する個々の個眼撮像光学系３０ａに対応するセンサー領域６１を有する撮像素子６０と、撮像素子６０が実装される基板ＳＢとを備える。
【００２４】
図示のレンズアレイ積層体３０は、複数（図示の例では２つ）のレンズアレイ１０，２０を積み重ねた積層体であり、複眼光学系として用いられる。以下の説明においては、レンズアレイ積層体３０をレンズアレイと呼ぶこともある。これらの第１及び第２レンズアレイ１０，２０は、ＸＹ面に平行に延びる四角平板状の部材であり、ＸＹ面に垂直なＺ軸方向に積み重ねられて相互に接合されている。
【００２５】
レンズアレイ積層体３０は、撮像素子６０に対向した状態で矩形枠状のホルダー５０に収納されている。レンズアレイ積層体３０において、物体側の第１レンズアレイ１０は、光学材料である光透過性の熱可塑性樹脂製の一体成形品、換言すれば、熱可塑性樹脂からなる一体物である。第１レンズアレイ１０は、中心軸ＡＸ方向又はＺ軸方向から見て矩形の輪郭を有する。ここで、中心軸ＡＸは、後述する複数のレンズ部１０ａの配列領域（レンズ部配列領域ＬＲ）の中心の軸を指す。第１レンズアレイ１０は、それぞれが光学素子である複数のレンズ部１０ａと、複数のレンズ部１０ａを周囲から支持する支持部１０ｂと、支持部１０ｂの外側に帯状に延在する四角枠状の縁部１０ｒとを有する。第１レンズアレイ１０を構成する複数のレンズ部１０ａは、ＸＹ面に平行に配列された正方の格子点（図示の例では４×４の１６点）上に２次元的に配置されている。各レンズ部１０ａは、物体側の第１主面１０ｐにおいて凸の第１光学面１１ａを有し、像側の第２主面１０ｑにおいて凸の第２光学面１１ｂを有する。第１及び第２光学面１１ａ，１１ｂは、例えば非球面となっている。支持部１０ｂは、平板状の部分であり、各レンズ部１０ａの周りをそれぞれ囲むように複数の周囲部分１０ｃを備える。支持部１０ｂの横方向の周辺又は外側にある四角枠状の縁部１０ｒは、第１レンズアレイ１０を第２レンズアレイ２０と接合するための部分となっている。
【００２６】
像側の第２レンズアレイ２０は、熱可塑性樹脂製の一体成形品であり、中心軸ＡＸ方向から見て矩形の輪郭を有する。第２レンズアレイ２０は、それぞれが光学素子である複数のレンズ部２０ａと、複数のレンズ部２０ａを周囲から支持する支持部２０ｂと、支持部２０ｂの外側に帯状に延在する四角枠状の縁部２０ｒとを有する。複数のレンズ部２０ａは、ＸＹ面に平行に配列された正方の格子点（図示の例では４×４の１６点）上に２次元的に配置されている。各レンズ部２０ａは、物体側の第１主面２０ｐにおいて凹の第１光学面２１ａを有し、像側の第２主面２０ｑにおいて凸の第２光学面２１ｂを有する。第１及び第２光学面２１ａ，２１ｂは、例えば非球面となっている。支持部２０ｂは、平板状の部分であり、各レンズ部２０ａの周りをそれぞれ囲むように複数の周囲部分２０ｃを備える。支持部２０ｂの横方向の周辺又は外側にある四角枠状の縁部２０ｒは、第２レンズアレイ２０を第１レンズアレイ１０と接合するための部分となっている。
【００２７】
以上のレンズアレイ１０，２０は、機械や手作業によって順次積み重ねることによって、自身の構造、及び自重や静電気力等によって互いに位置決めされる。つまり、セルフアライメントされる。また、レンズアレイ１０，２０は、積み重ねる際に縁部１０ｒ，２０ｒ間に例えば光硬化性樹脂を供給し積み重ねた後に光硬化性樹脂を硬化させることによって、互いに接合又は接着される。このような接合又は接着によって、２次元的にマトリックス状に配列された多数の個眼撮像光学系３０ａを備えるレンズアレイ積層体３０が得られる。各個眼撮像光学系３０ａの光軸ＯＡは、複数のレンズ部１０ａ，２０ａの全体領域の中心軸ＡＸに平行になっている。
【００２８】
なお、第１レンズアレイ１０と第２レンズアレイ２０との間には、一対の支持部１０ｂ，２０ｂに挟持されて固定された薄い遮光性の第１絞り板４１が配置されている。この第１絞り板４１には、詳細な説明を省略するが、各レンズ部１０ａに対応して多数の開口が形成されている。第２レンズアレイ２０の像側には、接着等によって支持部２０ｂに固定された薄い遮光性の第２絞り板４２が配置されている。この第２絞り板４２には、詳細な説明を省略するが、各レンズ部２０ａ等に対応して多数の開口が形成されている。
【００２９】
ホルダー５０は、熱可塑性樹脂製の一体成形品であり、レンズアレイ積層体３０の中心軸ＡＸ方向から見て矩形の輪郭を有する天井部５０ａと、この輪郭に沿って周状に配置され天井部５０ａから中心軸ＡＸ方向に延びる壁状の脚部５０ｂとを有する。ホルダー５０は、レンズアレイ積層体３０、撮像素子６０等を天井部５０ａ及び脚部５０ｂによって囲むようにして配置した状態で、脚部５０ｂの底面全体を接着することによって基板ＳＢ上に固定されている。レンズアレイ積層体３０を収納するホルダー５０の物体側には、ホルダー５０への接着等によって固定された入射絞り板４５が配置されている。ホルダー５０の天井部５０ａや入射絞り板４５には、詳細な説明を省略するが、各レンズ部１０ａ等に対応して多数の開口が形成されている。なお、レンズアレイ１０，２０をホルダー５０で保持することにより、撮像素子６０の周囲に他の部材を設けても複眼光学系（レンズアレイ積層体３０）が撮像素子６０に対向する空間を確保することができる。
【００３０】
撮像素子６０は、基板ＳＢ上に実装されている。撮像素子６０に設けられるセンサー領域６１は、光電変換を行う複数の画素を２次元的に配列したものであり、撮像素子６０上の個々の個眼撮像光学系３０ａに対応する領域に配置されていてもよいし、撮像素子６０の全体に配置されていてもよい。なお、基板ＳＢ上には、撮像素子６０の他に、信号処理部等も実装されている。
【００３１】
図３（Ａ）〜３（Ｃ）は、レンズアレイ積層体３０を構成する個眼撮像光学系３０ａ間のバラツキを説明する図である。図３（Ａ）に示す個眼撮像光学系３０ａの場合、変調伝達関数（ＭＴＦ）又は空間周波数応答（ＳＦＲ）は、レンズアレイ積層体３０にとってデフォーカスがゼロの位置（つまり撮像面）でピークを有するものとなっており、例えば超解像処理で所期の効果を得るために必要な所定の許容レベルＬＰを超えている。図３（Ｂ）に示す個眼撮像光学系３０ａの場合、ＭＴＦ又はＳＦＲは、デフォーカスがゼロの位置から大きく外れた状態でピークを有するものとなっており、上記所定の許容レベルＬＰを下回っている。図３（Ｃ）に示す個眼撮像光学系３０ａの場合、ＭＴＦ又はＳＦＲは、デフォーカスがゼロの位置から若干外れた状態でピークを有するものとなっているが、上記所定の許容レベルＬＰを上回っている。つまり、各個眼撮像光学系３０ａのＭＴＦ又はＳＦＲ特性は、類似する波形又はパターンを有するが、それぞれに固有のものとなっている。実際には、ＭＴＦ又はＳＦＲのピーク位置がデフォーカス軸方向やＭＴＦ値又はＳＦＲ値の方向にずれるだけでなく、特性幅又はピーク幅が増減する。さらには、像高によってＭＴＦ又はＳＦＲのピーク位置や特性幅が変化するが、その変化の程度も個眼撮像光学系３０ａごとに異なるものとなる。
【００３２】
理想的には、レンズアレイ積層体３０を構成する個眼撮像光学系３０ａが同一のＭＴＦ特性又はＳＦＲ特性を有することが望ましい。しかしながら、レンズアレイ積層体３０の製造工程に起因して全ての個眼撮像光学系３０ａのＭＴＦ特性又はＳＦＲ特性を精密に一致させることはコスト面や技術面で容易でない。さらに、レンズアレイ積層体３０を撮像素子６０に対して位置決めして固定する際にも、若干の傾き誤差、横シフト誤差等が生じ、各個眼撮像光学系３０ａ間のＭＴＦ特性又はＳＦＲ特性の差を広げる傾向がある。そこで、本実施形態の複眼撮像装置３００では、個眼撮像光学系３０ａ間にある程度の特性差が存在すること許容し、このような特性差が画像再構成に影響しにくくなるような画像処理等を行うこととする。
【００３３】
以下、レンズアレイ積層体３０を構成する個眼撮像光学系３０ａの解像度として例えばＭＴＦを用いる場合について説明する。レンズアレイ積層体３０を構成するｎ番目の個眼撮像光学系３０ａの解像度であるＭＴＦｎは、主被写体の対応像高をｈとし、主被写体までの撮影距離（被写体距離）をＤとし、個眼撮像光学系３０ａから検出面までの像側距離をｆＢｎとして、次の式
ＭＴＦｎ＝ＭＴＦ｛ｈ，Ｄ，ｆＢｎ｝    …    （１）
で与えられる。よって、各個眼撮像光学系３０ａについて予め解像力ＭＴＦｎに関する情報を取得しておけば、レンズアレイ積層体３０が使用される状況に応じて高解像状態の個眼撮像光学系３０ａを選択して動作させることができ、超解像といった画像再構成に際しての信頼性を高めることができる。すなわち、全ての個眼撮像光学系３０ａを用いるのではなく、一部の解像度が劣化した個眼撮像光学系３０ａを除いた残りの一定以上の解像度を有する個眼撮像光学系３０ａのみによって画像再構成の処理を行うことで、高品位の画像を得ることができる。例えば、図３（Ａ）〜３（Ｃ）に示す個眼撮像光学系３０ａのうち、ＭＴＦが所定の許容レベルＬＰを上回る図３（Ａ）及び３（Ｃ）に示す個眼撮像光学系３０ａが選択され、画像処理が行われる。各個眼撮像光学系３０ａの解像力ＭＴＦｎに関する情報は、例えばデータテーブルとして予め保持又は記憶しておくことができ、このデータテーブルは、対応像高ｈと、主被写体までの撮影距離Ｄと、個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎとをパラメーターとするｎ個の解像力ＭＴＦｎを含むものとする。第１実施形態の複眼撮像装置３００のようなパンフォーカスのシステムの場合、主被写体までの撮影距離Ｄは設計値で決まり、個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎも個眼撮像光学系３０ａごとに決まる。よって、最終製品となる前において、予め解像力情報を得るための調整測定に際して、解像力評価用チャート、個眼撮像光学系３０ａ、及びセンサー領域６１の３つの位置関係は、一意に決定する。ここで用いる解像力評価用チャートは、軸上のみならず、高像高側の解像力を測定できるようなチャートでもよい。撮影された解像力評価用チャートを個眼撮像光学系３０ａごとに測定することで、例えば個眼撮像光学系３０ａごとの軸上性能を評価することができる。画像再構成に利用される個眼撮像光学系３０ａの選択方法については後に詳述する。
【００３４】
〔駆動処理部等の回路部分〕
図４を参照して、図１の複眼撮像装置３００を構成する回路について説明する。像検出部１００において、撮像素子６０は、光センサー６３とＡＤ変換部６５とを備える。光センサー６３は、複数の個眼撮像光学系３０ａに対応して光電変換を行う複数のセンサー領域６１を備える。既述のように、センサー領域６１は、分離された個別のイメージセンサーとすることもできるが、単一のメージセンサーの部分領域とすることもできる。ＡＤ変換部６５は、各センサー領域６１からの検出信号を少なくとも部分的に並行してＡＤ変換する。なお、撮像素子６０には、駆動用のロジック回路等も含まれているが、詳細な説明は省略する。
【００３５】
駆動処理部８１は、画像処理部９１と、記憶部９２と、画像出力部９３と、制御部９４とを備える。画像処理部９１は、個眼選択部９１ａと、画像生成処理部９１ｂとを有する。個眼選択部９１ａは、制御部９４からの情報に基づいてレンズアレイ積層体３０を構成する複数の個眼撮像光学系３０ａのうち所定の基準を満たすものを選択する部分である。個眼選択部９１ａは、選択された個眼撮像光学系３０ａに対応するセンサー領域６１からの画像データを選択する役割を有する。画像生成処理部９１ｂは、選択されたセンサー領域６１からの画像データと、記憶部９２に保管されたデータとを用いて画像再構成、具体的には超解像処理を行う。記憶部９２は、各個眼撮像光学系３０ａの解像力情報を記憶する解像力記憶部９２ａを有する。ここで、解像力情報とは、図３（Ａ）〜３（Ｃ）で説明したＭＴＦｎ等の解像度の情報を含んでいる。解像力情報は、レンズアレイ積層体３０と撮像素子６０との組み付けの段階において、各個眼撮像光学系３０ａの解像力を測定することによって得られ、解像力記憶部９２ａに記憶されている。本実施形態の複眼撮像装置３００は、パンフォーカスを想定した構成であるため、解像力記憶部９２ａには、各個眼撮像光学系３０ａの設計被写体距離に対する各個眼撮像光学系３０ａの軸上性能（ＭＴＦ｛ｈ，Ｄ｝が記憶されている。本実施形態において、対応像高ｈ及び撮影距離Ｄは、個眼撮像光学系３０ａごとに固定されている。画像出力部９３は、画像処理部９１での処理によって得た再構成画像を、制御部９４からの指示に基づいて所定のタイミングで出力する。制御部９４は、画像処理部９１、記憶部９２、画像出力部９３等を含む駆動処理部８１の動作を統括的に制御する。
【００３６】
〔画像再構成処理〕
図５を参照して、複眼撮像装置３００の動作について説明する（前処理以降の工程についての詳細は、特願２０１３−２４９６０８号及び特願２０１３−２４９６０７号参照）。
【００３７】
〔画像再構成−個眼画像取込〕
複眼撮像装置３００の駆動処理部８１は、撮影条件を監視しており、撮影条件に基づいて特定の個眼撮像光学系３０ａを選択し、対応するセンサー領域６１からの画像信号の取り込みを行わせる（ステップＳ１１）。つまり、光センサー６３に取り込んだ検出信号のうち、選択されたｋ個（ｋは４×４以下）のセンサー領域６１からの画像信号がＡＤ変換部６５においてＡＤ変換され、駆動処理部８１の画像処理部９１に入力される。ここでは、例えば５００×５００画素程度の低解像度の画像（第１画素データ）が入力されるものとする。画像処理部９１の個眼選択部９１ａにおいて、解像力記憶部９２ａに予め記憶されている解像力情報をもとに、ある閾値以上の個眼像のみを選択する。個眼像の選択は、例えば使用環境等に起因して撮影のたびに行われる。なお、個眼像の選択は、撮影のたびに行われる必要はなく、解像力を測定した時点で予め選択するようにしてもよい。この場合、選択される個眼撮像光学系３０ａは、解像力記憶部９２ａに設定情報として保管されている。
【００３８】
図６は、光センサー６３におけるセンサー領域６１の配列例を説明する概念的な平面図である。センサー領域６１は、４×４個存在するが、選択されたｋ個のセンサー領域６１からの画像信号のみが利用される。具体的には、４×４個のセンサー領域６１のうち例えば１つのセンサー領域６１ｘからの画像信号が利用されず、残りの１５個のセンサー領域６１からの画像信号が利用される。
【００３９】
〔画像再構成−前処理〕
次に、駆動処理部８１の画像処理部９１は、ｋ個のセンサー領域６１からの画像信号に対して前処理を施す（ステップＳ１２）。前処理は、個眼の光電変換部に相当するセンサー領域６１を構成する各画素に色選択用のカラーフィルターが付されている場合を考慮したものであり、画像処理部９１への入力画像が画素ごとに特定色のみの輝度情報を持ったものとなっていることを前提としている。このような場合、適度な平滑化を施すことによって、後述する位置ずれ補正等が困難になることを回避できる。具体的には、センサー領域６１を構成する画素にＧＲＢＧのベイヤー型のフィルターが付されている場合、画像信号に対して信号処理として３×３のガウシャンフィルター（図７参照）をかけて、各個眼において１チャンネル画像信号を作成する。このような信号処理用のガウシャンフィルター処理では、注目画素がＧＲＢＧのどの画素位置であっても、フィルター処理後の全画素は、元の画素と同じＧ／２＋Ｒ／４＋Ｂ／４の構成比率で合成されたものとなる。これにより、フィルター処理後の全画素を用いて、後述するテンプレートマッチング等を行うことが容易になる。なお、このような前処理用のフィルター処理は、上記ガウシャンフィルター処理に限るものではなく、同じ色組成比となるような重み付け係数を持ったｉ×ｊ（ｉ，ｊは３以上の整数）のフィルター処理を利用することができる。この際、フィルター係数の違いにより画像のぼけ量が変わるため、入力画像の特性に合わせて、複数のフィルターから適切なものを選択する。
【００４０】
なお、センサー領域６１を構成する画素は、ＲＧＢの３色ベイヤー配列に限らない。つまり、ＲＧＢの３色ベイヤー配列に対応する入力画像に限らず、例えばＷＹＲＩｒ又はＲＧＢＩｒのような２×２画素で全て異なる４色の画素配列に対応する入力画像でも、同様の平滑化のフィルター処理が可能であり、３×３画素で３色の入力画像でも、同様の平滑化のフィルター処理が可能である。
【００４１】
また、以上では、ガウシャンフィルター等によって１チャンネルの画像信号を得ているが、デモザイク処理によりＲＧＢの３色の画像を個別に生成してもよい。
【００４２】
〔画像再構成−位置ずれ推定処理〕
次に、画像処理部９１は、ステップＳ１２で得た画像データに対して、ピクセル位置ずれ推定処理（ステップＳ１３）と、サブピクセルずれ推定処理（ステップＳ１４）とを行う。ピクセル位置ずれ推定処理（ステップＳ１３）では、位置ずれ概略推定処理と位置ずれ詳細推定処理とが実行され、ピクセル単位（整数画素単位）でのずれ量が推定される。サブピクセルずれ推定処理（ステップＳ１４）では、概略推定をより精度的に高めたサブピクセル単位（小数画素単位）でのずれ量が推定される。
【００４３】
図８（Ａ）〜８（Ｃ）は、ピクセル位置ずれ推定処理を概念的に説明する図である。図８（Ａ）は、図６に示す光センサー６３のうち中央寄りのセンサー領域６１からの基準画像ＩＧ０を示し、図８（Ｂ）及び８（Ｃ）は、光センサー６３のうち上記中央寄りのセンサー領域６１以外のいずれかのセンサー領域６１からの参照画像ＩＧ１を示す。
【００４４】
ピクセル位置ずれ推定処理（ステップＳ１３）のうち先の位置ずれ概略推定処理では、まず、図８（Ａ）に示す基準画像ＩＧ０中の特定領域（ウィンドウ）Ａから画像情報を切り出す。そして、図８（Ｂ）に示す参照画像ＩＧ１中で探索領域（ウィンドウ）Ｂを矢印βの方向に移動させながら粗い精度で画素位置の探索を行う。例えば、特定領域Ａに対して位置ずれ量（ｍ×ｐ，ｍ×ｐ）だけシフトさせた位置（ｍは、ｍ画素おきを意味し例えば４であり、ｐは、ｐ回の探索に対応し例えば−１〜８の整数である）に、探索領域Ｂを段階的に移動させてテンプレートマッチングを行い、最も一致度の高い位置ずれを探索する。この際、探索領域Ｂを移動させる矢印βの方向は、図８（Ｂ）に示すセンサー領域６１の視差が現れる方向に対応したものとなっている。つまり、探索領域Ｂを移動させる矢印βの方向は、センサー領域６１が配置される場所に応じて適宜設定される。ここで、テンプレートマッチングは、例えばＮＣＣ（Normalized Cross Correlation）を用いる。ただし、テンプレートマッチングは、ＮＣＣに限らずＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）等の別手法を用いるものであってもよい。
【００４５】
続いて、ピクセル位置ずれ推定処理（ステップＳ１３）のうち後の位置ずれ詳細推定処理では、ステップＳ１３での概略推定をより精度的に高めた位置ずれ推定が行われる。図８（Ｃ）に示すように、上記位置ずれ概略推定処理の結果、最も一致度の高いウィンドウＢｔａの中心画素に対する周辺を１画素の精度で平面的に対応点探索する処理が実行される。この際の対応点探索の範囲は、例えば位置ずれ概略推定処理でｍ画素おき（上述の例ではＸＹ方向ともにｍ＝４画素おき）に探索を行っており、このｍ画素おきに応じてこれをカバーする範囲（例えば±４画素の範囲）とする。より具体的には、上記位置ずれ概略推定処理の結果、最も一致度の高いウィンドウＢｔａの中心画素に対する周辺±４画素それぞれを中心に８１個のウィンドウが設定され、これら８１個のウィンドウそれぞれについてテンプレートマッチングが実行され、最も一致度の高いウィンドウＢｔｂにおける中心位置の画素が対応点として求められる。
【００４６】
図５に戻って、次に、画像処理部９１は、サブピクセルずれ推定処理（ステップＳ１４）を行う。このサブピクセルずれ推定処理（ステップＳ１４）では、ステップＳ１３での位置ずれ推定処理をより精度的に高めたサブピクセル単位で位置ずれ推定が行われる。
【００４７】
図９（Ａ）及び９（Ｂ）は、上記ステップＳ１４でのサブピクセルずれ推定処理を説明するための図である。例えば、図８（Ｃ）の参照画像ＩＧ１について、サブピクセル単位での位置ずれが推定される。上記ステップＳ１３の位置ずれ推定処理工程によって特定された、参照画像ＩＧ１において基準画素に相当する画素ＴＰを中心とした例えば３×３画素の範囲の規定範囲Ｃ４で、テンプレートマッチングにおける画素ごとの一致度（例えばＮＣＣ値）を元に２次曲面フィッティングが行われる（図９（Ｂ）参照）。ステップＳ１４のサブピクセルずれ推定処理では、一例として、論文「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」（電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ．６５０−６６０、２００９、２００９年５月）」に記載された手法を採用することができる。すなわち、図９（Ｂ）に表わされたように、画素ごとの一致度のうち、最も一致度の高い画素の座標がずれ量として特定される。このように、探索エリアを設定してからパターンマッチングを行うので、全ての画像に対してパターンマッチングを行うのに比べて、高速に処理を行うことができる。なお、上記論文のように２次曲面フィッティングを行う代わりに、ＸＹ軸のそれぞれで２次曲線にフィッティングする等、別手法によりサブピクセルずれ推定処理を行ってもよい。
【００４８】
〔画像再構成−超解像処理（画像生成）〕
図１０を参照して、図５のステップＳ１５における超解像処理の流れを説明する。図１０では、具体例として、論文「Fast and Robust Multiframe Super Resolution」（IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 10, OCTOBER 2004 page.1327-1344）に記載された処理を行う場合の超解像処理の流れが示されている。
【００４９】
図１０に示すように、ステップＳ３１で、入力画像のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。
【００５０】
ステップＳ３２で、ノイズがあってもロバストに収束させるためのＢＴＶ（Bilateral Total Variation）量が算出される。
【００５１】
ステップＳ３３で、上記生成された出力候補画像とｋ枚分（１６以下例えば１５枚分）の入力画像とが比較されて、残差が算出される。すなわち、ステップＳ３３では、上記生成された出力候補画像が、各入力画像とその劣化情報（超解像後の画像と入力画像との間の関係を示す情報）とに基づいて入力画像サイズに変換（低解像度化）されて（図１１のステップＳ４１）、ｋ枚分（例えば１５枚分）の入力画像との差異が算出され、記録される（図１１のステップＳ４２）。そして、その差異が、超解像処理後のサイズに戻され（図１１のステップＳ４３）、残差とされる。
【００５２】
ステップＳ３４で、出力候補画像を生成する必要が判断され、出力候補画像を生成する必要がある場合（ステップＳ３４のＹ）、ステップＳ３１に戻って、前回のステップＳ３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。
【００５３】
上記ステップＳ３１〜Ｓ３４の処理が、出力候補画像が収束するまで繰り返され、出力候補画像が収束した場合（ステップＳ３４のＮ）、収束した出力候補画像が超解像処理後の出力画像として出力される（ステップＳ３５）。
【００５４】
繰り返しは、おおよそ充分に収束する回数（例えば２００回）等の、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。
【００５５】
図１１は、上記ステップＳ３３で用いられる劣化情報を説明するための図である。劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、例えば行列形式で表わされる。劣化情報には、上記ステップＳ１４で推定された入力画像それぞれのサブピクセルレベルでのずれ量、ダウンサンプリング量、及びぼけ量等が含まれる。
【００５６】
図１１に示すように、劣化情報は、入力画像及び超解像処理後の高解像度画像それぞれを１次元のベクトル表現にした場合に、その変換を示す行列で規定される。複眼撮像装置３００は、例えば上記ステップＳ１３及びＳ１４の推定処理にて推定された位置ずれ等に基づいて超解像処理に用いるパラメーターを算出し、劣化情報として組み込む。
【００５７】
図１２は、劣化情報の具体例を表わした図である。複眼撮像装置３００は、画素のずれ量が０．２５画素と推定され、ダウンサンプリング量が縦方向及び横方向それぞれに１／４であった場合に、図１２に表わされたような劣化情報を規定する。
【００５８】
なお、上記ステップＳ１５での超解像処理は、図１０に表わされた処理に限定されるものではなく、複数枚の入力画像から１枚の画像を生成する再構成型超解像処理であれば他の処理が採用されてもよい。上記ステップＳ３２で算出される拘束項は、ＢＴＶ量に替えて、例えば、４近傍ラプラシアン等の他のものが用いられてもよい。
【００５９】
図５に戻って、以上の超解像処理（ステップＳ１５）の終了後は、画像処理部９１で生成された高解像度画像（第２画像データ）が画像出力部９３を介して外部すなわち図１のインターフェース８２に出力される（ステップＳ１６）。
【００６０】
以上説明した複眼撮像装置によれば、撮影後の個眼像に処理を施して画質を判断するのではなく、光学系であるレンズアレイ積層体３０と撮像素子６０との組み付けの段階において、各個眼撮像光学系３０ａの解像力を測定し、画像処理時に利用する個眼撮像光学系３０ａを選択判断するための解像力情報を予め記憶している。各個眼撮像光学系３０ａの解像力の優劣を予め把握しておくことで、撮影後の個眼像選択のための前処理を不要とし、全体の画像処理を高速化することができる。また、解像力が低い個眼像を予め排除することにより超解像処理等に使用する個眼像が限定され、超解像処理等をする場合に対応点探索精度の向上とともに、生成後の画質低下を抑制することができる。また、よりＦナンバーの小さい明るい光学系において、焦点深度が浅くなるため、個眼撮像光学系３０ａ間のピント位置のばらつきに対する解像力のばらつきが増大しても、個眼像を選択することにより、良好な画質を維持することができる。
【００６１】
〔第２実施形態〕
以下、第２実施形態に係る複眼撮像装置等について説明する。なお、第２実施形態の複眼撮像装置等は第１実施形態の複眼撮像装置等を変形したものであり、特に説明しない事項は第１実施形態と同様である。
【００６２】
〔駆動処理部等の回路部分〕
図１３に示すように、第２実施形態において、複眼撮像装置３００は、オートフォーカスが可能な構成となっており、図１に示す複眼撮像装置３００において、ＡＦ駆動装置７０を備える。つまり、本実施形態の複眼撮像装置３００では、例えばユーザー等が注目被写体を特定するようなオートフォーカスを想定している。ここで、注目被写体とは、ユーザー等がピントを合わせたい被写体を意味する。注目被写体は、手動で決めてもよいし、自動で決めてもよい。
【００６３】
ＡＦ駆動装置７０は、注目被写体認識部７１と、フォーカス位置決定部７２と、フォーカス駆動部７３とを備える。注目被写体認識部７１は、ユーザー等により指定された注目被写体を認識し、特定する部分である。例えば、ユーザーがターゲット範囲を注目領域に移動させ、この注目領域で合焦のための情報（フォーカス参照情報）の取り込みを可能にする。フォーカス位置決定部７２は、注目被写体認識部７１によって特定された注目被写体についてフォーカス参照情報の取り込みを行って、この情報からフォーカス位置を決定する部分である。フォーカス位置は、例えば専用センサーを使用する位相差検出方式等を用いて決定される。なお、位相差検出方式において、一対以上の個眼撮像光学系３０ａ自体からの画像データを利用してもよい。フォーカス駆動部７３は、フォーカス位置決定部７２によって決定したフォーカス位置にしたがい、ホルダー５０の高さ、つまり、レンズアレイ積層体３０と撮像素子６０との間隔（一括した像側距離）を調整する（図２（Ｂ）参照）。フォーカス駆動部７３としては、例えばピエゾアクチュエーター、ステッピングモーター、ボイスコイルモーター等が用いられる。個眼撮像光学系３０ａの位置（フォーカス位置）、つまり、個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎは、任意に変化させることができる。なお、フォーカス位置は、数段階の予め定められた位置間で変化させてもよい。
【００６４】
本実施形態の複眼撮像装置３００は、オートフォーカスを想定した構成であるため、解像力記憶部９２ａには、各個眼撮像光学系３０ａごとの主被写体の対応像高ｈ、及び個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎを変数として、これに関連付けられた解像力情報が予め記憶されている。主被写体までの撮影距離Ｄに関しては、ある個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎにおいて、軸上性能が最も高くなる被写体の距離としている。
【００６５】
〔画像再構成処理〕
図１４を参照して、本実施形態の複眼撮像装置３００の動作について説明する。
本実施形態において、第１実施形態で説明した選択された個眼画像の取り込み（ステップＳ１１）の前に、ＡＦ駆動装置７０によってフォーカス設定を行う（ステップＳ１７）。まず、ＡＦ駆動装置７０の注目被写体認識部７１により、ユーザー等によってピントを合わせたい注目被写体が特定される。次に、フォーカス位置決定部７２は、決定された注目領域の被写体に適合するフォーカス位置を決定する。決定されたフォーカス位置に基づいて、フォーカス駆動部７３は、像側距離を調整し、各複眼撮像光学系３０ａから検出面までの像側距離ｆＢｎを変化させる。
【００６６】
ここで、予め用意され解像力記憶部９２ａに保管されているデータテーブルについて説明する。本実施形態の複眼撮像装置３００のようなオートフォーカスのシステムの場合、主被写体までの撮影距離Ｄ、主被写体の対応像高ｈ、及び個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎの３つをパラメーターとした解像力情報が必要になる。そのため、解像力評価用チャート、個眼撮像光学系３０ａ、及びセンサー領域６１の３つの位置関係は、任意の範囲で変化させる必要がある。例えば、まず、解像力評価用チャートと個眼撮像光学系３０ａとの間の距離を固定し、個眼撮像光学系３０ａから検出面までの間の像側距離ｆＢｎを変化させてＭＴＦ｛ｈ，Ｄ＝Ｄ１，ｆＢ｝を取得する。次に、解像力評価用チャートと個眼撮像光学系３０ａとの間の距離を変化させて、同様の測定を行い、ＭＴＦ｛ｈ，Ｄ＝Ｄ２，ｆＢ｝を取得する。この際、個眼撮像光学系３０ａから検出面までの間の像側距離ｆＢｎは、オートフォーカスにて稼動する範囲内でよい。また、解像力評価用チャートと個眼撮像光学系３０ａとの間の距離は、無限遠から撮影可能な最近接距離までの範囲で、距離の逆数を等間隔に変化させてもよい。
【００６７】
図１４に戻って、ＡＦ駆動装置７０と像検出部１００との間でフィードバックを繰り返しながら、注目被写体のピントが最も合った状態で、センサー領域６１からの画像信号がＡＤ変換部６５においてＡＤ変換され、駆動処理部８１の画像処理部９１に入力される。画像処理部９１には、撮影画像とともに、ＡＦ駆動装置７０から注目被写体の対応像高及び光学系のフォーカス位置（個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎに相当）が入力される。個眼選択部９１ａは、解像力記憶部９２ａに記憶されたデータテーブルを参照して入力された像高及びフォーカス位置に対する各個眼撮像光学系３０ａの解像力情報を読み出し、ある閾値以上の個眼像のみを選択する。続く画像生成処理部９１ｂでは、選択された個眼像のみが使用される（ステップＳ１１）。
【００６８】
その後、第１実施形態と同様に、ステップＳ１２〜Ｓ１６の工程を行う。
【００６９】
なお、本実施形態において、フォーカス位置の決定手段は、位相差検出方式に限らず、複眼撮像装置３００から出力される画像のコントラストを検知してフォーカス位置を決定するコントラスト検知方式を用いてもよい。
【００７０】
〔第３実施形態〕
以下、第３実施形態に係る複眼撮像装置等について説明する。なお、第３実施形態の複眼撮像装置等は第１実施形態の複眼撮像装置等を変形したものであり、特に説明しない事項は第１実施形態と同様である。
【００７１】
〔駆動処理部等の回路部分〕
図１５に示すように、第３実施形態において、複眼撮像装置３００は、オートフォーカスが可能な構成となっており、図１に示す複眼撮像装置３００の駆動処理部８１のうち図１５に示す画像処理部９１において、距離測定部９１ｄを備える。なお、図１５では、主にオートフォーカス系のシステム構成について説明しているが、後述するように、パンフォーカス系のシステムに適用することができる。
【００７２】
本実施形態の複眼撮像装置３００は、距離測定後に個眼像を選択する構成となっている。距離測定部９１ｄは、画像処理部９１に入力された撮影画像に対し、距離測定を行う部分である。距離測定部９１ｄは、撮影画像内の複数の被写体に対し、距離をそれぞれ測定する。距離測定により、略同距離にある主被写体をひとまとまりとして認識することができる。上述の第１及び第２実施形態では、ある１つの主被写体までの撮影距離に関して、最適な個眼像を選択していたが、第３実施形態では、撮影された各主被写体までの撮影距離に応じて、画像処理部９１で使用する個眼像を切り替えることができる。
【００７３】
本実施形態の解像力記憶部９２ａには、各個眼撮像光学系３０ａごとに主被写体の対応像高ｈ、主被写体までの撮影距離Ｄ、及び個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎに関連付けられた解像力情報が予め記憶されている。
【００７４】
〔画像再構成処理〕
図１６を参照して、本実施形態の複眼撮像装置３００の動作について説明する。本実施形態の複眼撮像装置３００を用いて取り込む画像は、図１７に例示するように、複数の注目被写体ＯＢ１，ＯＢ２，ＯＢ３を有する。複眼撮像装置３００によって、例えば各注目被写体ＯＢ１，ＯＢ２，ＯＢ３について最適な画像を取得し、高解像度画像を得ることができるようになっている。
【００７５】
本実施形態において、第１実施形態で説明した選択された個眼画像の取り込み（ステップＳ１１）の前に、ＡＦ駆動装置７０によって初期フォーカス設定を行う（ステップＳ２７）。その初期位置からフォーカス位置をずらし、スキャンする（ステップＳ２８，Ｓ２９）。これにより、撮影範囲内の注目被写体ＯＢ１，ＯＢ２，ＯＢ３のピントが最も合った状態で、全てのセンサー領域６１からの画像信号がＡＤ変換部６５においてＡＤ変換され、駆動処理部８１の画像処理部９１に入力される。
【００７６】
次に、各注目被写体ＯＢ１〜ＯＢ３までの撮影距離Ｄを測定する（ステップＳ５１）。各注目被写体ＯＢ１〜ＯＢ３のピントが合ったそれぞれの撮影画像から各注目被写体ＯＢ１〜ＯＢ３における画素ずれ（視差）を算出し、各注目被写体ＯＢ１〜ＯＢ３までの撮影距離Ｄに換算する。例えば、対角又は対辺中点に位置する離れた２つの個眼撮像光学系３０ａに対応する個眼像を用いて画素ずれ、つまり視差を算出する。注目被写体までの撮影距離Ｄは、個眼撮像光学系３０ａ間の距離をＢとし、焦点距離をｆとし、視差をＺとしたときに、以下の式で求めることができる。
Ｄ＝Ｂ×ｆ／Ｚ    …    （２）
【００７７】
図１８に示すように、個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎは、撮影条件により決定し、各注目被写体ＯＢ１〜ＯＢ３に対して対応像高ｈ及び注目被写体までの撮影距離Ｄが決定する。例えば、図１７の場合、注目被写体ＯＢ１，ＯＢ３については、像高ＡＲ１〜ＡＲ３のうち像高ＡＲ２が対応し、注目被写体ＯＢ２については、像高ＡＲ１が対応する。
【００７８】
次に、ステップＳ５１にて計算した撮影距離Ｄを用いて、撮影画像を複数の注目被写体ＯＢ１〜ＯＢ３に対応する領域に分割する（ステップＳ６１）。この分割された領域は、それぞれ固有の解像度特性を有するものとなっており、これに適合する個眼像の選択が望ましい。
【００７９】
その後、個眼選択部９１ａによって、取得した撮影画像についてピントを合わせた注目被写体ＯＢ１〜ＯＢ３の領域ごとに適切なｋ個の個眼撮像光学系３０ａをそれぞれ選択する（ステップＳ１１）。つまり、個眼選択部９１ａは、各注目被写体の対応像高ｈ、各注目被写体までの撮影距離Ｄ、及び各個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎから、予め解像力記憶部９２ａに記憶された解像力情報に基づいて、注目被写体ＯＢ１〜ＯＢ３の領域ごと又は画素ごとに使用する個眼像を選択する。続く画像生成処理部９１ｂでは、注目被写体ＯＢ１〜ＯＢ３ごと又は画素ごとに参照される個眼像を切り替えて画像処理をする。
【００８０】
その後、第１実施形態と同様に、ステップＳ１２〜Ｓ１６の工程を行う。
【００８１】
なお、距離測定（ステップＳ５１）を、視差を用いずに行ってもよい。例えば、撮影画像内の注目被写体において、それぞれピントが合うフォーカス位置を探す。画像のぼけが少なくなる位置で撮影画像を取得することにより、各個眼撮像光学系３０ａから検出面までの像側距離ｆＢｎ及び各被写体の対応像高ｈが決まる。
【００８２】
また、１つのフォーカスで、かつ同じ領域内の注目被写体で像高の閾値を超えて複数領域にまたがる場合、いずれかの像高を基準にするか、像高を平均したものを基準にするかして、連続性を持たせてもよい。
【００８３】
また、第３実施形態において、主にオートフォーカス系の構成について説明したが、パンフォーカス系の構成についても第１実施形態のような構成で動作する。
【００８４】
なお、本実施形態において、ステップＳ２７〜Ｓ２９の工程で得られる画像が１つであってもよい。つまり、代表的な注目被写体についてピントが合った画像を取得し、距離測定（ステップＳ５１）以降の工程を行う。この場合、代表的な注目被写体以外の被写体については、若干ぼけた画像となり得る。
【００８５】
以上、実施形態に係る複眼撮像装置について説明したが、本発明に係る複眼撮像装置は、上記例示のものには限られない。例えば、各レンズアレイ１０，２０を構成するレンズ部１０ａ，２０ａの配列やその光学面１１ａ，１１ｂ等の形状等は、レンズアレイ積層体３０又は複眼撮像装置３００の用途又は仕様に応じて適宜変更することができる。例えばレンズ部１０ａ，２０ａは、４×４の格子点に配列するものに限らず、例えば３×３、５×５等の格子点に配列することができる。また、格子は、正方の格子に限らず、長方の格子でもよい。
【００８６】
また、上記実施形態において、アレイレンズを２枚積層したが、積層せず、単層のアレイレンズとしてもよい。また、アレイレンズを３枚以上積層してもよい。
【００８７】
また、上記実施形態において、レンズアレイ１０，２０は、樹脂製としたが、ガラス製であってもよい。また、樹脂としては、熱可塑性樹脂に限らず、熱硬化性樹脂や光硬化性樹脂等を用いることができる。また、レンズアレイ１０，２０は、例えばガラスの基板上に樹脂のレンズ部を２次元的に配列したウェハーレベルレンズであってもよい。
【００８８】
また、上記実施形態において、個眼選択部９１ａにおいて、選択される個眼撮像光学系３０ａは、固定された閾値（許容レベルＬＰ）を超えるものとしたが、相対的な閾値としてもよい。例えば、個眼撮像光学系３０ａを解像力が良好な順から選択してもよい。また、許容レベルＬＰは、目的によって適宜調整することができる。
【００８９】
また、第１及び第２実施形態において、超解像処理（ステップＳ１５）の代わりに距離測定を行ってもよい。この場合、高い測距精度が必要でなければ、サブピクセルずれ推定（ステップＳ１４）を省略してもよい。
【符号の説明】
【００９０】
３０…レンズアレイ積層体、  ３０ａ…個眼撮像光学系、  １０，２０…レンズアレイ、  １０ａ，２０ａ…レンズ部、  １０ｂ，２０ｂ…支持部、  １１ａ，１１ｂ，２１ａ，２１ｂ…光学面、  ５０…ホルダー、  ６０…撮像素子、  ６１…センサー領域、  ６３…光センサー、  ６５…変換部、  ７０…ＡＦ駆動装置、  ７１…注目被写体認識部、  ７２…フォーカス位置決定部、  ７３…フォーカス駆動部、  ８１…駆動処理部、  ８２…インターフェース、  ８３…ディスプレイ、  ９１…画像処理部、  ９１ａ…個眼選択部、  ９１ｂ…画像生成処理部、  ９１ｄ…距離測定部、  ９２…記憶部、  ９２ａ…解像力記憶部、  ９３…画像出力部、  ９４…制御部、  １００…像検出部、  ３００…複眼撮像装置、  ＡＸ…中心軸、  ＯＡ…光軸
【図１】
2015216428.tif 000003
【図２】
2015216428.tif 000004
【図３】
2015216428.tif 000005
【図４】
2015216428.tif 000006
【図５】
2015216428.tif 000007
【図６】
2015216428.tif 000008
【図７】
2015216428.tif 000009
【図８】
2015216428.tif 000010
【図９】
2015216428.tif 000011
【図１０】
2015216428.tif 000012
【図１１】
2015216428.tif 000013
【図１２】
2015216428.tif 000014
【図１３】
2015216428.tif 000015
【図１４】
2015216428.tif 000016
【図１５】
2015216428.tif 000017
【図１６】
2015216428.tif 000018
【図１７】
2015216428.tif 000019
【図１８】
2015216428.tif 000020